CN104102560B - 系统性能测试的方法及装置 - Google Patents

Abstract

本发明公开了一种系统性能测试的方法及装置，属于系统测试领域。所述方法包括：获取待测试系统的系统标识；根据预先设置的测试因素与系统标识的对应关系获取所述待测试系统的系统标识对应的测试因素，所述测试因素至少包括初始化脚本、测试工具和测试场景；根据所述测试因素对所述待测试系统进行测试点的性能测试，输出所述待测试系统对应的测试结果。本发明通过获取待测试系统的系统标识对应的测试因素，并根据测试因素对待测试系统进行测试点的性能测试，输出待测试系统对应的测试结果，实现了快速获取待测试系统的测试因素，使得系统性能测试的过程较为简单且耗费时间较短，提高了系统性能测试的效率。

Description

系统性能测试的方法及装置

技术领域

本发明涉及系统测试领域，特别涉及一种系统性能测试的方法及装置。

背景技术

随着互联网技术的发展，用户的需求带动着网络中为用户提供服务的系统的功能不断变化和更新。根据用户需求的变化，通常会在该系统的现有版本的基础上开发新版本，从而在系统中增加新功能或者改进原有功能，以满足用户的需求。在新版本的系统开发完成之后，还需要对新版本的系统进行性能检测，以保证新版本的系统的质量。

现有技术在进行系统性能测试时，根据待测试系统构建测试因素，测试因素至少包括初始化脚本、测试工具和测试场景；根据构建的测试因素对待测试系统进行测试点的性能测试，并输出待测试系统的测试点的测试结果，测试点包括系统处理能力、系统处理耗时、系统处理成功率、CPU（Central Processing Unit，中央处理单元）占用率和内存占用率中的至少一个。

在实现本发明的过程中，发明人发现现有技术至少存在以下问题：

现有技术在进行系统性能测试时，对系统的每个版本都需要构建测试因素，由于构建测试因素所花费的时间较长，从而导致系统性能测试的过程较为复杂，且耗费时间很长。

发明内容

为了解决现有技术的问题，本发明实施例提供了一种系统性能测试的方法及装置。所述技术方案如下：

一方面，提供了一种系统性能测试的方法，所述方法包括：

获取待测试系统的系统标识；

根据预先设置的测试因素与系统标识的对应关系获取所述待测试系统的系统标识对应的测试因素，所述测试因素至少包括初始化脚本、测试工具和测试场景；

根据所述测试因素对所述待测试系统进行测试点的性能测试，输出所述待测试系统对应的测试结果；

其中，所述测试点包括系统处理能力、系统处理耗时、系统处理成功率、CPU占用率和内存占用率中的至少一个。

另一方面，提供了一种系统性能测试的装置，所述装置包括：

第一获取模块，用于获取待测试系统的系统标识；

第二获取模块，用于根据预先设置的测试因素与系统标识的对应关系获取所述第一获取模块获取到待测试系统的系统标识对应的测试因素，所述测试因素至少包括初始化脚本、测试工具和测试场景；

测试模块，用于根据所述第二获取模块获取到的测试因素对所述待测试系统进行测试点的性能测试；

第一输出模块，用于输出所述测试模块得到的所述待测试系统对应的测试结果；

其中，所述测试点包括系统处理能力、系统处理耗时、系统处理成功率、CPU占用率和内存占用率中的至少一个。

本发明实施例提供的技术方案带来的有益效果是：

通过获取待测试系统的系统标识对应的测试因素，并根据测试因素对待测试系统进行测试点的性能测试，输出待测试系统对应的测试结果，实现了快速获取待测试系统的测试因素，使得系统性能测试的过程较为简单且耗费时间较短，提高了系统性能测试的效率。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例一提供的一种系统性能测试的方法流程图；

图2是本发明实施例二提供的一种系统性能测试的方法流程图；

图3是本发明实施例二提供的一种待测试系统的界面显示示意图；

图4是本发明实施例二提供的系统性能测试的执行主体和待测试系统的示意图；

图5是本发明实施例二提供的系统性能测试的执行主体的结构示意图；

图6是本发明实施例三提供的第一种系统性能测试的装置结构示意图；

图7是本发明实施例三提供的第二种系统性能测试的装置结构示意图；

图8是本发明实施例三提供的第三种系统性能测试的装置结构示意图；

图9是本发明实施例四提供的一种终端的结构示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式作进一步地详细描述。

实施例一

本发明实施例提供了一种系统性能测试的方法，参见图1，方法流程包括：

101：获取待测试系统的系统标识。

102：根据预先设置的测试因素与系统标识的对应关系获取待测试系统的系统标识对应的测试因素。

其中，测试因素至少包括初始化脚本、测试工具、测试场景。

优选地，该方法还包括：

预先构建并存储不同系统对应的测试因素；

为每个系统分配对应的系统标识，并建立测试因素与系统标识的对应关系。

103：根据测试因素对待测试系统进行测试点的性能测试，输出待测试系统对应的测试结果。

其中，测试点包括系统处理能力、系统处理耗时、系统处理成功率、CPU占用率和内存占用率中的至少一个。

具体地，根据测试因素对待测试系统进行测试点的性能测试，包括：

根据测试因素的初始化脚本对待测试系统进行初始化；

在测试因素的测试场景中，采用测试因素的测试工具对初始化后的待测试系统进行测试点的性能测试。

优选地，该方法还包括：

获取对待测试系统的其他版本进行测试点的性能测试之后输出的待测试系统的其他版本对应的测试结果；

根据待测试系统对应的测试结果与待测试系统的其他版本对应的测试结果，输出待测试系统与待测试系统的其他版本的比对信息。

具体地，根据待测试系统对应的测试结果与待测试系统的其他版本对应的测试结果，输出待测试系统与待测试系统的其他版本的比对信息，包括：

获取待测试系统对应的测试结果与待测试系统的其他版本对应的测试结果之间的比值，根据比值输出待测试系统与待测试系统的其他版本的比对信息。

优选地，该方法还包括：

将比值与预设阈值进行比较，根据比较结果输出待测试系统与待测试系统的其他版本的比对结果。

综上所述，本发明实施例提供的方法，通过获取待测试系统的系统标识对应的测试因素，并根据测试因素对待测试系统进行测试点的性能测试，输出待测试系统对应的测试结果，实现了快速获取待测试系统的测试因素，使得系统性能测试的过程较为简单且耗费时间较短，提高了系统性能测试的效率。

实施例二

为了减少对待测试系统进行性能测试所耗费的时间，本发明实施例提供了一种系统性能测试的方法。结合上述实施例一的内容，参见图2，方法流程包括：

201：获取待测试系统的系统标识。

针对该步骤，待测试系统是指需要进行测试的版本的系统。该系统可以是缴费系统、通信系统、计费系统等，本发明实施例不对系统的具体类型进行限定。每个系统都对应一个系统标识，当该系统的版本不断改变时，系统标识不变。因此，当需要对待测试系统进行性能测试时，首先需要获取待测试系统的系统标识。具体方式包括：获取用户输入的待测试系统的系统标识，或者，发送获取请求给待测试系统后，接收待测试系统返回的待测试系统的系统标识。除了上述获取待测试系统的系统标识的方式之外，还可以采用其他方式获取待测试系统的系统标识，本发明实施例对此不进行具体限定。

202：根据预先设置的测试因素与系统标识的对应关系获取待测试系统的系统标识对应的测试因素。

由于对于同一个系统来说，不同版本所能实现的功能略有差异，然而系统的核心内容不变，该系统对应的测试因素也不变。因此，在需要对待测试系统进行性能测试之前，可以包括：预先构建并存储不同系统对应的测试因素；为每个系统分配对应的系统标识，并建立测试因素与系统标识的对应关系。

例如，预先分别构建并存储支付系统A、通信系统B和计费系统C对应的测试因素；为支付系统A分配对应的系统标识“A”，为通信系统B分配对应的系统标识“B”和为计费系统C分配对应的系统标识“C”；建立测试因素与系统标识的对应关系，如图3（a）所示。

具体地，当需要对待测试系统进行性能测试时，可以根据预先设置的测试因素与系统标识的对应关系查找与待测试系统的系统标识相匹配的系统标识，并获取相匹配的系统标识对应的测试因素。

其中，测试因素是用于对系统进行性能测试时所需的条件，至少包括初始化脚本、测试工具、测试场景。以下是对测试因素中包括的各个因素的具体介绍：

初始化脚本：用于对系统的数据进行初始化，以便于能够从系统的初始化状态开始对系统进行性能测试。

测试工具：用于针对不同的测试场景向系统发起对应的模拟请求，并收集系统返回的测试结果。在同一个测试场景下，可以发起一个或多个模拟请求。例如，针对支付系统的测试场景“买家付款”，发起“付款”的模拟请求，以模拟买家在该支付系统中对一项业务支付相应的款项，并收集返回的测试结果。测试工具可以采用压力测试工具，通过多个压力发生器在同一时刻发送相同的模拟请求给系统，或者通过一个压力发生器以较短的时间间隔发送相同的模拟请求给系统，以测试系统处理该模拟请求的能力。

测试场景：用于设定在测试时需要模拟的该系统实际应用的场景，同一个系统可以对应一个或多个测试场景，不同系统对应的测试场景不同。例如，支付系统所对应的测试场景可以包括“买家付款”、“卖家收款”等多个测试场景；通信系统所对应的测试场景可以包括“呼叫方发起呼叫”、“传输通信数据”、“呼叫方终止呼叫”等多个测试场景。

举例来说，以待测试支付系统V5.0的系统标识为“A”为例，根据预先设置的测试因素与系统标识的对应关系查找与待测试支付系统V5.0的系统标识“A”相匹配的系统标识“A”，获取相匹配的系统标识“A”对应的测试因素，测试因素中包括待测试支付系统V5.0的初始化脚本A，测试工具A和3个测试场景，分别为测试场景A1：“买家付款”、测试场景A2：“卖家收款”和测试场景A3：“到款通知”，如图3（b）所示。

203：根据测试因素对待测试系统进行测试点的性能测试，输出待测试系统对应的测试结果。

其中，测试点是指用户期望测试的待测试系统在某方面的性能，测试点包括系统处理能力、系统处理耗时、系统处理成功率、CPU占用率和内存占用率中的至少一个。系统处理能力是指待测试系统在单位时间内处理测试工具发起的模拟请求的数量；系统处理耗时是指待测试系统处理测试工具发起的单个模拟请求所耗费的时间；系统处理成功率是指待测试系统成功处理测试工具发起的模拟请求的比例；CPU占用率是指运行待测试系统所占用CPU的比例；内存占用率是指运行待测试系统所占用内存的比例。

针对该步骤，根据测试因素对待测试系统进行测试点的性能测试的具体方式包括：根据测试因素的初始化脚本对待测试系统进行初始化；在测试因素的测试场景中，采用测试因素的测试工具对初始化后的待测试系统进行测试点的性能测试。

在采用测试因素的测试工具对初始化后的待测试系统进行测试点的性能测试时，如果测试点为多个，可以根据用户的选择进行多个测试点的性能测试，或者进行多个测试点中的一个或一部分测试点的性能测试，从而得到待测试系统在每个测试点对应的测试结果。如果测试场景为多个，可以根据用户的选择在多个测试场景中都进行测试点的性能测试，或者在多个测试场景的一个或一部分测试场景中进行测试点的性能测试，从而得到待测试系统在每个测试场景中对应的测试结果。在性能测试完成之后，待测试系统在每个测试场景中的每个测试点对应的测试结果组成了待测试系统的测试结果。

其中，对待测试系统进行不同测试点的性能测试时，测试因素的测试工具发起模拟请求的形式不同；在不同的测试场景中对待测试系统进行测试点的性能测试时，测试因素的测试工具向待测试系统发起的模拟请求也不同。例如，以待测试支付系统V5.0的测试场景为“买家付款”，测试点为“系统处理能力”为例，采用测试因素的测试工具A向待测试支付系统V5.0发起350个“付款”模拟请求，统计待测试支付系统V5.0在1s内处理“付款”模拟请求的数量300，得到待测试支付系统V5.0在测试点“系统处理能力”的测试结果为300/s。如果待测试支付系统V5.0的测试场景为“卖家收款”，测试点为“系统处理耗时”，采用测试因素的测试工具A向待测试支付系统V5.0发起450个“收款”模拟请求，统计待测试支付系统V5.0处理每个“收款”模拟请求的耗时，确定450个“收款”模拟请求的耗时的平均值为16.06ms，得到待测试系统支付在测试点“系统处理耗时”的测试结果为16.06ms。

举例来说，在根据待测试支付系统V5.0的系统标识“A”获取到测试因素后，由于用户选择了测试因素中的3个测试场景：测试场景A1：“买家付款”、测试场景A2：“卖家收款”和测试场景A3：“到款通知”，并且选择了5个测试点中的3个测试点：“系统处理能力”、“系统处理耗时”和“系统处理成功率”，如图3（b）所示。在进行性能测试时，首先根据初始化脚本A对待测试支付系统V5.0进行初始化；针对测试场景A1:“买家付款”，采用测试工具A对初始化后的待测试支付系统V5.0的3个测试点进行性能测试，得到在测试场景A1:“买家付款”中待测试支付系统V5.0的3个测试点的测试结果；同样地，针对测试场景A2:“卖家收款”和测试场景A3:“到款通知”，都分别得到待测试支付系统V5.0在测试场景A2和测试场景A3的3个测试点的测试结果。待测试支付系统V5.0在测试场景A1至测试场景A3中3个测试点的测试结果组成了待测试支付系统V5.0的测试结果，如下表1所示。

表1

测试场景	系统处理能力	系统处理耗时（ms）	系统成功率
				买家付款	300	16.06	100%
卖家收款	280	34.18	100%
				到款通知	400	10.23	100%

需要说明的是，在根据上述步骤201和步骤203对待测试系统进行测试点的性能测试后，可以输出待测试系统对应的测试结果，具体可以将待测试系统对应的测试结果以文件的形式发送给用户，或者将待测试系统对应的测试结果以表格或者图片的形式直接显示给用户。此外，还可以采用其他方式输出待测试系统对应的测试结果，本发明实施例对此不进行具体限定。通过输出待测试系统对应的测试结果，使得用户可以根据输出的待测试系统对应的测试结果对待测试系统的性能进行分析，以确定待测试系统的质量是否符合要求。

在输出待测试系统对应的测试结果之后，本发明实施例提供的方法还可以选择将待测试系统对应的测试结果与待测试系统的其他版本对应的测试结果进行比对，从而比较出待测试系统与待测试系统的其他版本之间性能的差异，详见以下步骤204至步骤205。

当然，如果用户在对待测试系统进行性能测试时不期望将本次待测试系统的测试结果与系统的其他版本的测试结果进行比对，可以为待测试系统分配临时测试的版本标识，用于表示本次系统性能测试为临时测试，无需与待测试系统的其他版本的测试结果进行比对。在输出待测试系统对应的测试结果之后，还可以包括：判断待测试系统的版本标识是否为临时测试的版本标识。如果判断出待测试系统的版本标识为临时测试的版本标识，则无需执行后续步骤204至步骤205。

204：获取对待测试系统的其他版本进行测试点的性能测试之后输出的待测试系统的其他版本对应的测试结果。

其中，待测试系统的其他版本可以是除了待测试系统的版本之外的其他版本，可以按照系统的版本开发的先后顺序为系统的每个版本分配对应版本标识，从而根据版本标识区分系统的不同版本。对于待测试的其他版本，预先存储有待测试的其他版本进行测试点的性能测试之后输出的待测试系统的其他版本对应的测试结果。当然，在步骤203中得到待测试系统对应测试结果之后，也可以将待测试系统对应测试结果进行存储。

为了获取待测试系统的其他版本的测试结果，首先查找与待测试系统的版本标识不相同的版本标识，从而获取与待测试系统的版本标识不相同的待测试系统的其他版本进行测试点的性能测试之后输出的待测试系统的其他版本对应的测试结果。

在查找与待测试系统的版本标识不相同的版本标识时，可以查找与待测试系统的版本标识不相同的其他所有版本标识。优选地，由于版本标识是按照版本开发的先后顺序排序的，可以是按照版本开发的先后顺序查找与待测试系统的版本标识不相同的版本标识中先后顺序最靠后的版本标识，也就是说，查找待测试系统的前一版本。此外，由于预先可能对待测试系统的其他版本进行过多次性能测试，因而预先存储有待测试系统的其他版本的多个测试结果。可以将待测试系统的其他版本对应的多次测试结果按照测试时间先后顺序存储，在获取待测试系统的其他版本对应的测试结果时，获取待测试系统的其他版本对应的多次测试结果中测试时间最新的测试结果。

举例来说，仍以待测试支付系统V5.0分配的版本标识为“V5.0”为例；预先存储有待测试支付系统V5.0的其他版本V1.0至V4.0对应的测试结果，按照版本开发的先后顺序，版本标识依次为V1.0，V2.0，V3.0，V4.0，V5.0。首先查找与待测试支付系统V5.0的版本标识“V5.0”不同且先后顺序最靠后的版本标识“V4.0”，并获取版本标识为“V4.0”的待测试支付系统V5.0的其他版本V4.0进行测试点的性能测试之后输出的在2个测试场景中的3个测试点的测试结果，如下表2所示。

表2

测试场景	系统处理能力	系统处理耗时（ms）	系统成功率
				买家付款	420	14.54	100%
卖家收款	260	35.45	100%

需要说明的是，如果没有待测试系统的其他版本或者没有预先存储待测试系统的其他版本对应的测试结果，则在该步骤中无法获取到待测试的其他版本对应的测试结果，无需执行后续步骤205。此时，可以认为待测试系统与待测试系统的其他版本的比对结果为比对通过，输出比对通过的比对结果。如果获取待测试系统的其他版本对应的测试结果，可以选择继续执行后续步骤205，输出待测试系统与待测试系统的其他版本的比对结果。

205：根据待测试系统对应的测试结果与待测试系统的其他版本对应的测试结果，输出待测试系统与待测试系统的其他版本的比对信息。

具体地，获取待测试系统对应的测试结果与待测试系统的其他版本对应的测试结果之间的比值，根据比值输出待测试系统与待测试系统的其他版本的比对信息。

其中，比值可以为待测试系统对应的测试结果除以待测试系统的其他版本对应的测试结果，或者为待测试系统的其他版本对应的测试结果除以待测试系统对应的测试结果。由于待测试系统和待测试系统的其他版本在每个测试场景的每个测试点都有相应的测试结果，因此，需要获取将待测试系统在每个测试场景中每个测试点的测试结果与待测试系统的其他版本在对应的测试场景中对应的测试点的测试结果的比值。对于每个测试场景的每个测试点都可以得到相应的比值，根据得到的比值输出待测试系统与待测试系统的其他版本的比对信息。对比信息用于说明待测试系统与待测试系统的其他版本在特定的测试场景的特定测试点的性能差异，即待测试系统待测试系统相对于待测试系统的其他版本在特定的测试场景的特定测试点的性能提升的比例，或者是下降的比例。通过输出待测试系统与待测试系统的其他版本的比对信息，使得用户能够更清楚地了解到待测试系统与待测试系统的其他版本的性能差异情况。

举例来说，在获取到待测试支付系统V5.0的其他版本对应的测试结果之后，针对测试场景A1：“买家付款”，将待测试支付系统V5.0和待测试支付系统的其他版本V4.0在测试场景A1：“买家付款”中测试点“系统处理能力”的测试结果相除，比值为0.71。因此，在测试场景A1中，待测试支付系统V5.0相对于待测试支付系统的其他版本V4.0在测试点“系统处理能力”的性能下降29%。同样地，将在测试点“系统处理耗时”和“系统成功率”的测试结果相除，得到测试点“系统处理耗时”和测试点“系统成功率”的比对信息。对于测试场景A2：“卖家收款”，也得到相应的对比信息。对于测试场景A3：“到款通知”，由于待测试支付系统的其他版本V4.0中没有测试场景A3，则没有比对信息。在每个测试场景中的比对信息详见下表3。

表3

进一步地，在获取待测试系统对应的测试结果与待测试系统的其他版本对应的测试结果之间的比值之后，还包括：将比值与预设阈值进行比较，根据比较结果输出待测试系统与待测试系统的其他版本的比对结果。

其中，比较结果是对待测试系统与待测试系统的其他版本的性能的总体概括。由于在对系统进行改进时，用户往往期望新版本的系统在各个测试点的性能都优于先前版本的系统，因此，在输出比对结果时，要将比值与预设阈值进行比较，根据比较结果输出待测试系统与待测试系统的其他版本的比对结果。比对结果可以分为比对通过和比对不通过，比对通过表示待测试系统相对于待测试系统的其他版本的性能较好，比对不通过表示待测试系统相对于待测试系统的其他版本的性能较差。

当比值为待测试系统对应的测试结果除以待测试系统的其他版本对应的测试结果时，预设阈值可以设置为大于等于1的数值，例如，设置为1.0，1.2等。此时，如果比较结果为比值大于等于预设阈值，则待测试系统的该测试点的比对结果为比对通过；如果比较结果为比值小于预设阈值，则待测试系统的该测试点的比对结果为比对不通过。当比值为待测试系统的其他版本的测试点的测试结果除以待测试系统的测试点的测试结果时，预设阈值可以设置为小于1的数值，例如，设置为0.8，0.9等。此时，如果比较结果为比值小于等于预设阈值，则待测试系统的该测试点的比对结果为比对通过；如果比较结果为比值大于预设阈值，则待测试系统的该测试点的比对结果为比对不通过。根据测试点的不同，或者测试场景的不同，可以设置不同的预设阈值。

在根据比较结果输出待测试系统与待测试系统的其他版本的比对结果时，如果待测试系统的测试场景一个且测试点为一个时，待测试系统的测试点的比对结果即为待测试系统的比对结果。如果待测试系统的测试场景为一个且测试点为多个时，需要根据每个测试点的比对结果确定待测试系统与待测试系统的其他版本的比对结果为比对通过。具体地，可以在多个测试点的比对结果都为比对通过时，确定待测试系统与待测试系统的其他版本的比对结果为比对通过，当多个测试点的比对结果中有一个测试点的比对结果为比对不通过，则确定待测试系统与待测试系统的其他版本的比对结果为比对不通过。当然，也可以在多个测试点中有第一预设个数的测试点的比对结果为比对通过时，确定待测试系统与待测试系统的其他版本的比对结果为比对通过。

如果待测试系统的测试场景为多个，首先对于每个测试场景确定待测试系统与待测试系统的其他版本在该测试场景的比对结果。如果对于待测试系统的任一测试场景，在待测试系统的其他版本中没有该测试场景，则可以确定该测试场景的比对结果为比对通过。之后，如果每个测试场景的比对结果为比对通过，则确定待测试系统与待测试系统的其他版本的比对结果为比对通过；如果多个测试场景的比对结果中有一个测试场景的比对结果为比对不通过，则确定待测试系统与待测试系统的其他版本的比对结果为比对不通过。当然，也可以在多个测试场景中有第二预设个数的测试场景的比对结果为比对通过时，确定待测试系统与待测试系统的其他版本的比对结果为比对通过。

举例来说，针对测试场景A1：“买家付款”的测试点“系统处理能力”，将待测试支付系统V5.0和待测试支付系统的其他版本V4.0在测试场景A1：“买家付款”中测试点“系统处理能力”的测试结果相除，比值为0.71，比值小于预设阈值1.0，在测试场景A1：“买家付款”的测试点“系统处理能力”的比对结果为比对不通过；同样地，可以得到在测试点“系统处理耗时”的比对结果为比对通过，在测试点“系统成功率”的比对结果为比对不通过。由于3个测试点中有2个测试点的比对结果为比对不通过，则确定待测试支付系统V5.0和待测试支付系统的其他版本V4.0在测试场景A1的比对结果为比对不通过。

同样地，针对测试场景A2：“卖家收款”，将3个测试点的比值分别于预设阈值进行比对后，根据比对结果确定待测试支付系统V5.0和待测试支付系统的其他版本V4.0在测试场景A1的比对结果为比对通过。针对测试场景A3：“到款通知”，由于待测试支付系统的其他版本V4.0没有该测试场景，则确定待测试支付系统V5.0和待测试支付系统的其他版本V4.0在测试场景A1的比对结果为比对通过。由于在3个测试场景中，在测试场景A2：“买家付款”中的比对结果为比对不通过，则确定待测试支付系统V5.0和待测试支付系统的其他版本V4.0的比对结果为比对不通过，详见下表4。

表4

除了上述方式之外，还可以采用其他方式确定待测试系统与待测试系统的其他版本，对于确定待测试系统与待测试系统的其他版本的具体方式，本发明实施例在此不进行具体限定。

需要说明的是，除了输出待测试系统与待测试系统的其他版本的比对信息和输出待测试系统与待测试系统的其他版本的比对结果之外，本发明实施例提供的方法还可以输出待测试系统与待测试系统的其他版本的比对结果。输出的形式可以有很多种，可以将比对结果以文件的形式发送给用户之外，还可以将比对结果直接显示给用户。具体显示时，可以针对在不同测试场景中的不同测试点，将待测试系统和待测试系统的一个或多个其他版本在该测试场景的测试点中对应的测试结果用图形方式进行显示，图形至少包括直方图、扇形图、曲线图等。用户通过输出的图形能够更直观地了解待测试系统相对于系统的其他版本在该测试场景中的测试点的性能变化情况。例如，针对在测试场景“买家付款”中的测试点“系统处理能力”，将待测试支付系统V5.0和待测试系统的版本1.0至版本V4.0在该测试场景中的测试点的测试结果用直方图的方式进行显示，如图3（c）所示。

由于现有技术中在对待测试系统进行测试点的性能测试，得到待测试系统对应的测试结果后，只能直接输出待测试系统对应的测试结果，用户无法直接判断待测试系统与系统的其他版本之间的性能差异。而本发明实施例提供的方法在得到待测试系统对应的测试结果后，还可以通过上述步骤204至步骤205，将待测试系统与待测试系统的其他版本对应的测试结果进行比对，输出比对信息和比对结果，使得用户根据输出的比对信息和比对结果可以更直接的判断待测试系统与待测试系统的其他版本之间的性能差异，从而能够在后期有针对性的对待测试系统的性能进行改进。

在具体实施时，本发明实施例提供的系统性能测试的执行主体可以是计算机、服务器等设备，本发明实施例提供的系统性能测试的执行主体与待测试系统可以为一个主体；也可以不为一个主体，而是通过网络相互连接，以完成系统性能测试的任务。参见图4，以本发明实施例提供的系统性能测试的执行主体与待测试系统不为一个主体为例，401为本发明实施例提供的系统性能测试的执行主体，402为待测试系统，401和402通过网络相互连接。本发明实施例提供的系统性能测试的执行主体的结构如图5所示，其中，系统性能测试的执行主体包括任务管理平台501和性能测试平台502。任务管理平台501用于用户发起系统性能测试请求，并根据预先设置的测试因素与系统标识的对应关系获取待测试系统的系统标识对应的测试因素，将获取到的测试因素发送给性能测试平台502；性能测试平台502中的任务调度引擎5021用于执行系统性能测试的任务，场景构造引擎5022用于构造测试场景，并发送指令给多个压力发生器5023；多个压力发生器5023接收到指令后，发送模拟指令给待测试系统，并将待测试系统返回的测试结果输出给任务调度引擎5021；任务调度引擎5021将待测试系统对应的测试结果发送给性能比对引擎5024；性能比对引擎5024用于从测试结果数据库5025中获取待测试系统的其他版本对应的测试结果，并将系统的测试版本对应的测试结果和待测试系统的其他版本对应的测试结果进行比对，得到比对信息和比对结果，并输出比对信息和比对结果。

综上所述，本发明实施例提供的方法，通过获取待测试系统的系统标识对应的测试因素，并根据测试因素对待测试系统进行测试点的性能测试，输出待测试系统对应的测试结果，实现了快速获取待测试系统的测试因素，使得系统性能测试的过程较为简单且耗费时间较短，提高了系统性能测试的效率。并且，通过将待测试系统和待测试系统的其他版本对应的测试结果进行比对，并输出比对信息和比对结果，使得用户能够更直观地获知待测试系统与待测试系统的其他版本之间的性能差异。

实施例三

本发明实施例提供了一种系统性能测试的装置，该装置用于执行上述实施例一或实施例二提供的系统性能测试的方法。参见图6，该装置包括：

第一获取模块601，用于获取待测试系统的系统标识；

第二获取模块602，用于根据预先设置的测试因素与系统标识的对应关系获取第一获取模块601获取到待测试系统的系统标识对应的测试因素，测试因素至少包括初始化脚本、测试工具和测试场景；

测试模块603，用于根据第二获取模块602获取到的测试因素对待测试系统进行测试点的性能测试；

第一输出模块604，用于输出测试模块603得到的待测试系统对应的测试结果；

其中，测试点包括系统处理能力、系统处理耗时、系统处理成功率、CPU占用率和内存占用率中的至少一个。

优选地，参见图7，该装置还包括：

构建模块605，用于预先构建不同系统对应的测试因素；

存储模块606，用于对构建模块605构建的测试因素进行存储；

分配模块607，用于为每个系统分配对应的系统标识；

建立模块608，用于建立构建模块605构建的测试因素与分配模块607分配的系统标识的对应关系。

具体地，测试模块603，用于根据测试因素的初始化脚本对待测试系统进行初始化；在测试因素的测试场景中，采用测试因素的测试工具对初始化后的待测试系统进行测试点的性能测试。

优选地，参见图8，该装置还包括：

第三获取模块609，用于获取对待测试系统的其他版本进行测试点的性能测试之后输出的待测试系统的其他版本对应的测试结果；

第二输出模块610，用于根据测试模块得到的待测试系统对应的测试结果与第三获取模块609得到的待测试系统的其他版本对应的测试结果，输出待测试系统与待测试系统的其他版本的比对信息。

具体地，第二输出模块610，用于获取待测试系统对应的测试结果与待测试系统的其他版本对应的测试结果之间的比值，根据比值输出待测试系统与待测试系统的其他版本的比对信息。

具体地，第二输出模块610，还用于将比值与预设阈值进行比较，根据比较结果输出待测试系统与待测试系统的其他版本的比对结果。

综上所述，本发明实施例提供的装置，通过获取待测试系统的系统标识对应的测试因素，并根据测试因素对待测试系统进行测试点的性能测试，输出待测试系统对应的测试结果，实现了快速获取待测试系统的测试因素，使得系统性能测试的过程较为简单且耗费时间较短，提高了系统性能测试的效率。并且，通过将待测试系统和待测试系统的其他版本对应的测试结果进行比对，并输出比对信息和比对结果，使得用户能够更直观地获知待测试系统与待测试系统的其他版本之间的性能差异。

实施例四

参见图9，本发明实施例提供了一种终端，该终端可以用于实施上述实施例中提供的系统性能测试的方法。具体来讲：

终端900可以包括RF（Radio Frequency，射频）电路110、包括有一个或一个以上计算机可读存储介质的存储器120、输入单元130、显示单元140、传感器150、音频电路160、WiFi(wireless fidelity，无线保真)模块170、包括有一个或者一个以上处理核心的处理器180、以及电源190等部件。本领域技术人员可以理解，图9中示出的终端结构并不构成对终端的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。其中：

RF电路110可用于收发信息或通话过程中，信号的接收和发送，特别地，将基站的下行信息接收后，交由一个或者一个以上处理器180处理；另外，将涉及上行的数据发送给基站。通常，RF电路110包括但不限于天线、至少一个放大器、调谐器、一个或多个振荡器、用户身份模块（SIM）卡、收发信机、耦合器、LNA（Low Noise Amplifier，低噪声放大器）、双工器等。此外，RF电路110还可以通过无线通信与网络和其他设备通信。所述无线通信可以使用任一通信标准或协议，包括但不限于GSM(Global System of Mobile communication，全球移动通讯系统)、GPRS(General Packet Radio Service，通用分组无线服务)、CDMA(CodeDivision Multiple Access，码分多址)、WCDMA(Wideband Code Division MultipleAccess,宽带码分多址)、LTE(Long Term Evolution,长期演进)、电子邮件、SMS(ShortMessaging Service，短消息服务)等。

存储器120可用于存储软件程序以及模块，处理器180通过运行存储在存储器120的软件程序以及模块，从而执行各种功能应用以及数据处理。存储器120可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、功能所需的应用程序（比如声音播放功能、图像播放功能等）等；存储数据区可存储根据终端900的使用所创建的数据（比如音频数据、电话本等）等。此外，存储器120可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。相应地，存储器120还可以包括存储器控制器，以提供处理器180和输入单元130对存储器120的访问。

输入单元130可用于接收输入的数字或字符信息，以及产生与用户设置以及功能控制有关的键盘、鼠标、操作杆、光学或者轨迹球信号输入。具体地，输入单元130可包括触敏表面131以及其他输入设备132。触敏表面131，也称为触摸显示屏或者触控板，可收集用户在其上或附近的触摸操作（比如用户使用手指、触笔等任何适合的物体或附件在触敏表面131上或在触敏表面131附近的操作），并根据预先设定的程式驱动相应的连接装置。可选的，触敏表面131可包括触摸检测装置和触摸控制器两个部分。其中，触摸检测装置检测用户的触摸方位，并检测触摸操作带来的信号，将信号传送给触摸控制器；触摸控制器从触摸检测装置上接收触摸信息，并将它转换成触点坐标，再送给处理器180，并能接收处理器180发来的命令并加以执行。此外，可以采用电阻式、电容式、红外线以及表面声波等多种类型实现触敏表面131。除了触敏表面131，输入单元130还可以包括其他输入设备132。具体地，其他输入设备132可以包括但不限于物理键盘、功能键（比如音量控制按键、开关按键等）、轨迹球、鼠标、操作杆等中的一种或多种。

显示单元140可用于显示由用户输入的信息或提供给用户的信息以及终端900的各种图形用户接口，这些图形用户接口可以由图形、文本、图标、视频和其任意组合来构成。显示单元140可包括显示面板141，可选的，可以采用LCD(Liquid Crystal Display，液晶显示器)、OLED(Organic Light-Emitting Diode,有机发光二极管)等形式来配置显示面板141。进一步的，触敏表面131可覆盖显示面板141，当触敏表面131检测到在其上或附近的触摸操作后，传送给处理器180以确定触摸事件的类型，随后处理器180根据触摸事件的类型在显示面板141上提供相应的视觉输出。虽然在图9中，触敏表面131与显示面板141是作为两个独立的部件来实现输入和输入功能，但是在某些实施例中，可以将触敏表面131与显示面板141集成而实现输入和输出功能。

终端900还可包括至少一种传感器150，比如光传感器、运动传感器以及其他传感器。具体地，光传感器可包括环境光传感器及接近传感器，其中，环境光传感器可根据环境光线的明暗来调节显示面板141的亮度，接近传感器可在终端900移动到耳边时，关闭显示面板141和/或背光。作为运动传感器的一种，重力加速度传感器可检测各个方向上（一般为三轴）加速度的大小，静止时可检测出重力的大小及方向，可用于识别手机姿态的应用（比如横竖屏切换、相关游戏、磁力计姿态校准）、振动识别相关功能（比如计步器、敲击）等;至于终端900还可配置的陀螺仪、气压计、湿度计、温度计、红外线传感器等其他传感器，在此不再赘述。

音频电路160、扬声器161，传声器162可提供用户与终端900之间的音频接口。音频电路160可将接收到的音频数据转换后的电信号，传输到扬声器161，由扬声器161转换为声音信号输出；另一方面，传声器162将收集的声音信号转换为电信号，由音频电路160接收后转换为音频数据，再将音频数据输出处理器180处理后，经RF电路110以发送给比如另一终端，或者将音频数据输出至存储器120以便进一步处理。音频电路160还可能包括耳塞插孔，以提供外设耳机与终端900的通信。

WiFi属于短距离无线传输技术，终端900通过WiFi模块170可以帮助用户收发电子邮件、浏览网页和访问流式媒体等，它为用户提供了无线的宽带互联网访问。虽然图9示出了WiFi模块170，但是可以理解的是，其并不属于终端900的必须构成，完全可以根据需要在不改变发明的本质的范围内而省略。

处理器180是终端900的控制中心，利用各种接口和线路连接整个手机的各个部分，通过运行或执行存储在存储器120内的软件程序和/或模块，以及调用存储在存储器120内的数据，执行终端900的各种功能和处理数据，从而对手机进行整体监控。可选的，处理器180可包括一个或多个处理核心；优选的，处理器180可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器180中。

终端900还包括给各个部件供电的电源190（比如电池），优选的，电源可以通过电源管理系统与处理器180逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。电源190还可以包括一个或一个以上的直流或交流电源、再充电系统、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。

尽管未示出，终端900还可以包括摄像头、蓝牙模块等，在此不再赘述。具体在本实施例中，终端的显示单元是触摸屏显示器，终端还包括有存储器，以及一个或者一个以上的程序，其中一个或者一个以上程序存储于存储器中，且经配置以由一个或者一个以上处理器执行述一个或者一个以上程序包含用于进行以下操作的指令：

获取待测试系统的系统标识；

根据预先设置的测试因素与系统标识的对应关系获取待测试系统的系统标识对应的测试因素，测试因素至少包括初始化脚本、测试工具和测试场景；

根据测试因素对待测试系统进行测试点的性能测试，输出待测试系统对应的测试结果；

其中，测试点包括系统处理能力、系统处理耗时、系统处理成功率、CPU占用率和内存占用率中的至少一个。

假设上述为第一种可能的实施方式，则在第一种可能的实施方式作为基础而提供的第二种可能的实施方式中，终端的存储器中，还包含用于执行以下操作的指令：

预先构建并存储不同系统对应的测试因素；

为每个系统分配对应的系统标识，并建立测试因素与系统标识的对应关系。

在第一种可能的实施方式作为基础而提供的第三种可能的实施方式中，终端的存储器中，还包含用于执行以下操作的指令：

根据测试因素的初始化脚本对待测试系统进行初始化；

在测试因素的测试场景中，采用测试因素的测试工具对初始化后的待测试系统进行测试点的性能测试。

在第一种可能的实施方式、第二种可能的实施方式、或第三种可能的实施方式作为基础而提供的第四种可能的实施方式中，终端的存储器中，还包含用于执行以下操作的指令：

获取对待测试系统的其他版本进行测试点的性能测试之后输出的待测试系统的其他版本对应的测试结果；

根据待测试系统对应的测试结果与待测试系统的其他版本对应的测试结果，输出待测试系统与待测试系统的其他版本的比对信息。

在第四种可能的实施方式作为基础而提供的第五种可能的实施方式中，终端的存储器中，还包含用于执行以下操作的指令：

获取待测试系统对应的测试结果与待测试系统的其他版本对应的测试结果之间的比值，根据比值输出待测试系统与待测试系统的其他版本的比对信息。

在第五种可能的实施方式作为基础而提供的第六种可能的实施方式中，终端的存储器中，还包含用于执行以下操作的指令：

将比值与预设阈值进行比较，根据比较结果输出待测试系统与待测试系统的其他版本的比对结果。

综上所述，本发明实施例提供的终端，通过获取待测试系统的系统标识对应的测试因素，并根据测试因素对待测试系统进行测试点的性能测试，输出待测试系统对应的测试结果，实现了快速获取待测试系统的测试因素，使得系统性能测试的过程较为简单且耗费时间较短，提高了系统性能测试的效率。并且，通过将待测试系统和待测试系统的其他版本对应的测试结果进行比对，并输出比对信息和比对结果，使得用户能够更直观地获知待测试系统与待测试系统的其他版本之间的性能差异。

实施例五

本发明实施例提供了一种计算机可读存储介质，该计算机可读存储介质可以是上述实施例中的存储器中所包含的计算机可读存储介质；也可以是单独存在，未装配入终端中的计算机可读存储介质。所述计算机可读存储介质存储有一个或者一个以上程序，所述一个或者一个以上程序被一个或者一个以上的处理器用来执行一个系统性能测试的方法，所述方法包括：

获取待测试系统的系统标识；

根据预先设置的测试因素与系统标识的对应关系获取待测试系统的系统标识对应的测试因素，测试因素至少包括初始化脚本、测试工具和测试场景；

根据测试因素对待测试系统进行测试点的性能测试，输出待测试系统对应的测试结果；

其中，测试点包括系统处理能力、系统处理耗时、系统处理成功率、CPU占用率和内存占用率中的至少一个。

假设上述为第一种可能的实施方式，则在第一种可能的实施方式作为基础而提供的第二种可能的实施方式中，该方法还包括：

预先构建并存储不同系统对应的测试因素；

为每个系统分配对应的系统标识，并建立测试因素与系统标识的对应关系。

在第一种可能的实施方式作为基础而提供的第三种可能的实施方式中，根据测试因素对待测试系统进行测试点的性能测试，包括：

根据测试因素的初始化脚本对待测试系统进行初始化；

在测试因素的测试场景中，采用测试因素的测试工具对初始化后的待测试系统进行测试点的性能测试。

在第一种可能的实施方式、第二种可能的实施方式、或第三种可能的实施方式作为基础而提供的第四种可能的实施方式中，该方法还包括：

获取对待测试系统的其他版本进行测试点的性能测试之后输出的待测试系统的其他版本对应的测试结果；

根据待测试系统对应的测试结果与待测试系统的其他版本对应的测试结果，输出待测试系统与待测试系统的其他版本的比对信息。

在第四种可能的实施方式作为基础而提供的第五种可能的实施方式中，根据待测试系统对应的测试结果与待测试系统的其他版本对应的测试结果，输出待测试系统与待测试系统的其他版本的比对信息，包括：

获取待测试系统对应的测试结果与待测试系统的其他版本对应的测试结果之间的比值，根据比值输出待测试系统与待测试系统的其他版本的比对信息。

在第五种可能的实施方式作为基础而提供的第六种可能的实施方式中，该方法还包括：

将比值与预设阈值进行比较，根据比较结果输出待测试系统与待测试系统的其他版本的比对结果。

综上所述，本发明实施例提供的计算机可读存储介质，通过获取待测试系统的系统标识对应的测试因素，并根据测试因素对待测试系统进行测试点的性能测试，输出待测试系统对应的测试结果，实现了快速获取待测试系统的测试因素，使得系统性能测试的过程较为简单且耗费时间较短，提高了系统性能测试的效率。并且，通过将待测试系统和待测试系统的其他版本对应的测试结果进行比对，并输出比对信息和比对结果，使得用户能够更直观地获知待测试系统与待测试系统的其他版本之间的性能差异。

需要说明的是：上述实施例提供的系统性能测试的装置在系统性能测试时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将系统性能测试的装置的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的系统性能测试的装置与系统性能测试的方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。

上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (13)

1.一种系统性能测试的方法，其特征在于，所述方法包括：

获取待测试系统的系统标识，每一个系统对应一个系统标识，所述系统标识不随所述系统版本的变化而改变；

根据预先设置的测试因素与系统标识的对应关系获取所述待测试系统的系统标识对应的测试因素，所述测试因素至少包括初始化脚本、测试工具和测试场景；

根据所述测试因素对所述待测试系统进行测试点的性能测试，输出所述待测试系统对应的测试结果；

其中，所述测试点包括系统处理能力、系统处理耗时、系统处理成功率、中央处理单元CPU占用率和内存占用率中的至少一个。

2.根据权利要求1所述的方法，其特征在于，所述方法还包括：

预先构建并存储不同系统对应的测试因素；

为每个系统分配对应的系统标识，并建立测试因素与系统标识的对应关系。

3.根据权利要求1所述的方法，其特征在于，所述根据所述测试因素对所述待测试系统进行测试点的性能测试，包括：

根据所述测试因素的初始化脚本对所述待测试系统进行初始化；

在所述测试因素的测试场景中，采用所述测试因素的测试工具对初始化后的待测试系统进行测试点的性能测试。

4.根据权利要求1至3中任一项权利要求所述的方法，其特征在于，所述方法还包括：

获取对所述待测试系统的其他版本进行所述测试点的性能测试之后输出的所述待测试系统的其他版本对应的测试结果；

根据所述待测试系统对应的测试结果与所述待测试系统的其他版本对应的测试结果，输出所述待测试系统与所述待测试系统的其他版本的比对信息。

5.根据权利要求4所述的方法，其特征在于，所述根据所述待测试系统对应的测试结果与所述待测试系统的其他版本对应的测试结果，输出所述待测试系统与所述待测试系统的其他版本的比对信息，包括：

获取所述待测试系统对应的测试结果与所述待测试系统的其他版本对应的测试结果之间的比值，根据所述比值输出所述待测试系统与所述待测试系统的其他版本的比对信息。

6.根据权利要求5所述的方法，其特征在于，所述方法还包括：

将所述比值与预设阈值进行比较，根据比较结果输出所述待测试系统与所述待测试系统的其他版本的比对结果。

7.一种系统性能测试的装置，其特征在于，所述装置包括：

第一获取模块，用于获取待测试系统的系统标识，每一个系统对应一个系统标识，所述系统标识不随所述系统版本的变化而改变；

第二获取模块，用于根据预先设置的测试因素与系统标识的对应关系获取所述第一获取模块获取到待测试系统的系统标识对应的测试因素，所述测试因素至少包括初始化脚本、测试工具和测试场景；

测试模块，用于根据所述第二获取模块获取到的测试因素对所述待测试系统进行测试点的性能测试；

第一输出模块，用于输出所述测试模块得到的所述待测试系统对应的测试结果；

其中，所述测试点包括系统处理能力、系统处理耗时、系统处理成功率、中央处理单元CPU占用率和内存占用率中的至少一个。

8.根据权利要求7所述的装置，其特征在于，所述装置还包括：

构建模块，用于预先构建不同系统对应的测试因素；

存储模块，用于对所述构建模块构建的测试因素进行存储；

分配模块，用于为每个系统分配对应的系统标识；

建立模块，用于建立所述构建模块构建的测试因素与所述分配模块分配的系统标识的对应关系。

9.根据权利要求7所述的装置，其特征在于，所述测试模块，用于根据所述测试因素的初始化脚本对所述待测试系统进行初始化；在所述测试因素的测试场景中，采用所述测试因素的测试工具对初始化后的待测试系统进行测试点的性能测试。

10.根据权利要求7至9中任一项权利要求所述的装置，其特征在于，所述装置还包括：

第三获取模块，用于获取对所述待测试系统的其他版本进行所述测试点的性能测试之后输出的所述待测试系统的其他版本对应的测试结果；

第二输出模块，用于根据所述测试模块得到的所述待测试系统对应的测试结果与所述第三获取模块得到的所述待测试系统的其他版本对应的测试结果，输出所述待测试系统与所述待测试系统的其他版本的比对信息。

11.根据权利要求10所述的装置，其特征在于，所述第二输出模块，用于获取所述待测试系统对应的测试结果与所述待测试系统的其他版本对应的测试结果之间的比值，根据所述比值输出所述待测试系统与所述待测试系统的其他版本的比对信息。

12.根据权利要求11所述的装置，其特征在于，所述第二输出模块，还用于将所述比值与预设阈值进行比较，根据比较结果输出所述待测试系统与所述待测试系统的其他版本的比对结果。

13.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有一个或者一个以上程序，所述一个或者一个以上程序被一个或者一个以上的处理器用来执行以实现所述权利要求1-6中任一所述的系统性能测试的方法。