CN115033469A - 网站系统性能测试方法及装置、设备和存储介质 - Google Patents

Abstract

本公开提供一种网站系统性能测试方法及装置、设备和存储介质。所述方法包括：通过预设的启动模式启动测试工具；通过预设的测试技术模板设定测试计划；设置测试工具的线程组和线程组的集合点；在集合点，通过测试工具的线程组执行测试计划，获得测试结果。通过所述网站系统性能测试方法能够基于测试计划和线程组的设置，通过测试工具模拟大量用户访问或操作的场景，从而可发现用户数量较多时可能出现的问题，以及在相关测试中无法靠人工发现的问题，从而提升网络的运行稳定性、安全性和效率。

Description

网站系统性能测试方法及装置、设备和存储介质

技术领域

本公开涉及计算机技术领域，尤其涉及一种网站系统性能测试方法及装置、设备和存储介质。

背景技术

在相关技术中，绝大多数应用都是基于网络的分布式应用，即，终端设备(例如，计算机、手机等)中的应用大多数都需要连接至网络才可使用，在这种应用中，通常无法知道用户数量。由于用户场景的不确定性，导致应用的不稳定性。例如，一个或少量用户使用应用、访问网络可能不会暴露出问题，但是用户数量较多时，就可能出现各种各样的问题，而这种问题在相关技术中关于应用的功能、逻辑、接口等测试中很难发现。

公开于本申请背景技术部分的信息仅仅旨在加深对本申请的一般背景技术的理解，而不应当被视为承认或以任何形式暗示该信息构成已为本领域技术人员所公知的现有技术。

发明内容

本公开实施例提供一种网站系统性能测试方法及装置、设备和存储介质，能够基于测试计划和线程组的设置，通过测试工具模拟大量用户访问或操作的场景，从而可发现用户数量较多时可能出现的问题，以及在相关测试中无法靠人工发现的问题，从而提升网络的运行稳定性、安全性和效率。

本公开实施例的第一方面，提供一种网站系统性能测试方法,包括：通过预设的启动模式启动测试工具；通过预设的测试技术模板设定测试计划；设置所述测试工具的线程组和所述线程组的集合点；在所述集合点，通过所述测试工具的线程组执行所述测试计划，获得测试结果。

根据本公开的实施例，通过预设的启动模式启动测试工具，包括：在bin下以管理员身份运行jmeter.bat，以启动JMeter测试工具。

根据本公开的实施例，所述测试计划包括线程组的数量、逻辑控制器、采样器、监听器、定时器、断言和配置信息中的至少一种。

根据本公开的实施例，设置所述测试工具的线程组，包括以下中的至少一种：通过Http Request Defaults配置元件，设置HTTP默认请求值；通过HTTP信息头管理器，设置cookie验证信息；设置HTTP请求方式，所述请求方式包括get或者post方式；设置监听器。

根据本公开的实施例，在所述集合点，通过所述测试工具的线程组执行所述测试计划，获得测试结果，包括：不断迭代调整所述测试计划，并通过所述测试工具执行所述测试计划，获得测试参数，所述测试参数用于反映应用或服务器的性能上限，性能稳定性或者出现问题的因素或几率；设置与所述测试参数相关的断言；在所述不断迭代调整所述测试计划，并通过所述测试工具执行所述测试计划，获得测试参数的过程中，根据不断获得的所述测试参数，确定断言结果；根据所述断言结果确定所述测试结果。

根据本公开的实施例，所述测试参数包括：样本数目、最新样本、吞吐量、响应时间平均值、响应时间中间值、响应时间方差。

根据本公开的实施例，所述方法还包括：根据所述测试结果，通过PerfMon(Servers Performance Monitoring)插件确定终端设备和服务器的内存和CPU是否出现问题。

本公开实施例的第二方面，提供一种网站系统性能测试方法,包括：启动模块，用于通过预设的启动模式启动测试工具；设定模块，用于通过预设的测试技术模板设定测试计划；设置模块，用于设置所述测试工具的线程组和所述线程组的集合点；测试模块，用于在所述集合点，通过所述测试工具的线程组执行所述测试计划，获得测试结果。

根据本公开的实施例，所述启动模块被进一步配置为：在bin下以管理员身份运行jmeter.bat，以启动JMeter测试工具。

根据本公开的实施例，所述测试计划包括线程组的数量、逻辑控制器、采样器、监听器、定时器、断言和配置信息中的至少一种。

根据本公开的实施例，所述设置模块被进一步配置为：通过Http RequestDefaults配置元件，设置HTTP默认请求值；通过HTTP信息头管理器，设置cookie验证信息；设置HTTP请求方式，所述请求方式包括get或者post方式；和/或设置监听器。

根据本公开的实施例，所述测试模块被进一步配置为：不断迭代调整所述测试计划，并通过所述测试工具执行所述测试计划，获得测试参数，所述测试参数用于反映应用或服务器的性能上限，性能稳定性或者出现问题的因素或几率；设置与所述测试参数相关的断言；在所述不断迭代调整所述测试计划，并通过所述测试工具执行所述测试计划，获得测试参数的过程中，根据不断获得的所述测试参数，确定断言结果；根据所述断言结果确定所述测试结果。

根据本公开的实施例，所述测试参数包括：样本数目、最新样本、吞吐量、响应时间平均值、响应时间中间值、响应时间方差。

根据本公开的实施例，所述装置还包括：状况模块，被配置为：根据所述测试结果，通过PerfMon(Servers Performance Monitoring)插件确定终端设备和服务器的内存和CPU是否出现问题。

本公开实施例的第三方面，提供一种网站系统性能测试设备，包括：处理器；用于存储处理器可执行指令的存储器；其中，所述处理器被配置为调用所述存储器存储的指令，以执行所述方法。

本公开实施例的第四方面，提供一种计算机可读存储介质，其上存储有计算机程序指令，其特征在于，所述计算机程序指令被处理器执行时实现所述方法。

附图说明

图1示例性地示出本公开的网站系统性能测试方法的流程示意图；

图2示例性地示出本公开的网站系统性能测试方法的应用实例示意图；

图3示例性地示出本公开的网站系统性能测试装置的框图；

图4是根据一示例性实施例示出的一种网站系统性能测试设备的框图；

图5是根据一示例性实施例示出的一种网站系统性能测试设备的框图。

具体实施方式

为使本公开实施例的目的、技术方案和优点更加清楚，下面将结合本公开实施例中的附图，对本公开实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本公开一部分实施例，而不是全部的实施例。基于本公开中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本公开保护的范围。

本公开的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本公开的实施例能够以除了在这里图示或描述的那些以外的顺序实施。

应当理解，在本公开的各种实施例中，各过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本公开实施例的实施过程构成任何限定。

应当理解，在本公开中，“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

应当理解，在本公开中，“多个”是指两个或两个以上。“和/或”仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。“包含A、B和C”、“包含A、B、C”是指A、B、C三者都包含，“包含A、B或C”是指包含A、B、C三者之一，“包含A、B和/或C”是指包含A、B、C三者中任1个或任2个或3个。

应当理解，在本公开中，“与A对应的B”、“与A相对应的B”、“A与B相对应”或者“B与A相对应”，表示B与A相关联，根据A可以确定B。根据A确定B并不意味着仅仅根据A确定B，还可以根据A和/或其他信息确定B。A与B的匹配，是A与B的相似度大于或等于预设的阈值。

取决于语境，如在此所使用的“若”可以被解释成为“在……时”或“当……时”或“响应于确定”或“响应于检测”。

下面以具体地实施例对本公开的技术方案进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例不再赘述。

图1示例性地示出本公开的网站系统性能测试方法的流程示意图，如图1所示，所述方法包括：

步骤S1：通过预设的启动模式启动测试工具；

步骤S2：通过预设的测试技术模板设定测试计划；

步骤S3：设置所述测试工具的线程组和所述线程组的集合点；

步骤S4：在所述集合点，通过所述测试工具的线程组执行所述测试计划，获得测试结果。

根据本公开的实施例，在相关技术中，在对终端设备中的应用进行测试时，通常仅测试应用的功能、逻辑、接口等方面，但当前的终端设备中的应用通常为网络应用，因此，在较多数量的用户同时使用应用，并访问网络时，有可能出现问题，而对于这种情况，相关技术中关于功能、逻辑、接口等方面的测试是无法发现该问题的。

根据本公开的实施例，针对这种问题，可对应用进行性能测试，尤其是模拟用户数量众多时，该应用访问网络时的性能测试，从而测试应用在用户数量众多时的运行稳定性。

根据本公开的实施例，可使用Apache组织开发的基于Java的压力测试工具JMeter，对应用进行性能测试，尤其测试应用及其对应的服务器的性能能够经受住众多用户同时使用时产生的运行压力。

根据本公开的实施例，在步骤S1中，可通过预设的启动模式启动测试工具。在示例中，通过预设的启动模式启动测试工具，包括：在bin下以管理员身份运行jmeter.bat，以启动JMeter测试工具。

根据本公开的实施例，通过管理员身份模式启动测试工具，可提升测试工具的权限，可根据测试中的指令直接做出相应处理，而不需要每次处理均获取权限。尤其在模拟大量用户访问网络时，大量用户均需要访问权限，而如果每次访问均需要获取权限，则会大幅增大获取权限的操作次数，降低访问效率。而如果直接以管理员身份模式启动测试工具，则可默认具有访问权限，可对网络进行直接访问，提升访问效率和测试效率。

在示例中，可在bin下以管理员身份运行jmeter.bat，从而启动JMeter测试工具。本公开对以管理员身份模式启动的具体方式不做限制。

根据本公开的实施例，在步骤S2中，可通过预设的测试技术模板设定测试计划。在示例中，在启动JMeter测试工具时，可加载测试技术模板，该测试技术模板可用于设置测试计划，以用于在测试过程中执行测试计划。例如，在测试计划可设置模拟多少用户，以何种方式访问网络，访问网络时进行何种操作等，从而可基于测试计划模拟上述场景，从而测试应用及其服务器的性能。

根据本公开的实施例，所述测试计划包括线程组的数量、逻辑控制器、采样器、监听器、定时器、断言和配置信息中的至少一种。所述线程组可模拟访问网络的线程，在测试计划中包括线程组的数量，可模拟该数量的用户进行访问网络、执行操作等处理，从而对应用及其服务器的性能进行测试。

根据本公开的实施例，所述逻辑控制器可用于确定访问网络和执行处理时的运算逻辑，例如，不同的访问方式和不同的处理可对应于不同的运算逻辑，可通过设置逻辑控制器来实现各种访问方式和各种处理，从而可支持在模拟大量用户以多种方式访问网络或执行多种处理时的运算逻辑。

根据本公开的实施例，所述采样器可用于在测试过程中采集应用的运行数据，例如，采集某个时刻的访问量、某次访问的响应时间等，从而可作为样本，进行测试结果的分析。

根据本公开的实施例，所述监听器可完整监测测试过程，全程获取测试过程中的各种信息，从而可基于所述各种信息确定测试结果，为基于测试结果进行后续的性能分析提供数据基础。

根据本公开的实施例，所述定时器可确定测试中的时间信息，例如，确定测试的总时长，确定测试中某个时间发生的时刻，确定响应时长等。在示例中，定时器可用于记录每次访问的时刻，记录访问成功事件发生的时刻和/或访问失败事件发生的时刻等，本公开对定时器的用途不做具体限制。

根据本公开的实施例，所述断言为判断语句，可用于确定测试中的各种事件是否发生，以及确定测试的结果，例如，可根据测试中的某个参数来确定是否访问成功或是否访问失败，或者，可根据测试中的多个参数，来确定测试结果以及应用和服务器的性能。

根据本公开的实施例，在设置测试计划后，可将测试计划进行保存，例如，修改名称为Apitest，并进行保存，且选择保存路径。在后续的步骤中，每次添加或修改一些选项(例如，测试计划中的某些参数或信息)，测试工具并不会自动保存，所以进行测试后，尤其是修改测试计划够，如果需要保存本次测试中的测试计划的各种参数，可对测试计划进行手动保存。

根据本公开的实施例，可在步骤S3中，设置测试工具的线程组和线程组的集合点。在此步骤中设置的线程组可以是实际执行测试是的实际线程组，与测试计划中所记载的计划线程组可不一致。当然，也可按照测试计划中的线程组数量来进行设置，本公开对此不做限制。

根据本公开的实施例，除了上述设置线程组的数量外，还可设置线程组的其他信息，设置所述测试工具的线程组，包括以下中的至少一种：通过Http Request Defaults配置元件，设置HTTP默认请求值；通过HTTP信息头管理器，设置cookie验证信息；设置HTTP请求方式，所述请求方式包括get或者post方式；设置监听器。

即，可设置各线程组在访问网络时的HTTP默认请求值、HTTP信息头管理器、HTTP请求方式，从而实现每个线程对网络的特定地址的访问。并可全程监测访问过程，以确定访问过程中的各种参数和访问结果。在示例中，可在设置完成后，将线程组的信息进行保存，例如，以设定的文件名进行保存，本公开对文件名不做限制。

根据本公开的实施例，可设置线程组的HTTP默认请求值，HTTP请求默认值(HttpRequest Defaults)这个配置元件，可以将这些重复的配置都放在一起，其他的Sampler请求元件就不需要再配置这些重复的内容，因此，只要将这些信息留空，这个字段将自动继承HTTP请求默认值中的值，实现一次配置重复调用的效果。即，将一些多个线程都需要使用的值设为默认值，每个线程在使用这些值进行访问或处理时，均可直接将这些值确定为默认值，并直接使用，无需每次都确定这些值的具体参数，提升访问和处理提效率，也可提升测试效率。

根据本公开的实施例，可设置线程组的HTTP信息头管理器。在Jmeter工具向服务器发送http请求的时候，往往服务器需要一些验证信息，比如说web服务器需要cookie信息进行验证，这些验证信息一般设置在信息头(header)中。因此，在Jmeter工具中，可以通过HTTP信息头管理器来设置验证信息，从而可顺利访问网络，测试访问网络的性能。

根据本公开的实施例，还可设置HTTP请求方式，例如，get或者post方式，本公开对设置的HTTP请求方式不做限制，只要能够顺利访问网络即可。

根据本公开的实施例，可设置监听器，以全程监控各个线程的访问和处理过程，获得在访问和处理过程中产生的各种信息，从而可用于确定测试结果和分析应用和服务器的性能。

根据本公开的实施例，所述监听器可包括多种，例如，可添加图形结果监听器，可利用获得的数据生成图像结果，向测试者直观地展示数据，便于测试者分析。例如，可添加结果树监听器，可利用结果树的形式展示数据，例如，在数据符合某种情况时，展示结果树的某个分支，在另一种情况时，展示结果树的另一个分支等，便于测试者基于结果树的分支更直观地了解测试情况。又例如，可添加聚合报告监听器，可将数据进行汇总和初步分析，生成报告，可简单报告数据的情况和初步结果，便于测试者了解初步信息，进行进一步地分析。

根据本公开的实施例，还可设置线程组的集合点，所述集合点为测试过程中的测试点，或者将多个线程进行几种的点，从而可测试该点的性能。例如，在测试网络访问的性能时，可使多个线程同时访问某个地址，该地址(例如，应用的后台服务器)可看做集合点，从而可确定集合点的性能。所述集合点可设置一个或多个，也可设置部分线程的集合点，例如，将一部分线程的集合点设为A，将另一部分的集合点设为B。本公开对集合点的设置不做限制。

根据本公开的实施例，在步骤S4中，可在集合点处通过测试工具的线程组执行测试计划，例如，可通过多个线程访问集合点，并执行测试计划中的处理。例如，根据测试计划，使部分或全部线程访问某个地址，并执行某种处理(例如，获取某个数据或某个多媒体资源等处理)，从而在测试过程中获取执行上述访问和处理操作的测试参数。进而基于测试参数获得测试结果。

根据本公开的实施例，步骤S4可包括：不断迭代调整所述测试计划，并通过所述测试工具执行所述测试计划，获得测试参数，所述测试参数用于反映应用或服务器的性能上限，性能稳定性或者出现问题的因素或几率；设置与所述测试参数相关的断言；在所述不断迭代调整所述测试计划，并通过所述测试工具执行所述测试计划，获得测试参数的过程中，根据不断获得的所述测试参数，确定断言结果；根据所述断言结果确定所述测试结果。

根据本公开的实施例，在测试的执行过程中，测试计划并非是一成不变的，例如，在根据测试计划中的线程和运算逻辑执行访问和处理操作时，获得了多种测试参数，该测试参数仅可反映当前测试计划下应用和服务器的性能，无法表示在各种情况下应用和服务器的性能，也无法测试应用和服务器的性能上限，容易出现问题的方面等因素。因此，可在完成一次测试后，可迭代改变测试计划，例如，改变线程数、逻辑指令、访问地址等信息，并继续进行测试，可经过反复测试，得出各种情况下的测试参数，即，不断调整测试计划，不断试探应用或服务器的性能上限，性能稳定性或者出现问题的因素或几率。所述测试参数包括：样本数目、最新样本、吞吐量、响应时间平均值、响应时间中间值、响应时间方差。

根据本公开的实施例，所述样本数目可表示发送至服务器的请求数目，例如，请求访问服务器的请求数目，或者请求获取服务器中的某些数据或信息的请求数目等。

根据本公开的实施例，所述最新样本表示服务器接收到最后一个请求的时刻。

根据本公开的实施例，所述吞吐量可表示服务器每个单位时间段内处理的请求数量，在不断改变线程数的过程中，可测试吞吐量的上限。从而确定应用和服务器的性能。

根据本公开的实施例，响应时间平均值表示一定时间段，或一次测试中，服务器对于请求的平均响应时间。

根据本公开的实施例，响应时间中间值表示一定时间段，或一次测试中，服务器对于请求的响应时间的中位数。

根据本公开的实施例，响应时间方差表示一定时间段，或一次测试中，服务器对于请求的响应时间的方差，可确定响应时间是否稳定，同时也可确定服务器或应用的性能是否稳定。

根据本公开的实施例，在不断获取上述测试参数后，可设置与测试参数相关的断言，例如，在何种情况下，达到应用或服务器的性能上限，在何种情况下，服务器和应用的性能稳定，在何种情况下，服务器和应用出现某些方面的问题等。并可根据实际的测试参数确定断言结果，即，对于性能上限、稳定性，出现问题的因素或几率等。并将这些因素确定为测试结果。

根据本公开的实施例，进一步地，还可基于上述测试结果，确定终端设备或服务器的CPU和内存是否出现问题。所述方法还包括：根据所述测试结果，通过PerfMon(ServersPerformance Monitoring)插件确定终端设备和服务器的内存和CPU是否出现问题。在示例中，在测试过程中，除了应用本身的性能限制外，还可能收到服务器和终端设备的CPU和内存的影响，例如，服务器或终端设备的CPU运算效率较低，则可能导致应用的访问或执行效率低，响应时间长，服务器或终端设备的内存被大量占用，则可能导致数据读取速度慢，命令响应速度慢等。因此，除了确定应用本身的测试结果外，还可确定终端设备和服务器的内存和CPU是否出现问题。在示例中，可通过PerfMon(Servers Performance Monitoring)插件确定终端设备和服务器的内存和CPU是否出现问题，即，确定终端设备和服务器的内存和CPU的运行状况。如果出现问题，则可及时排除问题，提升处理效率。

通过本公开的网站系统性能测试方法，可基于测试计划和线程组的设置，通过测试工具模拟大量用户访问或操作的场景，从而可发现用户数量较多时可能出现的问题，以及在相关测试中无法靠人工发现的问题，从而提升网络的运行稳定性、安全性和效率。

图2示例性地示出本公开的网站系统性能测试方法的应用实例示意图，如图2所示，可首先设置测试计划，例如，可在测试计划中设置线程组的数量、逻辑控制器等，从而模拟多个用户访问网络以及执行某些处理的场景。此外，还可设置采样器、监听器、定时器、断言和配置信息等。

根据本公开的实施例，可设置线程组的集合点，即，测试性能的测试点，可将多个线程的访问和处理集中与集合点，以测试集合点的性能和运行稳定性。所述集合点可包括服务器、终端设备中的应用等。

根据本公开的实施例，可设置线程组的HTTP请求，例如，设置HTTP默认请求值、HTTP信息头管理器、HTTP请求方式等，从而基于正则化的表达式来执行请求和处理。并通过监听器实时获取测试中的参数。

根据本公开的实施例，在开始测试时，可不断迭代修改测试计划，不断通过各种情况来测试各个集合点的性能和稳定性。并可添加断言，以判断各个集合点的运行情况，从而确定其性能和稳定性。

根据本公开的实施例，可基于监听器查看结果树、聚合报告等，从而使得测试者直观地获取当前的测试情况，还可基于测试情况来修改测试计划。进一步地，还可基于结果树、聚合报告等信息以及断言结果等信息来确定测试结果，例如，可确定应用或服务器的性能上限，以及运行是否稳定等。

根据本公开的实施例，还可确定终端设备或服务器的CPU和内存是否存在问题，例如，存在性能短板，限制了应用的访问和处理，或者一些其他的故障问题等。

图3示例性地示出本公开的网站系统性能测试装置的框图，如图3所示，所述装置包括：

启动模块11，用于通过预设的启动模式启动测试工具；

设定模块12，用于通过预设的测试技术模板设定测试计划；

设置模块13，用于设置所述测试工具的线程组和所述线程组的集合点；

测试模块14，用于在所述集合点，通过所述测试工具的线程组执行所述测试计划，获得测试结果。

根据本公开的实施例，所述启动模块被进一步配置为：在bin下以管理员身份运行jmeter.bat，以启动JMeter测试工具。

根据本公开的实施例，所述测试计划包括线程组的数量、逻辑控制器、采样器、监听器、定时器、断言和配置信息中的至少一种。

根据本公开的实施例，所述设置模块被进一步配置为：通过Http RequestDefaults配置元件，设置HTTP默认请求值；通过HTTP信息头管理器，设置cookie验证信息；设置HTTP请求方式，所述请求方式包括get或者post方式；和/或设置监听器。

根据本公开的实施例，所述测试模块被进一步配置为：不断迭代调整所述测试计划，并通过所述测试工具执行所述测试计划，获得测试参数，所述测试参数用于反映应用或服务器的性能上限，性能稳定性或者出现问题的因素或几率；设置与所述测试参数相关的断言；在所述不断迭代调整所述测试计划，并通过所述测试工具执行所述测试计划，获得测试参数的过程中，根据不断获得的所述测试参数，确定断言结果；根据所述断言结果确定所述测试结果。

根据本公开的实施例，所述测试参数包括：样本数目、最新样本、吞吐量、响应时间平均值、响应时间中间值、响应时间方差。

根据本公开的实施例，所述装置还包括：状况模块，被配置为：根据所述测试结果，通过PerfMon(Servers Performance Monitoring)插件确定终端设备和服务器的内存和CPU是否出现问题。

在一些实施例中，本公开实施例提供的装置具有的功能或包含的模块可以用于执行上文方法实施例描述的方法，其具体实现可以参照上文方法实施例的描述，为了简洁，这里不再赘述。

本公开实施例还提出一种网站系统性能测试设备，包括：处理器；用于存储处理器可执行指令的存储器；其中，所述处理器被配置为调用所述存储器存储的指令，以执行上述方法。

图4是根据一示例性实施例示出的一种网站系统性能测试设备的框图；如图所示，所述设备包括以下一个或多个组件：处理组件1502，存储器1504，电源组件1506，多媒体组件1508，音频组件1510，输入/输出(I/O)的接口1512，传感器组件1514，以及通信组件1516。

处理组件1502通常控制设备1500的整体操作，诸如与显示，电话呼叫，数据通信，相机操作和记录操作相关联的操作。处理组件1502可以包括一个或多个处理器1520来执行指令，以完成上述的方法的全部或部分步骤。此外，处理组件1502可以包括一个或多个模块，便于处理组件1502和其他组件之间的交互。例如，处理组件1502可以包括多媒体模块，以方便多媒体组件1508和处理组件1502之间的交互。

存储器1504被配置为存储各种类型的数据以支持在设备1500的操作。这些数据的示例包括用于在设备1500上操作的任何应用程序或方法的指令，联系人数据，电话簿数据，消息，图片，视频等。存储器1504可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。

电源组件1506为设备1500的各种组件提供电力。电源组件1506可以包括电源管理系统，一个或多个电源，及其他与为设备1500生成、管理和分配电力相关联的组件。

多媒体组件1508包括在设备1500和用户之间的提供一个输出接口的屏幕。在一些实施例中，屏幕可以包括液晶显示器(LCD)和触摸面板(TP)。如果屏幕包括触摸面板，屏幕可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与触摸或滑动操作相关的持续时间和压力。在一些实施例中，多媒体组件1508包括一个前置摄像头和/或后置摄像头。当设备1500处于操作模式，如拍摄模式或视频模式时，前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是一个固定的光学透镜系统或具有焦距和光学变焦能力。

音频组件1510被配置为输出和/或输入音频信号。例如，音频组件1510包括一个麦克风(MIC)，当设备1500处于操作模式，如呼叫模式、记录模式和语音识别模式时，麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器1504或经由通信组件1516发送。在一些实施例中，音频组件1510还包括一个扬声器，用于输出音频信号。

I/O接口1512为处理组件1502和外围接口模块之间提供接口，上述外围接口模块可以是键盘，点击轮，按钮等。这些按钮可包括但不限于：主页按钮、音量按钮、启动按钮和锁定按钮。

传感器组件1514包括一个或多个传感器，用于为设备1500提供各个方面的状态评估。例如，传感器组件1514可以检测到设备1500的打开/关闭状态，组件的相对定位，例如组件为设备1500的显示器和小键盘，传感器组件1514还可以检测设备1500或设备1500一个组件的位置改变，用户与设备1500接触的存在或不存在，设备1500方位或加速/减速和设备1500的温度变化。传感器组件1514可以包括接近传感器，被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件1514还可以包括光传感器，如CMOS或CCD图像传感器，用于在成像应用中使用。在一些实施例中，该传感器组件1514还可以包括加速度传感器，陀螺仪传感器，磁传感器，压力传感器或温度传感器。

通信组件1516被配置为便于设备1500和其他设备之间有线或无线方式的通信。设备1500可以接入基于通信标准的无线网络，如WiFi、2G、3G、4G、5G或它们的组合、或对讲网络。在一个示例性实施例中，通信组件1516经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中，通信组件1516还包括近场通信(NFC)模块，以促进短程通信。例如，在NFC模块可基于射频识别(RFID)技术，红外数据协会(IrDA)技术，超宽带(UWB)技术，蓝牙(BT)技术和其他技术来实现。

在示例性实施例中，设备1500可以被一个或多个应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子组件实现，用于执行上述方法。

在示例性实施例中，还提供了一种包括指令的非临时性计算机可读存储介质，例如包括指令的存储器1504，上述指令可由设备1500的处理器1520执行以完成上述方法。例如，非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD ROM、磁带、软盘和光数据存储设备等。

图5是根据一示例性实施例示出的一种网站系统性能测试设备的框图。例如，所述设备1600可以被提供为一服务器。设备1600包括处理组件1602，其进一步包括一个或多个处理器，以及由存储器1603所代表的存储器资源，用于存储可由处理组件1602的执行的指令，例如应用程序。存储器1603中存储的应用程序可以包括一个或一个以上的每一个对应于一组指令的模块。此外，处理组件1602被配置为执行指令，以执行上述方法。

设备1600还可以包括一个电源组件1606被配置为执行设备1600的电源管理，一个有线或无线网络接口1605被配置为将设备1600连接到网络，和一个输入输出(I/O)接口1608。设备1600可以操作基于存储在存储器1603的操作系统，例如Windows ServerTM，MacOS XTM，UnixTM，LinuxTM，FreeBSDTM或类似。

本发明可以是方法、装置、系统和/或计算机程序产品。计算机程序产品可以包括计算机可读存储介质，其上载有用于执行本发明的各个方面的计算机可读程序指令。

计算机可读存储介质可以是可以保持和存储由指令执行设备使用的指令的有形设备。计算机可读存储介质例如可以是――但不限于――电存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或者上述的任意合适的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、静态随机存取存储器(SRAM)、便携式压缩盘只读存储器(CD-ROM)、数字多功能盘(DVD)、记忆棒、软盘、机械编码设备、例如其上存储有指令的打孔卡或凹槽内凸起结构、以及上述的任意合适的组合。这里所使用的计算机可读存储介质不被解释为瞬时信号本身，诸如无线电波或者其他自由传播的电磁波、通过波导或其他传输媒介传播的电磁波(例如，通过光纤电缆的光脉冲)、或者通过电线传输的电信号。

这里所描述的计算机可读程序指令可以从计算机可读存储介质下载到各个计算/处理设备，或者通过网络、例如因特网、局域网、广域网和/或无线网下载到外部计算机或外部存储设备。网络可以包括铜传输电缆、光纤传输、无线传输、路由器、防火墙、交换机、网关计算机和/或边缘服务器。每个计算/处理设备中的网络适配卡或者网络接口从网络接收计算机可读程序指令，并转发该计算机可读程序指令，以供存储在各个计算/处理设备中的计算机可读存储介质中。

用于执行本发明操作的计算机程序指令可以是汇编指令、指令集架构(ISA)指令、机器指令、机器相关指令、微代码、固件指令、状态设置数据、或者以一种或多种编程语言的任意组合编写的源代码或目标代码，所述编程语言包括面向对象的编程语言—诸如Smalltalk、C++等，以及常规的过程式编程语言—诸如“C”语言或类似的编程语言。计算机可读程序指令可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络—包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。在一些实施例中，通过利用计算机可读程序指令的状态信息来个性化定制电子电路，例如可编程逻辑电路、现场可编程门阵列(FPGA)或可编程逻辑阵列(PLA)，该电子电路可以执行计算机可读程序指令，从而实现本发明的各个方面。

这里参照根据本发明实施例的方法、装置(系统)和计算机程序产品的流程图和/或框图描述了本发明的各个方面。应当理解，流程图和/或框图的每个方框以及流程图和/或框图中各方框的组合，都可以由计算机可读程序指令实现。

这些计算机可读程序指令可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理单元，从而生产出一种机器，使得这些指令在通过计算机或其他可编程数据处理装置的处理单元执行时，产生了实现流程图和/或框图中的一个或多个方框中规定的功能/动作的装置。也可以把这些计算机可读程序指令存储在计算机可读存储介质中，这些指令使得计算机、可编程数据处理装置和/或其他设备以特定方式工作，从而，存储有指令的计算机可读介质则包括一个制造品，其包括实现流程图和/或框图中的一个或多个方框中规定的功能/动作的各个方面的指令。

也可以把计算机可读程序指令加载到计算机、其他可编程数据处理装置、或其他设备上，使得在计算机、其他可编程数据处理装置或其他设备上执行一系列操作步骤，以产生计算机实现的过程，从而使得在计算机、其他可编程数据处理装置、或其他设备上执行的指令实现流程图和/或框图中的一个或多个方框中规定的功能/动作。

附图中的流程图和框图显示了根据本发明的多个实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或指令的一部分，所述模块、程序段或指令的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

注意，除非另有直接说明，否则本说明书(包含任何所附权利要求、摘要和附图)中所揭示的所有特征皆可由用于达到相同、等效或类似目的的可替代特征来替换。因此，除非另有明确说明，否则所公开的每一个特征仅是一组等效或类似特征的一个示例。在使用到的情况下，进一步地、较优地、更进一步地和更优地是在前述实施例基础上进行另一实施例阐述的简单起头，该进一步地、较优地、更进一步地或更优地后带的内容与前述实施例的结合作为另一实施例的完整构成。在同一实施例后带的若干个进一步地、较优地、更进一步地或更优地设置之间可任意组合的组成又一实施例。

本领域的技术人员应理解，上述描述及附图中所示的本发明的实施例只作为举例而并不限制本发明。本发明的目的已经完整并有效地实现。本发明的功能及结构原理已在实施例中展示和说明，在没有背离所述原理下，本发明的实施方式可以有任何变形或修改。

最后应说明的是：以上各实施例仅用以说明本公开的技术方案，而非对其限制；尽管参照前述各实施例对本公开进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本公开各实施例技术方案的范围。

Claims (10)

1.一种网站系统性能测试方法，其特征在于，包括：

通过预设的启动模式启动测试工具；

通过预设的测试技术模板设定测试计划；

设置所述测试工具的线程组和所述线程组的集合点；

在所述集合点，通过所述测试工具的线程组执行所述测试计划，获得测试结果。

2.根据权利要求1所述的方法，其特征在于，通过预设的启动模式启动测试工具，包括：

在bin下以管理员身份运行jmeter.bat，以启动JMeter测试工具。

3.根据权利要求1所述的方法，其特征在于，所述测试计划包括线程组的数量、逻辑控制器、采样器、监听器、定时器、断言和配置信息中的至少一种。

4.根据权利要求1所述的方法，其特征在于，设置所述测试工具的线程组，包括以下中的至少一种：

通过Http Request Defaults配置元件，设置HTTP默认请求值；

通过HTTP信息头管理器，设置cookie验证信息；

设置HTTP请求方式，所述请求方式包括get或者post方式；

设置监听器。

5.根据权利要求1所述的方法，其特征在于，在所述集合点，通过所述测试工具的线程组执行所述测试计划，获得测试结果，包括：

不断迭代调整所述测试计划，并通过所述测试工具执行所述测试计划，获得测试参数，所述测试参数用于反映应用或服务器的性能上限，性能稳定性或者出现问题的因素或几率；

设置与所述测试参数相关的断言；

在所述不断迭代调整所述测试计划，并通过所述测试工具执行所述测试计划，获得测试参数的过程中，根据不断获得的所述测试参数，确定断言结果；

根据所述断言结果确定所述测试结果。

6.根据权利要求5所述的方法，其特征在于，所述测试参数包括：

样本数目、最新样本、吞吐量、响应时间平均值、响应时间中间值、响应时间方差。

7.根据权利要求1所述的方法，其特征在于，所述方法还包括：

根据所述测试结果，通过PerfMon(Servers Performance Monitoring)插件确定终端设备和服务器的内存和CPU是否出现问题。

8.一种网站系统性能测试工具，其特征在于，包括：

启动模块，用于通过预设的启动模式启动测试工具；

设定模块，用于通过预设的测试技术模板设定测试计划；

设置模块，用于设置所述测试工具的线程组和所述线程组的集合点；

测试模块，用于在所述集合点，通过所述测试工具的线程组执行所述测试计划，获得测试结果。

9.一种设备，其特征在于，包括：

处理器；

用于存储处理器可执行指令的存储器；

其中，所述处理器被配置为调用所述存储器存储的指令，以执行权利要求1至7中任意一项所述的方法。

10.一种计算机可读存储介质，其上存储有计算机程序指令，其特征在于，所述计算机程序指令被处理器执行时实现权利要求1至7中任意一项所述的方法。

Images