CN102946616A - 一种物联网中间件性能测试系统和测试方法 - Google Patents
一种物联网中间件性能测试系统和测试方法 Download PDFInfo
- Publication number
- CN102946616A CN102946616A CN2012104945129A CN201210494512A CN102946616A CN 102946616 A CN102946616 A CN 102946616A CN 2012104945129 A CN2012104945129 A CN 2012104945129A CN 201210494512 A CN201210494512 A CN 201210494512A CN 102946616 A CN102946616 A CN 102946616A
- Authority
- CN
- China
- Prior art keywords
- middleware
- test
- internet
- things
- performance
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Abstract
本申请提供了一种物联网中间件性能测试系统，包括：物联网模拟工具，用于模拟目的应用场景，生成与所述应用场景相对应的测试信息，并将所述测试信息发送到被测试的中间件；性能测试器，用于依据预设的测试指标采集所述物联网模拟工具和所述中间件之间、以及所述中间件的组成部分之间传输所述测试信息时生成的测试指标数据，并依据预设的分析规则对所述测试指标数据进行分析，得到所述中间件的性能测试结果。采用本申请提供的一种物联网中间件性能测试系统，无需搭建众多设备，测试工作简单、方便。而且将物联网中间件的处理过程按功能和流程进行了划分，采用了分段的测试指标数据采集方法，帮助测试人员更精确的定位了中间件的性能瓶颈。
Description
技术领域
本申请属于物联网领域，尤其涉及一种物联网中间件性能测试系统和测试方法。
背景技术
物联网是指通过无线射频识别（RFID，Radio Frequency Identification）装置、红外感应器、全球定位系统、激光扫描器等信息传感设备，按照约定的协议，把任何物品与互联网相连接，进行信息交换和通信，以实现智能化识别、定位、跟踪、监控和管理的一种网络。
物联网中间件作为传感设备与应用系统之间的桥梁，可以屏蔽各种不同规格型号的传感设备和各种不同协议标准的传感数据，为上层提供透明的同意的设备适配器接口，基于此接口，即使传感设备种类增加或品牌变更，上层应用端都不受影响、无需修改；另外，通过采用事件处理、数据挖掘与综合智能分析技术等核心关键技术，将原始传感数据提炼为有效的业务信息，使得物联网应用在数据分析与综合利用上效率不高的薄弱环节得以改善与加强，大大提高了物联网应用的效益。
物联网中间件由适配层、数据处理引擎、存储层和应用层四个部分组成，其作为一个软件产品，必须要通过严格的性能测试，以验证是否达到产品预期的目标。
但是在现有技术中，由于没有针对物联网中间件进行性能测试的测试方法和测试工具，所以对物联网中间件进行测试时，需要搭建真正的应用环境，包括大量的传感设备和客户终端等，而搭建众多设备组成的应用环境工作量极其巨大、复杂，而且众多的传感设备需要大量的资金，费用高。
发明内容
有鉴于此，本申请的目的在于提供一种物联网中间件性能测试系统和测试方法，能够虚拟物联网中间件的应用环境，对物联网中间件性能进行测试。
为保证本申请提供的一种物联网中间件性能测试系统在实际中的应用，本申请还提供了一种物联网中间件性能测试方法。
一种物联网中间件性能测试系统，包括：
物联网模拟工具，用于模拟目的应用场景，生成与所述应用场景相对应的测试信息，并将所述测试信息发送到被测试的中间件；
性能测试器，用于依据预设的测试指标采集所述物联网模拟工具和所述中间件之间、以及所述中间件的组成部分之间传输所述测试信息时生成的测试指标数据，并依据预设的分析规则对所述测试指标数据进行分析，得到所述中间件的性能测试结果。
上述的测试系统，优选的，所述性能测试器包括：
采集单元，用于依据预设的测试指标采集所述物联网模拟工具和所述中间件之间、以及所述中间件的组成部分之间传输所述测试信息时生成的测试指标数据；
分析单元，用于依据预设的分析规则对所述测试指标数据进行分析，得到所述中间件的性能测试结果。
上述的测试系统，优选的，所述性能测试器还包括：
显示单元，用于对所述测试指标数据和测试结果进行展示。
上述的测试系统，优选的，所述性能测试器还包括：
存储单元，用于对所述测试指标数据和测试结果进行存储。
上述的测试系统，优选的，还包括：
参数配置器，用于在启动所述物联网模拟工具和所述性能测试器进行测试前，依据目的应用场景，对所述物联网模拟工具进行参数配置。
上述的测试系统，优选的，所述物联网模拟工具包括：
传感模拟器，用于依据所述参数配置器配置的参数，产生与所述参数相应的测试传感信息，并将所述测试传感信息发送至中间件。
上述的测试系统，优选的，所述物联网模拟工具包括：
客户端模拟器，用于依据所述参数配置器配置的参数，模拟浏览器向所述物联网中间件的应用层发送测试访问请求，并接收所述物联网中间件返回的网页信息。
一种物联网中间件性能测试方法，所述方法应用于上述任一项所述的测试系统中，所述方法包括：
物联网模拟工具模拟目的应用场景，生成与所述应用场景相对应的测试信息，并将所述测试信息发送到被测试的所述中间件；
性能测试器依据预设的测试指标采集所述物联网模拟工具和所述中间件之间、以及所述中间件的组成部分之间传输所述测试信息时生成的测试指标数据，并依据预设的分析规则对所述测试指标数据进行分析，得到所述中间件的性能测试结果。
上述的测试方法，优选的，还包括：
在启动所述物联网模拟工具和所述性能测试器进行测试前，依据目的应用场景，对所述物联网模拟工具进行参数配置。
上述的测试方法，优选的，所述得到所述中间件性能测试结果之后还包括：
对所述测试指标数据和测试结果进行存储并展示。
本申请提供了一种物联网中间件性能测试系统，包括：物联网模拟工具，用于模拟目的应用场景，生成与所述应用场景相对应的测试信息，并将所述测试信息发送到被测试的中间件；性能测试器，用于依据预设的测试指标采集所述物联网模拟工具和所述中间件之间、以及所述中间件的组成部分之间传输所述测试信息时生成的测试指标数据，并依据预设的分析规则对所述测试指标数据进行分析，得到所述中间件的性能测试结果。采用本申请提供的一种物联网中间件性能测试系统，能够模拟应用场景中的测试信息生成，并对传输测试信息过程中生成的测试指标数据进行采集处理，即可得到该物联网中间件的性能。采用该系统，无需搭建众多设备，测试工作简单、方便。而且将物联网中间件的处理过程按功能和流程进行了划分，采用了分段的测试指标数据采集方法，帮助测试人员更精确的定位了中间件的性能瓶颈。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请提供的一种物联网中间件性能测试系统实施例1的结构示意图；
图2是本申请提供的一种物联网中间件性能测试系统实施例1的另一种结构示意图；
图3是本申请提供的一种物联网中间件性能测试系统实施例1中物联网模拟工具为传感模拟器时的测试信息传输路径图；
图4是本申请提供的一种物联网中间件性能测试系统实施例1中物联网模拟工具为客户端模拟器时的测试信息传输路径图；
图5是本申请提供的一种物联网中间件性能测试系统实施例2中的性能测试器的结构示意图；
图6是本申请提供的一种物联网中间件性能测试系统实施例3的结构示意图；
图7是本申请提供的一种物联网中间件性能测试系统实施例4的结构示意图；
图8是本申请提供的一种物联网中间件性能测试方法实施例1的流程图；
图9是本申请提供的一种物联网中间件性能测试方法实施例1的另一种流程图；
图10是本申请提供的一种物联网中间件性能测试方法实施例2的流程图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
实施例1
参见图1示出了本申请提供的一种物联网中间件性能测试系统实施例1的结构示意图，该测试系统包括：物联网模拟工具101和性能测试器102；
本申请实施例中应用的物联网中间件是由适配层、数据处理引擎、存储层和应用层四个部分组成，进入物联网中间件的测试信息是依次在这四个部分之间传输的。
其中，所述物联网模拟工具101用于模拟目的应用场景，生成与所述应用场景相对应的测试信息，并将所述测试信息发送到被测试的中间件；
其中，所述性能测试器102用于依据预设的测试指标采集所述物联网模拟工具和所述中间件之间、以及所述中间件的组成部分之间传输所述测试信息时生成的测试指标数据，并依据预设的分析规则对所述测试指标数据进行分析，得到所述中间件的性能测试结果。
当该物联网模拟工具101为传感模拟器1011作为测试工具，可创建大量虚拟的RFID Reader或传感器，并能提供多种可配置的测试模式，通过模式可以模拟各种海量传感数据产生的场景。
当该物联网模拟工具101为客户端模拟器1012时，客户端模拟器1012的测试信息传输为：模拟浏览器向所述物联网中间件的应用层发送测试访问请求，并接收所述物联网中间件返回的网页信息。
在实际实施中时，在中间件源码中为整个数据测试信息处理流程的时间段间加了些输出点，在这些时间点会输出测试指标数据，该测试指标数据被性能测试器102采集到，性能测试器102对该测试指标数据分析，就能得到该物联网中间件性能是否高效可靠。
参见图2，示出了本申请实施例1的另一种结构示意图，在图1所示结构，还包括：参数配置器103；
所述参数配置器103用于在启动所述物联网模拟工具101和所述性能测试器102进行测试前，依据目的应用场景，对所述物联网模拟工具101进行参数配置。
模拟不同的应用场景，需要输入到物联网中间件的测试信息也不同，因此需要根据模拟的场景，参数配置器103对传输测试信息至中间件的物联网模拟工具101进行参数配置，比如，当所述物联网模拟工具101为传感模拟器时，参数配置为传感设备的类型和个数，每个传感设备每秒发送的数据类型和数量级、测试执行时间和次数等；当所述物联网模拟工具101为客户端模拟器1012时，参数配置为客户端模拟器1012的web用户请求数、请求发送频率等。
当该物联网模拟工具101为传感模拟器1011时，传感模拟器1011为测试信息的产生地，需要对其进行参数配置，比如传感模拟器1011模拟几个什么类型的传感设备，发送什么类型什么数量级的传感信息，发送频率和周期等等，所述物联网模拟工具101产生的测试信息为测试传感信息。传感模拟器1011测试模式就是性能测试器102对传感模拟器1011进行参数配置得到的。
参数配置器103配置完成后启动物联网中间件，性能测试器102开始执行测试。
开始进行测试后，传感模拟器1011用于依据所述性能测试器配置的参数，产生与所述参数相应的测试传感信息，即模拟各种海量传感数据产生的场景，并将所述测试传感信息发送至中间件；该测试传感信息在中间件的适配层、数据处理引擎、存储层和应用层四个部分依次传输。
参见图3示出的本申请实施例1中该物联网模拟工具101为传感模拟器1011时的测试信息传输路径图，图中实线表示的是测试传感信息传输的路径，虚线表示的是测试指标数据传输的路径。
将从传感模拟器模拟生成测试传感信息到该测试传感信息在中间件进行传输的总过程进行分解，性能测试器102分别记录各段的响应时间等测试指标数据。
具体分解为：
T0时段：测试传感信息从由传感模拟器生成到发送到中间件适配层之间的过程。
参数配置：传感设备的类型和个数，每个传感设备每秒发送的数据类型和数量级、测试执行时间和次数等；
测试指标数据：传感模拟器的CPU（Central Processing Unit，中央处理器）使用率、内存使用率、平均传输时间、每秒数据吞吐量。
CPU使用率、内存使用率的针对传感模拟器的，这个结果是为了观摩传感模拟器作为数据发送方，硬件运行环境是否能够满足生成大数据量的要求。比如，测试时虚拟了1000个传感设备，每个设备每秒发送10次30K的数据包，运行使用时将CPU、内存置于100%，而实际上发送该测试传感信息的传感器是无法正常运行的，这样会直接影响最终测试结果，测出来的数据也就无法代表中间件的真实水平，因此也需要对传感模拟器的性能进行测试。
平均传输时间和每秒数据吞吐量属于中间件的一个指标信息，反映了中间件对传输的测试信息进行处理的能力。
T1时段：从适配层接收测试传感信息再发送给数据处理引擎之间的过程；
测试指标数据：平均响应时间、每秒数据吞吐量。
本时间段的起始点是适配层接收到该测试传感信息，终止点是数据处理引擎接收到该测试传感信息，因此，这段时间是指适配层对测试传感信息做协议解析和标准格式包装所用的时间，是针对适配层的处理过程的能力的，为了检验该中间件的适配层是否够高效和可靠的。
T2时段：从数据处理引擎接收测试传感信息再到处理完后发送给存储层之间的过程；
测试指标数据：平均响应时间、每秒数据吞吐量；以及物联网中间件的CPU使用率、内存使用率。
该时间段的起始点是数据处理引擎接收到测试传感信息，终止点为存储层接收到测试传感信息，因此这段时间是指数据处理引擎对该测试传感信息做业务逻辑处理所用的时间，比如分组、聚合、过滤等操作，该测试指标是针对这对处理过程的能力的，为了验证该中间件的数据处理引擎的性能是否够高效和可靠。
物联网中间件的CPU使用率、内存使用率，是为了确定该中间件作为数据接收传输的装置，其运行环境是否能够满足大数据量进行传输的要求。
客户端模拟器1012为测试信息的产生地，需要参数配置器103对其进行参数配置，客户端模拟器1012依据所述参数配置器103配置的参数，发送测试信息即测试访问请求。
客户端模拟器1012是一种类似LoadRunner的JEE性能测试工具，主要用于向物联网应用层发送网络访问请求，并记录下响应时间等测试指标数据。
在实际实施中时，在中间件源码中为整个数据测试信息处理流程的时间段间加了些输出点，在这些时间点会输出测试指标数据，该测试指标数据被性能测试器102采集到，性能测试器102对该测试指标数据分析，就能得到该物联网中间件性能是否高效可靠。
参见图4示出的本申请实施例1中该物联网模拟工具101为客户端模拟器1012时，测试信息传输路径图，图中实线表示的是客户端模拟器1012和中间件之间测试信息传输的路径，虚线表示的是测试指标数据传输的路径。
可记录为：
T3时段：中间件响应客户端模拟器1012发来的访问请求所需的时间。
参数配置：客户端模拟器1012的web用户请求数、请求发送频率等；
测试指标数据：平均响应时间、每秒数据吞吐量。
本时间段的起始点是客户端模拟器1012发送测试访问请求，终止点是客户端模拟器1012接收到了具有存储层中数据的网页信息，这段时间主要是中间件响应客户端模拟器1012发来的网络访问请求所用的时间，测试指标是针对中间件对网络请求支持的能力的，为了验证该中间件运行物联网Web应用是否足够高效和可靠。
将物联网中间件的处理过程按功能和流程划分，采用的分段的测试指标数据采集方法，帮助测试人员更精确的定位了中间件的性能瓶颈。
在实际运行时，为了降低性能测试器的运行对测试结果的影响，测试的环境可采用分布式架构，即物联网模拟工具（传感模拟器和客户端模拟器）、性能测试器和物联网中间件分别运行在局域网内的不同计算机上，但这些不同的机器首先要进行时钟同步。物联网模拟工具、性能测试器和物联网中间件之间的通信通过RMI（Remote Method Invocation，远程方法调用）实现。
由上述可知，本申请实施例1提供的一种物联网中间件性能测试系统，包括：物联网模拟工具，用于模拟目的应用场景，生成与所述应用场景相对应的测试信息，并将所述测试信息发送到被测试的中间件；性能测试器，用于依据预设的测试指标采集所述物联网模拟工具和所述中间件之间、以及所述中间件的组成部分之间传输的所述测试信息时生成的测试指标数据并处理，并依据预设的分析规则对所述测试指标数据进行分析，得到所述中间件的性能测试结果。采用本申请提供的一种物联网中间件性能测试系统，能够模拟应用场景中的测试信息生成，并对传输测试信息过程中生成的测试指标数据进行采集处理，即可得到该物联网中间件的性能。采用该系统，无需搭建众多设备，测试工作简单、方便。且将物联网中间件的处理过程按功能和流程进行了划分，采用了分段的测试指标数据采集方法，帮助测试人员更精确的定位了中间件的性能瓶颈。
实施例2
参见图1示出了本申请提供的一种物联网中间件性能测试系统实施例1的结构示意图，该系统包括：物联网模拟工具101和性能测试器102；
在本实施例中，对性能测试器102的一种实现方式进行说明。
参见图5，示出了本实施例2提供的一种物联网中间件性能测试系统中的性能测试器102的结构示意图，所述性能测试器102包括：采集器1021和分析器1022；
其中，所述采集器1021用于依据预设的测试指标采集所述物联网模拟工具101和所述中间件之间、以及所述中间件的组成部分之间传输所述测试信息时生成的测试指标数据；
采集器1021对测试信息传输过程中生成的测试指标数据进行采集，比如，当所述物联网模拟工具101为传感模拟器时，采集的包括T0时段的传感模拟器的使用率、内存使用率，平均传输时间、每秒数据吞吐量，T1时段的平均响应时间、每秒数据吞吐量，T2时段的平均响应时间、每秒数据吞吐量；以及物联网中间件的CPU使用率、内存使用率等，主要是针对传感模拟器和中间件的性能的一些测试指标数据。
当所述物联网模拟工具101为客户端模拟器1012时，采集的包括T3时段的平均响应时间、每秒数据吞吐量，主要是针对中间件性能的一些测试指标数据。
其中，所述分析器1022用于依据预设的分析规则对所述测试指标数据进行分析，得到分析结果。
分析器1022能够根据预设的分析规则对采集器1021采集得到的测试指标数据进行分析，判断该物联网中间件的性能是否良好、高效可靠。
该预设的分析规则为根据该被测试的中间件的设计标准，对其四个组成部分响应时间和每秒吞吐量进行设定范围，当该测试指标数据均处于设定范围内时，可知该中间件性能良好，可用于实际应用中，当该测试指标数据中的某项不满足设定的范围时，该项对应的中间件的组成部分性能较差，该中间件整体性能差，不能用于实际应用中，需要进行调整或改善。
由上述可知，本申请实施例2提供的一种物联网中间件性能测试系统，该系统中的性能测试器包括：采集器和分析器；所述采集器，用于依据预设的测试指标对所述物联网模拟工具和所述中间件之间、以及所述中间件的四个部分之间传输测试信息时生成的测试指标数据进行采集；所述分析器，用于依据预设的分析规则对所述测试指标数据进行分析，得到分析结果。依据该分析结果，测试人员能够对经过测试的中间件进行相应的处理。
实施例3
参见图6示出了本申请提供的一种物联网中间件性能测试系统实施例3中的性能测试器102的结构示意图，在图5所示的结构中，所述性能测试器102还包括：
查看器1023，用于对所述测试指标数据和分析结果进行展示。
查看器1023对采集器1021采集得到的测试指标数据进行展示，展示的内容还包括该测试指标数据采集的时段或位置等标志。方便测试人员对测试的原始测试信息进行了解。
查看器1023对分析器1022对测试指标数据分析得到分析结果进行展示，并将该分析结果对应的中间件或中间件组成部分的标志与该分析结果同步展示，方便测试人员对测试的结果进行查看。
实际应用中，可根据需要只对测试指标数据或测试结果进行展示，也可同时在查看器中对测试指标数据或测试结果进行展示，测试人员可对全部测试信息进行查看。
由上述可知，本申请实施例3提供了一种物联网中间件性能测试系统，该系统中的性能测试器还包括：查看器，用于对所述测试指标数据和分析结果进行展示，测试人员可通过查看器展示的内容，对测试指标数据和测试结果进行查看。
实施例4
参见图7示出了本申请提供的一种物联网中间件性能测试系统实施例4中的性能测试器102的结构示意图，在图5所示的结构中，所述性能测试器102还包括：
存储器1024，用于对所述测试指标数据和分析结果进行存储。
存储器1024对采集器1021采集得到的测试指标数据进行存储，存储的内容还包括该测试指标数据采集的时段或位置等标志，存储的测试指标数据将作为历史数据存档，方便后续的工作人员对测试的原始测试信息进行了解。
存储器1024对分析器1022对测试指标数据分析得到分析结果进行存储，并将该分析结果对应的中间件或中间件组成部分的标志与该分析结果同时存储，存储的分析结果将作为历史数据存档，方便后续的工作人员对测试的结果进行查看。
实际应用中，为保证存档测试信息的完整可靠，一般同时在存储器中对测试指标数据或测试结果存储，测试人员可对全部测试信息进行查看。
由上述可知，本申请实施例4提供了一种物联网中间件性能测试系统，该系统中的性能测试器还包括：存储器，用于对所述测试指标数据和分析结果进行存储，后续的工作人员可对存储测试指标数据和测试结果进行查看。
与上述的本申请提供的一种物联网中间件性能测试系统相对应的，本申请还提供的一种物联网中间件性能测试方法实施例。
实施例1
参见图8示出了本申请提供的一种物联网中间件性能测试方法实施例1的流程图，该方法包括：
步骤S101：物联网模拟工具模拟目的应用场景，生成与所述应用场景相对应的测试信息，并将所述测试信息发送到被测试的所述中间件；
当该物联网模拟工具101为传感模拟器1011作为测试工具，可创建大量虚拟的RFID Reader或传感器，并能提供多种可配置的测试模式，通过模式可以模拟各种海量传感数据产生的场景。
当该物联网模拟工具101为客户端模拟器1012时，客户端模拟器1012的测试信息传输为：模拟浏览器向所述物联网中间件的应用层发送测试访问请求，并接收所述物联网中间件返回的网页信息。
步骤S102：性能测试器依据预设的测试指标采集所述物联网模拟工具和所述中间件之间、以及所述中间件的组成部分之间传输所述测试信息时生成的测试指标数据，并依据预设的分析规则对所述测试指标数据进行分析，得到所述中间件的性能测试结果。
在实际实施中时，在中间件源码中为整个数据测试信息处理流程的时间段间加了些输出点，在这些时间点会输出测试指标数据，该测试指标数据被性能测试器102采集到，性能测试器102对该测试指标数据分析，就能得到该物联网中间件性能是否高效可靠。
参见图9，示出了本申请实施例1的另一种流程图，在图8所示流程图，步骤S101之前还包括：
步骤S103：在启动所述物联网模拟工具和所述性能测试器进行测试前，依据目的应用场景，对所述物联网模拟工具进行参数配置。
所述参数配置器103用于在启动所述物联网模拟工具101和所述性能测试器102进行测试前，依据目的应用场景，对所述物联网模拟工具101进行参数配置。
模拟不同的应用场景，需要输入到物联网中间件的测试信息也不同，因此需要根据模拟的场景，参数配置器103对传输测试信息至中间件的物联网模拟工具101进行参数配置，比如，当所述物联网模拟工具101为传感模拟器时，参数配置为传感设备的类型和个数，每个传感设备每秒发送的数据类型和数量级、测试执行时间和次数等；当所述物联网模拟工具101为客户端模拟器1012时，参数配置为客户端模拟器1012的web用户请求数、请求发送频率等。
当该物联网模拟工具101为传感模拟器1011时，传感模拟器1011为测试信息的产生地，需要对其进行参数配置，比如传感模拟器1011模拟几个什么类型的传感设备，发送什么类型什么数量级的传感信息，发送频率和周期等等，所述物联网模拟工具101产生的测试信息为测试传感信息。传感模拟器1011测试模式就是性能测试器102对传感模拟器1011进行参数配置得到的。
参数配置器103配置完成后启动物联网中间件，性能测试器102开始执行测试。
开始进行测试后，传感模拟器1011用于依据所述性能测试器配置的参数，产生与所述参数相应的测试传感信息，即模拟各种海量传感数据产生的场景，并将所述测试传感信息发送至中间件；该测试传感信息在中间件的适配层、数据处理引擎、存储层和应用层四个部分依次传输。
参见图3示出的本申请实施例1中该物联网模拟工具101为传感模拟器1011时的测试信息传输路径图，图中实线表示的是测试传感信息传输的路径，虚线表示的是测试指标数据传输的路径。
将从传感模拟器模拟生成测试传感信息到该测试传感信息在中间件进行传输的总过程进行分解，性能测试器102分别记录各段的响应时间等测试指标数据。
具体分解为：
T0时段：测试传感信息从由传感模拟器生成到发送到中间件适配层之间的过程。
参数配置：传感设备的类型和个数，每个传感设备每秒发送的数据类型和数量级、测试执行时间和次数等；
测试指标数据：传感模拟器的CPU使用率、内存使用率、平均传输时间、每秒数据吞吐量。
CPU使用率、内存使用率的针对传感模拟器的，这个结果是为了观摩传感模拟器作为数据发送方，硬件运行环境是否能够满足生成大数据量的要求。比如，测试时虚拟了1000个传感设备，每个设备每秒发送10次30K的数据包，运行使用时将CPU、内存置于100%，而实际上发送该测试传感信息的传感器是无法正常运行的，这样会直接影响最终测试结果，测出来的数据也就无法代表中间件的真实水平，因此也需要对传感模拟器的性能进行测试。
平均传输时间和每秒数据吞吐量属于中间件的一个指标信息，反映了中间件对传输的测试信息进行处理的能力。
T1时段：从适配层接收测试传感信息再发送给数据处理引擎之间的过程；
测试指标数据：平均响应时间、每秒数据吞吐量。
本时间段的起始点是适配层接收到该测试传感信息，终止点是数据处理引擎接收到该测试传感信息，因此，这段时间是指适配层对测试传感信息做协议解析和标准格式包装所用的时间，是针对适配层的处理过程的能力的，为了检验该中间件的适配层是否够高效和可靠的。
T2时段：从数据处理引擎接收测试传感信息再到处理完后发送给存储层之间的过程；
测试指标数据：平均响应时间、每秒数据吞吐量；以及物联网中间件的CPU使用率、内存使用率。
该时间段的起始点是数据处理引擎接收到测试传感信息，终止点为存储层接收到测试传感信息，因此这段时间是指数据处理引擎对该测试传感信息做业务逻辑处理所用的时间，比如分组、聚合、过滤等操作，该测试指标是针对这对处理过程的能力的，为了验证该中间件的数据处理引擎的性能是否够高效和可靠。
物联网中间件的CPU使用率、内存使用率，是为了确定该中间件作为数据接收传输的装置，其运行环境是否能够满足大数据量进行传输的要求。
客户端模拟器1012为测试信息的产生地，需要参数配置器103对其进行参数配置，客户端模拟器1012依据所述参数配置器103配置的参数，发送测试信息即测试访问请求。
客户端模拟器1012是一种类似LoadRunner的JEE性能测试工具，主要用于向物联网应用层发送网络访问请求，并记录下响应时间等测试指标数据。
在实际实施中时，在中间件源码中为整个数据测试信息处理流程的时间段间加了些输出点，在这节时间点会输出测试指标数据，该测试指标数据被性能测试器102采集到，性能测试器102对该测试指标数据分析，就能得到该物联网中间件性能是否高效可靠。
参见图4示出的本申请实施例1中该物联网模拟工具101为客户端模拟器1012时，测试信息传输路径图，图中实线表示的是客户端模拟器1012和中间件之间测试信息传输的路径，虚线表示的是测试指标数据传输的路径。
可记录为：
T3时段：中间件响应客户端模拟器1012发来的访问请求所需的时间。
参数配置：客户端模拟器1012的web用户请求数、请求发送频率等；
测试指标数据：平均响应时间、每秒数据吞吐量。
本时间段的起始点是客户端模拟器1012发送测试访问请求，终止点是客户端模拟器1012接收到了具有存储层中数据的网页信息，这段时间主要是中间件响应客户端模拟器1012发来的网络访问请求所用的时间，测试指标是针对中间件对网络请求支持的能力的，为了验证该中间件运行物联网Web应用是否足够高效和可靠。
将物联网中间件的处理过程按功能和流程划分，采用的分段的测试指标数据采集方法，帮助测试人员更精确的定位了中间件的性能瓶颈。
在实际运行时，为了降低性能测试器的运行对测试结果的影响，测试的环境可采用分布式架构，即物联网模拟工具（传感模拟器和客户端模拟器）、性能测试器和物联网中间件分别运行在局域网内的不同计算机上，但这些不同的机器首先要进行时钟同步。物联网模拟工具、性能测试器和物联网中间件之间的通信通过RMI实现。
由上述可知，本申请实施例1提供的一种物联网中间件性能测试方法，包括：物联网模拟工具模拟目的应用场景，生成与所述应用场景相对应的测试信息，并将所述测试信息发送到被测试的所述中间件；性能测试器依据预设的测试指标采集所述物联网模拟工具和所述中间件之间、以及所述中间件的组成部分之间传输的所述测试信息时生成的测试指标数据并处理，得到所述中间件性能测试结果。采用本申请提供的一种物联网中间件性能测试方法，能够模拟应用场景中的测试信息生成，并对传输测试信息过程中生成的测试指标数据进行采集处理，即可得到该物联网中间件的性能。采用该系统，无需搭建众多设备，测试工作简单、方便。
实施例2
参见图10示出了本申请提供的一种物联网中间件性能测试方法实施例2的流程图，在图8所示的流程图的步骤S102之后还包括：
步骤S104：对所述测试指标数据和测试结果进行存储并展示。
查看器1023对采集器1021采集得到的测试指标数据进行展示，展示的内容还包括该测试指标数据采集的时段或位置等标志。方便测试人员对测试的原始测试信息进行了解。
查看器1023对分析器1022对测试指标数据分析得到分析结果进行展示，并将该分析结果对应的中间件或中间件组成部分的标志与该分析结果同步展示，方便测试人员对测试的结果进行查看。
实际应用中，可根据需要只对测试指标数据或测试结果进行展示，也可同时在查看器中对测试指标数据或测试结果进行展示，测试人员可对全部测试信息进行查看。
存储器1024对采集器1021采集得到的测试指标数据进行存储，存储的内容还包括该测试指标数据采集的时段或位置等标志，存储的测试指标数据将作为历史数据存档，方便后续的工作人员对测试的原始测试信息进行了解。
存储器1024对分析器1022对测试指标数据分析得到分析结果进行存储，并将该分析结果对应的中间件或中间件组成部分的标志与该分析结果同时存储，存储的分析结果将作为历史数据存档，方便后续的工作人员对测试的结果进行查看。
实际应用中，为保证存档测试信息的完整可靠，一般同时在存储器中对测试指标数据或测试结果存储，测试人员可对全部测试信息进行查看。
在本申请提供的一种物联网中间件性能测试系统实施例和方法实施例中，性能测试器和参数配置器为两个完全相互独立的部分，但不限定于此，实施实施中，可将这两个集合在一台测试用计算机等装置中形成能够进行参数配置的性能测试平台。
在本申请提供的一种物联网中间件性能测试系统实施例中，性能测试器中包括查看器或存储器，但不限定于此，也可同时包括查看器和存储器。
由上述可知，本申请实施例3提供了一种物联网中间件性能测试方法，还包括：对所述测试指标数据和测试结果进行存储并展示，后续的工作人员可对存储测试指标数据和测试结果进行查看。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似部分互相参见即可。
以上所述仅是本申请的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本申请的保护范围。
Claims (10)
1.一种物联网中间件性能测试系统，其特征在于，包括：
物联网模拟工具，用于模拟目的应用场景，生成与所述应用场景相对应的测试信息，并将所述测试信息发送到被测试的中间件；
性能测试器，用于依据预设的测试指标采集所述物联网模拟工具和所述中间件之间、以及所述中间件的组成部分之间传输所述测试信息时生成的测试指标数据，并依据预设的分析规则对所述测试指标数据进行分析，得到所述中间件的性能测试结果。
2.根据权利要求1所述的测试系统，其特征在于，所述性能测试器包括：
采集单元，用于依据预设的测试指标采集所述物联网模拟工具和所述中间件之间、以及所述中间件的组成部分之间传输所述测试信息时生成的测试指标数据；
分析单元，用于依据预设的分析规则对所述测试指标数据进行分析，得到所述中间件的性能测试结果。
3.根据权利要求2所述的测试系统，其特征在于，所述性能测试器还包括：
显示单元，用于对所述测试指标数据和测试结果进行展示。
4.根据权利要求3所述的测试系统，其特征在于，所述性能测试器还包括：
存储单元，用于对所述测试指标数据和测试结果进行存储。
5.根据权利要求1所述的测试系统，其特征在于，还包括：
参数配置器，用于在启动所述物联网模拟工具和所述性能测试器进行测试前，依据目的应用场景，对所述物联网模拟工具进行参数配置。
6.根据权利要求5所述的测试系统，其特征在于，所述物联网模拟工具包括：
传感模拟器，用于依据所述参数配置器配置的参数，产生与所述参数相应的测试传感信息，并将所述测试传感信息发送至中间件。
7.根据权利要求5所述的测试系统，其特征在于，所述物联网模拟工具包括：
客户端模拟器，用于依据所述参数配置器配置的参数，模拟浏览器向所述物联网中间件的应用层发送测试访问请求，并接收所述物联网中间件返回的网页信息。
8.一种物联网中间件性能测试方法，其特征在于，所述方法应用于如权利要求1-7任一项所述的测试系统中，所述方法包括：
物联网模拟工具模拟目的应用场景，生成与所述应用场景相对应的测试信息，并将所述测试信息发送到被测试的所述中间件；
性能测试器依据预设的测试指标采集所述物联网模拟工具和所述中间件之间、以及所述中间件的组成部分之间传输所述测试信息时生成的测试指标数据，并依据预设的分析规则对所述测试指标数据进行分析，得到所述中间件的性能测试结果。
9.根据权利要求8所述的测试方法，其特征在于，还包括：
在启动所述物联网模拟工具和所述性能测试器进行测试前，依据目的应用场景，对所述物联网模拟工具进行参数配置。
10.根据权利要求9所述的测试方法，其特征在于，所述得到所述中间件性能测试结果之后还包括：
对所述测试指标数据和测试结果进行存储并展示。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201210494512.9A CN102946616B (zh) | 2012-11-21 | 2012-11-21 | 一种物联网中间件性能测试系统和测试方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201210494512.9A CN102946616B (zh) | 2012-11-21 | 2012-11-21 | 一种物联网中间件性能测试系统和测试方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN102946616A true CN102946616A (zh) | 2013-02-27 |
| CN102946616B CN102946616B (zh) | 2015-07-08 |
Family
ID=47729515
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201210494512.9A Active CN102946616B (zh) | 2012-11-21 | 2012-11-21 | 一种物联网中间件性能测试系统和测试方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN102946616B (zh) |
Cited By (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104809070A (zh) * | 2015-05-13 | 2015-07-29 | 上海新炬网络信息技术有限公司 | 基于数据库交易类中间件的性能分析方法 |
| CN106027319A (zh) * | 2016-07-22 | 2016-10-12 | 中国科学院计算技术研究所 | 一种仿真物联网资源服务系统及方法 |
| CN107302476A (zh) * | 2017-08-04 | 2017-10-27 | 上海爱数信息技术股份有限公司 | 一种测试异步交互系统的自动化测试方法与系统 |
| CN107632928A (zh) * | 2017-08-09 | 2018-01-26 | 深圳Tcl新技术有限公司 | 中间件的测试方法、装置和计算机可读存储介质 |
| WO2018054384A1 (zh) * | 2016-09-26 | 2018-03-29 | 上海中兴软件有限责任公司 | 无线指标测试方法、装置及系统和计算机存储介质 |
| CN108292254A (zh) * | 2015-12-26 | 2018-07-17 | 英特尔公司 | 用于验证设备的操作的技术 |
| CN108738061A (zh) * | 2018-05-30 | 2018-11-02 | 广东万丈金数信息技术股份有限公司 | 基于cmpp3.0协议的短信发送性能测试方法及系统 |
| CN109104315A (zh) * | 2018-08-20 | 2018-12-28 | 中国联合网络通信集团有限公司 | 一种物联网测试信号生成方法和系统 |
| CN109496416A (zh) * | 2016-08-25 | 2019-03-19 | 英特尔公司 | 对物联网网络进行未来验证和原型制作 |
| CN111273915A (zh) * | 2018-11-16 | 2020-06-12 | 中移（杭州）信息技术有限公司 | 一种中间件配置优化方法、装置、终端设备和介质 |
| CN111488271A (zh) * | 2020-03-10 | 2020-08-04 | 中移（杭州）信息技术有限公司 | 消息中间件的调优方法、系统、电子设备及存储介质 |
| WO2020173366A1 (zh) * | 2019-02-28 | 2020-09-03 | 阿里巴巴集团控股有限公司 | 一种压力测试方法、装置、设备和存储介质 |
| CN111897843A (zh) * | 2020-06-19 | 2020-11-06 | 深圳奇迹智慧网络有限公司 | 物联网数据流转策略的配置方法、装置和计算机设备 |
| US10904128B2 (en) | 2018-09-13 | 2021-01-26 | International Business Machines Corporation | Testing functionality of an Internet of Things environment |
| CN109787974B (zh) * | 2019-01-14 | 2021-06-22 | 浙江数链科技有限公司 | 报文数据流生成方法、装置、计算机设备和存储介质 |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10235480B2 (en) | 2016-06-15 | 2019-03-19 | International Business Machines Corporation | Simulation of internet of things environment |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101977398A (zh) * | 2010-09-25 | 2011-02-16 | 中国科学院计算技术研究所 | 一种传感器网络试验床无线环境模拟系统及其方法 |
| CN102143512A (zh) * | 2011-04-12 | 2011-08-03 | 中国科学院上海微系统与信息技术研究所 | 一种传感器网络信息处理支撑服务标准验证测试方法 |
| CN202077192U (zh) * | 2011-04-02 | 2011-12-14 | 中国科学院上海微系统与信息技术研究所 | 一种传感器网络信息处理支撑服务标准化验证测试平台 |
-
2012
- 2012-11-21 CN CN201210494512.9A patent/CN102946616B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101977398A (zh) * | 2010-09-25 | 2011-02-16 | 中国科学院计算技术研究所 | 一种传感器网络试验床无线环境模拟系统及其方法 |
| CN202077192U (zh) * | 2011-04-02 | 2011-12-14 | 中国科学院上海微系统与信息技术研究所 | 一种传感器网络信息处理支撑服务标准化验证测试平台 |
| CN102143512A (zh) * | 2011-04-12 | 2011-08-03 | 中国科学院上海微系统与信息技术研究所 | 一种传感器网络信息处理支撑服务标准验证测试方法 |
Non-Patent Citations (1)
| Title |
|---|
| 李强 等: "传感网中间件测试与实验平台", 《计算机研究与发展》, 15 September 2011 (2011-09-15), pages 265 - 270 * |
Cited By (22)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104809070A (zh) * | 2015-05-13 | 2015-07-29 | 上海新炬网络信息技术有限公司 | 基于数据库交易类中间件的性能分析方法 |
| CN108292254A (zh) * | 2015-12-26 | 2018-07-17 | 英特尔公司 | 用于验证设备的操作的技术 |
| CN106027319A (zh) * | 2016-07-22 | 2016-10-12 | 中国科学院计算技术研究所 | 一种仿真物联网资源服务系统及方法 |
| CN106027319B (zh) * | 2016-07-22 | 2019-05-07 | 中国科学院计算技术研究所 | 一种仿真物联网资源服务系统及方法 |
| CN109496416A (zh) * | 2016-08-25 | 2019-03-19 | 英特尔公司 | 对物联网网络进行未来验证和原型制作 |
| WO2018054384A1 (zh) * | 2016-09-26 | 2018-03-29 | 上海中兴软件有限责任公司 | 无线指标测试方法、装置及系统和计算机存储介质 |
| CN107302476A (zh) * | 2017-08-04 | 2017-10-27 | 上海爱数信息技术股份有限公司 | 一种测试异步交互系统的自动化测试方法与系统 |
| CN107302476B (zh) * | 2017-08-04 | 2021-07-09 | 上海爱数信息技术股份有限公司 | 一种测试异步交互系统的自动化测试方法与系统 |
| CN107632928A (zh) * | 2017-08-09 | 2018-01-26 | 深圳Tcl新技术有限公司 | 中间件的测试方法、装置和计算机可读存储介质 |
| CN108738061A (zh) * | 2018-05-30 | 2018-11-02 | 广东万丈金数信息技术股份有限公司 | 基于cmpp3.0协议的短信发送性能测试方法及系统 |
| CN108738061B (zh) * | 2018-05-30 | 2021-08-27 | 广东万丈金数信息技术股份有限公司 | 基于cmpp3.0协议的短信发送性能测试方法及系统 |
| CN109104315A (zh) * | 2018-08-20 | 2018-12-28 | 中国联合网络通信集团有限公司 | 一种物联网测试信号生成方法和系统 |
| CN109104315B (zh) * | 2018-08-20 | 2021-06-29 | 中国联合网络通信集团有限公司 | 一种物联网测试信号生成方法和系统 |
| US10904128B2 (en) | 2018-09-13 | 2021-01-26 | International Business Machines Corporation | Testing functionality of an Internet of Things environment |
| CN111273915A (zh) * | 2018-11-16 | 2020-06-12 | 中移（杭州）信息技术有限公司 | 一种中间件配置优化方法、装置、终端设备和介质 |
| CN111273915B (zh) * | 2018-11-16 | 2023-04-28 | 中移（杭州）信息技术有限公司 | 一种中间件配置优化方法、装置、终端设备和介质 |
| CN109787974B (zh) * | 2019-01-14 | 2021-06-22 | 浙江数链科技有限公司 | 报文数据流生成方法、装置、计算机设备和存储介质 |
| WO2020173366A1 (zh) * | 2019-02-28 | 2020-09-03 | 阿里巴巴集团控股有限公司 | 一种压力测试方法、装置、设备和存储介质 |
| CN111488271A (zh) * | 2020-03-10 | 2020-08-04 | 中移（杭州）信息技术有限公司 | 消息中间件的调优方法、系统、电子设备及存储介质 |
| CN111488271B (zh) * | 2020-03-10 | 2023-10-27 | 中移（杭州）信息技术有限公司 | 消息中间件的调优方法、系统、电子设备及存储介质 |
| CN111897843A (zh) * | 2020-06-19 | 2020-11-06 | 深圳奇迹智慧网络有限公司 | 物联网数据流转策略的配置方法、装置和计算机设备 |
| CN111897843B (zh) * | 2020-06-19 | 2023-10-31 | 深圳奇迹智慧网络有限公司 | 物联网数据流转策略的配置方法、装置和计算机设备 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN102946616B (zh) | 2015-07-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN102946616B (zh) | 一种物联网中间件性能测试系统和测试方法 | |
| CN103150238B (zh) | 一种服务请求处理方法、模拟性能测试方法及装置 | |
| CN106597947A (zh) | 变电站设备测试方法、服务器、测试仪及系统 | |
| CN101399715B (zh) | 一种光纤通道网络测试平台和测试方法 | |
| CN102736567A (zh) | 集中式测试控制方法及系统 | |
| CN102695187A (zh) | 基于分布式Web的6LoWPAN协议一致性测试装置及方法 | |
| CN103051500A (zh) | 一种服务网络系统的测试方法及系统 | |
| CN102801805A (zh) | 基于移动互联网技术的现场数据采集系统及方法 | |
| CN106787199A (zh) | 一种便携式子站模拟测试系统及方法 | |
| CN106094802A (zh) | 一种汽车电子控制器通讯测试系统及方法 | |
| CN105978751B (zh) | 一种无人机地面控制站时延特性测试评估系统 | |
| CN114707236A (zh) | 一种基于模型的虚实结合仿真试验方法 | |
| CN105117345A (zh) | 一种应用程序的接口测试方法及装置 | |
| CN101149858A (zh) | 一种金融交易的模拟测试方法 | |
| CN102590661B (zh) | 基于网络的智能变电站现场分布式智能测试方法 | |
| CN109408309A (zh) | 多终端的测试方法及装置 | |
| CN108072858A (zh) | 电能表质量管理方法、系统及终端设备 | |
| CN104462626A (zh) | 基于vmm验证方法学的rfif验证平台及实现方法 | |
| CN110990235A (zh) | 异构存储设备的性能数据管理方法、装置、设备及介质 | |
| Patel et al. | Simulation, modelling and packet sniffing facilities for IoT: A systematic analysis | |
| CN104615528A (zh) | 一种智能手机传感器数据在线采集与实时处理方法 | |
| CN102567162B (zh) | 一种基于dsp核的物理层系统验证装置及方法 | |
| CN101808082A (zh) | 一种支持多协议的设备仿真方法 | |
| CN105406996A (zh) | 一种智能变电站站控层mms通信仿真的方法 | |
| CN105183954A (zh) | 一种基于pxi的串行总线健康监测平台 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C14 | Grant of patent or utility model | ||
| GR01 | Patent grant |