CN107872352A - 一种网管系统的性能测试方法、装置及系统 - Google Patents

一种网管系统的性能测试方法、装置及系统 Download PDF

Info

Publication number
CN107872352A
CN107872352A CN201711202273.4A CN201711202273A CN107872352A CN 107872352 A CN107872352 A CN 107872352A CN 201711202273 A CN201711202273 A CN 201711202273A CN 107872352 A CN107872352 A CN 107872352A
Authority
CN
China
Prior art keywords
management system
network management
upgrading
performance indications
determined
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201711202273.4A
Other languages
English (en)
Other versions
CN107872352B (zh
Inventor
王立东
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Raisecom Technology Co Ltd
Original Assignee
Raisecom Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Raisecom Technology Co Ltd filed Critical Raisecom Technology Co Ltd
Priority to CN201711202273.4A priority Critical patent/CN107872352B/zh
Publication of CN107872352A publication Critical patent/CN107872352A/zh
Application granted granted Critical
Publication of CN107872352B publication Critical patent/CN107872352B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/08—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/08—Configuration management of networks or network elements
    • H04L41/0803—Configuration setting
    • H04L41/0806—Configuration setting for initial configuration or provisioning, e.g. plug-and-play
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/14—Network analysis or design
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/08—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
    • H04L43/0805—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters by checking availability

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Environmental & Geological Engineering (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)
  • Debugging And Monitoring (AREA)
  • Computer And Data Communications (AREA)

Abstract

本发明公开了一种网管系统的性能测试方法、装置及系统，在网管系统升级后，可以通过用例在升级前后的网管系统中运行，确定升级前后的网管系统的性能指标，进而可以确定至少包含有用例与升级前后的网管系统的性能指标之间关联关系的对比分析结果，从而可以直观地确定升级前后的网管系统的性能优劣，为网管系统的优化指明方向；此外，由于本发明中无需进行人工干预，可以大大减少人力成本，同时还可以保证未接触过性能测试的工程师同样可以使用，提高了该性能测试系统的实用性；并且，还可以实现实时地数据采集，以保证对网管系统进行实时、准确和高效的管理。

Description

一种网管系统的性能测试方法、装置及系统
技术领域
本发明涉及计算机技术领域，尤指一种网管系统的性能测试方法、装置及系统。
背景技术
通信系统中的网管系统作为通信系统的组成部分，用于提供通信设备操作的人机交互界面，并且随着通信系统的易用性的增加而变得越来越重要。其中，随着技术的进步、网管架构的更新、网络规模的扩大、以及开源软件的使用等，时常需要对网管系统进行升级，但由于网管系统属于软件系统，所以在网管系统升级后，会对中央处理器(CentralProcessing Unit,CPU)占用和内存占用的情况非常关注。
目前，为了对升级前后的网管系统的性能指标进行对比测试，一般选择手动分别测试的方法，即人工先后对升级前后的网管系统执行特定的操作，同时收集网管系统的性能指标；如此，虽然能够实现对升级前后的网管系统的性能指标进行对比分析，但由于采用人工的方式进行，使得人力成本大大增加，且测试分析的耗时较长；并且，由于采用人工的方式对CPU和内存的占用情况进行采集，使得结果具有一定的延后性，难以实现实时且准确地采集；此外，该种方法受测试分析人员的主观感受影响较大，难以实现客观地分析与评价；最后，单个系统(指升级前的网管系统或升级后的网管系统)的性能指标均是与时间相关的数据，与实际的操作没有关联起来，所以难以对实际的操作所占用内存和CPU的情况进行关联分析。
基于此，如何对升级前后的网管系统的性能指标进行高效、准确、客观地测试和分析，是本领域技术人员亟待解决的技术问题。
发明内容
本发明实施例提供了一种网管系统的性能测试方法、装置及系统，用以解决现有技术中存在的如何对升级前后的网管系统的性能指标进行高效、准确、客观地测试和分析的问题。
本发明实施例提供了一种网管系统的性能测试方法，包括：
在网管系统升级后，根据所述网管系统在升级前后的待测试性能指标，确定初始配置文件；所述初始配置文件至少包括：所述待测试性能指标，以及用于测试网管系统的待测试性能指标的用例；
根据确定出的所述初始配置文件，通过所述用例分别确定升级前后的网管系统的性能指标；
根据确定出的升级前后的网管系统的性能指标，确定至少包含有所述用例与升级前后的网管系统的性能指标之间关联关系的对比分析结果。
在一种可能的实施方式中，在本发明实施例提供的上述性能测试方法中，所述初始配置文件还包括：所述网管系统在升级前后的属性信息和所述待测试性能指标的采集周期；
所述根据所述网管系统在升级前后的待测试性能指标，确定初始配置文件，具体包括：
分别确定升级前后的网管系统的属性信息；
根据所述网管系统在升级前后的待测试性能指标，从预先设置的测试用例库中确定用于测试网管系统的待测试性能指标的用例；
根据所述网管系统在升级前后的所述待测试性能指标，确定所述待测试性能指标的采集周期。
在一种可能的实施方式中，在本发明实施例提供的上述性能测试方法中，在所述根据所述网管系统在升级前后的待测试性能指标，从预先设置的测试用例库中确定用于测试网管系统的待测试性能指标的用例之后，还包括：
根据用户对所述用例的关注程度，将至少部分用例确定为事务。
在一种可能的实施方式中，在本发明实施例提供的上述性能测试方法中，所述根据确定出的所述初始配置文件，通过所述用例分别确定升级前后的网管系统的性能指标，具体包括：
将所述用例分别在升级前的网管系统和升级后的网管系统中运行，并确定所述用例在升级前的网管系统和升级后的网管系统中的运行数据；
根据确定出的所述初始配置文件中的所述待测试性能指标的采集周期，分别采集所述用例在升级前的网管系统和升级后的网管系统中运行时的性能指标。
在一种可能的实施方式中，在本发明实施例提供的上述性能测试方法中，所述将所述用例分别在升级前的网管系统和升级后的网管系统中运行，并确定所述用例在升级前的网管系统和升级后的网管系统中的运行数据，具体包括：
对所述初始配置文件中的全部用例，均执行以下操作：
根据预先设置的在升级前后的网管系统中的界面适配器，将当前用例转换为用于在升级前后的网管系统中的界面运行的当前用例脚本；
调用转换后的所述当前用例脚本；
将所述当前用例脚本分别在升级前的网管系统和升级后的网管系统中的界面运行；
记录所述当前用例脚本在升级前的网管系统和升级后的网管系统中的运行数据。
在一种可能的实施方式中，在本发明实施例提供的上述性能测试方法中，在所述根据预先设置的在升级前后的网管系统中的界面适配器，将当前用例转换为用于在升级前后的网管系统中的界面运行的当前用例脚本之前，还包括：
确定所述当前用例是否为事务；
在确定所述当前用例为事务时，记录所述事务的开始时间。
在一种可能的实施方式中，在本发明实施例提供的上述性能测试方法中，在所述将所述当前用例脚本分别在升级前的网管系统和升级后的网管系统中的界面运行之后，还包括：
确定所述当前用例是否为事务；
在确定所述当前用例为事务时，记录所述事务的结束时间和耗时。
在一种可能的实施方式中，在本发明实施例提供的上述性能测试方法中，所述根据确定出的所述初始配置文件中的所述待测试性能指标的采集周期，分别采集所述用例在升级前的网管系统和升级后的网管系统中运行时的性能指标，具体包括：
根据确定出的所述初始配置文件中的所述待测试性能指标的采集周期，在通过预先设置的定时器确定出当前时间为采集时间时，调用预先设置的升级前后的网管系统中的采集接口；
采集处于所述当前时间运行的用例在升级前的网管系统和升级后的网管系统中运行时的性能指标。
在一种可能的实施方式中，在本发明实施例提供的上述性能测试方法中，所述根据确定出的升级前后的网管系统的性能指标，确定至少包含有所述用例与升级前后的网管系统的性能指标之间关联关系的对比分析结果，具体包括：
在所述用例为事务时，对通过每个事务确定出的升级前后的网管系统的性能指标，均执行以下操作：
对通过当前事务确定出的升级前后的网管系统的性能指标进行解析；
确定解析后的性能指标是否需要修正；
在确定解析后的性能指标不需要修正时，确定至少包含有所述当前事务与升级前后的网管系统的性能指标之间关联关系的对比分析结果；
在确定解析后的性能指标需要修正时，修正所述当前事务在所述初始配置文件；
根据修正后的初始配置文件，通过所述当前事务再次分别确定升级前后的网管系统的性能指标。
在一种可能的实施方式中，在本发明实施例提供的上述性能测试方法中，所述对通过当前事务确定出的升级前后的网管系统的性能指标进行解析，具体包括：
在确定出的升级前后的网管系统的性能指标中，提取所述当前事务的开始时间和结束时间；
根据提取到的所述当前事务的开始时间和结束时间，以及预设的提取规则，在确定出的升级前后的网管系统的性能指标中，提取与所述当前事务的开始时间对应的第一采集时间，以及与所述当前事务的结束时间对应的第二采集时间。
在一种可能的实施方式中，在本发明实施例提供的上述性能测试方法中，所述确定解析后的性能指标是否需要修正，具体包括：
确定提取到的所述第一采集时间和所述第二采集时间是否处于一个所述采集周期内；
在确定提取到的所述第一采集时间和所述第二采集时间处于一个所述采集周期内时，确定解析后的性能指标需要修正；
在确定提取到的所述第一采集时间和所述第二采集时间未处于一个所述采集周期内时，确定解析后的性能指标不需要修正。
在一种可能的实施方式中，在本发明实施例提供的上述性能测试方法中，所述确定至少包含有所述当前事务与升级前后的网管系统的性能指标之间关联关系的对比分析结果，具体包括：
在确定出的升级前后的网管系统的性能指标中，提取处于所述第一采集时间和所述第二采集时间之间的采集时间，并构成采集时间集合；
根据所述采集时间集合，以及确定出的升级前后的网管系统的性能指标，确定与所述采集时间集合对应的性能指标集合；
将所述性能指标集合中的最大值确定为所述当前事务在升级前后的网管系统中的性能指标。
在一种可能的实施方式中，在本发明实施例提供的上述性能测试方法中，所述修正所述当前事务在所述初始配置文件，具体包括：
将所述初始配置文件中的所述待测试性能指标的采集周期减半。
另一方面，本发明实施例还提供了一种网管系统的性能测试装置，包括：第一确定单元、第二确定单元和第三确定单元；
所述第一确定单元，用于在网管系统升级后，根据所述网管系统在升级前后的待测试性能指标，确定初始配置文件；所述初始配置文件至少包括：所述待测试性能指标，以及用于测试网管系统的待测试性能指标的用例；
所述第二确定单元，用于根据确定出的所述初始配置文件，通过所述用例分别确定升级前后的网管系统的性能指标；
所述第三确定单元，用于根据确定出的升级前后的网管系统的性能指标，确定至少包含有所述用例与升级前后的网管系统的性能指标之间关联关系的对比分析结果。
在一种可能的实施方式中，在本发明实施例提供的上述性能测试装置中，所述初始配置文件还包括：所述网管系统在升级前后的属性信息和所述待测试性能指标的采集周期；
所述第一确定单元，具体用于分别确定升级前后的网管系统的属性信息；根据所述网管系统在升级前后的待测试性能指标，从预先设置的测试用例库中确定用于测试网管系统的待测试性能指标的用例；根据所述网管系统在升级前后的所述待测试性能指标，确定所述待测试性能指标的采集周期。
在一种可能的实施方式中，在本发明实施例提供的上述性能测试装置中，所述第一确定单元，还具体用于根据用户对所述用例的关注程度，将至少部分用例确定为事务。
在一种可能的实施方式中，在本发明实施例提供的上述性能测试装置中，所述第二确定单元，包括：第一子确定单元和第二子确定单元；
所述第一子确定单元，用于将所述用例分别在升级前的网管系统和升级后的网管系统中运行，并确定所述用例在升级前的网管系统和升级后的网管系统中的运行数据；
所述第二子确定单元，用于根据确定出的所述初始配置文件中的所述待测试性能指标的采集周期，分别采集所述用例在升级前的网管系统和升级后的网管系统中运行时的性能指标。
在一种可能的实施方式中，在本发明实施例提供的上述性能测试装置中，所述第一子确定单元，具体用于对所述初始配置文件中的全部用例，均执行以下操作：根据预先设置的在升级前后的网管系统中的界面适配器，将当前用例转换为用于在升级前后的网管系统中的界面运行的当前用例脚本；调用转换后的所述当前用例脚本；将所述当前用例脚本分别在升级前的网管系统和升级后的网管系统中的界面运行；记录所述当前用例脚本在升级前的网管系统和升级后的网管系统中的运行数据。
在一种可能的实施方式中，在本发明实施例提供的上述性能测试装置中，所述第一子确定单元，还具体用于确定所述当前用例是否为事务；在确定所述当前用例为事务时，记录所述事务的开始时间。
在一种可能的实施方式中，在本发明实施例提供的上述性能测试装置中，所述第一子确定单元，还具体用于确定所述当前用例是否为事务；在确定所述当前用例为事务时，记录所述事务的结束时间和耗时。
在一种可能的实施方式中，在本发明实施例提供的上述性能测试装置中，所述第二子确定单元，具体用于根据确定出的所述初始配置文件中的所述待测试性能指标的采集周期，在通过预先设置的定时器确定出当前时间为采集时间时，调用预先设置的升级前后的网管系统中的采集接口；采集处于所述当前时间运行的用例在升级前的网管系统和升级后的网管系统中运行时的性能指标。
在一种可能的实施方式中，在本发明实施例提供的上述性能测试装置中，所述第三确定单元，具体用于在所述用例为事务时，对通过每个事务确定出的升级前后的网管系统的性能指标，均执行以下操作：对通过当前事务确定出的升级前后的网管系统的性能指标进行解析；确定解析后的性能指标是否需要修正；在确定解析后的性能指标不需要修正时，确定至少包含有所述当前事务与升级前后的网管系统的性能指标之间关联关系的对比分析结果；在确定解析后的性能指标需要修正时，修正所述当前事务在所述初始配置文件；根据修正后的初始配置文件，通过所述当前事务再次分别确定升级前后的网管系统的性能指标。
在一种可能的实施方式中，在本发明实施例提供的上述性能测试装置中，所述第三确定单元，具体用于在确定出的升级前后的网管系统的性能指标中，提取所述当前事务的开始时间和结束时间；根据提取到的所述当前事务的开始时间和结束时间，以及预设的提取规则，在确定出的升级前后的网管系统的性能指标中，提取与所述当前事务的开始时间对应的第一采集时间，以及与所述当前事务的结束时间对应的第二采集时间。
在一种可能的实施方式中，在本发明实施例提供的上述性能测试装置中，所述第三确定单元，具体用于确定提取到的所述第一采集时间和所述第二采集时间是否处于一个所述采集周期内；在确定提取到的所述第一采集时间和所述第二采集时间处于一个所述采集周期内时，确定解析后的性能指标需要修正；在确定提取到的所述第一采集时间和所述第二采集时间未处于一个所述采集周期内时，确定解析后的性能指标不需要修正。
在一种可能的实施方式中，在本发明实施例提供的上述性能测试装置中，所述第三确定单元，具体用于在确定出的升级前后的网管系统的性能指标中，提取处于所述第一采集时间和所述第二采集时间之间的采集时间，并构成采集时间集合；根据所述采集时间集合，以及确定出的升级前后的网管系统的性能指标，确定与所述采集时间集合对应的性能指标集合；将所述性能指标集合中的最大值确定为所述当前事务在升级前后的网管系统中的性能指标。
在一种可能的实施方式中，在本发明实施例提供的上述性能测试装置中，所述第三确定单元，具体用于将所述初始配置文件中的所述待测试性能指标的采集周期减半。
另一方面，本发明实施例还提供了一种网管系统的性能测试系统，包括：如本发明实施例提供的上述性能测试装置，以及定时器。
本发明有益效果如下：
本发明实施例提供的一种网管系统的性能测试方法、装置及系统，在网管系统升级后，根据网管系统在升级前后的待测试性能指标，确定初始配置文件，以实现对升级前后的网管系统进行初始化；并且，由于初始配置文件中包括了用于测试网管系统的待测试性能指标的用例，所以可以通过用例在升级前后的网管系统中的运行，确定升级前后的网管系统的性能指标，进而可以确定至少包含有用例与升级前后的网管系统的性能指标之间关联关系的对比分析结果，从而可以直观地确定升级前后的网管系统的性能优劣，为网管系统的优化指明方向；此外，由于本发明中无需进行人工干预，可以大大减少人力成本，同时还可以保证未接触过性能测试的工程师同样可以使用，提高了该性能测试系统的实用性；并且，还可以实现实时地数据采集，以保证对网管系统进行实时、准确和高效的管理。
附图说明
图1为本发明实施例中提供的一种网管系统的性能测试方法的流程图之一；
图2为本发明实施例中提供的一种网管系统的性能测试方法的流程图之二；
图3为本发明实施例中提供的实施例一的方法的流程图；
图4为本发明实施例中提供的一种网管系统的性能测试方法的流程图之三；
图5为本发明实施例中提供的实施例二的方法的流程图；
图6为本发明实施例中提供一种网管系统的性能测试装置的结构示意图之一；
图7为本发明实施例中提供一种网管系统的性能测试装置的结构示意图之二；
图8为本发明实施例中提供一种网管系统的性能测试装置的结构示意图之三；
图9为本发明实施例中提供一种网管系统的性能测试系统的结构示意图。
具体实施方式
下面将结合附图，对本发明实施例提供的一种网管系统的性能测试方法、装置及系统的具体实施方式进行详细地说明。需要说明的是，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明实施例提供了一种网管系统的性能测试方法，如图1所示，可以包括：
S101、在网管系统升级后，根据网管系统在升级前后的待测试性能指标，确定初始配置文件；初始配置文件至少包括：待测试性能指标，以及用于测试网管系统的待测试性能指标的用例；
S102、根据确定出的初始配置文件，通过用例分别确定升级前后的网管系统的性能指标；
S103、根据确定出的升级前后的网管系统的性能指标，确定至少包含有用例与升级前后的网管系统的性能指标之间关联关系的对比分析结果。
本发明实施例提供的上述性能测试方法，可以直观地确定升级前后的网管系统的性能优劣，为网管系统的优化指明方向，并且，由于本发明中无需进行人工干预，可以大大减少人力成本，同时还可以保证未接触过性能测试的工程师同样可以使用，提高了该性能测试系统的实用性；此外，还可以实现实时地数据采集，以保证对网管系统进行实时、准确和高效的管理。
在具体实施时，在对升级前后的网管系统的待测试性能指标进行测试和采集之前，为了能够准确地确定性能指标，需要在测试前进行初始化，即确定初始配置文件，如此，可以在初始化时对需要进行的所有操作形成模版进行保存，以使在后续可以直接地修改使用，节省了人工配置的繁琐过程；在初始配置文件中，除了包括待测试性能指标，以及用于测试网管系统的待测试性能指标的用例，在本发明实施例提供的上述性能测试方法中，初始配置文件还可以包括：网管系统在升级前后的属性信息和待测试性能指标的采集周期；因此，本发明实施例提供的上述性能测试方法中的步骤S101根据网管系统在升级前后的待测试性能指标，确定初始配置文件，可以具体包括：
分别确定升级前后的网管系统的属性信息；
根据网管系统在升级前后的待测试性能指标，从预先设置的测试用例库中确定用于测试网管系统的待测试性能指标的用例；
根据网管系统在升级前后的待测试性能指标，确定待测试性能指标的采集周期。
其中，不管是升级前的网管系统，还是升级后的网管系统，在测试之前，均需要确定网管系统采用的网络之间互联协议(Internet Potocol,IP)地址，操作系统，网管系统的版本等信息，以便于用例可以成功地在网管系统的界面运行并且，有利于网管系统的性能指标的采集。
具体地，在本发明实施例提供的上述性能测试方法中，网管系统的待测试性能指标，可以包括：CPU占用率和内存占用率等，但并不限于此；因此，在预先设置的测试用例库中选取用例时，可以根据网管系统的待测试性能指标来选取，更具体地讲，可以根据网管系统的基本功能(如网元添加和删除、用户创建删除等)、重点功能(如网元告警配置)、以及根据代码、架构分析和市场反馈影响网管系统性能的功能(如资源同步功能存在大量的网络交互、数据库操作、以及市场反馈在大量告警上报时性能下降明显)来选取用例，以通过用例实现对升级前后的网管系统的性能进行测试和分析，从而确定升级前后的网管系统的性能优劣。
进一步地，在选取的用例中，其中有些用例在运行时的时间信息是用户非常关注的，例如：用例运行过程中的开启时间和关闭时间等，因此，为了能够对这些需要关注时间信息的用例在网管系统中运行时的时间信息进行采集，将需要关注时间信息的用例确定为事务，即在本发明实施例提供的上述性能测试方法中，在根据网管系统在升级前后的待测试性能指标，从预先设置的测试用例库中确定用于测试网管系统的待测试性能指标的用例之后，还可以包括：根据用户对用例的关注程度，将至少部分用例确定为事务；如此，只要在后面的过程中确定出用例为事务，就记录相关的时间，使得在测试过程中，可以自动的收集网管系统的性能指标，比现有技术中通过人工掐表的方法相比，得到的结果更加准确和客观。当然，在确定事务时，根据用户的关注程度，可以将全部用例确定为事务，也可以将部分用例确定为事务，需要根据具体情况而定，在此不作限定。
具体地，在确定出待测试性能指标的采集周期之后，由于不同操作系统采用的接口可能存在差异，如Windows和Unix，所以为了能够对网管系统运行的性能指标进行采集，需要预先设置与网管系统的操作系统相应的采集接口，因此，采用适配器设计模式，根据目标系统实例化正确的采集实例，采集实例负责对网管系统的性能指标进行采集；目前，支持的操作系统包括Windows和Unix两种；如此，可以实现自动化的配置，有助于对网管系统运行的性能指标进行采集。
此外，由于升级前后的网管系统的运行界面可能也会存在差异，且为了保持对后续网管系统的版本的扩展性，同样采用适配器设计模式，预先设置升级前后的网管系统的界面适配器，且同样根据目标系统实例化正确的配置实例，配置实例负责对网管系统进行配置，使得网管系统具有统一的接口；一般地，采用的是操作系统类型与网管系统的版本共同控制的方式，如配置Windows7+NMS5.0的配置实例为Win_7_V_5_ConfigHandler,配置Windows10+NMS6.0的配置实例为Win_10_V_6_ConfigHandler，具有统一接口为ConfigHandler，实现自动配置，保证后续过程的顺利进行。
当然，在初始配置文件中，还可以包括对比分析结果的文件格式，并且该文件格式可以根据需要设置，例如，将文件格式设置为TXT格式，PDF格式，EXCELL格式，或者图片等其他格式，只要能够根据需要将对比分析结果输出，以供技术人员参考即可，在此不作限定。
在具体实施时，为了能够确定出升级前后的网管系统的性能指标，在本发明实施例提供的上述性能测试方法中的步骤S102根据确定出的初始配置文件，通过用例分别确定升级前后的网管系统的性能指标，可以具体包括：
将用例分别在升级前的网管系统和升级后的网管系统中运行，并确定用例在升级前的网管系统和升级后的网管系统中的运行数据；
根据确定出的初始配置文件中的待测试性能指标的采集周期，分别采集用例在升级前的网管系统和升级后的网管系统中运行时的性能指标。
需要指出的是，在通过用例确定升级前后的网管系统的性能指标时，在本发明实施例中，均创建两个进程进行测试，且两个进程为同时进行，对所有用例进行遍历；其中，一个进程为配置进程，即确定用例在升级前后的网管系统中的运行数据，另一个为采集进程，即采集用例在升级前后的网管系统中运行时的性能指标。
具体地，在配置进程中，对初始配置文件中的全部用例执行相同的过程，因此，在本发明实施例提供的上述性能测试方法中，将用例分别在升级前的网管系统和升级后的网管系统中运行，并确定用例在升级前的网管系统和升级后的网管系统中的运行数据，如图2所示，可以具体包括：
对初始配置文件中的全部用例，均执行以下操作：
S201、根据预先设置的在升级前后的网管系统中的界面适配器，将当前用例转换为用于在升级前后的网管系统中的界面运行的当前用例脚本；
S202、调用转换后的当前用例脚本；
S203、将当前用例脚本分别在升级前的网管系统和升级后的网管系统中的界面运行；
S204、记录当前用例脚本在升级前的网管系统和升级后的网管系统中的运行数据。
进一步地，对于事务，需要记录其开始时间，因此，在本发明实施例提供的上述性能测试方法中的步骤S201根据预先设置的在升级前后的网管系统中的界面适配器，将当前用例转换为用于在升级前后的网管系统中的界面运行的当前用例脚本之前，如图2所示，还可以包括：
S205、确定当前用例是否为事务；若是，则执行步骤S206；若否，则执行步骤S201；
S206、记录事务的开始时间。
进一步地，对于事务，还需要记录其结束时间和耗时，因此，在本发明实施例提供的上述性能测试方法中的步骤S203将当前用例脚本分别在升级前的网管系统和升级后的网管系统中的界面运行之后，如图2所示，还可以包括：
S207、确定当前用例是否为事务；若是，则执行步骤S208；若否，则执行步骤S204；
S208、记录事务的结束时间和耗时。
具体地，在确定出用例在升级前的网管系统和升级后的网管系统中的运行数据之后，可以以表格的形式存储，可参见表1所示；其中，表1是以确定出的事务在升级后的网管系统中的运行数据为例进行说明的，时间点为事务开始和结束对应的时间；本发明实施例不仅可以得到用例在升级前后的网管系统中的运行数据，还可以确定出事务的开始时间、结束时间和耗时，为确定事务与升级前后的网管系统的性能指标之间的关联关系提供数据基础，并且，还可以有效提高数据的准确性和客观性。需要说明的是，表1以及后续的表2至表4均以事务为创建网元和资源同步为例进行说明的，但并不表示本发明实施例中的事务仅限于创建网元和资源同步，当然还可以是其他的事务，在此不作限定。
表1
时间点 事务
08:00:02 387ms 创建网元开始
08:03:05 986ms 创建网元结束
08:12:30 123ms 资源同步开始
08:13:32 223ms 资源同步结束
需要说明的是，采集进程与配置进行是同步进行的，以有利于在用例在升级前后的网管系统中运行时采集性能指标，因此，在采集进程中，在本发明实施例提供的上述性能测试方法中，根据确定出的初始配置文件中的待测试性能指标的采集周期，分别采集用例在升级前的网管系统和升级后的网管系统中运行时的性能指标，可以具体包括：
根据确定出的初始配置文件中的待测试性能指标的采集周期，在通过预先设置的定时器确定出当前时间为采集时间时，调用预先设置的升级前后的网管系统中的采集接口；
采集处于当前时间运行的用例在升级前的网管系统和升级后的网管系统中运行时的性能指标。
具体地，在采集进程中，可以预先将定时器的周期设置为采集周期，因此，通过定时器，可以确定何时为采集周期，从而可以确定何时进行性能指标的采集；并且，采集到的数据同样可以表格的形式存储，具体可参见表2中所示；其中，仅示出了采集到的部分性能指标，第一列表示采集周期的序号，即1表示第一个采集周期，2表示第二个采集周期，3表示第三个采集周期，不管是升级前的网管系统，还是升级后的网管系统，其采集时间均为到采集周期采集性能指标时对应的时间，且在采集时间时，以采集到的内存占用情况来表示性能指标，但并不限于此，此处只是举例说明而已，在此不作限定；从表1中可知，本发明实施例可以非常小的时间间隔获取性能指标，用于后期进行的事务与性能指标之间的关联分析，进而有利于获取事务运行时的性能占用峰值，从而可以对升级前后的网管系统的性能进行分析对比，为网管系统的优化指明方向。
表2
下面结合具体实施例，对本发明实施例中提供的上述性能测试方法中的确定升级前后的网管系统的性能指标的过程进行详细描述。
实施例一：结合图3所示的方法的流程图。
S301、确定是否存在未遍历的用例；若是，则执行步骤S302和S310；若否，则结束流程；
S302、确定用例是否为事务；若是，则执行步骤S303；若否，则执行步骤S304；
S303、记录事务的开始时间；执行步骤S304；
S304、根据预先设置的在升级前后的网管系统中的界面适配器，将当前用例转换为用于在升级前后的网管系统中的界面运行的当前用例脚本；
S305、调用转换后的当前用例脚本；
S306、将当前用例脚本分别在升级前的网管系统和升级后的网管系统中的界面运行；
S307、确定用例是否为事务；若是，则执行步骤S308；若否，则执行步骤S309；
S308、记录事务的结束时间和耗时；执行步骤S309；
S309、记录当前用例脚本在升级前的网管系统和升级后的网管系统中的运行数据；返回步骤S301；
S310、根据确定出的初始配置文件中的待测试性能指标的采集周期，通过预先设置的定时器确定出当前时间是否为采集时间；若是，则执行步骤S311；若否，则继续执行此步骤；
S311、调用预先设置的升级前后的网管系统中的采集接口；
S312、采集处于当前时间运行的用例在升级前的网管系统和升级后的网管系统中运行时的性能指标。
在具体实施时，在用例为事务时，用例与升级前后的网管系统的性能指标之间关联关系，实际上为事务与升级前后的网管系统的性能指标之间关联关系，因此，在本发明实施例提供的上述性能测试方法中，根据确定出的升级前后的网管系统的性能指标，确定至少包含有用例与升级前后的网管系统的性能指标之间关联关系的对比分析结果，可以具体包括：
在用例为事务时，对通过每个事务确定出的升级前后的网管系统的性能指标，如图4所示，均执行以下操作：
S401、对通过当前事务确定出的升级前后的网管系统的性能指标进行解析；
S402、确定解析后的性能指标是否需要修正；若否，则执行步骤S403；若是，则执行步骤S404；
S403、确定至少包含有当前事务与升级前后的网管系统的性能指标之间关联关系的对比分析结果；结束流程；
S404、修正当前事务在初始配置文件；
S405、根据修正后的初始配置文件，通过当前事务再次分别确定升级前后的网管系统的性能指标；返回步骤S401。
具体地，事务与升级前后的网管系统的性能指标之间的关联关系可以表格的形式存储，可参见表3所示；其中，表3只是以性能指标为内存占用，以事务为创建网元和资源同步为例进行说明，但并不限于此；通过表3可知，网管系统在升级前后，创建网元和资源同步的内存占用情况并没有较大的区别，说明升级后网管系统在创建网元和资源同步方面并没有得到较大地改善，因此，网管系统在后续的升级过程中，可以着重考虑如何改善创建网元和资源同步的内存占用情况；因此，通过表3可以很直观地对升级前后的网管系统中的内存占用情况进行对比分析，从而有助于对网管系统进行全方位的评价。
表3
当然，在对比分析结果中，除了包括事务与升级前后的网管系统的性能指标之间的关联关系之外，还可以包括：在升级前后的网管系统中运行事务的耗时情况，见表4所示；其中，在表4中，可以直观地发现网管系统升级后，资源同步的耗时有了较大地降低，而创建网元的耗时与升级前没有较大的区别；因此，根据表4中所示的结果，在网管系统的后续的升级过程中，可以着重考虑如何改善创建网元的耗时，以提高网管系统的性能。
表4
具体地，为了能够对通过当前事务确定出的升级前后的网管系统的性能指标进行解析，在本发明实施例提供的上述性能测试方法中的步骤S401对通过当前事务确定出的升级前后的网管系统的性能指标进行解析，可以具体包括：
在确定出的升级前后的网管系统的性能指标中，提取当前事务的开始时间和结束时间；
根据提取到的当前事务的开始时间和结束时间，以及预设的提取规则，在确定出的升级前后的网管系统的性能指标中，提取与当前事务的开始时间对应的第一采集时间，以及与当前事务的结束时间对应的第二采集时间。
具体地，在提取到当前事务的开始时间和结束时间时，可以将开始时间记为C-t1-begin，将结束时间记为C-t1-end；然后，在提取第一采集时间和第二采集时间时，所依据的预设的提取规则可以为：在确定出的性能指标中，提取处于C-t1-begin之前且与C-t1-begin最为接近的时间为第一采集时间，提取处于C-t1-end之后且与C-t1-end最为接近的时间为第二采集时间。
进一步地，在确定出第一采集时间和第二采集时间之后，为了能够准确地对升级前后的网管系统的性能指标进行对比分析，还需要根据第一采集时间和第二采集时间，确定性能指标是否需要修正；其中，在本发明实施例提供的上述性能测试方法中的步骤S402确定解析后的性能指标是否需要修正，可以具体包括：
确定提取到的第一采集时间和第二采集时间是否处于一个采集周期内；
在确定提取到的第一采集时间和第二采集时间处于一个采集周期内时，确定解析后的性能指标需要修正；
在确定提取到的第一采集时间和第二采集时间未处于一个采集周期内时，确定解析后的性能指标不需要修正。
进一步地，在提取到的第一采集时间和第二采集时间处于一个采集周期内时，说明在初始配置文件中设置的采集周期较大，记录到的配置的资源可能不准确，为了提高对比分析结果的准确性，需要对采集周期进行修正，因此，在本发明实施例提供的上述性能测试方法中的步骤S404修正当前事务在初始配置文件，可以具体包括：将初始配置文件中的待测试性能指标的采集周期减半；例如，在初始配置文件中的采集周期为500ms，此时需要将初始配置文件中的采集周期重新设置为250ms，若当前事务为网元创建时，则以250ms为采集周期，通过创建网元，再次确定升级前后的网管系统中的性能指标，并进行再一次地分析，直至第一采集时间与第二采集时间未处于一个采集周期为止。
具体地，在确定第一采集时间和第二采集时间处于不同的采集周期时，说明设置的采集周期与事务的运行耗时较匹配，因此，在此种情况下，为了能够确定出事务与性能指标之间的关联关系，在本发明实施例提供的上述性能测试方法中的步骤S403确定至少包含有当前事务与升级前后的网管系统的性能指标之间关联关系的对比分析结果，可以具体包括：
在确定出的升级前后的网管系统的性能指标中，提取处于第一采集时间和第二采集时间之间的采集时间，并构成采集时间集合；
根据采集时间集合，以及确定出的升级前后的网管系统的性能指标，确定与采集时间集合对应的性能指标集合；
将性能指标集合中的最大值确定为当前事务在升级前后的网管系统中的性能指标。
例如，升级后的网管系统为例，在事务的耗时为500ms，设置的采集周期为5s采集一次性能指标时，如果事务开始的时间为17:00:00 000ms，结束时间为17:00:00 500ms，则将17:00:00 000ms记为C-t1-begin，将17:00:00 500ms记为C-t1-end；而根据采集周期为5s，可能的采集时间为17:00:00 000ms 40M，和17:00:05 000ms 20M，所以可以将17:00:00000ms记为第一采集时间，将17:00:05 000ms记为第二采集时间，而此时第一采集时间和第二采集时间明显处于一个采集周期内；显然，采集周期较大，因此，将采集周期减半，即从5s缩减为2.5s，然后再次通过该事务确定在升级前后的网管系统的中的性能指标。
然而，同样以事务的耗时为500ms为例，在设置的采集周期为200ms采集一次性能指标时，C-t1-begin同样为17:00:00 000ms，C-t1-end同样为17:00:00500ms，而根据采集周期为200ms，可能的采集时间为17:00:00 000ms 40M、17:00:00 200ms 20M、17:00:00400ms 25M和17:00:00 600ms 70M；因此，可以将17:00:00 000ms记为第一采集时间，将17:00:00 600ms记为第二采集时间，显然，第一采集时间和第二采集时间处于不同的采集周期，因此，可以将处于C-t1-begin与C-t1-end之间的采集时间组成采集时间集合，记为{17:00:00000ms，17:00:00 200ms，17:00:00 400ms，17:00:00 600ms}，相应地，该采集时间集合对应的性能指标集合为{40M，20M，25M，70M}，因此，将性能指标集合中的最大值70M作为该事务在升级后的网管系统中的性能指标，从而可以确定出事务与性能指标之间的关联关系。
当然，对于升级前的网管系统中的事务与性能指标之间关联关系的确定方法与上述升级后的网管系统中的事务与性能指标之间关联关系的确定方法相同，具体可参见上述具体实施例，重复之处不再赘述。
下面将结合具体实施例，对本发明实施例提供的上述性能测试方法中确定性能对比分析结果的过程进行详细描述。
实施例二：结合图5所示的方法的流程图，以确定一个事务与升级前后的网管系统的性能指标之间关联关系的对比分析结果为例，对本发明实施例提供的上述性能测试方法进行说明。
S501、在确定出的升级前后的网管系统的性能指标中，提取事务的开始时间和结束时间；
S502、根据提取到的事务的开始时间和结束时间，以及预设的提取规则，在确定出的升级前后的网管系统的性能指标中，提取与事务的开始时间对应的第一采集时间，以及与事务的结束时间对应的第二采集时间。
S503、确定提取到的第一采集时间和第二采集时间是否处于一个采集周期内；若否，则执行步骤S504；若是，则执行步骤S508；
S504、确定解析后的性能指标不需要修正；
S505、在确定出的升级前后的网管系统的性能指标中，提取处于第一采集时间和第二采集时间之间的采集时间，并构成采集时间集合；
S506、根据采集时间集合，以及确定出的升级前后的网管系统的性能指标，确定与采集时间集合对应的性能指标集合；
S507、将性能指标集合中的最大值确定为当前事务在升级前后的网管系统中的性能指标；结束流程；
S508、确定解析后的性能指标需要修正；
S509、将初始配置文件中的待测试性能指标的采集周期减半；
S510、根据修正后的初始配置文件，通过事务再次分别确定升级前后的网管系统的性能指标；返回步骤S501。
基于同一发明构思，本发明实施例还提供了一种网管系统的性能测试装置，由于该性能测试装置的工作原理与前述一种网管系统的性能测试方法的工作原理类似，因此，该性能测试装置的具体实施方式可以参见上述性能测试方法的具体实施例，重复之处不再赘述。
具体地，本发明实施例提供的上述性能测试装置，如图6所示，可以包括：第一确定单元601、第二确定单元602和第三确定单元603；
第一确定单元601，用于在网管系统升级后，根据网管系统在升级前后的待测试性能指标，确定初始配置文件；初始配置文件至少包括：待测试性能指标，以及用于测试网管系统的待测试性能指标的用例；
第二确定单元602，用于根据确定出的初始配置文件，通过用例分别确定升级前后的网管系统的性能指标；
第三确定单元603，用于根据确定出的升级前后的网管系统的性能指标，确定至少包含有用例与升级前后的网管系统的性能指标之间关联关系的对比分析结果。
在具体实施时，在本发明实施例提供的上述性能测试装置中，初始配置文件还可以包括：网管系统在升级前后的属性信息和待测试性能指标的采集周期；
第一确定单元601，具体用于分别确定升级前后的网管系统的属性信息；根据网管系统在升级前后的待测试性能指标，从预先设置的测试用例库中确定用于测试网管系统的待测试性能指标的用例；根据网管系统在升级前后的待测试性能指标，确定待测试性能指标的采集周期。
具体地，在本发明实施例提供的上述性能测试装置中，第一确定单元601，还具体用于根据用户对用例的关注程度，将至少部分用例确定为事务。
具体地，在本发明实施例提供的上述性能测试装置中，如图7所示，第二确定单元602，包括：第一子确定单元602a和第二子确定单元602b；
第一子确定单元602a，用于将用例分别在升级前的网管系统和升级后的网管系统中运行，并确定用例在升级前的网管系统和升级后的网管系统中的运行数据；
第二子确定单元602b，用于根据确定出的初始配置文件中的待测试性能指标的采集周期，分别采集用例在升级前的网管系统和升级后的网管系统中运行时的性能指标。
进一步地，在本发明实施例提供的上述性能测试装置中，第一子确定单元602a，具体用于对初始配置文件中的全部用例，均执行以下操作：根据预先设置的在升级前后的网管系统中的界面适配器，将当前用例转换为用于在升级前后的网管系统中的界面运行的当前用例脚本；调用转换后的当前用例脚本；将当前用例脚本分别在升级前的网管系统和升级后的网管系统中的界面运行；记录当前用例脚本在升级前的网管系统和升级后的网管系统中的运行数据。
进一步地，在本发明实施例提供的上述性能测试装置中，第一子确定单元602a，还具体用于确定当前用例是否为事务；在确定当前用例为事务时，记录事务的开始时间。
进一步地，在本发明实施例提供的上述性能测试装置中，第一子确定单元602a，还具体用于确定当前用例是否为事务；在确定当前用例为事务时，记录事务的结束时间和耗时。
进一步地，在本发明实施例提供的上述性能测试装置中，第二子确定单元602b，具体用于根据确定出的初始配置文件中的待测试性能指标的采集周期，在通过预先设置的定时器确定出当前时间为采集时间时，调用预先设置的升级前后的网管系统中的采集接口；采集处于当前时间运行的用例在升级前的网管系统和升级后的网管系统中运行时的性能指标。
在具体实施时，在本发明实施例提供的上述性能测试装置中，第三确定单元603，具体用于在用例为事务时，对通过每个事务确定出的升级前后的网管系统的性能指标，均执行以下操作：对通过当前事务确定出的升级前后的网管系统的性能指标进行解析；确定解析后的性能指标是否需要修正；在确定解析后的性能指标不需要修正时，确定至少包含有当前事务与升级前后的网管系统的性能指标之间关联关系的对比分析结果；在确定解析后的性能指标需要修正时，修正当前事务在初始配置文件；根据修正后的初始配置文件，通过当前事务再次分别确定升级前后的网管系统的性能指标。
具体地，在本发明实施例提供的上述性能测试装置中，第三确定单元603，具体用于在确定出的升级前后的网管系统的性能指标中，提取当前事务的开始时间和结束时间；根据提取到的当前事务的开始时间和结束时间，以及预设的提取规则，在确定出的升级前后的网管系统的性能指标中，提取与当前事务的开始时间对应的第一采集时间，以及与当前事务的结束时间对应的第二采集时间。
具体地，在本发明实施例提供的上述性能测试装置中，第三确定单元603，具体用于确定提取到的第一采集时间和第二采集时间是否处于一个采集周期内；在确定提取到的第一采集时间和第二采集时间处于一个采集周期内时，确定解析后的性能指标需要修正；在确定提取到的第一采集时间和第二采集时间未处于一个采集周期内时，确定解析后的性能指标不需要修正。
具体地，在本发明实施例提供的上述性能测试装置中，第三确定单元603，具体用于在确定出的升级前后的网管系统的性能指标中，提取处于第一采集时间和第二采集时间之间的采集时间，并构成采集时间集合；根据采集时间集合，以及确定出的升级前后的网管系统的性能指标，确定与采集时间集合对应的性能指标集合；将性能指标集合中的最大值确定为当前事务在升级前后的网管系统中的性能指标。
具体地，在本发明实施例提供的上述性能测试装置中，第三确定单元603，具体用于将初始配置文件中的待测试性能指标的采集周期减半。
需要说明的是，在本发明实施例提供的上述性能测试装置中，如图8所示，第一确定单元601可以包括：用于确定升级前后的网管系统的性能指标的界面配置模块601a和性能指标采集模块601b；其中，界面配置模块601a分别与升级前的网管系统A和升级后的网管系统B连接，且界面配置模块601a用于对网管系统的界面的配置，为第二确定单元602确定网管系统的性能指标提供统一的接口；而性能指标采集模块601b同样分别与升级前的网管系统A和升级后的网管系统B连接，且性能指标采集模块601b用于对网管系统的性能指标的采集提供统一的接口。
当然，第一确定单元601除了包括界面配置模块601a和性能指标采集模块601b之外，还包括场景配置模块601c，用于为确定初始配置文件，以便于实现后续对网管系统的性能测试和分析。
在具体实施时，如图8所示，为了能够为性能测试装置中的第一确定单元601的场景配置模块601c提供可选取的用例，还设置有测试用例库604；并且该测试用例库604可以定期地进行扩充和维护，以满足场景配置模块601c从其中选取所需要的用例；此外，用例的存储格式采用统一的文件格式，作为第一确定单元601的处理语言，以方便第一确定单元601对用例的选取和使用。
基于同一发明构思，本发明实施例还提供了一种网管系统的性能测试系统，如图9所示，性能测试系统10可以包括：如本发明实施例提供的上述性能测试装置20，以及定时器30。
在具体实施时，在性能测试装置20中的第一确定单元在确定初始配置文件时，同样也需要对定时器30进行设置，以使定时器30的周期与采集周期相同，使得每当到采集周期时，通过定时器30可以自动的采集当前时间的用例在网管系统中运行时的性能指标，以便于后续地分析和对比，与现有技术中的人工掐表相比，结果更精准，更客观。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。
本发明实施例提供了一种网管系统的性能测试方法、装置及系统，在网管系统升级后，根据网管系统在升级前后的待测试性能指标，确定初始配置文件，以实现对升级前后的网管系统进行初始化；并且，由于初始配置文件中包括了用于测试网管系统的待测试性能指标的用例，所以可以通过用例在升级前后的网管系统中的运行，确定升级前后的网管系统的性能指标，进而可以确定至少包含有用例与升级前后的网管系统的性能指标之间关联关系的对比分析结果，从而可以直观地确定升级前后的网管系统的性能优劣，为网管系统的优化指明方向；此外，由于本发明中无需进行人工干预，可以大大减少人力成本，同时还可以保证未接触过性能测试的工程师同样可以使用，提高了该性能测试系统的实用性；并且，还可以实现实时地数据采集，以保证对网管系统进行实时、准确和高效的管理。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (27)

1.一种网管系统的性能测试方法，其特征在于，包括：
在网管系统升级后，根据所述网管系统在升级前后的待测试性能指标，确定初始配置文件；所述初始配置文件至少包括：所述待测试性能指标，以及用于测试网管系统的待测试性能指标的用例；
根据确定出的所述初始配置文件，通过所述用例分别确定升级前后的网管系统的性能指标；
根据确定出的升级前后的网管系统的性能指标，确定至少包含有所述用例与升级前后的网管系统的性能指标之间关联关系的对比分析结果。
2.如权利要求1所述的性能测试方法，其特征在于，所述初始配置文件还包括：所述网管系统在升级前后的属性信息和所述待测试性能指标的采集周期；
所述根据所述网管系统在升级前后的待测试性能指标，确定初始配置文件，具体包括：
分别确定升级前后的网管系统的属性信息；
根据所述网管系统在升级前后的待测试性能指标，从预先设置的测试用例库中确定用于测试网管系统的待测试性能指标的用例；
根据所述网管系统在升级前后的所述待测试性能指标，确定所述待测试性能指标的采集周期。
3.如权利要求2所述的性能测试方法，其特征在于，在所述根据所述网管系统在升级前后的待测试性能指标，从预先设置的测试用例库中确定用于测试网管系统的待测试性能指标的用例之后，还包括：
根据用户对所述用例的关注程度，将至少部分用例确定为事务。
4.如权利要求3所述的性能测试方法，其特征在于，所述根据确定出的所述初始配置文件，通过所述用例分别确定升级前后的网管系统的性能指标，具体包括：
将所述用例分别在升级前的网管系统和升级后的网管系统中运行，并确定所述用例在升级前的网管系统和升级后的网管系统中的运行数据；
根据确定出的所述初始配置文件中的所述待测试性能指标的采集周期，分别采集所述用例在升级前的网管系统和升级后的网管系统中运行时的性能指标。
5.如权利要求4所述的性能测试方法，其特征在于，所述将所述用例分别在升级前的网管系统和升级后的网管系统中运行，并确定所述用例在升级前的网管系统和升级后的网管系统中的运行数据，具体包括：
对所述初始配置文件中的全部用例，均执行以下操作：
根据预先设置的在升级前后的网管系统中的界面适配器，将当前用例转换为用于在升级前后的网管系统中的界面运行的当前用例脚本；
调用转换后的所述当前用例脚本；
将所述当前用例脚本分别在升级前的网管系统和升级后的网管系统中的界面运行；
记录所述当前用例脚本在升级前的网管系统和升级后的网管系统中的运行数据。
6.如权利要求5所述的性能测试方法，其特征在于，在所述根据预先设置的在升级前后的网管系统中的界面适配器，将当前用例转换为用于在升级前后的网管系统中的界面运行的当前用例脚本之前，还包括：
确定所述当前用例是否为事务；
在确定所述当前用例为事务时，记录所述事务的开始时间。
7.如权利要求6所述的性能测试方法，其特征在于，在所述将所述当前用例脚本分别在升级前的网管系统和升级后的网管系统中的界面运行之后，还包括：
确定所述当前用例是否为事务；
在确定所述当前用例为事务时，记录所述事务的结束时间和耗时。
8.如权利要求7所述的性能测试方法，其特征在于，所述根据确定出的所述初始配置文件中的所述待测试性能指标的采集周期，分别采集所述用例在升级前的网管系统和升级后的网管系统中运行时的性能指标，具体包括：
根据确定出的所述初始配置文件中的所述待测试性能指标的采集周期，在通过预先设置的定时器确定出当前时间为采集时间时，调用预先设置的升级前后的网管系统中的采集接口；
采集处于所述当前时间运行的用例在升级前的网管系统和升级后的网管系统中运行时的性能指标。
9.如权利要求8所述的性能测试方法，其特征在于，所述根据确定出的升级前后的网管系统的性能指标，确定至少包含有所述用例与升级前后的网管系统的性能指标之间关联关系的对比分析结果，具体包括：
在所述用例为事务时，对通过每个事务确定出的升级前后的网管系统的性能指标，均执行以下操作：
对通过当前事务确定出的升级前后的网管系统的性能指标进行解析；
确定解析后的性能指标是否需要修正；
在确定解析后的性能指标不需要修正时，确定至少包含有所述当前事务与升级前后的网管系统的性能指标之间关联关系的对比分析结果；
在确定解析后的性能指标需要修正时，修正所述当前事务在所述初始配置文件；
根据修正后的初始配置文件，通过所述当前事务再次分别确定升级前后的网管系统的性能指标。
10.如权利要求9所述的性能测试方法，其特征在于，所述对通过当前事务确定出的升级前后的网管系统的性能指标进行解析，具体包括：
在确定出的升级前后的网管系统的性能指标中，提取所述当前事务的开始时间和结束时间；
根据提取到的所述当前事务的开始时间和结束时间，以及预设的提取规则，在确定出的升级前后的网管系统的性能指标中，提取与所述当前事务的开始时间对应的第一采集时间，以及与所述当前事务的结束时间对应的第二采集时间。
11.如权利要求10所述的性能测试方法，其特征在于，所述确定解析后的性能指标是否需要修正，具体包括：
确定提取到的所述第一采集时间和所述第二采集时间是否处于一个所述采集周期内；
在确定提取到的所述第一采集时间和所述第二采集时间处于一个所述采集周期内时，确定解析后的性能指标需要修正；
在确定提取到的所述第一采集时间和所述第二采集时间未处于一个所述采集周期内时，确定解析后的性能指标不需要修正。
12.如权利要求11所述的性能测试方法，其特征在于，所述确定至少包含有所述当前事务与升级前后的网管系统的性能指标之间关联关系的对比分析结果，具体包括：
在确定出的升级前后的网管系统的性能指标中，提取处于所述第一采集时间和所述第二采集时间之间的采集时间，并构成采集时间集合；
根据所述采集时间集合，以及确定出的升级前后的网管系统的性能指标，确定与所述采集时间集合对应的性能指标集合；
将所述性能指标集合中的最大值确定为所述当前事务在升级前后的网管系统中的性能指标。
13.如权利要求9所述的性能测试方法，其特征在于，所述修正所述当前事务在所述初始配置文件，具体包括：
将所述初始配置文件中的所述待测试性能指标的采集周期减半。
14.一种网管系统的性能测试装置，其特征在于，包括：第一确定单元、第二确定单元和第三确定单元；
所述第一确定单元，用于在网管系统升级后，根据所述网管系统在升级前后的待测试性能指标，确定初始配置文件；所述初始配置文件至少包括：所述待测试性能指标，以及用于测试网管系统的待测试性能指标的用例；
所述第二确定单元，用于根据确定出的所述初始配置文件，通过所述用例分别确定升级前后的网管系统的性能指标；
所述第三确定单元，用于根据确定出的升级前后的网管系统的性能指标，确定至少包含有所述用例与升级前后的网管系统的性能指标之间关联关系的对比分析结果。
15.如权利要求14所述的性能测试装置，其特征在于，所述初始配置文件还包括：所述网管系统在升级前后的属性信息和所述待测试性能指标的采集周期；
所述第一确定单元，具体用于分别确定升级前后的网管系统的属性信息；根据所述网管系统在升级前后的待测试性能指标，从预先设置的测试用例库中确定用于测试网管系统的待测试性能指标的用例；根据所述网管系统在升级前后的所述待测试性能指标，确定所述待测试性能指标的采集周期。
16.如权利要求15所述的性能测试装置，其特征在于，所述第一确定单元，还具体用于根据用户对所述用例的关注程度，将至少部分用例确定为事务。
17.如权利要求16所述的性能测试装置，其特征在于，所述第二确定单元，包括：第一子确定单元和第二子确定单元；
所述第一子确定单元，用于将所述用例分别在升级前的网管系统和升级后的网管系统中运行，并确定所述用例在升级前的网管系统和升级后的网管系统中的运行数据；
所述第二子确定单元，用于根据确定出的所述初始配置文件中的所述待测试性能指标的采集周期，分别采集所述用例在升级前的网管系统和升级后的网管系统中运行时的性能指标。
18.如权利要求17所述的性能测试装置，其特征在于，所述第一子确定单元，具体用于对所述初始配置文件中的全部用例，均执行以下操作：根据预先设置的在升级前后的网管系统中的界面适配器，将当前用例转换为用于在升级前后的网管系统中的界面运行的当前用例脚本；调用转换后的所述当前用例脚本；将所述当前用例脚本分别在升级前的网管系统和升级后的网管系统中的界面运行；记录所述当前用例脚本在升级前的网管系统和升级后的网管系统中的运行数据。
19.如权利要求18所述的性能测试装置，其特征在于，所述第一子确定单元，还具体用于确定所述当前用例是否为事务；在确定所述当前用例为事务时，记录所述事务的开始时间。
20.如权利要求19所述的性能测试装置，其特征在于，所述第一子确定单元，还具体用于确定所述当前用例是否为事务；在确定所述当前用例为事务时，记录所述事务的结束时间和耗时。
21.如权利要求20所述的性能测试装置，其特征在于，所述第二子确定单元，具体用于根据确定出的所述初始配置文件中的所述待测试性能指标的采集周期，在通过预先设置的定时器确定出当前时间为采集时间时，调用预先设置的升级前后的网管系统中的采集接口；采集处于所述当前时间运行的用例在升级前的网管系统和升级后的网管系统中运行时的性能指标。
22.如权利要求21所述的性能测试装置，其特征在于，所述第三确定单元，具体用于在所述用例为事务时，对通过每个事务确定出的升级前后的网管系统的性能指标，均执行以下操作：对通过当前事务确定出的升级前后的网管系统的性能指标进行解析；确定解析后的性能指标是否需要修正；在确定解析后的性能指标不需要修正时，确定至少包含有所述当前事务与升级前后的网管系统的性能指标之间关联关系的对比分析结果；在确定解析后的性能指标需要修正时，修正所述当前事务在所述初始配置文件；根据修正后的初始配置文件，通过所述当前事务再次分别确定升级前后的网管系统的性能指标。
23.如权利要求22所述的性能测试装置，其特征在于，所述第三确定单元，具体用于在确定出的升级前后的网管系统的性能指标中，提取所述当前事务的开始时间和结束时间；根据提取到的所述当前事务的开始时间和结束时间，以及预设的提取规则，在确定出的升级前后的网管系统的性能指标中，提取与所述当前事务的开始时间对应的第一采集时间，以及与所述当前事务的结束时间对应的第二采集时间。
24.如权利要求23所述的性能测试装置，其特征在于，所述第三确定单元，具体用于确定提取到的所述第一采集时间和所述第二采集时间是否处于一个所述采集周期内；在确定提取到的所述第一采集时间和所述第二采集时间处于一个所述采集周期内时，确定解析后的性能指标需要修正；在确定提取到的所述第一采集时间和所述第二采集时间未处于一个所述采集周期内时，确定解析后的性能指标不需要修正。
25.如权利要求24所述的性能测试装置，其特征在于，所述第三确定单元，具体用于在确定出的升级前后的网管系统的性能指标中，提取处于所述第一采集时间和所述第二采集时间之间的采集时间，并构成采集时间集合；根据所述采集时间集合，以及确定出的升级前后的网管系统的性能指标，确定与所述采集时间集合对应的性能指标集合；将所述性能指标集合中的最大值确定为所述当前事务在升级前后的网管系统中的性能指标。
26.如权利要求22所述的性能测试装置，其特征在于，所述第三确定单元，具体用于将所述初始配置文件中的所述待测试性能指标的采集周期减半。
27.一种网管系统的性能测试系统，其特征在于，包括：如权利要求14-26任一项所述的网管系统的性能测试装置，以及定时器。
CN201711202273.4A 2017-11-27 2017-11-27 一种网管系统的性能测试方法、装置及系统 Active CN107872352B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711202273.4A CN107872352B (zh) 2017-11-27 2017-11-27 一种网管系统的性能测试方法、装置及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711202273.4A CN107872352B (zh) 2017-11-27 2017-11-27 一种网管系统的性能测试方法、装置及系统

Publications (2)

Publication Number Publication Date
CN107872352A true CN107872352A (zh) 2018-04-03
CN107872352B CN107872352B (zh) 2021-08-24

Family

ID=61754627

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711202273.4A Active CN107872352B (zh) 2017-11-27 2017-11-27 一种网管系统的性能测试方法、装置及系统

Country Status (1)

Country Link
CN (1) CN107872352B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109324872A (zh) * 2018-09-21 2019-02-12 张家口浩扬科技有限公司 一种对虚拟机改变的请求进行验证的方法和系统
CN109358996A (zh) * 2018-10-08 2019-02-19 张家口浩扬科技有限公司 一种改变请求的处理方法及其处理系统

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101145964A (zh) * 2007-07-27 2008-03-19 中兴通讯股份有限公司 一种网管系统自动冒烟测试方法和系统
CN102045191A (zh) * 2009-10-22 2011-05-04 华为技术有限公司 一种系统升级后兼容性测试方法及设备
CN102693183A (zh) * 2012-05-30 2012-09-26 瑞斯康达科技发展股份有限公司 一种实现软件自动化测试的方法及系统
CN102740342A (zh) * 2012-06-08 2012-10-17 大唐移动通信设备有限公司 网管设备性能的模拟测试方法和系统
CN105468490A (zh) * 2015-12-11 2016-04-06 珠海金山网络游戏科技有限公司 一种服务器性能自动化测试方法及系统及装置
CN106681907A (zh) * 2016-11-24 2017-05-17 云南电网有限责任公司电力科学研究院 一种待测终端性能的测试系统，方法及装置
CN106951373A (zh) * 2017-04-25 2017-07-14 国家电网公司 一种用于电网网管移动运维软件的自动化测试方法及装置

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101145964A (zh) * 2007-07-27 2008-03-19 中兴通讯股份有限公司 一种网管系统自动冒烟测试方法和系统
CN102045191A (zh) * 2009-10-22 2011-05-04 华为技术有限公司 一种系统升级后兼容性测试方法及设备
CN102693183A (zh) * 2012-05-30 2012-09-26 瑞斯康达科技发展股份有限公司 一种实现软件自动化测试的方法及系统
CN102740342A (zh) * 2012-06-08 2012-10-17 大唐移动通信设备有限公司 网管设备性能的模拟测试方法和系统
CN105468490A (zh) * 2015-12-11 2016-04-06 珠海金山网络游戏科技有限公司 一种服务器性能自动化测试方法及系统及装置
CN106681907A (zh) * 2016-11-24 2017-05-17 云南电网有限责任公司电力科学研究院 一种待测终端性能的测试系统，方法及装置
CN106951373A (zh) * 2017-04-25 2017-07-14 国家电网公司 一种用于电网网管移动运维软件的自动化测试方法及装置

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109324872A (zh) * 2018-09-21 2019-02-12 张家口浩扬科技有限公司 一种对虚拟机改变的请求进行验证的方法和系统
CN109324872B (zh) * 2018-09-21 2020-12-25 北京隆普智能科技有限公司 一种对虚拟机改变的请求进行验证的方法和系统
CN109358996A (zh) * 2018-10-08 2019-02-19 张家口浩扬科技有限公司 一种改变请求的处理方法及其处理系统
CN109358996B (zh) * 2018-10-08 2021-09-24 北京天弘瑞智科技有限公司 一种改变请求的处理方法及其处理系统

Also Published As

Publication number Publication date
CN107872352B (zh) 2021-08-24

Similar Documents

Publication Publication Date Title
CN109033387A (zh) 一种融合多源数据的物联网搜索系统、方法及存储介质
CN104574124B (zh) 确定广告数据的展示效果的方法及装置
CN109062780A (zh) 自动化测试用例的开发方法及终端设备
CN109460432A (zh) 一种数据处理方法及系统
CN102096688A (zh) 数据报表的生成方法及装置
CN107679821A (zh) 一种考勤管理方法和系统
KR20180127622A (ko) 텍스트 데이터 수집 및 분석을 위한 시스템
CN109298882A (zh) 接口的管理方法、计算机可读存储介质和终端设备
CN110019116A (zh) 数据追溯方法、装置、数据处理设备及计算机存储介质
CN108009252A (zh) 数据同步的方法及装置
CN109243549A (zh) 一种智能随访方法、装置及服务器
CN107872352A (zh) 一种网管系统的性能测试方法、装置及系统
CN113268403A (zh) 时间序列的分析预测方法、装置、设备及存储介质
CN107908697A (zh) 主机批处理作业结果的自动采集方法及装置
CN108491487A (zh) 一种临床指南知识编码方法及系统
CN107704362A (zh) 一种基于Ambari监控大数据组件的方法及装置
CN110489304A (zh) 系统间资源访问状态的监控方法和装置
CN110287243A (zh) 分布式数据实时采集与展示系统及方法
CN106354723A (zh) 一种在线数据采集系统
CN111159203B (zh) 一种数据关联分析的方法、平台、电子设备及存储介质
CN113033179B (zh) 知识获取方法、装置、电子设备及可读存储介质
CN109086260A (zh) 食品数据处理方法及装置
CN108205608A (zh) 一种模型可配置的仿真装置
CN107247804A (zh) 运维大数据分析方法、装置及系统
CN114840507A (zh) 数据治理方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information
CB02 Change of applicant information

Address after: 100094 First to Fifth Floors of Building 11, East Yard, No. 10 Wangdong Road, Northwest Haidian District, Beijing

Applicant after: Raisecom Technology Inc.

Address before: 100085 No. 2 Building, No. 28 Shangdi Sixth Street, Haidian District, Beijing

Applicant before: Raisecom Technology Inc.

GR01 Patent grant
GR01 Patent grant