CN104933175A - 一种性能数据相关性的分析方法及性能监控系统 - Google Patents

Abstract

本发明适用于性能数据分析领域，提供了一种性能数据相关性的分析方法及性能监控系统，所述方法包括步骤：采集多个指标的性能数据，对所述性能数据进行存储以建立数据库；提取数据库中一个指标的性能数据，并按采集时间顺序构建时间序列；提取该时间序列的图形特征向量；对所述图形特征向量构建图形特征索引；构建目标时间序列；提取所述目标时间序列的目标图形特征向量；在所述图形特征索引中查询与所述目标图形特征向量相似的图形特征向量，对查询结果进行排序并输出。本发明通过时间序列相似性查询技术来实现对性能数据的大数据分析，使其在时间轴上的变化特征能够直观的体现，管理人员可以直接通过查询结果分析产生性能问题的各种因素。

Description

一种性能数据相关性的分析方法及性能监控系统

技术领域

本发明属于性能数据分析领域，尤其涉及一种性能数据相关性的分析方法及性能监控系统。

背景技术

服务器性能监控系统、网络设备性能监控系统、动环性能监控系统等性能数据分析领域中，大数据分析的基础问题在实际应用中常常被提及。现有技术中的大数据分析方法，通常以NoSQL(关系型数据库)为基础，通过对数据库中性能数据的构建时间序列，并按照时间序列索引方法对性能数据进行相似度查询和分析，在实现性能数据存储管理的同时，提高了NoSQL数据库的大数据存储及高性能查询能力。

然而，现有技术中的各种性能监控系统，对性能数据的使用处于对所统计的信息的展示和分析阶段，所统计的信息的有效性依赖于性能数据的统计量的大小，所统计的信息也很难体现性能数据在时间轴上的变化特征，从而很难为性能监控系统的性能分析、诊断和调优提供有效的指导信息。

发明内容

本发明实施例的目的在于提供一种性能数据相关性的分析方法及性能监控系统，旨在解决现有技术中的各种性能监控系统，对性能数据的使用处于对所统计的信息的展示和分析阶段，很难为性能监控系统的性能分析、诊断和调优断提供有效的指导信息的问题。

本发明实施例是这样实现的，一种性能数据相关性的分析方法，所述方法包括以下步骤：

通过网络节点采集目标网络中的多个指标的性能数据；

对所述性能数据进行存储，以建立存储有大量性能数据的数据库；

提取所述数据库中所述多个指标中的一个指标的性能数据，并按所述一个指标的性能数据的采集时间顺序构建时间序列；

按照预设算法提取所述时间序列的图形特征向量；

按预设的空间索引结构，对所述图形特征向量构建图形特征索引；

构建含有目标指标的目标时间序列；

按照所述预设算法提取出所述目标时间序列的目标图形特征向量；

在所述图形特征索引中查询与所述目标图形特征向量相似的图形特征向量，对查询结果进行排序并输出。

在一优选实施例中，所述通过网络节点采集目标网络中的多个指标的性能数据的步骤，具体包括：

通过多个网络节点高并发的采集多个目标网络中的多个指标的性能数据；

将采集到的性能数据转换成兼容于SNMP协议的性能数据；

通过SNMP协议获取所述兼容于SNMP协议的性能数据，并对所述兼容于SNMP协议的性能数据进行统一管理。

本发明实施例还提供一种性能监控系统，所述性能监控系统包括：

采集模块，用于通过网络节点采集目标网络中的多个指标的性能数据；

存储模块，用于对所述性能数据进行存储，以建立存储有大量性能数据的数据库；

时间序列构建模块，用于提取所述数据库中所述多个指标中的一个指标的性能数据，并按所述一个指标的性能数据的采集时间顺序构建时间序列；

特征提取模块，用于按照预设算法提取所述时间序列的图形特征向量；

索引构建模块，用于按预设的空间索引结构，对所述图形特征向量构建图形特征索引；

目标时间序列构建模块，用于构建含有目标指标的目标时间序列；

目标特征提取模块，用于按照所述预设算法提取出所述目标时间序列的目标图形特征向量；

查询模块，用于在所述图形特征索引中查询与所述目标图形特征向量相似的图形特征向量，对查询结果进行排序并输出。

在一优选实施例中，所述采集模块包括：

数据采集单元，通过多个网络节点高并发的采集多个目标网络中的多个指标的性能数据；

数据适配单元，将采集到的性能数据转换成兼容于SNMP协议的性能数据；

数据管理单元，用于通过SNMP协议获取所述兼容于SNMP协议的性能数据，并对所述兼容于SNMP协议的性能数据进行统一管理。

本发明实施例与现有技术相比，其有益效果在于：通过对大量的性能数据进行存储并按照时间序列排序，同时构建性能数据的图形特征索引，并通过时间序列相似性查询技术进行查询，实现了对大数据的分析，使得性能数据在时间轴上的变化特征能够直观的体现，管理人员可以直接通过查询结果分析产生性能问题的各种因素，为性能监控系统的问题诊断和调优提供了有效的指导信息，同时本发明实施所提供的性能数据相关性的分析方法易于实现，所提供的性能监控系统结构简单、易于操作，适于广泛推广。

附图说明

图1是本发明的实施例提供的性能数据相关性的分析方法的流程图；

图2是本发明的优选实施例提供的性能数据的采集方法的流程图；

图3是本发明的优选实施例提供的性能数据的存储方法的流程图；

图4是本发明的实施例提供的性能监控系统的基本结构框图；

图5是本发明的优选实施例提供的性能监控系统的具体结构框图；

图6是本发明的优选实施例提供的构建图像特征索引的方法的流程图；

图7是本发明的优选实施例提供的目标指标的查询方法的流程图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

图1本发明的实施例提供的性能数据相关性的分析方法的流程图，为了便于说明，仅示出了与本实施例相关的部分。

参阅图1，本发明实施例所提供的性能数据相关性的分析方法，包括以下步骤：

S101：通过网络节点采集目标网络中的多个指标的性能数据；

S102：对所述性能数据进行存储，以建立存储有大量性能数据的数据库；

S103：提取所述数据库中所述多个指标中的一个指标的性能数据，并按所述一个指标的性能数据的采集时间顺序构建时间序列；

S104：按照预设算法提取所述时间序列的图形特征向量；

S105：按预设的空间索引结构，对所述图形特征向量构建图形特征索引；

S106：构建含有目标指标的目标时间序列；

S107：按照所述预设算法提取出所述目标时间序列的目标图形特征向量；

S108：在所述图形特征索引中查询与所述目标图形特征向量相似的图形特征向量，对查询结果进行排序并输出。

在一优选实施例中，所述预设算法为DTW(Dynamic Time Warping，动态时间规整)算法。

在一优选实施例中，所述预设的空间索引结构为基于euclidean metric(欧几里得空间度量)的空间索引结构，所述空间索引结构具体为基于平衡二叉树(Balanced Binary Tree)结构的R树结构、R+树结构、R*结构、SR树结构等。

在一优选实施例中，所述预设的空间索引结构还可以是KD-树结构、四叉树结构、网格文件结构。

图2是本发明的优选实施例提供的本发明的实施例提供的性能数据的采集方法的流程图。图2所示的实施例为对图1中步骤S101的进一步优化，其步骤具体包括：

S201：通过多个网络节点高并发的采集多个目标网络中的多个指标的性能数据；

S202：将采集到的性能数据转换成兼容于SNMP协议的性能数据；

S203：通过SNMP协议获取所述兼容于SNMP协议的性能数据，并对所述兼容于SNMP协议的性能数据进行统一管理。

SNMP协议即简单网络管理协议。在具体应用中，所述步骤S201中的网络节点为服务器、路由器、交换机、主机等等；所述目标网络可以是有线网络也可以是无线网络。

图3是本发明的优选实施例提供的性能数据的存储方法的流程图。图3所示的实施例为对图1中步骤S102的进一步优化，其步骤具体包括：

S301：根据预设的数据处理模型，对所述性能数据进行批处理运算；

S302：通过预设的存储格式对进行批处理运算之后的性能数据进行分布式存储。

在具体的应用中，所述性能数据的存储方法采用HBase技术实现，HBase是一个分布式的、面向列的开源数据库，所述预设的数据处理模型为基于HBase技术的Hadoop MapReduce，该数据处理模型用于对海量的大数据进行批处理运算；通过基于HBase技术的Hadoop HDFS作为批处理运算之后的性能数据的文件存储系统，其包括大规模的文件存储集群单元，可对海量数据进行分区存储，Hadoop HDFS支持多种文件类型的存储格式，具体包括Hfile和Hlog File。

在一优选实施例中，所述步骤S102和S103可以采用Opentsdb(开源时序数据库)等专门为存储时间序列而设计的可存储海量数据的数据库，来实现对大量性能数据的时间序列的存储。Opentsdb是架构在HBase之上的实时信息搜集和展示平台。

在一优选实施例中，所述步骤S108具体包括：

设定查询距离；

查询所述图形特征索引中空间距离小于或等于所述查询距离的图形特征向量；

若未查询到空间距离小于或等于所述查询距离的图形特征向量，则返回执行所述设定查询距离的步骤；

按照所述空间距离的大小，对查询到的空间距离小于或等于所述查询距离的图形特征向量进行排序；

按顺序输出所述空间距离小于或等于所述查询距离的图形特征向量。

在一优选实施例中，所述返回执行所述设定查询距离的步骤，具体包括：

按预设值增加所述查询距离的长度，得到更新后的查询距离；

查询所述图形特征索引中空间距离小于或等于所述更新后的查询距离的图形特征向量；

若所述更新后的查询距离大于所述图形特征索引的最大空间距离，则结束查询。

在具体应用中，所述预设值为固定距离L，更新后的查询距离是在原查询距离的基础上以固定距离L的整数倍进行累加，若没有查询到空间距离小于等于所述查询距离的图形特征向量，则按照更新后的查询距离进行查询，此时，更新后的查询距离＝查询距离+L；若仍然没有查询到，则对所述更新后的查询距离进行再次更新进行查询，此时，更新后的查询距离＝查询距离+2L；若仍然没有查询到，则继续更新查询距离；依此类推，直到查询到空间距离小于等于所述更新后的查询距离的图形特征向量，或者当所述更新后的查询距离大于所述图形特征索引最大空间距离时，结束查询。

图4是本发明的实施例提供的性能监控系统的基本结构框图。

参阅图4，所述性能监控系统包括：

采集模块101，用于通过网络节点采集目标网络中的多个指标的性能数据；

存储模块102，用于对所述性能数据进行存储，以建立存储有大量性能数据的数据库；

时间序列构建模块103，用于提取所述数据库中所述多个指标中的一个指标的性能数据，并按所述一个指标的性能数据的采集时间顺序构建时间序列；

特征提取模块104，用于按照预设算法提取所述时间序列的图形特征向量；

索引构建模块105，用于按预设的空间索引结构，对所述图形特征向量构建图形特征索引；

目标时间序列构建模块106，用于构建含有目标指标的目标时间序列；

目标特征提取模块107，用于按照所述预设算法提取出所述目标时间序列的目标图形特征向量；

查询模块108，用于在所述图形特征索引中查询与所述目标图形特征向量相似的图形特征向量，对查询结果进行排序并输出。

在一优选实施例中，所述采集模块101包括：

数据采集单元，用于通过多个网络节点高并发的采集多个目标网络中的多个标的指标的性能数据；

数据适配单元，用于将采集到的性能数据转换成兼容于SNMP协议的性能数据；

数据管理单元，用于通过SNMP协议获取所述兼容于SNMP协议的性能数据，并对所述兼容于SNMP协议的性能数据进行统一管理。

在具体应用中，所述采集模块基于SNMP(简单网络管理协议)的高并发采集模块，其中，所述数据采集单元为采集模块中的被管理设备，其包含设置于多个目标网络中的多个网络节点，为采集海量的大数据奠定基础；数据适配单元作为所述数据采集单元的适配器，用于将采集到的海量性能数据转换成兼容于SNMP协议的格式；数据采集管理单元作为所述数据适配单元的上级管理设备，对所述采集模块中各单元进行控制，并对采集到的海量性能数据进行管理。

在一优选实施例中，所述存储模块包括：

批处理单元，用于根据预设的数据处理模型，对所述性能数据进行批处理运算；

分布式存储单元，用于通过预设的存储格式对进行批处理运算之后的性能数据进行分布式存储。

在具体应用中，所述批处理单元为基于HBase技术的Hadoop MapReduce，用于对海量的性能数据进行批处理运算；所述分布式存储单元为基于HBase技术的Hadoop HDFS，将批处理运算之后的海量性能数据分布式存储在多个存储集群子单元中。

在一优选实施例中，所述查询模块包括：

设定单元，用于设定查询距离；

查询单元，用于查询所述图形特征索引中空间距离小于或等于所述查询距离的图形特征向量；

返回单元，若未查询到空间距离小于或等于所述查询距离的图形特征向量，则返回执行所述设定查询距离的步骤；

排序单元，用于按照所述空间距离的大小，对查询到的空间距离小于或等于所述查询距离的图形特征向量进行排序；

输出单元，按顺序输出所述空间距离小于或等于所述查询距离的图形特征向量。

在一优选实施例中：

所述设定单元还用于按预设值增加所述查询距离的长度，得到更新后的查询距离；

所述查询单元还用于查询所述图形特征索引中空间距离小于或等于所述更新后的查询距离的图形特征向量；

所述查询模块还包括结束单元，所述结束单元用于若所述更新后的查询距离大于所述图形特征索引的最大空间距离，则结束查询。

图5是本发明的优选实施例提供的性能监控系统的具体结构框图.

参阅图5，所述性能监控系统包括：

多个目标网络10，本实施例中仅示出两个目标网络10；

位于目标网络10中的多个服务器11、多个路由器12和多个交换机12，用以高并发的采集海量的性能数据，本实施例中，每个目标网络10仅示出一个服务器11、一个路由器12和一个交换机13，所述服务器11、路由器12和交换机13均用于采集性能数据；

位于所述目标网络10中，分别与所述服务器11、路由器12和交换机13相连的采集适配器20，所述采集适配器20用于将采集到的性能数据转换成兼容于SNMP协议的性能数据；

与所述采集适配器20相连的采集管理服务器30，用于通过SNMP协议获取所述性能数据，并对所述性能数据进行管理。

与所述采集适配器20与相连的基于HBase技术的存储设备40，用于对采集到的性能数据进行分布式存储；

与所述存储设备40相连的基于R树结构的索引构建设备50，用于到所述存储设备40中提取出一个指标的所有性能数据，然后按时间顺序将所述性能数据排序为时间序列，提取所述时间序列的图形特征向量，并按照R树结构构建所述图形特征向量的空间索引；

与所述存储设备40和索引构建设备50均连接并其进行控制的PC客户端60，用于构建目标指标的目标时间序列，提取所述目标时间序列的目标图形特征向量，并按一定的空间距离在所述索引构建设备50中查询空间距离小于等于所述目标图形特征向量的目标图形向量，并对查询结果进行排序输出，以展示给用户，使用户可以根据查询到的结果对所述目标指标的性能数据进行分析。

图6是本发明的优选实施例提供的构建图像特征索引的方法的流程图。

如图6所示，所述构建图像特征索引的方法具体包括以下步骤：

开始；

到基于HBase的存储模块中提取出一个指标一天的性能数据；

按采集时间顺序构建所述性能数据的时间序列；

按照DTW算法提取所述时间序列的图形特征向量；

按照R树结构构建所述图像特征向量的R树索引；

结束。

图7是本发明的优选实施例提供的目标指标的查询方法的流程图。

如图7所示，所述目标指标的查询方法具体包括以下步骤：

开始；

构建所述目标指标的目标时间序列；

按照DTW算法提去所述目标时间序列的目标图形特征向量；

设定初始查询距离；

按照所述初始查询距离到所述R树索引中查询空间距离小于等于所述初始查询距离的图形特征向量；

若查询到指标，则按照所述指标的图形特征向量的空间距离的大小，对指标进行排序并输出，结束查询；

若没有查询到指标，则按固定长度逐渐增加所初始查询距离至新查询距离，并查询空间距离小于等于所述新查询距离的图形特征向量，若查询到指标，则按照所述指标的图形特征向量的空间距离的大小，对指标进行排序并输出，结束查询，若新查询距离大于所述R树索引的最大空间距离，则结束查询。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种性能数据相关性的分析方法，其特征在于，所述性能数据相关性的分析方法包括以下步骤：

通过网络节点采集目标网络中的多个指标的性能数据；

对所述性能数据进行存储，以建立存储有大量性能数据的数据库；

提取所述数据库中所述多个指标中的一个指标的性能数据，并按所述一个指标的性能数据的采集时间顺序构建时间序列；

按照预设算法提取所述时间序列的图形特征向量；

按预设的空间索引结构，对所述图形特征向量构建图形特征索引；

构建含有目标指标的目标时间序列；

按照所述预设算法提取出所述目标时间序列的目标图形特征向量；

在所述图形特征索引中查询与所述目标图形特征向量相似的图形特征向量，对查询结果进行排序并输出。

2.如权利要求1所述的性能数据相关性的分析方法，其特征在于，通过网络节点采集目标网络中的多个指标的性能数据的步骤，具体包括：

通过多个网络节点高并发的采集多个目标网络中的多个指标的性能数据；

将采集到的性能数据转换成兼容于SNMP协议的性能数据；

通过SNMP协议获取所述兼容于SNMP协议的性能数据，并对所述兼容于SNMP协议的性能数据进行统一管理。

3.如权利要求1所述的性能数据相关性的分析方法，其特征在于，对所述性能数据进行存储，以建立存储有大量性能数据的数据库的步骤，具体包括：

根据预设的数据处理模型，对所述性能数据进行批处理运算；

通过预设的存储格式对进行批处理运算之后的性能数据进行分布式存储。

4.如权利要求1所述的性能数据相关性的分析方法，其特征在于，在所述图形特征索引中查询与所述目标图形特征向量相似的图形特征向量，对查询结果进行排序并输出的步骤，具体包括：

设定查询距离；

查询所述图形特征索引中空间距离小于或等于所述查询距离的图形特征向量；

若未查询到空间距离小于或等于所述查询距离的图形特征向量，则返回执行所述设定查询距离的步骤；

按照所述空间距离的大小，对查询到的空间距离小于或等于所述查询距离的图形特征向量进行排序；

按顺序输出所述空间距离小于或等于所述查询距离的图形特征向量。

5.如权利要求4所述的性能数据相关性的分析方法，其特征在于，所述返回执行所述设定查询距离的步骤，具体包括：

按预设值增加所述查询距离的长度，得到更新后的查询距离；

查询所述图形特征索引中空间距离小于或等于所述更新后的查询距离的图形特征向量；

若所述更新后的查询距离大于所述图形特征索引的最大空间距离，则结束查询。

6.一种性能监控系统，其特征在于，所述性能监控系统包括：

采集模块，用于通过网络节点采集目标网络中的多个指标的性能数据；

存储模块，用于对所述性能数据进行存储，以建立存储有大量性能数据的数据库；

时间序列构建模块，用于提取所述数据库中所述多个指标中的一个指标的性能数据，并按所述一个指标的性能数据的采集时间顺序构建时间序列；

特征提取模块，用于按照预设算法提取所述时间序列的图形特征向量；

索引构建模块，用于按预设的空间索引结构，对所述图形特征向量构建图形特征索引；

目标时间序列构建模块，用于构建含有目标指标的目标时间序列；

目标特征提取模块，用于按照所述预设算法提取出所述目标时间序列的目标图形特征向量；

查询模块，用于在所述图形特征索引中查询与所述目标图形特征向量相似的图形特征向量，对查询结果进行排序并输出。

7.如权利要求6所述的性能监控系统，其特征在于，所述采集模块包括：

数据采集单元，通过多个网络节点高并发的采集多个目标网络中的多个指标的性能数据；

数据适配单元，将采集到的性能数据转换成兼容于SNMP协议的性能数据；

数据管理单元，用于通过SNMP协议获取所述兼容于SNMP协议的性能数据，并对所述兼容于SNMP协议的性能数据进行统一管理。

8.如权利要求6所述的性能监控系统，其特征在于，所述存储模块包括：

批处理单元，用于根据预设的数据处理模型，对所述性能数据进行批处理运算；

分布式存储单元，用于通过预设的存储格式对进行批处理运算之后的性能数据进行分布式存储。

9.如权利要求6所述的性能监控系统，其特征在于，所述查询模块包括：

设定单元，用于设定查询距离；

查询单元，用于查询所述图形特征索引中空间距离小于或等于所述查询距离的图形特征向量；

返回单元，若未查询到空间距离小于或等于所述查询距离的图形特征向量，则返回执行所述设定查询距离的步骤；

排序单元，用于按照所述空间距离的大小，对查询到的空间距离小于或等于所述查询距离的图形特征向量进行排序；

输出单元，按顺序输出所述空间距离小于或等于所述查询距离的图形特征向量。

10.如权利要求9所述的性能监控系统，其特征在于：

所述设定单元还用于按预设值增加所述查询距离的长度，得到更新后的查询距离；

所述查询单元还用于查询所述图形特征索引中空间距离小于或等于所述更新后的查询距离的图形特征向量；

所述查询模块还包括结束单元，所述结束单元用于若所述更新后的查询距离大于所述图形特征索引的最大空间距离，则结束查询。