CN106470118A - 一种应用系统性能异常检测方法和系统 - Google Patents

Abstract

本发明涉及一种应用系统性能异常检测方法和系统，该系统包括流量采集模块、性能元数据索引模块、性能异常检测模块和性能异常定位模块，该方法如下：S1、采集应用系统原始流量数据；S2、对原始流量数据进行会话重组，采用ElasticSearch技术对性能元数据进行索引；S3、周期性计算各个应用系统的平均响应时间，构建应该响应时间基线数据模型，确定为应用性能异常；S4、通过性能元数据索引检索异常应用系统在故障时间点的所有性能元数据，通过性能元数据的IP信息确定故障点，并发出性能告警信息。本发明创新性的采用性能元数据技术，基于数据视角，采用大数据全文检索技术，对应用系统性能进行实时分析与关联性分析，从而对应用系统性能问题有全面的掌控。

Description

一种应用系统性能异常检测方法和系统

技术领域

本发明涉及信息安全领域，具体涉及一种大型企业应用系统性能异常检测方法和系统。

背景技术

在今天的IT环境中，企业的各种业务已经越来越紧密地与Internet结合在一起，由服务器、数据库、中间件等组成的应用信息系统也变得越来越复杂，对IT技术人员的要求变得越来越高，各种突发故障排除起来也越来越困难。而企业利润的增长和获得直接取决于业务能否有效运行，应用的运行质量直接关系用户可以提供的业务水平。在那些关键应用上对性能监控管理，对性能问题进行及时有效的分析和处理，是提高用户业务的迫切需要。

在一个业务系统上线运行后，衡量该系统运行质量的尺度必然是考察其完成业务的能力、速度和稳定性。由于应用的执行状况直接反映了业务运行的质量，所以对应用的监控、分析、优化和从应用角度对系统的观察，是性能管理最重要的方面。

大部分系统性能的下降都和应用有关，这是最主要因素。由于当今业务本身的多变性，业务模型是不断变化的；业务的发展也使得软硬件平台不断升级，业务的扩充和迁移也是经常性的；由于软件产品的特性，高度产品化而且高度易于客户化的应用软件在很多领域远未实现。以上种种因素使得今天的关键应用面临的性能问题存在于开发和生产运行的整个生命周期内。

用户在IT应用系统上进行了大规模的投资，用以保障其业务系统能够高效率地运行。随着IT应用的不断深化，其规模也越来越大、越来越复杂。如何保障IT应用系统能够稳定、高效率的运行越来越受到了用户的重视。

到目前为止，网络性能测试的工具网络性能测试Spirent TestCenter主要适用于网络二到七层的测试，包括：核心及边缘路由器的MPLS-VPN,二层VPNs,组播路由,IPv4/v6路由协议的相关测试；二层级及三层交换机的VLANs,RFC 2544/2889，TP/RSTP/MSTP,MEF的相关测试；接入及汇聚的DHCP/PPP/SIP仿真、IPTV频道切换和视频质量测试；四到七层网络应用流量如HTTP,FTP等的仿真测试。信息产业部的提出了系列性能测试规范：

YD/T 1260-2003基于端口的虚拟局域网(VLAN)技术要求和测试方法；

YD/T 1287-2003具有路由功能的以太网交换机测试方法；

YD/T 1141-2001千兆比以太网交换机测试方法；

YD/T 1251.1-2003路由协议一致性测试方法—中间系统到中间系统路由交换协议(IS-IS)；

YD/T 1251.2-2003路由协议一致性测试方法—开放最短路径优先协议(OSPF)；

YD/T 1251.3-2003路由协议一致性测试方法—边界网关协议(BGP4)；

YD/T 1156-2001路由器测试规范—高端路由器；

YD/T 1098-2001路由器测试规范-低端路由器；

YD/T 1240-2002接入网设备测试方法--基于以太网技术的宽带接入网设备；

YD/T 1075-2000网络接入服务器(NAS)测试方法。

但是，目前热点事件分析的研究往往侧重于网络性能分析，针对运行于网络之上的实际业务性能的分析较少，针对业务性能分析的手段也往往只针对实时分析，缺乏真正有效的分析能力。

发明内容

有鉴于此，本发明的目的在于克服现有技术的不足，提供一种应用系统性能异常检测方法和系统。本发明针对复杂企业网络环境，创新性的采用了性能元数据方案，基于大数据分析的视角，对应用系统性能进行异常检测和故障定位分析。

为实现上述目的，本发明采取以下技术方案：

一种应用系统性能异常检测系统，该系统包括流量采集模块、性能元数据索引模块、性能异常检测模块和性能异常定位模块，其中：

流量采集模块：通过对应用系统所在网络的路由器或交换机的流量镜像，采集应用系统原始流量数据；

性能元数据索引模块：对原始流量数据进行会话重组，针对各个会话计算会话请求处理阶段的响应时间，通过对会话发生时间、IP、端口、所属应用系统信息的分析，以类NetFlow格式构建会话性能元数据；采用ElasticSearch技术对性能元数据进行索引；

性能异常检测模块：周期性计算各个应用系统的平均响应时间，构建应该响应时间基线数据模型，当应用系统当前平均响应时间与该应用的响应时间趋势模型偏离较大时，确定为应用性能异常；

性能异常定位模块：通过性能元数据索引检索异常应用系统在故障时间点的所有性能元数据，各个会话响应时间进行排序获得性能最差会话，通过性能元数据的IP信息确定故障点，并发出性能告警信息。

所述系统的流量采集模块，通过对应用系统所在网络的路由器或交换机的流量镜像，采集应用系统完整的原始流量数据。

本发明基于上述系统还提供了一种应用系统性能异常检测方法，该方法包括如下步骤：

S1、采用流量采集模块，通过对应用系统所在网络的路由器或交换机的流量镜像，采集应用系统原始流量数据；

S2、采用性能元数据索引模块，对原始流量数据进行会话重组，针对各个会话计算会话请求处理阶段的响应时间，通过对会话发生时间、IP、端口、所属应用系统信息的分析，以类NetFlow格式构建会话性能元数据；为了适应复杂网络多点采集的情况，会话元数据的传输同时支持UDP协议与TCP协议；采用ElasticSearch技术对性能元数据进行索引；

S3、采用性能异常检测模块，周期性计算各个应用系统的平均响应时间，构建应该响应时间基线数据模型，当应用系统当前平均响应时间与该应用的响应时间趋势模型偏离较大时，确定为应用性能异常；

S4、采用性能异常定位模块，通过性能元数据索引检索异常应用系统在故障时间点的所有性能元数据，各个会话响应时间进行排序获得性能最差会话，通过性能元数据的IP信息确定故障点，并发出性能告警信息。

本发明中的性能元数据索引模块之构建会话性能元数据、性能异常检测模块具体实现步骤以及性能异常定位模块具体实现步骤将在实施例中做进一步详述。

本发明提供的应用系统性能异常检测系统包括流量采集模块、性能元数据索引模块、性能异常检测模块和性能异常定位模块，创新性的采用性能元数据技术，基于数据视角，采用大数据全文检索技术，对应用系统性能进行实时分析与关联性分析，从而对应用系统性能问题有全面的掌控。

本发明的有益效果为：

1)、采用本发明提供的技术方案，有利于企业IT技术人员高效便捷的排除各种突发故障；

2)、能够对系统的性能监控，对性能问题进行及时有效的分析和处理，提供系统运行效率；

3)、本发明针对运行于网络之上的实际业务性能分析，创新性的采用性能元数据技术，基于数据视角，采用大数据全文检索技术，对应用系统性能进行实时分析与关联性分析，从而对应用系统性能问题有全面的掌控。

附图说明

图1是本发明应用系统性能异常检测方法流程图。

具体实施方式

下面结合附图和实施例对本发明进行详细的描述。

本发明提供一种应用系统性能异常检测系统，该系统包括流量采集模块、性能元数据索引模块、性能异常检测模块和性能异常定位模块，其中：

流量采集模块：通过对应用系统所在网络的路由器或交换机的流量镜像，采集应用系统原始流量数据；

性能元数据索引模块：对原始流量数据进行会话重组，针对各个会话计算会话请求处理阶段的响应时间，通过对会话发生时间、IP、端口、所属应用系统信息的分析，以类NetFlow格式构建会话性能元数据；采用ElasticSearch技术对性能元数据进行索引；

性能异常检测模块：周期性计算各个应用系统的平均响应时间，构建应该响应时间基线数据模型，当应用系统当前平均响应时间与该应用的响应时间趋势模型偏离较大时，确定为应用性能异常；

性能异常定位模块：通过性能元数据索引检索异常应用系统在故障时间点的所有性能元数据，各个会话响应时间进行排序获得性能最差会话，通过性能元数据的IP信息确定故障点，并发出性能告警信息。

所述系统的流量采集模块，通过对应用系统所在网络的路由器或交换机的流量镜像，采集应用系统完整的原始流量数据。

本发明应用系统性能异常检测系统包括流量采集模块、性能元数据索引模块、性能异常检测模块和性能异常定位模块，创新性的采用性能元数据技术，基于数据视角，采用大数据全文检索技术，对应用系统性能进行实时分析与关联性分析，从而对应用系统性能问题有全面的掌控。

如图1所示，本发明还提供了一种应用系统性能异常检测方法，该方法包括如下步骤：

S1、采用流量采集模块，通过对应用系统所在网络的路由器或交换机的流量镜像，采集应用系统原始流量数据；

S2、采用性能元数据索引模块，对原始流量数据进行会话重组，针对各个会话计算会话请求处理阶段的响应时间，通过对会话发生时间、IP、端口、所属应用系统信息的分析，以类NetFlow格式构建会话性能元数据；为了适应复杂网络多点采集的情况，会话元数据的传输同时支持UDP协议与TCP协议；采用ElasticSearch技术对性能元数据进行索引；

S3、采用性能异常检测模块，周期性计算各个应用系统的平均响应时间，构建应该响应时间基线数据模型，当应用系统当前平均响应时间与该应用的响应时间趋势模型偏离较大时，确定为应用性能异常；

S4、采用性能异常定位模块，通过性能元数据索引检索异常应用系统在故障时间点的所有性能元数据，各个会话响应时间进行排序获得性能最差会话，通过性能元数据的IP信息确定故障点，并发出性能告警信息。

作为本发明的一种优先实施方式，所述的步骤S2性能元数据索引模块中，会话性能元数据的实现如下：

S21、对原始流量数据包进行IP分片重组和TCP会话重组；

采用五元组确定会话，五元组是{源IP地址，源端口，目的IP地址，目的端口和传输层协议号}这五个量组成的一个集合，采用TCP头中的Sequence Number来保证数据报文的顺序；会话是应用系统性能元数据的载体，重组后的会话为：

S＝｛s₀，s₁，s₂，s₃，s₄，s₅，......s_n｝；

S22、计算各个会话请求响应时间，在会话重组过程中，会话s_i包含的原始数据包序列为：

P＝｛p₀，p₁，p₂，p₃，p₄，p₅，......p_m｝；

其中，各个数据包发生的时间为：

T＝｛t₁，t₂，t₃，t₄，t₅，t₆，......t_m｝；

因此，计算获得会话s_i的响应时长为：

rt＝t_m-t₁；

S23、构建性能元数据，性能元数据表征了五元组相同的一组会话在计算周期内应用性能分析信息，其目的是分析某应用系统内客户端IP与服务端IP在某特点时间内的响应性能状态；性能元数据的数据格式设计如下表：

性能元数据的计算采用聚合算法，聚合条件是五元组{源IP地址，源端口，目的IP地址，目的端口和传输层协议号}；聚合对象是计算周期内的会话序列，表征为：

S＝｛s₀，s₁，s₂，s₃，s₄，s₅，......s_n｝

该序列会话对应的响应时间为：

RT＝｛rt₀，rt₁，rt₂，rt₃，rt₄，rt₅，......rt_n｝

则，性能元数据计算为：

元数据五元组信息与聚合条件五元组一致；

报文总数包含报文个数；

字节总数包含字节个数；

最大响应时间rtmax＝MAX(rt_i) (0＜＝i＜＝n)；

平均响应时间

最小响应时间rtmin＝MAX(rt_i) (0＜＝i＜＝n)；

应用系统id等于聚合条件五元组中目的IP所属的应用系统的id；

以此，获得性能元数据序列为：

R＝｛r₀，r₁，r₂，r₃，r₄，r₅，......r_n｝

S41、索引性能元数据，对性能元数据序列按照时间以增量方式向索引库添加数据，建立索引采用分布式检索工具ElasticSearch完成。

作为本发明的一种优先实施方式，所述的步骤S3性能异常检测模块，实现步骤具体如下：

S31、基线构建阶段：根据设定的学习周期和采样点时长，建立各个应用系统的响应性能基线，该基线包括各个应用系统平均响应时间的正常值和波动范围；

设定学习周期采用learn_time表示，采样点时长采用sample_time表示；

设企业网络中的应用系统序列为：

S＝｛s₀，s₁，s₂，s₃，s₄，s₅，......s_n｝

则响应性能基线为：

其中，采样点个数l＝learn_time/sample_time；

S32、性能检测阶段：根据基线建立阶段建立的各个应用系统平均响应时间的正常值，判断当前应用系统的响应时间是否异常，并根据当前的响应时间值，动态更新基线。

作为本发明的一种优先实施方式，所述的步骤S4性能异常检测模块，实现步骤具体如下：

S41、提取相关性能元数据：根据检测阶段获得应用业务系统s_i在某采样时间段出现了性能异常，从性能元数据索引中获得应用业务系统s_i在该采样时间段的所有性能元数据；

S42、构建业务性能响应链：按照[源IP，目的IP]二元组对性能元数据进行分组，计算每个元组的平均性能响应时间；按照源IP、目的IP次序构建性能响应链。

S43、定位性能故障点：计算业务性能响应链中响应时间最大的[源IP，目的IP]二元组，该二元组即为故障点。

本发明不局限于上述最佳实施方式，任何人在本发明的启示下都可得出其他各种形式的产品，但不论在其形状或结构上作任何变化，凡是具有与本申请相同或相近似的技术方案，均落在本发明的保护范围之内。

Claims (6)

1.一种应用系统性能异常检测系统，其特征在于：该系统包括流量采集模块、性能元数据索引模块、性能异常检测模块和性能异常定位模块，其中：

流量采集模块：通过对应用系统所在网络的路由器或交换机的流量镜像，采集应用系统原始流量数据；

性能元数据索引模块：对原始流量数据进行会话重组，针对各个会话计算会话请求处理阶段的响应时间，通过对会话发生时间、IP、端口、所属应用系统信息的分析，以类NetFlow格式构建会话性能元数据；采用ElasticSearch技术对性能元数据进行索引；

性能异常检测模块：周期性计算各个应用系统的平均响应时间，构建应该响应时间基线数据模型，当应用系统当前平均响应时间与该应用的响应时间趋势模型偏离较大时，确定为应用性能异常；

性能异常定位模块：通过性能元数据索引检索异常应用系统在故障时间点的所有性能元数据，各个会话响应时间进行排序获得性能最差会话，通过性能元数据的IP信息确定故障点，并发出性能告警信息。

2.根据权利要求1所述的一种应用系统性能异常检测系统，其特征在于：所述系统的流量采集模块，通过对应用系统所在网络的路由器或交换机的流量镜像，采集应用系统完整的原始流量数据。

3.一种应用系统性能异常检测方法，其特征在于：该方法包括如下步骤：

S1、采用流量采集模块，通过对应用系统所在网络的路由器或交换机的流量镜像，采集应用系统原始流量数据；

S2、采用性能元数据索引模块，对原始流量数据进行会话重组，针对各个会话计算会话请求处理阶段的响应时间，通过对会话发生时间、IP、端口、所属应用系统信息的分析，以类NetFlow格式构建会话性能元数据；采用ElasticSearch技术对性能元数据进行索引；

S3、采用性能异常检测模块，周期性计算各个应用系统的平均响应时间，构建应该响应时间基线数据模型，当应用系统当前平均响应时间与该应用的响应时间趋势模型偏离较大时，确定为应用性能异常；

S4、采用性能异常定位模块，通过性能元数据索引检索异常应用系统在故障时间点的所有性能元数据，各个会话响应时间进行排序获得性能最差会话，通过性能元数据的IP信息确定故障点，并发出性能告警信息。

4.根据权利要求3所述的一种应用系统性能异常检测方法，其特征在于：所述的步骤S2性能元数据索引模块中，会话性能元数据的实现如下：

S21、对原始流量数据包进行IP分片重组和TCP会话重组；

采用五元组确定会话，五元组是{源IP地址，源端口，目的IP地址，目的端口和传输层协议号}这五个量组成的一个集合，采用TCP头中的Sequence Number来保证数据报文的顺序；会话是应用系统性能元数据的载体，重组后的会话为：

S＝{s₀，s₁，s₂，s₃，s₄，s₅，......s_n}；

S22、计算各个会话请求响应时间，在会话重组过程中，会话s_i包含的原始数据包序列为：

P＝{p₀，p₁，p₂，p₃，p₄，p₅，......p_m}；

其中，各个数据包发生的时间为：

T＝{t₁，t₂，t₃，t₄，t₅，t₆，......t_m}；

因此，计算获得会话s_i的响应时长为：

rt＝t_m-t₁；

S23、构建性能元数据，性能元数据表征了五元组相同的一组会话在计算周期内应用性能分析信息，其目的是分析某应用系统内客户端IP与服务端IP在某特点时间内的响应性能状态；性能元数据的数据格式设计为：

字节 字段类型 内容 描述 0～3 uint32 srcaddr 源IP地址 4～7 uint32 dstaddr 目的IP地址 8～11 uint32 srcport 源端口号 12～13 uint16 dstport 目的端口号 14～15 uint16 prot 传输层协议号 16～19 uint32 dPkts 报文总数 20～23 uint32 dOctets 字节总数 24～27 uint32 First 计算周期开始时间 28～31 uint32 Last 计算周期结束时间 32～33 uint16 rtmax 最大响应时间 34～35 uint16 rtave 平均响应时间 36～37 uint16 rtmin 最小响应时间 38 uint8 appid 应用系统id 39 uint8 pad pad

性能元数据的计算采用聚合算法，聚合条件是五元组{源IP地址，源端口，目的IP地址，目的端口和传输层协议号}；聚合对象是计算周期内的会话序列，表征为：

S＝{s₀，s₁，s₂，s₃，s₄，s₅，......s_n}

该序列会话对应的响应时间为：

RT＝{rt₀，rt₁，rt₂，rt₃，rt₄，rt₅，......rt_n}

则，性能元数据计算为：

元数据五元组信息与聚合条件五元组一致；

报文总数包含报文个数；

字节总数包含字节个数；

最大响应时间rtmax＝MAX(rt_i)(0<＝i<＝n)；

平均响应时间 $rtave=\frac{{\mathrm{\&Sigma;}}_0^n{\mathrm{rt}}_i}{n};$

最小响应时间rtmin＝MIN(rt_i)(0<＝i<＝n)；

应用系统id等于聚合条件五元组中目的IP所属的应用系统的id；

以此，获得性能元数据序列为：

R＝{r₀，r₁，r₂，r₃，r₄，r₅，......r_n}

S41、索引性能元数据，对性能元数据序列按照时间以增量方式向索引库添加数据，建立索引采用分布式检索工具ElasticSearch完成。

5.根据权利要求3所述的一种应用系统性能异常检测方法，其特征在于：所述的步骤S3性能异常检测模块，实现步骤具体如下：

S31、基线构建阶段：根据设定的学习周期和采样点时长，建立各个应用系统的响应性能基线，该基线包括各个应用系统平均响应时间的正常值和波动范围；

设定学习周期采用learn_time表示，采样点时长采用sample_time表示；

设企业网络中的应用系统序列为：

S＝{s₀，s₁，s₂，s₃，s₄，s₅，......s_n}

则响应性能基线为：

$BL=\begin{array}{c}\&lsqb;{\mathrm{st}}_{00},{\mathrm{st}}_{01},{\mathrm{st}}_{02},{\mathrm{st}}_{03},{\mathrm{st}}_{04},{\mathrm{st}}_{05},......{\mathrm{st}}_{0l}\&rsqb;\\ \&lsqb;{\mathrm{st}}_{10},{\mathrm{st}}_{11},{\mathrm{st}}_{12},{\mathrm{st}}_{13},{\mathrm{st}}_{14},{\mathrm{st}}_{15},......{\mathrm{st}}_{1l}\&rsqb;\\ \&lsqb;......\&rsqb;\\ \&lsqb;{\mathrm{st}}_{n0},{\mathrm{st}}_{n1},{\mathrm{st}}_{n2},{\mathrm{st}}_{n3},{\mathrm{st}}_{n4},{\mathrm{st}}_{n5},......{\mathrm{st}}_{nl}\&rsqb;\end{array}$

其中，采样点个数l＝learn_time/sample_time；

S32、性能检测阶段：根据基线建立阶段建立的各个应用系统平均响应时间的正常值，判断当前应用系统的响应时间是否异常，并根据当前的响应时间值，动态更新基线。

6.根据权利要求3所述的一种应用系统性能异常检测方法，其特征在于：所述的步骤S4性能异常检测模块，实现步骤具体如下：

S41、提取相关性能元数据：根据检测阶段获得应用业务系统s_i在某采样时间段出现了性能异常，从性能元数据索引中获得应用业务系统s_i在该采样时间段的所有性能元数据；

S42、构建业务性能响应链：按照[源IP，目的IP]二元组对性能元数据进行分组，计算每个元组的平均性能响应时间；按照源IP、目的IP次序构建性能响应链。

S43、定位性能故障点：计算业务性能响应链中响应时间最大的[源IP，目的IP]二元组，该二元组即为故障点。