CN113242153A - 一种基于网络流量监控的面向应用的监控分析方法 - Google Patents

Abstract

本发明公开了一种基于网络流量监控的面向应用的监控分析方法，其包括监控信息采集、监控数据传输、监控管理、监控数据存储、监控数据处理分析以及监控展示，监控信息采集和监控数据传输交互，监控数据传输和监控管理交互，监控管理和监控数据存储、监控展示交互，监控数据存储和监控数据处理分析交互，监控数据处理分析和监控展示交互；利用数据分析和处理方式的改进，提高网络流量监控的安全可靠性。

Description

一种基于网络流量监控的面向应用的监控分析方法

技术领域

本申请涉及网络通信技术领域，尤其是涉及一种基于网络流量监控的面向应用的监控分析方法。

背景技术

运维系统建设的总体要求：实现运维管理逐步向服务导向运维阶段做转变，实现云计算环境下“管理体制标准化、工作流程规范化、运行情况可视化、质量评估数字化、故障分析智能化”的“监、管、控”全国运维“一盘棋”。对于“监”方面提出了引入业界面向业务监控理念，在应用层监控平台中新增业务建模及故障的业务影响分析相关功能，实现“监”方面在新架构下转型的要求。

针对上述中的相关技术，发明人认为：

1. 基于基础资源的监控，监控信息离散，缺乏对业务应用监控的手段。当前监控系统以基础资源为核心，通常监控网络、服务器、主机、存储等基础资源，监控项以资源设备的运行状态为主。并且各类基础资源设备采用各自专用监控系统，各监控信息离散，缺乏及时反映业务应用运行情况的监控手段。

2. 疑难问题需要较多人工参与，有待提高问题分析智能化。对于疑难问题，特别是无法及时定位问题，通常需要系统、网络、应用等多个层面运维人员参与，且运维人员需借助专业工具深入分析。该类问题处理不仅对运维人员要求较高，而且通常需要较长问题处理时间，会影响到问题处理时效。

3. 缺乏针对业务应用分析的手段。现有各层面的监控、分析手段，以各层面的监控、分析对象为核心，无法从业务应用分析到与此关联的软件应用、操作系统、网络、硬件等不同层面技术支撑情况，这对信息系统运行维护提出了严峻的挑战。

4. 缺乏系统反映业务系统运行状态全局的手段。现有运维监控工具通常以基础架构资源设备为监控对象，每个业务系统不仅由不同应用功能服务组成，而且每个业务系统由多条客户端->应用服务器->数据库的应用访问链条组成，需要面向业务系统、系统反映全局的手段。

发明内容

本发明的目的在于针对现有技术的不足之处，至少在一定程度上解决相关技术中的技术问题，提供一种基于网络流量监控的面向应用的监控分析方法，以达到提高数据监控可靠性和安全性的目的。

本申请提供一种基于网络流量监控的面向应用的监控分析方法，包括监控信息采集、监控数据传输、监控管理、监控数据存储、监控数据处理分析以及监控展示，监控信息采集和监控数据传输交互，监控数据传输和监控管理交互，监控管理和监控数据存储、监控展示交互，监控数据存储和监控数据处理分析交互，监控数据处理分析和监控展示交互；监控信息采集包括应用系统流数据采集、应用系统指标数据采集、以及辅助工具数据采集，监控管理包括集中监控管理、系统管理和统计分析报告，监控数据处理分析包括问题根源分析、趋势分析、问题初步定位、运行基线、回溯分析、应用分析、以及关联分析；其中，监控信息采集具有定制的监控指标，系统管理中具有采集管理和告警管理并且依据定制监控策略，监控展示中依据定制监控视图呈现应用拓扑图、应用运行监控图、应用流监控图以及页面集成图。

另外，还提供一种基于网络流量监控的面向应用的监控分析方法，包括监控信息采集、监控数据传输、监控管理、监控数据存储、监控数据处理分析以及监控展示，监控信息采集和监控数据传输交互，监控数据传输和监控管理交互，监控管理和监控数据存储、监控展示交互，监控数据存储和监控数据处理分析交互，监控数据处理分析和监控展示交互；

其中，在监控数据传输中设置了网络流量异常检测过程，网络流量异常检测过程包括流量数据获取、建立相关模型、异常检测判断；建立相关模型是通过历史流量数据并根据特征提取形成，异常检测判断是通过流量模型和实时流量的对比来判断，如果偏离程度大于既定范围，则认定为流量异常，产生警告信息。

综上所述，本申请包括以下至少一种有益技术效果：1、通过应用监控系统落地面向业务的应用监控总体需求架构的具体功能，功能需求通过应用监控系统对监控信息采集、传输、处理分析、存储、应用，实现对应用系统监控的可视化展示，2、使用过程更加高效，方便；3、监控过程更加安全可靠准确。

附图说明

图1是实施例1的总体功能逻辑架构示意图。

图2是实施例2的系统架构图。

图3是实施例2的流量预测图。

具体实施方式

以下结合附图对本申请作进一步详细说明。

实施例1：

一种基于网络流量监控的面向应用的监控分析方法，包括监控信息采集、监控数据传输、监控管理、监控数据存储、监控数据处理分析以及监控展示，监控信息采集和监控数据传输交互，监控数据传输和监控管理交互，监控管理和监控数据存储、监控展示交互，监控数据存储和监控数据处理分析交互，监控数据处理分析和监控展示交互；监控信息采集包括应用系统流数据采集、应用系统指标数据采集、以及辅助工具数据采集，监控管理包括集中监控管理、系统管理和统计分析报告，监控数据处理分析包括问题根源分析、趋势分析、问题初步定位、运行基线、回溯分析、应用分析、以及关联分析；其中，监控信息采集具有定制的监控指标，系统管理中具有采集管理和告警管理并且依据定制监控策略，监控展示中依据定制监控视图呈现应用拓扑图、应用运行监控图、应用流监控图以及页面集成图。所述监控信息采集主要是通过采集代理，并借助辅助工具采集监控信息，采集监控信息主要包括应用系统指标数据、应用系统流数据、网络运行状态指标数据、告警信息；系统内部采用分级部署、独立运行和集中管理的工作模式，应用监控系统分别在3个核心节点和12个大型直属节点部署运行，核心节点监控本节点和直属节点核心应用运行；直属除监控本节点核心应用运行外，定制监控核心节点关键应用运行，专业运维人员直接登录应用监控系统，对应用系统进行专业监控及分析；与运管平台之间采用数据交换和页面集成的工作模式，日常监控人员在运管平台实现对业务系统的统一监控，并通过集成页面快捷进入应用监控系统作专业监控，当运管平台收到由应用监控系统送来的告警信息时，运维人员通过集成页面对告警进行跟踪，确认为故障的，通过运管平台进入故障处理流程，并通过应用监控系统进行故障定位和根源分析。所述监控指标数据包括技术指标数据和应用指标数据，技术指标数据主要反映承载业务系统的基础架构运行状态、技术应用运行状态及性能，主要包括：设备硬件资源使用指标、操作系统资源使用指标、具体技术应用使用指示数据；应用指标数据主要反映业务系统运行状态及性能，主要从数据库表中记录数、文件夹中文件数、数据库表业务时间差、文件夹和文件修改作为应用指标数据。

本发明方案按应用系统的应用运维监控需求，开展应用监控系统体系设计，包括：梳理业务、应用系统、定制监控指标、定制监控策略、定义配置数据、定制监控视图等。其中，梳理业务、应用系统涉及梳理核心业务系统类型、业务应用数据流路径、业务应用服务类型、业务应用网络交互方式等。定制监控指标主要涉及定制应用系统监控指标等。定制监控策略涉及定制采集规则、告警规则、告警响应处理规则等。定义配置数据涉及应用监控数据管理、基础架构配置数据、应用配置数据，应用拓扑模型数据、监控模板数据、数据交换等。定制监控视图涉及应用拓扑图、应用运行监控、应用流监控、页面集成等。应用监控系统体系设计通过监控信息采集、系统管理、监控数据存储、监控展示等功能块，实现应用运维监控。本项目通过应用监控系统落地面向业务的应用监控总体需求架构的具体功能。应用监控系统总体需求主要涉及功能、性能、外部接口、安全、系统部署等方面需求。功能需求通过应用监控系统对监控信息采集、传输、处理分析、存储、应用，实现对应用系统监控的可视化展示。功能需求主要包括：监控信息采集、监控数据传输、监控管理、监控数据处理分析、监控数据存储和监控数据应用六个功能部分，如下：

1．监控信息采集

监控信息采集主要是通过采集代理，并借助其它辅助工具采集监控信息，采集监控信息主要包括应用系统指标数据、应用系统流数据、网络运行状态指标数据、告警信息等。

2．监控数据传输

监控数据传输主要是提供监控信息采集、监控数据管理之间的交换消息和端到端对象传输，并且实现系统分布式部署。

3．监控管理

监控管理主要是通过集中监控管理建立监控信息采集集中管理运行机制，通过系统管理提供对用户、采集任务及参数、告警策略和告警响应处理、系统日志等统一管理。此外，提供统计分析报告。

4．监控数据处理分析

监控数据处理分析主要是应用流数据通过应用分析形成应用流监控指标，关联分析建立应用运维监控资源、监控指标之间多层面关联关系，借助运行基线、回溯分析、趋势分析等，实现问题初步定位，进而实现问题根源分析。

5．监控数据存储

监控数据存储主要是按监控数据要求定义统一数据规范，建立监控数据统一管理机制，并且集中存储监控数据。

6．监控数据应用

监控数据应用主要是应用监控视图展示。

关于应用模式：

系统内部采用分级部署、独立运行和集中管理的工作模式。应用监控系统分别在3个核心节点和12个大型直属节点部署运行。核心节点可监控本节点和直属节点核心应用运行；直属除监控本节点核心应用运行外，可定制监控核心节点关键应用运行。专业运维人员可直接登录应用监控系统，对应用系统进行专业监控及分析。

与运管平台之间采用数据交换和页面集成的工作模式。一般情况下，日常监控人员在运管平台实现对业务系统的统一监控，并通过集成页面快捷进入应用监控系统作专业监控。当运管平台收到由应用监控系统送来的告警信息时，运维人员可通过集成页面对告警进行跟踪，确认为故障的，通过运管平台进入故障处理流程，并通过应用监控系统进行故障定位和根源分析。

对于：应用监控数据管理。应用监控数据管理需要对各层级、各类应用运维监控数据的集中管理，建立监控数据统一管理机制，主要包括应用监控资源数据、应用监控指标数据、应用监控告警数据、系统管理数据等。应用监控资源数据是应用监控的基础数据，需要按层级监控数据和不同类监控数据要求定义统一数据规范，包括数据格式、数据关系、数据存储及备份等，建立层级监控数据的数据处理规则和统一监控数据管理机制。

应用监控系统作为运管平台的子系统，需要与该平台（包括核心节点、直属节点）交换数据。交换数据主要包括：配置数据、监控指标数据、告警信息。其中，配置数据方面，信息系统基础架构的配置数据（包括设备和业务系统）在运管平台定义，从运管平台获取，通过自动和手动方式支持定期数据同步。其他配置数据在应用监控系统定义。监控指标数据方面，运管平台与应用监控系统需要遵循统一定义、规范使用监控指标的原则，运管平台已定义和采集的监控指标，应用监控系统直接使用，其它监控指标由应用监控系统自行定义及采集。应用监控系统与运管平台间双向交换监控指标数据，通过自动和手动方式支持定期数据同步。告警数据方面，应用监控系统与运管平台间按照运管平台定义告警格式双向交换告警数据。此外，运管平台已有的告警信息，应用监控系统不再重复产生。应用监控系统产生的告警信息须能提交到运管平台。

对于：监控信息采集。

应用监控系统是面向业务系统的监控，监控以核心业务系统为主。根据项目需求调研，核心节点参照广东分中心监控的核心业务系统，直属节点以大型直属节点为主，参照直属需求调研反馈的核心业务系统，参照监控模板进行监控。

对于：应用系统指标数据采集。

应用系统指标数据主要反映业务系统涵盖所有服务器、主机及存储等设备运行状态、应用运行状态及性能等。应用系统指标数据主要包括技术指标数据、应用指标数据。

技术指标数据主要反映承载业务系统的基础架构运行状态、技术应用运行状态及性能等，主要包括：设备硬件资源使用指标、操作系统资源使用指标、具体技术应用使用指示数据等。对于技术指标数据采集，运管平台已采集的监控指标，应用监控系统直接使用，其它监控指标由应用监控系统自行采集。具体技术指标参看表1：应用系统技术指标清单。

表1：应用系统技术指标清单

序号	指标名称	指标类型	指标说明
				1	CPU使用率	技术指标	服务器的CPU使用率，单位：百分比。该指标支持Windows、Linux各种版本。
2	物理内存总数	技术指标	服务器的物理内存总数，单位：MB。该指标支持Windows、Linux各种版本。
				3	可用物理内存空间	技术指标	服务器的可用物理内存大小，单位：MB。该指标支持Windows、Linux各种版本。
4	内存使用率	技术指标	服务器的物理内存使用率,单位：百分比。该指标支持Windows、Linux各种版本。
				5	磁盘（或文件系统）总空间	技术指标	服务器的指定Windows磁盘或Linux文件系统总空间大小，单位：MB。
6	磁盘（或文件系统）可用空间	技术指标	服务器的指定Windows磁盘或Linux文件系统剩余空间大小，单位：MB。
				7	磁盘（或文件系统）使用率	技术指标	服务器的指定Windows磁盘或Linux文件系统使用率，单位：百分比。
8	关键服务	技术指标	服务器的指定关键服务启动方式、当前启动状态。
				9	关键进程启动状态	技术指标	服务器的指定关键进程启动状态。
10	关键进程占用CPU%	技术指标	服务器的指定关键进程占用CPU百分比,单位：百分比。
				11	关键进程占用内存大小	技术指标	服务器的指定关键进程占用内存大小，单位：MB。
12	WMI语句查询	技术指标	能够在指定服务器执行WMI查询语句，并返回查询结果
				13	操作系统上计划任务	技术指标	显示操作系统的计划任务是否启动、最近一次执行结果、最近一次执行时间。
14	群集状态	技术指标	显示群集服务器中各个节点的群集服务是否启动、当前在线节点在哪个节点。
				15	IIS状态	技术指标	显示IIS相关服务的状态
16	网页可访问性	技术指标	对指定网页的关键字进行监控，确定是否可以访问网页。
				17	FTP可访问性	技术指标	对指定FTP的可访问性进行监控，确定是否可以登录FTP。
18	操作系统日志	技术指标	通过统计操作系统日志、应用程序日志中存在用户自定义关键字或指定事件ID号的数量，判断系统是否正常。该指标支持Windows、Linux各种版本。
				19	文件关键字数量	技术指标	表示统计指定文件的用户自定义关键字的数量，判断系统是否正常。该指标支持Windows、Linux各种版本。
20	COM+组件工作状态	技术指标	显示Windows系统中COM+指定组件工作状态，判断是否假死。
				21	COM+组件调用时间	技术指标	显示Windows系统中COM+指定组件的调用时间（Call Time）。
22	BiztalkReceiveFunction状态	技术指标	显示指定Biztalk Receive Function的状态。
				23	Biztalk工作队列数量	技术指标	显示Biztalk的工作队列（Work Queue）报文的数量。
24	Biztalk重试队列数量	技术指标	显示Biztalk的重试队列（Retry Queue）报文的数量。
				25	Biztalk挂起队列数量	技术指标	显示Biztalk的挂起队列（Suspended Queue）报文的数量。
26	数据库服务（实例）启动状态	技术指标	显示SQL Server数据库服务或ORACLE 实例的启动状态。
				27	数据库数据文件（表空间）总空间	技术指标	表示指定数据库的数据文件（表空间）总空间大小，单位：MB。
28	数据库数据文件（表空间）可用空间	技术指标	表示指定数据库的数据文件（表空间）可用空间大小，单位：MB。
				29	数据库数据文件（表空间）使用率	技术指标	表示指定数据库数据文件（表空间）使用率,单位：百分比。
30	数据库日志文件总空间	技术指标	表示指定数据库日志文件的总空间大小，单位：MB。
				31	数据库日志文件可用空间	技术指标	表示指定数据库日志文件的已使用空间大小，单位：MB。
32	数据库日志文件使用率	技术指标	表示指定数据库日志文件的使用率,单位：百分比。
				33	数据库用户连接数	技术指标	指定数据库和指定用户的连接数（并发数）。
34	数据库每秒交易数	技术指标	指定数据库用户每秒交易数。
				35	SQL复制分发代理	技术指标	显示数据库本地分发服务器上运行的分发代理的信息，该指标包括分发代理的名称、状态号、时间、注释。其中，名称表示分发代理的名称，状态号：1表示启动、2表示成功、3表示正在进行、4表示空闲、5表示重试、6表示失败，时间表示记录消息的时间，注释表示消息文本。
36	SQL复制日志代理	技术指标	显示数据库本地分发服务器上运行的日志读取器代理的信息，该指标包括日志读取器代理的名称、状态号、时间、注释。其中，名称表示日志读取器代理的名称，状态号：1表示开始、2表示成功、3表示正在进行、4表示空闲、5表示重试、6表示失败，时间表示记录消息的时间，注释表示消息文本。
				37	SQL复制堵塞	技术指标	显示数据库Distribution库的复制堵塞大小。
38	SQL作业执行情况	技术指标	显示数据库作业执行情况，该指标包括作业名称、最后执行日期、执行结果。
				39	MQ队列消息数	技术指标	表示指定MQ队列中的消息数，单位：条。该指标支持MSMQ和IBMMQ各种版本。

应用指标数据主要反映业务系统运行状态及性能等，主要从数据库表中记录数、文件夹中文件数、数据库表业务时间差、文件夹和文件修改等作为应用指标数据。具体应用指标参看表2：应用系统应用指标清单。

表2：应用系统应用指标清单

序号	指标名称	指标类型	指标说明
				1	数据库表中记录数	应用指标	查询数据库表中指定查询条件下的记录数，单位：票。数据库表名可不固定，支持【时间命名格式】和【时间修正】的表名。通过该指标可以反映某个业务环节待处理数量、积压情况。
2	单位时间数据库表中记录数	应用指标	查询数据库表中一个时间段的记录数，即开始时间为n日、n小时、n分钟前，结束时间为当前时间（或当前整点时间），单位：票。数据库表名可不固定，支持【时间命名格式】和【时间修正】的表名。该指标在查询日、小时模式时还可以选择【整点查询】。通过该指标可以反映某个业务环节的处理速度。
				3	数据库表业务时间差	应用指标	查询数据库表中某个指定时间字段与当前系统时间（或两个指定时间字段）的差值，单位：分钟。数据库表名可不固定，支持【时间命名格式】和【时间修正】的表名。通过该指标可反映业务数据实时更新情况。
4	文件夹中文件数	应用指标	统计指定文件夹中的文件数量，单位：个。指定文件夹可以是本地文件目录，也可以是共享目录。指定文件夹的命名和路径可以不固定，支持【时间命名格式】和【时间修正】的命名和文件路径，即文件名和文件路径可以随查询时间的不同而改变。通过该指标可以反映某个业务系统落地目录的数据量和待处理数据。
				5	文件夹修改时间与当前时间差	应用指标	该指标计算当前系统时间减去指定文件夹的最后修改时间差，单位：分钟。指定文件夹可以是本地文件目录，也可以是共享目录。指定文件夹的命名和路径可以不固定，支持【时间命名格式】和【时间修正】的命名和文件路径，即文件名和文件路径可以随查询时间的不同而改变。通过该指标可以反映某个业务系统是否在实时更新。
6	文件修改时间与当前时间差	应用指标	该指标计算当前时间减去指定文件的最后修改时间差，单位：分钟。指定文件可为本地存放，也可为共享目录存放。指定文件的命名和路径可以不固定，支持【时间命名格式】和【时间修正】的命名和文件路径，即文件名和文件路径可以随查询时间的不同而改变。通过该指标可以反映某个业务系统是否在实时更新。

关于：应用流数据采集。应用流主要反映业务系统交互状态和性能，从客户端访问业务系统服务器的网络访问行为，具体体现业务系统应用交互情况。应用监控系统按核心节点和直属节点需要监控的核心业务系统在业务网络分布应用流采集，若同一业务网络涉及多个网络安全区域分布应用流，汇聚采集应用流。应用流数据采集可按业务网络、业务系统、应用环节等灵活设置，并且旁路采集。

网络运行状态指标数据采集，网络运行状态指标主要反映承载业务系统的网络系统运行状态基本情况。网络运行状态指标数据采集主要包括网络连通状态、网络端口状态、带宽利用率、网络丢包率等指标数据。

告警信息采集，应用监控系统告警信息主要反映业务系统涵盖系统、网络、应用等多个层面运行状态，作为应用监控指标的补充。告警信息采集主要包括系统、网络、存储、数据库、应用等发送的系统运行状态告警邮件。

关于数据交换，应用监控系统的监控信息采集、集中监控管理、应用分析等需要通过数据交换进行交换消息和端到端对象传输，提高系统扩展性及安全性，实现系统分布式部署。

关于集中监控管理，应用监控系统集中监控管理主要提供监控信息采集集中管理运行机制，主要包括系统采集任务管理、采集数据处理及数据入库、采集代理通信管理。采集任务管理是读取系统已定义采集任务（含应用系统指标数据采集、应用系统流数据采集、网络系统运行状态指标数据采集）下发至对应采集代理。采集数据处理及入数据库是对采集任务返回数据进行处理，并录入数据库。采集代理通信管理是管理集中监控管理与系统采集代理间通信，确保采集任务正常下发和采集数据正常返回的可靠性。

关于应用分析，应用监控系统应用分析需要对应用流数据进行实时网络协议分析、应用识别、应用性能分析，基于网络和应用统计、分析生成应用流指标数据，存入数据库。按项目需要采集业务系统清单，针对广东分中心承担运行H2010业务系统历史、当前应用会话统计数据，使用sniffer、wireshark协议分析工具进行前期业务应用计算模型分析，从应用会话的网络协议、服务端口、连接类型等方面统计分析。应用分析需要分析网络协议主要是TCP（传输控制协议），涉及具体业务系统应用协议主要包括数据库、数据交换、落地目录/目录共享、身份认证、WEB应用、消息等协议，需要分析主要应用协议参看表3：应用监控主要应用协议清单。

应用监控系统应用分析对应用流数据识别、分析处理后，基于网络与应用统计与分析生成应用流指标数据。应用流指标主要包括响应时间、应用会话吞吐、应用会话窗口、重传、数据包长分布、连接数、应用协议分布比率等类指标，应用流主要指标参看表3：应用监控应用流指标清单。

表3：应用监控应用流指标清单

序号	指标名称	指标类别	指标说明
				1	网络响应时间	响应时间	检测TCP会话在当前时间是发送端发送数据与接收到另一端响应之间的网络延时。若RTT为零，或大于预定阈值，系统产生告警提示。
2	服务器响应时间	响应时间	检测TCP会话在当前时间是发送端发送数据与接收到另一端响应之间，服务器响应时间。若服务器响应时间为零，或大于预定阈值，系统产生告警提示。
				3	客户端响应时间	响应时间	检测TCP会话在当前时间是发送端发送数据与接收到另一端响应之间，客户端响应时间。若客户端响应时间为零，或大于预定阈值，系统产生告警提示。
4	总响应时间	响应时间	检测TCP会话在当前时间是发送端发送数据与接收到另一端响应之间的总响应时间，含服务器响应时间、网络延时、客户端响应时间。若总响应时间为零，或大于预定阈值，系统产生告警提示。
				5	网络响应时间比率	响应时间	检测TCP会话在当前时间是发送端发送数据与接收到另一端响应之间的网络延时占总响应时间的比率。
6	服务器响应时间比率	响应时间	检测TCP会话在当前时间是发送端发送数据与接收到另一端响应之间，服务器响应时间占总响应时间的比率。
				7	客户端响应时间比率	响应时间	检测TCP会话在当前时间是发送端发送数据与接收到另一端响应之间，客户端响应时间占总响应时间的比率。
8	当前接收流量	会话流量	检测TCP会话在当前时间接收方向传输数据包流量。若数据包流量为零，或大于预定阈值，系统产生告警提示。
				9	当前发送流量	会话流量	检测TCP会话在当前时间发送方向传输数据包流量。若数据包流量为零，或大于预定阈值，系统产生告警提示。
10	当前有效接收流量	会话流量	检测TCP会话在当前时间接收方向传输有效数据流量。若数据包流量为零，或大于预定阈值，系统产生告警提示。
				11	当前有效发送流量	会话流量	检测TCP会话在当前时间发送方向传输有效数据流量。若数据包流量为零，或大于预定阈值，系统产生告警提示。
12	双向平均流量	会话流量	检测TCP会话在当前时间收发双向传输数据包平均流量。若数据包流量为零，或大于预定阈值，系统产生告警提示。
				13	双向有效负载	会话流量	检测TCP会话在当前时间收发双向传输数据包有效负载流量。若数据包流量为零，或大于预定阈值，系统产生告警提示。
14	吞吐量	会话流量	检测TCP会话从会话建立起始点或开始检测起始点至当前检测时间点，客户端与服务器间收、发双向传输的数据量。若吞吐量为零，或大于预定阈值，系统产生告警提示。
				15	当前接收会话窗口	会话窗口	检测会话在当前时间接收端接收数据包的窗口大小。若窗口为零，系统产生告警提示。
16	最大接收会话窗口	会话窗口	检测会话在从会话建立起始点或开始检测起始点至当前检测时间点，接收端接收数据包的最大窗口。若窗口为零，系统产生告警提示。
				17	当前接收TCP窗口	会话窗口	检测TCP会话在当前时间接收端设备TCP窗口大小。若TCP窗口为零，系统产生告警提示。
18	当前发送会话窗口	会话窗口	检测会话在当前时间发送端发送数据包的窗口大小。若窗口为零，系统产生告警提示。
				19	最大发送会话窗口	会话窗口	检测会话在从会话建立起始点或开始检测起始点至当前检测时间点，发送端发送数据包的最大窗口。若窗口为零，系统产生告警提示。
20	当前发送TCP窗口	会话窗口	检测TCP会话在当前时间发送端设备TCP窗口大小。若TCP窗口为零，系统产生告警提示。
				21	接收数据包分布比率	数据包长分布	检测TCP会话从会话建立起始点或开始检测起始点至当前检测时间点，接收端接收数据包长度比率。
22	发送数据包分布比率	数据包长分布	检测TCP会话从会话建立起始点或开始检测起始点至当前检测时间点，发送端发送数据包长度比率。
				23	接收端重传包数	重传	检测TCP会话从会话建立起始点或开始检测起始点至当前检测时间点，接收端重传数据包数量。若重传包数大于零，系统产生告警提示。
24	发送端重传包数	重传	检测TCP会话从会话建立起始点或开始检测起始点至当前检测时间点，服务器重传数据包数量。若重传包数大于零，系统产生告警提示。
				25	接收端重传比率	重传	检测TCP会话从会话建立起始点或开始检测起始点至当前检测时间点，接收端重传数据包数量同接收数据包数量比率。若重传数据量大于零，系统产生告警提示。
26	发送端重传比率	重传	检测TCP会话从会话建立起始点或开始检测起始点至当前检测时间点，发送端重传数据包数量同发送数据包数量比率。若重传数据量大于零，系统产生告警提示。
				27	连接数	连接数	检测TCP会话从会话建立起始点或开始检测起始点至当前检测时间点，服务器与客户端间建立会话状态，包括服务器IP、服务端口、客户端IP、客户端端口。
28	应用协议分布比率	协议分布	检测TCP会话从会话建立起始点或开始检测起始点至当前检测时间点，应用协议数据包数（收+发）分布，应用协议数据量（收+发）分布。

关于关联分析，应用监控系统从系统、网络、应用、数据库等层面监控业务系统运行状态和运行性能，需要从不同层面关联业务系统的信息，包括应用监控资源之间的关联、应用监控资源和监控指标之间的关联、应用监控指标之间的关联。应用监控资源之间的关联需要业务系统资源、应用环节资源、客户端资源、网络资源、服务器资源等之间建立完整的层次关联关系。应用监控资源和监控指标之间的关联需要对业务系统应用监控资源定义相应监控指标，并且不同层面资源需定义对应的监控指标。应用监控指标之间的关联需要建立应用监控指标之间内在关联关系。关联分析可用于问题初步定为、问题根源分析、回溯分析及趋势预测等。

关于运行基线，运行基线是业务系统应用监控指标数据的基准线，反映业务系统在一定时间内运行常态，可提供不同时间周期的基线，包括日基线、周基线、月基线等。运行基线可用于应用运维监控动态变化的情况、问题预警、问题分析等。

关于回溯分析，回溯分析提供从不同用户视角对应用监控指标历史数据进行智能分析、挖掘、检索等，可完整还原某个历史时点业务系统运行情况。回溯分析可用于监控历史运行情况、问题初步定位、问题根源分析、运行基线、趋势分析等。

关于趋势分析，趋势分析可快速得出应用监控指标的变化趋势及指标之间的关联关系。趋势分析可用于问题根源分析、问题预警、容量预警等。

关于问题初步定位，业务系统运行发生的问题，提供快速初步定位，可定位至具体节点（应用环节的客户端、网络、服务器端），提供与问题关联的具体监控指标，作为问题根源分析奠定基础。

关于问题根源分析，问题根源分析从问题初步定位出发，通过智能化处理问题的机制，深入分析问题根源，找到引发问题的根本因素，并提供引发问题的具体指示及相关参数，以避免类似问题重复发生及问题隐患。

关于统计分析报告，应用监控系统统计分析报告支持灵活定制报表功能，能按用户需求自定义报表参数，能按业务系统、应用环节、指标类型等自动生成相应的日报、周报、月报、年报及其他指定时间段。统计分析报告可按用户授权提供相应报表，并且生成报表可导出。

关于监控展示，应用监控系统通过集中监控展示模式提供应用监控视图，主要包括应用拓扑监控、应用运行监控、应用流监控、运行基线、问题初步定位、问题根源分析、回溯分析、问题预警、趋势分析等，具体监控展示需求如下：

应用拓扑监控：能系统展示业务系统运行状态全局，完整展示业务系统各应用环节关系及其内部从客户端到服务端的运行状态，且应用拓扑可状态监控。

应用运行监控：能真实展示业务处理情况，如某时某地的报关单审结数、转关单审核放行数、舱单申报情况，以及各业务的工作时效，如各种单证的平均处理时间和最长处理时间等。

应用流监控：能实时展示应用流性能运行状态。

运行基线：能提供不同时间周期的基线，包括日基线、周基线、月基线等，以基线图方式展示应用运维监控动态变化的情况。

问题初步定位：可定位业务系统应用环节，定位至故障具体节点（客户端、网络、服务器端），能展示当前及历史告警、所在节点参与进程及性能指标等。

问题根源分析：找到引发问题的根本因素，并提供引发问题的具体指示及相关参数等。

回溯分析：能按时间回溯业务系统运行状态，以监控图示方式可完整展示某个历史时点业务系统运行情况。

问题预警：能通过运行基线对业务系统运行状态提供问题预警。

趋势分析：能对业务系统运行提供趋势变化，能以趋势图方式展示关键监控指标趋势预测。

应用监控系统作为运管平台的子系统，通过三统一实现应用监控系统与运管平台之间的无缝接入。通过授权情况下，采用链接方式，运管平台动态调用应用监控系统页面。对于监控展示视图除运管平台已监控的系统、指标仍由运管平台展示外，其他系统和指标由应用监控系统展示。并且，两者的监控展示风格保持一致。监控展示视图技术要求需要UI设计与运管平台尽量统一，界面参考EXT（ExtJs）框架。

最后，关于系统管理，应用监控系统的系统管理主要实现对用户管理、采集管理、告警管理、系统组件运行监控、系统日志等，具体系统管理需求如下：

用户授权管理：采集H2010身份、认证、授权三统一平台进行统一用户授权管理；

采集管理：采集管理需要对采集代理管理和采集任务管理，实现分类采集，集中管理。采集代理管理需要对各类采集代理及采集代理工作的管理，对应用系统指标数据采集代理、应用流数据采集代理、网络运行状态指标数据采集代理、系统告警邮件采集代理等采集代理集中管理，涉及采集代理定义、修改、删除、查询等及采集代理的启用或停用等。采集任务管理需要对各类采集任务采集参数的管理，包括由各类采集代理采集的应用系统指标数据采集任务、应用流数据采集任务、网络运行状态指标数据采集任务、系统告警邮件采集任务等。采集参数包括设置采集对象、采集方法、采集时间间隔等及采集任务的启用或停用，还包括对采集任务日常维护增加、修改、删除、查询等功能。针对H2010系统在信息中心和广东分中心分时运行，采集任务管理具有分时采集功能；

告警管理：告警管理需要对告警策略和告警响应处理策略的统一管理。告警策略主要涉及告警规则、告警方式、告警内容等。告警规则需要定义告警对象触发告警的条件，告警条件包括阀值、状态、时间等。告警规则优化包括告警触发优化、告警条件参数优化等，告警触发优化能实现告警事件合并、告警频率优化等，告警条件参数优化能按业务系统实际运行情况，定期优化告警规则，特别是告警阀值。告警响应方式可提供事件告警、邮件告警、语音告警、告警突显、短信告警等。告警内容提供对告警事件内容的定义，可按告警类别和告警方式设置告警内容格式，可按具体告警事件设置告警内容参数。告警响应处理策略可按应用管理分类定义、集中管理，可按需求定义不同层级应用监控响应处理策略；

系统组件运行监控：能提供对系统自身所有组件运行状态集中监控，能提供运行状态及告警日志等。

系统日志：能记录系统运行和系统维护的日志，包括系统维护日志、系统运行日志、用户登录日志等。

应用监控系统按信息系统安全等级保护相关要求，结合运维监控工作需求，系统服务器部署于业务管理网的管理域，核心节点分别采用2台4路服务器作为系统服务器，大型直属分别采用2台2路服务器作为系统服务器。系统采集代理包括：应用流数据采集代理、应用系统指标数据采集代理、网络运行状态指标数据采集代理、系统告警邮件采集代理，都部署于一台采集服务器。按监控核心业务系统需求，核心节点分别采用1台4路服务器作为采集代理，大型直属分别采用1台2路服务器作为采集代理，部署于业务运行网。各节点可参照在业务运行网采集代理部署，按需扩展部署业务管理网采集代理。按监控核心业务系统的数据访问，按需采集应用流数据，过滤无关应用流数据。对于核心节点，需要在业务运行网的核心交换域、应用服务域、核心处理域，采集应用流数据。对于大型直属节点，需要在业务运行网的核心交换域、应用服务域，采集应用流数据。该采集代理服务器可通过增加网卡用于应用流数据的采集。

实施例2：

一种基于网络流量监控的面向应用的监控分析方法，包括监控信息采集、监控数据传输、监控管理、监控数据存储、监控数据处理分析以及监控展示，监控信息采集和监控数据传输交互，监控数据传输和监控管理交互，监控管理和监控数据存储、监控展示交互，监控数据存储和监控数据处理分析交互，监控数据处理分析和监控展示交互；其中，在监控数据传输中设置了网络流量异常检测过程，网络流量异常检测过程包括流量数据获取、建立相关模型、异常检测判断；建立相关模型是通过历史流量数据并根据特征提取形成，异常检测判断是通过流量模型和实时流量的对比来判断，如果偏离程度大于既定范围，则认定为流量异常，产生警告信息。

相关模型包括操作模型、均值和标准偏差模块、多元模型、时间序列模型中的一种或多种。操作模型假设网络流量异常可通过测量结果和指标的比较而得到，指标要根据实际经验或者一段时间的统计值得到，因此，可以通过对新的观测值和一个固定阈值进行比较确定是否为流量异常。

均值和标准偏差模块假定均值和标准方差这两个参数可以描述系统的行为，观测值不会很大的偏离均值和标准方差。利用参数的方差，设定其置信区间，当观测值超出置信区间的范围时表明可能存在流量异常。

多元模型是均值和标准偏差模型的扩展，通过同时分析多个参数进行实时监测。

时间序列模型把采集的流量数据按时间排序，用时间序列的方法对流量数据观测值进行分析和建模，通过时间序列模型的预测，判断其是否为流量异常。

异常检测判断采用恒定阈值检测方法，通过给出网络流量恒定的阈值检测网络流量异常，如果采集的流量数据的值超过指定的恒定阈值，则认为是流量异常，会发出告警通知。

异常检测判断采用自适应阈值检测方法，首先，根据采集到的历史流量数据建立正常流量模式的数学模型；然后，利用历史流量数据和流量模型产生的预测值数据确定边界；最后，利用上下边界值构成一个容许范围，根据容许范围来实现对异常情况的检测。

利用实际流量的标准差和模型预测值计算其边界值；上边界值=预测值+2．5×标准差；下边界值=预测值-2．5×标准差。

实际流量的标准差公式是：

X（i=1，2，3，…，n）=∑_i=1 ⁿ（y_i-μ）²/n；标准差=√X（i=1，2，3，…，n）；

其中，yi是观测值，n是观测值个数，μ是观测值历史数据的算术平均值。

建立正常流量模型后，如果当前流量数据完全符合这个正常流量模型，那么这个当前流量就是正常的流量，但是，这种情况在实际流量检测中很难遇到，更多的是，流量在某一个范围里大致符合。因为网络流量变化是难以具体界定的，有很多因素相互作用，完全匹配的可能性很小，所以，需要定义边界值构成容许范围，如果当前流量数据在这个范围以内就被认为是正常流量，否则，就被认为是异常情况。

参考图2和3所示，通过实施例2的方案实施之后，在图3中，可以可靠的实现预测。

以上均为本申请的较佳实施例，并非依此限制本申请的保护范围，故：凡依本申请的结构、形状、原理所做的等效变化，均应涵盖于本申请的保护范围之内。

Claims (9)

1.一种基于网络流量监控的面向应用的监控分析方法，其特征是，包括监控信息采集、监控数据传输、监控管理、监控数据存储、监控数据处理分析以及监控展示，监控信息采集和监控数据传输交互，监控数据传输和监控管理交互，监控管理和监控数据存储、监控展示交互，监控数据存储和监控数据处理分析交互，监控数据处理分析和监控展示交互；

监控信息采集包括应用系统流数据采集、应用系统指标数据采集、以及辅助工具数据采集，监控管理包括集中监控管理、系统管理和统计分析报告，监控数据处理分析包括问题根源分析、趋势分析、问题初步定位、运行基线、回溯分析、应用分析、以及关联分析；其中，监控信息采集具有定制的监控指标，系统管理中具有采集管理和告警管理并且依据定制监控策略，监控展示中依据定制监控视图呈现应用拓扑图、应用运行监控图、应用流监控图以及页面集成图。

2.根据权利要求1所述的一种基于网络流量监控的面向应用的监控分析方法，其特征在于：所述监控信息采集主要是通过采集代理，并借助辅助工具采集监控信息，采集监控信息主要包括应用系统指标数据、应用系统流数据、网络运行状态指标数据、告警信息；

系统内部采用分级部署、独立运行和集中管理的工作模式，应用监控系统分别在3个核心节点和12个大型直属节点部署运行，核心节点监控本节点和直属节点核心应用运行；直属除监控本节点核心应用运行外，定制监控核心节点关键应用运行，专业运维人员直接登录应用监控系统，对应用系统进行专业监控及分析；与运管平台之间采用数据交换和页面集成的工作模式，日常监控人员在运管平台实现对业务系统的统一监控，并通过集成页面快捷进入应用监控系统作专业监控，当运管平台收到由应用监控系统送来的告警信息时，运维人员通过集成页面对告警进行跟踪，确认为故障的，通过运管平台进入故障处理流程，并通过应用监控系统进行故障定位和根源分析。

3.根据权利要求2所述的一种基于网络流量监控的面向应用的监控分析方法，其特征在于：所述监控指标数据包括技术指标数据和应用指标数据，

技术指标数据主要反映承载业务系统的基础架构运行状态、技术应用运行状态及性能，主要包括：设备硬件资源使用指标、操作系统资源使用指标、具体技术应用使用指示数据；应用指标数据主要反映业务系统运行状态及性能，主要从数据库表中记录数、文件夹中文件数、数据库表业务时间差、文件夹和文件修改作为应用指标数据。

4.一种基于网络流量监控的面向应用的监控分析方法，其特征在于：包括监控信息采集、监控数据传输、监控管理、监控数据存储、监控数据处理分析以及监控展示，监控信息采集和监控数据传输交互，监控数据传输和监控管理交互，监控管理和监控数据存储、监控展示交互，监控数据存储和监控数据处理分析交互，监控数据处理分析和监控展示交互；

其中，在监控数据传输中设置了网络流量异常检测过程，网络流量异常检测过程包括流量数据获取、建立相关模型、异常检测判断；建立相关模型是通过历史流量数据并根据特征提取形成，异常检测判断是通过流量模型和实时流量的对比来判断，如果偏离程度大于既定范围，则认定为流量异常，产生警告信息。

5.根据权利要求4所述的一种基于网络流量监控的面向应用的监控分析方法，其特征在于：相关模型包括操作模型、均值和标准偏差模块、多元模型、时间序列模型中的一种或多种。

6.根据权利要求4所述的一种基于网络流量监控的面向应用的监控分析方法，其特征在于：异常检测判断采用恒定阈值检测方法，通过给出网络流量恒定的阈值检测网络流量异常，如果采集的流量数据的值超过指定的恒定阈值，则认为是流量异常，会发出告警通知。

7.根据权利要求4所述的一种基于网络流量监控的面向应用的监控分析方法，其特征在于：异常检测判断采用自适应阈值检测方法，首先，根据采集到的历史流量数据建立正常流量模式的数学模型；然后，利用历史流量数据和流量模型产生的预测值数据确定边界；最后，利用上下边界值构成一个容许范围，根据容许范围来实现对异常情况的检测。

8.根据权利要求7所述的一种基于网络流量监控的面向应用的监控分析方法，其特征在于：利用实际流量的标准差和模型预测值计算其边界值；上边界值=预测值+2．5×标准差；下边界值=预测值-2．5×标准差。

9.根据权利要求8所述的一种基于网络流量监控的面向应用的监控分析方法，其特征在于：实际流量的标准差公式是：

X（i=1，2，3，…，n）=∑_i=1 ⁿ（y_i-μ）²/n；标准差=√X（i=1，2，3，…，n）；

其中，y_i是观测值，n是观测值个数，μ是观测值历史数据的算术平均值。

Images