CN107807872A

CN107807872A - 一种输变电系统运行状态监测方法

Info

Publication number: CN107807872A
Application number: CN201710967864.4A
Authority: CN
Inventors: 邬蓉蓉; 俸波; 黄志都; 莫枝阅; 张炜; 蒋圣超
Original assignee: Electric Power Research Institute of Guangxi Power Grid Co Ltd
Current assignee: Electric Power Research Institute of Guangxi Power Grid Co Ltd
Priority date: 2017-10-18
Filing date: 2017-10-18
Publication date: 2018-03-16

Abstract

一种输变电系统运行状态监测方法，包括以下步骤：（1）监测基础资源状态数据；（2）采集应用系统性能指标数据；（3）收集用户体验数据；（4）对上述数据进行判断，如果超过预定的阈值，产生告警通知，否则展示监测结果。通过使用本发明的方法，不仅能够监测到底层基础资源运行的状态，而且还能够深入到应用代码内部，实现故障的深度分析和故障定位。同时，可对终端用户的体验数据进行监测，实现从端到端应用性能的监控，并通过业务指标的可视化，真正实现业务关联影响分析和故障根源定位，形成日常管理从平台到应用业务的完整健康覆盖。

Description

一种输变电系统运行状态监测方法

技术领域

本发明涉及电力监测技术领域，尤其涉及一种输变电系统运行状态监测方法。

背景技术

输变电系统是一套较为复杂的软件架构，不仅仅包括硬件设备，如各类服务器、集群、数据库、Web应用等网络基础资源，而更核心的组件是包括各类业务应用、集成接口等。因此，输变电系统运行状态监测方法，不仅要实现对各类基础资源的管理，向下通过GPRS、MSTP与各类集中器变电站终端集成，实现各类终端的集成与数据采集。同时，还要对各类应用系统以及终端用户的数据进行监测。而传统的监测系统只能够实现对各类基础资源的管理，无法深入到应用内部实现代码级的检测和诊断，无法深入到应用内部实现对应用可用性、应用性能进行深入管理，更无法实现端到端的用户体验和应用性能诊断，因此也无法定位应用性能下降的根源。

发明内容

为克服现有技术的不足之处，本发明的目的在于建立一套全方位立体式的监测方法，实现对输变电系统基础资源和各类应用的统一监测，实现端到端的应用性能监测。

为实现上述目的，本发明采用的技术方案为：

一种输变电系统运行状态监测方法，所述输变电系统包括基础资源、应用系统和用户端，所述方法包括以下步骤：

S1：实时监测所述基础资源的状态数据；

S2：实时采集所述应用系统的性能指标数据；

S3：实时收集所述用户端的体验数据；

S4：对所述状态数据、性能指标数据或体验数据进行判断，如果所述数据超过预定的阈值，产生告警通知，否则将所述数据进行展示。

优选的，所述步骤S1中的监测采用无代理技术。

优选的，所述步骤S1中的监测包括主机监测和数据库监测，所述主机监测包括CPU监测、内存监测、磁盘监测和进程监测，所述数据库监测包括Agent方式和无Agent方式。

优选的，所述步骤S1中监测的周期为1分钟、5分钟、15分钟或60分钟。

优选的，所述步骤S2中的性能指标数据包括应用系统平均响应时间、应用系统中单个事务的平均响应时间、应用系统吞吐量、应用系统性能指数、应用系统错误率、应用系统逻辑拓扑图、Java 虚拟机执行情况、应用中SQL语句的执行情况和应用服务器环境。

优选的，所述应用系统平均响应时间包括应用中 Java 代码、SQL 语句的执行时间，以及应用中调用其他服务的时间，所述应用系统中单个事务的平均响应时间包括事务中每个工作单元的平均响应时间，所述工作单元是SQL语句、接口或者类，所述应用系统吞吐量指的是应用系统每分钟被访问的次数，所述应用系统性能指数是用户对应用性能满意度的量化值，所述应用系统错误率是指应用程序返回异常数据的比率，所述异常数据指的是Java所抛出的异常信息、http无法响应和web无响应错误信息，所述应用系统逻辑拓扑图是指应用程序端到端的调用视图、内部各个服务的调用关系图，以及请求响应时间的分布图，所述Java 虚拟机执行情况包括堆内存使用情况、垃圾收集、类装载、线程和会话信息，所述应用中SQL语句的执行情况包括执行时间、参数，所述应用服务器环境包括处理器、内存、操作系统、Java虚拟机、以及TPM相关配置信息。

优选的，所述步骤S2中的采集使用Java字节码技术实现。

优选的，所述步骤S3中的用户端体验数据包括页面加载时间、页面流量和页面性能指数，所述页面加载时间包括请求延迟时间、应用响应时间、网络传输时间、DOM加载时间和页面渲染时间，所述页面流量是指从服务器端加载页面所需要的实际网络流量，所述页面性能指数是指用户对页面响应满意度的量化指标。

优选的，所述步骤S3中的收集采用Java Script插码技术实现。

优选的，所述步骤S4中的告警通知包括短信通知、邮件通知和声音通知。

本发明的益处在于：

（1）对各类异构组件如主机、数据库、应用等进行集中化的采集分析，对各类被监控对象产生的大量数据进行集中监测管理和汇聚。

（2）实现对各类异构组件运行状态的集中化展示管理，将原本孤立的IT运行监测手段纳入到统一的平台管理架构中进行集中的查看和分析。

（3）实现从基础资源管理到应用性能管理的跨越，着重关注应用性能质量。

（4）从不同角度展示网络基础资源运行的健康状态，提升精细化管理能力，为运维部门科学规划提供重要数据依据，协助运维部门从成本中心迈向价值中心。

（5）将多个被管理对象的多个性能指标按照一定的业务逻辑进行组织和呈现，从而使用户能够在同一个管理界面中一目了然的查看所有与其管理职责相关的性能指标。

（6）提供多种告警通知方式，便于管理人员能够第一时间接到通知。

（7）提供可视化的性能工作区图形界面，便于运维人员快速找到故障设备的位置。

（8）使用字节码技术，不仅能够监测应用可用性、业务流程，更为关键的是能够深入到应用代码内部，跟踪应用程序内部，自动学习、识别、记录应用交易的类型，业务代码类执行的效率及业务性能匹配模式，帮助用户实现从代码类、参数到数据库语句多个维度的深度诊断和故障定位。

（9）使用Java Script插码技术能够将监控视角延伸到终端用户侧，对终端用户的用户体验数据进行监测，实现真实的用户体验管理。

（10）从业务视角出发，通过捕获用户对应用系统的每一次访问细节，真实直观反映用户体验和应用系统性能。用户可根据性能监测结果，实现对应用的动态调整，从而保证应用的执行效率。

附图说明

图1为本发明的工作流程图。

图2为本发明Java字节码技术工作原理示意图。

图3为本发明Java Script插码技术工作原理示意图。

图4为本发明主机监测系统参数展示图。

具体实施方式

一种输变电系统运行状态监测方法，所述输变电系统包括基础资源、应用系统和用户端，如图1所示，所述方法包括以下步骤：

S1：实时监测所述基础资源的状态数据；

在本实施例中，采用无代理技术实现基础资源的监测。由于无代理技术监测采用传统的数据采集方式，实施简单、维护方便，同时对被管设备几乎没有任何影响。通过WMI 、PerfMon、HTTP/HTTPS、SQL*NET、Ping、DNS、SNMP、Secure Shell (SSH)、TELNET、JDBC、ODBC等协议实现设备远程管理，能够实现对服务器、数据库、中间件等大多数企业IT软硬件平台的监测。从技术实现原理上来看，理论上只要支持命令行输出接口或网络管理协议接口的管理数据都可以通过无代理监测方式进行采集。

本实施例中，对基础资源的监测主要包括主机监测和数据库监测。其中：

主机监测状态数据的采集方式包括无代理采集和有代理采集。对于无代理方式采集，本实施例提供了各类采集适配器，如Telnet、SSH、SSH2、JDBC/ODBC、WMI、FTP、SNMP、JMX等方式来实现采集，足以满足相关技术规范要求的操作系统等的管理要求。系统支持各类采集任务配置、采集作业解析、采集周期调整、数据采集方式管理能力。同时，系统还支持分布式采集机制，能够提供管理数据的分布式采集，由其实现统一的采集数据管理和汇聚。而对于有代理采集，系统提供单一探针的方式实现对主机的智能监测，在被监测主机上安装Agent之后，能够根据用户的配置自动轮询网络中各被监控主机的系统参数，包括：CPU、内存、交换区、文件系统、磁盘I/O、日志文件等。对每个被监控系统的参数收集内容、轮询间隔等均可以由管理员进行定制，进一步可以设定解决问题的自动化操作。

主机监测的对象包括CPU监测、内存监测、磁盘监测和进程监测。其中：

（1）CPU监测

针对CPU的监测，主要监测CPU用户态使用时间、CPU系统态使用时间、CPU等待IO的时间和CPU空闲时间等，当CPU的使用率超过阈值时，产生告警通知。

（2）内存监测

针对内存的监测，系统主要提供了内存利用率、交换空间利用率、交换空间大小、交换空间使用情况、内存页交换速率、内存错页率、内存页面调进速率、内存页面调出速率等指标来监测物理内存、虚拟内存、以及系统页面调入、调出情况。当这些指标超过预先设定的阈值值，产生告警。

（3）磁盘监测

针对磁盘的监测，系统通过分区利用率、分区容量、磁盘分区利用率、硬盘容量等指标监测硬盘和分区的使用情况，通过硬盘读速率、硬盘写速率、硬盘平均读速度和硬盘平均写速率等指标监测硬盘的使用情况。当这些指标超过预先设定的阈值值，产生告警。

（4）进程监测

系统提供对进程的进程名称、进程ID、父进程ID、运行该进程的用户、进程优先级、运行终端等的监测。此外，系统还提供对进程运行状态的监测，包括进程活、进程死、进程Sleep、进程等待等状态。当进程启动或者僵死时，产生告警，通知系统管理员。同时提供对进程进行停止等操作。

数据库监测的范围包括各重要应用系统中使用的各类数据库。支持通过Agent或无Agent方式实现对Oracle、Sysbase、SQL Server、MySQL、DB2等常用数据库的监测和管理。

数据库监测可在数据库问题对应用及最终用户构成影响前主动加以识别，这一功能是通过多个预定义阈值事件和状态来完成的，这些预定义的指标跟踪的信息会根据数据库软件版本的不同而有所区别，主要监测指标包括：

（1）DB status、Instance status、Listener Status

（2）占用CPU、内存情况、SGA、PGA

（3）Buffer Cache，分类、缓冲、共享池和事务处理性能，如每类平均行数和字典高速缓存命中率

（4）Connection 并行连接数，死连接数等

（5）Process，重算分段统计数字，如缩减量和等待获取百分比

（6）Lock（锁）的占用情况信息

（7）DB Space、表空间空间管理，如表格剩余空间和分割、分段最大极限

（8）Transation（事务）错误状况，如跟踪文件、SYS.DUAL状态、快照错误

（9）SQL Statistics，表格和索引性能，包括高速缓存表格数量和全表格扫描速率

（10）物理读写，报警记录信息，如数据块损坏、剩余资源队列、内部错误和I/O读/写故障

对于上述监测指标的采集周期，一般包括1分钟、5分钟、15分钟和60分钟等，用户可以根据实际需求进行配置。如果采集周期太短，会影响应用系统的性能，所以一般定义指标采集周期为15分钟或60分钟。

S2：实时采集所述应用系统性能指标数据；

本实施例中，使用Java字节码技术实现应用系统性能指标数据的采集。具体过程为：

1、在应用服务器上部署Java虚拟机JVM和Java字节码操纵框架ASM，应用程序运行在所述JVM上；

JVM是Java Virtual Machine（Java虚拟机）的缩写，JVM是一种用于计算设备的规范，它是一个虚构出来的计算机，是通过在实际的计算机上仿真模拟各种计算机功能来实现的。Java虚拟机包括一套字节码指令集、一组寄存器、一个栈、一个垃圾回收堆和一个存储方法域。 JVM屏蔽了与具体操作系统平台相关的信息，使Java程序只需生成在Java虚拟机上运行的目标代码（字节码）,就可以在多种平台上不加修改地运行。JVM在执行字节码时，实际上最终还是把字节码解释成具体平台上的机器指令执行。

ASM是一个Java字节码操纵框架，它能被用来动态生成类或者增强既有类的功能。ASM 可以直接产生二进制 class 文件，也可以在类被加载入 Java 虚拟机之前动态改变类行为。Java class 被存储在严格格式定义的 .class文件里，这些类文件拥有足够的元数据来解析类中的所有元素：类名称、方法、属性以及 Java 字节码（指令）。ASM从类文件中读入信息后，能够改变类行为，分析类信息，甚至能够根据用户要求生成新类。

2、使用Java字节码技术监测应用程序的运行，获取各项监测指标数据；

Java字节码是通常的Java代码编译后得到的.classes文件，能够被Java虚拟机正确的执行。Java探针使用 Java字节码技术，构建一个独立于业务程序的代理程序（Agent），用来监测和协助运行在 JVM 上的程序，甚至可以动态替换和修改某些类的定义。从而实现代码级业务性能监控和故障定位。具体工作原理如图2所示，包括以下步骤：

（1）在ASM 中直接产生二进制文件A.class ；

（2）利用JVM中的classLoader将A.class装载入JVM，期间调用JVM中的javaagent在A.class的字节码中嵌入监控代码后，生成A’.class；

（3）当有请求需调用A.class时，JVM中的engine就会找到并执行A’.class，A’.class执行A.class正常的业务逻辑，执行A.class中的监控代码，捕捉监控数据；

（4）A’.class执行结束，JVM中的engine将所述监控数据写入监控数据暂存区；

（5）每隔60s，JVM中的agent线程会向应用服务器发送所述监控数据，并清理暂存区。

字节码技术监测的性能指标数据包括应用系统平均响应时间、应用系统中单个事务的平均响应时间、应用系统吞吐量、应用系统性能指数、应用系统错误率、应用系统逻辑拓扑图、Java 虚拟机执行情况、应用中SQL语句的执行情况和应用服务器环境。其中，所述应用系统平均响应时间包括应用中 Java 代码、SQL 语句的执行时间，以及应用中调用其他服务的时间，所述应用系统中单个事务的平均响应时间包括事务中每个工作单元的平均响应时间，所述工作单元是SQL语句、接口或者类，所述应用系统吞吐量指的是应用系统每分钟被访问的次数，所述应用系统性能指数是用户对应用性能满意度的量化值，所述应用系统错误率是指应用程序返回异常数据的比率，所述异常数据指的是Java所抛出的异常信息、http无法响应和web无响应错误信息，所述应用系统逻辑拓扑图是指应用程序端到端的调用视图、内部各个服务的调用关系图，以及请求响应时间的分布图，所述Java 虚拟机执行情况包括堆内存使用情况、垃圾收集、类装载、线程和会话信息，所述应用中SQL语句的执行情况包括执行时间、参数，所述应用服务器环境包括处理器、内存、操作系统、Java虚拟机、以及TPM相关配置信息。

S3：实时收集所述用户端体验数据；

本实施例采用浏览器作为用户端，通过浏览器JavaScript插码技术实现前端页面用户体验数据的收集。通过在浏览器中插入Java script探针脚本来监测用户体验，当网页被加载时由应用服务器端探针自动下发Java Script代码，并由浏览器对Java Script代码进行动态解析与执行，开始捕捉用户体验数据和收集实际性能数据，其具体工作原理如图3所示。

本实施例中，主要捕捉Ajax结构以及其它Web 2.0 对象产生的数据，具体的用户体验数据包括页面加载时间、页面流量和页面性能指数，所述页面加载时间包括请求延迟时间、应用响应时间、网络传输时间、DOM加载时间和页面渲染时间，所述页面流量是指从服务器端加载页面所需要的实际网络流量，所述页面性能指数是指用户对页面响应满意度的量化指标。

S4：对步骤S1、S2和S3中监测到的数据进行判断，如果所述数据超过预定的阈值，产生告警通知，否则将所述监测结果进行展示。

本实施例中，系统提供多种告警通知方式，可以在产生不同级别告警时，根据不同情况以各种不同方式通知用户，包括短信通知、邮件通知和声音通知。其中：

（1）短信通知

目前，手机短信已经成为最常用、最有效的个人通知手段之一。因此，系统支持和短信平台进行集成，以适应用户这种需要。管理员只要在系统中设置通知的对象、时机、方式和内容，当需要通知时，系统会自动调用相关的短信发送程序，将短信内容及时发送到指定的手机号码。

（2）邮件通知

系统提供配置界面对要自动发送E-Mail的告警进行配置，如通知的对象、时机、方式和内容，系统将通过JavaMail应用程序利用指定的、已有的邮件服务器发送邮件。邮件通知的内容可任意定制，默认包括告警源、告警描述、故障发生的时间、告警级别等信息。

（3）声音通知

系统将告警提示的声音文件部署在指定的监控终端中，在该终端上配置音箱，可以通过定义相关的规则，在发生相应告警时，通过音箱报告该告警的标题、级别、类别等信息。

本实施例中，系统还对监测结果提供了丰富的展示功能，用户可根据需要灵活定制所展示的内容。

如对于主机系统参数的展示，如图4所示。系统提供了性能工作区功能，即将多个被管理对象的多个性能指标按照一定的业务逻辑进行组织和呈现，从而使用户能够在同一个管理界面中一目了然的查看所有与其管理职责相关的性能指标。同时，在性能工作区的图形界面中，能够为不同的业务创建不同的工作区，在其中组织和定义与之相关的不同的管理对象的各个性能指标，并且以不同的形式展示。

再比如，系统通过深入跟踪应用程序代码类的执行性能，自动学习、识别、记录应用交易的类型，根据应用系统的技术架构、部署模式、业务请求，自动识别出不同的应用组件的状态以及依赖关系，自动呈现各个应用组件的全局调用拓扑图及单笔业务的交易路径，得出应用拓扑管理模型，基于此模型，应用拓扑提供应用节点、页面、SQL、层间事务调用等运行信息，实现将业务、应用的资源关联图协同展现，通过应用拓扑视图，协助运维人员快速掌握应用逻辑架构和应用组件的可用性。

同时，系统还提供灵活和强大的数据查询、统计、分析、发布及报表展现等功能，用户可以通过该功能获得网络、系统及业务应用的配置、状态、性能等各方面的报表和图表数据，支持图形方式显示、打印或转存为Excel、PDF、HTML等报表方式输出。

通过使用本发明的方法，就可以在庞大的信息技术架构体系中，进一步提高业务部门和业务人员的生产率，从可视、可控、可管的角度，覆盖底层技术指标、上层业务指标。通过业务指标的可视化，促进业务的稳定开展，真正实现业务关联影响分析和故障根源定位，形成日常管理从平台到应用业务的完整的健康覆盖。

Claims

1.一种输变电系统运行状态监测方法，所述输变电系统包括基础资源、应用系统和用户端，其特征在于，所述方法包括以下步骤：

S1：实时监测所述基础资源的状态数据；

S2：实时采集所述应用系统的性能指标数据；

S3：实时收集所述用户端的体验数据；

2.根据权利要求1所述的一种输变电系统运行状态监测方法，其特征在于，所述步骤S1中的监测采用无代理技术。

3.根据权利要求1所述的一种输变电系统运行状态监测方法，其特征在于，所述步骤S1中的监测包括主机监测和数据库监测，所述主机监测包括CPU监测、内存监测、磁盘监测和进程监测，所述数据库监测包括Agent方式和无Agent方式。

4.根据权利要求1所述的一种输变电系统运行状态监测方法，其特征在于，所述步骤S1中监测的周期为1分钟、5分钟、15分钟或60分钟。

5.根据权利要求1所述的一种输变电系统运行状态监测方法，其特征在于，所述步骤S2中的性能指标数据包括应用系统平均响应时间、应用系统中单个事务的平均响应时间、应用系统吞吐量、应用系统性能指数、应用系统错误率、应用系统逻辑拓扑图、Java 虚拟机执行情况、应用中SQL语句的执行情况和应用服务器环境。

6.根据权利要求5所述的一种输变电系统运行状态监测方法，其特征在于，所述应用系统平均响应时间包括应用中 Java 代码、SQL 语句的执行时间，以及应用中调用其他服务的时间，所述应用系统中单个事务的平均响应时间包括事务中每个工作单元的平均响应时间，所述工作单元是SQL语句、接口或者类，所述应用系统吞吐量指的是应用系统每分钟被访问的次数，所述应用系统性能指数是用户对应用性能满意度的量化值，所述应用系统错误率是指应用程序返回异常数据的比率，所述异常数据指的是Java所抛出的异常信息、http无法响应和web无响应错误信息，所述应用系统逻辑拓扑图是指应用程序端到端的调用视图、内部各个服务的调用关系图，以及请求响应时间的分布图，所述Java 虚拟机执行情况包括堆内存使用情况、垃圾收集、类装载、线程和会话信息，所述应用中SQL语句的执行情况包括执行时间、参数，所述应用服务器环境包括处理器、内存、操作系统、Java虚拟机、以及TPM相关配置信息。

7.根据权利要求1所述的一种输变电系统运行状态监测方法，其特征在于，所述步骤S2中的采集使用Java字节码技术实现。

8.根据权利要求1所述的一种输变电系统运行状态监测方法，其特征在于，所述步骤S3中的用户端体验数据包括页面加载时间、页面流量和页面性能指数，所述页面加载时间包括请求延迟时间、应用响应时间、网络传输时间、DOM加载时间和页面渲染时间，所述页面流量是指从服务器端加载页面所需要的实际网络流量，所述页面性能指数是指用户对页面响应满意度的量化指标。

9.根据权利要求1所述的一种输变电系统运行状态监测方法，其特征在于，所述步骤S3中的收集采用Java Script插码技术实现。

10.根据权利要求1所述的一种输变电系统运行状态监测方法，其特征在于，所述步骤S4中的告警通知包括短信通知、邮件通知和声音通知。