CN107729208A - 一种输变电设备监测装置深度监控系统 - Google Patents

Abstract

一种输变电设备监测装置深度监控系统，包括监控数据采集单元、应用性能深度诊断单元、用户体验数据收集单元和用户体验深度分析单元。使用本发明的系统，不仅能够监控应用可用性、业务流程，而且能够深入到应用代码内部，实现故障的深度分析和故障定位。同时，可对终端用户的用户体验数据进行监控，实现从端到端应用性能的监控。

Description

一种输变电设备监测装置深度监控系统

技术领域

本发明涉及电力监测技术领域，尤其涉及一种输变电设备监测装置深度监控系统。

背景技术

输变电设备状态监控系统是一套较为复杂的软件平台，向下通过GPRS、MSTP与各类集中器变电站终端集成，实现各类终端的集成与数据采集，输变电设备状态监控系统包括了各类服务器、集群、数据库、Web应用等网络基础资源。而传统的监测管理平台只能够实现对各类基础资源的管理，无法深入到应用内部实现代码级的检测和诊断，无法深入到应用内部实现对应用可用性、应用性能进行深入管理，无法实现端到端的用户体验和应用性能诊断，更无法实现真实的用户体验管理，因此也无法定位应用性能下降的根源。因此，有必要建立一套应用可用性监测与故障快速定位的系统。

发明内容

为克服现有技术的不足之处，本发明的目的在于建立一套可深入应用内部实现代码级检测和诊断的系统。

为实现上述目的，本发明采用的技术方案为：

一种输变电设备监测装置深度监控系统，所述装置包括应用服务器和浏览器，所述浏览器可以浏览运行在所述应用服务器上的应用程序，所述应用服务器包括Java虚拟机JVM和Java字节码操纵框架ASM，所述系统包括监控数据采集单元、应用性能深度诊断单元、用户体验数据收集单元和用户体验深度分析单元，所述监控数据采集单元用于实时监控所述应用程序的运行并获取监控数据，所述应用性能深度诊断单元用于对所述监控数据进行分析，并对应用程序应用性能进行深度诊断，所述用户体验数据收集单元用于实时捕捉用户端的用户体验数据，所述用户体验深度分析单元用于对所述用户体验数据进行深度分析。

优选的，所述监控数据采集单元使用Java字节码技术采集监控数据。

优选的，所述Java字节码技术的工作原理为：

（1）在ASM 中直接产生二进制文件A.class ；

（2）利用JVM中的classLoader将A.class装载入JVM，期间调用JVM中的javaagent在A.class的字节码中嵌入监控代码后，生成A’.class；

（3）当有请求需调用A.class时，JVM中的engine就会找到并执行A’.class，A’.class执行A.class正常的业务逻辑，执行A.class中的监控代码，捕捉监控数据；

（4）A’.class执行结束，JVM中的engine将所述监控数据写入监控数据暂存区；

（5）每隔60s，JVM中的agent线程会向应用服务器发送所述监控数据，并清理暂存区。

优选的，所述监控数据包括应用系统平均响应时间、应用系统中单个事务的平均响应时间、代码执行时间、应用系统吞吐量、应用系统性能指数、应用系统错误率、慢SQL语句执行指标、第三方接口服务性能指标和Java虚拟机性能指标。

优选的，所述应用系统平均响应时间包括应用中 Java 代码、SQL 语句的执行时间，以及应用中调用其他服务的时间；所述应用系统中单个事务的平均响应时间包括事务中每个工作单元的平均响应时间，所述工作单元包括SQL语句、接口或者类；所述代码执行时间是指从系统接收请求、处理请求、向请求者回传响应整个过程的耗时；所述应用系统吞吐量指的是应用系统每分钟被访问的次数；所述应用系统性能指数用于量化用户对应用性能的满意度，并通过统一的衡量、计算和报告方法，将最终用户体验和应用性能作为完整指标，进行统一度量；所述应用系统错误率是指应用程序返回异常数据的比率，所述异常数据包括Java所抛出的异常信息、http无法响应信息和web无响应信息；所述慢SQL语句是根据预设阀值，系统自动捕获的SQL语句，所述慢SQL语句执行指标包括执行时间、执行时长、执行计划、调用堆栈、事务请求信息；所述第三方接口服务性能指标包括记录分析所监控的应用系统中调用其他外部服务的平均响应时间、执行时间比重和吞吐量；所述Java虚拟机性能指标包括堆内存使用情况、垃圾收集、类装载、线程和会话信息。

优选的，所述应用性能深度诊断单元具体的工作过程为：

在指定时间范围内定时的调用系统中断，然后收集应用程序当前的调用栈信息，记录调用栈中出现的函数及这些函数的调用结构，基于这些信息得到函数的调用关系图及每个函数的 CPU 使用信息。

优选的，所述用户体验数据收集单元采用Java Script插码技术收集用户体验数据，所述Java Script插码技术的工作原理为：

（1）根据需要在页面文件中插入相应的Java Script代码，并存储于应用服务器上；

（2）当浏览器浏览到相应页面时，由应用服务器端探针自动下发所述Java Script代码，并由浏览器对所述Java Script代码进行动态解析与执行，捕捉用户体验数据。

优选的，所述用户体验数据包括页面加载时间、页面流量、页面性能指数、异常用户访问页面分析数据、白屏时间、首屏时间、DOM文档结构加载完成时间、资源加载完成时间、javascript错误数据、AJAX性能数据和地理信息分析数据。

优选的，所述页面加载时间包括根据请求延迟时间、响应时间、网络传输时间、DOM加载时间和页面渲染时间；所述页面流量是指从应用服务器端加载页面所需要的实际网络流量；所述页面性能指数是指用户对页面响应满意度的量化指标；所述异常用户访问页面分析数据包括异常页面的用户IP、页面开始时间、响应时间、页面跳转时间、请求重定向时间、本地缓存加载时间、DNS解析时间、TCP传输时间、HTTP请求时间、HTTP响应时间、DOM解析时间、静态资源加载时间；所述白屏时间是指网页载入的时间；所述首屏时间是指head内核心资源加载完成的时间；所述DOM文档结构加载完成时间，包括 Java Script业务逻辑启动时间、webapp启动时间和jQuery.Ready触发时间；所述资源加载完成时间是指资源加载完成windows.onload所需时间；所述javascript错误数据用于javascript错误统计功能,快速了解和统计用户端javascript报错的情况，同时查看每种错误出现的次数,以及不同类型的浏览器发生错误的次数；所述AJAX性能数据包含AJAX响应时间、数据请求和接收时间和HTTP 状态数据；所述地理信息分析数据包含页面响应时间、吞吐量、耗时占比、PV、按地市的响应时间及吞吐量统计、慢加载追踪数据。

优选的，所述用户体验深度分析单元具体的工作过程为：

对页面访问情况的深度监测与分析，针对单个页面事务，统计该页面的用户满意度、访问请求次数、页面平均加载时间、请求排队时间、web应用程序时间、网络传输时间、网络加载时间、资源下载时间。

本发明的益处在于：

（1）使用字节码技术，不仅能够监测应用可用性、业务流程，更为关键的是能够深入到应用代码内部，跟踪应用程序内部，自动学习、识别、记录应用交易的类型，业务代码类执行的效率及业务性能匹配模式，帮助用户实现从代码类、参数到数据库语句多个维度的深度诊断和故障定位，让应用程序的性能问题一目了然。

（2）使用Java Script插码技术能够将监控视角延伸到终端用户侧，对终端用户的用户体验数据进行监测，实现真实的用户体验管理。

（3）使用字节码技术结合Java Script插码技术，实现应用性能端到端的全面监控。

（4）深入梳理应用性能表现的各个维度指标，为应用性能优化和IT升级、扩容合理提供科学依据。

（5）实现对各类状态、风险的快速定位和分析处理，甄别源头和成因、还原故障的发生过程、预计风险的影响范围，为IT监测运维管理提供可依据的技术手段。

（6）从业务视角出发，通过捕获用户对应用系统的每一次访问细节，真实直观反映用户体验和应用系统性能。用户可根据性能监测结果，实现对应用的动态调整，从而保证应用的执行效率。

（7）自动识别出不同的业务系统，并能跟踪、串联应用系统从前端至后端的整个交互过程，自动识别并生成交易拓扑，更加直观和快速的展示交易的每一个流转过程及性能，方便用户对事务进行追踪和快速追溯性能瓶颈。

附图说明

图1为本发明的系统结构示意图。

图2为本发明Java字节码技术工作原理示意图。

图3为本发明Java Script插码技术工作原理示意图。

具体实施方式

一种输变电设备监测装置深度监控系统，所述装置包括应用服务器和浏览器，所述浏览器可以浏览运行在所述应用服务器上的应用程序，所述应用服务器包括Java虚拟机JVM和Java字节码操纵框架ASM，所述应用程序运行在所述JVM上。如图1所示，所述系统包括监控数据采集单元、应用性能深度诊断单元、用户体验数据收集单元和用户体验深度分析单元。

JVM是Java Virtual Machine（Java虚拟机）的缩写，JVM是一种用于计算设备的规范，它是一个虚构出来的计算机，是通过在实际的计算机上仿真模拟各种计算机功能来实现的。Java虚拟机包括一套字节码指令集、一组寄存器、一个栈、一个垃圾回收堆和一个存储方法域。 JVM屏蔽了与具体操作系统平台相关的信息，使Java程序只需生成在Java虚拟机上运行的目标代码（字节码）,就可以在多种平台上不加修改地运行。JVM在执行字节码时，实际上最终还是把字节码解释成具体平台上的机器指令执行。

ASM是一个Java字节码操纵框架，它能被用来动态生成类或者增强既有类的功能。ASM 可以直接产生二进制 class 文件，也可以在类被加载入 Java 虚拟机之前动态改变类行为。Java class 被存储在严格格式定义的 .class文件里，这些类文件拥有足够的元数据来解析类中的所有元素：类名称、方法、属性以及 Java 字节码（指令）。ASM从类文件中读入信息后，能够改变类行为，分析类信息，甚至能够根据用户要求生成新类。

监控数据采集单元使用Java字节码技术实时监控所述应用程序的运行并获取监控数据。

Java字节码是通常的Java代码编译后得到的.classes文件，能够被Java虚拟机正确的执行。Java探针使用 Java字节码技术，构建一个独立于业务程序的代理程序（Agent），用来监测和协助运行在 JVM 上的程序，甚至可以动态替换和修改某些类的定义。从而实现代码级业务性能监控和故障定位。具体工作原理如图2所示，包括以下步骤：

（1）在ASM 中直接产生二进制文件A.class ；

（2）利用JVM中的classLoader将A.class装载入JVM，期间调用JVM中的javaagent在A.class的字节码中嵌入监控代码后，生成A’.class；

（3）当有请求需调用A.class时，JVM中的engine就会找到并执行A’.class，A’.class执行A.class正常的业务逻辑，执行A.class中的监控代码，捕捉监控数据；

（4）A’.class执行结束，JVM中的engine将所述监控数据写入监控数据暂存区；

（5）每隔60s，JVM中的agent线程会向应用服务器发送所述监控数据，并清理暂存区。

字节码技术监控指标如表1所示：

表1

指标	说明
		应用系统平均响应时间	包括应用中 Java 代码、SQL 语句的执行时间，以及应用中调用其他服务的时间。
应用系统中单个事务的平均响应时间	包括事务中每个工作单元的平均响应时间。不同事务的工作单元不同，工作单元可能是SQL语句、接口、或者类等。
		代码执行时间	是指从系统接收请求、处理请求、向请求者回传响应这个过程的耗时。以数据库为例，从数据库服务器接收到传来的查询请求开始，到处理该请求并准备返回响应数据的过程的耗时，就是该数据库的执行时间
应用系统吞吐量	指的是应用系统每分钟被访问的次数。CPM，即 Calls Per Minute（Calls/min），吞吐量。
		应用系统性能指数	Apdex，英文全称为 Application Performance Index，是指“应用性能指标”。Apdex是一个国际通用标准，能够量化用户对应用性能的满意度，并通过统一的衡量、计算和报告方法，将最终用户体验和应用性能作为完整指标，进行统一度量。
应用系统错误率	是指应用程序返回异常数据的比率。异常数据指的是Java所抛出的异常信息、http无法响应、web无响应等错误信息，与应用程序运行日志中的错误信息等无关。
		慢SQL语句	根据预设阀值，自动捕获慢SQL语句执行。提供SQL语句执行时间、执行时长、执行计划、调用堆栈、事务请求信息
第三方接口服务性能监测	记录分析所监控的应用系统中调用其他外部服务的平均响应时间、执行时间比重、吞吐量等指标
		Java虚拟机性能	包括堆内存使用情况、垃圾收集、类装载、线程和会话信息等

应用性能深度诊断单元采用性能剖析技术对上述监控数据进行分析，并对应用程序应用性能进行深度诊断。

性能剖析是在指定时间范围（持续时间）内定时（采样周期）的调用系统中断，然后收集应用程序当前的调用栈（call stack trace）信息，记录调用栈中出现的函数及这些函数的调用结构，基于这些信息得到函数的调用关系图及每个函数的 CPU 使用信息。通过这些信息，就可以清楚的看到时间是花费在哪一个方法的哪一行上，从而有针对性的进行代码的优化。

在本实施例中，可根据性能快照分析应用代码的执行性能和代码运行中所存在的性能问题，比如：

（1）停到某个类的某个方法比如 get 的方法,一般都是由于在进行密集计算,或者调用数据库但是数据库长时间没有返回结果,或者数据库中有锁。如果是CPU慢,就会出现在这里;如果由于锁等原因,就会出现在线程和锁的标签页中。

（2）时间分布图的百分比计算：该行代码总计被采样到的次数与总采样次数的百分比。

（3）CPU时间图的百分比计算：该行代码总计在runable状态被采样到的次数与总采样次数的百分比。可以理解是该方法在这类请求中对于CPU开销占比。

（4）线程和锁图的百分比计算：该行代码总计在norunable状态被采样到的次数与总采样次数的百分比。可以理解是该方法在这类请求中对于处于blocked状态时间的占比。

用户体验数据收集单元用于实时捕捉用户端的用户体验数据。

本实施例采用浏览器JavaScript插码技术实现前端页面用户体验数据采集。通过在浏览器中插入Java script探针脚本来监控用户体验，当网页被加载时由应用服务器端探针自动下发Java Script代码，并由浏览器对Java Script代码进行动态解析与执行，开始捕捉用户体验数据和收集实际性能数据，其具体工作原理如图3所示。

本实施例中，主要捕捉Ajax结构以及其它Web 2.0 对象产生的数据，包括用户信息、页面响应时间、吞吐量、错误数等，具体数据指标如表2所示。

表2

指标	说明
		页面加载时间	根据请求延迟时间、响应时间，网络传输，DOM加载，页面渲染等各项指标情况显示曲线。
页面流量	从服务器端加载页面所需要的实际网络流量。
		页面性能指数	用户对页面响应满意度的量化指标。
异常用户访问页面分析	异常页面的用户IP、页面开始时间、响应时间、页面跳转时间、请求重定向时间、本地缓存加载时间、DNS解析时间、TCP传输时间、HTTP请求时间、HTTP响应时间、DOM解析时间、静态资源加载时间等相关指标
		白屏时间	网页载入的时间
首屏时间	head内核心资源加载完成的时间
		DOM文档结构加载完成时间	JS业务逻辑启动时间，webapp启动时间，jQuery.Ready触发时间。
资源加载完成时间	资源加载完成windows.onload（load.Event.start）
		javascript错误	JS 错误统计功能,可以快速了解和统计用户端 JS 报错的情况。同时可以查看每种错误出现的次数,以及不同类型的浏览器发生错误的次数,这些 错误,会直接影响到网站的真正用户体验。
AJAX性能	包含AJAX响应时间、数据请求和接收、HTTP 状态的性能监控
		地理信息分析	包含页面响应时间、吞吐量、耗时占比、PV、按地市的响应时间及吞吐量统计、慢加载追踪。

用户体验深度分析单元用于对所述用户体验数据进行深度分析。

系统通过浏览器端Java Script插码技术，采集最真实的用户体验数据。在此基础上，可实现对页面访问情况的深度监测与分析，针对单个页面事务，统计该页面的用户满意度（apdex）、访问请求次数、页面平均加载时间、请求排队时间、web应用程序（后台处理）时间、网络传输时间、网络加载时间、资源下载时间等。具体包括：

（1）分析前端错误类型和缓慢请求响应服务，对不同浏览器类型的页面打开性能进行分析，以及用户浏览器错误分析，用户浏览器类型分析；

（2）根据浏览器，Web应用中间件的部署、URL请求及参数，自动识别关键业务操作体验效果；

（3）提供当前应用系统页面加载耗时最长的页面列表。并提供地域，接入方式，浏览器类型，业务类型等对比分析，以及AJAX，JavaScript等动态页面组件统计分析；

（4）对于异常用户体验，可以通过瀑布图，提供异常页面的用户IP、用户工号、url、页面开始时间、响应时间、页面跳转时间、请求重定向时间、本地缓存加载时间、DNS解析时间、TCP传输时间、HTTP请求时间、HTTP响应时间、DOM解析时间、静态资源加载时间等相关指标，进行故障分析；

（5）通过页面错误、系统错误、浏览器错误、慢交互进行故障诊断定位；

（6）可以统计最多访问页、常见进离站页面、访问时间段、偏好、操作系统、分辨率、cookie/java/flash支持、点击次数、忠诚度及停留信息等；

（7）提供Apdex指数统计分析，及按页面加载各时间段标准进行分区统计分析；

（8）可以对运营商及接入方式监控，以及基于真实用户体验CDN性能监控，包括响应时间、活跃会话数、网络错误率；

（9）提供白屏时间、首屏时间、网页加载完成时间、资源加载完成时间指标辅助分析用户体验；

（10）自动识别出不同的业务系统，并能跟踪、串联应用系统从前端至后端的整个交互过程，自动识别并生成交易拓扑；

（11）端到端业务监控，对重要页面和重点业务进行用户行为进行监控分析，并进行端到端数据关联进行统一监控分析。

通过使用本发明的系统，不仅能够监控应用可用性、业务流程，而且能够深入到应用代码内部，实现故障的深度分析和故障定位。同时，可对终端用户的用户体验数据进行监控，实现从用户端到服务器端应用性能的监控。

Claims (10)

1.一种输变电设备监测装置深度监控系统，所述装置包括应用服务器和浏览器，所述浏览器可以浏览运行在所述应用服务器上的应用程序，所述应用服务器包括Java虚拟机JVM和Java字节码操纵框架ASM，其特征在于，所述系统包括监控数据采集单元、应用性能深度诊断单元、用户体验数据收集单元和用户体验深度分析单元，所述监控数据采集单元用于实时监控所述应用程序的运行并获取监控数据，所述应用性能深度诊断单元用于对所述监控数据进行分析，并对应用程序应用性能进行深度诊断，所述用户体验数据收集单元用于实时捕捉用户端的用户体验数据，所述用户体验深度分析单元用于对所述用户体验数据进行深度分析。

2.根据权利要求1所述的一种输变电设备监测装置深度监控系统，其特征在于，所述监控数据采集单元使用Java字节码技术采集监控数据。

3.根据权利要求2所述的一种输变电设备监测装置深度监控系统，其特征在于，所述Java字节码技术的工作原理为：

（1）在ASM 中直接产生二进制文件A.class ；

（2）利用JVM中的classLoader将A.class装载入JVM，期间调用JVM中的javaagent在A.class的字节码中嵌入监控代码后，生成A’.class；

（3）当有请求需调用A.class时，JVM中的engine就会找到并执行A’.class，A’.class执行A.class正常的业务逻辑，执行A.class中的监控代码，捕捉监控数据；

（4）A’.class执行结束，JVM中的engine将所述监控数据写入监控数据暂存区；

（5）每隔60s，JVM中的agent线程会向应用服务器发送所述监控数据，并清理暂存区。

4.根据权利要求1所述的一种输变电设备监测装置深度监控系统，其特征在于，所述监控数据包括应用系统平均响应时间、应用系统中单个事务的平均响应时间、代码执行时间、应用系统吞吐量、应用系统性能指数、应用系统错误率、慢SQL语句执行指标、第三方接口服务性能指标和Java虚拟机性能指标。

5.根据权利要求4所述的一种输变电设备监测装置深度监控系统，其特征在于，所述应用系统平均响应时间包括应用中 Java 代码、SQL 语句的执行时间，以及应用中调用其他服务的时间；所述应用系统中单个事务的平均响应时间包括事务中每个工作单元的平均响应时间，所述工作单元包括SQL语句、接口或者类；所述代码执行时间是指从系统接收请求、处理请求、向请求者回传响应整个过程的耗时；所述应用系统吞吐量指的是应用系统每分钟被访问的次数；所述应用系统性能指数用于量化用户对应用性能的满意度，并通过统一的衡量、计算和报告方法，将最终用户体验和应用性能作为完整指标，进行统一度量；所述应用系统错误率是指应用程序返回异常数据的比率，所述异常数据包括Java所抛出的异常信息、http无法响应信息和web无响应信息；所述慢SQL语句是根据预设阀值，系统自动捕获的SQL语句，所述慢SQL语句执行指标包括执行时间、执行时长、执行计划、调用堆栈、事务请求信息；所述第三方接口服务性能指标包括记录分析所监控的应用系统中调用其他外部服务的平均响应时间、执行时间比重和吞吐量；所述Java虚拟机性能指标包括堆内存使用情况、垃圾收集、类装载、线程和会话信息。

6.根据权利要求1所述的一种输变电设备监测装置深度监控系统，其特征在于，所述应用性能深度诊断单元具体的工作过程为：

在指定时间范围内定时的调用系统中断，然后收集应用程序当前的调用栈信息，记录调用栈中出现的函数及这些函数的调用结构，基于这些信息得到函数的调用关系图及每个函数的 CPU 使用信息。

7.根据权利要求1所述的一种输变电设备监测装置深度监控系统，其特征在于，所述用户体验数据收集单元采用Java Script插码技术收集用户体验数据，所述Java Script插码技术的工作原理为：

（1）根据需要在页面文件中插入相应的Java Script代码，并存储于应用服务器上；

（2）当浏览器浏览到相应页面时，由应用服务器端探针自动下发所述Java Script代码，并由浏览器对所述Java Script代码进行动态解析与执行，捕捉用户体验数据。

8.根据权利要求1所述的一种输变电设备监测装置深度监控系统，其特征在于，所述用户体验数据包括页面加载时间、页面流量、页面性能指数、异常用户访问页面分析数据、白屏时间、首屏时间、DOM文档结构加载完成时间、资源加载完成时间、javascript错误数据、AJAX性能数据和地理信息分析数据。

9.根据权利要求8所述的一种输变电设备监测装置深度监控系统，其特征在于，所述页面加载时间包括根据请求延迟时间、响应时间、网络传输时间、DOM加载时间和页面渲染时间；所述页面流量是指从应用服务器端加载页面所需要的实际网络流量；所述页面性能指数是指用户对页面响应满意度的量化指标；所述异常用户访问页面分析数据包括异常页面的用户IP、页面开始时间、响应时间、页面跳转时间、请求重定向时间、本地缓存加载时间、DNS解析时间、TCP传输时间、HTTP请求时间、HTTP响应时间、DOM解析时间、静态资源加载时间；所述白屏时间是指网页载入的时间；所述首屏时间是指head内核心资源加载完成的时间；所述DOM文档结构加载完成时间，包括 Java Script业务逻辑启动时间、webapp启动时间和jQuery.Ready触发时间；所述资源加载完成时间是指资源加载完成windows.onload所需时间；所述javascript错误数据用于javascript错误统计功能,快速了解和统计用户端javascript报错的情况，同时查看每种错误出现的次数,以及不同类型的浏览器发生错误的次数；所述AJAX性能数据包含AJAX响应时间、数据请求和接收时间和HTTP 状态数据；所述地理信息分析数据包含页面响应时间、吞吐量、耗时占比、PV、按地市的响应时间及吞吐量统计、慢加载追踪数据。

10.根据权利要求1所述的一种输变电设备监测装置深度监控系统，其特征在于，所述用户体验深度分析单元具体的工作过程为：

对页面访问情况的深度监测与分析，针对单个页面事务，统计该页面的用户满意度、访问请求次数、页面平均加载时间、请求排队时间、web应用程序时间、网络传输时间、网络加载时间、资源下载时间。