CN106294091B - 一种无侵入式日志拦截性能分析方法及系统 - Google Patents
一种无侵入式日志拦截性能分析方法及系统 Download PDFInfo
- Publication number
- CN106294091B CN106294091B CN201610654261.4A CN201610654261A CN106294091B CN 106294091 B CN106294091 B CN 106294091B CN 201610654261 A CN201610654261 A CN 201610654261A CN 106294091 B CN106294091 B CN 106294091B
- Authority
- CN
- China
- Prior art keywords
- module
- log
- information
- log information
- analysis
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
- G06F11/3452—Performance evaluation by statistical analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/3003—Monitoring arrangements specially adapted to the computing system or computing system component being monitored
- G06F11/302—Monitoring arrangements specially adapted to the computing system or computing system component being monitored where the computing system component is a software system
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Computing Systems (AREA)
- General Physics & Mathematics (AREA)
- Quality & Reliability (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Computer Hardware Design (AREA)
- Probability & Statistics with Applications (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Debugging And Monitoring (AREA)
Abstract
本发明提供一种无侵入式日志拦截性能分析方法，所述方法包括：创建一用于收集日志信息的拦截插件，将所述插件植入业务应用集群，根据插件上的跟踪埋点，采集业务应用集群的日志信息，对采集到的日志信息进行全量格式化处理；通过消息服务器将全量格式化处理后的日志信息传给Storm集群；所述消息服务器将接收到的日志信息分别以HDFS格式和HBase格式进行存储，解析所述HDFS格式的日志信息分析得到各性能参数指标；通过一日志分析服务器获取HDFS格式的日志信息以及分析结果，进行处理后通过一交互界面展示给用户。本发明还提供一种无侵入式日志拦截性能分析系统，实现高效的自动化日志拦截和分析，大大节约运维和研发人力成本，提高交付软件产品的质量。
Description
技术领域
本发明涉及信息处理领域，尤其涉及一种无侵入式日志拦截性能分析方法及系统。
背景技术
随着IT行业软件产品的推陈出新，客户对于软件产品的性能要求也越来越高，因此，提供高性能的软件，及时对出现性能问题的产品进行分析并给出合理的解决方案就成为当下的一个重要问题。目前，Spring作为现在最优秀的框架之一，业界大部分的JavaEE框架是典型的Struct+Spring+Hibernate或者是AJAX+Spring+Hibernate架构，其共同点是均有Spring框架的使用，那么，如何实现对基于AOP(AOP为Aspect Oriented Programming的缩写，意为：面向切面编程，通过预编译方式和运行期动态代理实现程序功能的统一维护的一种技术)的应用程序的性能进行全面自动化分析和管理，以达到交付高性能软件产品的目的就成为我们要解决的问题。目前，业界尚无一款通用的高效率的性能分析软件，能够基于Spring的AOP特征进行日志捕捉性能分析和统计优化，并支持消息中间件和大数据的分析框架。
发明内容
本发明要解决的技术问题之一，在于提供一种无侵入式日志拦截性能分析方法，实现高效的自动化日志拦截和分析，并提高系统可视化程度，大大节约运维和研发人力成本，提高交付软件产品的质量。
本发明要解决的技术问题之一是这样实现的：一种无侵入式日志拦截性能分析方法，包括如下步骤：
步骤1、创建一用于收集日志信息的拦截插件，并将所述插件植入业务应用集群，根据所述插件上预先设置的跟踪埋点，采集所述业务应用集群的日志信息，并对采集到的日志信息进行全量格式化处理，同时将格式化后的日志信息发送给消息服务器，进入日志处理队列；
步骤2、通过消息服务器将全量格式化处理后的日志信息传送给Storm集群，在Strom中对格式化后的日志信息进行流式计算，得到相关统计信息；
步骤3、通过消息中间件将收集的全量格式化后的日志信息以HDFS(Hadoop分布式文件系统(HDFS)被设计成适合运行在通用硬件(commodity hardware)上的分布式文件系统)格式存储到Hadoop集群(Hadoop是一个由Apache基金会所开发的分布式系统基础架构)，通过所述Storm集群计算结果并将实时信息以HBase(HBase是一个分布式的、面向列的开源数据库)进行存储，分析得到各性能参数指标；
步骤4、通过一日志分析服务器根据业务需要，从HDFS格式和Hbase集群中获取日志信息以及分析结果，并将获取到的数据进行处理后通过一交互界面展示给用户，所述交互界面采用图表形式进行展示。
进一步的，所述拦截插件包括一用于设置跟踪埋点的中间件和一用于采集日志信息的信息收集模块，所述信息收集模块根据所述跟踪埋点采集日志信息并将采集到的日志信息进行全量格式化处理。
进一步的，所述跟踪埋点包括前置埋点、后置埋点、异常信息、执行轨迹、请求者位置和响应者位置。
进一步的，所述步骤4进一步包括：
步骤41、通过一日志分析服务器根据业务需要，从HDFS格式和Hbase集群中获取日志信息以及分析结果；
步骤42、将获取到的数据进行归类，包括日志数据、事务数据、业务数据、统计分析数据和特征整合数据；
步骤43、通过一交互界面将上述数据以图表形式展示给用户，所述交互界面包括一健康仪表盘界面和应用界面，所述健康仪表盘界面用于展示操作系统的运维状况图，所述应用界面包括健康中心模块、健康管家模块、优化专家模块、跟踪助手模块、监控与警告模块和统一消息推送模块，所述健康中心模块用于以表格形式展示某一时刻的操作系统健康的各个指标信息，所述指标信息包括数据库连接数、数据库表空间和数据库的执行计划变更数，所述健康管家模块用于设置相关监控指标和参数，所述优化专家模块用于向用户展示操作系统中性能低的若干个指标项，所述跟踪助手模块用于采集报错的入参和出参并展示API((API全称为Application Programming Interface，应用程序编程接口)是一些预先定义的函数)执行路径，所述监控与告警模块用于提供监控视图和阈值设置，所述统一消息推送模块用于接受和发送指令。
进一步的，所述日志分析服务器还通过获取HBase格式的日志信息完成用户详单信息查询。
本发明要解决的技术问题之二，在于提供一种无侵入式日志拦截性能分析系统，实现高效的自动化日志拦截和分析，并提高系统可视化程度，大大节约运维和研发人力成本，提高交付软件产品的质量。
本发明要解决的技术问题之二是这样实现的：一种无侵入式日志拦截性能分析系统，包括一获取日志信息模块、一转发模块、一存储与分析模块和一可视化模块：
所述获取日志信息模块，用于创建一用于收集日志信息的拦截插件，并将所述插件植入业务应用集群，根据所述插件上预先设置的跟踪埋点，采集所述业务应用集群的日志信息，并对采集到的日志信息进行全量格式化处理，同时将格式化后的日志信息发送给消息服务器，进入日志处理队列；
所述转发模块，用于通过消息服务器将全量格式化处理后的日志信息传送给Storm集群，在Strom中对格式化后的日志信息进行流式计算，得到相关统计信息；
所述存储与分析模块，用于通过消息服务器将收集的全量格式化后的日志信息以HDFS(Hadoop分布式文件系统(HDFS)被设计成适合运行在通用硬件(commodity hardware)上的分布式文件系统)格式存储到Hadoop集群(Hadoop是一个由Apache基金会所开发的分布式系统基础架构)，通过所述Storm集群计算结果并将实时信息以HBase(HBase是一个分布式的、面向列的开源数据库)进行存储，分析得到各性能参数指标；
所述可视化模块，用于通过一日志分析服务器根据业务需要，从HDFS格式和Hbase集群中获取日志信息以及分析结果，并将获取到的数据进行处理后通过一交互界面展示给用户，所述交互界面采用图表形式进行展示。
进一步的，所述拦截插件包括一用于设置跟踪埋点的中间件和一用于采集日志信息的信息收集模块，所述信息收集模块根据所述跟踪埋点采集日志信息并将采集到的日志信息进行全量格式化处理。
进一步的，所述跟踪埋点包括前置埋点、后置埋点、异常信息、执行轨迹、请求者位置和响应者位置。
进一步的，所述可视化模块进一步包括：
数据获取模块，用于通过一日志分析服务器根据业务需要，从HDFS格式和Hbase集群中获取日志信息以及分析结果；
数据处理模块，用于将获取到的数据进行归类，包括日志数据、事务数据、业务数据、统计分析数据和特征整合数据；以及
界面展示模块，用于通过一交互界面将上述数据以图表形式展示给用户，所述交互界面包括一健康仪表盘界面和应用界面，所述健康仪表盘界面用于展示操作系统的运维状况图，所述应用界面包括健康中心模块、健康管家模块、优化专家模块、跟踪助手模块、监控与警告模块和统一消息推送模块，所述健康中心模块用于以表格形式展示某一时刻的操作系统健康的各个指标信息，所述指标信息包括数据库连接数、数据库表空间和数据库的执行计划变更数，所述健康管家模块用于设置相关监控指标和参数，所述优化专家模块用于向用户展示操作系统中性能低的若干个指标项，所述跟踪助手模块用于采集报错的入参和出参并展示API执行路径，所述监控与告警模块用于提供监控视图和阈值设置，所述统一消息推送模块用于接受和发送指令。
进一步的，所述日志分析服务器还通过获取HBase格式的日志信息完成用户详单信息查询。
本发明具有如下优点：
1、通过自动化日志拦截和分析，提升项目管理，避免运维人员7×24小时的值班，提高研发人员的工作效率，节约了运维和研发人力成本；
2、通过对软件产品性能监控与分析、预测、告警等，对软件产品的性能实现预分析，避免软件性能问题到测试和生产环节才发现，提高产品的可用性，提升客户满意度；
3、通过交互界面的设计，提高系统运维的可视化，实现问题的全面采集与分析，从而实现对系统全流程的监控与告警。
附图说明
下面参照附图结合实施例对本发明作进一步的说明。
图1为本发明一种无侵入式日志拦截性能分析方法执行流程图。
图2为本发明一种无侵入式日志拦截性能分析系统框图。
图3为本发明一种无侵入式日志拦截性能分析原理示意图。
具体实施方式
如图1和图3所示，一种无侵入式日志拦截性能分析方法，包括如下步骤：
步骤1、创建一用于收集日志信息的拦截插件，并将所述插件植入业务应用集群，根据所述插件上预先设置的跟踪埋点，采集所述业务应用集群的日志信息，并对采集到的日志信息进行全量格式化处理，同时将格式化后的日志信息发送给消息服务器，进入日志处理队列，所述拦截插件包括一用于设置跟踪埋点的中间件和一用于采集日志信息的信息收集模块，所述信息收集模块根据所述跟踪埋点采集日志信息并将采集到的日志信息进行全量格式化处理，所述跟踪埋点包括前置埋点、后置埋点、异常信息、执行轨迹、请求者位置和响应者位置；
步骤2、通过消息服务器将全量格式化处理后的日志信息传送给Storm集群，在Strom中对格式化后的日志信息进行流式计算，得到相关统计信息；
步骤3、通过消息服务器将收集的全量格式化后的日志信息以HDFS格式进行存储到Hadoop集群，通过所述Storm集群计算结果并将实时信息以HBase进行存储，分析得到各性能参数指标；
步骤4、通过一日志分析服务器根据业务需要，从HDFS格式和Hbase集群中获取日志信息以及分析结果，并将获取到的数据进行处理后通过一交互界面展示给用户，所述交互界面采用图表形式进行展示，所述步骤4进一步包括：
步骤41、通过一日志分析服务器根据业务需要，从HDFS格式和Hbase集群中获取日志信息以及分析结果；
步骤42、将获取到的数据进行归类，包括日志数据、事务数据、业务数据、统计分析数据和特征整合数据；
步骤43、通过一交互界面将上述数据以图表形式展示给用户，所述交互界面包括一健康仪表盘界面和应用界面，所述健康仪表盘界面用于展示操作系统的运维状况图，所述应用界面包括健康中心模块、健康管家模块、优化专家模块、跟踪助手模块、监控与警告模块和统一消息推送模块，所述健康中心模块用于以表格形式展示某一时刻的操作系统健康的各个指标信息，所述指标信息包括数据库连接数、数据库表空间和数据库的执行计划变更数，所述健康管家模块用于设置相关监控指标和参数，所述优化专家模块用于向用户展示操作系统中性能低的若干个指标项，所述跟踪助手模块用于采集报错的入参和出参并展示API执行路径，所述监控与告警模块用于提供监控视图和阈值设置，所述统一消息推送模块用于接受和发送指令。
所述日志分析服务器还通过获取HBase格式的日志信息完成用户详单信息查询。
如图2和图3所示，一种无侵入式日志拦截性能分析系统，包括一获取日志信息模块、一转发模块、一存储与分析模块和一可视化模块：
所述获取日志信息模块，用于创建一用于收集日志信息的拦截插件，并将所述插件植入业务应用集群，根据所述插件上预先设置的跟踪埋点，采集所述业务应用集群的日志信息，并对采集到的日志信息进行全量格式化处理，同时将格式化后的日志信息发送给消息服务器，进入日志处理队列，所述拦截插件包括一用于设置跟踪埋点的中间件和一用于采集日志信息的信息收集模块，所述信息收集模块根据所述跟踪埋点采集日志信息并将采集到的日志信息进行全量格式化处理，所述跟踪埋点包括前置埋点、后置埋点、异常信息、执行轨迹、请求者位置和响应者位置；
所述转发模块，用于通过消息服务器将全量格式化处理后的日志信息传送给Storm集群，在Strom中对格式化后的日志信息进行流式计算，得到相关统计信息；
所述存储与分析模块，用于通过消息服务器将收集的全量格式化后的日志信息以HDFS格式进行存储到Hadoop集群，通过所述Storm集群计算结果并将实时信息以HBase进行存储，分析得到各性能参数指标；
所述可视化模块，用于通过一日志分析服务器根据业务需要，从HDFS格式和Hbase集群中获取日志信息以及分析结果，并将获取到的数据进行处理后通过一交互界面展示给用户，所述交互界面采用图表形式进行展示，所述可视化模块进一步包括：
数据获取模块，用于通过一日志分析服务器根据业务需要，从HDFS格式和Hbase集群中获取日志信息以及分析结果；
数据处理模块，用于将获取到的数据进行归类，包括日志数据、事务数据、业务数据、统计分析数据和特征整合数据；以及
界面展示模块，用于通过一交互界面将上述数据以图表形式展示给用户，所述交互界面包括一健康仪表盘界面和应用界面，所述健康仪表盘界面用于展示操作系统的运维状况图，所述应用界面包括健康中心模块、健康管家模块、优化专家模块、跟踪助手模块、监控与警告模块和统一消息推送模块，所述健康中心模块用于以表格形式展示某一时刻的操作系统健康的各个指标信息，所述指标信息包括数据库连接数、数据库表空间和数据库的执行计划变更数，所述健康管家模块用于设置相关监控指标和参数，所述优化专家模块用于向用户展示操作系统中性能低的若干个指标项，所述跟踪助手模块用于采集报错的入参和出参并展示API执行路径，所述监控与告警模块用于提供监控视图和阈值设置，所述统一消息推送模块用于接受和发送指令。
所述日志分析服务器还通过获取HBase格式的日志信息完成用户详单信息查询。
下面结合一具体实施例对本发明做进一步说明：
步骤1、创建一用于收集日志信息的拦截插件，并将所述插件植入业务应用集群(例如客户管理系统CRM)，所述拦截插件包括一用于设置跟踪埋点的中间件和一用于采集日志信息的信息收集模块，所述信息收集模块根据所述跟踪埋点采集日志信息并将采集到的日志信息进行全量格式化处理，同时将格式化后的日志信息发送给消息服务器，进入日志处理队列，所述跟踪埋点包括前置埋点、后置埋点、异常信息、执行轨迹、请求者位置和响应者位置；
步骤2、通过消息服务器将全量格式化处理后的日志信息传送给Storm集群，在Strom中对格式化后的日志信息进行流式计算，得到相关统计信息，实现无延时的消息传递，实现高性能的日志采集和记录，所述相关统计信息包括性能信息、时间信息、业务信息以及设备信息；
步骤3、通过消息服务器将收集的全量格式化后的日志信息以HDFS格式进行存储到Hadoop集群，通过所述Storm集群计算结果并将实时信息以HBase进行存储，分析得到各性能参数指标，所述以HBase格式的日志信息用于详单信息的查询；
步骤4、通过一日志分析服务器根据业务需要，从HDFS格式和Hbase集群中获取日志信息以及分析结果，并将获取到的数据进行处理后通过一交互界面展示给用户，所述交互界面采用图表形式进行展示，提供给用户直观的信息，提高系统性能可视化。所述步骤4进一步包括：
步骤41、通过一日志分析服务器根据业务需要，从HDFS格式和Hbase集群中获取日志信息以及分析结果；
步骤42、将获取到的数据进行归类，包括日志数据、事务数据、业务数据、统计分析数据和特征整合数据；
步骤43、通过一交互界面将上述数据以图表形式展示给用户，所述交互界面包括一健康仪表盘界面和应用界面，所述健康仪表盘界面用于展示操作系统的运维状况图，包括客户端分布情况、服务器压力情况、应用服务器健康状况、数据库主机健康状况、应用程序性能情况等，以图形化方式直观地展示出来，所述应用界面包括健康中心模块、健康管家模块、优化专家模块、跟踪助手模块、监控与警告模块和统一消息推送模块，所述健康中心模块用于以表格形式展示某一时刻的操作系统健康的各个指标信息，所述指标信息包括(仪表盘界面中的数据库主机健康在某一时的数据)数据库连接数、数据库表空间和数据库的执行计划变更数，所述健康管家模块用于设置相关监控指标和参数，所述优化专家模块用于向用户展示操作系统中性能低的若干个指标项，例如，按API执行耗时的前10项、API执行次数的前10项、数据库脚本语句耗时的前10项或应用服务器轮询耗时的前10项进行展示，为系统优化提供相应的指标参数，所述跟踪助手模块用于采集报错的入参和出参并展示API执行路径，为研发人员提供快速定位分析问题的能力，实现对报错的API执行路径的直观展示并能快速定位到执行路径上的某个API报错，所述监控与告警模块用于提供监控视图和阈值设置，从而在指标超过阈值的时候，发出告警短信，所述统一消息推送模块用于接受和发送指令，完成相应的告警、执行等操作。
所述日志分析服务器还通过获取HBase格式的日志信息完成用户详单信息查询。
本发明通过自动化日志拦截和分析，提升项目管理，避免运维人员7×24小时的值班，提高研发人员的工作效率，节约了运维和研发人力成本；通过对软件产品性能监控与分析、预测、告警等，对软件产品的性能实现预分析，避免软件性能问题到测试和生产环节才发现，提高产品的可用性，提升客户满意度；通过交互界面的设计，提高系统运维的可视化，实现问题的全面采集与分析，从而实现对系统全流程的监控与告警。
虽然以上描述了本发明的具体实施方式，但是熟悉本技术领域的技术人员应当理解，我们所描述的具体的实施例只是说明性的，而不是用于对本发明的范围的限定，熟悉本领域的技术人员在依照本发明的精神所作的等效的修饰以及变化，都应当涵盖在本发明的权利要求所保护的范围内。
Claims (8)
1.一种无侵入式日志拦截性能分析方法，其特征在于：包括如下步骤：
步骤1、创建一用于收集日志信息的拦截插件，并将所述插件植入业务应用集群，根据所述插件上预先设置的跟踪埋点，采集所述业务应用集群的日志信息，并对采集到的日志信息进行全量格式化处理，同时将格式化后的日志信息发送给消息服务器，进入日志处理队列；
步骤2、通过消息服务器将全量格式化处理后的日志信息传送给Storm集群，在Strom中对格式化后的日志信息进行流式计算，得到相关统计信息；
步骤3、通过消息服务器将收集的全量格式化后的日志信息以HDFS格式进行存储到Hadoop集群，通过所述Storm集群计算结果并将实时信息以HBase进行存储，分析得到各性能参数指标；
步骤4、通过一日志分析服务器根据业务需要，从HDFS格式和Hbase集群中获取日志信息以及分析结果，并将获取到的数据进行处理后通过一交互界面展示给用户，所述交互界面采用图表形式进行展示；
所述步骤4进一步包括：
步骤41、通过一日志分析服务器根据业务需要，从HDFS格式和Hbase集群中获取日志信息以及分析结果；
步骤42、将获取到的数据进行归类，包括日志数据、事务数据、业务数据、统计分析数据和特征整合数据；
步骤43、通过一交互界面将上述数据以图表形式展示给用户，所述交互界面包括一健康仪表盘界面和应用界面，所述健康仪表盘界面用于展示操作系统的运维状况图，所述应用界面包括健康中心模块、健康管家模块、优化专家模块、跟踪助手模块、监控与警告模块和统一消息推送模块，所述健康中心模块用于以表格形式展示某一时刻的操作系统健康的各个指标信息，所述指标信息包括数据库连接数、数据库表空间和数据库的执行计划变更数，所述健康管家模块用于设置相关监控指标和参数，所述优化专家模块用于向用户展示操作系统中性能低的若干个指标项，所述跟踪助手模块用于采集报错的入参和出参并展示API执行路径，所述监控与告警模块用于提供监控视图和阈值设置，所述统一消息推送模块用于接受和发送指令。
2.根据权利要求1所述的一种无侵入式日志拦截性能分析方法，其特征在于：所述拦截插件包括一用于设置跟踪埋点的中间件和一用于采集日志信息的信息收集模块，所述信息收集模块根据所述跟踪埋点采集日志信息并将采集到的日志信息进行全量格式化处理。
3.根据权利要求1或2所述的一种无侵入式日志拦截性能分析方法，其特征在于：所述跟踪埋点包括前置埋点、后置埋点、异常信息、执行轨迹、请求者位置和响应者位置。
4.根据权利要求1所述的一种无侵入式日志拦截性能分析方法，其特征在于：所述日志分析服务器还通过获取HBase格式的日志信息完成用户详单信息查询。
5.一种无侵入式日志拦截性能分析系统，其特征在于：包括一获取日志信息模块、一转发模块、一存储与分析模块和一可视化模块：
所述获取日志信息模块，用于创建一用于收集日志信息的拦截插件，并将所述插件植入业务应用集群，根据所述插件上预先设置的跟踪埋点，采集所述业务应用集群的日志信息，并对采集到的日志信息进行全量格式化处理，同时将格式化后的日志信息发送给消息服务器，进入日志处理队列；
所述转发模块，用于通过消息服务器将全量格式化处理后的日志信息传送给Storm集群，在Strom中对格式化后的日志信息进行流式计算，得到相关统计信息；
所述存储与分析模块，用于通过消息服务器将收集的全量格式化后的日志信息以HDFS格式进行存储到Hadoop集群，通过所述Storm集群计算结果并将实时信息以HBase进行存储，分析得到各性能参数指标；
所述可视化模块，用于通过一日志分析服务器根据业务需要，从HDFS格式和Hbase集群中获取日志信息以及分析结果，并将获取到的数据进行处理后通过一交互界面展示给用户，所述交互界面采用图表形式进行展示；
所述可视化模块进一步包括：
数据获取模块，用于通过一日志分析服务器根据业务需要，从HDFS格式和Hbase集群中获取日志信息以及分析结果；
数据处理模块，用于将获取到的数据进行归类，包括日志数据、事务数据、业务数据、统计分析数据和特征整合数据；以及
界面展示模块，用于通过一交互界面将上述数据以图表形式展示给用户，所述交互界面包括一健康仪表盘界面和应用界面，所述健康仪表盘界面用于展示操作系统的运维状况图，所述应用界面包括健康中心模块、健康管家模块、优化专家模块、跟踪助手模块、监控与警告模块和统一消息推送模块，所述健康中心模块用于以表格形式展示某一时刻的操作系统健康的各个指标信息，所述指标信息包括数据库连接数、数据库表空间和数据库的执行计划变更数，所述健康管家模块用于设置相关监控指标和参数，所述优化专家模块用于向用户展示操作系统中性能低的若干个指标项，所述跟踪助手模块用于采集报错的入参和出参并展示API执行路径，所述监控与告警模块用于提供监控视图和阈值设置，所述统一消息推送模块用于接受和发送指令。
6.根据权利要求5所述的一种无侵入式日志拦截性能分析系统，其特征在于：所述拦截插件包括一用于设置跟踪埋点的中间件和一用于采集日志信息的信息收集模块，所述信息收集模块根据所述跟踪埋点采集日志信息并将采集到的日志信息进行全量格式化处理。
7.根据权利要求5或6所述的一种无侵入式日志拦截性能分析系统，其特征在于：所述跟踪埋点包括前置埋点、后置埋点、异常信息、执行轨迹、请求者位置和响应者位置。
8.根据权利要求5所述的一种无侵入式日志拦截性能分析系统，其特征在于：所述日志分析服务器还通过获取HBase格式的日志信息完成用户详单信息查询。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610654261.4A CN106294091B (zh) | 2016-08-11 | 2016-08-11 | 一种无侵入式日志拦截性能分析方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610654261.4A CN106294091B (zh) | 2016-08-11 | 2016-08-11 | 一种无侵入式日志拦截性能分析方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN106294091A CN106294091A (zh) | 2017-01-04 |
| CN106294091B true CN106294091B (zh) | 2019-01-04 |
Family
ID=57668596
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201610654261.4A Active CN106294091B (zh) | 2016-08-11 | 2016-08-11 | 一种无侵入式日志拦截性能分析方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN106294091B (zh) |
Families Citing this family (34)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106789335B (zh) * | 2017-01-13 | 2019-12-17 | 泰康保险集团股份有限公司 | 一种用于处理信息的方法和系统 |
| CN106817262A (zh) * | 2017-03-01 | 2017-06-09 | 郑州云海信息技术有限公司 | 一种日志分析装置 |
| CN106970789B (zh) * | 2017-03-07 | 2020-06-16 | 武汉斗鱼网络科技有限公司 | 一种Android端基于AOP和AspectJ的日志自动埋点方法及系统 |
| CN107092488B (zh) * | 2017-03-31 | 2020-06-16 | 武汉斗鱼网络科技有限公司 | 一种对应用进行无侵入化埋点的实现方法及系统 |
| CN107688530B (zh) * | 2017-04-06 | 2020-04-10 | 平安科技（深圳）有限公司 | 软件测试方法及装置 |
| CN108874614A (zh) * | 2017-05-11 | 2018-11-23 | 上海宏时数据系统有限公司 | 一种大数据日志智能分析系统及方法 |
| CN107229556A (zh) * | 2017-06-09 | 2017-10-03 | 环球智达科技（北京）有限公司 | 基于elastic组件的日志分析系统 |
| CN107273267A (zh) * | 2017-06-09 | 2017-10-20 | 环球智达科技（北京）有限公司 | 基于elastic组件的日志分析方法 |
| CN107391746A (zh) * | 2017-08-10 | 2017-11-24 | 深圳前海微众银行股份有限公司 | 日志分析方法、设备和计算机可读存储介质 |
| CN107729214B (zh) * | 2017-10-13 | 2021-03-09 | 中电福富信息科技有限公司 | 一种可视化的分布式系统实时监控运维方法及装置 |
| CN107911232B (zh) * | 2017-10-27 | 2021-04-30 | 绿盟科技集团股份有限公司 | 一种确定业务操作规则的方法及装置 |
| CN108540439B (zh) * | 2018-02-01 | 2021-10-29 | 顺丰科技有限公司 | 数据解析方法及系统、设备和存储介质 |
| CN108280022B (zh) * | 2018-02-08 | 2022-04-01 | 无线生活（杭州）信息科技有限公司 | 性能监测方法及装置 |
| CN108509309B (zh) * | 2018-02-13 | 2021-09-28 | 南京途牛科技有限公司 | 一种基于访问日志进行性能监控的系统及方法 |
| CN108306980A (zh) * | 2018-03-06 | 2018-07-20 | 北京工业大学 | 一种机务飞行保障大数据日志分析系统 |
| CN108551411A (zh) * | 2018-04-28 | 2018-09-18 | 努比亚技术有限公司 | 数据采集方法、移动终端及计算机可读存储介质 |
| CN108984396B (zh) * | 2018-06-21 | 2022-06-24 | 千寻位置网络有限公司 | 自动测试的方法及系统、测试终端 |
| CN108897664B (zh) * | 2018-06-28 | 2019-10-11 | 北京九章云极科技有限公司 | 一种信息展示方法及系统 |
| CN109359019A (zh) * | 2018-08-15 | 2019-02-19 | 中国平安人寿保险股份有限公司 | 应用程序性能监控方法、装置、电子设备及存储介质 |
| CN109460307B (zh) * | 2018-10-15 | 2021-03-12 | 厦门商集网络科技有限责任公司 | 基于日志埋点的微服务调用跟踪方法及其系统 |
| CN110008095A (zh) * | 2018-11-28 | 2019-07-12 | 阿里巴巴集团控股有限公司 | 一种日志信息展示方法及系统 |
| CN111258862B (zh) * | 2018-11-30 | 2022-04-15 | 比亚迪股份有限公司 | 程序日志管理方法、装置及系统 |
| CN109885453B (zh) * | 2019-02-18 | 2023-02-28 | 国家计算机网络与信息安全管理中心 | 基于流数据处理的大数据平台监控系统 |
| CN109818799B (zh) * | 2019-02-19 | 2022-03-25 | 上海雷腾软件股份有限公司 | 日志采集分析方法及设备 |
| CN109992329B (zh) * | 2019-03-27 | 2020-05-01 | 南京联创北斗技术应用研究院有限公司 | 一种基于后端切面技术的方法级性能分析方法 |
| CN110096421B (zh) * | 2019-04-30 | 2022-11-29 | 中国人民解放军海军大连舰艇学院 | 一种通信数据的采集与管理系统 |
| CN112131070B (zh) * | 2019-06-25 | 2024-09-20 | 北京京东尚科信息技术有限公司 | 调用关系跟踪方法、装置、设备及计算机可读存储介质 |
| CN111162932A (zh) * | 2019-12-12 | 2020-05-15 | 苏州博纳讯动软件有限公司 | 一种基于日志分析的api网关监控方法 |
| CN111158985B (zh) * | 2019-12-30 | 2024-03-22 | 嘉联支付有限公司 | 基于动态规则实时数据监测分析方法及系统 |
| CN111338900A (zh) * | 2020-02-26 | 2020-06-26 | 北京跃盟科技有限公司 | 监控软件系统的运行状态的方法及装置 |
| CN111581054B (zh) * | 2020-04-30 | 2024-04-09 | 重庆富民银行股份有限公司 | 一种基于elk的日志埋点的业务分析告警系统及方法 |
| CN112446051B (zh) * | 2020-12-02 | 2023-08-22 | 东莞盟大集团有限公司 | 一种基于区块链技术的异常追踪方法及其系统 |
| CN113419958A (zh) * | 2021-06-30 | 2021-09-21 | 中国工商银行股份有限公司 | 一种异常数据库语句检测方法及装置 |
| CN115883647B (zh) * | 2022-11-29 | 2024-06-14 | 京东科技信息技术有限公司 | 业务日志记录方法、系统、装置、终端、服务器及介质 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102394771A (zh) * | 2011-10-26 | 2012-03-28 | 广州杰赛科技股份有限公司 | 插座式嵌入的日志收集系统及收集方法 |
| CN102929771A (zh) * | 2012-09-28 | 2013-02-13 | 用友软件股份有限公司 | 日志记录装置和日志记录方法 |
| CN103617287A (zh) * | 2013-12-12 | 2014-03-05 | 用友软件股份有限公司 | 一种分布式环境下的日志管理方法和装置 |
| US8682812B1 (en) * | 2010-12-23 | 2014-03-25 | Narus, Inc. | Machine learning based botnet detection using real-time extracted traffic features |
| CN105224445A (zh) * | 2015-10-28 | 2016-01-06 | 北京汇商融通信息技术有限公司 | 分布式跟踪系统 |
-
2016
- 2016-08-11 CN CN201610654261.4A patent/CN106294091B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8682812B1 (en) * | 2010-12-23 | 2014-03-25 | Narus, Inc. | Machine learning based botnet detection using real-time extracted traffic features |
| CN102394771A (zh) * | 2011-10-26 | 2012-03-28 | 广州杰赛科技股份有限公司 | 插座式嵌入的日志收集系统及收集方法 |
| CN102929771A (zh) * | 2012-09-28 | 2013-02-13 | 用友软件股份有限公司 | 日志记录装置和日志记录方法 |
| CN103617287A (zh) * | 2013-12-12 | 2014-03-05 | 用友软件股份有限公司 | 一种分布式环境下的日志管理方法和装置 |
| CN105224445A (zh) * | 2015-10-28 | 2016-01-06 | 北京汇商融通信息技术有限公司 | 分布式跟踪系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN106294091A (zh) | 2017-01-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106294091B (zh) | 一种无侵入式日志拦截性能分析方法及系统 | |
| CN111581054B (zh) | 一种基于elk的日志埋点的业务分析告警系统及方法 | |
| US11086755B2 (en) | System and method for implementing an application monitoring tool | |
| CN111294217B (zh) | 告警分析方法、装置、系统及存储介质 | |
| US20050216241A1 (en) | Method and apparatus for gathering statistical measures | |
| CN108197261A (zh) | 一种智慧交通操作系统 | |
| AU2017258970A1 (en) | Testing and improving performance of mobile application portfolios | |
| US11144376B2 (en) | Veto-based model for measuring product health | |
| WO2011017955A1 (zh) | 一种告警数据分析的方法及其系统 | |
| CN110209518A (zh) | 一种多数据源日志数据集中收集存储方法及装置 | |
| CN111259073A (zh) | 基于日志、流量和业务访问的业务系统运行状态智能研判系统 | |
| JP2015095060A (ja) | ログ分析装置及び方法 | |
| CN116232963B (zh) | 一种链路跟踪方法及系统 | |
| CN113190415A (zh) | 互联网医院系统监控方法、设备、存储介质及程序产品 | |
| CN101989931A (zh) | 一种运维告警处理方法和装置 | |
| CN105589796A (zh) | 用于监测信息交互数据异常的方法 | |
| WO2019157399A1 (en) | Data pipeline for scalable analytics and management | |
| CN105530137B (zh) | 流量数据分析方法及流量数据分析系统 | |
| CN105553691A (zh) | 一种基于电力监管信息的监控告警实现方法 | |
| CN110300002A (zh) | 一种可视化的分布式运维方法及装置 | |
| CN111125450A (zh) | 一种多层拓扑网络资源对象的管理方法 | |
| CN117914511A (zh) | 一种基于数据交换、日志分析的安全审计系统 | |
| CN110633191B (zh) | 实时监控软件系统业务健康度的方法和系统 | |
| CN109726085A (zh) | 性能问题追踪的方法及系统 | |
| CN114138720A (zh) | 日志处理方法、装置、电子装置和存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CP01 | Change in the name or title of a patent holder | ||
| CP01 | Change in the name or title of a patent holder |
Address after: Wufeng Street software Avenue Gulou District of Fuzhou city in Fujian province 350000 No. 89 Building No. 12 Patentee after: China Electric fufu Mdt InfoTech Ltd Address before: Wufeng Street software Avenue Gulou District of Fuzhou city in Fujian province 350000 No. 89 Building No. 12 Patentee before: Fujian Fushitong Information Software Co.,Ltd. |