CN111241050B - 一种用于大数据平台的联动分析系统及方法 - Google Patents
一种用于大数据平台的联动分析系统及方法 Download PDFInfo
- Publication number
- CN111241050B CN111241050B CN202010009756.8A CN202010009756A CN111241050B CN 111241050 B CN111241050 B CN 111241050B CN 202010009756 A CN202010009756 A CN 202010009756A CN 111241050 B CN111241050 B CN 111241050B
- Authority
- CN
- China
- Prior art keywords
- data
- event
- abnormal
- monitoring
- linkage analysis
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000004458 analytical method Methods 0.000 title claims abstract description 58
- 238000000034 method Methods 0.000 title claims abstract description 33
- 230000002159 abnormal effect Effects 0.000 claims abstract description 119
- 238000012544 monitoring process Methods 0.000 claims abstract description 79
- 238000003745 diagnosis Methods 0.000 claims abstract description 13
- 238000013500 data storage Methods 0.000 claims abstract description 10
- 230000001960 triggered effect Effects 0.000 claims abstract description 3
- 238000004140 cleaning Methods 0.000 claims description 16
- 230000008569 process Effects 0.000 claims description 16
- 230000004044 response Effects 0.000 claims description 13
- 238000005553 drilling Methods 0.000 claims description 10
- 238000012423 maintenance Methods 0.000 claims description 7
- 238000013515 script Methods 0.000 claims description 7
- 238000006243 chemical reaction Methods 0.000 claims description 6
- 238000012216 screening Methods 0.000 claims description 6
- 239000003795 chemical substances by application Substances 0.000 claims description 4
- 238000005516 engineering process Methods 0.000 claims description 4
- 238000002347 injection Methods 0.000 claims description 4
- 239000007924 injection Substances 0.000 claims description 4
- 238000007726 management method Methods 0.000 claims description 4
- 238000013480 data collection Methods 0.000 claims description 2
- 230000005856 abnormality Effects 0.000 description 27
- 230000006870 function Effects 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 230000002045 lasting effect Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000000243 solution Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/18—File system types
- G06F16/1805—Append-only file systems, e.g. using logs or journals to store data
- G06F16/1815—Journaling file systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/17—Details of further file system functions
- G06F16/178—Techniques for file synchronisation in file systems
- G06F16/1794—Details of file format conversion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/21—Design, administration or maintenance of databases
- G06F16/215—Improving data quality; Data cleansing, e.g. de-duplication, removing invalid entries or correcting typographical errors
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/25—Integrating or interfacing systems involving database management systems
- G06F16/258—Data format conversion from or to a database
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/28—Databases characterised by their database models, e.g. relational or object models
- G06F16/283—Multi-dimensional databases or data warehouses, e.g. MOLAP or ROLAP
Landscapes
- Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Quality & Reliability (AREA)
- Debugging And Monitoring (AREA)
Abstract
本发明公开了一种用于大数据平台的联动分析系统及方法，属于大数据平台监控领域，要解决的技术问题为如何实现主机操作系统、数据库、应用程序等大数据平台多个层面的联动分析。分析系统包括：事件定义模块，用于定义异常事件，并设定用于判断是否触发异常事件的状态规则；数据采集模块，用于采集每个层面的监控数据，并基于状态规则判断所述监控数据是否触发异常事件，将触发异常事件的监控数据标记为事件数据；联动分析模块，用于以异常事件为驱动，汇总与所述异常事件对应的事件数据组成联动数据，并分析所述联动数据形成诊断报告；数据存储模块，用于存储。方法为通过上述分析系统，结合大数据平台的各个层面对异常事件进行联动分析。
Description
技术领域
本发明涉及大数据平台监控领域，具体地说是一种用于大数据平台的联动分析系统及方法。
背景技术
随着互联网+时代的到来，各行各业的数据都产生了爆炸式的增长，如何让数据更有价值，发掘、分析这些海量数据使之间的相互作用形成有价值的信息，是每个企业重点关注的内容之一，通过大数据平台对海量数据进行发掘分析。
大数据平台的复杂性，平台架构及组件的开源性、开放性，以及众多第三方应用的开发，给大数据平台造成了潜在的性能负担。而日常的运维平台比较分散，有些仅涉及主机，有些仅涉及数据库，有些只涉及到应用程序，这样在大数据平台运维时就会面临一个问题，如：在主机资源使用正常的情况下，某些应用的服务异常，或者响应时间过长不能正常访问，或者当应用程序异常时想关联查看该时刻的主机CPU、内存、磁盘IO、网络等资源的使用，都没有有效的联动手段。
基于上述，如何实现主机操作系统、数据库、应用程序等大数据平台多个层面的联动分析，是需要解决的技术问题。
发明内容
本发明的技术任务是针对以上不足，提供一种用于大数据平台的联动分析系统及方法，来解决如何实现主机操作系统、数据库、应用程序等大数据平台多个层面的联动分析的问题。
第一方面，本发明提供一种用于大数据平台的联动分析系统，用于对大数据平台进行层面监控，并结合大数据平台的各个层面对异常事件进行联动分析，所述层面包括主机操作系统、数据库、应用程序、中间件和大数据组件；所述分析系统包括：
事件定义模块，用于定义异常事件，并设定用于判断是否触发异常事件的状态规则；
数据采集模块，用于采集每个层面的监控数据，并基于状态规则判断所述监控数据是否触发异常事件，将触发异常事件的监控数据标记为事件数据；
联动分析模块，用于以异常事件为驱动，抓取与所述异常事件相关的多个层面的事件数据，并通过时间线将上述多个层面的事件数据联动、并钻取每个层面的事件数据，汇总与所述异常事件对应的事件数据组成联动数据，并分析所述联动数据形成诊断报告；
数据存储模块，用于存储监控数据、事件、状态规则、事件数据、联动数据以及诊断报告。
作为优选，所述数据采集模块还用于采集每个层面的日志文件；
所述分析系统还包括数据清洗模块，数据清洗模块用于对采集的日志文件进行格式转换，输出统一格式的清洗后日志文件；
所述日志文件以及清洗后日志文件均存储于数据存储模块，且每个层面对应的监控数据和清洗后日志文件组成新日志文件。
作为优选，所述数据清洗模块通过logstath组件对采集的日志文件进行数据清洗。
作为优选，所述数据清洗模块通过logstath组件对采集的日志文件进行数据清洗，包括：
用于对主机操作系统、数据库和中间件的日志文件进行数据筛选，将无价值的垃圾数据清除，并上述筛选后日志文件中数据格式化为统一格式；
对于应用程序的日志文件，用于对应用访问数据按照URL、请求时间、请求头、请求体、响应头、响应数据、响应时间、调用关系进行格式化。
作为优选，所述数据采集模块通过编写的采集脚本按照频率采集每个层面的监控数据，所述采集脚本包括但不限于Shell脚本。
作为优选，所述数据采集模块基于javaAgent和Java字节码注入技术采集每个层面的监控数据。
作为优选，所述监控数据包括性能数据和运行状态。
作为优选，所述主机操作系统的监控数据包括但不限于网络流量以及CPU、内存、磁盘、进程及网络的运行状态和性能数据；
所述数据库的监控数据包括但不限于数据库表空间、数据库磁盘以及数据库查询的运行状态和性能数据；
应用程序的监控数据包括但不限于URL、SQL查询、应用服务以及链路的运行状态和性能数据；
所述异常事件包括CPU异常、内存异常、磁盘异常、网络异常、进程异常、系统异常日志、数据库表空间异常、数据库磁盘异常、数据库异常日志、中间件使用异常、应用程序URL耗时、应用程序慢SQL、应用服务异常以及应用程序链路异常。
第二方方面，本发明提供一种用于大数据平台的联动分析方法，通过如第一方面任一项所述的一种用于大数据平台的联动分析系统，对大数据平台进行层面监控，并结合大数据平台的各个层面对异常事件进行联动分析，所述层面包括主机操作系统、数据库、应用程序、中间件和大数据组件；
所述方法包括：
定义异常事件，并设定用于判断是否触发异常事件的状态规则；
采集每个层面的监控数据，并基于状态规则判断所述监控数据是否触发异常事件，将触发异常事件的监控数据标记为事件数据；
以异常事件为驱动，抓取与所述异常事件相关的多个层面的事件数据，并通过时间线将上述多个层面的事件数据联动、并钻取每个层面的事件数据，汇总与所述异常事件对应的事件数据组成联动数据，并分析所述联动数据形成诊断报告。
更优的，所述方法还包括：
采集每个层面的日志文件，并对采集的日志文件进行格式转换，输出统一格式的清洗后日志文件，通过所述清洗后日志文件进行运维管理。
本发明的一种用于大数据平台的联动分析系统及方法具有以下优点：
1、在大数据平台的监控中，可将主机操作系统、数据库、中间件、应用程序等不同层面的监控平台相互融合，实现不同层面的监控以及联动分析；
2、对于异常事件，可钻取每个维度的数据，将异常事件追踪到细节，并通过联动分析将性能事件全面剖析、动态关联，为工作人员提供全面的性能问题定位服务；
3、采集主机操作系统、数据库、中间件、应用程序等不同层面的日志文件，对采集的日志文件清洗后与监控数据组成新的日志文件，实现了运维和分析的一体化。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例中描述中所需要使用的附图作简要介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
下面结合附图对本发明进一步说明。
附图1为实施例2一种用于大数据平台的联动分析方法的流程框图。
具体实施方式
下面结合附图和具体实施例对本发明作进一步说明，以使本领域的技术人员可以更好地理解本发明并能予以实施，但所举实施例不作为对本发明的限定，在不冲突的情况下，本发明实施例以及实施例中的技术特征可以相互结合。
需要理解的是，在本发明实施例中的“多个”，是指两个或两个以上。
本发明实施例提供一种用于大数据平台的联动分析系统及方法，用于解决如何实现主机操作系统、数据库、应用程序等大数据平台多个层面的联动分析的技术问题。
实施例1：
本发明的一种用于大数据平台的联动分析系统，用于对大数据平台进行层面监控，并结合大数据平台的各个层面对异常事件进行联动分析，大数据平台的层面包括主机操作系统、数据库、应用程序、中间件和大数据组件。
该分析系统包括事件定义模块、数据采集模块、联动分析模块和数据存储模块，事件定义模块用于定义异常事件，并设定用于判断是否触发异常事件的状态规则；数据采集模块用于采集每个层面的监控数据，并基于状态规则判断所述监控数据是否触发异常事件，将触发异常事件的监控数据标记为事件数据；联动分析模块，用于以异常事件为驱动，抓取与所述异常事件相关的多个层面的事件数据，并通过时间线将上述多个层面的事件数据联动、并钻取每个层面的事件数据，汇总与所述异常事件对应的事件数据组成联动数据，并分析所述联动数据形成诊断报告；数据存储模块用于存储监控数据、事件、状态规则、事件数据、联动数据以及诊断报告。
其中，事件定义模块中内置有基础异常事件，包括CPU异常、内存异常、磁盘异常、网络异常、进程异常、系统异常日志、数据库表空间异常、数据库磁盘异常、数据库异常日志、中间件使用异常、应用程序URL耗时、应用程序慢SQL、应用服务异常以及应用程序链路异常等。
事件定义模块定义上述异常事件时，设定了用于判断是否触发异常事件的状态规则，例如，判断是否触发CPU异常的状态规则为：CPU90％以上持续10 分钟为一个异常事件；判断应用程序异常的判断规则为：某个界面访问超过1 分钟为一个异常事件。
数据采集模块中采集监控数据用于实现对大数据平台各个层面性能的监控，采集的监控数据包括性能数据和运行状态。其中，主机操作系统的监控数据包括网络流量以及CPU、内存、磁盘、进程及网络的运行状态和性能数据；数据库的监控数据包括数据库表空间、数据库磁盘以及数据库查询的运行状态和性能数据；应用程序的监控数据包括URL、SQL查询、应用服务以及链路的运行状态和性能数据。
本实施例中数据采集模块通过编写的Shell脚本按照频率采集主机操作系统的监控数据；通过javaAgent和Java字节码注入技术采集应用程序和大数据组件的监控数据。
数据采集模块采集到监控数据后，根据状态规则，将触发异常事件的监控数据标记为事件数据。例如，如果采集的主机操作系统的监控数据中CPU运行状态为90％或90％以上，而CPU异常对应的异常规则为：CPU90％以上持续10分钟为一个异常事件，则该采集的监控数据会触发异常事件，将其作为事件数据；当在10分钟内采集的监控数据均在90％或90％以上，则形成一个异常事件。
对于异常事件，联动分析模块以异常事件为中心、将整个异常事件进行剖析展示该事件发生时CPU、内存、磁盘IO、网络流量、进程、网络状态、数据库、中间件状态、SQL执行情况等事件数据，并将上述相关的事件数据通过时间线关联起来，并向下钻取每个层面的事件数据进行深入分析，汇总与异常事件对应的事件数据组成联动数据，并分析联动数据形成诊断报告，通过诊断报告为维护人员提供一站式的性能问题定位服务。例如，对于CPU异常，可以钻取当前状态下，占用CPU使用率较高的进程、再次钻取可以获取该进程对应的应用程序路径，其它层面也可提供相同的功能，最终与应用程序完全联动。
本实施例的一种用于大数据平台的联动分析系统的使用方法为：
通过事件定义模块定义异常事件，如CPU异常、内存异常、磁盘异常、网络异常、进程异常、系统异常日志、数据库表空间异常、数据库磁盘异常、数据库异常日志、中间件使用异常、应用程序URL耗时、应用程序慢SQL、应用服务异常以及应用程序链路异常等，并设定每个异常事件对应的异常规则；
通过数据采集模块采集各个层面的监控数据，该监控数据为性能数据和运行状态，并根据异常规则判断监控数据是否会触发异常事件，将触发异常事件的监控数据标记为事件数据；
对于异常事件，通过联动分析模块抓取与该异常事件对应的多个维度的事件数据，通过时间线将上述多个维度的事件数据联动、并钻取每个维度的事件数据，汇总与异常事件对应的事件数据组成联动数据，分析上述联动数据形成诊断报告，通过诊断报告为性能问题提供定位服务。
作为本实施例的改进，数据采集模块还用于采集每个层面的日志文件以及实现大数据平台的运维。
由于不同层面的日志文件格式不同，为统一数据格式，该系统该包括数据清洗模块，数据清洗模块用于对采集的日志文件进行格式转换，输出统一格式的清洗后日志文件，
上述采集的日志文件以及清洗后日志文件均存储于数据存储模块，且每个层面对应的监控数据和清洗后日志文件组成新日志文件。
本实施例中数据清洗模块通过logstath组件对采集的日志文件进行数据清洗。具体为：对主机操作系统、数据库和中间件的日志文件进行数据筛选，将无价值的垃圾数据清除，并上述筛选后日志文件中数据格式化为统一格式；
对于应用程序的日志文件，对应用访问数据按照URL、请求时间、请求头、请求体、响应头、响应数据、响应时间、调用关系进行格式化。
通过上述系统，可获取各个层面的日志文件，并将日志文件进行清洗通过日志文件的格式后存储在数据存储模块，在数据存储模块每个层面的监控数据和清洗后日志文件组成新日志文件，新日志文件包含了监控数据和日志文件，可实现性能分析以及运维的一体化管理。该改进的系统，可实现对性能问题的联动分析，也可实现常规监控运维。
实施例2：
本发明的一种用于大数据平台的联动分析方法，通过实施例1公开的一种用于大数据平台的联动分析系统，对大数据平台进行层面监控，并结合大数据平台的各个层面对异常事件进行联动分析，上述层面包括主机操作系统、数据库、应用程序、中间件和大数据组件。
如附图1所示，该方法包括如下步骤：
S100、定义异常事件，并设定用于判断是否触发异常事件的状态规则；
S200、采集每个层面的监控数据，并基于状态规则判断上述监控数据是否触发异常事件，将触发异常事件的监控数据标记为事件数据；
S300、以异常事件为驱动，抓取与上述异常事件相关的多个层面的事件数据，并通过时间线将上述多个层面的事件数据联动、并钻取每个层面的事件数据，汇总与上述异常事件对应的事件数据组成联动数据，并分析上述联动数据形成诊断报告。
其中，步骤S100中是定义的异常事件为基础异常事件，包括CPU异常、内存异常、磁盘异常、网络异常、进程异常、系统异常日志、数据库表空间异常、数据库磁盘异常、数据库异常日志、中间件使用异常、应用程序URL耗时、应用程序慢SQL、应用服务异常以及应用程序链路异常等。
定义上述异常事件时，设定了用于判断是否触发异常事件的状态规则，例如，判断是否触发CPU异常的状态规则为：CPU90％以上持续10分钟为一个异常事件；判断应用程序异常的判断规则为：某个界面访问超过1分钟为一个异常事件。
步骤S200中采集监控数据用于实现对大数据平台各个层面性能的监控，采集的监控数据包括性能数据和运行状态。其中，主机操作系统的监控数据包括网络流量以及CPU、内存、磁盘、进程及网络的运行状态和性能数据；数据库的监控数据包括数据库表空间、数据库磁盘以及数据库查询的运行状态和性能数据；应用程序的监控数据包括URL、SQL查询、应用服务以及链路的运行状态和性能数据。
本实施例中通过编写的Shell脚本按照频率采集主机操作系统的监控数据；通过javaAgent和Java字节码注入技术采集应用程序和大数据组件的监控数据。
数据采集模块采集到监控数据后，根据状态规则，将触发异常事件的监控数据标记为事件数据。例如，如果采集的主机操作系统的监控数据中CPU运行状态为90％或90％以上，而CPU异常对应的异常规则为：CPU90％以上持续10分钟为一个异常事件，则该采集的监控数据会触发异常事件，将其作为事件数据；当在10分钟内采集的监控数据均在90％或90％以上，则形成一个异常事件。
步骤S300中对于异常事件，以异常事件为中心、将整个异常事件进行剖析展示该事件发生时CPU、内存、磁盘IO、网络流量、进程、网络状态、数据库、中间件状态、SQL执行情况等事件数据，并将上述相关的事件数据通过时间线关联起来，并向下钻取每个层面的事件数据进行深入分析，汇总与异常事件对应的事件数据组成联动数据，并分析联动数据形成诊断报告，通过诊断报告为维护人员提供一站式的性能问题定位服务。例如，对于CPU异常，可以钻取当前状态下，占用CPU使用率较高的进程、再次钻取可以获取该进程对应的应用程序路径，其它层面也可提供相同的功能，最终与应用程序完全联动。
作为本实施例的改进，还方法还包括如下步骤：
采集每个层面的日志文件，并对采集的日志文件进行格式转换，输出统一格式的清洗后日志文件，通过所述清洗后日志文件进行运维管理。
本实施例中通过logstath组件对采集的日志文件进行数据清洗。具体步骤为：
对主机操作系统、数据库和中间件的日志文件进行数据筛选，将无价值的垃圾数据清除，并上述筛选后日志文件中数据格式化为统一格式；
对于应用程序的日志文件，对应用访问数据按照URL、请求时间、请求头、请求体、响应头、响应数据、响应时间、调用关系进行格式化。
以上所述实施例仅是为充分说明本发明而所举的较佳的实施例，本发明的保护范围不限于此。本技术领域的技术人员在本发明基础上所作的等同替代或变换，均在本发明的保护范围之内。本发明的保护范围以权利要求书为准。
Claims (8)
1.一种用于大数据平台的联动分析系统，其特征在于用于对大数据平台进行层面监控，并结合大数据平台的各个层面对异常事件进行联动分析，所述层面包括主机操作系统、数据库、应用程序、中间件和大数据组件；所述分析系统包括：
事件定义模块，用于定义异常事件，并设定用于判断是否触发异常事件的状态规则；
数据采集模块，用于采集每个层面的监控数据，并基于状态规则判断所述监控数据是否触发异常事件，将触发异常事件的监控数据标记为事件数据；
联动分析模块，用于以异常事件为驱动，抓取与所述异常事件相关的多个层面的事件数据，并通过时间线将上述多个层面的事件数据联动、并钻取每个层面的事件数据，汇总与所述异常事件对应的事件数据组成联动数据，并分析所述联动数据形成诊断报告；
数据存储模块，用于存储监控数据、事件、状态规则、事件数据、联动数据以及诊断报告；
所述监控数据包括性能数据和运行状态；
所述主机操作系统的监控数据包括但不限于网络流量以及CPU、内存、磁盘、进程及网络的运行状态和性能数据；
所述数据库的监控数据包括但不限于数据库表空间、数据库磁盘以及数据库查询的运行状态和性能数据；
应用程序的监控数据包括但不限于URL、SQL查询、应用服务以及链路的运行状态和性能数据；
所述异常事件包括CPU异常、内存异常、磁盘异常、网络异常、进程异常、系统异常日志、数据库表空间异常、数据库磁盘异常、数据库异常日志、中间件使用异常、应用程序URL耗时、应用程序慢SQL、应用服务异常以及应用程序链路异常。
2.根据权利要求1所述的一种用于大数据平台的联动分析系统，其特征在于所述数据采集模块还用于采集每个层面的日志文件；
所述分析系统还包括数据清洗模块，数据清洗模块用于对采集的日志文件进行格式转换，输出统一格式的清洗后日志文件；
所述日志文件以及清洗后日志文件均存储于数据存储模块，且每个层面对应的监控数据和清洗后日志文件组成新日志文件。
3.根据权利要求2所述的一种用于大数据平台的联动分析系统，其特征在于所述数据清洗模块通过logstath组件对采集的日志文件进行数据清洗。
4.根据权利要求3所述的一种用于大数据平台的联动分析系统，其特征在于所述数据清洗模块通过logstath组件对采集的日志文件进行数据清洗，包括：
用于对主机操作系统、数据库和中间件的日志文件进行数据筛选，将无价值的垃圾数据清除，并上述筛选后日志文件中数据格式化为统一格式；
对于应用程序的日志文件，用于对应用访问数据按照URL、请求时间、请求头、请求体、响应头、响应数据、响应时间、调用关系进行格式化。
5.根据权利要求1-4任一项所述的一种用于大数据平台的联动分析系统，其特征在于所述数据采集模块通过编写的采集脚本按照频率采集每个层面的监控数据，所述采集脚本包括但不限于Shell脚本。
6.根据权利要求1-4任一项所述的一种用于大数据平台的联动分析系统，其特征在于所述数据采集模块基于javaAgent和Java字节码注入技术采集每个层面的监控数据。
7.一种用于大数据平台的联动分析方法，其特征在于通过如权利要求1-6任一项所述的一种用于大数据平台的联动分析系统，对大数据平台进行层面监控，并结合大数据平台的各个层面对异常事件进行联动分析，所述层面包括主机操作系统、数据库、应用程序、中间件和大数据组件；
所述方法包括：
定义异常事件，并设定用于判断是否触发异常事件的状态规则；
采集每个层面的监控数据，并基于状态规则判断所述监控数据是否触发异常事件，将触发异常事件的监控数据标记为事件数据；
以异常事件为驱动，抓取与所述异常事件相关的多个层面的事件数据，并通过时间线将上述多个层面的事件数据联动、并钻取每个层面的事件数据，汇总与所述异常事件对应的事件数据组成联动数据，并分析所述联动数据形成诊断报告。
8.根据权利要求7所述的一种用于大数据平台的联动分析方法，其特征在于所述方法还包括：
采集每个层面的日志文件，并对采集的日志文件进行格式转换，输出统一格式的清洗后日志文件，通过所述清洗后日志文件进行运维管理。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010009756.8A CN111241050B (zh) | 2020-01-06 | 2020-01-06 | 一种用于大数据平台的联动分析系统及方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010009756.8A CN111241050B (zh) | 2020-01-06 | 2020-01-06 | 一种用于大数据平台的联动分析系统及方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111241050A CN111241050A (zh) | 2020-06-05 |
| CN111241050B true CN111241050B (zh) | 2024-03-08 |
Family
ID=70863920
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010009756.8A Active CN111241050B (zh) | 2020-01-06 | 2020-01-06 | 一种用于大数据平台的联动分析系统及方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111241050B (zh) |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111782456B (zh) * | 2020-06-30 | 2022-09-30 | 深圳赛安特技术服务有限公司 | 异常检测方法、装置、计算机设备和存储介质 |
| CN112667723A (zh) * | 2020-12-30 | 2021-04-16 | 平安证券股份有限公司 | 一种数据采集的方法及终端设备 |
| CN112749140A (zh) * | 2020-12-31 | 2021-05-04 | 湖南快乐阳光互动娱乐传媒有限公司 | 一种MySQL慢SQL日志实时收集和优化的方法及系统 |
| CN113157555A (zh) * | 2021-03-05 | 2021-07-23 | 上海中通吉网络技术有限公司 | 用于线上压测数据漏库实时检测的系统、方法及设备 |
| CN113486799A (zh) * | 2021-07-07 | 2021-10-08 | 深圳市商汤科技有限公司 | 设备联动方法、装置、设备、存储介质及程序产品 |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103412805A (zh) * | 2013-07-31 | 2013-11-27 | 交通银行股份有限公司 | 一种it故障源诊断方法及系统 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20040117658A1 (en) * | 2002-09-27 | 2004-06-17 | Andrea Klaes | Security monitoring and intrusion detection system |
-
2020
- 2020-01-06 CN CN202010009756.8A patent/CN111241050B/zh active Active
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103412805A (zh) * | 2013-07-31 | 2013-11-27 | 交通银行股份有限公司 | 一种it故障源诊断方法及系统 |
Non-Patent Citations (2)
| Title |
|---|
| 杜翠兰 ; 谭建龙 ; 王晓岩 ; 张宇 ; 刘萍 ; 樊冬进 ; .基于事件处理的分布式系统故障定位技术.计算机科学.2013,(S1),全文. * |
| 杨谨铖 ; 马龙 ; 张立红 ; 冯晓阳 ; 黄鑫 ; .基于社交媒体大数据的智慧城市突发事件情报感知模型研究.武警学院学报.2018,(10),全文. * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111241050A (zh) | 2020-06-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111241050B (zh) | 一种用于大数据平台的联动分析系统及方法 | |
| US7003781B1 (en) | Method and apparatus for correlation of events in a distributed multi-system computing environment | |
| US9712409B2 (en) | Agile information technology infrastructure management system | |
| US7937623B2 (en) | Diagnosability system | |
| US7895167B2 (en) | System and method for analysis and management of logs and events | |
| US8578017B2 (en) | Automatic correlation of service level agreement and operating level agreement | |
| US7506195B2 (en) | Operation management method and operation management server | |
| US7681085B2 (en) | Software reliability analysis using alerts, asserts and user interface controls | |
| US20110191394A1 (en) | Method of processing log files in an information system, and log file processing system | |
| US20120054675A1 (en) | Graphical user interface system for a log analyzer | |
| CN107807872A (zh) | 一种输变电系统运行状态监测方法 | |
| EP1952261A2 (en) | Modeling interactions with a computer system | |
| CN111382023A (zh) | 代码故障定位方法、装置、设备及存储介质 | |
| US7908239B2 (en) | System for storing event data using a sum calculator that sums the cubes and squares of events | |
| CN111259073A (zh) | 基于日志、流量和业务访问的业务系统运行状态智能研判系统 | |
| CN107635003A (zh) | 系统日志的管理方法、装置及系统 | |
| CN104574219A (zh) | 电网业务信息系统运行工况的监测预警方法及系统 | |
| CN103049365B (zh) | 信息与应用资源运行状态监控及评价方法 | |
| US7162390B2 (en) | Framework for collecting, storing, and analyzing system metrics | |
| CN113067717A (zh) | 网络请求日志链式跟踪方法、全链路调用监控系统和介质 | |
| CN115357418A (zh) | 微服务故障检测方法、装置、存储介质及计算机设备 | |
| CN108089978A (zh) | 一种分析asp.net应用软件性能及故障的诊断方法 | |
| CN114253806A (zh) | 一种接入层日志收集分析预警系统 | |
| US20020026433A1 (en) | Knowledge system and methods of business alerting and business analysis | |
| CN107426039A (zh) | 一种日志上报和接收的方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |