CN115640158A - 一种基于数据库的检测分析方法及装置 - Google Patents
一种基于数据库的检测分析方法及装置 Download PDFInfo
- Publication number
- CN115640158A CN115640158A CN202211335018.8A CN202211335018A CN115640158A CN 115640158 A CN115640158 A CN 115640158A CN 202211335018 A CN202211335018 A CN 202211335018A CN 115640158 A CN115640158 A CN 115640158A
- Authority
- CN
- China
- Prior art keywords
- database
- module
- analysis
- data
- root cause
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了数据库分析领域的一种基于数据库的检测分析方法及装置，包括采集模块、预处理模块、分类模块、分析模块和结果展示模块，该基于数据库的检测分析方法及装置,通过采集模块采集数据库性能指标、数据库状态抓取、系统指标、硬件问题、系统日志和记录数据，并从各类数据中提取特征，包括算法提取的时序特征、文本特征以及利用数据库知识提取的领域特征，对指标历史数据进行预处理，并通过分类模块创建后续不同分支，针对不同类型的指标进行合理的建模，通过用户订阅告警信息，对异常错误进行根因诊断，并通过结果展示模块自动生成诊断报告，并对其根因进行详细的了解，便于用户对错误信息进行定位、确认和处理。
Description
技术领域
本发明涉及数据库分析技术领域，具体为一种基于数据库的检测分析方法及装置。
背景技术
数据库是存放数据的仓库，它的存储空间很大，可以存放百万条、千万条、上亿条数据。但是数据库并不是随意地将数据进行存放，是有一定的规则的，否则查询的效率会很低。当今世界是一个充满着数据的互联网世界，充斥着大量的数据。即这个互联网世界就是数据世界。数据的来源有很多，比如出行记录、消费记录、浏览的网页、发送的消息等等，除了文本类型的数据，图像、音乐、声音都是数据，数据库是一个按数据结构来存储和管理数据的计算机软件系统。数据库的概念实际包括两层意思：(1)数据库是一个实体，它是能够合理保管数据的“仓库”，用户在该“仓库”中存放要管理的事务数据，“数据”和“库”两个概念结合成为数据库；(2)数据库是数据管理的新方法和技术，它能更合适的组织数据、更方便的维护数据、更严密的控制数据和更有效的利用数据，数据库作为最重要的基础软件，是确保计算机系统稳定运行的基石，其包括关系型数据库和非关系型数据库，其区别在于储存方式、结构、规范、扩展方式、查询方式、规范化、事务性、读写性能、授权方式等。
在数据库中存在一些数据性错误，而缺少系统开发经验的用户无法通过错误信息来定位所存在的问题，而通过其他系统开发人员来进行操作时，容易导致机密数据泄漏，难以对异常数据产生的错误进行有效的解决，为此我们提出了一种基于数据库的检测分析方法及装置。
发明内容
本发明的目的在于提供一种基于数据库的检测分析方法及装置，以解决上述背景技术中提出了在数据库中存在一些数据性错误，而缺少系统开发经验的用户无法通过错误信息来定位所存在的问题，而通过其他系统开发人员来进行操作时，容易导致机密数据泄漏，难以对异常数据产生的错误进行有效的解决的问题。
为实现上述目的，本发明提供如下技术方案：一种基于数据库的检测分析装置，包括采集模块、预处理模块、分类模块、分析模块和结果展示模块；
采集模块用于采集数据库指标数据和提取数据特征；
分类模块用于进行指标分类，便于后续进行不同手段的建模；
分析模块用于对异常数据进行检测分析，并进行根因诊断；
结果展示模块用于生成诊断报告。
本发明还提供一种基于数据库的检测分析方法，其特征在于：包括如下步骤：
S1:对数据库指标历史数据进行预处理，包括缺失数值填充，数据的平滑和聚合过程；
S2:通过采集模块采集数据库性能指标、数据库状态抓取、系统指标、硬件问题、系统日志和记录数据，并从各类数据中提取特征，包括算法提取的时序特征、文本特征以及利用数据库知识提取的领域特征；
S3:通过分类模块创建后续不同分支，针对不同类型的指标进行建模；
S4:最终通过结果展示模块自动生成诊断报告。
优选的，S2中还包括进行根因分类和根因扩展进行根因诊断。
优选的，根因分类包括特征预处理、特征筛选、算法分类、根因排序部分，根因扩展是基于根因类别进行相关信息的深入挖掘，具体包括SQL行为分析、专家规则、指标关联、维度下钻和日志分析。
优选的，S3中所述指标表现为梳理触发告警场景->模拟复现场景->根因分析和诊断->改进计划->验收改进质量->梳理触发告警场景”的闭环方法。
与现有技术相比，本发明的有益效果是：该基于数据库的检测分析方法及装置，通过采集模块采集数据库性能指标、数据库状态抓取、系统指标、硬件问题、系统日志和记录数据，并从各类数据中提取特征，包括算法提取的时序特征、文本特征以及利用数据库知识提取的领域特征，对指标历史数据进行预处理，并通过分类模块创建后续不同分支，针对不同类型的指标进行合理的建模，通过用户订阅告警信息，对异常错误进行根因诊断，并通过结果展示模块自动生成诊断报告，使用户能够及时的定位错误信息，并对其根因进行详细的了解，便于用户对错误信息进行定位、确认和处理。
具体实施方式
下面将对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明提供了一种基于数据库的检测分析装置，包括采集模块、预处理模块、分类模块、分析模块和结果展示模块；
采集模块用于采集数据库指标数据和提取数据特征；
分类模块用于进行指标分类，便于后续进行不同手段的建模；
分析模块用于对异常数据进行检测分析，并进行根因诊断；
结果展示模块用于生成诊断报告。
本发明还提供一种基于数据库的检测分析方法，其特征在于：包括如下步骤：
S1:对数据库指标历史数据进行预处理，包括缺失数值填充，数据的平滑和聚合过程；
S2:通过采集模块采集数据库性能指标、数据库状态抓取、系统指标、硬件问题、系统日志和记录数据，并从各类数据中提取特征，包括算法提取的时序特征、文本特征以及利用数据库知识提取的领域特征；
S3:通过分类模块创建后续不同分支，针对不同类型的指标进行建模；
S4:最终通过结果展示模块自动生成诊断报告。
其中，S2中还包括进行根因分类和根因扩展进行根因诊断。
其中，根因分类包括特征预处理、特征筛选、算法分类、根因排序部分，根因扩展是基于根因类别进行相关信息的深入挖掘，具体包括SQL行为分析、专家规则、指标关联、维度下钻和日志分析。
其中，S3中所述指标表现为梳理触发告警场景->模拟复现场景->根因分析和诊断->改进计划->验收改进质量->梳理触发告警场景”的闭环方法。
综上所述，本发明通过采集模块采集数据库性能指标、数据库状态抓取、系统指标、硬件问题、系统日志和记录数据，并从各类数据中提取特征，包括算法提取的时序特征、文本特征以及利用数据库知识提取的领域特征，对指标历史数据进行预处理，并通过分类模块创建后续不同分支，针对不同类型的指标进行合理的建模，通过用户订阅告警信息，对异常错误进行根因诊断，并通过结果展示模块自动生成诊断报告，使用户能够及时的定位错误信息，并对其根因进行详细的了解，便于用户对错误信息进行定位、确认和处理。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。
虽然在上文中已经参考实施例对本发明进行了描述，然而在不脱离本发明的范围的情况下，可以对其进行各种改进并且可以用等效物替换其中的部件。尤其是，只要不存在结构冲突，本发明所披露的实施例中的各项特征均可通过任意方式相互结合起来使用，在本说明书中未对这些组合的情况进行穷举性的描述仅仅是出于省略篇幅和节约资源的考虑。因此，本发明并不局限于文中公开的特定实施例，而是包括落入权利要求的范围内的所有技术方案。
Claims (5)
1.一种基于数据库的检测分析装置，其特征在于：包括采集模块、预处理模块、分类模块、分析模块和结果展示模块；
采集模块用于采集数据库指标数据和提取数据特征；
分类模块用于进行指标分类，便于后续进行不同手段的建模；
分析模块用于对异常数据进行检测分析，并进行根因诊断；
结果展示模块用于生成诊断报告。
2.一种基于数据库的检测分析方法，其特征在于：包括如下步骤：
S1:对数据库指标历史数据进行预处理，包括缺失数值填充，数据的平滑和聚合过程；
S2:通过采集模块采集数据库性能指标、数据库状态抓取、系统指标、硬件问题、系统日志和记录数据，并从各类数据中提取特征，包括算法提取的时序特征、文本特征以及利用数据库知识提取的领域特征；
S3:通过分类模块创建后续不同分支，针对不同类型的指标进行建模；
S4:最终通过结果展示模块自动生成诊断报告。
3.根据权利要求2所述的一种基于数据库的检测分析方法，其特征在于：S2中还包括进行根因分类和根因扩展进行根因诊断。
4.根据权利要求2所述的一种基于数据库的检测分析方法，其特征在于：根因分类包括特征预处理、特征筛选、算法分类、根因排序部分，根因扩展是基于根因类别进行相关信息的深入挖掘，具体包括SQL行为分析、专家规则、指标关联、维度下钻和日志分析。
5.根据权利要求2所述的一种基于数据库的检测分析方法，其特征在于：S3中所述指标表现为梳理触发告警场景->模拟复现场景->根因分析和诊断->改进计划->验收改进质量->梳理触发告警场景”的闭环方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211335018.8A CN115640158A (zh) | 2022-10-28 | 2022-10-28 | 一种基于数据库的检测分析方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211335018.8A CN115640158A (zh) | 2022-10-28 | 2022-10-28 | 一种基于数据库的检测分析方法及装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115640158A true CN115640158A (zh) | 2023-01-24 |
Family
ID=84945900
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211335018.8A Pending CN115640158A (zh) | 2022-10-28 | 2022-10-28 | 一种基于数据库的检测分析方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115640158A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116594987A (zh) * | 2023-06-18 | 2023-08-15 | 广东南华工商职业学院 | 一种基于大数据的数据库分析系统及方法 |
-
2022
- 2022-10-28 CN CN202211335018.8A patent/CN115640158A/zh active Pending
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116594987A (zh) * | 2023-06-18 | 2023-08-15 | 广东南华工商职业学院 | 一种基于大数据的数据库分析系统及方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| AU2017274576B2 (en) | Classification of log data | |
| WO2012079836A1 (en) | Method and system for creating and processing a data rule, data processing program, and computer program product | |
| US7908239B2 (en) | System for storing event data using a sum calculator that sums the cubes and squares of events | |
| CN111881011A (zh) | 日志管理方法、平台、服务器及存储介质 | |
| CN112100149B (zh) | 日志自动化分析系统 | |
| US7627551B2 (en) | Retrieving case-based reasoning information from archive records | |
| CN110716539B (zh) | 一种故障诊断分析方法和装置 | |
| CN111930726B (zh) | 基于离线表单的等级保护测评数据采集、分析方法及系统 | |
| WO2008133396A1 (en) | Data storage and inquiry method for time series analysis of weblog and system for executing the method | |
| CN103842973A (zh) | 监视存储过程的执行 | |
| CN115640158A (zh) | 一种基于数据库的检测分析方法及装置 | |
| CN109711849B (zh) | 以太坊地址画像生成方法、装置、电子设备及存储介质 | |
| CN111782589B (zh) | 一种用于操作历史重现的数据模型的构建方法及系统 | |
| CN110245037B (zh) | 一种基于日志的Hive用户操作行为还原方法 | |
| CN111831528A (zh) | 一种计算机系统日志关联方法及相关装置 | |
| CN101965558A (zh) | 事件历史存储装置、事件历史追踪装置、事件历史存储方法、事件历史存储程序以及数据结构 | |
| CN116302984A (zh) | 一种测试任务的根因分析方法、装置及相关设备 | |
| CN112231304A (zh) | 一种引入数据仓库构建技术的数据处理系统及方法 | |
| CN105095047B (zh) | 一种提取底层系统行为特征的操作系统监控方法及装置 | |
| CN113590597B (zh) | 网络异常行为重点人员分析层级划分的识别方法及设备 | |
| Rodríguez et al. | DYMOND: An active system for dynamic vertical partitioning of multimedia databases | |
| CN112001586B (zh) | 基于区块链共识机制的企业联网大数据审计风险控制架构 | |
| CN117312175B (zh) | 数据处理方法、装置、计算机设备及存储介质 | |
| CN117573687B (zh) | 一种基于ClickHouse数据库的业务表单反写/读取方法及系统 | |
| Nagwani et al. | Generating intelligent summary terms for improving knowledge discovery in software bug repositories |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |