CN107229732A - 一种故障数据信息处理方法及装置 - Google Patents

一种故障数据信息处理方法及装置 Download PDF

Info

Publication number
CN107229732A
CN107229732A CN201710439299.4A CN201710439299A CN107229732A CN 107229732 A CN107229732 A CN 107229732A CN 201710439299 A CN201710439299 A CN 201710439299A CN 107229732 A CN107229732 A CN 107229732A
Authority
CN
China
Prior art keywords
data information
fault data
fault
index
module
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710439299.4A
Other languages
English (en)
Inventor
王慧锋
郭锋
王晓通
张凯顺
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhengzhou Yunhai Information Technology Co Ltd
Original Assignee
Zhengzhou Yunhai Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhengzhou Yunhai Information Technology Co Ltd filed Critical Zhengzhou Yunhai Information Technology Co Ltd
Priority to CN201710439299.4A priority Critical patent/CN107229732A/zh
Publication of CN107229732A publication Critical patent/CN107229732A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/28—Databases characterised by their database models, e.g. relational or object models
    • G06F16/283—Multi-dimensional databases or data warehouses, e.g. MOLAP or ROLAP
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22—Indexing; Data structures therefor; Storage structures
    • G06F16/2282—Tablespace storage structures; Management thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2216/00—Indexing scheme relating to additional aspects of information retrieval not explicitly covered by G06F16/00 and subgroups
    • G06F2216/03—Data mining

Landscapes

  • Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Test And Diagnosis Of Digital Computers (AREA)

Abstract

本发明提供一种故障数据信息处理方法及装置，上述方法包括以下步骤：将分类后的故障数据信息存入对应的关系表，为所述故障数据信息建立一级索引并且为每个关系表建立二级索引；故障发生时，通过索引信息进行查询，确定对应的故障类型。

Description

一种故障数据信息处理方法及装置
技术领域
本发明属于数据处理领域，尤其涉及一种故障数据信息处理方法及装置。
背景技术
随着信息时代的持续发展，公司面对的业务越来越复杂，运维工作人员的工作压力越来越大。特别地，系统发生故障时，故障的定位和排除就非常困难。如果定位和排除故障耗费的时间较长，将会影响公司正常的业务运转，给公司带来较大的损失。因此，需要一套故障自动化诊断和处理的解决方案，帮助运维人员快速的定位和排除故障，减少公司损失。
故障诊断和处理解决方案必然依托于故障诊断和处理数据仓库，只有大量的历史故障案例作为训练数据，才能建立计算机自动化、智能化的故障诊断和处理平台。但是，故障数据信息具有数量大、种类繁多的特点，因此如何对故障数据信息进行高效的存取和自动分类成为亟待解决的技术问题。
发明内容
本发明提供一种故障数据信息处理方法及装置，以解决上述问题。
本发明实施例提供一种故障数据信息处理方法，上述方法包括以下步骤：将分类后的故障数据信息存入对应的关系表，为所述故障数据信息建立一级索引并且为每个关系表建立二级索引；故障发生时，通过索引信息进行查询，确定对应的故障类型。
本发明实施例提供了一种故障数据信息处理装置，包括索引建立模块、故障类型确定模块；其中，所述索引建立模块与所述故障类型确定模块相连；
所述索引建立模块，用于将分类后的故障数据信息存入对应的关系表，为所述故障数据信息建立一级索引并且为每个关系表建立二级索引；
所述故障类型确定模块，用于通过从所述索引建立模块中获取的索引信息进行查询，进而确定对应的故障类型。
通过以下方案：将分类后的故障数据信息存入对应的关系表，为所述故障数据信息建立一级索引并且为每个关系表建立二级索引；故障发生时，通过索引信息进行查询，确定对应的故障类型；既实现了通过多级索引达到故障数据信息高效存取的目的，又解决了故障数据信息分类困难的技术问题，从而实现了针对故障数据信息进行高效的存取和自动分类，减少人为故障排查和处理花费的时间，降低公司的损失。
通过以下方案：通过标注的故障数据信息，获取分类模型并通过所述分类模型，对故障数据信息进行自动分类，解决了故障数据信息分类困难的技术问题。
通过以下方案：采用随机算法从故障数据信息中选择对应的故障数据信息进行人工标注，并将人工标注的故障数据信息作为训练样本数据集；采用机器学习分类算法对所述训练样本数据集进行处理，获得分类模型并通过所述分类模型对剩余的故障数据信息进行自动分类，解决了故障数据信息分类困难的技术问题，减少人为故障排查和处理花费的时间。
附图说明
此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
图1所示为本发明实施例1的故障数据信息处理方法流程图；
图2所示为本发明实施例2的故障数据信息处理装置结构图；
图3所示为本发明实施例3的故障数据信息处理装置结构图；
图4所示为本发明实施例4的故障数据信息处理装置结构图。
具体实施方式
下文中将参考附图并结合实施例来详细说明本发明。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。
图1所示为本发明实施例1的故障数据信息处理方法流程图，包括以下步骤：
步骤101：通过标注的故障数据信息，获取分类模型并通过所述分类模型，对故障数据信息进行自动分类；
进一步地，对故障数据信息进行标注的方式包括：人工标注、计算机自动分类标注。
进一步地，采用随机算法从故障数据信息中选择对应的故障数据信息进行人工标注，并将人工标注的故障数据信息作为训练样本数据集；
采用机器学习分类算法对所述训练样本数据集进行处理，获得分类模型并通过所述分类模型对剩余的故障数据信息进行自动分类。
进一步地，将分类后的故障数据信息存入故障仓库中。
进一步地，所述故障数据信息包括硬件故障和软件故障，其中软件故障包括业务逻辑异常、依赖模块异常、系统底层异常，硬件故障包括网络故障、存储故障、CPU故障。
步骤102：将分类后的故障数据信息存入对应的关系表，为所述故障数据信息建立一级索引并且为每个关系表建立二级索引；
步骤103：故障发生时，通过索引信息进行查询，确定对应的故障类型。
具体而言，当系统出现故障时，一方面需要通过分析历史故障数据信息来确定其类型；另一方面需要将新出现的故障数据信息更新到故障仓库中。
由于故障数据信息可能有十万甚至百万条，因此，需要进行高效的存取。
本实施例利用索引思想，将不同的故障数据信息存入不同的关系表中，为故障数据信息建立一级索引，然后为每个关系表在建立二级索引，从而快速、高效的对故障数据信息进行查询和更新。
本发明主要内容包括以下几点：
1)系统故障诊断和处理数据仓库数据来源；
2)系统故障诊断和处理数据仓库中数据的分类；
3)系统故障诊断和处理数据仓库的数据存储。
数据来源主要包括：公司内部历史故障数据信息、网络爬取数据；将获取的公司内部历史故障数据信息、网络爬取数据存储至临时故障数据信息仓库。
判断临时故障数据信息仓库中的故障数据信息是否被抽取到，若被抽取到，则进行人工标注，否则还存放至临时故障数据信息仓库中。
将人工标注后的故障数据信息作为训练样本数据集，进行半监督机器学习分类算法模型训练，完成故障数据信息分类(采用机器学习分类算法对所述训练样本数据集进行处理，获得分类模型并通过所述分类模型对剩余的故障数据信息进行自动分类)；将分类后的故障数据信息存入故障仓库中。
图2所示为本发明实施例2的故障数据信息处理装置结构图，包括索引建立模块、故障类型确定模块；其中，所述索引建立模块与所述故障类型确定模块相连；
所述索引建立模块，用于将分类后的故障数据信息存入对应的关系表，为所述故障数据信息建立一级索引并且为每个关系表建立二级索引；
所述故障类型确定模块，用于通过从所述索引建立模块中获取的索引信息进行查询，进而确定对应的故障类型。
图3所示为本发明实施例3的故障数据信息处理装置结构图，在图2的基础上增加了分类模块，其中，所述分类模块与所述索引建立模块相连；
所述分类模块，用于通过标注的故障数据信息，获取分类模型并通过所述分类模型，对故障数据信息进行自动分类。
进一步地，将分类后的故障数据信息存入故障仓库中。
进一步地，对故障数据信息进行标注的方式包括：人工标注、计算机自动分类标注。
进一步地，所述分类模块，还用于采用随机算法从故障数据信息中选择对应的故障数据信息进行人工标注，并将人工标注的故障数据信息作为训练样本数据集；还用于采用机器学习分类算法对所述训练样本数据集进行处理，获得分类模型并通过所述分类模型对剩余的故障数据信息进行自动分类。
图4所示为本发明实施例4的故障数据信息处理装置结构图，在图3的基础上增加了存储模块，其中，所述存储模块与所述分类模块相连；
所述存储模块，用于存储分类后的故障数据信息。
通过以下方案：将分类后的故障数据信息存入对应的关系表，为所述故障数据信息建立一级索引并且为每个关系表建立二级索引；故障发生时，通过索引信息进行查询，确定对应的故障类型；既实现了通过多级索引达到故障数据信息高效存取的目的，又解决了故障数据信息分类困难的技术问题，从而实现了针对故障数据信息进行高效的存取和自动分类，减少人为故障排查和处理花费的时间，降低公司的损失。
通过以下方案：通过标注的故障数据信息，获取分类模型并通过所述分类模型，对故障数据信息进行自动分类，解决了故障数据信息分类困难的技术问题。
通过以下方案：采用随机算法从故障数据信息中选择对应的故障数据信息进行人工标注，并将人工标注的故障数据信息作为训练样本数据集；采用机器学习分类算法对所述训练样本数据集进行处理，获得分类模型并通过所述分类模型对剩余的故障数据信息进行自动分类，解决了故障数据信息分类困难的技术问题，减少人为故障排查和处理花费的时间。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种故障数据信息处理方法，其特征在于，包括以下步骤：
将分类后的故障数据信息存入对应的关系表，为所述故障数据信息建立一级索引并且为每个关系表建立二级索引；
故障发生时，通过索引信息进行查询，确定对应的故障类型。
2.根据权利要求1所述的方法，其特征在于，通过标注的故障数据信息，获取分类模型并通过所述分类模型，对故障数据信息进行自动分类。
3.根据权利要求2所述的方法，其特征在于，将分类后的故障数据信息存入故障仓库中。
4.根据权利要求2所述的方法，其特征在于，对故障数据信息进行标注的方式包括：人工标注、计算机自动分类标注。
5.根据权利要求4所述的方法，其特征在于，采用随机算法从故障数据信息中选择对应的故障数据信息进行人工标注，并将人工标注的故障数据信息作为训练样本数据集；
采用机器学习分类算法对所述训练样本数据集进行处理，获得分类模型并通过所述分类模型对剩余的故障数据信息进行自动分类。
6.一种故障数据信息处理装置，其特征在于，包括索引建立模块、故障类型确定模块；其中，所述索引建立模块与所述故障类型确定模块相连；
所述索引建立模块，用于将分类后的故障数据信息存入对应的关系表，为所述故障数据信息建立一级索引并且为每个关系表建立二级索引；
所述故障类型确定模块，用于通过从所述索引建立模块中获取的索引信息进行查询，进而确定对应的故障类型。
7.根据权利要求6所述的装置，其特征在于，还包括分类模块；其中，所述分类模块与所述索引建立模块相连；
所述分类模块，用于通过标注的故障数据信息，获取分类模型并通过所述分类模型，对故障数据信息进行自动分类。
8.根据权利要求7所述的装置，其特征在于，对故障数据信息进行标注的方式包括：人工标注、计算机自动分类标注。
9.根据权利要求7所述的装置，其特征在于，所述分类模块，还用于采用随机算法从故障数据信息中选择对应的故障数据信息进行人工标注，并将人工标注的故障数据信息作为训练样本数据集；还用于采用机器学习分类算法对所述训练样本数据集进行处理，获得分类模型并通过所述分类模型对剩余的故障数据信息进行自动分类。
10.根据权利要求7所述的装置，其特征在于，还包括存储模块；其中，所述存储模块与所述分类模块相连；
所述存储模块，用于存储分类后的故障数据信息。
CN201710439299.4A 2017-06-12 2017-06-12 一种故障数据信息处理方法及装置 Pending CN107229732A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710439299.4A CN107229732A (zh) 2017-06-12 2017-06-12 一种故障数据信息处理方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710439299.4A CN107229732A (zh) 2017-06-12 2017-06-12 一种故障数据信息处理方法及装置

Publications (1)

Publication Number Publication Date
CN107229732A true CN107229732A (zh) 2017-10-03

Family

ID=59935396

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710439299.4A Pending CN107229732A (zh) 2017-06-12 2017-06-12 一种故障数据信息处理方法及装置

Country Status (1)

Country Link
CN (1) CN107229732A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018233365A1 (zh) * 2017-06-20 2018-12-27 平安科技（深圳）有限公司 一种信息查询方法、终端、设备以及存储介质
CN110231802A (zh) * 2018-03-05 2019-09-13 日本电产株式会社 机器人控制装置、记录的生成方法以及存储介质
CN110502499A (zh) * 2019-06-26 2019-11-26 中电万维信息技术有限责任公司 基于贝叶斯算法的数据故障事件处理方法以及维护系统
CN113781257A (zh) * 2021-08-10 2021-12-10 浙江运达风电股份有限公司 一种风电机组故障数据分类存储的方法及系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103699698A (zh) * 2014-01-16 2014-04-02 北京泰乐德信息技术有限公司 一种基于改进贝叶斯的轨道交通故障识别方法及系统
CN104123291A (zh) * 2013-04-25 2014-10-29 华为技术有限公司 一种数据分类的方法及装置
CN104573740A (zh) * 2014-12-22 2015-04-29 山东鲁能软件技术有限公司 一种基于svm分类模型的设备故障诊断方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104123291A (zh) * 2013-04-25 2014-10-29 华为技术有限公司 一种数据分类的方法及装置
CN103699698A (zh) * 2014-01-16 2014-04-02 北京泰乐德信息技术有限公司 一种基于改进贝叶斯的轨道交通故障识别方法及系统
CN104573740A (zh) * 2014-12-22 2015-04-29 山东鲁能软件技术有限公司 一种基于svm分类模型的设备故障诊断方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018233365A1 (zh) * 2017-06-20 2018-12-27 平安科技（深圳）有限公司 一种信息查询方法、终端、设备以及存储介质
CN110231802A (zh) * 2018-03-05 2019-09-13 日本电产株式会社 机器人控制装置、记录的生成方法以及存储介质
CN110502499A (zh) * 2019-06-26 2019-11-26 中电万维信息技术有限责任公司 基于贝叶斯算法的数据故障事件处理方法以及维护系统
CN113781257A (zh) * 2021-08-10 2021-12-10 浙江运达风电股份有限公司 一种风电机组故障数据分类存储的方法及系统

Similar Documents

Publication Publication Date Title
CN107229732A (zh) 一种故障数据信息处理方法及装置
Rahman et al. Expert system for deciding a solution of mechanical failure in a car using case-based reasoning
CN103678109B (zh) 一种转储文件分析方法、装置和系统
CN108197131A (zh) 一种电力资产画像的构建方法及装置
CN114398239A (zh) 日志监控方法、装置、计算机设备及存储介质
CN106533754A (zh) 用于高校教学服务器故障诊断的方法及专家系统
CN108470022A (zh) 一种基于运维管理的智能工单质检方法
CN110163647A (zh) 一种数据处理方法及装置
CN109766428A (zh) 数据查询方法和设备、数据处理方法
CN104216979B (zh) 中文工艺专利自动分类系统及利用该系统进行专利分类的方法
CN109684157A (zh) 基于报错日志的告警方法、设备、存储介质及装置
CN109344227A (zh) 工单处理方法、系统和电子设备
CN106920070A (zh) 一种简历收集方法、装置及系统
CN115879017A (zh) 一种电力敏感数据自动化分类分级方法、装置及存储介质
CN104537561A (zh) 一种组织机构代码中经济行业自动分类的装置
CN109800133A (zh) 一种统一监控告警的方法、一站式监控告警平台及系统
CN111865673A (zh) 一种自动化故障管理方法、装置及系统
CN117911039A (zh) 售后服务系统的控制方法、设备及存储介质
CN113553360A (zh) 多企业关系分析方法、装置、电子设备、存储介质和计算机程序
CN117575222A (zh) 生产管理方法、系统、设备及存储介质
CN115310869B (zh) 一种督查事项的联合督查方法、系统、设备以及存储介质
CN111915368A (zh) 汽车行业客户id识别系统、方法及介质
CN110262950A (zh) 基于多项指标的异动检测方法和装置
CN113221556A (zh) 安全生产隐患的识别方法、装置及设备
CN106372071A (zh) 数据仓库的信息获取方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20171003