CN108459933A - 一种基于深度递归网络的大数据计算机系统故障检测方法 - Google Patents

一种基于深度递归网络的大数据计算机系统故障检测方法 Download PDF

Info

Publication number
CN108459933A
CN108459933A CN201810232431.9A CN201810232431A CN108459933A CN 108459933 A CN108459933 A CN 108459933A CN 201810232431 A CN201810232431 A CN 201810232431A CN 108459933 A CN108459933 A CN 108459933A
Authority
CN
China
Prior art keywords
output
layer
input
data
hidden layer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810232431.9A
Other languages
English (en)
Other versions
CN108459933B (zh
Inventor
王宏志
赵志强
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kazakhstan Data (harbin) Intelligent Technology Co Ltd
Original Assignee
Kazakhstan Data (harbin) Intelligent Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kazakhstan Data (harbin) Intelligent Technology Co Ltd filed Critical Kazakhstan Data (harbin) Intelligent Technology Co Ltd
Priority to CN201810232431.9A priority Critical patent/CN108459933B/zh
Publication of CN108459933A publication Critical patent/CN108459933A/zh
Application granted granted Critical
Publication of CN108459933B publication Critical patent/CN108459933B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/22—Detection or location of defective computer hardware by testing during standby operation or during idle time, e.g. start-up testing
    • G06F11/2263—Detection or location of defective computer hardware by testing during standby operation or during idle time, e.g. start-up testing using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Hardware Design (AREA)
  • Quality & Reliability (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明涉及计算机系统故障检测方法，尤其涉及一种基于深度递归网络的大数据计算机系统故障检测方法。其将深度递归网络引入故障检测环节，利用历史数据，进行训练学习，取代手动提取特征的部分，使用网络自动提取故障特征，并能实时更新权值，省去了手动选取故障特征的困难。同时通过实时数据的学习和特征提取，快速精确地发现故障，并预测故障的种类，提高系统性能。

Description

一种基于深度递归网络的大数据计算机系统故障检测方法
技术领域
本发明涉及计算机系统故障检测方法，尤其涉及一种基于深度递归网络的大数据计算机系统故障检测方法。
背景技术
目前，大数据计算系统随着自身规模和结构复杂性的日益增大，其整体系统性能受到了多方面的影响。某个状态节点发生故障，其它与其有联系的节点也将受到波及而不能正常运行。同时，如果这个故障不能及时地检测出来，将会不断蔓延甚至导致整个系统的瘫痪。
现有的大数据存储系统中，采用故障检测技术，可以根据检测的结果提前发现系统发生故障的可能，并做好相应的拯救准备。其中系统状态数据是典型的时序数据，是建立系统故障模型的关键。通过分析数据建立系统故障模型是故障特征辨识和演化分析的基础。在系统中，若检测到其中的某一状态节点出现故障，就可以通过调用备份数据，依靠其中的冗余数据对该故障节点进行数据修整等操作。为达到不被系统故障所引起的各种数据问题以及故障检测结果错误带来的高系统开销，对于大数据计算系统，非常需要高效率和高准确率的故障检测机制。
现有技术中，在系统故障特征提取环节，依靠人工经验，需要手动设置故障特征。随着技术发展，还有一些方法使用传统人工提取与浅层神经网络相结合的方法进行提取故障特征，依赖于大量的历史数据作为训练样本。
然而，现有的故障检测处理方法主要依赖于领域专家的经验知识，这对专家的经验水平提出了较高的要求，专家水平的高低对问题的处理效果很是关键，甚至有时一个小小的疏忽也可能导致失败。同时在故障预测环节，需要人手工提取和选择故障特征，利用人工神经网络的方法，依赖大量历史数据的同时，预测的快速性和准确性也有待提高。随着大数据计算系统的发展，其结构越加复杂，人们无法快速得到检测到故障原因，更无法预测故障。
因此，针对以上不足，需要提供一种不依赖于人工经验，同时又能快速准确的检测到故障的方法。
发明内容
本发明要解决的技术问题在于，针对现有技术中的缺陷，提供一种基于深度递归网络的大数据计算机系统故障检测方法。
为了解决上述技术问题，本发明提供了一种基于深度递归网络的大数据计算机系统故障检测方法，其特征在于：
步骤一，针对系统，根据其输入输出关系，建立数学模型；
步骤二，建立一个五层深度递归网络，用递归神经网络建模从输入到输出的映射，定义隐层向量用于描述系统；
步骤三，网络根据输入，进行自动特征提取，生成权值矩阵；
步骤四，将得到的输出与预期输出相比较，进行分类输出。
进一步的，所述步骤一的具体方法为：定义系统的时间为t，系统在当前时刻的输入信息为x(t)，系统的输出数据为y(t)，为了判断t时刻系统的输出y(t)，利用t时刻的输入数据x(t)和全部t-1时刻之前的系统历史输入数据作为输入，通过周期性采样测量系统的运行状态，得到随时间不断动态变化的输入-输出数据，构成前后测点之前存在依赖的时序数据。
进一步的，所述步骤二的具体方法为，建立映射f：使无限逼近y(t)，其中五层深度递归网络第一层为输入层，第二到四层为隐层，第五层为输出层。
进一步的，所述步骤三的具体方法为：定义系统在当前时刻的输入信息为x(t)，历史信息ht＝tanh(WIxt+UHht-1)，这里隐层向量ht使用递归方式进行定义，其中，WI为输入层到隐层的网络权值矩阵，UH为隐层自连接权值矩阵，x为输入，t为系统时间，l为层数，H为隐层。
进一步的，所述步骤四的具体方法为：在网络的输出层，可以得到其中，y为t时刻预期输出，w为隐层到输出层的权值矩阵，h为隐层向量，将得到的输出与预期输出相比较，若满足误差要求，则判定为故障异常模式分类问题，进行分类输出，这时σ是softmax变换，分类判断为何种故障，若是常模式问题，使用线性变换，返回输出，继续实时更新权值，实时学习特征，实时预测故障。
实施本发明的，具有以下有益效果，其通过建立深度递归神经网络的基本体系结构，将其引入到大数据计算系统的故障检测中，基于历史故障数据及实时输入输出的学习，更加精准得找到故障特征，对正常模式与故障模式进行分析，自动提取特征，根据实时输入进行判断，网络自动判断故障模式，确定故障种类。
同时，本发明将深度递归网络引入故障检测环节，利用历史数据，进行训练学习，取代手动提取特征的部分，网络自动提取故障特征，并能实时更新权值，可以得到很好的效果，省去了手动选取故障特征的困难。同时通过实时数据的学习和特征提取，能够更快速，更精确的发现故障，并预测故障的种类，及时通知工作人员进行系统维护，防止出现系统故障，形象性能。同时由于其具有实时性，其预测效果明显优于人工特别是在历史数据较少或系统复杂时。
附图说明
图1是本发明实施例的基于深度递归网络的大数据计算机系统故障检测方法流程图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例一
如图1所示，本发明实施例提供的基于深度递归网络的大数据计算机系统故障检测方法，包含如下步骤：
步骤一，针对系统，根据其输入输出关系，建立数学模型。通过周期性采样测量系统的运行状态，得到随时间不断动态变化的输入-输出数据，构成前后测点之前存在依赖的时序数据。
定义系统的时间为t，系统在当前时刻的输入信息为x(t)，系统的输出数据为y(t)。为了判断t时刻系统的输出y(t)，利用t时刻的输入数据x(t)和全部t-1时刻之前的系统历史输入数据作为输入。
步骤二，建立映射f：使无限逼近y(t)。具体方法为：建立一个五层深度递归网络。第一层为输入层，第二到四层为隐层，第五层为输出层，用递归神经网络建模从输入到输出的映射，定义隐层向量用于描述系统。
定义数据在当前时刻的输入信息为x(t)，历史信息ht＝tanh(WIxt+UHht-1)，这里隐层向量ht使用递归方式进行定义，其中WI为输入层到隐层的网络权值矩阵，UH为隐层自连接权值矩阵，x为输入，t为时刻，l为层数，H为隐层。网络根据输入，进行自动特征提取，生成权值矩阵。
在网络的输出层，可以得到其中，y为t时刻预期输出，w为隐层到输出层的权值矩阵，h为隐层向量。
步骤三，将得到的输出与预期输出相比较，若满足误差要求，则判定为故障异常模式分类问题，进行分类输出，这时σ是softmax变换，分类判断为何种故障。若是常模式问题，使用线性变换，返回输出，继续实时更新权值，实时学习特征，实时预测故障。
本发明通过建立深度递归神经网络的基本体系结构，将其引入到大数据计算系统的故障检测中，基于历史故障数据及实时输入输出的学习，更加精准得找到故障特征，对正常模式与故障模式进行分析，自动提取特征，根据实时输入进行判断，网络自动判断故障模式，确定故障种类。
本发明将深度递归网络引入故障检测环节，利用历史数据，进行训练学习，取代手动提取特征的部分，网络自动提取故障特征，并能实时更新权值，可以得到很好的效果，省去了手动选取故障特征的困难。同时通过实时数据的学习和特征提取，能够更快速，更精确的发现故障，并预测故障的种类，及时通知工作人员进行系统维护，防止出现系统故障，形象性能。同时由于其具有实时性，其预测效果明显优于人工特别是在历史数据较少或系统复杂时。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (5)

1.一种基于深度递归网络的大数据计算机系统故障检测方法，其特征在于：
步骤一，针对系统，根据其输入输出关系，建立数学模型；
步骤二，建立五层深度递归网络，用递归神经网络建模从输入到输出的映射，定义隐层向量用于描述系统；
步骤三，网络根据输入，进行自动特征提取，生成权值矩阵；
步骤四，将得到的输出与预期输出相比较，进行分类输出。
2.根据权利要求1所述的方法，其特征在于：所述步骤一的具体方法为：定义系统的时间为t，系统在当前时刻的输入信息为x(t)，系统的输出数据为y(t)，为了判断t时刻系统的输出y(t)，利用t时刻的输入数据x(t)和全部t-1时刻之前的系统历史输入数据作为输入，通过周期性采样测量系统的运行状态，得到随时间不断动态变化的输入-输出数据，构成前后测点之前存在依赖的时序数据。
3.根据权利要求2所述的方法，其特征在于：所述步骤二的具体方法为，建立映射f：使无限逼近y(t)，其中五层深度递归网络第一层为输入层，第二到四层为隐层，第五层为输出层。
4.根据权利要求3所述的方法，其特征在于：所述步骤三的具体方法为：定义系统在当前时刻的输入信息为x(t)，历史信息ht＝tanh(WIxt+UHht-1)，这里隐层向量ht使用递归方式进行定义，其中，WI为输入层到隐层的网络权值矩阵，UH为隐层自连接权值矩阵，x为输入，t为系统时间，l为层数，H为隐层。
5.根据权利要求4所述的方法，其特征在于：所述步骤四的具体方法为：在网络的输出层，可以得到其中，y为t时刻预期输出，w为隐层到输出层的权值矩阵，h为隐层向量，将得到的输出与预期输出相比较，若满足误差要求，则判定为故障异常模式分类问题，进行分类输出，这时σ是softmax变换，分类判断为何种故障，若是常模式问题，使用线性变换，返回输出，继续实时更新权值，实时学习特征，实时预测故障。
CN201810232431.9A 2018-03-21 2018-03-21 一种基于深度递归网络的大数据计算机系统故障检测方法 Active CN108459933B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810232431.9A CN108459933B (zh) 2018-03-21 2018-03-21 一种基于深度递归网络的大数据计算机系统故障检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810232431.9A CN108459933B (zh) 2018-03-21 2018-03-21 一种基于深度递归网络的大数据计算机系统故障检测方法

Publications (2)

Publication Number Publication Date
CN108459933A true CN108459933A (zh) 2018-08-28
CN108459933B CN108459933B (zh) 2021-10-22

Family

ID=63236627

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810232431.9A Active CN108459933B (zh) 2018-03-21 2018-03-21 一种基于深度递归网络的大数据计算机系统故障检测方法

Country Status (1)

Country Link
CN (1) CN108459933B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109447152A (zh) * 2018-10-29 2019-03-08 中国石油大学(华东) 一种基于蒙特卡洛树搜索和神经网络的故障预测方法
CN111200540A (zh) * 2019-12-27 2020-05-26 合肥学院 一种基于深度递归网络的大数据计算机系统故障检测方法
CN111767183A (zh) * 2020-09-01 2020-10-13 深圳创新奇智科技有限公司 设备异常检测方法及装置、电子设备、存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106409120A (zh) * 2015-07-31 2017-02-15 发那科株式会社 机械学习方法及机械学习装置、以及故障预知装置及系统
US20170185897A1 (en) * 2015-12-28 2017-06-29 Microsoft Technology Licensing, Llc Self-stabilized deep neural network
CN107038506A (zh) * 2017-05-09 2017-08-11 华东师范大学 一种工厂智能预警方法
CN107133181A (zh) * 2017-06-13 2017-09-05 北京航空航天大学 一种差分小波神经网络软件故障预测技术的构建方法
US20170293836A1 (en) * 2016-04-11 2017-10-12 International Business Machines Corporation Customer profile learning based on semi-supervised recurrent neural network using partially labeled sequence data
CN107766995A (zh) * 2017-12-08 2018-03-06 国网山东省电力公司枣庄供电公司 基于深度递归神经网络的电力系统短期负荷预测方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106409120A (zh) * 2015-07-31 2017-02-15 发那科株式会社 机械学习方法及机械学习装置、以及故障预知装置及系统
US20170185897A1 (en) * 2015-12-28 2017-06-29 Microsoft Technology Licensing, Llc Self-stabilized deep neural network
US20170293836A1 (en) * 2016-04-11 2017-10-12 International Business Machines Corporation Customer profile learning based on semi-supervised recurrent neural network using partially labeled sequence data
CN107038506A (zh) * 2017-05-09 2017-08-11 华东师范大学 一种工厂智能预警方法
CN107133181A (zh) * 2017-06-13 2017-09-05 北京航空航天大学 一种差分小波神经网络软件故障预测技术的构建方法
CN107766995A (zh) * 2017-12-08 2018-03-06 国网山东省电力公司枣庄供电公司 基于深度递归神经网络的电力系统短期负荷预测方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
任浩等: "深度学习在故障诊断领域中的研究现状与挑战", 《控制与决策》 *
赵建鹏等: "基于长短时记忆网络的旋转机械状态预测研究", 《噪声与振动控制》 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109447152A (zh) * 2018-10-29 2019-03-08 中国石油大学(华东) 一种基于蒙特卡洛树搜索和神经网络的故障预测方法
CN109447152B (zh) * 2018-10-29 2022-02-15 中国石油大学(华东) 一种基于蒙特卡洛树搜索和神经网络的故障预测方法
CN111200540A (zh) * 2019-12-27 2020-05-26 合肥学院 一种基于深度递归网络的大数据计算机系统故障检测方法
CN111767183A (zh) * 2020-09-01 2020-10-13 深圳创新奇智科技有限公司 设备异常检测方法及装置、电子设备、存储介质

Also Published As

Publication number Publication date
CN108459933B (zh) 2021-10-22

Similar Documents

Publication Publication Date Title
CN110738360B (zh) 一种设备剩余寿命预测方法及系统
CN112051481B (zh) 一种基于lstm的交直流混联电网故障区域诊断方法和系统
CN109766583A (zh) 基于无标签、不均衡、初值不确定数据的航空发动机寿命预测方法
Mo et al. A dynamic neural network aggregation model for transient diagnosis in nuclear power plants
CN109141847B (zh) 一种基于mscnn深度学习的飞机系统故障诊断方法
CN109934337A (zh) 一种基于集成lstm的航天器遥测数据异常的检测方法
CN105825271B (zh) 基于证据推理的卫星故障诊断与预测方法
CN108921230A (zh) 基于类均值核主元分析和bp神经网络的故障诊断方法
CN112101431A (zh) 电子设备故障诊断系统
CN109471698B (zh) 云环境下虚拟机异常行为检测系统和方法
CN108459933A (zh) 一种基于深度递归网络的大数据计算机系统故障检测方法
CN114330517A (zh) 一种基于神经网络的航空发动机传感器故障自诊断方法
CN110309537A (zh) 一种飞行器的智能健康预测方法及系统
CN113988210A (zh) 结构监测传感网失真数据修复方法、装置及存储介质
CN113989550A (zh) 基于cnn和lstm混合网络的电动汽车充电桩运行状态预测方法
CN111586728B (zh) 一种面向小样本特征的异构无线网络故障检测与诊断方法
CN113191485A (zh) 一种基于narx神经网络的电力信息网络安全检测系统及方法
CN113190457A (zh) 面向网络化系统的软件可靠性测评方法
CN109324591B (zh) 基于鲁棒估计器的随机混杂系统的故障诊断装置及方法
CN104504265B (zh) 一种在役桥梁监测信息安全评估的方法
CN113158448A (zh) 一种船舶系统设备阈值的自适应计算方法
CN115618743B (zh) 一种瞄准镜系统的状态评估方法及状态评估系统
CN113742941B (zh) 一种基于系统结构层次化分析的复杂装备系统测试性建模平台
CN110827134A (zh) 一种电网企业财务健康诊断方法
CN114819350A (zh) 基于多任务的传感器故障情况下的rul预测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant