CN113076975A - 一种基于无监督学习的大坝安全监测数据异常检测方法 - Google Patents

一种基于无监督学习的大坝安全监测数据异常检测方法 Download PDF

Info

Publication number
CN113076975A
CN113076975A CN202110285020.8A CN202110285020A CN113076975A CN 113076975 A CN113076975 A CN 113076975A CN 202110285020 A CN202110285020 A CN 202110285020A CN 113076975 A CN113076975 A CN 113076975A
Authority
CN
China
Prior art keywords
data
detected
abnormal
time
time sequence
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110285020.8A
Other languages
English (en)
Inventor
李志�
胡超
张启灵
李端有
黄跃文
张继楷
胡蕾
杨胜梅
李波
万鹏
周芳芳
毛索颖
彭思唯
何亮
牛广利
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Changjiang River Scientific Research Institute Changjiang Water Resources Commission
Original Assignee
Changjiang River Scientific Research Institute Changjiang Water Resources Commission
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Changjiang River Scientific Research Institute Changjiang Water Resources Commission filed Critical Changjiang River Scientific Research Institute Changjiang Water Resources Commission
Priority to CN202110285020.8A priority Critical patent/CN113076975A/zh
Publication of CN113076975A publication Critical patent/CN113076975A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/243—Classification techniques relating to the number of classes
    • G06F18/2433—Single-class perspective, e.g. one-against-all classification; Novelty detection; Outlier detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/243—Classification techniques relating to the number of classes
    • G06F18/24323—Tree-organised classifiers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/088—Non-supervised learning, e.g. competitive learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Testing And Monitoring For Control Systems (AREA)

Abstract

本发明提供一种基于无监督学习的大坝安全监测数据异常检测方法，包括以下步骤：(1)获取大坝运行期间监测量的待检测时序数据，对采集到的待检测时序数据进行归一化处理进行归一化处理，采用移动滑窗对归一化处理后的待检测时序数据进行滚动采样，建立训练样本数据集和测试样本数据集；(2)基于训练样本数据集和测试样本数据集长短记忆(LSTM)循环神经网络回归预测模型，对待检测时序数据进行回归预测，并计算待检测时序数据与重构序列数据的残差序列；(3)基于孤立森林(iForest)算法建立异常检测模型，将残差序列输入异常检测模型完成对大坝监测数据异常值的实时检测。本发明可解决在大坝安全监测实时采集过程中，对监测数据异常值进行在线智能识别的问题，具有较高的泛化能力和较广的适用范围，不仅能够对不同传感器采集的数据类型进行检测，而且能够快速处理大量数据。

Description

一种基于无监督学习的大坝安全监测数据异常检测方法
技术领域
本发明涉及大坝安全监测和数据处理技术领域，具体是一种基于无监督学习的大坝安全监测数据异常检测方法。
背景技术
大坝结构长期安全监测是保证其全寿命周期过程中安全运营的关键，大坝安全监测系统为大坝结构的安全评价与管理维护提供了可靠的数据资料。一方面，由于大坝安全监测系统包含的传感器数量众多且类型多样，监测数据具有海量性和多样性，且随着大坝服役时间的增加和监测手段的不断更新，监测数据量也逐渐呈爆炸式增长；另一方面，在大坝长期安全监测过程中，由于现场环境复杂等诸多因素的影响，导致监测数据不可避免地包含有大量的异常数据，这些异常数据既包含有能够反映大坝性能状态变化的重要信息，同时还包含有由传感器故障、系统内部噪声以及外部信号干扰等因素导致的数据异常波动。由于产生异常的机制不同，这些异常数据的混合很容易干扰大坝结构安全评价与管理决策，给监测数据的管理与分析带来挑战因此，为实现结构可靠的安全评价和有效的维护管理，需提前对这些数据进行异常值检测处理。
目前，关于数据异常值检测的方法较多，传统的异常检测方法主要有基于统计的方法、基于距离的方法、基于密度的方法、基于聚类的方法等，它们在各个领域得到了广泛的应用。然而，在实际工程中，大坝安全监测数据的海量性、多样性以及异常数据的复杂性的特点，使传统的异常检测方法变得越来越困难，主要表现有：(1)传统方法主要是针对单一传感来源数据进行相应的异常检测工作，该方法的使用不仅会造成不同类型数据的异常检测出现过度处理或处理不足的问题，还会使大数据环境下的异常检测过程繁琐且效率低下。(2)由于传统检测方法的泛化能力较低，大型传感器网络中不同传感来源数据之间往往存在一定联系，对此传统方法较难捕获数据中复杂的结构。
近年，随着人工智能等新一代科技信息技术的迅速发展及“智能大坝“的提出，以数据驱动的结构健康监测方法正日益普及，因此在安全监测数据处理方面，异常数据检测方法需要具备更加智能和高效的特点，以保证长期安全监测异常数据检测准确率的同时，提高监测系统数据管理和分析的效率。
发明内容
本发明目的在于克服传统方法的不足，以解决大坝安全监测实时采集过程中对异常数据进行在线智能检测的问题。
为实现上述目的，本发明提出一种基于无监督学习的大坝安全监测数据异常实时检测方法，包括以下步骤：
S1：通过大坝安全监测系统获取大坝运行期间监测量的待检测时序数据，对采集到的待检测时序数据进行归一化处理，采用移动滑窗对归一化处理后的待检测时序数据进行滚动采样，建立训练样本数据集和测试样本数据集；
S2：基于训练样本数据集和测试样本数据集搭建长短记忆(Long Short TermMemory，LSTM)循环神经网络回归预测模型，利用回归预测模型对待检测时序数据X进行回归预测，得到重构序列数据Xre，并计算待检测时序数据X与重构序列数据Xre的残差序列E；
S3：基于孤立森林算法(iForest)构建iForest异常检测模型，将残差序列E输入iForest异常检测模型，获取每个待检测时序数据的异常得分，通过设定异常分数阈值判定待检测时序数据中是否存在异常数据并输出检测结果，并对检测出的异常数据进行标记。
进一步的，步骤S1具体包括：
S11：通过大坝安全监测系统获取大坝运行期间监测量的待检测时序数据X＝[x(1),x(2),…,x(n)]；并对待检测时序数据X进行归一化处理，归一化处理方法如下：
Figure BDA0002980103810000021
式(1)中，Xnorm为归一化处理后的待检测时序数据，μ为待检测时序数据均值，σ为待检测时序数据方差；
S12：确定滑动窗口长度L及输出向量维度k两个参数，采用滑动窗口对归一化处理后的待检测时序数据Xnorm进行滚动采样，建立训练样本集和测试样本集，其中，样本集中的输入向量X(t)和输出向量Y(t)表达式如下：
Figure BDA0002980103810000022
进一步的，步骤S2具体包括：
S21：基于训练样本数据集和测试样本数据集，采用TensorFlow深度学习框架搭建长短记忆(Long Short Term Memory，LSTM)循环神经网络回归预测模型，通过测试样本数据集对LSTM回归预测模型进行训练和测试，为兼顾计算精度和计算效率，通过设定模型参数取值范围，采用网格搜索法对LSTM回归预测模型参数进行寻优，以获取最优的LSTM回归预测模型；
S22：确定LSTM回归预测模型的最优参数，将待检测时序数据X输入LSTM回归预测模型，完成对待检测时序数据X的回归预测，得到重构序列数据Xre；
S23：计算待检测时序数据X与重构序列数据Xre的残差序列，计算表达式如下：
E＝X-Xre (3)。
进一步的，步骤S3具体包括：
S31：通过系统抽样方法，对残差序列E进行随机抽样，得到多个子数据集；
S32：利用子数据集构建二叉树结构的孤立树，在孤立树中，异常值分布在距离根节点较近的叶子结点上，而正常数据分布在距离根节点较远的叶子结点上，由构建好的孤立树组成孤立森林，从而构建iForest异常检测模型；
S33：将待检测时序数据遍历iForest异常检测模型中的每一棵孤立树，计算待检测时序数据最终的平均路径长度，由此计算得到每个待检测时序数据的异常得分；
S34：设置异常分数阈值，将异常得分和设定的异常分数阈值进行比较，对异常数据做出判断，并输出结果。
进一步的，步骤S33中，每个待检测时序数据的异常分数计算公式为：
Figure BDA0002980103810000031
式(4)中，Score(i)为规范化后的待检测时序数据异常得分，0<Score(i)<1，E为待测时序数据e(i)在孤立森林中最终经过的平均路径长度，c(n)为孤立森林的平均路径长度。
进一步的，步骤S34中，判断待检测时序数据E中e(i)异常得分是否大于异常分数阈值Sth；若是，即Score(i)>Sth，则表明待检测时序数据X中x(i)为异常数据，输出该值及其在序列中的位置，输出结果为：[x(i),i,1]；若否，则表明待时检测时序数据X中x(i)为正常数据，输出结果为：[x(i),i,0]。
进一步的，孤立森林的平均路径长度c(n)计算公式为：
Figure BDA0002980103810000032
式(5)中，H(·)为调和数，该值可以被估计为H(n)＝ln(n)+0.5772156649。
进一步的，当Score(i)越接近1时，表示待检测时序数据E中e(i)为异常数据的可能性越大，也即待检测时序数据X中x(i)为异常数据的可能性越大。
与现有技术相比，本发明的有益效果为：
1、本发明具有较高的泛化能力，可针对不同传感来源的数据进行相应的异常检测工作，提高了大数据环境下大坝安全监测数据异常检测的效率；
2、本发明通过LSTM网络模型构建回归预测模块，提取时序数据的时序性特征，获取数据的深层次特征，并进行数据重构；通过孤立森林算法构建的异常检测模块，能够基于无监督学习实现大坝安全监测数据快速检测。
附图说明
图1是本发明基于无监督学习的大坝安全监测数据异常实时检测方法其中一个实施例的流程图；
图2是本发明中LSTM网络模型结构图；
图3是本发明实施例中待检测时序数据，为某大坝运行期间水头监测数据；
图4是实施实例中采用本发明对待检测时序数据进行的异常检测结果；
图5是实施实例中采用拉依达准则对待检测时序数据进行的异常检测结果；
图6是实施实例中采用拉依达准则对经过本发明方法检测并剔除异常数据后进行的异常检测结果。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
如图1所示，本发明实施例提供一种基于无监督学习的大坝安全监测数据异常实时检测方法，具体包括如下步骤：
S1：通过大坝安全监测系统获取大坝运行期间监测量的待检测时序数据，对采集到的待检测时序数据进行归一化处理，采用移动滑窗对归一化处理后的待检测时序数据进行滚动采样，建立训练样本数据集和测试样本数据集；
步骤S1具体包括：
S11：通过大坝安全监测系统获取大坝运行期间监测量的待检测时序数据X＝[x(1),x(2),…,x(n)]；并对待检测时序数据X进行归一化处理，归一化处理方法如下：
Figure BDA0002980103810000041
式(1)中，Xnorm为归一化处理后的待检测时序数据，μ为待检测时序数据均值，σ为待检测时序数据方差；
S12：确定滑动窗口长度L及输出向量维度k两个参数，采用滑动窗口对归一化处理后的待检测时序数据Xnorm进行滚动采样，建立训练样本集和测试样本集，其中，样本集中的输入向量X(t)和输出向量Y(t)表达式如下：
Figure BDA0002980103810000042
S2：基于训练样本数据集和测试样本数据集搭建长短记忆(Long Short TermMemory，LSTM)循环神经网络回归预测模型(LSTM网络结构如图2所示)，利用回归预测模型对待检测时序数据X进行回归预测，得到重构序列数据Xre，并计算待检测时序数据X与重构序列数据Xre的残差序列E；
步骤S2具体包括：
S21：基于训练样本数据集和测试样本数据集，采用TensorFlow深度学习框架搭建长短记忆(Long Short Term Memory，LSTM)循环神经网络回归预测模型，通过测试样本数据集对LSTM回归预测模型进行训练和测试，为兼顾计算精度和计算效率，通过设定模型参数取值范围，采用网格搜索法对LSTM回归预测模型参数进行寻优，以获取最优的LSTM回归预测模型；
S22：确定LSTM回归预测模型的最优参数，将待检测时序数据X输入LSTM回归预测模型，完成对待检测时序数据X的回归预测，得到重构序列数据Xre；
S23：计算待检测时序数据X与重构序列数据Xre的残差序列，计算表达式如下：
E＝X-Xre (3)。
滑动窗口长度L和输出向量维度k决定了LSTM回归预测模型的输入参数量和输出数量，L和k的值越大，计算复杂度也会相应增加；因此在满足精度要求的情况下，可以适当调节L和k的值，以降低计算复杂度，提高运算效率。本实施例中滑动窗口长度L需根据待测数据序列长度进行适当选取，输出维度采用1维，即k＝1。
LSTM回归预测模型结构的确定与输入数据的复杂程度和输入数据维度有关。为避免过拟合问题，本实施方式采用三层LSTM结构，即输入层、隐藏层和输出层。
S3：基于孤立森林算法(iForest)构建iForest异常检测模型，将残差序列E输入iForest异常检测模型，获取每个待检测时序数据的异常得分，通过设定异常分数阈值判定待检测时序数据中是否存在异常数据并输出检测结果，并对检测出的异常数据进行标记(如图4所示)。
步骤S3具体包括：
S31：通过系统抽样方法，对残差序列E进行随机抽样，得到多个子数据集；
S32：利用子数据集构建二叉树结构的孤立树，在孤立树中，异常值分布在距离根节点较近的叶子结点上，而正常数据分布在距离根节点较远的叶子结点上，由构建好的孤立树组成孤立森林，从而构建iForest异常检测模型；
S33：将待检测时序数据遍历iForest异常检测模型中的每一棵孤立树，计算待检测时序数据最终的平均路径长度，由此计算得到每个待检测时序数据的异常得分；
S34：设置异常分数阈值，将异常得分和设定的异常分数阈值进行比较，对异常数据做出判断，并输出结果。
其中，步骤S33中，每个待检测时序数据的异常分数计算公式为：
Figure BDA0002980103810000051
式(4)中，Score(i)为规范化后的待检测时序数据异常得分，0<Score(i)<1，E为待测数据e(i)在孤立森林中最终经过的平均路径长度，c(n)为孤立森林的平均路径长度。孤立森林的平均路径长度c(n)计算公式为：
Figure BDA0002980103810000052
式(5)中，H(·)为调和数，该值可以被估计为H(n)＝ln(n)+0.5772156649。
步骤S34中，判断待检测时序数据E中e(i)异常得分是否大于异常分数阈值Sth；若是，即Score(i)>Sth，则表明待检测时序数据X中x(i)为异常数据，输出该值及其在序列中的位置，输出结果为：[x(i),i,1]；若否，则表明待时检测时序数据X中x(i)为正常数据，输出结果为：[x(i),i,0]。当Score(i)越接近1时，表示待检测时序数据E中e(i)为异常数据的可能性越大，也即待检测时序数据X中x(i)为异常数据的可能性越大。
本发明通过对比传统拉依达准则方法进行效果评估。首先，分别计算得到待检测时序数据和经过本发明方法检测处理后的数据的统计特征值，待检测时序数据为某大坝运行期间水头监测数据，如图3所示；然后，采用拉依达准则对待检测时序数据和经过本发明方法检测并提出异常值后的数据进行异常数据检测，将μ+3σ及μ-3σ分别作为数据的上界及下界，超出范围即为异常值；最后，得到检测结果如图5、图6所示。由检测结果比较可知，本发明可以识别出主要异常数据，剔除异常值后的数据均落在μ+3σ及μ-3σ上、下界内，的测精度较好；传统拉依达准则方法的对异常数据的识别精度明显较差，存在较多识别盲区，位于μ+3σ及μ-3σ上、下界内存在的部分异常数据无法检测出。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何属于本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求的保护范围为准。

Claims (8)

1.一种基于无监督学习的大坝安全监测数据异常实时检测方法，其特征在于，包括以下步骤：
S1：通过大坝安全监测系统获取大坝运行期间监测量的待检测时序数据，对采集到的待检测时序数据进行归一化处理，采用移动滑窗对归一化处理后的待检测时序数据进行滚动采样，建立训练样本数据集和测试样本数据集；
S2：基于训练样本数据集和测试样本数据集搭建长短记忆(Long Short Term Memory，LSTM)循环神经网络回归预测模型，利用回归预测模型对待检测时序数据X进行回归预测，得到重构序列数据Xre，并计算待检测时序数据X与重构序列数据Xre的残差序列E；
S3：基于孤立森林算法(iForest)构建iForest异常检测模型，将残差序列E输入iForest异常检测模型，获取每个待检测时序数据的异常得分，通过设定异常分数阈值判定待检测时序数据中是否存在异常数据并输出检测结果，并对检测出的异常数据进行标记。
2.根据权利要求1所述的基于无监督学习的大坝安全监测数据异常实时检测方法，其特征在于，步骤S1具体包括：
S11：通过大坝安全监测系统获取大坝运行期间监测量的待检测时序数据X＝[x(1),x(2),…,x(n)]；并对待检测时序数据X进行归一化处理，归一化处理方法如下：
Figure FDA0002980103800000011
式(1)中，Xnorm为归一化处理后的待检测时序数据，μ为待检测时序数据均值，σ为待检测时序数据方差；
S12：确定滑动窗口长度L及输出向量维度k两个参数，采用滑动窗口对归一化处理后的待检测时序数据Xnorm进行滚动采样，建立训练样本集和测试样本集，其中，样本集中的输入向量X(t)和输出向量Y(t)表达式如下：
Figure FDA0002980103800000012
3.根据权利要求1所述的基于无监督学习的大坝安全监测数据异常实时检测方法，其特征在于，步骤S2具体包括：
S21：基于训练样本数据集和测试样本数据集，采用TensorFlow深度学习框架搭建长短记忆(Long Short Term Memory，LSTM)循环神经网络回归预测模型，通过测试样本数据集对LSTM回归预测模型进行训练和测试，为兼顾计算精度和计算效率，通过设定模型参数取值范围，采用网格搜索法对LSTM回归预测模型参数进行寻优，以获取最优的LSTM回归预测模型；
S22：确定LSTM回归预测模型的最优参数，将待检测时序数据X输入LSTM回归预测模型，完成对待检测时序数据X的回归预测，得到重构序列数据Xre；
S23：计算待检测时序数据X与重构序列数据Xre的残差序列，计算表达式如下：
E＝X-Xre (3)。
4.根据权利要求1所述的基于无监督学习的大坝安全监测数据异常实时检测方法，其特征在于，步骤S3具体包括：
S31：通过系统抽样方法，对残差序列E进行随机抽样，得到多个子数据集；
S32：利用子数据集构建二叉树结构的孤立树，在孤立树中，异常值分布在距离根节点较近的叶子结点上，而正常数据分布在距离根节点较远的叶子结点上，由构建好的孤立树组成孤立森林，从而构建iForest异常检测模型；
S33：将待检测时序数据遍历iForest异常检测模型中的每一棵孤立树，计算待检测时序数据最终的平均路径长度，由此计算得到每个待检测时序数据的异常得分；
S34：设置异常分数阈值，将异常得分和设定的异常分数阈值进行比较，对异常数据做出判断，并输出结果。
5.根据权利要求4所述的基于无监督学习的大坝安全监测数据异常实时检测方法，其特征在于，步骤S33中，每个待检测时序数据的异常分数计算公式为：
Figure FDA0002980103800000021
式(4)中，Score(i)为规范化后的待检测时序数据异常得分，0<Score(i)<1，E为待测时序数据e(i)在孤立森林中最终经过的平均路径长度，c(n)为孤立森林的平均路径长度。
6.根据权利要求5所述的基于无监督学习的大坝安全监测数据异常实时检测方法，其特征在于，步骤S34中，判断待检测时序数据E中e(i)异常得分是否大于异常分数阈值Sth；若是，即Score(i)>Sth，则表明待检测时序数据X中x(i)为异常数据，输出该值及其在序列中的位置，输出结果为：[x(i),i,1]；若否，则表明待时检测时序数据X中x(i)为正常数据，输出结果为：[x(i),i,0]。
7.根据权利要求5所述的基于无监督学习的大坝安全监测数据异常实时检测方法，其特征在于，孤立森林的平均路径长度c(n)计算公式为：
Figure FDA0002980103800000022
式(5)中，H(·)为调和数，该值可以被估计为H(n)＝ln(n)+0.5772156649。
8.根据权利要求5所述的基于无监督学习的大坝安全监测数据异常实时检测方法，其特征在于，当Score(i)越接近1时，表示待检测时序数据E中e(i)为异常数据的可能性越大，也即待检测时序数据X中x(i)为异常数据的可能性越大。
CN202110285020.8A 2021-03-17 2021-03-17 一种基于无监督学习的大坝安全监测数据异常检测方法 Pending CN113076975A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110285020.8A CN113076975A (zh) 2021-03-17 2021-03-17 一种基于无监督学习的大坝安全监测数据异常检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110285020.8A CN113076975A (zh) 2021-03-17 2021-03-17 一种基于无监督学习的大坝安全监测数据异常检测方法

Publications (1)

Publication Number Publication Date
CN113076975A true CN113076975A (zh) 2021-07-06

Family

ID=76612558

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110285020.8A Pending CN113076975A (zh) 2021-03-17 2021-03-17 一种基于无监督学习的大坝安全监测数据异常检测方法

Country Status (1)

Country Link
CN (1) CN113076975A (zh)

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113569324A (zh) * 2021-08-03 2021-10-29 招商局重庆交通科研设计院有限公司 边坡形变监测异常数据分析与优化方法
CN113878214A (zh) * 2021-12-08 2022-01-04 苏芯物联技术(南京)有限公司 基于lstm与残差分布的焊接质量实时检测方法及系统
CN113984117A (zh) * 2021-10-21 2022-01-28 山脉科技股份有限公司 一种水库安全监测系统应用方法
CN114239708A (zh) * 2021-12-13 2022-03-25 中国船舶重工集团公司第七0三研究所 一种基于质量控制图理论的燃机异常检测方法
CN114358422A (zh) * 2022-01-04 2022-04-15 中国工商银行股份有限公司 研发进度的异常预测方法及装置、存储介质和电子设备
CN115080965A (zh) * 2022-08-16 2022-09-20 杭州比智科技有限公司 基于历史表现的无监督异常检测方法及系统
CN115438102A (zh) * 2022-11-09 2022-12-06 成都新希望金融信息有限公司 时空数据异常识别方法、装置和电子设备
US20230023931A1 (en) * 2021-07-08 2023-01-26 Zhejiang University Hydraulic turbine cavitation acoustic signal identification method based on big data machine learning
CN116128312A (zh) * 2023-04-17 2023-05-16 南昌工程学院 基于监测数据分析的大坝安全预警方法及系统
CN117077051A (zh) * 2023-07-18 2023-11-17 重庆交通大学 一种大坝监测异常数据自适应识别方法
CN117113243A (zh) * 2023-06-28 2023-11-24 武汉盈风能源科技有限公司 一种光伏设备异常检测方法
CN117150244A (zh) * 2023-10-30 2023-12-01 山东凯莱电气设备有限公司 基于电参数分析的智能配电柜状态监测方法及系统
CN117289778A (zh) * 2023-11-27 2023-12-26 惠州市鑫晖源科技有限公司 一种工控主机电源健康状态的实时监测方法

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109583570A (zh) * 2018-11-30 2019-04-05 重庆大学 基于深度学习确定桥梁健康监测系统异常数据来源的方法
CN110334130A (zh) * 2019-07-09 2019-10-15 北京万维星辰科技有限公司 一种交易数据的异常检测方法、介质、装置和计算设备
CN111207938A (zh) * 2020-01-13 2020-05-29 西南交通大学 一种铁道车辆故障检测方法
CN111245365A (zh) * 2020-01-09 2020-06-05 南京工业大学 基于动态加权深度森林的光伏组件故障诊断方法
CN111551147A (zh) * 2020-06-09 2020-08-18 福州大学 基于gnss与测量机器人融合的拱坝表面变形监测系统
CN111709465A (zh) * 2020-06-04 2020-09-25 中国电建集团华东勘测设计研究院有限公司 大坝安全监测数据粗差智能识别方法
CN111913849A (zh) * 2020-07-29 2020-11-10 厦门大学 一种用于运维数据的无监督异常检测和鲁棒趋势预测方法
CN112287602A (zh) * 2020-10-28 2021-01-29 北京国信会视科技有限公司 一种基于机器学习和孤立森林的动车轴温故障预警方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109583570A (zh) * 2018-11-30 2019-04-05 重庆大学 基于深度学习确定桥梁健康监测系统异常数据来源的方法
CN110334130A (zh) * 2019-07-09 2019-10-15 北京万维星辰科技有限公司 一种交易数据的异常检测方法、介质、装置和计算设备
CN111245365A (zh) * 2020-01-09 2020-06-05 南京工业大学 基于动态加权深度森林的光伏组件故障诊断方法
CN111207938A (zh) * 2020-01-13 2020-05-29 西南交通大学 一种铁道车辆故障检测方法
CN111709465A (zh) * 2020-06-04 2020-09-25 中国电建集团华东勘测设计研究院有限公司 大坝安全监测数据粗差智能识别方法
CN111551147A (zh) * 2020-06-09 2020-08-18 福州大学 基于gnss与测量机器人融合的拱坝表面变形监测系统
CN111913849A (zh) * 2020-07-29 2020-11-10 厦门大学 一种用于运维数据的无监督异常检测和鲁棒趋势预测方法
CN112287602A (zh) * 2020-10-28 2021-01-29 北京国信会视科技有限公司 一种基于机器学习和孤立森林的动车轴温故障预警方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
《振动与冲击手册》编辑委员会: "《振动与冲击手册 第2卷 振动与冲击测试技术》", 30 November 1990 *

Cited By (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20230023931A1 (en) * 2021-07-08 2023-01-26 Zhejiang University Hydraulic turbine cavitation acoustic signal identification method based on big data machine learning
US11840998B2 (en) * 2021-07-08 2023-12-12 Zhejiang University Hydraulic turbine cavitation acoustic signal identification method based on big data machine learning
CN113569324A (zh) * 2021-08-03 2021-10-29 招商局重庆交通科研设计院有限公司 边坡形变监测异常数据分析与优化方法
CN113984117A (zh) * 2021-10-21 2022-01-28 山脉科技股份有限公司 一种水库安全监测系统应用方法
CN113878214A (zh) * 2021-12-08 2022-01-04 苏芯物联技术(南京)有限公司 基于lstm与残差分布的焊接质量实时检测方法及系统
CN113878214B (zh) * 2021-12-08 2022-03-25 苏芯物联技术(南京)有限公司 基于lstm与残差分布的焊接质量实时检测方法及系统
CN114239708A (zh) * 2021-12-13 2022-03-25 中国船舶重工集团公司第七0三研究所 一种基于质量控制图理论的燃机异常检测方法
CN114358422A (zh) * 2022-01-04 2022-04-15 中国工商银行股份有限公司 研发进度的异常预测方法及装置、存储介质和电子设备
CN115080965B (zh) * 2022-08-16 2022-11-15 杭州比智科技有限公司 基于历史表现的无监督异常检测方法及系统
CN115080965A (zh) * 2022-08-16 2022-09-20 杭州比智科技有限公司 基于历史表现的无监督异常检测方法及系统
CN115438102A (zh) * 2022-11-09 2022-12-06 成都新希望金融信息有限公司 时空数据异常识别方法、装置和电子设备
CN115438102B (zh) * 2022-11-09 2023-03-24 成都新希望金融信息有限公司 时空数据异常识别方法、装置和电子设备
CN116128312A (zh) * 2023-04-17 2023-05-16 南昌工程学院 基于监测数据分析的大坝安全预警方法及系统
CN117113243A (zh) * 2023-06-28 2023-11-24 武汉盈风能源科技有限公司 一种光伏设备异常检测方法
CN117113243B (zh) * 2023-06-28 2024-01-26 武汉盈风能源科技有限公司 一种光伏设备异常检测方法
CN117077051A (zh) * 2023-07-18 2023-11-17 重庆交通大学 一种大坝监测异常数据自适应识别方法
CN117150244A (zh) * 2023-10-30 2023-12-01 山东凯莱电气设备有限公司 基于电参数分析的智能配电柜状态监测方法及系统
CN117150244B (zh) * 2023-10-30 2024-01-26 山东凯莱电气设备有限公司 基于电参数分析的智能配电柜状态监测方法及系统
CN117289778A (zh) * 2023-11-27 2023-12-26 惠州市鑫晖源科技有限公司 一种工控主机电源健康状态的实时监测方法
CN117289778B (zh) * 2023-11-27 2024-03-26 惠州市鑫晖源科技有限公司 一种工控主机电源健康状态的实时监测方法

Similar Documents

Publication Publication Date Title
CN113076975A (zh) 一种基于无监督学习的大坝安全监测数据异常检测方法
CN109492193B (zh) 基于深度机器学习模型的异常网络数据生成与预测方法
CN113255848B (zh) 基于大数据学习的水轮机空化声信号辨识方法
CN111562108A (zh) 一种基于cnn和fcmc的滚动轴承智能故障诊断方法
CN111507376A (zh) 一种基于多种无监督方法融合的单指标异常检测方法
CN113516837B (zh) 一种基于多源信息融合的城市火灾判断方法、系统及其存储介质
CN117290800B (zh) 一种基于超图注意力网络的时序异常检测方法及系统
CN112200237A (zh) 一种结构健康监测系统时序监测数据异常诊断方法
CN112327701B (zh) 面向非线性动态工业过程的慢特征网络监测方法
CN116451142A (zh) 一种基于机器学习算法的水质传感器故障检测方法
CN115470850A (zh) 一种基于管网水质时空数据的水质异常事件识别预警方法
CN116304912A (zh) 一种基于深度学习transformer神经网络的传感器气体浓度检测方法
CN113110398B (zh) 基于动态时间归整和图卷积网络的工业过程故障诊断方法
CN116627116B (zh) 一种流程工业故障定位方法、系统及电子设备
CN112365093A (zh) 一种基于gru深度学习的多特征因子赤潮预测模型
CN104504265A (zh) 一种在役桥梁监测信息安全评估的方法
Li et al. Meteorological radar fault diagnosis based on deep learning
CN116842323A (zh) 一种供水管线运行数据异常检测方法
CN114046816B (zh) 基于轻量级梯度提升决策树的传感器信号故障诊断方法
CN116048036A (zh) 基于动态非平稳投影结构的故障检测方法
Bi et al. A fault diagnosis algorithm for wind turbine blades based on bp neural network
Zhao et al. Dyedgegat: Dynamic edge via graph attention for early fault detection in iiot systems
CN114200914A (zh) 一种基于mw-occa的质量相关早期故障检测方法
CN114841196A (zh) 一种基于监督学习的机械设备智能故障检测方法及系统
CN115249059A (zh) 模型训练及异常数据分析方法、装置及计算机存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20210706

RJ01 Rejection of invention patent application after publication