CN114462688A - 一种基于lstm模型和动态阈值确定算法的爆管检测方法 - Google Patents

一种基于lstm模型和动态阈值确定算法的爆管检测方法 Download PDF

Info

Publication number
CN114462688A
CN114462688A CN202210046208.1A CN202210046208A CN114462688A CN 114462688 A CN114462688 A CN 114462688A CN 202210046208 A CN202210046208 A CN 202210046208A CN 114462688 A CN114462688 A CN 114462688A
Authority
CN
China
Prior art keywords
pipe
network
water supply
prediction
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210046208.1A
Other languages
English (en)
Inventor
陈启民
郭江浩
周军海
林亚平
厉平安
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hunan University
Original Assignee
Hunan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hunan University filed Critical Hunan University
Priority to CN202210046208.1A priority Critical patent/CN114462688A/zh
Publication of CN114462688A publication Critical patent/CN114462688A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/04—Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
    • G06Q50/06—Electricity, gas or water supply

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Economics (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Strategic Management (AREA)
  • Human Resources & Organizations (AREA)
  • Software Systems (AREA)
  • Tourism & Hospitality (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • General Business, Economics & Management (AREA)
  • Molecular Biology (AREA)
  • Artificial Intelligence (AREA)
  • Marketing (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Primary Health Care (AREA)
  • Water Supply & Treatment (AREA)
  • Public Health (AREA)
  • Development Economics (AREA)
  • Game Theory and Decision Science (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Examining Or Testing Airtightness (AREA)

Abstract

本发明涉及一种基于LSTM模型和动态阈值确定算法的爆管检测方法。其发明内容主要包括：(1)基于LSTM神经网络的管网供水预测模型；(2)基于动态误差阈值确定算法的爆管判定方法。基于目前城市管网中传感器采集的管网数据，使用双向LSTM神经网络构建城市管网供水情况预测模型对管网未来一段时间内正常供水情况做出预测，并引入学习率退火算法优化模型性能；引入基于无监督的动态误差阈值确定算法计算误差阈值，将预测数据和真实采集数据之间的误差与阈值进行比较，判定管网中是否发生爆管事件。本发明提出一种基于LSTM网络和动态阈值确定算法的爆管检测方法，在对管网供水情况进行预测中具有优越的预测性能以及能够有效的降低爆管检测的误报率，在城市供水管网爆管检测方面具有实际应用价值。

Description

一种基于LSTM模型和动态阈值确定算法的爆管检测方法
技术领域
本发明涉及机器学习领域和异常检测领域，一种基于LSTM模型和动态阈值确定算法的爆管检测方法。
背景技术
水作为生命之源，不管是在城市发展还是生态环境中都是不可或缺的。中国近年来正处于一个快速发展的阶段，城市规模不断扩建，社会经济不断发展，但是在快速发展的同时，我国水资源紧缺的问题也逐渐暴露出来，水资源紧缺、水资源分布不均匀和利用效率低等问题成为了阻碍我国良性、快速发展的一个重要因素。
老旧的管网腐蚀严重，传统的供水决策调度基本是依靠管网工作人员的经验，缺乏科学指导易导致管网中水压波动较大，使得供水管网发生漏损和爆管等异常事件的频率较高。凭借工作人员的经验无法及时侦测到异常事件并且采取相应的措施，将造成大量水资源的浪费，这样不管是对社会经济活动，还是居民正常生活用水等都有非常不利的影响。因此，如何保障供水管网系统的漏损控制以及缩短爆管事件发生时的反应时间，对于城市居民日常生活保障、降低水资源浪费率以及避免严重经济损失具有重要的现实意义。
随着科学技术的快速发展，在爆管检测领域，许多的研究人员在不断寻求运行成本低且达到一定准确度的方法。基于模型的检漏方法被提出并初步的应用在实际管网系统中。在基于SCADA系统采集实测流量数据的情况下，应用自适应卡尔曼滤波器算法来判断流量信号中的异常增大情况,进而推测爆管事件的发生。卡尔曼滤波器是一组线性系统状态方程，其根据系统输入、输出观测数据，对系统状态进行最优估算。系统状态方程是一个递归函数，卡尔曼滤波器可以被看作是用递归方法解决离散数据线性滤波问题。卡尔曼滤波通过传播被要求测量的变量的整个概率分布来提供动态系统当前指示状态的完整统计特征，其中包括所有过去测量得到数据的影响。之所以称为滤波器，是因为该方法与“信号”和“噪声”的分离有关，该方法利用测量数据和系统的动态状态两个信息，考虑它们的不确定性，以产生最佳估计过程。此不确定性假定遵循高斯函数的变化规律。因此，如果时间序列遭受高斯白噪声的影响，卡尔曼滤波器将是估计真实信号的最佳数据处理器。在已有研究中主要使用卡尔曼滤波器来预估供水系统中的正常水力参数(流量或压强)，可以通过过滤器中的预测值与测量值之间的差值检测管道爆裂。
虽然卡尔曼滤波器计算效率高，需要的训练数据较少，并且该算法还具备自我监督和快速响应等优点，但是短时间内的训练数据构建的模型无法检测已经稳定的长期泄漏，无法对时间间隔长的供水情况进行预测，并且对于城市管网供水不具有针对性，在实际场景的应用中无法提供较高精度的预测结果。
基于上述，本专利提出一种基于LSTM模型和动态阈值确定算法的爆管检测方法，针对供水管网SCADA系统采集数据中的周期性和时间性，引入双向LSTM 神经网络模型解决数据长时间依赖问题的同时；并且引入异常检测领域的基于无监督的误差阈值确定算法进行管网异常数据的自动化检测，在传感器采集管网数据的同时，计算真实数据与模型预测数据之间的误差，最后将误差与计算出的阈值进行比较，判断爆管异常事件是否发生。在城市管网的爆管事件频发以及不同时期峰值不同的环境下取得优越的爆管检测性能。
发明内容
本发明提出了一种基于LSTM模型和动态阈值确定算法的爆管检测方法，主要包括两大内容：
(1)基于LSTM神经网络的管网供水预测模型；
(2)基于动态误差阈值确定算法的爆管判定方法。
具体内容如下：
(1)基于LSTM神经网络的管网供水预测模型
长短期记忆网络(LSTM)是递归神经网络的延伸，在其基础上扩展了记忆能力。它们引入了门控机制以遗忘或保留特定的信息而加强模型对长期依赖关系的捕捉，它们同时也大大缓解了梯度爆炸或梯度消失的问题。可以使用门控机制控制前一时间步隐藏层保留的信息和当前时间步输入的信息，并选择性地输出一些值而作为该单元的激活值，以达到长期记忆的效果。在供水管网此类按时间顺序排列的、随时间变化且相互关联的时间序列中，采用双向LSTM构建模型具有很好的预测性能。具体步骤如下：
数据预处理：由于本发明是构建对供水管网正常供水情况的数据预测模型，首先，提取数据特征，清洗异常数据，其次将原始数据划分为训练集，测试集和验证集，根据预测数据跨度调整分配权重。
训练模型：在模型训练过程中，需要选取合适的学习率优化器以及损失函数。采用学习率退火算法，每个batch训练后学习率减小一点，当减小到规定值后学习率马上增大到初始值，循环该过程。该机制遵从如下规则：
Figure BDA0003464246360000031
其中ηmin i&ηmax i代表学习率变化的范围，Tcur代表上次重启后，经过了多少个epoch，Ti代表第i次重启，一共需要训练多少个epoch。这样在一个周期内，学习率将会按照余弦衰减的趋势从ηmax i减小到ηmin i。然后进入下一个周期，学习率重新上升。
深层神经网络难训练是因为学习过程容易陷入到马鞍面中，即在坡面上，一部分点是上升的，一部分点是下降的。马鞍面上损失对参数的一阶导数为0，二阶导数的正负值不相同，由于梯度为0，模型无法进一步更新参数，因此模型训练容易陷入马鞍面中不再更新。由于管道数据的周期变化性，我们不希望在梯度下降的同时丢失周期性的梯度回升，所以采取了这种优化器。
为了提高模型的性能，采用的是均方方差(MSE)损失函数,计算公式如下：
Figure BDA0003464246360000041
其中yt是真实数据，
Figure BDA0003464246360000042
是拟合的数据，wt>0。
由于城市管网中供水情况时间关联性明显，本发明采用了双向LSTM神经网络构建预测模型，数据预测结果更符合真实数据。
(2)基于动态误差阈值确定算法的爆管判定方法
误差计算：本发明采用指数加权移动平均法(EWMA)计算预测值与真实值之间的误差：训练好的模型预测值为
Figure BDA0003464246360000043
计算每一步的预测误差公式为：
Figure BDA0003464246360000044
其中yt是真实数据，
Figure BDA0003464246360000045
是训练好的模型每一步的预测数据。然后将误差添加到一个一维向量中e＝[et-h，…,et-1,et]，其中h为用于评估当前误差的历史误差值的个数，然后使用指数移动加权平均(EWMA)计算出平滑后的误差
Figure BDA0003464246360000046
Figure BDA0003464246360000047
阈值确定：在实际供水场景中，并没有足够的带标签的数据，所以引入了一种无监督的方法，从平滑后的误差集合中计算得到阈值∈，计算公式如下：
Figure BDA0003464246360000048
其中
Figure BDA0003464246360000051
是
Figure BDA0003464246360000052
的均值，z根据城市供水管网采集数据实际条件人为设定的有序正数集合，
Figure BDA0003464246360000053
是序列标准差，根据此公式可以计算出一系列的阈值，最终得确定阈值∈，计算公式如下：
Figure BDA0003464246360000054
其中
Figure BDA0003464246360000055
等于序列的移动平均值减去序列中小于∈的子序列的移动平均值，
Figure BDA0003464246360000056
等于序列的标准差减去序列中小于∈的子序列的标准差，ea是序列中大于∈的异常值子序列，Eseq是异常值子序列中连续序列的个数。
与现有技术相比，上述方案至少具有以下显著效果：
1.本发明采用LSTM神经网络构建管网供水预测模型，针对供水管网真实监测数据的特点，能很好的拟合管网中流量或压力等时间序列数据的周期性，同时以天、月、年不同时间段分别进行深入分析，评估时间对监测数据的影响，在实际场景中具有出色的预测效果。
2.本发明引入基于无监督的动态误差阈值确定算法进行爆管事件的判定，通过指数加权移动平均法(EWMA)平滑预测误差；使用最少的异常序列，最少的异常点个数，使得去除异常后的序列与原有序列的均值和标准差尽可能大，动态的异常判定阈值，作为判断当前时刻检测点是否异常的准则,以更准确地检测城市供水管网供水异常状况。
附图说明
图1为本发明工作流程图。
具体实施方式
本发明是一种基于LSTM模型和动态阈值确定算法的爆管检测实现方法，具体步骤如下：
步骤一：数据准备
供水管网数据往往具有一定的时间关联性和周期性，因此根据实际供水情况采集某地区一年内作为一个周期的供水管网数据，并提取提取流量、压力两个在爆管事件发生时波动较大的属性作为特征。需要清洗掉准备数据集中的异常数据，保证预测数据的准确性，对未来一段时间内采集数据进行预测。最后将数据集划分为训练集、验证集和测试集。
步骤二：训练模型
基于双向LSTM神经网络，网络模型的训练能让网络通过训练数据集不断的调整其中的参数，使损失函数收敛。训练过程中确定几个关键的超参数选择：学习速率、LSTM的层数、每层LSTM网络单元数目。在学习率优化方面，采用学习率退火算法，提升模型拟合效果。
步骤三：预测数据
现实场景下，传感器采集数据时间间隔为15分钟，构建的预测模型预测数据时间跨度为3天，即288个预测数据，由于时间跨度较长，采用的是循环预测的思路，每次预测12个数据，添加到数据集中充当预测x，然后在预测新的 12个y，再添加到预测x列表中，如此往复。最终预测出288个点，即3天的预测数据。
步骤四：异常判定
在步骤三的基础上，计算出每一步的预测误差et，添加到长度为h的误差向量e中，通过指数移动加权平均(EWMA)将误差做平滑处理，来抑制LSTM预测模型由于数据突变时出现的误差峰值；其次，根据平滑后的误差计算出一系列阈值∈，在一系列阈值中计算得到当前点的阈值大小∈；最后，将对应预测点处的预测误差et与阈值∈进行比较，et>∈即在此点出现爆管事件，从而进行后续工作，向监管人员发出告警，以便城市管网工作人员及时响应。
综上所述，针对目前城市管网中爆管频发、巡检效率低下、人力资源耗费大的问题，本发明提出一种基于LSTM模型和动态阈值确定算法的爆管检测实现方法，通过结合LSTM网络在时序序列预测方面的强大性能和基于无监督的动态误差阈值确定算法，能够获得优越的预测性能以及有效的降低爆管检测的误报率，在城市供水管网爆管检测方面具有实际应用价值。
以上显示和描述了本发明的基本原理、主要特征和本发明的优点。本领域技术人员可以理解，本发明的保护范围不局限于所述的具体实施方式。在不偏离本发明的原理的前提下,本领域技术人员可以对相关技术特征进行等同的更改或替换，需要注意的是，更改或替换之后的技术方案都将落入本发明的保护范围之内。

Claims (3)

1.一种基于LSTM模型和动态阈值确定算法的爆管检测方法，其特征包括：
1)基于LSTM神经网络的管网供水预测模型；
2)基于动态误差阈值确定算法的爆管判定方法。
2.根据权利要求1所述的基于LSTM神经网络的管网供水预测模型，其特征是：由于城市供水管网中大规模的数据通过SCADA系统采集并保存，神经网络在管网系统中的应用具备了先决条件；并且，供水管网采集数据是按时间顺序排列的、随时间变化且相互关联的时间序列。因此提取管网数据中流量、压力、时间等属性特征，考虑到采集数据的时间关联性明显，且前后时间段内都具有关联性，故采用双向LSTM神经网络构建城市管网供水预测模型，利用该预测模型预测管网在未来一段时间内的正常采集数据值。
3.根据权利要求1所述的基于动态误差阈值确定算法的爆管判定方法，其特征是：由于构建好的预测模型在预测数据时时间跨度较大，误差存在放大现象，所以采用循环预测的方式，将每次预测结果作为下一步的预测数据，从而有效的降低预测误差放大幅度；且考虑到在实际供水场景中，并没有足够的带异常标签的数据，所以引入了一种无监督的方法确定预测模型的误差阈值，通过指数加权移动平均法(EWMA)对预测误差做平滑化处理，根据当前误差的历史误差值计算得到当前预测数据点的误差阈值，从而动态化的更新阈值，通过比较预测误差和阈值之间的大小判定是否发生爆管，有效的降低城市供水管网爆管检测的误报率。
CN202210046208.1A 2022-01-11 2022-01-11 一种基于lstm模型和动态阈值确定算法的爆管检测方法 Pending CN114462688A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210046208.1A CN114462688A (zh) 2022-01-11 2022-01-11 一种基于lstm模型和动态阈值确定算法的爆管检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210046208.1A CN114462688A (zh) 2022-01-11 2022-01-11 一种基于lstm模型和动态阈值确定算法的爆管检测方法

Publications (1)

Publication Number Publication Date
CN114462688A true CN114462688A (zh) 2022-05-10

Family

ID=81410187

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210046208.1A Pending CN114462688A (zh) 2022-01-11 2022-01-11 一种基于lstm模型和动态阈值确定算法的爆管检测方法

Country Status (1)

Country Link
CN (1) CN114462688A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117236657A (zh) * 2023-11-14 2023-12-15 山东辰智电子科技有限公司 基于实时水压的城市供水区域动态划分控制系统及方法
CN117370906A (zh) * 2023-08-21 2024-01-09 长江生态环保集团有限公司 基于单点和时间序列异常检测的爆管检测及性能评估方法
CN117370906B (zh) * 2023-08-21 2024-05-10 长江生态环保集团有限公司 基于单点和时间序列异常检测的爆管检测及性能评估方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117370906A (zh) * 2023-08-21 2024-01-09 长江生态环保集团有限公司 基于单点和时间序列异常检测的爆管检测及性能评估方法
CN117370906B (zh) * 2023-08-21 2024-05-10 长江生态环保集团有限公司 基于单点和时间序列异常检测的爆管检测及性能评估方法
CN117236657A (zh) * 2023-11-14 2023-12-15 山东辰智电子科技有限公司 基于实时水压的城市供水区域动态划分控制系统及方法

Similar Documents

Publication Publication Date Title
CN107153874B (zh) 水质预测方法及系统
CN110163429B (zh) 一种基于相似日优化筛选的短期负荷预测方法
CN109472403B (zh) 一种集合经验模态分解及遥相关的中长期径流预报方法
CN111275255A (zh) 一种混凝土坝变形监测预报模型的构建方法
CN112990500B (zh) 基于改进加权灰色关联分析的台区线损分析方法及系统
CN110378504B (zh) 一种基于高维Copula技术的光伏发电爬坡事件概率预测方法
CN111754034A (zh) 一种基于混沌优化神经网络模型的时间序列预测方法
CN114462688A (zh) 一种基于lstm模型和动态阈值确定算法的爆管检测方法
CN108615098A (zh) 基于贝叶斯生存分析的供水管网管道爆管风险预测方法
CN110751312A (zh) 一种基于多因子的系统动力学生活需水预测方法和系统
CN110458344B (zh) 一种自适应时间分辨率的超短期风电功率预测方法
CN113434989A (zh) 一种基于注意力机制和lstm的管网漏损量预测方法及系统
CN112836920A (zh) 煤电机组能效状态评价方法、装置及煤电机组系统
Simutis et al. Artificial neural networks of improved reliability for industrial process supervision
CN116305985A (zh) 一种基于多传感器数据融合的局部智能通风方法
CN114386672B (zh) 环境大数据物联网智能检测系统
CN112801388B (zh) 一种基于非线性时间序列算法的电力负荷预测方法及系统
CN116341705A (zh) 基于稀疏标签的长短期记忆网络水质参数预测方法
Wan et al. Gradual leak detection in water distribution networks based on multistep forecasting strategy
CN114943328A (zh) 基于bp神经网络非线性组合的sarima-gru时序预测模型
CN108171408A (zh) 一种污水来水与出水量建模方法
CN111143774B (zh) 一种基于影响因素多状态模型的电力负荷预测方法和装置
CN113159395A (zh) 一种基于深度学习的污水处理厂进水流量预测方法及系统
CN112487364B (zh) 一种基于指数加权移动平均值算法的小泄漏检测方法
CN117540938B (zh) 基于td3强化学习优化的集成式建筑能耗预测方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination