CN108167653B - 基于动态神经网络预测的城市供水管网爆管检测方法 - Google Patents

基于动态神经网络预测的城市供水管网爆管检测方法 Download PDF

Info

Publication number
CN108167653B
CN108167653B CN201711412232.8A CN201711412232A CN108167653B CN 108167653 B CN108167653 B CN 108167653B CN 201711412232 A CN201711412232 A CN 201711412232A CN 108167653 B CN108167653 B CN 108167653B
Authority
CN
China
Prior art keywords
data
flow
booster
neural network
duration
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201711412232.8A
Other languages
English (en)
Other versions
CN108167653A (zh
Inventor
侯迪波
朱乃富
喻洁
黄平捷
张光新
张宏建
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang University ZJU
Original Assignee
Zhejiang University ZJU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang University ZJU filed Critical Zhejiang University ZJU
Priority to CN201711412232.8A priority Critical patent/CN108167653B/zh
Publication of CN108167653A publication Critical patent/CN108167653A/zh
Application granted granted Critical
Publication of CN108167653B publication Critical patent/CN108167653B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • FMECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F17STORING OR DISTRIBUTING GASES OR LIQUIDS
    • F17DPIPE-LINE SYSTEMS; PIPE-LINES
    • F17D5/00Protection or supervision of installations
    • F17D5/02Preventing, monitoring, or locating loss

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • General Engineering & Computer Science (AREA)
  • Testing And Monitoring For Control Systems (AREA)

Abstract

本发明公开了基于动态神经网络预测的城市供水管网爆管检测方法。S1.利用城市供水节点的W时长的正常历史流量数据作为原始时间序列;S2.对原始时间序列进行分析,得到预处理后的时间序列;S3.小波分析:利用小波分析对预处理后的时间序列进行去噪,得到去噪后的流量数据;S4.模型建立:利用NAR动态神经网络对去噪后的流量数据进行训练,建立爆管识别模型;S5.W时长的流量时间窗随时间向后滑动,对流量数据进行更新;S6.W时长的流量时间窗继续随时间向后滑动,重复S5步骤;直到流量异常的累计概率超过设定的阈值,则判断已发生爆管事件。本发明结合小波分析、动态神经网络预测算法,实现了基于动态神经网络预测的城市供水管网的爆管事件检测。

Description

基于动态神经网络预测的城市供水管网爆管检测方法
技术领域
本发明属于供水系统的测量类,主要涉及城市供水管网的漏损检测,具体提出一种基于动态神经网络预测的城市供水管网爆管检测方法。
背景技术
我国人口数量大,人均水资源不足,是一个缺水较为严重的国家。然而我国城市供水管网由于管龄的增大、管道质量问题,爆管事件时常发生,城市供水平均漏损率超过15%,而发达国家的漏损率控制在8%以下,差距显著。因此,对城市供水节点爆管事件的准确及时的检测尤为重要。
近年来,智慧水务逐步兴起,然而对管网大量的数据并没有得到充分的利用和分析。目前的供水管网漏损监测系统算法较为简单传统,当系统发生报警信息后,还需要进行人工的经验分析,检测耗时长,且工作人的劳动强度较大,不能准确及时的检测出突发的爆管事件,误报率极高。虽然已有一些理论研究以及试验,但由于供水管网中的不确定因素较多,成功应用于实际管网的例子较少且应用效果一般。目前,发展智能供水系统,耽误之急是实现管网系统的智能、快速、准确的爆管实时检测。
发明内容
为了解决现有技术的不足,本发明提供了一种基于动态神经网络预测的城市供水管网爆管检测方法。
一种基于动态神经网络预测的城市供水管网爆管检测方法,包括以下步骤:
S1. 利用城市供水节点的W时长的正常历史流量数据作为原始时间序列;
S2. 对原始时间序列进行分析,若S1中的原始时间序列存在缺失值,则利用极大似然估计法进行填补,若不存在缺失值则保留原始时间序列,从而得到预处理后的时间序列;
S3. 小波分析:利用小波分析对预处理后的时间序列进行去噪,得到去噪后的流量数据;
S4. 模型建立:利用NAR动态神经网络对去噪后的流量数据进行训练,得到预测的平均绝对相对偏差,根据预测的平均绝对相对偏差,建立爆管识别模型;
S5. W时长的流量时间窗随时间向后滑动,对流量数据进行更新,加入一定时长的新时刻的流量数据,去除相应时长的旧时刻的流量数据:
利用NAR动态神经网络对去噪后的流量数据的下一个时刻T1流量进行预测,得到T1预测值;实测下一个时刻T1流量得到T1实测值,计算T1实测值与T1预测值之间的相对误差,若相对误差超过允许的误差范围,则判断T1实测值为异常流量,并用T1预测值替换T1实测值,若相对误差没有超过允许的误差范围,则用T1实测值对去噪后的流量数据进行更新;
S6. W时长的流量时间窗继续随时间向后滑动,重复S5步骤;直到流量异常的累计概率超过设定的阈值,则判断已发生爆管事件,流量异常的累计概率计算如下:
首先定义一个B时长的爆管识别时间窗,当任一实测值被判定为流量异常时,计算该时刻开始后的B时长的流量异常的累计概率。若任一时刻的实测值被判定为流量异常,给该时刻的事件标记为1,否则为0,对爆管识别时间窗内的流量数据进行序列分析,将单点的异常转换为二进制的异常序列进行分析,流量异常的累计概率的计算公式如下:
异常概率 = a*异常比例+(1-a)*异常连续性,
公式中的a值通过整定过程得以确定,经验取值0.75,若在时间窗B内,异常概率超过预先设定的阈值,则判定为发生爆管事件,异常概率的计算包括两个部分:异常点在B时长的数据序列中所占的比例以及异常点的连续性,异常比例表示在数据序列中异常点占总点数的比例,异常连续性表示数据序列中最长的连续异常点长度占数据序列总长度的比例。
所述的S3步骤中,利用小波分析对时间序列进行去噪,具体如下:使用Daubechies小波函数对预处理后的时间序列进行多重小波分解得到数据信号的高频系数和低频系数,分解后对低频系数进行逆离散小波变换,重构出时间序列,重构后的信号即为去噪后的信号。
所述的S5步骤中,利用NAR动态神经网络对流量时间序列进行T1时刻流量的预测;神经网络的输入为前W时长的流量时间序列,输出为W时长的流量时间序列的下一个时刻点的流量。
所述的S6中,利用序列分析,将单点的异常转换为二进制的异常序列进行分析,爆管识别时间窗的设置方法如下:根据动态神经网络建立的预测模型,可实时判断流量是否异常并能估计流量的偏差值,根据偏差值的大小动态调整时间窗的长度,若偏差较大,则爆管识别时间窗长度可适当缩短,若偏差较大,则适当增长,长度变化范围在1—4小时,异常概率的阈值设置在0.6—0.85区间内,超过设定的阈值则判定可能发生爆管事件。
本发明结合小波分析、动态神经网络预测算法,实现了基于小波-NAR动态神经网络预测的城市供水节点的爆管事件检测。本发明提出的小波-NAR动态神经网络预测算法精度较高,平均绝对相对偏差仅为2.6%。本发明对异常事件的检出率较高,且通过设置时长为B的爆管识别时间窗,在确保较低的误报率的情况下,可以极大地提高爆管事件检出率,在城市供水管网检测方面具有较好的应用价值。
附图说明
图1为基于动态神经网络预测的城市供水管网爆管检测方法的流程图;
图2为某天预测值与实际值的对比图;
图3为预测值与实际值的相对误差结果;
图4为某供水节点的模拟爆管事件检测结果图。
具体实施方案
下面结合附图对本发明进一步描述。
基于动态神经网络预测的城市供水管网爆管检测方法的基本步骤如图1所示,主要包含:历史流量时间序列的预处理,NAR动态神经网络预测,异常值检测,爆管事件的判定。
一种基于动态神经网络预测的城市供水管网爆管检测方法,包括以下步骤:
S1. 利用城市供水节点的W时长的正常历史流量数据作为原始时间序列;
S2. 对原始时间序列进行分析,若S1中的原始时间序列存在缺失值,则利用极大似然估计法进行填补,若不存在缺失值则保留原始时间序列,从而得到预处理后的时间序列;
S3. 小波分析:利用小波分析对预处理后的时间序列进行去噪,得到去噪后的流量数据;
S4. 模型建立:利用NAR动态神经网络对去噪后的流量数据进行训练,得到预测的平均绝对相对偏差,根据预测的平均绝对相对偏差,建立爆管识别模型;
S5. W时长的流量时间窗随时间向后滑动,对流量数据进行更新,加入一定时长的新时刻的流量数据,去除相应时长的旧时刻的流量数据:
利用NAR动态神经网络对去噪后的流量数据的下一个时刻T1流量进行预测,得到T1预测值;实测下一个时刻T1流量得到T1实测值,计算T1实测值与T1预测值之间的相对误差,若相对误差超过允许的误差范围,则判断T1实测值为异常流量,并用T1预测值替换T1实测值,若相对误差没有超过允许的误差范围,则用T1实测值对去噪后的流量数据进行更新;
S6. W时长的流量时间窗继续随时间向后滑动,重复S5步骤;直到流量异常的累计概率超过设定的阈值,则判断已发生爆管事件,流量异常的累计概率计算如下:
首先定义一个B时长的爆管识别时间窗,当任一实测值被判定为流量异常时,计算该时刻开始后的B时长的流量异常的累计概率。若任一时刻的实测值被判定为流量异常,给该时刻的事件标记为1,否则为0,对爆管识别时间窗内的流量数据进行序列分析,将单点的异常转换为二进制的异常序列进行分析,流量异常的累计概率的计算公式如下:
异常概率 = a*异常比例+(1-a)*异常连续性
公式中的a值通过整定过程得以确定,经验取值0.75,若在时间窗B内,异常概率超过预先设定的阈值,则判定为发生爆管事件,异常概率的计算包括两个部分:异常点在B时长的数据序列中所占的比例以及异常点的连续性,异常比例表示在数据序列中异常点占总点数的比例,异常连续性表示数据序列中最长的连续异常点长度占数据序列总长度的比例。
所述的S3步骤中,利用小波分析对时间序列进行去噪,具体如下:使用Daubechies小波函数对预处理后的时间序列进行多重小波分解得到数据信号的高频系数和低频系数,分解后对低频系数进行逆离散小波变换,重构出时间序列,重构后的信号即为去噪后的信号。
所述的S5步骤中,利用NAR动态神经网络对流量时间序列进行T1时刻流量的预测;神经网络的输入为前W时长的流量时间序列,W的取值范围为24到48,输出为W时长的流量时间序列的下一个时刻点的流量。
所述的S6中,利用B时长的时间窗内流量异常的概率来判断是否发生真实爆管;可大大减少因个别时刻供水节点流量的波动影响,从而减少误报率。设时间窗的长度为B,若预测的流量与实际监测的流量值的误差超过相对误差阈值,则认为该时刻流量异常,给该时刻标记为1,否则为0;若在时间窗B内,得到的序列为01111101,根据计算公式,异常比例为3/4,异常连续性为5/8,取a为0.75,则最后在该时间段内发生爆管的概率为0.72。流量异常的概率超过预先设定的阈值,则判定为发生爆管事件。其中时间窗长度的设置方法如下:考虑到爆管事件检出的及时性,时间窗的长度不宜超过4小时;同时,为了减少误报率,时间窗的长度不宜小于1小时。在时间窗内,爆管事件的概率阈值建议在0.6—0.85区间内。
实施例
以绍兴市某供水节点的历史监测流量数据为实例进行仿真算法验证。选取2016年5月1日到2016年10月15日的历史数据,节点流量监测的时间间隔为1分钟,每个时刻的流量为该时刻的瞬时流量,为了提高模型的预测精度,将节点流量监测值间隔转换为30min(或1h),即取30min(或1h)内瞬时流量的平均值作为监测值。数据预处理后,在2016年10月1日到2016年10月15日的15天流量数据随机添加模拟爆管事件(即在某段时间内的流量值增大一定的百分比);每天设定了一个爆管事件,共15个爆管事件,事件持续时长为2个小时,爆管的泄漏增量为10%~50%,作为测试数据。
利用小波函数“db1”对流量时间序列进行3次分解。对于测试数据,利用前24个时刻点(即前一个小时)的正常流量预测下一个时刻的正常流量。为便于预测值与实际值进行对比,选取2016年5月1日的这一天的流量时间序列进行预测算法精度的测试,预测值与实际值的对比如图2所示,相对误差如图3所示。从图2和图3可看出,提出的小波-NAR神经网络预测算法精度较高,平均绝对相对偏差仅为2.6%。对加入异常事件的测试数据进行算法验证,时间窗长度设为2小时,检测结果如图4所示。通过计算可得,检出率约为95%,误报率约为3%。与目前基于支持向量回归预测和静态神经网络的方法相比,本发明在低误报率的条件下,检出率更高。对于一个供水管网监测系统,可大大减轻一些无用的人工劳动力。
在实际应用中,选择了绍兴市某供水企业的十个典型的监测站点,利用选取的十个站点某一周时长的历史监测数据进行算法验证。在该时间段内,绍兴市某供水企业的管网监测系统共有流量异常报警记录1708条,其中真实爆管检出一次;本发明检测出的流量异常报警记录共4条,真实爆管检出一次,相比之下大大减少了误报情况。可见本发明的技术在城市供水节点的爆管检测方面具有较好的应用价值。

Claims (4)

1.一种基于动态神经网络预测的城市供水管网爆管检测方法,其特征在于,包括以下步骤:
S1. 利用城市供水节点的W时长的正常历史流量数据作为原始时间序列;
S2. 对原始时间序列进行分析得到预处理后的时间序列:若S1中的原始时间序列存在缺失值,则利用极大似然估计法进行填补,若不存在缺失值则保留原始时间序列;
S3. 小波分析:利用小波分析对预处理后的时间序列进行去噪,得到去噪后的流量数据;
S4. 模型建立:利用NAR动态神经网络对去噪后的流量数据进行训练,得到预测的平均绝对相对偏差,根据预测的平均绝对相对偏差,建立爆管识别模型;
S5. W时长的流量时间窗随时间向后滑动,对流量数据进行更新,加入一定时长的新时刻的流量数据,去除相应时长的旧时刻的流量数据:
利用NAR动态神经网络对去噪后的流量数据的下一个时刻T1流量进行预测,得到T1预测值;实测下一个时刻T1流量得到T1实测值,计算T1实测值与T1预测值之间的相对误差,若相对误差超过允许的误差范围,则判断T1实测值为异常流量,并用T1预测值替换T1实测值,若相对误差没有超过允许的误差范围,则用T1实测值对去噪后的流量数据进行更新;
S6. W时长的流量时间窗继续随时间向后滑动,重复S5步骤;直到流量异常的累计概率超过设定的阈值,则判断已发生爆管事件,流量异常的累计概率计算如下:
首先定义一个B时长的爆管识别时间窗,当任一实测值被判定为流量异常时,计算该时刻开始后的B时长的流量异常的累计概率,若任一时刻的实测值被判定为流量异常,给该时刻的事件标记为1,否则为0,对爆管识别时间窗内的流量数据进行序列分析,将单点的异常转换为二进制的异常序列进行分析,流量异常的累计概率的计算公式如下:
异常概率 = a*异常比例+(1-a)*异常连续性,
公式中的a值通过整定过程得以确定,经验取值0.75,若在时间窗B内,异常概率超过预先设定的阈值,则判定为发生爆管事件,异常概率的计算包括两个部分:异常点在B时长的数据序列中所占的比例以及异常点的连续性,异常比例表示在数据序列中异常点占总点数的比例,异常连续性表示数据序列中最长的连续异常点长度占数据序列总长度的比例。
2.根据权利要求1所述的方法,其特征在于,所述的S3步骤中,利用小波分析对时间序列进行去噪,具体如下:使用Daubechies小波函数对预处理后的时间序列进行多重小波分解得到数据信号的高频系数和低频系数,分解后对低频系数进行逆离散小波变换,重构出时间序列,重构后的信号即为去噪后的信号。
3.根据权利要求1所述的方法,其特征在于,所述的S5步骤中,利用NAR动态神经网络对流量时间序列进行T1时刻流量的预测;神经网络的输入为前W时长的流量时间序列,输出为W时长的流量时间序列的下一个时刻点的流量。
4.根据权利要求1所述的方法,其特征在于,所述的S6中,利用序列分析,将单点的异常转换为二进制的异常序列进行分析,爆管识别时间窗的设置方法如下:根据动态神经网络建立的预测模型,可实时判断流量是否异常并能估计流量的偏差值,根据偏差值的大小动态调整时间窗的长度,若偏差较大,则爆管识别时间窗长度可适当缩短,若偏差较大,则适当增长,长度变化范围在1—4小时,异常概率的阈值设置在0.6—0.85区间内,超过设定的阈值则判定可能发生爆管事件。
CN201711412232.8A 2017-12-23 2017-12-23 基于动态神经网络预测的城市供水管网爆管检测方法 Active CN108167653B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711412232.8A CN108167653B (zh) 2017-12-23 2017-12-23 基于动态神经网络预测的城市供水管网爆管检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711412232.8A CN108167653B (zh) 2017-12-23 2017-12-23 基于动态神经网络预测的城市供水管网爆管检测方法

Publications (2)

Publication Number Publication Date
CN108167653A CN108167653A (zh) 2018-06-15
CN108167653B true CN108167653B (zh) 2019-04-02

Family

ID=62523896

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711412232.8A Active CN108167653B (zh) 2017-12-23 2017-12-23 基于动态神经网络预测的城市供水管网爆管检测方法

Country Status (1)

Country Link
CN (1) CN108167653B (zh)

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108830505A (zh) * 2018-06-28 2018-11-16 上海交通大学 一种基于数据驱动的爆管界定方法
CN108846232A (zh) * 2018-06-28 2018-11-20 上海交通大学 一种城市供水爆管界定方法
CN108803576A (zh) * 2018-07-24 2018-11-13 广东工业大学 一种温控系统的故障预警方法及相关装置
CN109282151B (zh) * 2018-09-06 2019-11-22 清华大学 基于时间序列形状分析的供水管网泄漏事件诊断方法
CN109578816B (zh) * 2018-12-14 2024-02-06 中冶京诚工程技术有限公司 给水管网爆管检测方法及装置、控制方法及装置
CN110119853B (zh) * 2019-05-29 2020-12-25 浙江大学 基于时间序列监测数据分析的供水管网漏损报警阈值选取方法
CN110231447A (zh) * 2019-06-10 2019-09-13 精锐视觉智能科技(深圳)有限公司 水质异常检测的方法、装置及终端设备
CN110351123B (zh) * 2019-06-19 2020-11-10 新华三大数据技术有限公司 链路流量预测方法、装置及电子设备
CN110347666B (zh) * 2019-06-28 2023-03-31 佛山科学技术学院 一种改善时序数据质量和预警的方法及装置
CN111046027B (zh) * 2019-11-25 2023-07-25 北京百度网讯科技有限公司 时间序列数据的缺失值填充方法和装置
CN111210083A (zh) * 2020-01-13 2020-05-29 上海威派格智慧水务股份有限公司 一种管网异常分析方法
CN112149750A (zh) * 2020-09-29 2020-12-29 浙江大学 一种供水管网爆管识别数据驱动方法
CN112818495B (zh) * 2021-02-22 2024-09-06 成都四为电子信息股份有限公司 一种新型管道压降测算算法参数的动态修正方法
CN113944888B (zh) * 2021-11-03 2023-12-08 北京软通智慧科技有限公司 燃气管道泄漏检测方法、装置、设备和存储介质
CN114352947B (zh) * 2021-12-08 2024-03-12 天翼物联科技有限公司 一种燃气管道泄漏检测方法、系统、装置及存储介质
CN114323412B (zh) * 2021-12-29 2024-04-30 杭州电子科技大学 一种供水管网压力扰动事件检测方法
CN117370906B (zh) * 2023-08-21 2024-05-10 长江生态环保集团有限公司 基于单点和时间序列异常检测的爆管检测及性能评估方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103226741B (zh) * 2013-05-10 2016-04-06 天津大学 城市供水管网爆管预测方法
CN103574291B (zh) * 2013-07-02 2016-11-23 同济大学 基于人工免疫系统的爆管定位方法
CN104061445B (zh) * 2014-07-09 2017-07-28 中国石油大学(华东) 一种基于神经网络的管道泄漏检测方法
CN104458895A (zh) * 2014-12-08 2015-03-25 清华大学 管道三维漏磁成像检测方法及系统
CN104654024A (zh) * 2015-02-12 2015-05-27 常州大学 一种广义回归神经网络城市燃气管道泄漏定位分析方法
CN105260784A (zh) * 2015-08-16 2016-01-20 东北石油大学 基于粗糙集与遗传小波神经网络的石油管道漏损预测方法
CN105546361A (zh) * 2016-03-08 2016-05-04 钱昊铖 基于ann的音波法输气管道泄漏监测方法

Also Published As

Publication number Publication date
CN108167653A (zh) 2018-06-15

Similar Documents

Publication Publication Date Title
CN108167653B (zh) 基于动态神经网络预测的城市供水管网爆管检测方法
CN113435725B (zh) 基于farima-lstm预测的电网主机动态阈值设定方法
CN106645935B (zh) 用电监测方法及系统
CN112730938B (zh) 一种基于用电采集大数据的窃电用户判断方法
Jindal et al. Tackling energy theft in smart grids through data-driven analysis
CN108491682A (zh) 降雨径流预报系统
US20110085649A1 (en) Fluctuation Monitoring Method that Based on the Mid-Layer Data
CN109827077A (zh) 一种水流量漏损预警方法、系统、装置以及存储介质
CN111198808A (zh) 预测性能指标的方法、装置、存储介质及电子设备
Mounce et al. Implementation of an on-line artificial intelligence district meter area flow meter data analysis system for abnormality detection: a case study
CN102095935B (zh) 一种交流电信号的瞬时相位测量方法
CN111859292A (zh) 一种夜间用水活跃小区的供水漏损监测方法
CN112801812B (zh) 基于物联网和时间序列分析的农村供水运行检测方法
CN102932077B (zh) 一种频谱占用度的测量方法
CN103116877B (zh) 一种水库水位过程平滑处理方法
CN110971492A (zh) 考虑广域量测时延的rtu全网同时断面生成方法及系统
CN117093827B (zh) 基于物联网的智慧消防给水数据处理系统
CN105046372B (zh) 一种逐日蔬菜价格的预测方法和装置
Yang et al. Probabilistic short-term wind power forecast using componential sparse Bayesian learning
CN105372479A (zh) 一种电能质量测量仪器的电压闪变测量方法
Liu et al. Application of autocorrelation method on ionospheric short-term forecasting in China
CN107679178A (zh) 一种降雨量展示方法及系统
Wanliss et al. Latitudinal variation of stochastic properties of the geomagnetic field
Singh et al. An ML-based ERA Algorithm for Estimation of Modes Utilizing PMU Measurements
Abed et al. Single home electricity power consumption forecast using neural networks model

Legal Events

Date Code Title Description
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant