CN116975763A - 一种基于双谱和卷积神经网络的供水管网异常诊断方法 - Google Patents

一种基于双谱和卷积神经网络的供水管网异常诊断方法 Download PDF

Info

Publication number
CN116975763A
CN116975763A CN202310917352.2A CN202310917352A CN116975763A CN 116975763 A CN116975763 A CN 116975763A CN 202310917352 A CN202310917352 A CN 202310917352A CN 116975763 A CN116975763 A CN 116975763A
Authority
CN
China
Prior art keywords
data
convolutional neural
neural network
water supply
model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310917352.2A
Other languages
English (en)
Inventor
刘芳
于晓宇
李金儒
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tongji University
Original Assignee
Tongji University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tongji University filed Critical Tongji University
Priority to CN202310917352.2A priority Critical patent/CN116975763A/zh
Publication of CN116975763A publication Critical patent/CN116975763A/zh
Pending legal-status Critical Current

Links

Abstract

本发明提供一种基于双谱和卷积神经网络的供水管网异常诊断方法,属于供水网管异常诊断技术领域,包括以下步骤:1)获取初始流量数据集;2)划分得到每日数据,剔除异常值和缺失值;3)异常数据扩增;4)模型定义。训练及参数调优;5)得到训练后模型;6)对新进输入数据进行评估。本发明使用信号处理中的双谱方法获取供水管网日流量时间序列的特征,再利用现有的真实流量数据集制作双谱训练、验证和测试数据集,训练卷积神经网络模型判断管网的异常情况,本发明方法能有效地抑制原始流量时间序列信号中的高斯噪声,高效提取信号中的故障信息。同时能避免人为干预对结果的影响,同时更全面地捕获异常的特征。

Description

一种基于双谱和卷积神经网络的供水管网异常诊断方法
技术领域
本发明属于供水管网技术领域,尤其涉及一种基于双谱和卷积神经网络的供水管网异常诊断方法。
背景技术
供水管网是现代城市的“生命线”,但由于管道质量、施工水平、地面运动和内部状态变化的影响,管道极易受到破坏。据统计,由管道泄漏或爆裂造成的水损失约占城市用水总量的30%左右。这直接导致了水厂运营成本的上升,并降低供水系统的服务质量,甚至导致大面积的供水污染。一个能够高效且准确检测供水系统异常状态的模型或技术是解决以上问题的关键。
传统的供水管网异常检测主要由人工进行,需工作人员在现场通过探地雷达、导波检测、示踪气体等手段,根据反射声波等观察量,对管线的潜在漏损病害进行识别,评判其健康状态。人工排查方法虽然在业内具有较丰富的技术积累,但高度依赖人工经验,并需耗费大量人力物力。
基于统计分析的方法统计分析方法主要从历史数据中分析供水管网运行状态数据的正常模式,以检测管网的异常状态。此种方法基于已有的统计方法实现,不要设计新的数学模型,技术较为简单。但是,该方法对于管网中的流量瞬态变化检测灵敏度较差
平衡方法基于质量守恒原理,在一个供水区域内流入和流出的总水量应当相等。通过对实测流入/流出差值进行检测,当该差值大该方法的问题在于其易受环境扰动的影响,容易出现误报的情况;另一方面,不同区域的告警阈值需要分别确定,这造成了额外的工作量于某一特定阈值时即告警。。
基于模型的方法对管网的运行时状态进行了建模,通过数学或模拟方法,能够确定给定管网中流量的数学表示。如果实测流量和估计流量的差值大于某个阈值,则发出告警。这种方法的问题在于模型的设计较为复杂,且理论模型和实际情况存在差异,人工设计的模型可能无法考虑到所有可能的异常情况。
基于信号处理技术的方法对原始流量时间序列进行变换并提取特征,通过区分正常/异常情况的特征实现对管网异常的告警。但由于信号处理的过程本身需要大量的人工干预,导致提取的特征无法完全反映异常情况,因此模型难以达到理想的精度。
Guo Guancheng(2020)等人将信号处理中的短时傅里叶变换与卷积神经网络结合,对供水管网中的漏损进行检测。该方法使用短时傅里叶变换(STFT)提取时频域特征,并将这些特征输入到TFCNN模型中进行训练和测试。该方法在不同的信噪比条件下具有较高的准确性和稳定性,能够有效地检测漏损。
方法主要分为时频域特征提取和TFCNN模型训练两部分。时频域特征提取是该方法的第一步,通过对水压信号进行预处理和分析,使用短时傅里叶变换(STFT)提取时频域特征。这些特征包括不同时间和频率下的信号强度和相位信息,能够反映漏损信号的时频分布特征。这些特征被用于训练和测试TFCNN模型。
TFCNN模型是该方法的核心部分,它是一种基于卷积神经网络(CNN)的模型,能够自动学习时频域特征和漏损标签之间的关系。该模型包括三个CNN层,每个CNN层对应一个时频域特征图,通过并行连接这三个CNN层,能够提高漏损检测的准确性和稳定性。此外,模型还使用dropout层以进一步提高模型的性能和泛化能力。
尽管该方法使用了STFT去提取水压信号的特征,但STFT方法本身只能获取较低阶的频率耦合信息,对于信号中隐含的高阶信息,STFT方法可能无法很好地提取,从而影响漏损检测的准确性。此外,该方法的训练和测试需要大量的数据,如果数据集较小,可能会导致模型的准确性和稳定性下降。
Xu Weirong(2019)等人基于傅里叶变换开发了一种扰动提取方法,并使用孤立森林对爆管进行检测。该方法可以自动检测细微的爆管信号,实现实时的泄漏和爆裂检测,对于水配管网络的管理和维护具有重要意义。
方法主要包括扰动提取和孤立森林两个部分。扰动提取通过傅里叶变换将原始压力数据转换到频域,然后去除低频成分和正常需求变化的影响,提取出高频扰动信号。这些高频扰动信号包含管网中的爆管和渗漏的相关信息。
孤立森林方法被用于检测扰动信号中存在的异常。该方法通过构建一组隔离树来对数据进行分割,然后通过计算数据点在隔离树中的路径长度来确定其异常程度。与其他异常检测方法相比,孤立森林方法具有许多优点,例如可以处理高维数据、不需要训练数据、可扩展性较好等。
该方法虽然在试验数据集上取得了较好的效果,但由于高频扰动信号的确定需要大量的人工干预,因此无法全面地获取所有类型的异常特征。对于一些特殊的异常情况,可能会出现误报或漏报的情况。
综上所述,上述方法分别存在着人力成本高、模型敏感度低、模型设计复杂和特征选取不全面等问题。尽管部分方法在管道测试台上达到了较高的精度,但由于真实管网条件的复杂性,测试台的结果往往和真实结果存在较大差异,进而无法实现高效准确的管网异常检测。
发明内容
本发明的目的在于提供一种基于双谱和卷积神经网络的供水管网异常诊断方法,其特征在于,包括如下步骤:
S1:基于真实的供水管网流量数据,获取初始数据集;
S2:对获取的初始数据集中存在的异常数据进行扩增,得到扩增数据集;
S3:将扩增数据集分为测试集、验证集和测试集,并计算三个数据集的双谱图;
S4:构建卷积神经网络模型;
S5:通过训练集、验证集和测试集完善卷积神经网络模型,得到最终的模型效果;
S6:计算新进的每日流量数据的双谱图,通过完善后的卷积神经网络模型完成供水管网当日的异常诊断。
进一步地,S1具体为:设定时间序列为X,表示为:
X={x1,x2,…,xn}
其中,n为数据总量;基于时间序列X的表达公式,得到xi为i时刻的流量数据,以天为单位对原始数据集进行划分,设划分结果集合为Sd,表示为:
Sd={D1,…,D731{x1,…,x1440},{x1441,…,x2880},…,{xk,…,xk+1440-1}}
基于划分结果集合Sd,设定第i天的流量数据为异常数据,则,第i天的流量数据的表达式为:
Di={x(i-1)×1440+1,…,xi×1440}
将划分结果集合Sd中的明显异常值的Di去除,得到初始数据集Sd'。
进一步地,扩增具体包括如下步骤:
S21:从初始数据集Sd'中随机选取一个数据D'i
S22:当数据D'i为异常数据时,回到S21;当数据D'i为正常数据时,在数据D'i上叠加一个新的异常流量偏移,构造新的异常流量数据D'i2,将数据D'i2加入至初始数据集Sd'中;
S23:当初始数据集Sd'数量未达到目标值时,回到S21;当初始数据集Sd'数量达到目标值时,得到扩增数据集
进一步地,S3中,每个数据的双谱图的计算具体包括如下步骤:
S31:将数据分为K段,每段M个样本,即N=K·M,并减去每段的样本均值;
S32:计算每段的离散傅里叶变换系数,计算公式表示为:
其中,i=1,…,K,i为第i天;
S33:求每段的离散傅里叶变换系数的三重相关数,计算公式表示为:
其中,i=1,…,K;0≤λ2≤λ1,且fs为采样频率;/> 为频率样本间所需的空间;N0和L1满足M=(2L1+1)N0
S34:通过计算K段的平均值得到数据的双谱估计值,计算公式表示为:
其中,ω1的计算公式为:
ω2的计算公式为:
分别通过对集合S'd中的三个数据集的所有数据进行离散傅里叶变换,得到三个双谱数据集。
进一步地,S4中,卷积神经网络模型包括卷积层、批标准化层、平坦层、全连接层和Softmax激活函数,通过使用Softmax对全连接网络的输出进行处理,完成S6中供水管网当日的异常诊断。
进一步地,S5具体包括如下步骤:
S51:使用训练集对卷积神经网络模型进行训练;
S52:使用验证集对训练后的卷积神经网络模型进行评估;
S53:以提高模型在测试集上的精度为目的,修改模型中的网络层数、卷积核大小等超参数;
超参数包括训练参数和网络结构,训练参数包括学习率、数据批次大小和训练迭代数;网络结构包括卷积核大小、卷积核移动步长、中间层层数及各中间层节点数量。
S54:重复S51-S53,完成卷积神经网络模型的优化;
S55:使用测试集对优化完成后的卷积神经网络模型进行评价,作为最终的模型效果。
进一步地,S6具体为:计算当日流量数据的双谱图,并将得到的双谱图输入优化后的卷积神经网络模型,最终根据输出二维向量的值确定当日数据存在异常情况的概率。
与现有技术相比,本发明的有益效果主要体现在:
1、本发明提出的基于双谱和卷积神经网络的异常诊断方法在多个不同信噪比(SNR)下使用模型进行试验,计算相应的识别效率,发现本方法有一定的优势,具有很强的抗干扰能力,能够实现在高信噪比下的故障诊断。
2、本发明所述方法使用双谱方法进行高阶特征提取。由于异常情况发生时,时间序列中的高频成分的耦合性增加,因此双谱方法能够提取更加丰富的特征信息,提高了故障诊断的准确性和可靠性。相比于其它特征提取方法,该方法更加高效、准确,并能提取信号中存在的高阶信息。
3、本发明中的卷积神经网络实现深度特征的自学习,能够自动学习不同情况对应的特征,避免了人工提取特征的干扰,特别是对于高阶特征的提取更加有效。此外,该方法能够还更新学习,提高了模型对新的异常情况的泛化性能。
附图说明
图1为本发明整体的流程示意图。
图2为本发明中卷积神经网络结构示意图
具体实施方式
下面将结合示意图对本发明一种基于双谱和卷积神经网络的供水管网异常诊断方法进行更详细的描述,其中表示了本发明的优选实施例,应该理解本领域技术人员可以修改在此描述的本发明,而仍然实现本发明的有利效果,因此,下列描述应当被理解为对于本领域技术人员的广泛知道,而并不作为对本发明的限制。
如图1所示,一种基于双谱和卷积神经网络的供水管网异常诊断方法包括以下步骤:
步骤一:获取初始数据集
本发明使用来自上海市某供水管理站2019-2020年的真实流量数据作为训练数据,数据的采样频率为1min/次,共计包含731天的流量数据。设时间序列为X:
X={x1,x2,…,xn}
其中n为数据总量,xi为i时刻的流量数据。首先以天为单位对原始数据集进行划分,设划分结果集合为Sd
Sd={D1,…,D731{x1,…,x1440},{x1441,…,x2880},…,{xk,…,xk+1440-1}}
上式中Di={x(i-1)×1440+1,…,xi×1440},对应第i天的流量数据。将上述数据中存在缺失的或有明显异常值的Di去除,得到初始数据集Sd'。
步骤二:数据增强
步骤一得到的初始数据集中存在异常数据占比过少的问题,使用该数据集训练的模型对异常情况的判别效果不佳。为此,对原始数据集中存在的异常情况进行扩增。扩增方法如下:
从Sd'中随机选取一个数据D'i
如果D'i是异常数据,回到步骤(1)
否则,在D'i上叠加一个新的异常流量偏移,构造新的异常流量数据D'i2,将D'i2加入到S'd
数据集数量达到目标值,得到扩增后的数据集否则回到步骤(1)
经过以上步骤,可获得一个对异常数据进行增强的数据集
步骤三:计算双谱图
对于步骤二得到的扩增数据集按如下方法计算每个数据/> 的双谱图:
首先将数据分为K段,每段M个样本,即N=K·M,并减去每段的样本均值。如果必要,每段补零以便得到快速傅里叶变换(FFT)的一习惯长度M。
计算每段的离散傅里叶变换系数
式中:i=1,…,K,i对应第i天
求系数的三重相关数
式中:i=1,…,K,0≤λ2≤λ1其中fs为采样频率。/>为频率样本间所需的空间,N0和L1满足M=(2L1+1)N0
所给数据的双谱估计值由K段的平均值给出
上式中
对集合S'd中的所有数据进行上述变换,得到双谱数据集Bd
步骤四:构建卷积神经网络
参考图2,卷积神经网络包括卷积层、池化层和全连接层等组成部分网络结构。
卷积神经网络模型的具体结构参数如下:
卷积层1
卷积核尺寸为3×3,输出通道数为32
批标准化层
位于激活层前,将上一层的数据分布标准化
卷积层2
卷积核尺寸为3×3,输出通道数为16
批标准化层
位于激活层前,将上一层的数据分布标准化
平坦层
将第二层卷积的16个通道的输出拼接并展平为一维向量(设长度为L)
全连接层
全连接网络,输入输出长度分别为L和2
Softmax激活函数
使用Softmax对全连接网络的输出进行处理,得到异常情况的概率
步骤五:模型训练及调优
将增强后的数据集分为训练集、验证集和测试集3部分。使用训练集对模型进行训练。训练完成的模型使用验证集进行评估。为提高模型在测试集上精度,对训练参数和网络结构这两类模型超参数进行调整,训练参数包括学习率、数据批次大小和训练迭代数;网络结构包括卷积核大小、卷积核移动步长、中间层层数及各中间层节点数量。重复训练-评估这两步骤,完成对模型的调优。对调优完成的模型使用测试集进行评价,作为最终的模型效果。
步骤六:根据输入数据进行预测
对于新进的每日流量数据,先使用步骤三的方法计算其双谱图,再将双谱图输入卷积神经网络。根据输出二维向量的值确定当日数据的存在异常情况的概率。
上述仅为本发明的优选实施例而已,并不对本发明起到任何限制作用。任何所属技术领域的技术人员,在不脱离本发明的技术方案的范围内,对本发明揭露的技术方案和技术内容做任何形式的等同替换或修改等变动,均属未脱离本发明的技术方案的内容,仍属于本发明的保护范围之内。

Claims (8)

1.一种基于双谱和卷积神经网络的供水管网异常诊断方法,其特征在于,包括如下步骤:
S1:基于真实的供水管网流量数据,获取初始数据集;
S2:对获取的初始数据集中存在的异常数据进行扩增,得到扩增数据集;
S3:将所述扩增数据集分为测试集、验证集和测试集,并计算三个数据集的双谱图;
S4:构建卷积神经网络模型;
S5:通过所述训练集、验证集和测试集完善所述卷积神经网络模型,得到最终的模型效果;
S6:计算新进的每日流量数据的双谱图,通过完善后的卷积神经网络模型完成供水管网当日的异常诊断。
2.根据权利要求1所述的基于双谱和卷积神经网络的供水管网异常诊断方法,其特征在于,所述S1具体为:设定时间序列为X,表示为:
X={x1,x2,...,xn}
其中,n为数据总量;基于所述时间序列X的表达公式,得到xi为i时刻的流量数据,以天为单位对原始数据集进行划分,设划分结果集合为Sd,表示为:
Sd={D1,...,D731{x1,...,x1440},{x1441,...,x2880},...,{xk,...,xk+1440-1}}
基于划分结果集合Sd,设定第i天的流量数据为异常数据,则,第i天的流量数据的表达式为:
Di={x(i-1)×1440+1,…,xi×1440}
将所述划分结果集合Sd中的明显异常值的Di去除,得到初始数据集Sd'。
3.根据权利要求2所述的基于双谱和卷积神经网络的供水管网异常诊断方法,其特征在于,所述扩增具体包括如下步骤:
S21:从初始数据集Sd'中随机选取一个数据D'i
S22:当数据D'i为异常数据时,回到S21;当数据D'i为正常数据时,在数据D'i上叠加一个新的异常流量偏移,构造新的异常流量数据D'i2,将数据D'i2加入至初始数据集Sd'中;
S23:当初始数据集Sd'数量未达到目标值时,回到S21;当初始数据集Sd'数量达到目标值时,得到扩增数据集
4.根据权利要求3所述的基于双谱和卷积神经网络的供水管网异常诊断方法,其特征在于,所述S3中,每个数据的双谱图的计算具体包括如下步骤:
S31:将数据分为K段,每段M个样本,即N=K·M,并减去每段的样本均值;
S32:计算每段的离散傅里叶变换系数,计算公式表示为:
其中,i为第i天;
S33:求每段的离散傅里叶变换系数的三重相关数,计算公式表示为:
其中,i=1,…,K;0≤λ2≤λ1,且fs为采样频率;/> 为频率样本间所需的空间;N0和L1满足M=(2L1+1)N0
S34:通过计算K段的平均值得到数据的双谱估计值,计算公式表示为:
其中,ω1的计算公式为:
ω2的计算公式为:
5.根据权利要求4所述的基于双谱和卷积神经网络的供水管网异常诊断方法,其特征在于,所述S4中,卷积神经网络模型包括卷积层、批标准化层、平坦层、全连接层和Softmax激活函数,通过使用Softmax对全连接网络的输出进行处理,完成S6中供水管网当日的异常诊断。
6.根据权利要求5所述的基于双谱和卷积神经网络的供水管网异常诊断方法,其特征在于,所述S5具体包括如下步骤:
S51:使用训练集对所述卷积神经网络模型进行训练;
S52:使用验证集对训练后的所述卷积神经网络模型进行评估;
S53:以提高模型在测试集上的精度为目的,修改模型中的网络层数、卷积核大小等超参数;
S54:重复S51-S53,完成卷积神经网络模型的优化;
S55:使用测试集对优化完成后的卷积神经网络模型进行评价,作为最终的模型效果。
7.根据权利要求6所述的基于双谱和卷积神经网络的供水管网异常诊断方法,其特征在于,所述超参数包括训练参数和网络结构,所述训练参数包括学习率、数据批次大小和训练迭代数;所述网络结构包括卷积核大小、卷积核移动步长、中间层层数及各中间层节点数量。
8.根据权利要求7所述的基于双谱和卷积神经网络的供水管网异常诊断方法,其特征在于,所述S6具体为:计算当日流量数据的双谱图,并将得到的双谱图输入优化后的卷积神经网络模型,最终根据输出二维向量的值确定当日数据存在异常情况的概率。
CN202310917352.2A 2023-07-25 2023-07-25 一种基于双谱和卷积神经网络的供水管网异常诊断方法 Pending CN116975763A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310917352.2A CN116975763A (zh) 2023-07-25 2023-07-25 一种基于双谱和卷积神经网络的供水管网异常诊断方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310917352.2A CN116975763A (zh) 2023-07-25 2023-07-25 一种基于双谱和卷积神经网络的供水管网异常诊断方法

Publications (1)

Publication Number Publication Date
CN116975763A true CN116975763A (zh) 2023-10-31

Family

ID=88482606

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310917352.2A Pending CN116975763A (zh) 2023-07-25 2023-07-25 一种基于双谱和卷积神经网络的供水管网异常诊断方法

Country Status (1)

Country Link
CN (1) CN116975763A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117788841A (zh) * 2024-02-23 2024-03-29 青岛大学 一种基于双谱分析和cnn的永磁电机退磁故障诊断方法
CN117788841B (zh) * 2024-02-23 2024-05-17 青岛大学 一种基于双谱分析和cnn的永磁电机退磁故障诊断方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117788841A (zh) * 2024-02-23 2024-03-29 青岛大学 一种基于双谱分析和cnn的永磁电机退磁故障诊断方法
CN117788841B (zh) * 2024-02-23 2024-05-17 青岛大学 一种基于双谱分析和cnn的永磁电机退磁故障诊断方法

Similar Documents

Publication Publication Date Title
CN111853555B (zh) 一种基于动态过程的供水管网暗漏识别方法
CN108931387B (zh) 提供准确诊断决策的基于多传感器信号分析的故障诊断方法
CN111664365B (zh) 基于改进vmd和1dcnn的油气管道泄漏检测方法
CN101539241B (zh) 一种管道泄漏监测网络的层级式多源数据融合方法
CN105240187B (zh) 基于混沌理论实现水轮机状态监测和故障诊断的方法
Song et al. Gas leak detection in galvanised steel pipe with internal flow noise using convolutional neural network
CN100456010C (zh) 基于压力信号拐点检测油气管道泄漏的方法
CN103033567B (zh) 一种基于导波的管道缺陷信号识别方法
CN101592288A (zh) 一种管道泄漏辨识方法
CN111008363B (zh) 多变量因果驱动的复杂机电系统服役安全态势评估方法
CN111520615B (zh) 基于线谱对和三次插值搜索的管网漏损识别与定位方法
CN108804740B (zh) 基于集成改进ica-krr算法的长输管道压力监测方法
CN112097126B (zh) 一种基于深度神经网络的供水管网爆管管道精确识别方法
CN109838696A (zh) 基于卷积神经网络的管道故障诊断方法
CN112101480A (zh) 一种多变量聚类与融合的时间序列组合预测方法
CN112665801B (zh) 基于卷积神经网络的输气管线阀门内漏识别装置及方法
CN108361560A (zh) 一种基于小波包用于天然气管道安全监测装置的管道安全识别方法
Mei et al. Adaptive signal enhancement based on improved VMD-SVD for leak location in water-supply pipeline
CN107228740A (zh) 气体阀门内漏在线诊断方法
CN111695465A (zh) 基于压力波模式识别的管网故障诊断与定位方法及系统
Shi et al. Prediction method of ball valve internal leakage rate based on acoustic emission technology
CN108181059A (zh) 基于小波信号的多相流管道泄漏声波信号识别方法
Feng et al. Gas turbine blade fracturing fault diagnosis based on broadband casing vibration
CN114263621A (zh) 一种离心泵空化故障诊断模拟的试验方法及系统
CN116975763A (zh) 一种基于双谱和卷积神经网络的供水管网异常诊断方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination