CN117540329B - 基于机器学习的排水管网缺陷在线预警方法及系统 - Google Patents

基于机器学习的排水管网缺陷在线预警方法及系统 Download PDF

Info

Publication number
CN117540329B
CN117540329B CN202410028041.5A CN202410028041A CN117540329B CN 117540329 B CN117540329 B CN 117540329B CN 202410028041 A CN202410028041 A CN 202410028041A CN 117540329 B CN117540329 B CN 117540329B
Authority
CN
China
Prior art keywords
pipe
pipe section
data
pipe network
early warning
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202410028041.5A
Other languages
English (en)
Other versions
CN117540329A (zh
Inventor
袁冬海
王辉
严陈玲
王晨
张春洋
寇莹莹
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing University of Civil Engineering and Architecture
Original Assignee
Beijing University of Civil Engineering and Architecture
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing University of Civil Engineering and Architecture filed Critical Beijing University of Civil Engineering and Architecture
Priority to CN202410028041.5A priority Critical patent/CN117540329B/zh
Publication of CN117540329A publication Critical patent/CN117540329A/zh
Application granted granted Critical
Publication of CN117540329B publication Critical patent/CN117540329B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/243—Classification techniques relating to the number of classes
    • G06F18/2433—Single-class perspective, e.g. one-against-all classification; Novelty detection; Outlier detection
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F17—STORING OR DISTRIBUTING GASES OR LIQUIDS
    • F17D—PIPE-LINE SYSTEMS; PIPE-LINES
    • F17D5/00—Protection or supervision of installations
    • F17D5/02—Preventing, monitoring, or locating loss
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01F—MEASURING VOLUME, VOLUME FLOW, MASS FLOW OR LIQUID LEVEL; METERING BY VOLUME
    • G01F1/00—Measuring the volume flow or mass flow of fluid or fluent solid material wherein the fluid passes through a meter in a continuous flow
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01F—MEASURING VOLUME, VOLUME FLOW, MASS FLOW OR LIQUID LEVEL; METERING BY VOLUME
    • G01F23/00—Indicating or measuring liquid level or level of fluent solid material, e.g. indicating in terms of volume or indicating by means of an alarm
    • G01F23/22—Indicating or measuring liquid level or level of fluent solid material, e.g. indicating in terms of volume or indicating by means of an alarm by measuring physical variables, other than linear dimensions, pressure or weight, dependent on the level to be measured, e.g. by difference of heat transfer of steam or water
    • G01F23/28—Indicating or measuring liquid level or level of fluent solid material, e.g. indicating in terms of volume or indicating by means of an alarm by measuring physical variables, other than linear dimensions, pressure or weight, dependent on the level to be measured, e.g. by difference of heat transfer of steam or water by measuring the variations of parameters of electromagnetic or acoustic waves applied directly to the liquid or fluent solid material
    • G01F23/284—Electromagnetic waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N27/00—Investigating or analysing materials by the use of electric, electrochemical, or magnetic means
    • G01N27/02—Investigating or analysing materials by the use of electric, electrochemical, or magnetic means by investigating impedance
    • G01N27/04—Investigating or analysing materials by the use of electric, electrochemical, or magnetic means by investigating impedance by investigating resistance
    • G01N27/041—Investigating or analysing materials by the use of electric, electrochemical, or magnetic means by investigating impedance by investigating resistance of a solid body
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01V—GEOPHYSICS; GRAVITATIONAL MEASUREMENTS; DETECTING MASSES OR OBJECTS; TAGS
    • G01V9/00—Prospecting or detecting by methods not provided for in groups G01V1/00 - G01V8/00
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0475—Generative networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Software Systems (AREA)
  • Chemical & Material Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Fluid Mechanics (AREA)
  • Electromagnetism (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Analytical Chemistry (AREA)
  • Thermal Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Chemical Kinetics & Catalysis (AREA)
  • Electrochemistry (AREA)
  • Evolutionary Biology (AREA)
  • Biochemistry (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • General Life Sciences & Earth Sciences (AREA)
  • Geophysics (AREA)
  • Mechanical Engineering (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明涉及排水管网监测技术领域，具体涉及一种基于机器学习的排水管网缺陷在线预警方法及系统，方法包括：收集管网参数并建立管网拓扑关系；在一个已完成管网清淤和修复的分流制排水分区中，采集管道流量和检查井水位，作为管网正常运行状态数据；基于生成对抗网络模型合成管网异常运行状态数据；将两种数据组合作为训练样本，对神经网络预警模型进行训练；将神经网络预警模型的输出结果设置为｛管段编号，管段状态｝；基于训练好的神经网络预警模型对管段累计流量及相邻检查井水位差异常的管段进行预警。本发明结合深度学习，实现对排水管网不同管段的异常情况实时、高效、准确地监测和预警。

Description

基于机器学习的排水管网缺陷在线预警方法及系统
技术领域
本发明涉及排水管网监测技术领域，更具体的说是涉及一种基于机器学习的排水管网缺陷在线预警方法及系统。
背景技术
市政污水系统是城市的大动脉，主要收集和运输城市人口产生的污水，其安全性和高效运行至关重要。然而，随着经济快速发展和城市化建设进程加快，城市所产生的超量污水造成污水管网负担严重和原有污水处理厂处理能力不足等问题，污水提质增效工作迫在眉睫。伴随着排水管网使用年限的增加，排水管网逐渐出现一些管网病害和缺陷，如管网淤积和破损等，这些问题也成为制约城市排水提质增效的关键因素。
目前，污水管网病害排查存在以下两方面问题：第一，通过CCTV、潜水机器人等探测方式进行大面积排查，其成本非常高昂且难以实现更大尺度的应用。第二，高位水位运行区域排水系统满管运行，常规手段难以进行有效的排查和修复。这些方法既耗时耗力，而且可能无法及时发现并处理潜在的问题，从而导致更大的损失。
随着信息技术和数据科学的快速发展，深度学习技术在各种应用领域的应用广泛，尽管存在一些基于传感器的自动监测系统，但它们往往基于特定的规则和阈值来发出警报，缺乏足够的灵活性和适应性。
因此，如何结合深度学习技术实现对排水管网进行实时、高效和准确的缺陷监测及预警，是本领域技术人员亟需解决的问题。
发明内容
有鉴于此，本发明提供了一种基于机器学习的排水管网缺陷在线预警方法及系统，结合深度学习，实现对排水管网不同管段的异常情况实时、高效、且准确地监测和预警。
为了实现上述目的，本发明采用如下技术方案：
第一方面，本发明提供一种基于机器学习的排水管网缺陷在线预警方法，包括以下步骤：
收集管网参数并建立管网拓扑关系，确定监测点位，并对各监测点位对应的管段和检查井进行编号；
在一个已完成管网清淤和修复的分流制排水分区中，使用在线监测设备采集该排水分区各监测点位处的管道流量和检查井水位，作为管网正常运行状态数据；
基于生成对抗网络模型合成管网异常运行状态数据；
将所述管网正常运行状态数据和所述管网异常运行状态数据组合作为训练样本；
基于所述训练样本对预先搭建的神经网络预警模型进行训练，将神经网络预警模型的输出结果设置为｛管段编号，管段状态｝；
将整个管网各监测点位处的实时监测数据输入训练好的神经网络预警模型中，对管段累计流量及相邻检查井水位差异常的管段进行预警，初步判断管线问题类型；
当异常管段修复处理后，更新该异常管段的警报状态。
进一步的，所述管网参数至少包括：管段及检查井坐标、管径数据和管段长度。
进一步的，所述管网正常运行状态数据的生成过程包括：
采集分流制排水分区中具有时间序列的管网流量和检查井水位数据；
通过箱形图剔除管网流量与检查井水位数据中的异常时间序列数据，利用插值法填充缺失时间序列数据，得到稳定的管网流量和检查井水位数据；
将一个自然日划分为多个不同时间段，并计算各时间段内各管段的累计流量数据，以管段的累计流量数据作为管段是否破损的判断依据；
将每一时间段中间时刻的检查井水位数据作为该时间段的检查井水位数据，以相邻检查井水位数据间的差值作为管段是否存在淤积的判断依据。
进一步的，所述管网异常运行状态数据的生成过程包括：
构建由生成器G和鉴别器D组成的GAN模型；
从所述管网正常运行状态数据中随机选取部分数据，定义每条数据格式为{a1,a2,a3,ax,ay}={时间序列，管段累计流量，管段相邻检查井水位差，管段位置，管段状态}；
对所述生成器和所述鉴别器进行交替迭代训练，直至满足训练目标；在每次训练时，从正态分布中随机采样一组噪声向量z，将噪声向量z输入所述生成器G，输出合成数据G(z)；将合成数据和管网异常运行状态数据样本输入所述鉴别器D，输出合成数据是真实的概率D(x)；
基于训练好的GAN模型合成管网异常运行状态数据。
进一步的，所述鉴别器D的损失函数为：
其中，表示期望，即所有合成数据的平均损失；/>表示鉴别评估数据/>是真实的概率；/>表示生成器的输出，其中/>表示随机抽样的噪声向量；/>表示鉴别器评估生成的合成数据是真实的概率；/>表示鉴别器在真实数据上的损失；
所述生成器G的损失函数为：
其中，表示期望。
进一步的，所述生成器所合成的管网异常运行状态数据的输出格式为：
{时间序列，异常管段累计流量，正常管段相邻检查井水位差，管段位置，管段破损}；和/或：
{时间序列，正常管段累计流量，异常管段相邻检查井水位差，管段位置，管段淤积}。
进一步的，采用分类交叉熵损失函数对所述神经网络预警模型进行训练，分类交叉熵损失表示为：
其中，表示训练样本数量；/>表示输出层的神经元数量；/>是第/>个样本的实际标签；/>是模型预测的标签分布。
进一步的，在基于所述神经网络预警模型初步判断出管线问题类型之后，还包括：
二次异常判断：若初步判断管段的异常状态为破损，则对异常管段前后一定范围内进行表层土电导率测定，若电导率测定结果偏离预设值，则判定该管段破损。
进一步的，所述在线监测设备包括流量传感器和雷达液位传感器；所述流量传感器一一对应安装在各监测点位处管段下游管口的管底，所述雷达液位传感器一一对应安装在各监测点位处检查井的顶部。
第二方面，本发明提供一种基于机器学习的排水管网缺陷在线预警系统，包括：
数据获取模块，用于获取整个管网各监测点位处管段和检查井的运行状态数据；
预警模块，用于采用上述训练好的神经网络预警模型对管段累计流量及相邻检查井水位差异常的管段进行预警，输出｛管段编号，管段状态｝，初步判断管线问题类型；
反馈模块，用于当异常管段修复处理后，更新该异常管段的警报状态。
经由上述的技术方案可知，与现有技术相比，本发明具有以下有益效果：
1、与传统的通过CCTV，QV技术进行大规模人工摸排的方式不同，本发明以管段累计流量判断管网破损情况，以管段上下游检查井水位差判断管段淤积情况，通过在线监测设备和深度学习自动化管段状态的判断过程，实现了管段状态实时预警，减少了人工干预的需求，节省了人力资源。
2、本发明在已完成清淤修复的分流制污水排水分区中布置在线监测系统获取管网正常运行状态数据，通过仿真模型模拟、领域专家建议和生成对抗网络实现了研究区域异常管段特征指标的量化和数据样本的扩充，能够为神经网络预警模型提供充分的训练数据集。
3、本发明可快速实现管段状态和位置的判断，通过对预警管段进行表层土电导率测定，精准判断破损位置并及时解决，可以避免更大的损失，也解决了污水管网缺陷位置较难定位的问题。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1为本发明提供的基于机器学习的排水管网缺陷在线预警方法的流程图；
图2为本发明提供的管网拓扑结构及在线监测设备的点位布置图；
图3为本发明提供的在线监测设备的安装方式；
图4为本发明提供的生成对抗网络模型的训练流程图；
图5为本发明提供的神经网络预警模型的结构示意图；
图6为本发明提供的神经网络预警模型的训练流程图；
图7为本发明提供的基于机器学习的排水管网缺陷在线预警系统的结构框图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
如图1所示，本发明实施例公开了一种基于机器学习的排水管网缺陷在线预警方法，包括以下步骤：
S1、收集管网参数并建立管网拓扑关系，并确定监测点位，并对各监测点位对应的管段和检查井进行编号；
S2、在一个已完成管网清淤和修复的分流制排水分区中，使用在线监测设备采集该排水分区各监测点位处的管道流量和检查井水位，作为管网正常运行状态数据；
基于生成对抗网络模型合成管网异常运行状态数据；
将管网正常运行状态数据和管网异常运行状态数据组合作为训练样本；
S3、基于训练样本对预先搭建的神经网络预警模型进行训练，将神经网络预警模型的输出结果设置为｛管段编号，管段状态｝；
S4、将整个管网各监测点位处的实时监测数据输入训练好的神经网络预警模型中，对管段累计流量及相邻检查井水位差异常的管段进行预警，初步判断管线问题类型；
S5、当异常管段修复处理后，更新该异常管段的警报状态。
下面，对上述各步骤做进一步的说明。
S1、收集管网参数并建立管网拓扑关系，确定监测点位，并对各监测点位对应的管段和检查井进行编号；其中，管网参数至少包括：管段及检查井坐标、管径数据和管段长度。
之后，为了获取管网正常运行状态数据，需要选取一个分流制排水分区，并对该排水分区进行清淤和修复处理。如图2所示，为某完整污水排水分区的实施范围。
接下来，则需要确定管网监测点位，并在每个监测点位处安装在线监测设备，如图3所示，每个在线监测设备包括流量传感器、雷达液位传感器和在线传输模块；流量传感器采取多普勒流量传感器，其一一对应安装在各监测点位处管段下游管口的管底，可适用于满贯及非满管状态，雷达液位传感器一一对应安装在各监测点位处检查井的顶部，以检测检查井实时水位变化情况。
监测点位布置在主干管的检查井中，当相邻检查井距离小于30米时，仅布置一个设备。本实施例中，所选取的分流制排水分区中共包含管段40个、检查井40个，共布置监测设备40个。
S2、确定样本数据。
该步骤主要包含两部分，一、管网正常运行状态数据的获取；二、管网异常运行状态数据的获取。
其中，管网正常运行状态数据的生成过程包括：
S201、通过在线监测设备实时采集分流制排水分区中具有时间序列的管网流量和检查井水位数据；
S202、通过箱形图剔除管网流量与检查井水位数据中的异常时间序列数据，利用插值法填充缺失时间序列数据，得到稳定的管网流量和检查井水位数据；
S203、将一个自然日划分为多个不同时间段，并计算各时间段内各管段的累计流量数据，以管段的累计流量数据作为管段是否破损的判断依据；例如，以5min的时间间隔将每个自然日（从00:00至23:59）等分为288个时间段，通过各个时间段相邻在线监测设备采集的流量数据，计算得到各管段对应时间段内的累计流量数据，用来判断管段破损情况。
第一个自然日采集的流量数据如下：
管段1在00:00-00:05的累计流量记录为｛00:00-00:05；1.35m³；管段1}；
管段2在00:00-00:05的累计流量记录为｛00:00-00:05；1.98m³；管段2}……
管段40在00:00-00:05的累计流量记录为｛00:00-00:05；12.65m³；管段40}；
管段1在00:06-00:10的累计流量记录为｛00:06-00:10；0.89m³；管段1}……
管段40在23:55-23:59的累计流量记录为｛23:55-23:59；10.27m³；管段40}。
S204、同样，将每一自然日（从00:00至23:59）按5min间隔划分成288个时间段，将每一时间段中间时刻的检查井水位数据作为该时间段的检查井水位数据，通过计算上游检查井与相邻下游检查井水位差值的绝对值，得到对应时间段的相邻检查井水位差值数据，作为管段是否存在淤积的判断依据。
第一个自然日采集的检查井水位差数据如下：
管段1上下游检查井在00:00-00:05的水位差记录为｛00:00-00:05；0.13m；管段1}；
管段2上下游检查井在00:00-00:05的水位差记录为｛00:00-00:05；0.15m；管段2}……
管段40上下游检查井在00:00-00:05的水位差记录为｛00:00-00:05；0.59m；管段40}；
管段1上下游检查井在00:06-00:10的水位差记录为｛00:06-00:10；0.15m；管段1}……
管段40上下游检查井在23:55-23:59的水位差记录为｛23:55-23:59；0.52m；管段40}。
管网异常运行状态数据的生成通过生成对抗网络模型GAN模型合成。
管网异常运行状态数据的生成过程包括：
S205、构建由生成器G和鉴别器D组成的GAN模型；
S206、从管网正常运行状态数据中随机选取部分数据，本实施例具体选取3000条数据，定义每条数据格式为{a1,a2,a3,ax,ay}={时间序列，管段累计流量，管段上下游相邻检查井水位差，管段位置，管段状态}。管段状态包括正常管段、破损管段、淤积管段，使用One-hot编码将分类变量转换为机器学习模型可以使用的格式。
其中，正常管段用编码1,0,0表示；破损管段用0,1,0表示；淤积管段用0,0,1表示。
由于目前只能收集到大量的管道正常运行状态数据，异常数据无法直接收集。因此，需要结合仿真模型模拟、领域专家建议及领域文献调研等方法对管网正常运行状态进行修改，但此时的异常数据样本数量仍不足，无法进行接下来的神经网络训练，需要采用GAN模型进行异常数据样本的扩充。本实施例中，外水入渗量小于15%认为是正常范围，可不考虑对破损进行修复，定义异常管段累计流量是正管段累计流量的1.15-2倍。在InfoworksICM模型中模拟不同淤积状态下不同管段上下游检查井水位差变化，当管道存在30%的淤积时，得出水位相对变化指标（淤积管道的上下游检查井水位差稳定值/>与对应时段无淤积管道的水位差稳定值/>之比），当/>时定义管段存在淤积进行预警。
将管道正常运行数据结合上述参数随机生成异常运行状态样本，如下：
{时间序列，管段累计流量，管段上下游检查井水位差×，管段位置，管段淤积}；
{时间序列，管段累计流量×K（），管段上下游检查井水位差，管段位置，管段破损}。
S207、如图4所示，在GAN的训练过程中，生成器和鉴别器交替训练，使生成器能生成更真实的合成数据，根据合成数据质量交替训练生成器和判别器，直至满足停止准则。
在每次训练时，进行如下操作：
首先，将通过人工修改所得的异常运行数据输入判别模型，同时从正态分布中随机采样一组噪声向量z，将噪声向量z输入生成器G，输出合成数据，也输入到判别器；此过程在判别器的指导下，生成器的工作是学习输入数据的潜在分布，将随机噪声分布尽量拟合为训练数据的真实分布，使其可以生成与管网异常运行状态数据有类似分布特征的新样本。噪声向量充当了生成器模型的输入，通过不断学习映射关系，模型生成与噪声向量相关联的合成数据，且合成数据不断满足输出数据质量要求。此时的合成数据为不能通过鉴别器的数据。
之后，将合成数据和真实管网异常运行状态数据样本/>输入鉴别器D，输出合成数据是真实的概率D(x)；根据鉴别器的评估结果计算损失函数并更新鉴别器权重值/>，将损失函数最大化，鉴别器的损失函数公式为：
其中，表示期望，即所有合成数据的平均损失；/>表示鉴别评估数据/>是真实的概率；/>表示生成器的输出，其中/>表示随机抽样的噪声向量；/>表示鉴别器评估生成的合成数据是真实的概率；/>表示鉴别器在真实数据上的损失。
之后，对生成器进行训练，为使生成器可以产生欺骗鉴别器/>的数据，鉴别器评估生成的合成数据是真实的概率越大越好，即/>最小化。通过不断更新生成器权重值/>最小化损失函数，使得合成的数据质量逐步达标。生成器的损失函数可以表示为：
其中，表示期望，即对数据集的平均；/>是生成器的输出，其中/>是随机抽样的噪声向量；/>是鉴别器评估生成的合成数据是真实的概率。
对GAN模型的每次迭代训练步骤总结如下：
（1）固定生成器，优化鉴别器的参数。当样本数据和合成数据输入鉴别器/>后，目标为损失函数最大化。
（2）固定鉴别器，优化生成器的参数。当噪声向量输入生成器生成合成数据，鉴别器在合成数据输入后反馈数据是真实的概率，更新生成器的参数/>使数值最大化。
（3）生成器和鉴别器交替迭代训练，使生成器能生成更真实的合成数据，当判别概率为0.5时，停止训练。
当GAN模型训练好之后，基于训练好的GAN模型合成管网异常运行状态数据，将异常数据样本扩充至700000条。GAN模型所合成的管网异常运行状态数据的输出格式为：
{时间序列，异常管段累计流量，正常管段相邻检查井水位差，管段位置，管段破损}；和/或：
{时间序列，正常管段累计流量，异常管段相邻检查井水位差，管段位置，管段淤积}。
最后，将合成的异常运行状态数据和正常运行状态数据组合作为神经网络预警模型的训练样本。
S3、主要包括训练样本的处理、神经网络预警模型的搭建和训练，具体为：
S301、训练样本的处理：每条数据格式为，m表示输入的管段特征个数，具体如下：/>={时间序列，管段累计流量，管段上下游检查井水位差，管段位置，管段状态}，其中管段状态包括正常管段、破损管段、淤积管段。对于分类问题，用 one-hot 编码来定义每个类别的标签，即用数据0和1区分三种管段状态。本实施例共采集30天的管段正常运行数据345600条，通过生成对抗网络生成异常数据691200条，总样本数量1036800条。将样本数据随机划分为训练样本、验证样本和测试样本，其中，70%为训练样本、15%为验证样本、15%为测试样本。格式如下：
训练样本：
验证样本：
测试样本：
其中n表示第n条数据。
之后，对数据进行归一化处理，按照以下归一化公式将训练样本以及测试样本所有数据进行归一化：
先计算每种类型数据的均值；
再计算每种类型数据的标准差；
对每种类型的数据进行零均值归一化；
其中，m表示第m个影响因素，即样本中的第m列；n表示总共有n条数据；表示管道各特征值，/>表示第n条数据的第m个特征值，/>表示第m个特征值的平均值，/>表示第m个特征值的标准差。
将这些数据分为训练集和验证集。
S302、神经网络预警模型的搭建，模型具体结构如图5所示。
1）构建输入层：
输入层接收污水管网的特征数据，通常用X表示输入数据，其中X是一个包含特征的向量，输入层不执行任何计算，只传递数据。该步骤中，构建输入层节点数为3个，分别是时间序列、管段流量、管段上下游相邻检查井水位差。
2）构建隐藏层：
在隐藏层中，定义一系列神经元来处理输入数据。对于单个隐藏层的情况，假设有个神经元。隐藏层的输出/>可以通过以下公式计算：
其中，是隐藏层的输出；/>是激活函数，使用/>；/>是输入到隐藏层的权重矩阵；/>是隐藏层的偏置。使用He初始化为所有权重和偏置赋初值。
3）构建输出层：
输出层负责预测污水管段的状态，对于多分类问题，输出层的神经元数量通常等于类别数量，本实施例定义输出层的节点个数为2个，分别对应管段位置和管段状态。输出层的输出可以通过以下公式计算：
其中，是输出层的输出，表示每个类别的概率分布；/>是输出层的激活函数，使用Softmax激活函数；/>是隐藏层到输出层的权重矩阵；/>是输出层的偏置。使用He初始化为所有权重和偏置赋初值。
S303模型的训练和参数更新：
如图6所示，为了训练神经网络，使用反向传播算法对人工神经网络训练学习。计算损失函数的梯度并将误差从输出层反向传播到隐藏层和输入层。
对于输出层，误差梯度表示为，其中，/>是输出层的激活值，Y是真实标签的编码矩阵。
对于隐藏层，误差梯度公式为，其中，/>是上一层的权重矩阵，/>是上一层的梯度误差，/>是隐藏层激活函数的导数，/>是当前层的净输入，/>表示逐元素乘法。
进一步地，使用梯度下降法更新权重和偏置，，其中，/>为学习率，o为训练次数，/>表示第o次训练时第i个神经元矩阵的第j个神经元权值，/>表示第o次训练时第i个神经元矩阵的共享偏置。
训练神经网络需要定义一个损失函数来度量预测值与实际标签之间的误差。对于多分类问题，使用分类交叉熵损失函数，分类交叉熵损失表示为：
其中，表示训练样本数量；/>表示输出层的神经元数量；/>是第/>个样本的实际标签；/>是模型预测的标签分布。
若误差小于5%，则停止训练，若误差大于5%则继续使用方向传播法进行迭代训练直至满足需求。
S4、将整个管网各监测点位处的实时监测数据输入训练好的神经网络预警模型中，对管段累计流量及相邻检查井水位差异常的管段进行预警，给出管段位置及管段状态（破损或淤积），初步判断管线问题类型。
S5、初步判断出管线问题类型之后，还包括：
二次异常判断：若初步判断管段的异常状态为破损，则对异常管段前后一定范围内进行表层土电导率测定，若电导率测定结果偏离预设值，则判定该管段破损，从而确定管段破损位置。
具体为：按照预警管段缺陷位置和管段坐标进行人工定位和修复，对所在管段及前后进行20—50cm表层土电导率测定，判断是否存在破损。通过人为定位确定破损的最小缺损范围并进行修复处理，修复处理后，调整管段警报状态。
表层土电导率测定过程如下：利用TDR 350便携式土壤水分温度电导率速测仪对预警管段及其前后进行20—50cm表层土电导率测定，若电导率测定结果差异较大（大于0.2ms/cm），则可判定该管段漏损。
在一个实施例中，如图7所示，本发明还公开一种基于机器学习的排水管网缺陷在线预警系统，包括：
数据获取模块，用于获取在线监测设备实时采集的各管段和检查井的运行状态数据；
预警模块，用于采用上述训练好的神经网络预警模型对管段累计流量及相邻检查井水位差异常的管段进行预警，输出｛管段编号，管段状态｝，初步判断管线问题类型；
反馈模块，用于当异常管段修复处理后，更新该异常管段的警报状态。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (10)

1.一种基于机器学习的排水管网缺陷在线预警方法，其特征在于，包括以下步骤：
收集管网参数并建立管网拓扑关系，确定监测点位，并对各监测点位对应的管段和检查井进行编号；
在一个已完成管网清淤和修复的分流制排水分区中，使用在线监测设备采集该排水分区各监测点位处的管道流量和检查井水位，作为管网正常运行状态数据；将一个自然日划分为多个不同时间段，并计算各时间段内各管段的累计流量数据，以管段的累计流量数据作为管段是否破损的判断依据；将每一时间段中间时刻的检查井水位数据作为该时间段的检查井水位数据，以相邻检查井水位数据间的差值作为管段是否存在淤积的判断依据；
基于生成对抗网络模型合成管网异常运行状态数据；
将所述管网正常运行状态数据和所述管网异常运行状态数据组合作为训练样本；
基于所述训练样本对预先搭建的神经网络预警模型进行训练，将神经网络预警模型的输出结果设置为{管段编号，管段状态}；
将整个管网各监测点位处的实时监测数据输入训练好的神经网络预警模型中，对管段累计流量及相邻检查井水位差异常的管段进行预警，初步判断管线问题类型；
当异常管段修复处理后，更新该异常管段的警报状态。
2.根据权利要求1所述的基于机器学习的排水管网缺陷在线预警方法，其特征在于，所述管网参数至少包括：管段及检查井坐标、管径数据和管段长度。
3.根据权利要求1所述的基于机器学习的排水管网缺陷在线预警方法，其特征在于，所述管网正常运行状态数据的生成过程包括：
采集分流制排水分区中具有时间序列的管网流量和检查井水位数据；
通过箱形图剔除管网流量与检查井水位数据中的异常时间序列数据，利用插值法填充缺失时间序列数据，得到稳定的管网流量和检查井水位数据。
4.根据权利要求1所述的基于机器学习的排水管网缺陷在线预警方法，其特征在于，所述管网异常运行状态数据的生成过程包括：
构建由生成器G和鉴别器D组成的GAN模型；
从所述管网正常运行状态数据中随机选取部分数据，定义每条数据格式为{a1，a2，a3，ax，ay}＝{时间序列，管段累计流量，管段相邻检查井水位差，管段位置，管段状态}；
将随机选取的管网正常运行状态数据进行修改，得到管网异常运行状态数据样本；
对所述生成器和所述鉴别器进行交替迭代训练，直至满足训练目标；在每次训练时，从正态分布中随机采样一组噪声向量z，将噪声向量z输入所述生成器G，输出合成数据G(z)；将合成数据和管网异常运行状态数据样本输入所述鉴别器D，输出合成数据是真实的概率D(x)；
基于训练好的GAN模型合成管网异常运行状态数据。
5.根据权利要求4所述的基于机器学习的排水管网缺陷在线预警方法，其特征在于，所述鉴别器D的损失函数为：
LossD＝E[log D(x)]+E{log(1-D[G(z)]}；
其中，E表示期望，即所有合成数据的平均损失；D(x)表示鉴别评估数据Xreal是真实的概率；G(z)表示生成器的输出，其中Z表示随机抽样的噪声向量；D[G(z)]表示鉴别器评估生成的合成数据是真实的概率；E[log D(x)]表示鉴别器在真实数据上的损失；
所述生成器G的损失函数为：
LossG＝E{log(1-D[G(z)]}；
其中，E表示期望。
6.根据权利要求4所述的基于机器学习的排水管网缺陷在线预警方法，其特征在于，所述生成器所合成的管网异常运行状态数据的输出格式为：
{时间序列，异常管段累计流量，正常管段相邻检查井水位差，管段位置，管段破损}；和/或：
{时间序列，正常管段累计流量，异常管段相邻检查井水位差，管段位置，管段淤积}。
7.根据权利要求1所述的基于机器学习的排水管网缺陷在线预警方法，其特征在于，采用分类交叉熵损失函数对所述神经网络预警模型进行训练，分类交叉熵损失表示为：
其中，m表示训练样本数量；No表示输出层的神经元数量；Yj(i)是第i个样本的实际标签；log(A，(i))是模型预测的标签分布。
8.根据权利要求1所述的基于机器学习的排水管网缺陷在线预警方法，其特征在于，在基于所述神经网络预警模型初步判断出管线问题类型之后，还包括：
二次异常判断：若初步判断管段的异常状态为破损，则对异常管段前后一定范围内进行表层土电导率测定，若电导率测定结果偏离预设值，则判定该管段破损。
9.根据权利要求1所述的基于机器学习的排水管网缺陷在线预警方法，其特征在于，所述在线监测设备包括流量传感器和雷达液位传感器；所述流量传感器一一对应安装在各监测点位处管段下游管口的管底，所述雷达液位传感器一一对应安装在各监测点位处检查井的顶部。
10.一种基于机器学习的排水管网缺陷在线预警系统，其特征在于，包括：
数据获取模块，用于获取整个管网各监测点位处管段和检查井的运行状态数据；
预警模块，用于采用如权利要求1-9任一项所述的训练好的神经网络预警模型对管段累计流量及相邻检查井水位差异常的管段进行预警，输出{管段编号，管段状态}，初步判断管线问题类型；
反馈模块，用于当异常管段修复处理后，更新该异常管段的警报状态。
CN202410028041.5A 2024-01-09 2024-01-09 基于机器学习的排水管网缺陷在线预警方法及系统 Active CN117540329B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202410028041.5A CN117540329B (zh) 2024-01-09 2024-01-09 基于机器学习的排水管网缺陷在线预警方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202410028041.5A CN117540329B (zh) 2024-01-09 2024-01-09 基于机器学习的排水管网缺陷在线预警方法及系统

Publications (2)

Publication Number Publication Date
CN117540329A CN117540329A (zh) 2024-02-09
CN117540329B true CN117540329B (zh) 2024-03-29

Family

ID=89784602

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202410028041.5A Active CN117540329B (zh) 2024-01-09 2024-01-09 基于机器学习的排水管网缺陷在线预警方法及系统

Country Status (1)

Country Link
CN (1) CN117540329B (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106250570A (zh) * 2016-10-08 2016-12-21 杭州城基管道科技有限公司 一种地下排水管网智能管理系统
CN109555979A (zh) * 2018-12-10 2019-04-02 清华大学 一种供水管网漏损监测方法
CN114818221A (zh) * 2022-05-11 2022-07-29 浙江中控信息产业股份有限公司 一种基于管网水动力模型与数据驱动模型的管网运行态势分析方法
CN115270372A (zh) * 2022-07-13 2022-11-01 浙江中控信息产业股份有限公司 一种基于深度序列模型的排水管网淤积判断方法
CN115759467A (zh) * 2022-12-03 2023-03-07 国网福建省电力有限公司 一种误差修正的分时刻集成学习光伏预测方法
CN116050037A (zh) * 2023-01-13 2023-05-02 三峡智慧水务科技有限公司 一种基于有向拓扑网络的城市排水系统液位间接监测分析方法
CN116227362A (zh) * 2023-03-21 2023-06-06 浙江大学 一种基于图与深度学习的市政排水管网状态预测方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112258496A (zh) * 2020-11-02 2021-01-22 郑州大学 一种基于全卷积神经网络的地下排水管道病害分割方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106250570A (zh) * 2016-10-08 2016-12-21 杭州城基管道科技有限公司 一种地下排水管网智能管理系统
CN109555979A (zh) * 2018-12-10 2019-04-02 清华大学 一种供水管网漏损监测方法
CN114818221A (zh) * 2022-05-11 2022-07-29 浙江中控信息产业股份有限公司 一种基于管网水动力模型与数据驱动模型的管网运行态势分析方法
CN115270372A (zh) * 2022-07-13 2022-11-01 浙江中控信息产业股份有限公司 一种基于深度序列模型的排水管网淤积判断方法
CN115759467A (zh) * 2022-12-03 2023-03-07 国网福建省电力有限公司 一种误差修正的分时刻集成学习光伏预测方法
CN116050037A (zh) * 2023-01-13 2023-05-02 三峡智慧水务科技有限公司 一种基于有向拓扑网络的城市排水系统液位间接监测分析方法
CN116227362A (zh) * 2023-03-21 2023-06-06 浙江大学 一种基于图与深度学习的市政排水管网状态预测方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
排水管网缺陷智能检测的信息化解决方案;刘玉贤 等;中国给水排水;20210430;第37卷(第08期);32-36 *

Also Published As

Publication number Publication date
CN117540329A (zh) 2024-02-09

Similar Documents

Publication Publication Date Title
CN114352947B (zh) 一种燃气管道泄漏检测方法、系统、装置及存储介质
CN111861274A (zh) 一种水环境风险预测预警方法
CN110929359B (zh) 基于pnn神经网络和swmm技术的管网淤积风险预测建模方法
CN110555551B (zh) 一种智慧城市的空气质量大数据管理方法及系统
CN112836758B (zh) 基于双层循环神经网络的独立计量区域管网漏损检测方法
CN107480698A (zh) 基于多个监测指标的质量控制方法
CN111811580A (zh) 一种水量/水质监测布点方法及预警响应系统
CN115127037B (zh) 一种供水管网漏损定位方法及系统
CN115654381A (zh) 一种基于图神经网络的供水管道漏损检测方法
CN106570582A (zh) 一种用于建立输电线路舞动跳闸风险预测的网络模型的方法及系统
CN112780953B (zh) 一种基于模式检测的独立计量区域管网漏损检测方法
CN117113038B (zh) 城市水土流失黄泥水事件溯源方法及系统
Rohaimi et al. 3 Hours ahead of time flood water level prediction using NNARX structure: Case study pahang
CN117540329B (zh) 基于机器学习的排水管网缺陷在线预警方法及系统
CN117350146A (zh) 一种基于ga-bp神经网络的排水管网健康性评价方法
CN116484219A (zh) 一种基于门控图神经网络的供水管网水质异常污染源识别方法
CN109426857B (zh) 一种基于状态池网络的水质指标预测方法
CN115204688A (zh) 排水系统健康性综合评价方法
CN116164241A (zh) 一种瓦斯抽采管网泄漏故障智能检测方法
CN113970073B (zh) 一种基于ResNet的供水管网泄漏精准定位方法
CN113744888B (zh) 区域流行病趋势预测预警方法及系统
CN115270372A (zh) 一种基于深度序列模型的排水管网淤积判断方法
CN115270637A (zh) 一种基于gbrt的地下排水管道最大应力预测方法
CN115493093A (zh) 一种基于力学仿真的蒸汽供热管网漏损定位方法及系统
CN114413832A (zh) 一种基于光纤传感的道路监测系统及方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant