CN106022518B

CN106022518B - 一种基于bp神经网络的管道破损概率预测方法

Info

Publication number: CN106022518B
Application number: CN201610327251.XA
Authority: CN
Inventors: 刘书明; 常田; 吴雪
Original assignee: Tsinghua University
Current assignee: Tsinghua University
Priority date: 2016-05-17
Filing date: 2016-05-17
Publication date: 2019-10-18
Anticipated expiration: 2036-05-17
Also published as: CN106022518A

Abstract

一种基于BP神经网络的管道破损概率预测方法，属于城市供水管网技术领域。所述方法包括：为预测管道破损概率进行前期的数据准备；选择待预测的管网区域，分别通过全管网、所在行政区、周边缓冲区三种途径确定训练数据范围；选择导致管道发生破损的影响因子，在训练数据范围内提取建模所需训练样本；利用BP神经网络算法，使用训练样本训练模型，采用基于10折交叉验证的ROC曲线评价模型的稳定性和预测精确度；将训练好的模型应用在待预测管网区域，得到每一条管道将要发生破损的概率；在ArcGIS中采用自然断点法将管道破损概率分类，制作专题图。本发明拓展了现有管道破损概率预测模型的研究内容，为供水管网资产管理科学方法的建立提供一种新的思路。

Description

一种基于BP神经网络的管道破损概率预测方法

技术领域

本发明涉及一种对管道发生破损的概率进行预测的方法，属于城市供水管网领域。

背景技术

作为保障正常生产生活的城市命脉，供水管网是供水企业的核心资产，占企业资产总额的65-75％。管网深埋地下，检测难度大，耗费人力物力，每年因各种原因造成的破损使得资产贬值非常严重。我国的供水管网建设滞后于城市总体建设水平，缺乏科学的资产管理方法，基础数据尚不十分完善，这些问题一直制约着供水企业的管理效率和服务水平。因此，对管网资产的破损事故发生进行预测，辅助管理者的科学决策，对问题管道早发现早维护，具有重要的经济意义和现实意义。

常见的用于预测管道破损的模型主要分为两大类：一类是基于实验室试验的物理机理研究模型；一类是计算机模拟的数据分析模型，包括统计模型、概率模型、模糊逻辑模型、机器学习模型等，通常基于大量的历史数据。由于第一类模型需要对导致管道破损的多种因素间关系有较明确的认知，因此第二类模型为目前的研究热点。

我国城市供水管网数据量大，基础数据质量不高，导致管道破损的因素众多且关系复杂非线性。现有的预测管道破损的数据分析模型，大多基于管道自身的基本属性数据，受数据完整性限制缺乏对周边地理环境因素的考虑；大多评估模型的准确性，缺乏对模型稳定性的探讨。

发明内容

鉴于上述问题，本发明的目的是提供一种新的可处理大量数据、挖掘非线性关系、融入地理环境因素、综合评估模型效果的基于BP神经网络的管道破损概率预测方法，以便在日常管理中及早发现具有破损风险的管道，降低事故发生频率，减少经济损失，辅助水司管理者的科学决策。

本发明的技术方案如下：

一种基于BP神经网络的管道破损概率预测方法，其特征在于该方法包括如下步骤：

1)为预测管道破损概率进行前期的数据准备：

a.信息完善：在城市供水管网GIS系统(Geographic Information System，地理信息系统)的管道图层中，完善管道的基本信息，包括管道编号、所在行政区、影响因子、以及有无破损记录；

b.信息数字化：根据影响因子的数据属性，将其分为连续变量和分类变量，对分类变量进行数字编码，用不同数字表示数据类别，特别的，针对有无破损记录，用0表示无破损记录，用1表示发生过破损；

2)选择待预测的管网区域，分别通过全管网、所在行政区、周边缓冲区三种途径确定训练数据范围：

确定训练数据范围的方法包括：

a.全管网：该城市的全部供水管道；

b.所在行政区：被选择的待预测管网区域所在行政区的全部供水管道；

c.周边缓冲区：被选择的待预测管网区域周边500-2000米内所覆盖的全部供水管道；

3)选择导致管道发生破损的影响因子，在训练数据范围内提取建模所需训练样本：

在训练数据范围内，提取全部有破损记录的管道，再随机提取等量无破损记录的管道，组成建模所需训练样本，训练样本的属性信息包括管道编号、影响因子、有无破损记录三部分；

4)利用BP神经网络算法建立影响因子与有无破损记录之间的关系，并用训练样本进行训练，采用基于10折交叉验证的ROC曲线评价模型的稳定性和预测精确度：

a.模型的输入因子为管道破损的影响因子，输出因子为管道有无破损记录；

b.输入因子需进行归一化，将各影响因子的数值转化到[0,1]范围内，归一化公式为：

式中，y代表归一化后的数据，x代表输入的原始数据，x_max和x_min分别代表输入数据的最大值和最小值；

c.基于10折交叉验证的ROC(Receiver-Operating Characteristic)曲线，通过箱式图反映模型的稳定性，通过ROC曲线下面积AUC(Area Under Curve)的值反映模型的预测精确度；

5)将训练好的模型应用在待预测管网区域，得到每一条管道将要发生破损的概率,即介于[0，1]之间的数值，其值越大代表管道越容易发生破损事故；

通过全管网、所在行政区、周边缓冲区三种途径得到三个训练样本，分别用于训练BP神经网络模型得到三个破损概率预测结果，将三个结果加权得到最终破损概率值；

6)在ArcGIS中采用自然断点法将管道破损概率分类，制作专题图，使计算结果可视化。

上述方案中，步骤1)选择导致管道发生破损的影响因子时，包括管材、管径、管龄、管长、接口类型、埋深、道路负荷、运行压力。

步骤2)通过周边缓冲区确定训练数据范围中，应用ArcGIS的缓冲区工具，设置缓冲距离为1000米。

步骤5)将三个结果加权得到最终破损概率值时，全管网、所在行政区、周边缓冲区三种途径得到结果的权重占比为2:4:4。

本发明步骤6)中所述的制作专题图，应用ArcGIS的符号化功能，将管道破损概率划分为高、较高、中、低四类，用不同的颜色表示。

与现有城市供水管网破损预测方法相比，本发明具有以下优点及突出性的技术效果：

①BP神经网络具有较强的处理非线性系统的能力，在难以给出描述输入-输出关系的数学公式时，可以学习和存储大量的映射关系，能够较好地模拟管道破损及其影响因素间复杂的非线性关系，且可以应对我国城市供水管网数据量大的问题。

②我国城市供水管网管理技术发展较晚，数据收集标准不完善不统一，大多数水司缺乏管道地理环境信息。本发明采用全管网、所在行政区、周边缓冲区三种途径提取样本进行模型训练，并将预测结果加权处理，其中所在行政区和周边缓冲区两种途径均考虑到地理环境的相似性，相当于间接将地理环境因素融入模型。

③传统方法通常只关注模型的精确度，本发明采用基于10折交叉验证的ROC曲线，同时评价模型的稳定性和预测精确度，全面评估模型效果。

④与传统的等间隔分类法不同，本发明采用自然断点法对预测结果进行分类，使得类内差异最小，类间差异最大，更好地展示管道发生破损的风险梯度，为水司管理者的科学决策提供支持。因此，本发明具有一定的技术优越性。

附图说明

图1示出了基于BP神经网络的管道破损概率预测方法的流程图。

图2示出了BP神经网络拓扑结构图。

图3(a)、图3(b)和3(c)示出了确定训练数据的三种范围示意图。

图4示出了基于10折交叉验证的ROC曲线图。

图5示出了管道破损概率预测专题图。

具体实施方式

为更好的理解和实施本发明，下面将结合附图和具体实施例对本发明进行详细阐述。

为了节省人力物力，降低供水管网的事故发生频率，减少经济损失，需要在日常管理中基于管网的历史数据，综合考虑管道自身属性、地理环境等因素，挖掘影响因子与管道破损之间的非线性关系，建立预测精确度好且泛化能力强的模型，对管道发生破损的概率进行预测，划分管道的风险梯度，为管道维护优先次序的制定提供依据。为实现上述目的，本发明提供一种基于BP神经网络的管道破损概率预测方法，利用R软件编写相应代码进行模型开发，基于ArcGIS平台完成管道数据的提取和专题图展示。

图1示出了基于BP神经网络的管道破损概率预测方法的流程图，主要步骤如下：

1)为预测管道破损概率进行前期的数据准备。

a.信息完善：在城市供水管网GIS系统的管道图层中，完善管道的基本信息，包括管道编号、所在行政区、影响因子、以及有无破损记录,其中影响因子包括管道编号、所在行政区、管材、管径、管龄、管长、接口类型、埋深、道路负荷、运行压力、有无破损记录。如管道信息与破损信息分别位于两个图层中，需将两个图层进行关联，匹配出有无破损记录信息。

b.信息数字化：根据影响因子的数据属性，将其分为连续变量和分类变量，对分类变量进行数字编码，用不同数字表示数据类别，特别的，针对有无破损记录，用0表示无破损记录，用1表示发生过破损。

2)选择待预测的管网区域，分别通过全管网、所在行政区、周边缓冲区三种途径确定训练数据范围。

在ArcGIS中选择待预测的管网区域时，可通过“选择要素”功能进行框选，也可通过“按属性选择”功能根据位置字段筛选某小区内管网。

确定训练数据范围的方法包括：

a.全管网：该城市的全部供水管道；

b.所在行政区：被选择的待预测管网区域所在行政区的全部供水管道，若待预测区域跨域两个行政区，则为这两个行政区的全部供水管道；

c.周边缓冲区：被选择的待预测管网区域周边500-2000米内所覆盖的全部供水管道，应用ArcGIS的缓冲区工具。

3)选择导致管道发生破损的影响因子，在训练数据范围内提取建模所需训练样本。

选择对管道发生破损事故有直接或间接影响的因子时，根据数据的可采集性、完整性、准确性，在管材、管径、管龄、管长、接口类型、埋深、道路负荷、运行压力中选择尽可能多的因子。

在训练数据范围内，提取全部有破损记录的管道，再随机提取等量无破损记录的管道，组成建模所需训练样本，即训练样本中有破损记录和无破损记录的管道数量之比为1:1。训练样本的属性信息包括管道编号、影响因子、有无破损记录三部分。

4)利用BP神经网络算法建立影响因子与有无破损记录之间的关系，并用训练样本进行训练，采用基于10折交叉验证的ROC曲线评价模型的稳定性和预测精确度。

BP(Back-Propagation)神经网络，即误差反向传播人工神经网络，是一种机器学习方法，是目前应用最为广泛的人工神经网络模型之一。图2示出了典型的BP神经网络拓扑结构，即输入层-隐藏层-输出层。BP神经网络的学习过程由正向传播和反向传播组成，根据最速下降法的学习规则，信息从输入层正向逐层传播到输出层，再由输出层反向回到输入层逐层调整神经元之间的权值和阈值，经过反复迭代达到减小输出误差到目标值的目的，完成对网络的训练。BP神经网络可以看成一个非线性函数，表达自变量到因变量的函数映射关系。

模型的输入因子为管道破损的影响因子，输出因子为管道有无破损记录。

为了减小不同量纲和较大的数值差别对模型效果的影响，输入因子需进行归一化，将各影响因子的数值转化到[0,1]范围内，归一化公式为：

式中，y代表归一化后的数据，x代表输入的原始数据，x_max和x_min分别代表输入数据的最大值和最小值。

在检验模型精度时，采用ROC曲线及曲线下面积AUC来表示。通常，AUC值越接近于1，模型效果越好。当AUC＝0.5～0.7时，准确性较差；当AUC＝0.7～0.9时，准确性较好；当AUC>0.9时，准确性很高。

泛化能力，即模型的稳定性，是模型效果最直接的表征。为此，本发明采用10折交叉检验法，将原始样本集随机平均划分为10个不相交的子集，训练和检验10次，每次用一个子集进行检验，其余的子集用于训练模型。

本发明采用10折交叉验证的ROC曲线全面评价模型效果。图3(a)、图3(b)和图3(c)示出了基于10折交叉验证的ROC曲线图。图中虚线表示10折交叉验证的10条ROC曲线，箱线图表示10条虚线中同一横坐标下纵坐标值的变化范围，实线表示10折交叉验证的平均ROC曲线。箱线图由上下边缘值、四分位数、中位数和异常值组成，上下边缘间距越小，异常值越少，说明模型的泛化能力越强，模型效果越稳定。实线ROC曲线的AUC值反映模型的预测精确度。

5)将训练好的模型应用在待预测管网区域，得到每一条管道将要发生破损的概率。介于[0,1]之间的数值，其值越大代表管道越容易发生破损事故。

通过全管网、所在行政区、周边缓冲区三种途径得到三个训练样本，分别用于训练BP神经网络模型，得到三个破损概率预测结果，将三个结果按2:4:4的权重加权得到最终破损概率值。

6)在ArcGIS中采用自然断点法将管道破损概率分类，制作专题图。

自然断点法是基于数据中固有的自然分组，对分类间隔加以识别，对相似值进行最恰当地分组，使各个类之间的差异最大化。全部数据被划分为多个类，对于这些类，在数据值的差异相对较大的位置处设置其边界。

应用ArcGIS的符号化功能，将管道破损概率划分为高、较高、中、低四类，用不同的颜色表示。

下面以我国北方某城市供水管网为实施例，详细介绍基于BP神经网络的管道破损概率预测的具体步骤：

(1)为预测管道破损概率进行前期的数据准备。

完善该城市供水管网破损GIS系统中的管道信息，针对管道编号、所在行政区、管材、管径、管龄、管长、接口类型、埋深、道路负荷、运行压力、有无破损记录等信息，进行录入错误、异常数据的筛选与修正，提高数据质量。

根据影响因子的数据属性，将其分为连续变量和分类变量，对分类变量进行数字编码，分别用从1开始的不同数字替代表示数据类别。

(2)选择待预测的管网区域，分别通过全管网、所在行政区、周边缓冲区三种途径确定训练数据范围。

本实施例通过矩形框选选择了一块待预测管网区域，区域内共有906根管道。针对该区域，通过全管网、所在行政区、周边缓冲区三种途径确定训练数据范围概况见表1。图3(a)(b)(c)依次示出了全管网、所在行政区、周边缓冲区三种范围。

表1训练数据范围概况

类别	全管网	所在行政区	周边缓冲区
				管道总数	10737	8125	3593
破损管道数	2394	1797	809

(3)选择导致管道发生破损的影响因子，在训练数据范围内提取建模所需训练样本。

根据数据的可采集性和数据质量，选择管材、管径、管龄、管长、接口类型五个属性作为管道破损的影响因子。

在通过全管网、所在行政区、周边缓冲区三种途径确定的训练数据范围内，提取全部有破损记录的管道，再随机提取等量无破损记录的管道，组成建模所需的训练样本。

(4)利用BP神经网络算法建立影响因子与有无破损记录之间的关系，并用训练样本进行训练，采用基于10折交叉验证的ROC曲线评价模型的稳定性和预测精确度。

针对本实施例，建立典型的3层BP神经网络，输入层节点数为5，隐藏层节点数为3，输出层节点数为1。分别输入通过全管网、所在行政区、周边缓冲区三种途径提取的训练样本数据对模型进行训练。

图4示出了通过全管网提取训练样本的10折交叉验证ROC曲线图。本实施例中，通过全管网、所在行政区、周边缓冲区三种途径提取训练样本的建模结果相近，经过10折交叉验证的AUC均值达到0.78，模型准确性较为理想；箱线图显示，ROC曲线的变化范围均较小，分布相对集中，模型较为稳定，不易受样本集划分影响。因此整体来看，模型的效果较好。

(5)将训练好的模型应用在待预测管网区域，得到每一条管道将要发生破损的概率。

分别将通过全管网、所在行政区、周边缓冲区三种途径选取的训练样本训练后的BP神经网络模型应用在待预测管网区域，得到三个破损概率预测结果，将三个结果按2:4:4的权重加权得到最终破损概率值。

(6)采在ArcGIS中用自然断点法将管道破损概率分类，制作专题图。

采用自然断点法对管道破损概率分类的标准见表2。

表2管道破损概率分类标准

类别	低	中	较高	高
					破损概率	0～0.14	0.14～0.33	0.33～0.55	0.55～1

将分类结果在ArcGIS中用不同的颜色显示，制作专题图。图4示出了在本具体实施例中管道破损概率预测专题图。破损概率为高的管线发生事故的可能性大，建议重点关注，结合实际情况优先更新改造；破损概率较高的管线，建议加强监督，定期维护；破损概率为中的管线，发生事故的可能性较小，可采用较长时间间隔进行监督检查；破损概率为低的管线，发生事故的可能性小，运行不受影响。

以上结果说明，基于BP神经网络对城市供水管网发生破损的概率进行预测，模型的预测精确度和稳定性均较好，在保障模型效果的同时增加了影响因素的综合性、提高了方法的实用性，本发明拓展了现有管道破损概率预测模型的研究内容，为供水管网资产管理科学方法的建立提供一种新的思路。

以上实施例仅用于更好地描述本发明，但并不限制本发明的应用范围。

Claims

1.一种基于BP神经网络的管道破损概率预测方法，其特征在于该方法包括如下步骤：

1)为预测管道破损概率进行前期的数据准备：

a.信息完善：在城市供水管网地理信息系统的管道图层中，完善管道的基本信息，包括管道编号、所在行政区、影响因子、以及有无破损记录；所述的影响因子包括管材、管径、管龄、管长、接口类型、埋深、道路负荷和运行压力；

b.信息数字化：根据影响因子的数据属性，将其分为连续变量和分类变量，对分类变量进行数字编码，用不同数字表示数据类别；针对有无破损记录，用0表示无破损记录，用1表示发生过破损；

训练数据范围包括：

a.全管网：该城市的全部供水管道；

c.基于10折交叉验证的ROC曲线，通过箱式图反映模型的稳定性，通过ROC曲线下面积AUC的值反映模型的预测精确度；

将通过全管网、所在行政区、周边缓冲区三种途径得到三个训练样本，分别用于训练BP神经网络模型得到三个破损概率预测结果，将三个结果加权得到最终破损概率值；所述的将三个结果加权得到最终破损概率值中，全管网、所在行政区、周边缓冲区三种途径得到结果的权重占比为2:4:4；

6)在ArcGIS中采用自然断点法将管道破损概率分类，应用ArcGIS的符号化功能，将管道破损概率划分为高、较高、中、低四类，用不同的颜色表示，制作专题图，使计算结果可视化。

2.按照权利要求1所述的基于BP神经网络的管道破损概率预测方法，其特征在于：步骤2)所述的通过周边缓冲区确定训练数据范围中，应用ArcGIS的缓冲区工具，设置缓冲距离为1000米。