CN111310275A - 一种桥梁病害大数据分析方法 - Google Patents

Abstract

本发明公开了一种桥梁病害大数据分析方法，涉及桥梁养护领域，包括对桥梁养护大数据进行预处理、筛选特征数据、分析趋势特征、找出参数关联、分析病害关联、技术状况评级等步骤。本发明定量描述桥梁病害的统计特征与趋势，找到病害影响因素，病害间的先发继发关联关系，用于指导控制预防桥梁病害的发生，通过预防性养护延缓桥梁结构性能退化，减少耗资较大的维修更换工程，从而延长桥梁服役时间与节约养护经费。

Description

一种桥梁病害大数据分析方法

技术领域

本发明涉及桥梁养护领域，尤其涉及一种桥梁病害大数据分析方法。

背景技术

桥梁定检(定期检测)分类对于保障桥梁健康和交通安全具有重要意义。它利用人工或者桥检车来观察或者拍摄桥梁各部件、各部位的详细病害情况，从而根据获取到的这些病害定检信息而对桥梁的各部件以及桥梁整体做出健康状态评判，以便桥梁运维人员进行相关的桥梁维护作业。桥梁建成之后进入运营时期，在漫长的养护过程中，产生数量巨大类型繁多的检查、养护与维修数据。然而，现有技术中在获取到病害定检信息之后，往往仅对单一桥梁的单次桥梁检测的数据进行单独分析，并没有将历史积累的大量的养护数据加以利用。

现有的桥梁养护系统存在数据量越来越大，但经由数据挖掘而提炼出的有效信息还很少，形成了所谓的DataRich Information Poor(DRIP)的现象，大量的桥梁养护数据没有进行充分的分析与挖掘，以至于没有对养护计划与方式的规划提供更科学合理的建议，造成了资源的浪费。

数据分析本身已经存在很长时间，人们通过计算数量、平均值、方差、相关系数、概率分布等统计数值，对数据的特征进行描述。随着数据维度、数据多样性、数据量的不断增大，原始数据已经超出了人们理解能力的范畴，需要利用更高级的工具从中提取可供理解的信息。

由于缺乏针对病害大数据的系统性的数据挖掘方法，现阶段经由简单统计分析而提炼出的有效信息很少，大量的桥梁病害数据没有进行充分的分析与挖掘，以至于没有对养护计划与方式的规划提供更科学合理的建议。

因此，本领域的技术人员致力于开发一种桥梁病害大数据分析方法，把人们关注的、有用的、隐藏的信息从数量巨大的、不完整的、存在噪声的桥梁病害数据中提炼出来。

发明内容

有鉴于现有技术的上述缺陷，本发明所要解决的技术问题是对数量巨大、类型繁多的桥梁检查、养护与维修数据进行处理分析和挖掘，提炼出实际养护工作有效的信息，提高桥梁管理养护人员对养护的认识，帮助支持桥梁管理部门做出科学的养护决策，实现数据——信息——知识——决策的转变，建立基于桥梁病害特征的智能评估体系。为实现上述目的，本发明提供了一种桥梁病害大数据分析方法，包括以下步骤：

步骤1、对桥梁养护大数据进行预处理；

步骤2、筛选特征数据；

步骤3、分析趋势特征；

步骤4、找出参数关联；

步骤5、分析病害关联；

步骤6、技术状况评级。

进一步地，预处理包括处理桥梁养护缺失数据、对错误的数据进行处理、对不一致的数据进行处理、对冗余数据或不清晰数据进行处理、数据格式转换与数据归一化。

进一步地，步骤2使用Pandas处理病害记录数据结构，筛选出特征数据，利用Numpy对病害的不同类型与所在构件，进行数量统计并利用Matplotlib绘制图标实现可视化。

进一步地，步骤3使用Pandas筛选出典型桥梁类型的典型病害，利用Numpy计算出每座桥梁每一跨的平均病害数量，再利用python-xlrd读取桥梁基础信息表中的桥梁的建造时间，根据病害记录中的桥梁检测时间，计算出桥梁的运营时间，利用Matplotlib将病害平均数量与运营时间的关系进行展示。

进一步地，步骤4通过分析关联规律确定各类病害对桥梁的损害方式，利用典型相关性分析，建立外界因素相关变量和不同类型病害数量之间的相关关系模型，找出最具相关性的外界因素线性组合与不同病害类型的线性组合，相关变量包括最大温差、日均流量、超载比例、超载率、设计规范、运营时间。

进一步地，步骤5针对桥梁病害数据，对桥梁检测记录中的病害类型与数量进行挖掘，通过计算各个病害类型同时出现的概率与先发病害继发病害出现的条件概率，得出不同病害之间的关联关系。

进一步地，步骤6通过对每一跨板梁病害特征的提取和分析，根据桥梁的固有属性的数据与可测属性的数据，利用人工智能机器学习的方法建立基于桥梁病害特征的智能评估体系，对桥梁的技术状况进行分类评级。

进一步地，分类评级使用分类算法，分类算法根据数据标签建立分类器，对未知数据进行分类标记的预测。

进一步地，将数据分为训练集与测试集，训练集用于建立分类模型，测试集用于对分类模型进行评估，依靠计算混淆矩阵与模型评估指标来进行。

进一步地，根据测试集的预测值与真实值，利用下列公式进行具体的计算；

其中，TPR表示真正率，TNR表示真负率，TP为真正，FN为假负，TN为真负，FP为假正，P为正，N为负。

本发明通过对桥梁病害大数据进行分析建模，达到了以下技术效果：

(1)定量描述各类桥梁的典型病害的统计特征与趋势，整体把握桥梁病害现状；

(2)找到影响典型桥梁病害的各类因素，一方面重点关注关键病害出现几率较大的桥梁，另一方面从源头把控影响因素，减少桥梁病害的发生；

(3)找到病害之间的先发继发的关联关系，从而掌握养护的关键时间节点，发现先发病害后及时开展预防性养护工作，减少严重继发病害的发生；

(4)得到的结论可以用于指导控制或预防桥梁病害的发生，通过开展预防性养护措施，延缓桥梁结构性能退化，减少耗资较大的维修更换工程，从而实现延长桥梁服役时间与节约养护经费的效果，对现阶段桥梁养护工作的重点具有重要意义。

以下将结合附图对本发明的构思、具体结构及产生的技术效果作进一步说明，以充分地了解本发明的目的、特征和效果。

附图说明

图1是本发明一个较佳实施例的桥梁病害大数据分析方法流程图；

图2是本发明一个较佳实施例的阈值标准图；

图3是本发明一个较佳实施例的ROC图。

具体实施方式

以下参考说明书附图介绍本发明的多个优选实施例，使其技术内容更加清楚和便于理解。本发明可以通过许多不同形式的实施例来得以体现，本发明的保护范围并非仅限于文中提到的实施例。

在附图中，结构相同的部件以相同数字标号表示，各处结构或功能相似的组件以相似数字标号表示。附图所示的每一组件的尺寸和厚度是任意示出的，本发明并没有限定每个组件的尺寸和厚度。为了使图示更清晰，附图中有些地方适当夸大了部件的厚度。

如图1所示，本发明一种桥梁病害大数据分析方法的较佳实施例，按如下步骤进行：

步骤1：对养护数据进行预处理

使用python-xlrd与正则表达式读取各养护公司的桥梁病害记录文件，首先处理缺失数据，对于缺失的数据根据其所在构件编号或桥梁病害类型进行确定，对其进行填入；该数据是同类数值同类数据，根据该同类数据均值进行填写，该数据不存在同类，无法确定其数值，填入最可能的数值。

其次，对明显错误的数据进行处理，计算数据的离群因子(Local OutlierFactor)，对LOF数值较大的异常程度较高的点进行处理，将其进行修正到正常的范围。

再次，对不一致数据进行处理，对冗余数据或不清晰数据进行处理。

最后，进行数据格式的转换(Type Conversion)与数据归一化(Normalization)，原始的数据格式包含连续变量(Continuous)、离散变量(Discrete)、定序变量、定类变量、文本数据，需要将其中的定类变量与文本数据转换为计算机可以建模处理的数据，并对数据进行归一化。

步骤2：筛选特征数据

使用Pandas处理病害记录数据结构，筛选出特征数据，选择某一典型混凝土梁桥类型，利用Numpy对病害的不同类型与所在构件，进行数量上的统计并利用Matplotlib绘制饼图柱状图等简洁明了的图标实现可视化，根据统计结果找出病害数量占比较多的构件类型与主要的病害类型。对某一典型病害，如裂缝，利用Numpy进行各类特征数值上的分布统计，并进行可视化。

步骤3：分析趋势特征

使用Pandas筛选出典型桥梁类型的典型病害，利用Numpy计算出每座桥梁每一跨的平均病害数量，再利用python-xlrd读取桥梁基础信息表中的桥梁的建造时间，根据病害记录中的桥梁检测时间，计算出桥梁的运营时间，利用Matplotlib将病害平均数量与运营时间的关系进行展示。

步骤4：找出参数关联

通过分析关联规律，可以辅助分析各类病害对桥梁的损害方式。利用典型相关性分析，建立外界因素相关变量(最大温差、日均流量、超载比例、超载率、设计规范、运营时间)和不同类型病害数量之间的相关关系模型，找出最具相关性的外界因素线性组合与不同病害类型的线性组合。

步骤5：分析病害关联

关联规则是根据行为或事件同时出现的记录而探索他们之间的关联性的数据挖掘技术，通过Apriori算法，针对桥梁病害数据，对桥梁检测记录中的病害类型与数量进行挖掘，通过计算各个病害类型同时出现的概率与先发病害继发病害出现的条件概率，可以得出不同病害之间的关联关系。

步骤6：技术状况评级

从桥梁结构病害特征出发，以桥梁管养数据库中的桥梁评级为依据和目标，通过对每一跨板梁病害特征的提取和分析，根据桥梁的固有属性的数据与可测属性的数据，利用人工智能机器学习的方法建立基于桥梁病害特征的智能评估体系，对桥梁的技术状况进行分类评级。这一过程中主要利用了分类算法。

分类算法是指根据一个或多个数据标签建立一个分类器，从而对未知数据的进行分类标记的预测。将数据分为训练集与测试集，其中训练集用于训练分类模型的参数，测试集用于评估分类模型。分类常用的算法有决策树(Decision Trees)、K近邻算法(K-NearestNeighbors,KNN)、神经网络(Neural Networks)、支持向量机(Support Vector Machines)。

在分类算法的应用过程中，需要将数据分为训练集与测试集。训练集用于建立分类模型，测试集用于对分类模型进行评估。其评估方法主要依靠计算混淆矩阵与模型评估指标来进行。

混淆矩阵是分类问题中，针对监督学习的可视化工具。根据测试集的预测值与真实值，统计出表中真正、假正、假负、真负四种情况的数量，混淆矩阵包含了两类错误，假负是第一类错误，又叫假报警，假正是第二类错误。通过该矩阵可以方便的看出分类模型是否将两个不同的类混淆了，并利用下列公式进行具体的计算。

其中，TPR表示真正率，TNR表示真负率，TP为真正，FN为假负，TN为真负，FP为假正，P为正，N为负。

混淆矩阵如下表：

通过对模型参数的优化，可以提高模型的准确率，将两种不同的类别进行区分，暨二种类别的重叠部分很少。

当分类模型的结果是一个连续数值时，分类的边界必须用一个阈值(threshold)来界定。评估模型的精确度，常用的工具有ROC曲线(Receiver Operating CharacteristicCurve)与AUC值(Area Under Curve)。

可以将预测值、真实值、分界阈值如图2所示进行展示。图中灰色区域分别为两种类别的概率分布情况，A、B、C分别为不同的阈值，在取不同的阈值时，所对应的模型的FPR、TPR坐标形成如图3所示的曲线。图中对角斜线被称作无识别率线，即以50％的概率来随机猜测所得到的分类结果。一般而言，分类模型的精确度都要高于随机猜测才具有意义。

由于每个不同分类模型有各自的参数与形式，所以不同分类模型的曲线都不相同，通常通过将不同的分类模型的ROC曲线重叠在一起用于直观地对比分类模型的优劣。除了直观的对比，还可以使用AUC值对分类模型进行评估，AUC就是ROC曲线下方的面积，当AUC值越接近于1，说明分类模型的正确率越高，当ACU小于0.5说明该模型比随机猜测还要差。

对同一个分类模型，当阈值设定为最大时，没有样本被预测为正，ROC曲线取(0，0)点；当阈值设定为最小时，所有样本都被预测为正，ROC曲线取(1，1)点；阈值的选取需要根据具体案例对两类错误的重要程度进行衡量后进行选择。

如果训练集中一种分类的数量远远小于另一种分类，单纯的以精确度来评估分类模型的优劣，会使得分类模型将所有情况均标记为数量较多的种类而忽略数量较少的种类。这种情况在桥梁管养方面较为普遍，以当前江苏交通控股所管养的桥梁为例，超过99％的桥梁结构技术状况良好，而仅有极少部分的桥梁技术状况出现问题，因此未经检查的分类模型很容易造成第二类错误较大，无法找出技术状况较差的桥梁，忽略了数据挖掘的主要目的。

处理不平衡数据集问题，一方面可以通过数据集的选取，尽可能将数据的数量进行平衡，另一方面可以计算准确度的几何平均值进行评估。

式中

以上详细描述了本发明的较佳具体实施例。应当理解，本领域的普通技术无需创造性劳动就可以根据本发明的构思作出诸多修改和变化。因此，凡本技术领域中技术人员依本发明的构思在现有技术的基础上通过逻辑分析、推理或者有限的实验可以得到的技术方案，皆应在由权利要求书所确定的保护范围内。

Claims (10)

1.一种桥梁病害大数据分析方法，其特征在于，包括以下步骤：

步骤1、对桥梁养护大数据进行预处理；

步骤2、筛选特征数据；

步骤3、分析趋势特征；

步骤4、找出参数关联；

步骤5、分析病害关联；

步骤6、技术状况评级。

2.如权利要求1所述的桥梁病害大数据分析方法，其特征在于，所述预处理包括处理桥梁养护缺失数据、对错误的数据进行处理、对不一致的数据进行处理、对冗余数据或不清晰数据进行处理、数据格式转换与数据归一化。

3.如权利要求1所述的桥梁病害大数据分析方法，其特征在于，所述步骤2使用Pandas处理病害记录数据结构，筛选出特征数据，利用Numpy对病害的不同类型与所在构件，进行数量统计并利用Matplotlib绘制图标实现可视化。

4.如权利要求1所述的桥梁病害大数据分析方法，其特征在于，所述步骤3使用Pandas筛选出典型桥梁类型的典型病害，利用Numpy计算出每座桥梁每一跨的平均病害数量，再利用python-xlrd读取桥梁基础信息表中的桥梁的建造时间，根据病害记录中的桥梁检测时间，计算出桥梁的运营时间，利用Matplotlib将病害平均数量与运营时间的关系进行展示。

5.如权利要求1所述的桥梁病害大数据分析方法，其特征在于，所述步骤4通过分析关联规律确定各类病害对桥梁的损害方式，利用典型相关性分析，建立外界因素相关变量和不同类型病害数量之间的相关关系模型，找出最具相关性的外界因素线性组合与不同病害类型的线性组合，所述相关变量包括最大温差、日均流量、超载比例、超载率、设计规范、运营时间。

6.如权利要求1所述的桥梁病害大数据分析方法，其特征在于，所述步骤5针对桥梁病害数据，对桥梁检测记录中的病害类型与数量进行挖掘，通过计算各个病害类型同时出现的概率与先发病害继发病害出现的条件概率，得出不同病害之间的关联关系。

7.如权利要求1所述的桥梁病害大数据分析方法，其特征在于，所述步骤6通过对每一跨板梁病害特征的提取和分析，根据桥梁的固有属性的数据与可测属性的数据，利用人工智能机器学习的方法建立基于桥梁病害特征的智能评估体系，对桥梁的技术状况进行分类评级。

8.如权利要求7所述的桥梁病害大数据分析方法，其特征在于，所述分类评级使用分类算法，所述分类算法根据数据标签建立分类器，对未知数据进行分类标记的预测。

9.如权利要求8所述的桥梁病害大数据分析方法，其特征在于，将数据分为训练集与测试集，所述训练集用于建立分类模型，所述测试集用于对分类模型进行评估，依靠计算混淆矩阵与模型评估指标来进行。

10.如权利要求9所述的桥梁病害大数据分析方法，其特征在于，根据所述测试集的预测值与真实值，利用下列公式进行具体的计算；

其中，TPR表示真正率，TNR表示真负率，TP为真正，FN为假负，TN为真负，FP为假正，P为正，N为负。

Images