CN110232221A - 大坝裂缝影响因素动态贡献率分析方法 - Google Patents
大坝裂缝影响因素动态贡献率分析方法 Download PDFInfo
- Publication number
- CN110232221A CN110232221A CN201910437337.1A CN201910437337A CN110232221A CN 110232221 A CN110232221 A CN 110232221A CN 201910437337 A CN201910437337 A CN 201910437337A CN 110232221 A CN110232221 A CN 110232221A
- Authority
- CN
- China
- Prior art keywords
- factor
- dam
- dam crack
- contribution rate
- crack
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/243—Classification techniques relating to the number of classes
- G06F18/24323—Tree-organised classifiers
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F30/00—Computer-aided design [CAD]
- G06F30/20—Design optimisation, verification or simulation
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computer Hardware Design (AREA)
- Geometry (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明公开了一种大坝裂缝影响因素动态贡献率分析方法,包括以下步骤:(1)、分别把大坝裂缝影响因子以及裂缝宽度序列数据归一化;(2)、构建基于随机森林算法,以水位、温度及时效因子这些影响因子为自变量、裂缝宽度为因变量的大坝裂缝分析模型;(3)、调整大坝裂缝分析模型中的ntree和mtry两个重要参数,使得模型拟合效果最佳;(4)、利用所建立的模型探讨水位因子、温度因子及时效因子对大坝裂缝的影响;(5)、利用滑动窗口方法分析水位、温度及时效因子对大坝裂缝的动态贡献率。所述方法对大坝裂缝分析与监测、大坝耐久性安全性评价、大坝建造施工等具有重要意义,能够为大坝的安全使用以及减少大坝失效带来的财产损失提供有效的指导。
Description
技术领域
本发明涉及大坝裂缝分析领域,具体涉及一种基于随机森林算法的大坝裂缝影响因素动态贡献率分析方法。
背景技术
作为水利水电工程的主要设施之一,大坝是关系国计民生的重要工程。受荷载作用和环境因素的影响,大坝在长期服役过程中不可避免地会出现裂缝,裂缝的不断扩展会严重影响坝体的整体安全,若不能对其采取实时有效的控制措施,可能会导致溃坝、洪水爆发等灾难性后果,严重威胁着大坝下游人民的生命安全及经济发展。因此,对大坝裂缝进行监控与分析具有重要的现实意义。在以往的大坝裂缝分析中,绝大部分都采用了多元线性回归的方法来分析不同影响因素与大坝裂缝之间的关系。总体而言,传统的多元回归关注的是变量之间的线性及非线性关系,忽略了变量之间存在的交互作用,用来做大坝裂缝分析与实际情况可能存在一定的差距,并且无法对裂缝发展过程中影响因子的动态变化给出相应的变化关系。
发明内容
本发明的目的是针对现有技术的不足,提供了一种大坝裂缝影响因素动态贡献率分析方法,所述方法利用随机森林算法对影响大坝裂缝的因素进行动态贡献率分析,具有更优的预测精度,为大坝安全监控提供了更为科学的指导,对保障大坝下游生命财产安全具有重大的意义,解决了传统的多元线性回归忽略变量之间相互关系的问题。本发明通过将随机森林算法与滑动窗两种方法相结合,对大坝裂缝影响因子的动态变化进行评估。
本发明的目的可以通过如下技术方案实现:
一种大坝裂缝影响因素动态贡献率分析方法,所述方法包括以下步骤:
步骤(1)、分别把大坝裂缝影响因子以及裂缝宽度序列数据归一化,归一化通过以下公式计算:
式中,Xn表示归一化后的值,Xmax与Xmin分别表示该序列的最大值及最小值;
步骤(2)、构建基于随机森林算法,以水位、温度及时效因子等影响因子为自变量、裂缝宽度为因变量的大坝裂缝分析模型;
步骤(3)、调整大坝裂缝分析模型中的ntree和mtry两个重要参数,通过敏感性分析,选择合适的参数值使得模型拟合效果最佳;
步骤(4)、利用所建立的模型探讨水位因子、温度因子及时效因子对大坝裂缝的影响;
步骤(5)、利用滑动窗口方法分析水位、温度及时效因子对大坝裂缝的动态贡献率。
作为优选的技术方案,步骤(2)中所选影响因子水位是指大坝上游水位,温度是指大坝内部温度测量点测得的温度,时效因子是指一系列时间序列上的变量;三者共同作用在大坝上,是影响大坝裂缝发展的最重要因素。
作为优选的技术方案,所述时效因子,其最基本时效因子以天为单位,以所选数据样本第一天为0开始,第二天为1,以此累加计算,并记为t;所述时效因子包括:
Ln(1+t);
1-e-t;
t0.5;
t-0.5;
作为优选的技术方案,利用所述影响因子的已知序列数据及对应的大坝裂缝宽度,对基于随机森林算法的大坝裂缝分析模型进行训练,得到经过训练的大坝裂缝分析模型包括:将所述影响因子的已知序列数据作为自变量,将所述影响因子的已知序列数据对应的大坝裂缝宽度序列作为因变量,对所述基于随机森林算法的大坝裂缝分析模型进行训练,得到经过训练的随机森林回归模型。
作为优选的技术方案,所述随机森林回归模型是基于决策树的随机森林回归模型。
作为优选的技术方案,步骤(4)中所述的水位因子、温度因子及时效因子对大坝裂缝的影响,是根据影响因子的基尼不纯度增加值作为评价标准的。
作为优选的技术方案,步骤(5)中所述的动态贡献率,是根据影响因子的基尼不纯度增加值作为贡献指标,各个影响因子的贡献率能够表示为:
式中Dkgini表示第k个变量的基尼不纯度增加值。
作为优选的技术方案,步骤(5)所述利用滑动窗口方法分析水位、温度及时效因子对大坝裂缝的动态贡献率,是指根据以一定长度的滑动窗为单位得到的一系列影响因子数据样本建立模型探讨其影响因子的动态贡献率。
本发明与现有技术相比,具有如下优点和有益效果:
本发明提供的一种大坝裂缝影响因素动态贡献率分析方法,利用随机森林算法对影响大坝裂缝的因素进行动态贡献率分析,构建了一种智能的机器学习模型,在拟合过程中考虑到了变量之间相互作用产生的影响,能够更真实地反映实际情况,对比于其他的大坝裂缝分析模型,计算更加快捷、精度更高,可以识别影响大坝裂缝发展的不同因素的动态贡献率。
附图说明
图1为本发明实施例大坝裂缝影响因素动态贡献率分析方法的流程图。
图2为随机森林算法的原理图。
图3为本发明实施例通过R语言实现随机森林算法的代码图。
图4为本发明实施例中的随机森林模型在mtry=4和mtry=5分别进行敏感性分析并比较模型误差的示意图。
图5为本发明实施例中的随机森林模型与传统的多元回归模型对大坝裂缝影响因素动态贡献率分析进行比较的示意图。
图6为本发明实施例的随机森林模型各影响因素重要性排序示意图。
图7为本发明实施例基于随机森林的大坝裂缝影响因素的最终动态贡献率。
具体实施方式
下面结合实施例及附图对本发明作进一步详细的描述,但本发明的实施方式不限于此。
实施例:
本实施例提供了一种大坝裂缝影响因素动态贡献率分析方法,所述方法的流程图如图1所示,包括以下步骤:
步骤(1)、分别把大坝裂缝影响因子以及裂缝宽度序列数据归一化,归一化通过以下公式计算:
式中,Xn表示归一化后的值,Xmax与Xmin分别表示该序列的最大值及最小值;
步骤(2)、构建基于随机森林算法,以水位、温度及时效因子等影响因子为自变量、裂缝宽度为因变量的大坝裂缝分析模型;
步骤(3)、调整大坝裂缝分析模型中的ntree和mtry两个重要参数,通过敏感性分析,选择合适的参数值使得模型拟合效果最佳;
步骤(4)、利用所建立的模型探讨水位因子、温度因子及时效因子对大坝裂缝的影响;
步骤(5)、利用滑动窗口方法分析水位、温度及时效因子对大坝裂缝的动态贡献率。
以下为本实施例对本发明的技术方案的详细描述:
1、随机森林算法原理
如图2所示,随机森林是Breiman于2001年提出的一个新的组合分类器算法,它采用分类回归树作为元分类器,用bagging方法制造有差异的训练样本集,并且在构建单棵树时,随机地选择特征对内部节点进行属性分裂。最后的回归规则是通过简单的均值方法得到。
对于一个样本,它在某一次含n个样本的训练集的随机采样中,每次被采集到的概率是1/n,不被采集到的概率为1-1/n。那么在n次采样中都没有被采集的概率是(1-1/n)n。当n→∞时,也就是说,在bagging的每轮随机采样中,训练集中大约有36.8%的数据没有被采样集采集中。对于这部分没有被采样到的数据,常常被称之为袋外数据(Out Of Bag,简称OOB)。这些数据没有参与训练集模型的拟合,因此可以用来检测模型的泛化能力。对单个特征重要性的度量基于以下方法:当对一个相关特征(即对预测准确率可能起重要作用的特征)加入噪声后,随机森林的预测准确率将显著降低。具体计算方法可表述为下列4个步骤:
(1)对已生成的随机森林中的每棵树,用OOB数据测试其性能,得到一个OOB准确率;
(2)随机地改变OOB数据中某个特征k的值(即给特征k人为地加入噪声干扰),再用加入噪声后的OOB数据测试该分类树的性能,得到一个新的OOB准确率;
(3)原始OOB准确率与加入噪声后的OOB准确率之差,可以作为相应特征k在该分类树上的重要性度量值;
(4)变量的重要性是根据初始的OOB准确率和加噪OOB准确率之差进行排序的。
2、数据标准化处理
为了消除数据范围和量纲不同带来的影响,对数据进行归一化处理。所述数据归一化通过以下公式计算:
式中Xn表示归一化后的值,Xmax与Xmin分别表示该序列的最大值及最小值。
3、大坝裂缝分析的随机森林模型
本实例通过R语言中的randomForest包实现随机森林模型的建立。具体代码如图3所示。
上述基于随机森林算法的大坝裂缝影响因素动态贡献率分析方法,以广东省中山市长坑三级水库大坝为例评估该方法的实用性,具体步骤如下:
(1)该大坝采用自动化监测系统,监测项目主要有变形、渗流应力应变及温度、接缝开度和库水位等。取该坝2014年的监测数据作为样本建立随机森林模型。考虑的水位影响因子有水位值、水位值的平方项及水位值的三次方项,考虑的温度因子由大坝上五个温度监测测点所得,考虑的时效因子其最基本时效因子以天为单位,以所选数据样本第一天为0开始,第二天为1,以此累加计算,并记为t;所述时效因子包括:
Ln(1+t);
1-e-t;
t0.5;
t-0.5;
(2)随机森林模型中有两个起决定作用的参数。mtry指定分类树每个节点用来二分数据的自变量的个数。根据Beriman在machine learning中所述,其最佳值为自变量总数的1/3。本实例自变量个数为14,所以mtry参数最佳值应为4或5。在ntree值不变的情况下,取mtry=4和mtry=5分别进行敏感性分析并比较模型误差。结果如图4所示,mtry取5更合理。ntree表示模型中树的数目,从中可以看出,模型在ntree大于1000之后趋于稳定,因此选择ntree=1000。
(3)根据模型拟合出来的结果,使用统计评估指标如下表1:
随机森林 | |
R<sup>2</sup> | 0.999500 |
皮尔逊相关系数CC | 0.999964 |
RMSE均方根误差 | 0.003296 |
NACE纳西系数 | 0.999926 |
表1
由表1可以看出,随机森林模型拟合出来的效果非常好,其预测精度极高,表明所述方法是一种提高预测精度的理想方法。
(4)为了进一步验证模型的合理性,将样本集以7:3的比例分为训练集和测试集,并与传统的多元回归模型进行比较。比较结果如图5所示。由图可以看出所建立的随机森林模型较线性回归方法具有更高的精度及拟合效果。
(5)如图6所示,各因子对大坝裂缝的影响程度,可概括为:时效因子>温度因子>水位因子。
(6)如图7为基于随机森林的大坝裂缝影响因素动态贡献率,点划线的三个系列值代表水位因子的影响,虚线的五个系列值代表温度因子的影响,实线的系列值代表时效因子的影响。为了更加直观的比较不同因子之间的相对重要性排序,每种因子各取一条线作为代表在图上表示出了。由图可见,水位因子的影响一直处于很小的状态,时效因子与温度因子波动前进无明显突变,而其中时效因子的影响又大于温度因子。这与上述(5)中所述的影响程度大体上是一致的。水位因子在图末尾处有影响增加的趋势,造成这种变化的原因可能是本数据集所监测到的水位均处于略低于正常蓄水位的值,因此其对裂缝的影响很小。而在数据的末尾的一段数据,其水位值逐渐上升逼近正常蓄水位值,导致水位对大坝裂缝的影响开始呈现上升趋势。
以上所述,仅为本发明专利较佳的实施例,但本发明专利的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明专利所公开的范围内,根据本发明专利的技术方案及其发明专利构思加以等同替换或改变,都属于本发明专利的保护范围。
Claims (8)
1.一种大坝裂缝影响因素动态贡献率分析方法,其特征在于,所述方法包括以下步骤:
步骤(1)、分别把大坝裂缝影响因子以及裂缝宽度序列数据归一化,归一化通过以下公式计算:
式中,Xn表示归一化后的值,Xmax与Xmin分别表示该序列的最大值及最小值;
步骤(2)、构建基于随机森林算法,以水位、温度及时效因子这些影响因子为自变量、裂缝宽度为因变量的大坝裂缝分析模型;
步骤(3)、调整大坝裂缝分析模型中的ntree和mtry两个重要参数,使得模型拟合效果最佳;
步骤(4)、利用所建立的模型探讨水位因子、温度因子及时效因子对大坝裂缝的影响;
步骤(5)、利用滑动窗口方法分析水位、温度及时效因子对大坝裂缝的动态贡献率。
2.根据权利要求1所述的一种大坝裂缝影响因素动态贡献率分析方法,其特征在于:步骤(2)中所选影响因子水位是指大坝上游水位,温度是指大坝内部温度测量点测得的温度,时效因子是指一系列时间序列上的变量;三者共同作用在大坝上,是影响大坝裂缝发展的最重要因素。
3.根据权利要求1所述的一种大坝裂缝影响因素动态贡献率分析方法,其特征在于:所述时效因子,其最基本时效因子以天为单位,以所选数据样本第一天为0开始,第二天为1,以此累加计算,并记为t;所述时效因子包括:
Ln(1+t);
1-e-t;
t0.5;
t-0.5;
4.根据权利要求1所述的一种大坝裂缝影响因素动态贡献率分析方法,其特征在于,利用所述影响因子的已知序列数据及对应的大坝裂缝宽度,对基于随机森林算法的大坝裂缝分析模型进行训练,得到经过训练的大坝裂缝分析模型包括:将所述影响因子的已知序列数据作为自变量,将所述影响因子的已知序列数据对应的大坝裂缝宽度序列作为因变量,对所述基于随机森林算法的大坝裂缝分析模型进行训练,得到经过训练的随机森林回归模型。
5.根据权利要求4所述的一种大坝裂缝影响因素动态贡献率分析方法,其特征在于:所述随机森林回归模型是基于决策树的随机森林回归模型。
6.根据权利要求1所述的一种大坝裂缝影响因素动态贡献率分析方法,其特征在于:步骤(4)中所述的水位因子、温度因子及时效因子对大坝裂缝的影响,是根据影响因子的基尼不纯度增加值作为评价标准的。
7.根据权利要求1所述的一种大坝裂缝影响因素动态贡献率分析方法,其特征在于:步骤(5)中所述的动态贡献率,是根据影响因子的基尼不纯度增加值作为贡献指标,各个影响因子的贡献率能够表示为:
式中Dkgini表示第k个变量的基尼不纯度增加值。
8.根据权利要求1所述的一种大坝裂缝影响因素动态贡献率分析方法,其特征在于:步骤(5)所述利用滑动窗口方法分析水位、温度及时效因子对大坝裂缝的动态贡献率,是指根据以一定长度的滑动窗为单位得到的一系列影响因子数据样本建立模型探讨其影响因子的动态贡献率。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910437337.1A CN110232221A (zh) | 2019-05-24 | 2019-05-24 | 大坝裂缝影响因素动态贡献率分析方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910437337.1A CN110232221A (zh) | 2019-05-24 | 2019-05-24 | 大坝裂缝影响因素动态贡献率分析方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN110232221A true CN110232221A (zh) | 2019-09-13 |
Family
ID=67861509
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910437337.1A Pending CN110232221A (zh) | 2019-05-24 | 2019-05-24 | 大坝裂缝影响因素动态贡献率分析方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110232221A (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111080982A (zh) * | 2019-12-31 | 2020-04-28 | 三峡大学 | 一种基于多传感器的大坝安全智能监测与预警系统及方法 |
CN111177218A (zh) * | 2019-12-25 | 2020-05-19 | 深圳市东深电子股份有限公司 | 一种基于大数据分析的大坝安全分析方法 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20090281981A1 (en) * | 2008-05-06 | 2009-11-12 | Chen Barry Y | Discriminant Forest Classification Method and System |
CN104915555A (zh) * | 2015-05-28 | 2015-09-16 | 水利部南京水利水文自动化研究所 | 均质土坝溃坝分级预警指标的提取方法 |
CN105278520A (zh) * | 2015-06-29 | 2016-01-27 | 中国矿业大学 | 基于t-kprm复杂工业过程运行状态评价方法及应用 |
-
2019
- 2019-05-24 CN CN201910437337.1A patent/CN110232221A/zh active Pending
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20090281981A1 (en) * | 2008-05-06 | 2009-11-12 | Chen Barry Y | Discriminant Forest Classification Method and System |
CN104915555A (zh) * | 2015-05-28 | 2015-09-16 | 水利部南京水利水文自动化研究所 | 均质土坝溃坝分级预警指标的提取方法 |
CN105278520A (zh) * | 2015-06-29 | 2016-01-27 | 中国矿业大学 | 基于t-kprm复杂工业过程运行状态评价方法及应用 |
Non-Patent Citations (5)
Title |
---|
何金平 等: "混凝土坝时效变形特性研究", 《长江科学院院报》 * |
朱成冬 等: "随机森林算法在大坝安全监测中的应用", 《低温建筑技术》 * |
王文峰 等: "《MATLAB计算机视觉与机器认知》", 31 August 2017 * |
赖成光 等: "基于随机森林的洪灾风险评价模型及其应用", 《水利学报》 * |
黑马程序员: "《Python数据分析与应用 从数据获取到可视化》", 31 January 2019 * |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111177218A (zh) * | 2019-12-25 | 2020-05-19 | 深圳市东深电子股份有限公司 | 一种基于大数据分析的大坝安全分析方法 |
CN111177218B (zh) * | 2019-12-25 | 2022-08-30 | 深圳市东深电子股份有限公司 | 一种基于大数据分析的大坝安全分析方法 |
CN111080982A (zh) * | 2019-12-31 | 2020-04-28 | 三峡大学 | 一种基于多传感器的大坝安全智能监测与预警系统及方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110441065B (zh) | 基于lstm的燃气轮机在线检测方法与装置 | |
CN106055918B (zh) | 一种电力系统负荷数据的辨识及修正方法 | |
CN109165670B (zh) | 一种应用于红外火焰识别的ts-rbf模糊神经网络鲁棒融合算法 | |
CN110929918A (zh) | 一种基于CNN和LightGBM的10kV馈线故障预测方法 | |
CN110222991B (zh) | 基于rf-gbdt的计量装置故障诊断方法 | |
CN110210681B (zh) | 一种基于距离的监测站点pm2.5值的预测方法 | |
CN111723367B (zh) | 一种电力监控系统业务场景处置风险评价方法及系统 | |
CN112735097A (zh) | 一种区域滑坡预警方法及系统 | |
CN109117641A (zh) | 一种基于i-hmm的网络安全风险评估方法 | |
CN111967717A (zh) | 一种基于信息熵值的数据质量评价方法 | |
CN112327191B (zh) | 一种基于几何特征融合决策的电池跳水概率评估方法 | |
US20240133391A1 (en) | Prediction method for stall and surging of axial-flow compressor based on deep autoregressive network | |
US20240060605A1 (en) | Method, internet of things (iot) system, and storage medium for smart gas abnormal data analysis | |
CN113836817B (zh) | 一种基于堆叠长短期记忆网络的轴流压气机旋转失速预测方法 | |
CN110232221A (zh) | 大坝裂缝影响因素动态贡献率分析方法 | |
CN112001644A (zh) | 一种配电网运行可靠性检测方法、装置、终端及存储介质 | |
CN114357670A (zh) | 一种基于bls和自编码器的配电网用电数据异常预警方法 | |
CN116738817A (zh) | 一种煤矿多灾种融合自然裂变预警方法及系统 | |
CN111914152A (zh) | 一种网络事件预警方法及系统 | |
CN109657287B (zh) | 基于综合得分法水文模型精度识别的方法 | |
Lingqing et al. | Detection method for power theft based on SOM neural network and K-means clustering algorithm | |
CN117724935A (zh) | 一种软件系统多指标异常检测方法及系统 | |
CN116341290B (zh) | 一种长贮装备可靠性抽样检测方法 | |
CN110852906B (zh) | 一种基于高维随机矩阵进行窃电嫌疑识别的方法和系统 | |
CN103928923B (zh) | 一种基于灵敏度分析的网络稳态电能质量预警方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20190913 |
|
RJ01 | Rejection of invention patent application after publication |