CN107895014B - 一种基于MapReduce框架的时间序列桥梁监测数据分析方法 - Google Patents
一种基于MapReduce框架的时间序列桥梁监测数据分析方法 Download PDFInfo
- Publication number
- CN107895014B CN107895014B CN201711119109.7A CN201711119109A CN107895014B CN 107895014 B CN107895014 B CN 107895014B CN 201711119109 A CN201711119109 A CN 201711119109A CN 107895014 B CN107895014 B CN 107895014B
- Authority
- CN
- China
- Prior art keywords
- data
- time series
- bridge
- time sequence
- data set
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/21—Design, administration or maintenance of databases
- G06F16/215—Improving data quality; Data cleansing, e.g. de-duplication, removing invalid entries or correcting typographical errors
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2453—Query optimisation
- G06F16/24532—Query optimisation of parallel queries
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2458—Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
- G06F16/2465—Query processing support for facilitating data mining operations in structured databases
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2458—Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
- G06F16/2474—Sequence data queries, e.g. querying versioned data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/04—Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
- G06Q10/063—Operations research, analysis or management
- G06Q10/0639—Performance analysis of employees; Performance analysis of enterprise or organisation operations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
- G06Q50/08—Construction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2216/00—Indexing scheme relating to additional aspects of information retrieval not explicitly covered by G06F16/00 and subgroups
- G06F2216/03—Data mining
Abstract
本发明公开了一种基于MapReduce框架的时间序列桥梁监测数据分析方法,包括以下步骤:步骤1:对关于桥梁健康指标的时间序列原始数据进行预处理,得到有效数据;步骤2:并行化改进ARIMA时间序列分析方法,并对预处理后的有效数据集进行ARIMA模型构建;步骤3:根据步骤二中所构建的ARIMA模型对未来值进行预测;步骤4:对分析结果进行展示,形成桥梁健康评价,为养护提供科学依据。本发明提供的基于MapReduce框架的时间序列桥梁监测数据分析方法,能够实现对各种环境条件下目标运营阶段的结构响应与行为的实时监测,以获取反应结构状况和环境因素的各种信息,并由此分析桥梁的健康状况,评估桥梁结构的可靠性,为养护需求及措施决策提供科学依据。
Description
技术领域
本发明属于数据挖掘技术领域,特别涉及一种基于MapReduce框架的时间序列桥梁监测数据分析方法。
背景技术
桥梁工程作为国家基础设施建设中的关键部分之一,成为极其重要的交通水力枢纽。尤其是近些年来中国高速铁路和跨海大桥的建成数量日益增多。由于受到当地气候、氧化、环境腐蚀等不利因素对各种设施的影响,桥梁结构长期在静载或者活载作用下会不可避免地产生自然的老化,损伤不断地积累。结构的性能会逐步地劣化,道路桥梁的安全性就会不断地受到威胁。它的安全性直接关系到国家财产和人们的生命安全。因此,在经济和技术条件允许的情况下运用现代传感与通信技术,实时监测桥梁结构状态、各运营阶段在各种环境条件下的结构响应与行为,以获取反应结构状况和环境因素的各种信息,通过运用大数据技术分析桥梁结构的健康状况、可靠性评估,为养护需求及措施决策提供科学依据,仍是桥梁健康状态研究必行之路。
目前对桥梁健康状态监测数据的研究未能发挥出其真实的作用,尚未能充分利用监测数据在各种时间尺度上蕴含的信息,实现从海量数据中高效挖掘数据演变规律和不同类型传感器采集的数据间的相互关系的长效监测机制。而且,还不能对目标监测物的下一阶段状态提出预测,也还没有将健康状态监测上升为对桥梁建筑整个生命过程的跟踪式监测,进而实现科学指导养护管理的目的。
发明内容
本发明的目的是提出一种基于MapReduce框架的时间序列桥梁监测数据分析方法,能够在大数据环境下对桥梁建筑安全状态进行监测,以获取反应结构状况和环境因素的各种信息,并由此预测桥梁下一阶段的健康状况。
本发明提供的技术方案为:
一种基于MapReduce框架的时间序列桥梁监测数据分析方法,包括以下步骤:
步骤1:对关于桥梁健康指标的时间序列原始数据进行预处理,得到有效数据;
步骤2:并行化改进ARIMA时间序列分析方法,并对预处理后的有效数据集进行ARIMA模型构建;
步骤4:对分析结果进行展示,形成桥梁健康评价。
优选的是,所述步骤1中,对原始数据进行预处理的方法包括无效数据清洗及插值法补齐缺失值。
优选的是,所述无效数据清洗方法为对于原始数据中的单变量时间序列,采用聚类方法对其中孤立点进行替换。
优选的是,基于聚类方法的孤立点替换方法包括以下步骤:
步骤1.2:建立一个空数据集,从所述单变量时间序列选择任意一段数据,从数据段中第1个数据点xi开始,将xi加入所述空数据集中,得到新建数据集,并计算出此时所述新建数据集的标准差σ';
步骤1.3:比较σ'与全局标准差σ的大小关系,若σ'<σ,说明xi相对所述单变量时间序列数据集并非孤立点,则对所述数据段继续向后进行遍历,检测xi+1是否为孤立点;若σ'≥σ,说明xi相对所述单变量时间序列数据集为孤立点,将xi从所述数据段中剔除,并将xi保存至孤立点数据集,对所述数据段继续向后进行遍历,检测xi+1是否为孤立点,直到将所述数据段中的所有孤立点剔除;
步骤4:对所述数据段在步骤1.3中剔除的孤立点数据做左右数据均值替换处理。
优选的是,所述步骤2中并行化改进ARIMA时间序列分析方法,包括以下步骤:
步骤2.1:获取被观测系统时间序列数据;
步骤2.2:对步骤2.1中的时间序列数据绘图,观测是否为平稳序列;对非平稳时间序列进行多次差分运算,直到化为平稳时间序列,其中差分运算的次数为d;
步骤2.3:对得到的平稳时间序列分别求得其自相关系数ACF和偏自相关系数PACF,通过对自相关图和偏自相关图分析,得到最佳的阶层p和阶数q;
步骤2.4:将由上述步骤所得到的d、q、p构建ARIMA模型。
本发明至少具备以下有益效果:
(1)本发明所提供的基于MapReduce框架的时间序列桥梁监测数据分析方法,能够在大数据环境下对桥梁建筑安全状态进行监测,实现对各种环境条件下目标运营阶段的结构响应与行为的及时监测,以获取反应结构状况和环境因素的各种信息,并由此分析结构的健康状况、评估结构的可靠性。
(2)本发明所提供的基于MapReduce框架的时间序列桥梁监测数据分析方法,能够对采集数据进行数据预处理,并利用监测数据在各种时间尺度上蕴含的信息,从中挖掘数据演变规律的长效机制,使得所积累的大量数据发挥出真实的作用,对目标监测物的下一阶段状态提出预测,将健康状态监测上升为对结构整个生命过程的跟踪式监测,进而实现指导养护管理的目的。
附图说明
图1为本发明所述时间序列桥梁监测数据分析方法总体流程示意图。
图2为本发明所述ARIMA建模流程示意图。
具体实施方式
下面结合附图对本发明做进一步的详细说明,以令本领域技术人员参照说明书文字能够据以实施。
如图1-2所示,本发明提供一种基于MapReduce框架的时间序列桥梁监测数据分析方法,包括以下步骤:
步骤1:由历史数据及每天实时数据采集组成关于桥梁健康指标的时间序列原始数据,对所述原始数据采用无效数据清洗及插值法补齐缺失值的方法进行预处理;所述无效数据清洗的方法为:对于原始数据中的单变量时间序列,采用聚类方法对其中孤立点进行检测,即利用单变量时间序列的标准差变化情况对任意一段数据进行聚类分析。具体包括以下步骤:
步骤1.2:建立一个空数据集;从所述单变量时间序列选择任意一段数据,从数据段中第1个数据点xi开始,将xi加入所述空数据集中,并计算出此时数据集的标准差σ';
步骤1.3:比较σ'与全局标准差σ的大小关系,若σ'<σ,则表明xi未使所述单变量时间序列数据集内的数据波动出现较大变化,xi相对所述单变量时间序列数据集来说并非孤立点,则对所述数据段继续向后进行遍历,检测xi+1是否为孤立点;若σ'≥σ,将xi从所述数据段中剔除,并将xi保存至孤立点数据集,对数据段继续向后进行遍历,检测xi+1是否为孤立点,直到将所述数据段中的所有孤立点剔除,所述被踢除的数据均保存至孤立点数据集;
步骤1.4:若在步骤1.3所述数据段中未检测到孤立点,即得到的孤立点数据集为空数据集,则执行步骤1.2,继续进行下一数据段的检测;若对步骤1.3得到的孤立点数据集为非空数据集,则对所述数据段中剔除的孤立点数据做左右数据均值替换处理,之后继续执行步骤1.2,进行下一数据段的检测及处理。
步骤2:并行化改进ARIMA时间序列分析方法,对ARIMA模型中的d、q、p进行求解,以训练出最佳模型,具体包括以下步骤:
步骤2.1:获取被观测系统时间序列数据。
步骤2.2:对步骤2.1中的时间序列数据数据绘图,观测所述时间序列是否为平稳时间序列;若所述时间序列为非平稳时间序列,则对所述时间序列进行多次差分运算,化为平稳时间序列,其中差分运算的次数为d。
步骤2.3:对步骤2.2:中的平稳时间序列分别求得其自相关系数ACF和偏自相关系数PACF,对自相关图和偏自相关图进行分析:若ACF呈指数级衰减,仅偶有超出区间数据,一定阶数后,所有滞后序列其相关性系数均处于一定区间范围内,如[-0.01,0.01];且偏自相关系数PACF逐步趋于0,并与阶数无关;其中阶数为q;若时间序列的一阶自相关系数仅在开始时有超过置信界限,其余各阶自相关均在区间范围内,设置p值为1的自回归系数,而且初步判断是阶数q=1的移动平均系数;从而得到最佳的阶层p和阶数q。
步骤2.4:由ARIMA(d,p,q)模型的一般表达式:可知构建模型前有参数d对时间序列分析是经过了几阶差分达到了平稳,时间序列平稳后方可进行模型构建;参数q为自回归阶数,当参数全q=1,p=1时,构建ARIMA模型:其中,Xt为当前数据,Xt-1为前一个数据,εt为白噪声,其检验过程可采用画样本ACF图,看序列是否自相关;
步骤4:将分析结果采用网页页面图形报表方式进行展示(趋势图、历史时间序列图等),形成桥梁健康评价,为养护提供科学依据。
尽管本发明的实施方案已公开如上,但其并不仅仅限于说明书和实施方式中所列运用,它完全可以被适用于各种适合本发明的领域,对于熟悉本领域的人员而言,可容易地实现另外的修改,因此在不背离权利要求及等同范围所限定的一般概念下,本发明并不限于特定的细节和这里示出与描述的图例。
Claims (2)
1.一种基于MapReduce框架的时间序列桥梁监测数据分析方法,其特征在于,包括以下步骤:
步骤1:对关于桥梁健康指标的时间序列原始数据进行预处理,得到有效数据;
步骤2:并行化改进ARIMA时间序列分析方法,并对预处理后的有效数据集进行ARIMA模型构建;
其中,X(t)为时间序列,B为延迟算子,(1-B)为差分算子,d为差分次数,εt为白噪声序列,是模型的自回归系数,θ(B)为模型的移动平均系数;且θ(B)=1-θ1B-θ2B2-…-θpBp,(p,q)为模型阶数, 是模型的自回归系数;θ1,θ2,……,θq是模型的移动平均系数;
步骤4:对分析结果进行展示,形成桥梁健康评价;
所述步骤1中,对原始数据进行预处理的方法包括无效数据清洗及插值法补齐缺失值;
所述无效数据清洗方法为对于原始数据中的单变量时间序列,采用聚类方法对其中孤立点进行替换;
基于聚类方法的孤立点替换方法包括以下步骤:
步骤1.2:建立一个空数据集,从所述单变量时间序列数据集中选择任意一段数据,从数据段中第1个数据点xi开始,将xi加入所述空数据集中,得到新建数据集,并计算出此时所述新建数据集的标准差σ';
步骤1.3:比较σ'与全局标准差σ的大小关系,若σ'<σ,说明xi相对所述单变量时间序列数据集并非孤立点,则对所述数据段继续向后进行遍历,检测xi+1是否为孤立点;若σ'≥σ,说明xi相对所述单变量时间序列数据集为孤立点,将xi从所述数据段中剔除,并将xi保存至孤立点数据集,对所述数据段继续向后进行遍历,检测xi+1是否为孤立点,直到将所述数据段中的所有孤立点剔除;
步骤4:对所述数据段在步骤1.3中剔除的孤立点数据做左右数据均值替换处理。
2.根据权利要求1所述的基于MapReduce框架的时间序列桥梁监测数据分析方法,其特征在于,所述步骤2中并行化改进ARIMA时间序列分析方法,包括以下步骤:
步骤2.1:获取被观测系统时间序列数据;
步骤2.2:对步骤2.1中的时间序列数据绘图,观测是否为平稳序列;对非平稳时间序列进行多次差分运算,直到化为平稳时间序列,其中差分运算的次数为d;
步骤2.3:对得到的平稳时间序列分别求得其自相关系数ACF和偏自相关系数PACF,通过对自相关图和偏自相关图分析,得到最佳的阶层p和阶数q;
步骤2.4:将由上述步骤所得到的d、q、p构建ARIMA模型。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201711119109.7A CN107895014B (zh) | 2017-11-14 | 2017-11-14 | 一种基于MapReduce框架的时间序列桥梁监测数据分析方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201711119109.7A CN107895014B (zh) | 2017-11-14 | 2017-11-14 | 一种基于MapReduce框架的时间序列桥梁监测数据分析方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN107895014A CN107895014A (zh) | 2018-04-10 |
CN107895014B true CN107895014B (zh) | 2021-01-08 |
Family
ID=61805260
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201711119109.7A Active CN107895014B (zh) | 2017-11-14 | 2017-11-14 | 一种基于MapReduce框架的时间序列桥梁监测数据分析方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN107895014B (zh) |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109376478A (zh) * | 2018-11-28 | 2019-02-22 | 中铁大桥(南京)桥隧诊治有限公司 | 桥梁健康监测故障数据修复方法及系统 |
CN110136374A (zh) * | 2019-05-22 | 2019-08-16 | 微云(武汉)科技有限公司 | 一种建筑物疏散路线的生成方法、装置及存储介质 |
CN110222384A (zh) * | 2019-05-22 | 2019-09-10 | 微云(武汉)科技有限公司 | 一种桥梁裂缝分析方法、装置及存储介质 |
CN111143932A (zh) * | 2019-12-26 | 2020-05-12 | 杭州鲁尔物联科技有限公司 | 一种桥梁健康状态的评估方法、装置、系统和设备 |
CN113312696B (zh) * | 2021-05-26 | 2024-02-13 | 福建中锐网络股份有限公司 | 基于arima算法的桥梁健康状况动态预测告警方法 |
CN114925518B (zh) * | 2022-05-17 | 2024-04-26 | 重庆大学 | 一种基于时间序列和多传感器融合的桥梁健康预警方法 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106354995A (zh) * | 2016-08-24 | 2017-01-25 | 华北电力大学(保定) | 一种基于拉格朗日插值与时间序列的预测方法 |
CN106529145A (zh) * | 2016-10-27 | 2017-03-22 | 浙江工业大学 | 一种基于arima‑bp神经网络的桥梁监测数据预测方法 |
-
2017
- 2017-11-14 CN CN201711119109.7A patent/CN107895014B/zh active Active
Non-Patent Citations (3)
Title |
---|
基于季节ARIMA模型的桥梁退化预测分析;赵炜 等;《桥隧工程》;20151231;第31-35页 * |
基于小波变换和ARIMA模型的桥梁监控监测数据分析;孙磊 等;《中外公路》;20150228;第35卷(第1期);第126-129页 * |
桥梁健康监测系统数据处理与分析技术研究;罗明明;《中国优秀硕士学位论文全文数据库工程科技Ⅱ辑》;20160615(第 06 期);第C034-126页 * |
Also Published As
Publication number | Publication date |
---|---|
CN107895014A (zh) | 2018-04-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107895014B (zh) | 一种基于MapReduce框架的时间序列桥梁监测数据分析方法 | |
Wang et al. | An improved ARIMA model for precipitation simulations | |
CN110457867B (zh) | 一种基于机器学习的时间序列数据填补与还原方法 | |
CN105067209A (zh) | 基于桥梁健康监测变形数据判定桥梁结构刚度变化的方法 | |
CN105239608A (zh) | 一种基于wt-rs-svr相结合的滑坡位移预测方法 | |
CN114167838B (zh) | 一种伺服系统多尺度健康评估与故障预测方法 | |
CN116308305B (zh) | 一种桥梁健康监测数据管理系统 | |
WO2019161589A1 (zh) | 一种结构模态参数实时追踪方法 | |
Din-Houn Lau et al. | Real-time statistical modelling of data generated from self-sensing bridges | |
CN114429189A (zh) | 一种高泛用性滑坡位移速率预警方法 | |
CN114254833A (zh) | 基于多元线性回归和气象数据的水库水位预测及调度方法 | |
JP2019505892A (ja) | ビッグデータに基づいて道路状態を予測する方法及び装置 | |
CN114550460B (zh) | 轨道交通异常检测方法、装置及存储介质 | |
CN113673010B (zh) | 一种基于监测数据的钢箱梁评估方法与系统 | |
Qu et al. | Outlier Detection and Forecasting for Bridge Health Monitoring Based on Time Series Intervention Analysis. | |
CN101923605B (zh) | 铁路防灾风预警方法 | |
CN115146230A (zh) | 一种古建筑健康监测系统、方法及设备 | |
JP4910757B2 (ja) | プロセスデータ予測システム及びそれを用いたプロセス管理装置 | |
CN112228042A (zh) | 一种基于云边协同计算的抽油机井工况相似性判别方法 | |
CN114004138A (zh) | 基于大数据人工智能的建筑监测方法、系统及存储介质 | |
Chun et al. | An application of data fusion technology in structural health monitoring and damage identification | |
CN102156822A (zh) | 行人交通数据组合多步预测方法 | |
CN107766630B (zh) | 高速铁路桥梁支座在设计使用寿命内累积磨损的评估方法 | |
CN114638039B (zh) | 一种基于低秩矩阵恢复的结构健康监测特征数据解释方法 | |
CN113515802B (zh) | 基于机器学习的锚固临界值检测方法、系统及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |