CN107092990A - 基于大数据分析的盾构施工地面沉降预测系统和方法 - Google Patents
基于大数据分析的盾构施工地面沉降预测系统和方法 Download PDFInfo
- Publication number
- CN107092990A CN107092990A CN201710303105.8A CN201710303105A CN107092990A CN 107092990 A CN107092990 A CN 107092990A CN 201710303105 A CN201710303105 A CN 201710303105A CN 107092990 A CN107092990 A CN 107092990A
- Authority
- CN
- China
- Prior art keywords
- data
- model
- module
- submodule
- shield
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000010276 construction Methods 0.000 title claims abstract description 103
- 238000000034 method Methods 0.000 title claims abstract description 67
- 238000013480 data collection Methods 0.000 claims abstract description 36
- 238000000605 extraction Methods 0.000 claims abstract description 28
- 238000013500 data storage Methods 0.000 claims abstract description 16
- 230000015572 biosynthetic process Effects 0.000 claims abstract description 10
- 238000012549 training Methods 0.000 claims description 59
- 238000005516 engineering process Methods 0.000 claims description 44
- 238000012545 processing Methods 0.000 claims description 24
- 230000008569 process Effects 0.000 claims description 19
- 238000007781 pre-processing Methods 0.000 claims description 15
- 238000012544 monitoring process Methods 0.000 claims description 13
- 239000011159 matrix material Substances 0.000 claims description 12
- 238000004422 calculation algorithm Methods 0.000 claims description 11
- 238000013528 artificial neural network Methods 0.000 claims description 10
- 238000013450 outlier detection Methods 0.000 claims description 9
- 238000012804 iterative process Methods 0.000 claims description 7
- 238000010586 diagram Methods 0.000 claims description 6
- 230000009467 reduction Effects 0.000 claims description 6
- 238000004458 analytical method Methods 0.000 claims description 4
- 230000003993 interaction Effects 0.000 claims description 4
- 230000000007 visual effect Effects 0.000 claims description 4
- 230000006870 function Effects 0.000 claims description 3
- 238000003062 neural network model Methods 0.000 claims description 3
- 210000002569 neuron Anatomy 0.000 claims description 3
- 230000011218 segmentation Effects 0.000 claims description 3
- 238000011161 development Methods 0.000 claims description 2
- 230000018109 developmental process Effects 0.000 claims description 2
- 238000005538 encapsulation Methods 0.000 claims description 2
- 238000009434 installation Methods 0.000 claims description 2
- 230000008859 change Effects 0.000 claims 1
- 235000013399 edible fruits Nutrition 0.000 claims 1
- 238000013461 design Methods 0.000 abstract description 2
- 239000000203 mixture Substances 0.000 description 8
- 230000000694 effects Effects 0.000 description 4
- 241001269238 Data Species 0.000 description 2
- 238000007796 conventional method Methods 0.000 description 2
- 238000007405 data analysis Methods 0.000 description 2
- 230000010354 integration Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000003672 processing method Methods 0.000 description 2
- 239000002689 soil Substances 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 230000001960 triggered effect Effects 0.000 description 2
- 241000208340 Araliaceae Species 0.000 description 1
- MKYBYDHXWVHEJW-UHFFFAOYSA-N N-[1-oxo-1-(2,4,6,7-tetrahydrotriazolo[4,5-c]pyridin-5-yl)propan-2-yl]-2-[[3-(trifluoromethoxy)phenyl]methylamino]pyrimidine-5-carboxamide Chemical compound O=C(C(C)NC(=O)C=1C=NC(=NC=1)NCC1=CC(=CC=C1)OC(F)(F)F)N1CC2=C(CC1)NN=N2 MKYBYDHXWVHEJW-UHFFFAOYSA-N 0.000 description 1
- NIPNSKYNPDTRPC-UHFFFAOYSA-N N-[2-oxo-2-(2,4,6,7-tetrahydrotriazolo[4,5-c]pyridin-5-yl)ethyl]-2-[[3-(trifluoromethoxy)phenyl]methylamino]pyrimidine-5-carboxamide Chemical compound O=C(CNC(=O)C=1C=NC(=NC=1)NCC1=CC(=CC=C1)OC(F)(F)F)N1CC2=C(CC1)NN=N2 NIPNSKYNPDTRPC-UHFFFAOYSA-N 0.000 description 1
- AFCARXCZXQIEQB-UHFFFAOYSA-N N-[3-oxo-3-(2,4,6,7-tetrahydrotriazolo[4,5-c]pyridin-5-yl)propyl]-2-[[3-(trifluoromethoxy)phenyl]methylamino]pyrimidine-5-carboxamide Chemical compound O=C(CCNC(=O)C=1C=NC(=NC=1)NCC1=CC(=CC=C1)OC(F)(F)F)N1CC2=C(CC1)NN=N2 AFCARXCZXQIEQB-UHFFFAOYSA-N 0.000 description 1
- 235000005035 Panax pseudoginseng ssp. pseudoginseng Nutrition 0.000 description 1
- 235000003140 Panax quinquefolius Nutrition 0.000 description 1
- JAWMENYCRQKKJY-UHFFFAOYSA-N [3-(2,4,6,7-tetrahydrotriazolo[4,5-c]pyridin-5-ylmethyl)-1-oxa-2,8-diazaspiro[4.5]dec-2-en-8-yl]-[2-[[3-(trifluoromethoxy)phenyl]methylamino]pyrimidin-5-yl]methanone Chemical compound N1N=NC=2CN(CCC=21)CC1=NOC2(C1)CCN(CC2)C(=O)C=1C=NC(=NC=1)NCC1=CC(=CC=C1)OC(F)(F)F JAWMENYCRQKKJY-UHFFFAOYSA-N 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000000052 comparative effect Effects 0.000 description 1
- 239000012141 concentrate Substances 0.000 description 1
- 238000013524 data verification Methods 0.000 description 1
- IXSZQYVWNJNRAL-UHFFFAOYSA-N etoxazole Chemical compound CCOC1=CC(C(C)(C)C)=CC=C1C1N=C(C=2C(=CC=CC=2F)F)OC1 IXSZQYVWNJNRAL-UHFFFAOYSA-N 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 235000008434 ginseng Nutrition 0.000 description 1
- 208000015181 infectious disease Diseases 0.000 description 1
- 238000001764 infiltration Methods 0.000 description 1
- 230000008595 infiltration Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000004062 sedimentation Methods 0.000 description 1
- 230000000153 supplemental effect Effects 0.000 description 1
- 239000011800 void material Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/04—Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F30/00—Computer-aided design [CAD]
- G06F30/20—Design optimisation, verification or simulation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/08—Construction
Landscapes
- Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Strategic Management (AREA)
- General Physics & Mathematics (AREA)
- Human Resources & Organizations (AREA)
- Economics (AREA)
- Tourism & Hospitality (AREA)
- General Business, Economics & Management (AREA)
- Marketing (AREA)
- Operations Research (AREA)
- Quality & Reliability (AREA)
- Entrepreneurship & Innovation (AREA)
- Game Theory and Decision Science (AREA)
- Development Economics (AREA)
- Computer Hardware Design (AREA)
- Evolutionary Computation (AREA)
- Geometry (AREA)
- General Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Primary Health Care (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明公开了一种基于大数据分析的盾构施工地面沉降预测系统和方法，主要解决现有技术在盾构施工大数据场景下，不能高效、及时对地面沉降进行预测的问题。本发明中的大数据平台模块为数据收集、数据预处理、特征提取、建立预测模型和模型应用等模块提供海量数据存储和并行计算服务，形成地面沉降预测系统。预测方法步骤包括：搭建大数据平台；收集盾构施工地面沉降数据；数据预处理；特征提取；建立地面沉降预测模型；预测模型功能接口封装；于施工过程中进行地面沉降预测。本发明整个方案设计严谨、完整，具备海量数据存储与并行计算能力，地面沉降预测的效率和准确性高，用于地铁施工地面沉降预测，保障工程质量和安全。
Description
技术领域
本发明属于工业大数据技术领域，尤其涉及地铁盾构施工领域的地面沉降预 测，具体是一种基于大数据分析技术的盾构施工地面沉降预测系统和方法，可用 于对盾构施工过程中地面沉降量的预测。
背景技术
随着地铁建设规模的不断扩大，用于地铁隧道施工的盾构挖掘设备得到的大 量使用。盾构机是一种结构复杂的大型机电液控一体化设备，同时由于盾构施工 环境相对恶劣，地质环境复杂多变，所以在施工过程中会产生很多问题，其中对 地铁施工影响较为严重的就是地面沉降。
地面沉降是指在盾构施工中，由于地层物质被挖出，隧道周围地层土体的应 力状态和原本稳定的结构状态将发生重分布，引起地层移动而导致不同程度地面 的隆起或沉降。而对地面沉降的预测就是要提前发现地面沉降问题，利用某种方 法及时预测出地面沉降量，将可能出现的重大施工事故进行及时预警和汇报，提 高施工质量。
关于地面沉降预测模型的建立，传统方法通常是在单机、串行模式下进行模 型训练，当面对海量数据时，由于数据量巨大，数据的存储和处理，会暴露出容 错性差、速度慢、效率低等问题。这与盾构地面沉降预测所要求的实时性、快速 性以及准确性相悖。同时，传统方法所使用的数据量较小，这对所建立预测模型 的准确性具有较大影响。
随着地铁施工规模的不断扩大，日益增长的海量盾构施工数据，使传统分析 方法面临数据量巨大而带来的难以解决的速度和效率问题，严重影响盾构施工数 据的存储能力和处理速度，进而影响盾构施工过程中的地面沉降量实时预测。同 时，传统方法只能处理小样本数据，进而会降低预测模型的预测准确性。
发明内容
本发明针对现有技术的不足，提出一种具有海量数据存储、冗余能力和实时、 高效计算能力的基于大数据分析技术的地面沉降预测系统和方法。
本发明是一种基于大数据分析技术的盾构施工地面沉降预测系统，依据数据 走向依次包括有数据收集模块、数据预处理模块、特征提取模块、建立预测模型 模块和模型应用模块，所述数据收集模块，包括有地质数据收集子模块、盾构机 运行数据收集子模块和地面沉降量数据收集子模块，负责进行地面沉降量预测所 需数据的收集；其特征在于，还设有大数据平台模块，大数据平台模块包括 Hadoop平台子模块和Spark平台子模块，Spark平台子模块是基于Hadoop平台 子模块，大数据平台模块中的Hadoop平台子模块分别与数据收集模块、数据预 处理模块、特征提取模块、建立预测模型模块和模型应用模块之间进行双向数据 存储交互；大数据平台模块中的Spark平台子模块分别与数据收集模块、数据预 处理模块、特征提取模块、建立预测模型模块和模型应用模块之间具有满足Spark编程范式的并行计算通道；所述数据预处理模块，在Spark平台并行计算框架下， 对数据集中的属性进行缺失值填补、离群点检测和归一化处理；所述特征提取模 块在Spark平台并行计算框架下，采用PCA降维算法进行特征提取；所述建立预 测模型模块是基于Hadoop子模块中的海量数据并在符合Spark平台子模块的计 算框架下，利用多节点误差平均值去触发误差反馈过程，用连接权值向量的平均 值向量作为最终预测模型的连接权值，形成预测模型，其中建立模型所需的输入 数据为地质参数数据和盾构机运行数据，输出数据为盾构监测点沉降量数据；所 述模型应用模块是在大数据平台模块的基础上，将建立预测模型模块建立的预测 模型进行功能封装，并以API的形式提供模型接口，在盾构施工过程，盾构施工 人员调用该模型接口，实现对盾构施工过程中地面沉降量的预测。
本发明还是一种基于大数据分析技术的盾构施工地面沉降预测方法，在权利 要求1-5所述的任一基于大数据分析技术的盾构施工地面沉降预测系统上实现， 其特征在于，包括有如下步骤：
(1)搭建大数据平台：确定大数据平台模块中的节点拓扑结构，节点数量 根据数据量大小进行确定，在各个网络节点上按照需要配置相关环境，包含linux 操作系统安装、节点网络配置、ssh无密码登录设置、安装java程序，在以上配 置环境基础上，在各节点搭建Hadoop平台形成Hadoop平台子模块和搭建Spark 平台形成Spark平台子模块，大数据平台为地面沉降预测提供海量数据存储与计 算基础，提高预测实时性；
(2)收集盾构施工地面沉降预测所需数据：按照所需数据要求，在盾构机 上、地面监测点和相应施工路线上布置相应传感器，现场人员对盾构机运行数据、 地面沉降量监测数据、地质参数数据进行收集，并将收集到的数据首先保存到本 地文件系统或数据库系统中，然后将其上传到大数据平台中的各节点上进行存储， 大数据平台中的多节点提供存储海量数据服务，其节点数量可以根据数据量情况 进行拓展或收缩；
(3)对收集数据进行预处理：利用均值填补法对数据集中缺失的数据进行 填补以确保数据集的完整性，利用分箱法对数据集中的各属性进行离群点探测并 剔除其中的离群点，对数据集中的属性进行归一化处理，将属性归一化到[0,1] 区间，得到高质量数据；
(4)对数据集进行特征提取：在Spark平台子模块运算框架下，利用PCA 降维算法，对预处理之后的非地面沉降量数据进行特征提取，按照特征值从大到 小排序，选择其中最大的k个特征值。将其对应的k个特征向量分别作为列向量 组成特征向量矩阵数据集，根据该特征向量矩阵对数据集降维到含有k个特征的 数据集，用该数据集作为建立预测模型模块的输入数据；
(5)建立地面沉降预测模型：在Spark平台子模块运算框架下，利用BP神 经网络算法，将特征提取之后的数据集作为输入数据，地面沉降量数据作为输出 数据，训练地面沉降预测模型；
(6)将预测模型进行功能接口封装：将训练好的预测模型保存到HDFS文件 系统中，并以API的形式提供该模型调用接口。
(7)于施工过程中进行地面沉降预测：将以上基于大数据分析技术的盾构 施工地面沉降预测系统中训练好的模型部署到盾构机上，现场施工人员采集盾构 施工实时数据，将施工实时数据上传到基于大数据分析技术的盾构施工地面沉降 预测系统中大数据平台模块中的Hadoop平台子模块中，并对其进行预处理和特 征提取，得到高质量数据作为预测模型输入数据，调用预测模型功能接口并把输 入数据输入到预测模型中，得到预测模型输出结果即为前方地面最终沉降量大小， 并将该沉降量值直观反馈给施工人员，为施工人员提供决策支持。
针对盾构施工过程中地面沉降量预测所面临的问题，本发明基于大数据分析 技术，具备为日益增长的盾构施工海量数据提供分布式、易拓展的海量数据存储、 冗余服务能力，并为地面沉降预测模型的建立提供高效、快速的计算框架，提高 地面沉降预测模型的建立速度和效率。
本发明与现有技术相比，具有以下优点：
1.本发明针对地面沉降量预测，搭建了多节点大数据平台，其中的主节点负 责任务的分发，从节点负责任务的执行，大数据平台模块中的Hadoop子模块为 海量盾构施工数据提供存储和冗余能力，提高海量数据存储能力和数据安全性； 大数据平台模块中的Spark子模块为基于海量数据的预测模型建立提供了快速、 高效和实时的计算框架，保证了预测模型建立的实时性，提高预测效率，同时， 海量盾构施工数据为预测模型的准确性提供了基础，保障了施工顺利、安全进行。
2.本发明建立预测模型的过程中，对模型训练子模块中的各节点的训练误差 求其平均值，利用该平均值去触发各节点误差反向传播过程，以此来调整各节点 中的连接权值，该处理方式充分考虑到了各节点的误差，将分散在各个并行节点 的误差统一到了一起作为总体误差判断标准，提高了预测模型的准确性。
3.本发明建立预测模型的过程中，对模型训练子模块中各个节点中训练好的 BP神经网络模型的连接权值向量进行汇总、求和并求出连接权值的平均值向量， 该连接权值向量的平均值作为预测模型的连接权值向量，该处理方法充分考虑到 了各个节点网络的连接权值向量并将其汇总，避免了各个并行节点的孤立性，提 高了预测模型的预测准确性。
4.本发明方法在建立预测模型之前，对数据进行了数据预处理和特征提取， 有效地减少了高维数据对分析过程的影响，避免弱相关因素对建模效果的干扰， 提高了模型精度。
5.本发明中的地质数据收集子模块，使用文本处理技术和CAD二次开发技 术对地质勘探报告中的文本数据和CAD图纸中的点线面元素进行处理，进而获 取相应地质数据，解决了现阶段地质数据依赖人工收集的问题，能够自动化的获 取地质数据，提高地质数据采集效率。
附图说明
图1是本发明的系统架构示意图；
图2是本发明中数据收集模块示意图；
图3是本发明中基于Spark平台的BP神经网络模型建立流程图；
图4是本发明中的地面沉降量具体预测方法；
图5是本发明中平台搭建流程图；
图6是本发明中大数据平台模块组件图；
图7是本发明BP神经网络训练过程中训练误差变化图；
图8是本发明地面沉降量真实值-预测值结果对比图；
图9是两种方法使用的时间对比结果图。
具体实施方式
下面结合附图和具体实施方式对本发明作详细说明。
实施例1：
传统盾构施工过程中对地面沉降量的预测处理方法面对海量盾构施工数据， 不具备大规模数据存储和处理能力，在对地面沉降进行预测时，速度慢、效率低 和安全性差会直接影响到盾构施工过程中对地面沉降量的预测，进而降低施工质 量，增大施工风险。
本发明针对上述盾构施工中的地面沉降预测存在的问题，展开研究与探讨， 引入大数据分析技术，提出一种基于大数据分析技术的盾构施工地面沉降预测系 统，本发明的系统中依据数据走向依次包括有数据收集模块、数据预处理模块、 特征提取模块、建立预测模型模块和模型应用模块。数据收集模块包括有地质数 据收集子模块、盾构机运行数据收集子模块和地面沉降量数据收集子模块，数据 收集模块负责进行地面沉降量预测所需数据的收集。参见图1，本发明在数据收 集模块、数据预处理模块、特征提取模块、建立预测模型模块和模型应用模块之 前，先设有大数据平台模块，本发明的大数据平台模块包括Hadoop平台子模块 和Spark平台子模块，Spark平台子模块是基于Hadoop平台子模块，大数据平台 模块中的Hadoop平台子模块分别与数据收集模块、数据预处理模块、特征提取 模块、建立预测模型模块和模型应用模块之间进行双向数据存储交互，为数据收 集模块、数据预处理模块、特征提取模块、建立预测模型模块和模型应用模块提 供海量数据存储。大数据平台模块中的Spark平台子模块分别与数据收集模块、 数据预处理模块、特征提取模块、建立预测模型模块和模型应用模块之间具有满 足Spark编程范式的并行计算通道，为数据收集模块、数据预处理模块、特征提 取模块、建立预测模型模块和模型应用模块提供并行计算框架。本发明中的数据 预处理模块，在Spark平台计算框架下，利用均值填补法对数据集中缺失的数据 进行填补以确保数据集的完整性，然后利用分箱法对数据集中的各属性进行离群 点探测并剔除其中的离群点，最后对数据集中的属性进行归一化处理，将属性归 一化到[0,1]区间，消除由于属性量纲不同而带来的数据不平衡。本发明中的特征 提取模块在Spark平台计算框架下，采用PCA降维算法对数据集进行特征提取。 本发明中的建立预测模型模块是基于Hadoop子模块中的海量数据并在符合 Spark平台子模块的计算框架下，利用多节点误差平均值去触发误差反馈过程， 用各节点连接权值向量的平均值向量作为最终预测模型的连接权值，进而生成建 立预测模型。本发明中的模型应用模块是在大数据平台模块的基础上，将建立预 测模型模块建立的预测模型进行功能封装，并以API的形式提供该模型接口，在 盾构施工过程，盾构施工人员调用该模型接口，实现对盾构施工过程中地面沉降 量的预测。
本发明中基于大数据分析的盾构施工地面沉降预测系统中的数据收集模块、 数据预处理模块、特征提取模块、建立预测模型模块和模型应用模块都是基于大 数据平台模块，大数据平台模块为以上模块的数据提供海量存储支持和快速、高 效计算支撑，加快了以上各模块的分析速度和效率，提高盾构施工过程中地面沉 降量预测的实时性，有效避免事故发生。
实施例2：
基于大数据分析技术的盾构施工地面沉降预测系统的构成同实施例1，参照 图2，本发明中的数据收集模块，包括有地质数据收集子模块、盾构机运行数据 收集子模块和地面沉降量数据收集子模块，地质数据收集子模块通过文本处理技 术和CAD二次开发工具ObjectARX对专业地质勘探报告里的文本数据和施工图纸 里面的点线面元素进行地质参数数据抽取得到地质相关数据，例如：土质孔隙比、 压缩模量、渗透系数、内摩擦角等参数数据；盾构机运行数据收集子模块，通过 加装在盾构机上的各传感器和自带传感器进行盾构机运行数据采集得到盾构机 运行数据；地面沉降量数据收集子模块通过对地面沉降监测点进行监测来获得地 面沉降量数据，将以上数据上传到大数据平台模块中的HBase中进行存储。
本发明的地质数据收集子模块能够解决获取专业地质数据较为困难的问题， 能够自动化的提取文本和CAD图纸中的相应地质数据，提高数据收集效率。
实施例3：
基于大数据分析技术的盾构施工地面沉降预测系统的构成同实施例1-2，参 照图3，在Spark并行编程模式下，本发明中的建立预测模型模块，将盾构机运 行数据和地质参数数据作为模型训练的输入，将地面沉降量作为模型训练的输出， 用历史数据建立预测模型；建立预测模型模块按照数据流方向依次包含模型训练 子模块、误差处理子模块、连接权值向量处理子模块。模型训练子模块负责多节 点模型训练；误差处理子模块利用各节点训练误差的平均值去触发各节点误差反 向传播过程；连接权值向量处理子模块用于计算预测模型中的连接权值向量，并 用此结果形成地面沉降预测模型。
实施例4：
基于大数据分析技术的盾构施工地面沉降预测系统的构成同实施例1-3，参 照图3，本发明中的建立预测模型模块中的误差处理子模块，包括两部分内容， 第一部分内容对模型训练子模块中的各节点的训练误差值求其平均值，第二部分 内容利用训练误差平均值去触发各节点误差反向传播过程，以此来调整各节点中 的连接权值。
实施例5：
基于大数据分析技术的盾构施工地面沉降预测系统的构成同实施例1-4，参 照图3，本发明中的连接权值向量处理子模块，对模型训练子模块中各个节点中 训练好的BP神经网络模型的连接权值向量进行汇总、求和并求出连接权值的平 均值向量，该连接权值向量的平均值作为预测模型的连接权值向量，形成地面沉 降预测模型。
误差处理子模块和连接权值向量处理子模块将分散在各节点中单独建立的 模型结合在了一起，将原本割裂的各个训练节点中的模型形成一个统一模型，该 处理方式能有效拟合总体数据蕴含的内部关系，提高了建模效率与准确性。
实施例6：
本发明还是一种基于大数据分析技术的盾构施工地面沉降预测方法，在上述 基于大数据分析技术的盾构施工地面沉降预测系统上实现，系统的构成同实施例 1-5，参照图4，盾构施工地面沉降预测方法包括有如下步骤：
(1)搭建大数据平台：确定大数据平台模块中的节点拓扑结构，节点数量 根据数据量大小进行确定，其规模可进行扩展和收缩以提供不同规模需求的数据 存储服务，在各个网络节点上按照需要配置相关环境，包含linux操作系统安装、 节点网络配置、ssh无密码登录设置、安装java程序，在以上配置环境基础上， 在各节点搭建基于Hadoop和Spark的大数据平台为地面沉降预测提供海量数据 存储与并行计算基础。
(2)收集盾构施工地面沉降预测所需数据：通过地质数据收集子模块收集 地质勘探报告中的地质数据，盾构机运行数据收集子模块收集通过传感器采集的 盾构运行状态参数数据，地面沉降量收集子模块通过施工线路上的地面沉降监测 点收集地面沉降监测点数据，按照所需数据要求，在盾构机上、地面监测点和相 应施工路线上布置相应传感器，现场人员对盾构运行数据、地面沉降监测数据、 地质数据进行收集，并将收集到的数据首先保存到本发明的本地文件系统或数据 库系统中，并将其上传到大数据平台中的各节点上进行存储，大数据平台中的多 节点提供存储海量数据服务，其节点数量可以根据数据量情况进行拓展或收缩。
(3)对收集数据进行预处理：利用均值填补方法对数据集中缺失的数据进 行填补以确保数据集的完整性，然后利用分箱法对数据集中的各属性进行离群点 探测并剔除其中的离群点，最后对数据集中的属性进行归一化处理，将属性归一 化到[0,1]区间，得到高质量数据。
(4)对数据集进行特征提取：在Spark平台子模块运算框架下，利用PCA 降维算法，对预处理之后的数据进行特征提取，按照特征值从大到小排序，选择 其中最大的k个特征值。将其对应的k个特征向量分别作为列向量组成特征向量 矩阵数据集，根据该特征向量矩阵对数据集降维到含有k个特征的数据集，用该 数据集作为建立预测模型模块的输入数据。
(5)建立地面沉降预测模型：在Spark平台子模块运算框架下，利用BP神 经网络算法，将特征提取之后的数据集作为输入数据，训练地面沉降预测模型。
(6)提供模型应用接口：将训练好的预测模型保存到HDFS文件系统中，并 以API的形式提供该模型调用接口。
(7)于施工过程中进行地面沉降预测：将以上基于大数据分析技术的盾构 施工地面沉降预测系统部署到盾构机上，现场施工人员采集盾构施工实时数据， 将施工实时数据上传到基于大数据分析技术的盾构施工地面沉降预测系统中大 数据平台模块中的Hadoop平台子模块中，对大数据平台模块中的Hadoop平台 子模块里存储的数据经过预处理和特征提取之后得到高质量数据作为预测模型 输入数据，调用预测模型功能接口并把输入数据输入到预测模型中，得到预测模 型输出结果即为前方地面最终沉降量大小，并将该沉降量值直观反馈给施工人员， 为施工人员提供决策支持，以此来对地面沉降量做出预测。
本发明的盾构施工地面沉降预测方法中的数据处理过程都运行在大数据平 台上，利用大数据平台并行处理框架的高效资源调度和容错处理能力，能够保证 每个数据处理步骤的准确性和快速性，提高建模效率，进而提高地面沉降预测的 实时性工程应用价值。
实施例7：
基于大数据分析技术的盾构施工地面沉降预测系统的构成同实施例1-6，参 见图3，本发明的步骤(5)中的训练地面沉降预测模型的过程包括有如下步骤：
(5a)以流的形式，从大数据平台中的HDFS或HBase中读取训练数据，加 载到集群节点的内存中。
(5b)根据配置要求，对训练数据分块形成RDD1、RDD2、…、RDDn等分割形式。
(5c)初始化各个节点worker的BP神经网络结构，给相应的连接权值赋初 值。
(5d)进入Map阶段，将各个节点上的训练数据带入到网络中进行训练， 得到各节点的训练误差分别为e1、e2、…、en。
(5e)进入Join阶段，对各节点的训练误差进行汇总，并求出平均误差值E。
(5f)判断误差E是否满足误差要求，如果满足：则汇总各个节点的权值向 量w1、w2、…、wn，然后计算网络结构权值的平均值向量W，利用该平均值向量 W形成预测模型，并将该预测模型保存到大数据平台模块中Hadoop平台子模块 中的HDFS中；如果不满足误差要求：则触发反馈过程，即根据各节点的训练误 差e1、e2、…、en调整各个节点网络中神经元的连接权值向量值 w1、w2、…、wn，并重复步骤(5d)～(5f)，进行新一轮的迭代过程，得到新的训练误差值，并进行训练误差汇总并求出平均误差值，然后对平均误差值进行判 断，反复迭代过程直至训练平均误差值满足要求，模型训练结束，退出循环迭代 过程。
下面将基于大数据分析技术的盾构施工地面沉降预测系统和方法融汇在一 起，对本发明进一步说明：
实施例8：
基于大数据分析技术的盾构施工地面沉降预测系统的构成同实施例1-7，本 发明用于解决盾构施工过程中的地面沉降量预测问题。同时考虑到未来随着盾构 规模的不断扩大，可能会出现的盾构大数据应用场景，专门提出了一种基于大数 据分析技术的地面沉降预测系统和方法。基于大数据并行处理技术和BP神经网 络算法，通过数据集成，然后进行数据预处理，进而对预处理后的数据进行特征 提取，并在Spark平台下建立地面沉降量预测模型。
根据本发明所述的系统和方法，实现基于大数据分析技术的地面沉降预测过 程，包括有如下步骤：
(1)确定大数据平台模块中的硬件节点拓扑结构，节点数量根据数据量大 小进行确定，其规模可进行扩展和收缩以提供不同规模需求的数据存储服务。
本实施例的大数据平台网络节点拓扑结构如下表1所示，表1给出了包含四 个服务器节点的拓扑结构，其中一个节点作为NameNode，另外三个节点作为 DataNode，并且为了保证平台的健壮性，将SecondaryName部署在非NameNode 节点上。
表1 网络节点拓扑结构
| 节点 | Ip | 属性 | 备注 |
| Master.Hadoop | 192.168.137.2 | NameNode | |
| Slave1.Hadoop | 192.168.137.3 | DataNode | SecondaryNameNode |
| Slave2.Hadoop | 192.168.137.4 | DataNode | |
| Slave3.Hadoop | 192.168.137.5 | DateNode |
大数据平台中的各网络节点配置如下表2所示，四台节点计算机的配置相同。
表2 节点具体配置
| 属性 | 参数 |
| 内存容量 | 1G |
| 硬盘空间 | 20G |
| CPU个数 | 1 |
| Linux系统版本 | CentOS-6.3 |
| jdk版本 | jdk-6u32 |
| Hadoop版本 | Hadoop-2.6.0 |
| Spark版本 | Spark-1.4.0 |
参照图5，具体平台搭建流程，包含安装linux系统安装、节点网络配置、ssh 无密码登录配置、安装java环境、配置Hadoop、配置Spark，并将搭建好的平台 进行初始化操作进而为与系统中的各模块进行双向数据和计算通道的连接建立 提供基础保障，形成基于大数据分析的盾构施工地面沉降预测系统。
参照图6，搭建好大数据平台后，大数据平台模块包含如下组件：HDFS、 HadoopYarn、Hadoop MapReduce、Spark、Spark Streaming等。
(2)通过数据收集模块中的地质数据收集子模块收集地质勘探报告和CAD 图中的地质数据，盾构机运行数据收集子模块收集通过传感器收集盾构运行状态 参数数据，地面沉降量收集子模块通过施工线路上的地面沉降监测点收集地面沉 降监测点数据，按照所需数据要求，在盾构机上、地面监测点和相应施工路线上 布置相应传感器，现场人员对盾构运行数据、地面沉降监测数据、地质数据进行 收集，并将收集到的数据首先保存到本地文件系统或数据库系统中，然后将其上 传到大数据平台中的各节点上进行存储，大数据平台中的多节点提供存储海量数 据服务，其节点数量可以根据数据量情况进行拓展或收缩以应对不同规模的数据 量。
(3)利用均值填补方法对数据集中缺失的数据进行填补以确保数据集的完 整性，然后利用分箱法对数据集中的各属性进行离群点探测并剔除其中的离群点， 最后对数据集中的非类别属性进行归一化处理，将属性归一化到[0,1]区间，得到 高质量数据，该步骤是在Spark平台上进行并行运算，提高了运算速度。
(4)对数据集进行特征提取：在Spark平台子模块运算框架下，利用PCA 降维算法，对预处理之后的数据进行特征提取，按照特征值从大到小排序，选择 其中最大的k个特征值。将其对应的k个特征向量分别作为列向量组成特征向量 矩阵，根据该特征向量矩阵对数据集降维到含有k个特征的数据集，用该数据集 作为建立预测模型模块的输入数据，其具体步骤如下所示：
(4a)假设有m条数据记录，每个样本有n个特征，那么每条数据可用向量 (1)表示，数据集可用矩阵(2)表示如下：
(4b)利用公式(3)计算出协方差矩阵：
求出协方差矩阵C的特征值和特征向量。
(4c)将特征向量对应特征值大小按照从左到右排列成矩阵,取前k个向量组 成如下(4)所示的矩阵P：
(4d)通过如下公式(5)将原数据集X降维到含有k个特征的数据集Y：
Y＝XP (5)
(5)在Spark平台子模块运算框架下，利用BP神经网络算法，将特征提取 之后的数据集作为输入数据训练地面沉降预测模型，其具体步骤如下所示：
(5a)以流的形式，从大数据平台中的HDFS或HBase中读取训练数据，加 载到集群节点的内存中。
(5b)根据配置要求，对训练数据分块形成RDD1、RDD2、…、RDDn等分割形式。
(5c)初始化各个节点worker的BP神经网络结构，给相应的连接权值赋初 值。
(5d)进入Map阶段，将各个节点上的训练数据带入到网络中进行训练， 得到各节点的训练误差分别为e1、e2、…、en。
(5e)进入Join阶段，对各节点的训练误差进行汇总，并求出平均误差值E。
(5f)判断误差E是否满足误差要求，如果满足：则汇总各个节点的权值向 量w1、w2、…、wn，然后计算网络结构权值的平均值向量W，利用该平均值向 量W形成预测模型，并将该预测模型保存到大数据平台模块中Hadoop平台子模 块中的HDFS中；如果不满足误差要求：则触发反馈过程，即根据各节点的训练 误差e1、e2、…、e调整各个节点网络中神经元的连接权值向量值 w1、w2、…、wn，并重复步骤(5d)～(5f)，进行新一轮的迭代过程，得到新 的训练误差值，并进行训练误差汇总并求出平均误差值，然后对平均误差值进行 判断，反复迭代过程直至训练平均误差值满足要求，模型训练结束，退出循环迭 代过程。
(6)将训练好的预测模型保存到HDFS文件系统中，并以API的形式提供该 模型调用功能接口。
(7)将以上基于大数据分析技术的盾构施工地面沉降预测系统部署到盾构 机上，现场施工人员采集盾构施工实时数据，将施工实时数据上传到基于大数据 分析技术的盾构施工地面沉降预测系统中大数据平台模块中的Hadoop平台子模 块中，对大数据平台模块中的Hadoop平台子模块里存储的数据经过预处理和特 征提取之后得到待预测地面沉降量所需数据作为预测模型输入数据，调用预测模 型功能接口并把输入数据输入到预测模型中，得到预测模型输出结果即为前方地 面最终沉降量大小，并将该沉降量值直观反馈给施工人员，为施工人员提供决策 支持，以此来对地面沉降量做出预测，现场施工员根据地面沉降量的大小及时调 整相关参数，降低施工过程中的地面沉降风险，提高施工质量和施工效率。
本发明为基于大数据的盾构施工过程中的地面沉降预测提供了一个完整、高 效的数据分析和处理流程，为现场施工人员和工程管理人员提供了一个地面沉降 预测平台，按照系统中的模块和预测方法施工人员可以对地面沉降量做出准确、 快速预测，有效提高了施工效率和施工进度。
下面通过试验数据对本发明的技术效果再做说明：
实施例9：
基于大数据分析技术的盾构施工地面沉降预测系统的构成同实施例1-8，结 合实验数据对本发明系统中模块和方法的技术效果说明如下：
(1)通过数据收集模块收集到实验数据如下表3所示，数据来自武汉地铁6 号线一期工程，共有7个字段，865036条数据记录，数据文件大小为815m。
表3 数据收集模块收集到的原始数据举例
| 序号 | t1 | t2 | t3 | t4 | t5 | t6 | s |
| 1 | 11740 | 20 | 122 | 2.04 | 180.2 | 18.3 | -31.4 |
| 2 | 12000 | 12.6 | 3.8 | 1.97 | 22.1 | 14.4 | -18.7 |
| 3 | 9540 | 15.1 | 113 | 1.97 | 134.7 | 22.7 | -17.3 |
| 4 | 11000 | 19.9 | 133.8 | 2.05 | 186.8 | 18.7 | -22.8 |
| …… | …… | …… | …… | …… | …… | …… | …… |
| 865033 | 11500 | 17.8 | 186 | 2.15 | 258.2 | 22.2 | -28.1 |
| 865034 | 11660 | 19.9 | 127 | 2.04 | 181.9 | 18.5 | -25.9 |
| 865035 | 11350 | 20 | 118.5 | 2.03 | 180.1 | 17.9 | -29.7 |
| 865036 | 12030 | 20.4 | 130.3 | 2.04 | 195 | 18.3 | -30.3 |
注：t1、t2、t3、t4、t5、t6为输入属性；s为输出属性
t1:盾构机千斤顶推力/kN
t2:盾构机推进速度/mm/min
t3:变形模量/MPa
t4:注浆压力/MPa
t5:凝聚力/kPa
t6:内摩擦角/°
s:地面沉降量数据/mm
(2)通过数据预处理模块对以上收集到的表3所示数据进行数据预处理， 利用均值填补法进行缺失值填补、并通过分箱法进行离群点检测并将其剔除，最 后进行归一化处理，将其归一化到[0,1]区间中，归一化处理后的数据如下表4所 示：
表4 数据预处理之后的数据
| 序号 | t1 | t2 | t3 | t4 | t5 | t6 | s |
| 1 | 0.114 | 0.948 | 0.469 | 0.357 | 0.482 | 0.517 | 0.681 |
| 2 | 0.122 | 0.474 | 0.010 | 0.107 | 0.038 | 0.169 | 0.881 |
| 3 | 0.047 | 0.634 | 0.434 | 0.107 | 0.354 | 0.910 | 0.903 |
| 4 | 0.092 | 0.942 | 0.515 | 0.392 | 0.501 | 0.553 | 0.817 |
| …… | …… | …… | …… | …… | …… | …… | …… |
| 861702 | 0.107 | 0.807 | 0.717 | 0.75 | 0.701 | 0.866 | 0.733 |
| 861703 | 0.112 | 0.942 | 0.488 | 0.357 | 0.487 | 0.535 | 0.768 |
| 861704 | 0.102 | 0.948 | 0.455 | 0.321 | 0.482 | 0.482 | 0.708 |
| 861705 | 0.123 | 0.974 | 0.501 | 0.357 | 0.524 | 0.517 | 0.699 |
(3)通过特征提取模块，对表4所示数据中的t1、t2、t3、t4、t5、t6属性 进行特征提取，并选取前4个相关性较大的特征，特征提取之后的数据集如下表 5所示：
表5 特征提取之后的数据
| 序号 | k1 | k2 | k3 | k4 | s |
| 1 | 0.489 | 0.961 | 0.543 | 0.620 | 0.681 |
| 2 | 0.539 | 0.502 | 0.029 | 0.247 | 0.881 |
| 3 | 0.126 | 0.763 | 0.529 | 0.247 | 0.903 |
| 4 | 0.281 | 0.951 | 0.618 | 0.704 | 0.817 |
| …… | …… | …… | …… | …… | …… |
| 861702 | 0.457 | 0.805 | 0.872 | 0.894 | 0.733 |
| 861703 | 0.472 | 0.957 | 0.597 | 0.620 | 0.768 |
| 861704 | 0.435 | 0.961 | 0.532 | 0.439 | 0.708 |
| 861705 | 0.543 | 0.974 | 0.605 | 0.620 | 0.699 |
(4)利用表5所示特征提取之后的数据建立地面沉降预测模型，其中属性 k1、k2、k3、k4作为训练模型的输入属性，属性s作为训练模型的输出属性，将 其带入到建立预测模型模块中进行并行迭代计算，参照图7，模型迭代过程中的 预测结果相对误差最终趋于平稳，当满足误差要求时，停止迭代过程，模型建立 完毕，并将其模型进行封装成接口，保存到HDFS中。
(5)参照图8，对以上建立好的模型进行地面沉降量预测测试，真实值为实 际地面沉降量，预测值为对模型测试所得到的预测地面沉降量，对比真实值与预 测值可得，该模型能够准确地预测出地面沉降量大小。
(6)参照图9，对使用同一数据在相同配置的单节点计算机上进行地面沉降 预测所用时间与使用本发明进行盾构地面沉降预测所用时间进行对比发现，使用 本发明基于大数据分析技术的盾构施工地面沉降预测系统和方法，能够极大缩短 地面沉降预测时间，提高盾构施工过程中的地面沉降预测效率。
结合实验数据验证可知，该基于大数据分析技术的盾构施工地面沉降预测系 统和方法相比于传统分析方法能够准确、高效的预测出地面沉降量的大小，具有 较大的实际工程价值。
本发明主要用于解决现有技术在盾构施工大数据场景下，不能高效、及时对 地面沉降进行预测的问题。该方法基于大数据处理技术和BP神经网络算法，通 过大数据平台搭建、数据收集，然后进行数据预处理，进而对预处理后的数据进 行特征提取，并在Spark平台下建立地面沉降量预测模型，并对模型进行封装和 以API的方式提供应用。
简而言之，本发明公开的一种基于大数据分析的盾构施工地面沉降预测系统 和方法，主要解决现有技术在盾构施工大数据场景下，不能高效、及时对地面沉 降进行预测的问题。本发明通过大数据平台与数据收集模块、数据预处理模块、 特征提取模块、建立预测模型模块和模型应用模块进行数据交互与数据控制，形 成地面沉降预测系统。预测方法步骤包括：搭建大数据平台；收集盾构施工地面 沉降数据；数据预处理；特征提取；建立地面沉降预测模型；预测模型功能接口 封装；于施工过程中进行地面沉降预测。本发明整个方案设计严谨、完整，有海 量数据存储与并行计算能力，地面沉降预测的效率和准确性高，用于地铁施工地 面沉降预测，保障工程质量和安全。
以上描述仅是本发明具体实例，不构成对本发明的任何限制，显然对于本领 域的专业人员来说，在了解了本发明内容和原理后，都可能在不背离本发明原理、 结构的情况下，进行形式和细节上的各种修改和改变，但是这些基于本发明思想 的修正和改变仍在本发明的权利要求保护范围之内。
Claims (8)
1.一种基于大数据分析技术的盾构施工地面沉降预测系统，依据数据走向依次包括有数据收集模块、数据预处理模块、特征提取模块、建立预测模型模块和模型应用模块；所述数据收集模块，包括有地质数据收集子模块、盾构机运行数据收集子模块和地面沉降量数据收集子模块，负责进行地面沉降量预测所需数据的收集；其特征在于，所述大数据平台模块，包括Hadoop平台子模块和Spark平台子模块，Spark平台子模块是基于Hadoop平台子模块，大数据平台模块中的Hadoop平台子模块分别与数据收集模块、数据预处理模块、特征提取模块、建立预测模型模块和模型应用模块之间进行双向数据存储交互；大数据平台模块中的Spark平台子模块分别与数据收集模块、数据预处理模块、特征提取模块、建立预测模型模块和模型应用模块之间具有满足Spark编程范式的并行计算通道；所述数据预处理模块，在Spark平台并行计算框架下，对数据集中的属性进行缺失值填补、离群点检测和归一化处理；所述特征提取模块在Spark平台计算框架下，采用PCA降维算法对数据进行特征提取；所述建立预测模型模块是基于Hadoop子模块中的海量数据并在符合Spark平台子模块的并行计算框架下，利用各节点误差平均值去触发误差反馈过程，用各节点连接权值向量的平均值向量作为最终预测模型的连接权值，形成预测模型，其中建立模型所需的输入数据为地质参数数据和盾构机运行数据，输出数据为盾构监测点沉降量数据；所述模型应用模块是在大数据平台模块的基础上，将建立预测模型模块建立的预测模型进行功能封装，并以API的形式提供预测模型接口，在盾构施工过程，盾构施工人员调用该模型接口，实现对盾构施工过程中地面沉降量的预测。
2.根据权利要求1所述的基于大数据分析技术的盾构施工地面沉降预测系统，其特征在于，所述地质数据收集子模块，通过文本处理技术抓取地质勘探报告里面的文本数据，从地质勘探报告中获取相应的地质参数数据；通过CAD二次开发工具ObjectARX对施工图纸里面的点线面数据进行抽取，从CAD图纸中获取相应的地质参数数据。
3.根据权利要求1所述的基于大数据分析技术的盾构施工地面沉降预测系统，其特征在于，所述建立预测模型模块，按照数据流方向依次包含模型训练子模块、误差处理子模块、连接权值向量处理子模块；模型训练子模块负责多节点模型训练；误差处理子模块利用各节点训练误差的平均值去触发各节点误差反向传播过程；连接权值向量处理子模块用于计算预测模型中的连接权值向量，并用此连接权值向量作为地面沉降预测模型的连接权值向量。
4.根据权利要求3所述的基于大数据分析技术的盾构施工地面沉降预测系统，其特征在于，所述建立预测模型模块中的误差处理子模块，包括两部分内容，第一部分内容对模型训练子模块中的各节点的训练误差值求其平均值，第二部分内容利用训练误差平均值去触发各节点误差反向传播过程，以此来调整各节点中的连接权值向量。
5.根据权利要求3所述的基于大数据分析技术的盾构施工地面沉降预测系统，其特征在于，所述建立预测模型模块中的连接权值向量处理子模块，对模型训练子模块中各个节点训练好的BP神经网络模型的连接权值向量进行汇总、求和并求出连接权值向量的平均值向量，该连接权值向量的平均值作为预测模型的连接权值向量，形成地面沉降预测模型。
6.一种基于大数据分析技术的盾构施工地面沉降预测方法，在权利要求1-5所述的任一基于大数据分析技术的盾构施工地面沉降预测系统上实现，其特征在于，包括有如下步骤：
(1)搭建大数据平台：确定大数据平台模块中的节点拓扑结构，节点数量根据数据量大小进行确定，在各个网络节点上按照需要配置相关环境，包含linux操作系统安装、节点网络配置、ssh无密码登录设置、安装java程序，在以上配置环境基础上，在各节点搭建Hadoop平台形成Hadoop平台子模块和搭建Spark平台形成Spark平台子模块形成大数据平台，大数据平台为地面沉降预测提供海量数据存储与计算基础，提高地面沉降量预测实时性；
(2)收集盾构施工地面沉降预测所需数据：按照所需数据要求，在盾构机上、地面监测点和相应施工路线上布置相应传感器，现场人员对盾构机运行数据、地面沉降量监测数据、地质参数数据进行收集，并将收集到的数据首先保存到本地文件系统或数据库系统中，然后将其上传到大数据平台中的各节点上进行存储，大数据平台中的多节点提供存储海量数据服务，其节点数量可以根据数据量情况进行拓展或收缩；
(3)对收集的数据进行预处理：对收集到的数据利用均值填补法对数据集中缺失的数据进行填补以确保数据集的完整性，利用分箱法对数据集中的各属性进行离群点探测并剔除其中的离群点，对数据集中的属性进行归一化处理，将属性归一化到[0,1]区间，得到高质量数据；
(4)对数据集进行特征提取：在Spark平台子模块运算框架下，利用PCA降维算法，对预处理之后的非地面沉降量数据进行特征提取，按照特征值从大到小排序，选择其中最大的k个特征值。将其对应的k个特征向量分别作为列向量组成特征向量矩阵数据集，根据该特征向量矩阵对数据集降维到含有k个特征的数据集，用该数据集作为建立预测模型模块的输入数据；
(5)建立地面沉降预测模型：在Spark平台子模块运算框架下，利用BP神经网络算法，将特征提取之后的数据集作为输入数据，地面沉降量数据作为输出数据，训练地面沉降预测模型；
(6)将预测模型进行功能接口封装：将训练好的预测模型保存到HDFS文件系统中，并以API的形式提供该模型调用接口；
(7)于施工过程中进行地面沉降预测：将以上基于大数据分析技术的盾构施工地面沉降预测系统中训练好的模型部署到盾构机上，现场施工人员采集盾构施工实时数据，将施工实时数据上传到基于大数据分析技术的盾构施工地面沉降预测系统中大数据平台模块中的Hadoop平台子模块中，并对其进行预处理和特征提取，得到高质量数据作为预测模型输入数据，调用预测模型功能接口并把输入数据输入到预测模型中，得到预测模型输出结果即为前方地面最终沉降量大小，并将该沉降量值直观反馈给施工人员，为施工人员提供决策支持。
7.根据权利要求6所述的基于大数据分析技术的盾构施工地面沉降预测系统的预测方法，其特征在于步骤(3)所述的对收集的数据进行预处理包括如下步骤：
(3a)在Spark并行计算框架下，对收集到的数据进行缺失值分析，利用各属性均值去填补各属性中缺失的数据；
(3b)利用等宽分箱法对数据集各属性进行离群点探测，将探测到的离群点数据剔除；
(3c)对数据集中的属性进行归一化处理，将各属性数据归一化到[0,1]区间，得到高质量数据。
8.根据权利要求6所述的基于大数据分析技术的盾构施工地面沉降预测系统的预测方法，其特征在于步骤(5)所述的训练地面沉降预测模型的过程包括如下步骤：
(5a)以流的形式，从大数据平台中的HBase中读取训练数据，加载到集群各节点的内存中；
(5b)根据配置要求，对训练数据分块形成RDD1、RDD2、...、RDDn等分割形式；
(5c)初始化各个节点的BP神经网络结构，给相应的连接权值赋初值；
(5d)进入Map阶段，将各个节点上的训练数据带入到网络中进行训练，得到各节点的训练误差分别为e1、e2、...、en；
(5e)进入Join阶段，对各节点的训练误差进行汇总，并求出平均误差值E；
(5f)判断误差E是否满足误差要求，如果满足：则汇总各个节点的权值向量w1、w2、...、wn，然后计算网络结构权值的平均值向量W，利用该平均值向量W形成预测模型，并将该预测模型保存到大数据平台模块中Hadoop平台子模块中的HDFS中；如果不满足误差要求：则触发反馈过程，即根据各节点的训练误差e1、e2、...、en调整各个节点网络中神经元的连接权值向量值w1、w2、...、wn，并重复步骤(5d)～(5f)，进行新一轮的迭代过程，得到新的训练误差值，并进行训练误差汇总并求出平均误差值，然后对平均误差值进行判断，反复迭代过程直至训练平均误差值满足要求，模型训练结束，退出循环迭代过程。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710303105.8A CN107092990A (zh) | 2017-05-03 | 2017-05-03 | 基于大数据分析的盾构施工地面沉降预测系统和方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710303105.8A CN107092990A (zh) | 2017-05-03 | 2017-05-03 | 基于大数据分析的盾构施工地面沉降预测系统和方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN107092990A true CN107092990A (zh) | 2017-08-25 |
Family
ID=59637146
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710303105.8A Pending CN107092990A (zh) | 2017-05-03 | 2017-05-03 | 基于大数据分析的盾构施工地面沉降预测系统和方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107092990A (zh) |
Cited By (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107503757A (zh) * | 2017-09-20 | 2017-12-22 | 中建交通建设集团有限公司 | 一种基于大数据技术的盾构隧道智能施工辅助系统及使用方法 |
| CN107609141A (zh) * | 2017-09-20 | 2018-01-19 | 国网上海市电力公司 | 一种对大规模可再生能源数据进行快速概率建模方法 |
| CN107844964A (zh) * | 2017-11-30 | 2018-03-27 | 广州轨道交通建设监理有限公司 | 一种盾构施工信息管理系统 |
| CN108228819A (zh) * | 2017-12-29 | 2018-06-29 | 武汉长江仪器自动化研究所有限公司 | 基于大数据平台的大坝变形预测方法 |
| CN108537883A (zh) * | 2018-03-07 | 2018-09-14 | 上海电力学院 | 一种基于MapReduce框架的地质建模方法 |
| CN110109955A (zh) * | 2019-03-15 | 2019-08-09 | 平安科技（深圳）有限公司 | 数据调用量统计方法、系统、计算机装置及可读存储介质 |
| CN110442979A (zh) * | 2019-08-08 | 2019-11-12 | 山东大学 | 基于bp神经网络的盾构施工隧道的全变形预测方法及系统 |
| CN110617074A (zh) * | 2019-09-20 | 2019-12-27 | 西安电子科技大学 | 一种盾构施工中地面沉降量与掘进参数的关联关系方法 |
| CN111126873A (zh) * | 2019-12-30 | 2020-05-08 | 盾构及掘进技术国家重点实验室 | 一种基于Hadoop集群架构的盾构TBM大数据平台系统及建设方法 |
| CN111160204A (zh) * | 2019-12-23 | 2020-05-15 | 山东大学 | 基于主元分析bp神经网络的地质雷达图像识别方法及系统 |
| CN111399776A (zh) * | 2020-03-13 | 2020-07-10 | 西安石油大学 | 一种基于数据采集的地质勘探管理系统 |
| CN111832223A (zh) * | 2020-06-29 | 2020-10-27 | 上海隧道工程有限公司 | 基于神经网络的盾构施工地表沉降预测方法 |
| CN114659492A (zh) * | 2019-09-06 | 2022-06-24 | 北京住总集团有限责任公司 | 一种隧道掘进用监测平台及监测方法 |
| CN117390381A (zh) * | 2023-09-11 | 2024-01-12 | 北京市政建设集团有限责任公司 | 基于深度学习的地下连续墙接头缝渗漏预测方法及装置 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002133336A (ja) * | 2000-10-26 | 2002-05-10 | Nippon Telegr & Teleph Corp <Ntt> | プリペイド決済方法、その装置、及びそのプログラム記録媒体 |
| CN102425148A (zh) * | 2011-09-02 | 2012-04-25 | 铁道第三勘察设计院集团有限公司 | 基于静力触探和bp神经网络的路基沉降快速预测方法 |
| CN104866904A (zh) * | 2015-06-16 | 2015-08-26 | 中电科软件信息服务有限公司 | 一种基于spark的遗传算法优化的BP神经网络并行化方法 |
-
2017
- 2017-05-03 CN CN201710303105.8A patent/CN107092990A/zh active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002133336A (ja) * | 2000-10-26 | 2002-05-10 | Nippon Telegr & Teleph Corp <Ntt> | プリペイド決済方法、その装置、及びそのプログラム記録媒体 |
| CN102425148A (zh) * | 2011-09-02 | 2012-04-25 | 铁道第三勘察设计院集团有限公司 | 基于静力触探和bp神经网络的路基沉降快速预测方法 |
| CN104866904A (zh) * | 2015-06-16 | 2015-08-26 | 中电科软件信息服务有限公司 | 一种基于spark的遗传算法优化的BP神经网络并行化方法 |
Non-Patent Citations (3)
| Title |
|---|
| IBRAHIM OCAK ET AL.: ""Calculation of surface settlements caused by EPBM tunneling using artificial neural network, SVM, and Gaussian processes"", 《ENVIRON EARTH SCI》 * |
| 朱晨杰 等: ""基于MapReduce的BP神经网络算法研究"", 《微型电脑应用》 * |
| 田管凤 等: ""盾构施工地面沉降预测的大数据技术应用研究"", 《防灾减灾工程学报》 * |
Cited By (20)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107609141B (zh) * | 2017-09-20 | 2020-07-31 | 国网上海市电力公司 | 一种对大规模可再生能源数据进行快速概率建模方法 |
| CN107609141A (zh) * | 2017-09-20 | 2018-01-19 | 国网上海市电力公司 | 一种对大规模可再生能源数据进行快速概率建模方法 |
| CN107503757A (zh) * | 2017-09-20 | 2017-12-22 | 中建交通建设集团有限公司 | 一种基于大数据技术的盾构隧道智能施工辅助系统及使用方法 |
| WO2019056887A1 (zh) * | 2017-09-20 | 2019-03-28 | 国网上海市电力公司 | 对大规模可再生能源数据进行概率建模的方法 |
| CN107503757B (zh) * | 2017-09-20 | 2019-04-05 | 中建交通建设集团有限公司 | 一种基于大数据技术的盾构隧道智能施工辅助系统及使用方法 |
| CN107844964A (zh) * | 2017-11-30 | 2018-03-27 | 广州轨道交通建设监理有限公司 | 一种盾构施工信息管理系统 |
| CN108228819A (zh) * | 2017-12-29 | 2018-06-29 | 武汉长江仪器自动化研究所有限公司 | 基于大数据平台的大坝变形预测方法 |
| CN108537883B (zh) * | 2018-03-07 | 2021-10-08 | 上海电力学院 | 一种基于MapReduce框架的地质建模方法 |
| CN108537883A (zh) * | 2018-03-07 | 2018-09-14 | 上海电力学院 | 一种基于MapReduce框架的地质建模方法 |
| CN110109955A (zh) * | 2019-03-15 | 2019-08-09 | 平安科技（深圳）有限公司 | 数据调用量统计方法、系统、计算机装置及可读存储介质 |
| CN110442979A (zh) * | 2019-08-08 | 2019-11-12 | 山东大学 | 基于bp神经网络的盾构施工隧道的全变形预测方法及系统 |
| CN114659492A (zh) * | 2019-09-06 | 2022-06-24 | 北京住总集团有限责任公司 | 一种隧道掘进用监测平台及监测方法 |
| CN114659492B (zh) * | 2019-09-06 | 2024-01-02 | 北京住总集团有限责任公司 | 一种隧道掘进用监测平台及监测方法 |
| CN110617074A (zh) * | 2019-09-20 | 2019-12-27 | 西安电子科技大学 | 一种盾构施工中地面沉降量与掘进参数的关联关系方法 |
| CN111160204A (zh) * | 2019-12-23 | 2020-05-15 | 山东大学 | 基于主元分析bp神经网络的地质雷达图像识别方法及系统 |
| CN111160204B (zh) * | 2019-12-23 | 2024-01-30 | 山东大学 | 基于主元分析bp神经网络的地质雷达图像识别方法及系统 |
| CN111126873A (zh) * | 2019-12-30 | 2020-05-08 | 盾构及掘进技术国家重点实验室 | 一种基于Hadoop集群架构的盾构TBM大数据平台系统及建设方法 |
| CN111399776A (zh) * | 2020-03-13 | 2020-07-10 | 西安石油大学 | 一种基于数据采集的地质勘探管理系统 |
| CN111832223A (zh) * | 2020-06-29 | 2020-10-27 | 上海隧道工程有限公司 | 基于神经网络的盾构施工地表沉降预测方法 |
| CN117390381A (zh) * | 2023-09-11 | 2024-01-12 | 北京市政建设集团有限责任公司 | 基于深度学习的地下连续墙接头缝渗漏预测方法及装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107092990A (zh) | 基于大数据分析的盾构施工地面沉降预测系统和方法 | |
| KR102355178B1 (ko) | 디지털 트윈을 이용하여 가상센서를 구현하는 컴퓨팅 시스템 및 이를 이용한 실시간 데이터 수집 방법 | |
| CN115186602A (zh) | 一种城市地下排水管网养护智能决策方法及系统 | |
| CN110490100A (zh) | 基于深度学习的岩土自动识别定名方法及系统 | |
| CN101620645B (zh) | 一种仿真大型电子信息系统体系结构的方法和系统 | |
| CN106202665A (zh) | 基于域映射与加权关联规则的早期故障根原因识别方法 | |
| CN106295809B (zh) | 飞机嵌入式实时诊断推理算法试验系统 | |
| CN108090608A (zh) | 一种基于bp神经网络的岸桥状态预测方法 | |
| CN106294121B (zh) | 飞机嵌入式实时诊断推理算法试验方法 | |
| CN109064560B (zh) | 一种地铁隧道施工过程中地质条件模型化方法 | |
| Filippone et al. | Morphological coevolution for fluid dynamical-related risk mitigation | |
| CN104834986B (zh) | 基于全局综合敏感性分析的隧洞施工进度动态控制方法 | |
| CN118350227A (zh) | 基于dem数据和模型构建器的自动化划分小流域的方法 | |
| Garcia et al. | A neurofuzzy system to analyze liquefaction-induced lateral spread | |
| CN105911965A (zh) | 一种在数据监测系统中实现数据分析的方法 | |
| CN106295808B (zh) | 飞机嵌入式实时诊断推理算法试验方法 | |
| CN103970936B (zh) | 基于Modelica语言的交通信息物理系统的仿真方法 | |
| CN105243021A (zh) | 多任务测试性指标分配方法 | |
| McCarthy | Comparison of fast algorithms for estimating large-scale permeabilities of heterogeneous media | |
| Tung et al. | APPLICATION OF TABU SEARCH TO GROUND WATER PARAMETER ZONATION 1 | |
| Hong et al. | Virtual reality (VR)–based intelligent tunneling information system | |
| CN115952989A (zh) | 基于数字孪生的自然灾害应急调度系统 | |
| CN107248118A (zh) | 数据挖掘方法、装置和系统 | |
| CN108343472A (zh) | 一种隧道施工爆破环境效应智能评判系统 | |
| Parente et al. | Use of DM techniques in earthworks management: a case study |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WD01 | Invention patent application deemed withdrawn after publication | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20170825 |