CN117540153B - 一种隧道监测数据预测方法及系统 - Google Patents
一种隧道监测数据预测方法及系统 Download PDFInfo
- Publication number
- CN117540153B CN117540153B CN202410026606.6A CN202410026606A CN117540153B CN 117540153 B CN117540153 B CN 117540153B CN 202410026606 A CN202410026606 A CN 202410026606A CN 117540153 B CN117540153 B CN 117540153B
- Authority
- CN
- China
- Prior art keywords
- data set
- data
- tunnel
- value
- filling
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012544 monitoring process Methods 0.000 title claims abstract description 144
- 238000000034 method Methods 0.000 title claims abstract description 98
- 238000000605 extraction Methods 0.000 claims abstract description 97
- 238000012217 deletion Methods 0.000 claims abstract description 42
- 230000037430 deletion Effects 0.000 claims abstract description 42
- 239000012535 impurity Substances 0.000 claims abstract description 37
- 238000012545 processing Methods 0.000 claims abstract description 29
- 230000008569 process Effects 0.000 claims description 43
- 239000011159 matrix material Substances 0.000 claims description 35
- 238000004422 calculation algorithm Methods 0.000 claims description 16
- 230000002159 abnormal effect Effects 0.000 claims description 15
- 238000012549 training Methods 0.000 claims description 14
- 238000004364 calculation method Methods 0.000 claims description 10
- 238000010276 construction Methods 0.000 claims description 10
- 238000001914 filtration Methods 0.000 claims description 5
- 230000014759 maintenance of location Effects 0.000 claims description 5
- 238000001514 detection method Methods 0.000 claims description 3
- 241000764238 Isis Species 0.000 claims 1
- 230000005856 abnormality Effects 0.000 abstract description 2
- 238000004891 communication Methods 0.000 description 9
- 238000004590 computer program Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 3
- 230000002093 peripheral effect Effects 0.000 description 3
- 238000003860 storage Methods 0.000 description 3
- 238000003491 array Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000009826 distribution Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 241000287127 Passeridae Species 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 238000000802 evaporation-induced self-assembly Methods 0.000 description 1
- 238000005429 filling process Methods 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000009191 jumping Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 244000062645 predators Species 0.000 description 1
- 238000012502 risk assessment Methods 0.000 description 1
- 238000010845 search algorithm Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/10—Pre-processing; Data cleansing
- G06F18/15—Statistical pre-processing, e.g. techniques for normalisation or restoring missing data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/004—Artificial life, i.e. computing arrangements simulating life
- G06N3/006—Artificial life, i.e. computing arrangements simulating life based on simulated virtual individual or collective life forms, e.g. social simulations or particle swarm optimisation [PSO]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/044—Recurrent networks, e.g. Hopfield networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/086—Learning methods using evolutionary algorithms, e.g. genetic algorithms or genetic programming
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Mathematical Physics (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Evolutionary Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Probability & Statistics with Applications (AREA)
- Physiology (AREA)
- Testing Or Calibration Of Command Recording Devices (AREA)
Abstract
本发明提供了一种隧道监测数据预测方法及系统,所述方法包括获设定观测窗口,对初始监测数据进行偏差值检测与补偿;对隧道去噪数据组依次进行单个抽值处理,将若干抽值数据组预设输出模型中进行插值输出,对隧道去噪数据组进行异常值识别并将对应的异常值进行剔除;对隧道除杂数据组进行缺失值检测,对缺失值进行填充;对隧道填充数据组进行关联特征识别;将隧道关联数据组输入训练后的预设预测模型中进行预测,以输出隧道预测数据,本发明可去除原始数据中存在数据偏差、数据异常以及数据缺失的情况,可进一步提升预测数据的精度以及数据预测的速度。
Description
技术领域
本发明属监测数据预测的技术领域,具体地涉及一种隧道监测数据预测方法及系统。
背景技术
隧道数据监测在地铁隧道建设过程中具有重要意义,而准确的数据是隧道风险评估的基础,对于现有的隧道监测过程而言,在隧道自动化监测过程中不可避免的会出现仪器损坏、通讯中断、施工扰动、监测地点出现事故等不确定性问题,导致监测数据出现数量大、种类多的污染问题,而数据污染主要表现为数据缺失、数据异常、数据跳动等情况,而污染后的数据对于监测数据的预测而言,会大幅度降低了预测数据的精度,进而影响隧道的安全预警过程。
发明内容
为了解决上述技术问题,本发明提供了一种隧道监测数据预测方法及系统,用于解决现有技术中的技术问题。
一方面,本发明提供以下技术方案,一种隧道监测数据预测方法,包括:
获取隧道初始监测数据组,在所述隧道初始监测数据组中设定观测窗口,对处于所述观测窗口内的初始监测数据进行偏差值检测与补偿,以得到隧道去噪数据组;
对所述隧道去噪数据组依次进行单个抽值处理,以得到若干抽值数据组,将若干所述抽值数据组输入训练好的预设输出模型中进行插值输出,以得到插值数据组,基于所述插值数据组对所述隧道去噪数据组进行异常值识别并将对应的异常值进行剔除,以得到隧道除杂数据组;
按监测时间段对所述隧道除杂数据组进行缺失值检测,并通过训练好的所述预设输出模型对缺失值进行填充,以得到隧道填充数据组;
对所述隧道填充数据组进行关联特征识别,以得到隧道关联数据组;
将所述隧道关联数据组输入训练后的预设预测模型中进行预测,以输出隧道预测数据。
相比现有技术,本申请的有益效果为:本申请首先获取隧道初始监测数据组,在所述隧道初始监测数据组中设定观测窗口,对处于所述观测窗口内的初始监测数据进行偏差值检测与补偿,以得到隧道去噪数据组;之后对所述隧道去噪数据组依次进行单个抽值处理,以得到若干抽值数据组,将若干所述抽值数据组输入训练好的预设输出模型中进行插值输出,以得到插值数据组,基于所述插值数据组对所述隧道去噪数据组进行异常值识别并将对应的异常值进行剔除,以得到隧道除杂数据组;而后按监测时间段对所述隧道除杂数据组进行缺失值检测,并通过训练好的所述预设输出模型对缺失值进行填充,以得到隧道填充数据组;然后对所述隧道填充数据组进行关联特征识别,以得到隧道关联数据组;最后将所述隧道关联数据组输入训练后的预设预测模型中进行预测,以输出隧道预测数据,本申请通过对数据进行偏差值检测与补偿、异常值剔除与缺失值填充过程,以去除原始数据中存在数据偏差、数据异常以及数据缺失的情况,以提升后续数据预测时的精度,同时将处理后的数据输入预设预测模型中进行预测,可进一步提升预测数据的精度以及数据预测的速度。
较佳的,所述在所述隧道初始监测数据组中设定观测窗口,对处于所述观测窗口内的初始监测数据进行偏差值检测与补偿,以得到隧道去噪数据组的步骤包括:
在所述隧道初始监测数据组中确定预设数据长度的观测窗口,在所述观测窗口中选取基准监测数据,在所述隧道初始监测数据组中将基准监测数据/>之前的若干初始监测数据输入卡尔曼滤波器中,以输出滤波预测值/>,基于所述滤波预测值/>与所述基准监测数据/>确定偏差度量值/>:
;
其中,为滤波预测值与基准监测数据之间的关系矩阵;
判断所述偏差度量值是否小于监测阈值/>且所述观测窗口是否处于满载状态;
若且所述观测窗口处于满载状态,则将所述观测窗口内的所有数据作为拟合参数进行最小二乘拟合以输出拟合值并将第一个拟合值替换基准监测数据/>,之后将观测窗口往后滑动一个数据长度并重复迭代拟合替换过程,以得到隧道拟合数据组,若且所述窗口不处于满载状态,则将所述观测窗口内的所有数据作为拟合参数进行最小二乘拟合以输出拟合值并将第一个拟合值替换基准监测数据/>,之后重复迭代拟合替换过程直至所述观测窗口处于满载状态,若/>,则将所述观测窗口往后滑动一个数据长度并重复迭代拟合替换过程,以得到隧道拟合数据组;
将所述隧道拟合数据组输入所述卡尔曼滤波器中进行平滑去噪处理,以得到隧道去噪数据组。
较佳的,所述对所述隧道去噪数据组依次进行单个抽值处理,以得到若干抽值数据组,将若干所述抽值数据组输入训练好的预设输出模型中进行插值输出,以得到插值数据组的步骤包括:
对所述隧道去噪数据组从第一个隧道去噪数据开始至第/>个隧道去噪数据/>结束重复进行/>次单个抽值,以得到抽值数据集合,所述抽值数据集合中包括/>个数据长度为/>的抽值数据组:
;
;
;
;
式中,表示隧道去噪数据组/>中的第/>个数据,/>表示第/>个抽值数据组;
获取历史监测数据组并对所述历史监测数据组进行单个抽值处理,以得到历史抽值数据组,将所述历史监测数据组与所述历史抽值数据组输入预设输出模型中进行训练;
将所述抽值数据集合输入训练好的预设输出模型中进行插值输出,以得到插值数据组。
较佳的,所述基于所述插值数据组对所述隧道去噪数据组进行异常值识别并将对应的异常值进行剔除,以得到隧道除杂数据组的步骤包括:
计算所述插值数据组中的每个插值与每个所述抽值数据组对应的抽值之间的差异值:
;
式中,为所述插值数据组/>中的第/>个数据,/>为第/>个抽值数据组对应的抽值;
基于所述差异值计算第一判断阈值/>与第二判断阈值/>:
;
;
若,则/>为正常值并将/>保留,若/>,则/>为异常值并将/>剔除,以得到隧道除杂数据组。
较佳的,所述按监测时间段对所述隧道除杂数据组进行缺失值检测,并通过训练好的所述预设输出模型对缺失值进行填充,以得到隧道填充数据组的步骤包括:
按监测时间段对所述隧道除杂数据组进行缺失值检测,以得到隧道缺失数据组,在历史数据库中选取/>组完整数据组/>,其中,隧道缺失数据组/>中包括/>个数据,完整数据组/>中包括/>个数据,且/>;
基于所述隧道缺失数据组与所述完整数据组/>计算填充系数/>:
;
式中,为隧道缺失数据组/>与第/>个完整数据组/>之间的填充关联度,为隧道缺失数据组中第/>个数据,/>为第/>个完整数据组中的第/>个数据,/>为隧道缺失数据组的数据均值,/>为第/>个完整数据组的数据均值;
判断所述填充系数是否小于填充阈值;
若所述填充系数小于填充阈值,则将隧道缺失数据组/>输入至训练好的所述预设输出模型中,以得到第一输出填充值,将所述第一输出填充值填充在对应位置,以得到隧道填充数据组;
若所述填充系数不小于填充阈值,则根据缺失值确定若干缺失窗口,并基于所述缺失窗口进行缺失值填充,以得到隧道填充数据组。
较佳的,所述根据缺失值确定若干缺失窗口,并基于所述缺失窗口进行缺失值填充,以得到隧道填充数据组的步骤包括:
确定所述填充系数对应的完整数据组,并根据所述缺失值的位置将缺失值从填充系数/>对应的完整数据组进行剔除,以得到第一缺失数据组,所述第一缺失数据组中的数据与所述隧道缺失数据组中的数据一一对应设置;
以所述缺失值两侧的数据为初始窗口,每次单向扩展一个步长且左右对称扩展,直至最后一个窗口包括第一缺失数据组中的全部数据,以得到若干缺失窗口;
将若干所述缺失窗口中的数据输入至训练好的所述预设输出模型中,以得到输出填充数据组;
基于所述输出填充数据组确定差值最小值,并根据所述差值最小值计算待填充值,将所述待填充值填充在对应位置,以得到隧道填充数据组。
较佳的,所述基于所述输出填充数据组确定差值最小值,并根据所述差值最小值计算待填充值,将所述待填充值填充在对应位置,以得到隧道填充数据组的步骤包括:
计算所述输出填充数据组中每个数据与所述第一缺失数据组中提出的缺失值之间的差值最小值:
;
式中,为输出填充数据组中的第/>个数据,/>为缺失值;
将差值最小值对应的缺失窗口中的数据作为缺失标准数据组,在隧道缺失数据组中选取与缺失标准数据组对应位置与长度的数据序列作为待填充序列;
将所述待填充序列输入至训练好的所述预设输出模型中,以得到第二输出填充值,基于所述第二输出填充值与所述差值最小值/>计算待填充值/>,将所述待填充值填充在对应位置,以得到隧道填充数据组。
较佳的,所述对所述隧道填充数据组进行关联特征识别,以得到隧道关联数据组的步骤包括:
在第个所述隧道填充数据组中任意选取数据/>与数据/>,基于所述数据/>与所述数据/>构建邻接矩阵/>:
;
其中,表示K-邻近算法,/>表示邻接矩阵中第/>行第/>列的元素;
基于所述邻接矩阵构建权重矩阵/>:
;
式中,为设定常数;
基于所述权重矩阵计算所述隧道填充数据组的特征关联分数/>:
;
;
;
;
;
;
式中,为变量矩阵,/>为拉普拉斯矩阵,/>为度矩阵,/>为数据矩阵,/>为第/>个所述隧道填充数据组中的第/>个数据,/>表示/>的对角矩阵,/>为单位矩阵;
将特征关联分数最小时对应的隧道填充数据组作为隧道关联数据组。
较佳的,所述将所述隧道关联数据组输入训练后的预设预测模型中进行预测,以输出隧道预测数据的步骤包括:
构建预设预测模型,并初始化所述预设预测模型的权值与模型阈值,构建SSA算法中的初始种群,所述初始种群中的每个个体均包括预设预测模型的所需权值与模型阈值;
计算所述初始种群中每个个体的适应度,并根据适应度对所述初始种群中的每个个体从大至小依次排列,以得到排列种群,更新所述SSA算法中的食物发现者位置、加入者位置与警戒值位置;
计算更新后的适应度并实时更新每个个体的位置,直至满足迭代条件,并输出最终权值与最终模型阈值;
将所述最终权值与所述最终模型阈值替换掉所述预设预测模型的权值与模型阈值并通过历史监测数据对所述预设预测模型进行训练,以得到训练好后的预设预测模型;
将所述隧道关联数据组输入训练后的预设预测模型中进行预测,以输出隧道预测数据。
第二方面,本发明提供以下技术方案,一种隧道监测数据预测系统,所述系统包括:
去噪模块,用于获取隧道初始监测数据组,在所述隧道初始监测数据组中设定观测窗口,对处于所述观测窗口内的初始监测数据进行偏差值检测与补偿,以得到隧道去噪数据组;
除杂模块,用于对所述隧道去噪数据组依次进行单个抽值处理,以得到若干抽值数据组,将若干所述抽值数据组输入训练好的预设输出模型中进行插值输出,以得到插值数据组,基于所述插值数据组对所述隧道去噪数据组进行异常值识别并将对应的异常值进行剔除,以得到隧道除杂数据组;
填充模块,用于按监测时间段对所述隧道除杂数据组进行缺失值检测,并通过训练好的所述预设输出模型对缺失值进行填充,以得到隧道填充数据组;
识别模块,用于对所述隧道填充数据组进行关联特征识别,以得到隧道关联数据组;
预测模块,用于将所述隧道关联数据组输入训练后的预设预测模型中进行预测,以输出隧道预测数据。
附图说明
为了更清楚地说明本发明实施例中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例一提供的隧道监测数据预测方法的流程图;
图2为本发明实施例二提供的隧道监测数据预测系统的结构框图;
图3为本发明另一实施例提供的计算机的硬件结构示意图。
以下将结合附图对本发明实施例作进一步说明。
具体实施方式
下面详细描述本发明的实施例,所述实施例的示例在附图中示出,其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的,旨在用于解释本发明的实施例,而不能理解为对本发明的限制。
在本发明实施例的描述中,需要理解的是,术语“长度”、“宽度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系,仅是为了便于描述本发明实施例和简化描述,而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作,因此不能理解为对本发明的限制。
此外,术语“第一”、“第二”仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明实施例的描述中,“多个”的含义是两个或两个以上,除非另有明确具体的限定。
在本发明实施例中,除非另有明确的规定和限定,术语“安装”、“相连”、“连接”、“固定”等术语应做广义理解,例如,可以是固定连接,也可以是可拆卸连接,或成一体;可以是机械连接,也可以是电连接;可以是直接相连,也可以通过中间媒介间接相连,可以是两个元件内部的连通或两个元件的相互作用关系。对于本领域的普通技术人员而言,可以根据具体情况理解上述术语在本发明实施例中的具体含义。
实施例一
在本发明的实施例一中,如图1所示,一种隧道监测数据预测方法,包括:
S1、获取隧道初始监测数据组,在所述隧道初始监测数据组中设定观测窗口,对处于所述观测窗口内的初始监测数据进行偏差值检测与补偿,以得到隧道去噪数据组;
具体的,此时的隧道初始监测数据组可为第T时刻之前的隧道初始监测数据的集合,本发明的目的为了预测第T时刻之后,即第T+1时刻的隧道预测数据,因此,在步骤S1中,通过识别初始监测数据进行中的偏差值,并对相应的偏差值进行补偿,即对隧道初始监测数据组进行平滑去噪处理,以得到隧道去噪数据组。
其中,所述步骤S1包括:
S11、在所述隧道初始监测数据组中确定预设数据长度的观测窗口,在所述观测窗口中选取基准监测数据,在所述隧道初始监测数据组中将基准监测数据/>之前的若干初始监测数据输入卡尔曼滤波器中,以输出滤波预测值/>,基于所述滤波预测值与所述基准监测数据/>确定偏差度量值/>:
;
其中,为滤波预测值与基准监测数据之间的关系矩阵;
具体的,首先确定一个观测窗口,而该观测窗口初始状态下不包括任何数据,而后在所述观测窗口中选取基准监测数据,该步骤实际为:在观测窗口的框选范围内选取基准监测数据/>,观测窗口与隧道初始监测数据组具备相交部分,该基准监测数据/>即在相交部分处的数据段中选取,在选取了基准监测数据/>之后,将基准监测数据/>之前的前K-1个数据输入到卡尔曼滤波器中,卡尔曼滤波器可根据前K-1个数据进行预测,以得到滤波预测值/>,之后计算相应的偏差度量值/>,该偏差度量值/>可用于判断基准监测数据/>是否为偏差数据。
S12、判断所述偏差度量值是否小于监测阈值/>且所述观测窗口是否处于满载状态;
其中,监测阈值具体为传感器的监测上限,其与设备的测量范围与报警上限有关。
S13、若且所述观测窗口处于满载状态,则将所述观测窗口内的所有数据作为拟合参数进行最小二乘拟合以输出拟合值并将第一个拟合值替换基准监测数据/>,之后将观测窗口往后滑动一个数据长度并重复迭代拟合替换过程,以得到隧道拟合数据组,若/>且所述窗口不处于满载状态,则将所述观测窗口内的所有数据作为拟合参数进行最小二乘拟合以输出拟合值并将第一个拟合值替换基准监测数据/>,之后重复迭代拟合替换过程直至所述观测窗口处于满载状态,若/>,则将所述观测窗口往后滑动一个数据长度并重复迭代拟合替换过程,以得到隧道拟合数据组;
具体的,当且所述观测窗口处于满载状态时,即此时观测窗口已经充满了数据,因此将观测窗口内的所有数据作为最小二乘法的参数进行拟合,将拟合得到的第一个拟合值替换基准监测数据/>,之后将窗口往后滑动一个单位,并重复执行步骤S11-S13的步骤,直至全部的偏差值被替换完毕,输出隧道拟合数据组;
当且所述窗口不处于满载状态,即此时观测窗口内的数据未满,且初始状态下,将选取的基准监测数据/>作为观测窗口的第一个数据,之后,将观测窗口的全部数据作为拟合参数进行最小二乘拟合以输出拟合值并将第一个拟合值替换基准监测数据,之后将替换后的数据补充至观测窗口中,重复执行该步骤,直至充满整个观测窗口,使其处于满载状态;
当,此时意味着观测窗口所框选的数据中不存在偏差数据,因此不需要进行数据迭代替换的过程,之后将观测窗口继续往后平移,并重复执行步骤S11-S13的步骤,直至隧道初始监测数据组中所有的数据均经过上述步骤,即可输出相应的隧道拟合数据组。
S14、将所述隧道拟合数据组输入所述卡尔曼滤波器中进行平滑去噪处理,以得到隧道去噪数据组;
具体的,在得到相应的隧道拟合数据组之后,将其送入所述卡尔曼滤波器中进行平滑去噪处理,便可得到去噪平滑与偏差值替换后的隧道去噪数据组。
S2、对所述隧道去噪数据组依次进行单个抽值处理,以得到若干抽值数据组,将若干所述抽值数据组输入训练好的预设输出模型中进行插值输出,以得到插值数据组,基于所述插值数据组对所述隧道去噪数据组进行异常值识别并将对应的异常值进行剔除,以得到隧道除杂数据组;
具体的,所述步骤S2包括:S21、对所述隧道去噪数据组依次进行单个抽值处理,以得到若干抽值数据组,将若干所述抽值数据组输入训练好的预设输出模型中进行插值输出,以得到插值数据组;S22、基于所述插值数据组对所述隧道去噪数据组进行异常值识别并将对应的异常值进行剔除,以得到隧道除杂数据组。
其中,所述步骤S21包括:
S211、对所述隧道去噪数据组从第一个隧道去噪数据/>开始至第/>个隧道去噪数据/>结束重复进行/>次单个抽值,以得到抽值数据集合,所述抽值数据集合中包括/>个数据长度为/>的抽值数据组:
;
;
;
;
式中,表示隧道去噪数据组/>中的第/>个数据,/>表示第/>个抽值数据组。
S212、获取历史监测数据组并对所述历史监测数据组进行单个抽值处理,以得到历史抽值数据组,将所述历史监测数据组与所述历史抽值数据组输入预设输出模型中进行训练;
具体的,预设输出模型具体为DE-LSTM模型,即采用DE差分算法对LSTM模型进行参数寻优即可得到DE-LSTM模型。
S213、将所述抽值数据集合输入训练好的预设输出模型中进行插值输出,以得到插值数据组。
其中,所述步骤S22包括:
S221、计算所述插值数据组中的每个插值与每个所述抽值数据组对应的抽值之间的差异值:
;
式中,为所述插值数据组/>中的第/>个数据,/>为第/>个抽值数据组对应的抽值;
S222、基于所述差异值计算第一判断阈值/>与第二判断阈值/>:
;
;
S223、若,则/>为正常值并将/>保留,若/>,则/>为异常值并将/>剔除,以得到隧道除杂数据组;
具体的,步骤S22具体为了识别数据中的粗差并将其进行剔除处理,通过差异值的大小即可判断与之对应的数据/>是否为正常数据,当差异值/>在第一判断阈值与第二判断阈值之间,则数据/>为正常值,可将其进行保留,当差异值/>不在第一判断阈值与第二判断阈值之间,则数据/>为异常值,则需要将其进行剔除,当隧道去噪数据组中的所有数据均经过上述操作之后,即可得到相应的隧道除杂数据组。
S3、按监测时间段对所述隧道除杂数据组进行缺失值检测,并通过训练好的所述预设输出模型对缺失值进行填充,以得到隧道填充数据组;
具体的,对于数据组中的数据而言,每个通过传感器获取得到的数据均存在与之对应的时间,因此根据采集时间便可获取到每个缺失值对应的位置。
其中,所述步骤S3包括:
S31、按监测时间段对所述隧道除杂数据组进行缺失值检测,以得到隧道缺失数据组,在历史数据库中选取/>组完整数据组/>,其中,隧道缺失数据组/>中包括/>个数据,完整数据组/>中包括/>个数据,且/>;
具体的,组完整数据组/>可分别表示为/>,而第M组完整数据组/>可表示为/>。
S32、基于所述隧道缺失数据组与所述完整数据组/>计算填充系数/>:
;
式中,为隧道缺失数据组/>与第/>个完整数据组/>之间的填充关联度,为隧道缺失数据组中第/>个数据,/>为第/>个完整数据组中的第/>个数据,/>为隧道缺失数据组的数据均值,/>为第/>个完整数据组的数据均值;
具体的,在计算填充系数时,对于隧道缺失数据组而言,其中包括m个数据,因此在计算/>,对于隧道缺失数据组/>中的第/>个数据而言,其具体为0,以便于计算相应的填充关联度。
S33、判断所述填充系数是否小于填充阈值。
S34、若所述填充系数小于填充阈值,则将隧道缺失数据组/>输入至训练好的所述预设输出模型中,以得到第一输出填充值,将所述第一输出填充值填充在对应位置,以得到隧道填充数据组;
具体的,当所述填充系数小于填充阈值,则说明填充系数/>对应的完整数据组不具备参考价值,因此通过预设输出模型输出的第一输出填充值对相应的缺失值进行填充,进而得到隧道填充数据组。
S35、若所述填充系数不小于填充阈值,则根据缺失值确定若干缺失窗口,并基于所述缺失窗口进行缺失值填充,以得到隧道填充数据组;
其中,所述步骤S35包括:
S351、确定所述填充系数对应的完整数据组,并根据所述缺失值的位置将缺失值从填充系数/>对应的完整数据组进行剔除,以得到第一缺失数据组,所述第一缺失数据组中的数据与所述隧道缺失数据组中的数据一一对应设置;
具体的,对于隧道缺失数据组而言,假设存在一个缺失值,将其缺失值表达为,隧道缺失数据组/>表达为/>,缺失值为/>因此隧道缺失数据组/>存在/>个数据,同时假设所述填充系数/>对应的完整数据组为/>,其具体为/>,之后根据缺失值/>的位置,将填充系数对应的完整数据组为/>的第/>个数据进行剔除,以此便可得到长度、位置均与隧道缺失数据组/>对应的第一缺失数据组,其中,由于上文假设存在一个缺失值,因此,且第一缺失数据组可表达为,将缺失值/>对应在一缺失数据组中,其具体为/>,且/>与/>的数据一一对应设置。
S352、以所述缺失值两侧的数据为初始窗口,每次单向扩展一个步长且左右对称扩展,直至最后一个窗口包括第一缺失数据组中的全部数据,以得到若干缺失窗口;
具体的,首先选取缺失值两侧的数据为初始窗口,因此初始窗口具体为,之后单向扩展一个步长且左右对称扩展,即可得到以下窗口:
;
;
;
其中,为最后一个缺失窗口。
S353、将若干所述缺失窗口中的数据输入至训练好的所述预设输出模型中,以得到输出填充数据组;
具体的,将上述若干缺失窗口输入至预设输出模型中,即可得到相应的填充值,并按照缺失窗口的顺序将输出的填充值存入输出填充数据组中,而输出填充数据组可表示为,其中,/>为第/>个缺失窗口对应的填充值,且/>。
S354、基于所述输出填充数据组确定差值最小值,并根据所述差值最小值计算待填充值,将所述待填充值填充在对应位置,以得到隧道填充数据组;
其中,所述步骤S354包括:
S3541、计算所述输出填充数据组中每个数据与所述第一缺失数据组中提出的缺失值之间的差值最小值:
;
式中,为输出填充数据组中的第/>个数据,/>为缺失值。
S3542、将差值最小值对应的缺失窗口中的数据作为缺失标准数据组,在隧道缺失数据组中选取与缺失标准数据组对应位置与长度的数据序列作为待填充序列;
具体的,假设差值最小值对应的缺失窗口为,因此与缺失标准数据组对应位置与长度的数据序列作为待填充序列可表示为/>。
S3543、将所述待填充序列输入至训练好的所述预设输出模型中,以得到第二输出填充值,基于所述第二输出填充值与所述差值最小值/>计算待填充值/>,将所述待填充值填充在对应位置,以得到隧道填充数据组;
具体的,输入至预设输出模型即可得到相应的第二输出填充值/>,之后将所述第二输出填充值/>与所述差值最小值/>相加,即可得到待填充值/>,之后将待填充值填充在对应位置,以得到隧道填充数据组;
需要说明是,上述步骤只列举了一个缺失值的情况,对于多个缺失值的情况,则按照缺失值的数量分解为若干个只带有一个缺失值的隧道缺失数据组,并对每个数据组均进行上述操作,即可完成缺失值的填充过程,得到相应的隧道填充数据组。
S4、对所述隧道填充数据组进行关联特征识别,以得到隧道关联数据组;
具体的,在实际情况下,隧道填充数据组具备若干个,即不同传感器在不同位置处得到的数据组,因此在对所述隧道填充数据组进行关联特征识别之后,即可得到最具有区分度的数据组,以便于提升数据预测的精度。
其中,所述步骤S4包括:
S41、在第个所述隧道填充数据组中任意选取数据/>与数据/>,基于所述数据与所述数据/>构建邻接矩阵/>:
;
其中,表示K-邻近算法,/>表示邻接矩阵中第/>行第/>列的元素;
具体的,若数据在数据/>的k个最邻近中或者数据/>在数据/>的k个最邻近中,则在数据/>与数据/>的最邻近图中在数据/>与数据/>之间放置一条边,因此将设置为1,若其他情况,则不做任何处理,因此将/>设置为0。
S42、基于所述邻接矩阵构建权重矩阵/>:
;
式中,为设定常数;
具体的,可自行指定,在本发明具体为1,若数据/>与数据/>相连,则相应的权重为/>,否则相应的权重为0。
S43、基于所述权重矩阵计算所述隧道填充数据组的特征关联分数/>:
;
;
;
;
;/>
;
式中,为变量矩阵,/>为拉普拉斯矩阵,/>为度矩阵,/>为数据矩阵,/>为第/>个所述隧道填充数据组中的第/>个数据,/>表示/>的对角矩阵,/>为单位矩阵。
S44、将特征关联分数最小时对应的隧道填充数据组作为隧道关联数据组;
具体的,拉普拉斯矩阵的特征值与特征向量可用于表示样本的分布结构,且结合特征关联分数,可知当特征关联分数/>越小时,则表示相应的数据组的代表性越强,反之,当特征关联分数/>越大时,则表示相应的数据组的代表性越弱,在本发明中,将特征关联分数/>最小时对应的隧道填充数据组作为隧道关联数据组,且需要说明的是,在实际情况下,为了避免数据样本稀少而影响预测精度的情况,也可选取特征关联分数/>最小的若干组隧道填充数据组作为隧道关联数据组,同时也可通过设定一个分数阈值,将小于该分数阈值的若干组隧道填充数据组作为隧道关联数据组。
S5、将所述隧道关联数据组输入训练后的预设预测模型中进行预测,以输出隧道预测数据;
其中,所述步骤S5包括:
S51、构建预设预测模型,并初始化所述预设预测模型的权值与模型阈值,构建SSA算法中的初始种群,所述初始种群中的每个个体均包括预设预测模型的所需权值与模型阈值;
具体的,预设预测模型具体为Elman模型,SSA算法具体为麻雀搜索算法,对于SSA算法中的初始种群,每个个体包括两种身份,分别为食物的发现者与种群的加入者,且每个个体均包括预设预测模型的所需权值与模型阈值。
S52、计算所述初始种群中每个个体的适应度,并根据适应度对所述初始种群中的每个个体从大至小依次排列,以得到排列种群,更新所述SSA算法中的食物发现者位置、加入者位置与警戒值位置;
具体的,排列种群中的个体排序之后,即生成每个个体的位置,同时对于食物发现者而言,若警戒阈值小于安全值,此时个体无危险,可在周边范围进行搜索,若警戒阈值不小于安全值,则个体被捕食者发现并向其余个体发出情报,此时其余个体会远离该位置飞行到安全的位置进行搜索,同时食物发现者按照正态分布随机移动至当前位置附近,同理加入者位置与警戒值位置均会对应进行更新;
S53、计算更新后的适应度并实时更新每个个体的位置,直至满足迭代条件,并输出最终权值与最终模型阈值。
S54、将所述最终权值与所述最终模型阈值替换掉所述预设预测模型的权值与模型阈值并通过历史监测数据对所述预设预测模型进行训练,以得到训练好后的预设预测模型;
具体的,当满足迭代次数之后,即可输出最优的最终权值与最终模型阈值,并将最终权值与最终模型阈值替换掉所述预设预测模型的初始权值与初始模型阈值,此时预设预测模型的网络参数通过SSA算法进行更新,之后通过获取历史时刻的历史监测数据对模型进行训练,可进一步提升预测精度。
S55、将所述隧道关联数据组输入训练后的预设预测模型中进行预测,以输出隧道预测数据;
具体的,当模型的网络参数更新之后以及训练完成之后,将完整的隧道关联数据组输入到训练后的预设预测模型中,即可输出后续时刻的隧道预测数据,通过隧道预测数据可用于对隧道进行安全预警。
本发明实施例一提供的隧道监测数据预测方法,本申请首先获取隧道初始监测数据组,在所述隧道初始监测数据组中设定观测窗口,对处于所述观测窗口内的初始监测数据进行偏差值检测与补偿,以得到隧道去噪数据组;之后对所述隧道去噪数据组依次进行单个抽值处理,以得到若干抽值数据组,将若干所述抽值数据组输入训练好的预设输出模型中进行插值输出,以得到插值数据组,基于所述插值数据组对所述隧道去噪数据组进行异常值识别并将对应的异常值进行剔除,以得到隧道除杂数据组;而后按监测时间段对所述隧道除杂数据组进行缺失值检测,并通过训练好的所述预设输出模型对缺失值进行填充,以得到隧道填充数据组;然后对所述隧道填充数据组进行关联特征识别,以得到隧道关联数据组;最后将所述隧道关联数据组输入训练后的预设预测模型中进行预测,以输出隧道预测数据,本申请通过对数据进行偏差值检测与补偿、异常值剔除与缺失值填充过程,以去除原始数据中存在数据偏差、数据异常以及数据缺失的情况,以提升后续数据预测时的精度,同时将处理后的数据输入预设预测模型中进行预测,可进一步提升预测数据的精度以及数据预测的速度。
实施例二
如图2所示,在本发明的实施例二提供了一种隧道监测数据预测系统,所述系统包括:
去噪模块1,用于获取隧道初始监测数据组,在所述隧道初始监测数据组中设定观测窗口,对处于所述观测窗口内的初始监测数据进行偏差值检测与补偿,以得到隧道去噪数据组;
除杂模块2,用于对所述隧道去噪数据组依次进行单个抽值处理,以得到若干抽值数据组,将若干所述抽值数据组输入训练好的预设输出模型中进行插值输出,以得到插值数据组,基于所述插值数据组对所述隧道去噪数据组进行异常值识别并将对应的异常值进行剔除,以得到隧道除杂数据组;
填充模块3,用于按监测时间段对所述隧道除杂数据组进行缺失值检测,并通过训练好的所述预设输出模型对缺失值进行填充,以得到隧道填充数据组;
识别模块4,用于对所述隧道填充数据组进行关联特征识别,以得到隧道关联数据组;
预测模块5,用于将所述隧道关联数据组输入训练后的预设预测模型中进行预测,以输出隧道预测数据。
所述去噪模块1包括:
偏差度量值确定子模块,用于在所述隧道初始监测数据组中确定预设数据长度的观测窗口,在所述观测窗口中选取基准监测数据,在所述隧道初始监测数据组中将基准监测数据/>之前的若干初始监测数据输入卡尔曼滤波器中,以输出滤波预测值/>,基于所述滤波预测值/>与所述基准监测数据/>确定偏差度量值/>:
;
其中,为滤波预测值与基准监测数据之间的关系矩阵;
第一判断子模块,用于判断所述偏差度量值是否小于监测阈值/>且所述观测窗口是否处于满载状态;
替换子模块,用于若且所述观测窗口处于满载状态,则将所述观测窗口内的所有数据作为拟合参数进行最小二乘拟合以输出拟合值并将第一个拟合值替换基准监测数据/>,之后将观测窗口往后滑动一个数据长度并重复迭代拟合替换过程,以得到隧道拟合数据组,若/>且所述窗口不处于满载状态,则将所述观测窗口内的所有数据作为拟合参数进行最小二乘拟合以输出拟合值并将第一个拟合值替换基准监测数据/>,之后重复迭代拟合替换过程直至所述观测窗口处于满载状态,若/>,则将所述观测窗口往后滑动一个数据长度并重复迭代拟合替换过程,以得到隧道拟合数据组;
去噪子模块,用于将所述隧道拟合数据组输入所述卡尔曼滤波器中进行平滑去噪处理,以得到隧道去噪数据组。
所述除杂模块2包括:
抽值子模块,用于对所述隧道去噪数据组从第一个隧道去噪数据/>开始至第/>个隧道去噪数据/>结束重复进行/>次单个抽值,以得到抽值数据集合/>,所述抽值数据集合中包括/>个数据长度为/>的抽值数据组:
;
;
;
;
式中,表示隧道去噪数据组/>中的第/>个数据,/>表示第/>个抽值数据组;
第一训练子模块,用于获取历史监测数据组并对所述历史监测数据组进行单个抽值处理,以得到历史抽值数据组,将所述历史监测数据组与所述历史抽值数据组输入预设输出模型中进行训练;
插值数据组输出子模块,用于将所述抽值数据集合输入训练好的预设输出模型中进行插值输出,以得到插值数据组。
所述除杂模块2还包括:
第一计算子模块,用于计算所述插值数据组中的每个插值与每个所述抽值数据组对应的抽值之间的差异值:/>
;
式中,为所述插值数据组/>中的第/>个数据,/>为第/>个抽值数据组对应的抽值;
第二计算子模块,用于基于所述差异值计算第一判断阈值/>与第二判断阈值:
;
;
剔除子模块,用于若,则/>为正常值并将/>保留,若/>,则/>为异常值并将/>剔除,以得到隧道除杂数据组。
所述填充模块3包括:
检测子模块,用于按监测时间段对所述隧道除杂数据组进行缺失值检测,以得到隧道缺失数据组,在历史数据库中选取/>组完整数据组/>,其中,隧道缺失数据组中包括/>个数据,完整数据组/>中包括/>个数据,且/>;
第三计算子模块,用于基于所述隧道缺失数据组与所述完整数据组/>计算填充系数/>:
;
式中,为隧道缺失数据组/>与第/>个完整数据组/>之间的填充关联度,为隧道缺失数据组中第/>个数据,/>为第/>个完整数据组中的第/>个数据,/>为隧道缺失数据组的数据均值,/>为第/>个完整数据组的数据均值;
第二判断子模块,用于判断所述填充系数是否小于填充阈值;
第一填充子模块,用于若所述填充系数小于填充阈值,则将隧道缺失数据组/>输入至训练好的所述预设输出模型中,以得到第一输出填充值,将所述第一输出填充值填充在对应位置,以得到隧道填充数据组;
第二填充子模块,用于若所述填充系数不小于填充阈值,则根据缺失值确定若干缺失窗口,并基于所述缺失窗口进行缺失值填充,以得到隧道填充数据组。
所述第二填充子模块包括:
剔除单元,用于确定所述填充系数对应的完整数据组,并根据所述缺失值的位置将缺失值从填充系数/>对应的完整数据组进行剔除,以得到第一缺失数据组,所述第一缺失数据组中的数据与所述隧道缺失数据组中的数据一一对应设置;/>
扩展单元,用于以所述缺失值两侧的数据为初始窗口,每次单向扩展一个步长且左右对称扩展,直至最后一个窗口包括第一缺失数据组中的全部数据,以得到若干缺失窗口;
输出单元,用于将若干所述缺失窗口中的数据输入至训练好的所述预设输出模型中,以得到输出填充数据组;
计算单元,用于基于所述输出填充数据组确定差值最小值,并根据所述差值最小值计算待填充值,将所述待填充值填充在对应位置,以得到隧道填充数据组。
所述计算单元包括:
计算子单元,用于计算所述输出填充数据组中每个数据与所述第一缺失数据组中提出的缺失值之间的差值最小值:
;
式中,为输出填充数据组中的第/>个数据,/>为缺失值;
选取子单元,用于将差值最小值对应的缺失窗口中的数据作为缺失标准数据组,在隧道缺失数据组中选取与缺失标准数据组对应位置与长度的数据序列作为待填充序列;
填充子单元,用于将所述待填充序列输入至训练好的所述预设输出模型中,以得到第二输出填充值,基于所述第二输出填充值与所述差值最小值/>计算待填充值,将所述待填充值填充在对应位置,以得到隧道填充数据组。
所述识别模块4包括:
第一矩阵构建子模块,用于在第个所述隧道填充数据组中任意选取数据/>与数据/>,基于所述数据/>与所述数据/>构建邻接矩阵/>:
;
其中,表示K-邻近算法,/>表示邻接矩阵中第/>行第/>列的元素;
第二矩阵构建子模块,用于基于所述邻接矩阵构建权重矩阵/>:
;
式中,为设定常数;
特征关联分数计算子模块,用于基于所述权重矩阵计算所述隧道填充数据组的特征关联分数/>:
;
;/>
;
;
;
;
式中,为变量矩阵,/>为拉普拉斯矩阵,/>为度矩阵,/>为数据矩阵,/>为第/>个所述隧道填充数据组中的第/>个数据,/>表示/>的对角矩阵,/>为单位矩阵;
数据组确定子模块,用于将特征关联分数最小时对应的隧道填充数据组作为隧道关联数据组。
所述预测模块5包括:
模型构建子模块,用于构建预设预测模型,并初始化所述预设预测模型的权值与模型阈值,构建SSA算法中的初始种群,所述初始种群中的每个个体均包括预设预测模型的所需权值与模型阈值;
排列子模块,用于计算所述初始种群中每个个体的适应度,并根据适应度对所述初始种群中的每个个体从大至小依次排列,以得到排列种群,更新所述SSA算法中的食物发现者位置、加入者位置与警戒值位置;
迭代子模块,用于计算更新后的适应度并实时更新每个个体的位置,直至满足迭代条件,并输出最终权值与最终模型阈值;
第二训练子模块,用于将所述最终权值与所述最终模型阈值替换掉所述预设预测模型的权值与模型阈值并通过历史监测数据对所述预设预测模型进行训练,以得到训练好后的预设预测模型;
预测子模块,用于将所述隧道关联数据组输入训练后的预设预测模型中进行预测,以输出隧道预测数据。
在本发明的另一些实施例中,本发明实施例提供以下技术方案,一种计算机,包括存储器102、处理器101以及存储在所述存储器102上并可在所述处理器101上运行的计算机程序,所述处理器101执行所述计算机程序时实现如上所述的隧道监测数据预测方法。
具体的,上述处理器101可以包括中央处理器(CPU),或者特定集成电路(Application Specific Integrated Circuit,简称为ASIC),或者可以被配置成实施本申请实施例的一个或多个集成电路。
其中,存储器102可以包括用于数据或指令的大容量存储器。举例来说而非限制,存储器102可包括硬盘驱动器(Hard Disk Drive,简称为HDD)、软盘驱动器、固态驱动器(Solid State Drive,简称为SSD)、闪存、光盘、磁光盘、磁带或通用串行总线(UniversalSerial Bus,简称为USB)驱动器或者两个或更多个以上这些的组合。在合适的情况下,存储器102可包括可移除或不可移除(或固定)的介质。在合适的情况下,存储器102可在数据处理装置的内部或外部。在特定实施例中,存储器102是非易失性(Non-Volatile)存储器。在特定实施例中,存储器102包括只读存储器(Read-Only Memory,简称为ROM)和随机存取存储器(Random Access Memory,简称为RAM)。在合适的情况下,该ROM可以是掩模编程的ROM、可编程ROM(Programmable Read-Only Memory,简称为PROM)、可擦除PROM(ErasableProgrammable Read-Only Memory,简称为EPROM)、电可擦除PROM(Electrically ErasableProgrammable Read-Only Memory,简称为EEPROM)、电可改写ROM(ElectricallyAlterable Read-Only Memory,简称为EAROM)或闪存(FLASH)或者两个或更多个以上这些的组合。在合适的情况下,该RAM可以是静态随机存取存储器(Static Random-AccessMemory,简称为SRAM)或动态随机存取存储器(Dynamic Random Access Memory,简称为DRAM),其中,DRAM可以是快速页模式动态随机存取存储器(Fast Page Mode DynamicRandom Access Memory,简称为FPMDRAM)、扩展数据输出动态随机存取存储器(ExtendedDate Out Dynamic Random Access Memory,简称为EDODRAM)、同步动态随机存取内存(Synchronous Dynamic Random-Access Memory,简称SDRAM)等。
存储器102可以用来存储或者缓存需要处理和/或通信使用的各种数据文件,以及处理器101所执行的可能的计算机程序指令。
处理器101通过读取并执行存储器102中存储的计算机程序指令,以实现上述隧道监测数据预测方法。
在其中一些实施例中,计算机还可包括通信接口103和总线100。其中,如图3所示,处理器101、存储器102、通信接口103通过总线100连接并完成相互间的通信。
通信接口103用于实现本申请实施例中各模块、装置、单元和/或设备之间的通信。通信接口103还可以实现与其他部件例如:外接设备、图像/数据采集设备、数据库、外部存储以及图像/数据处理工作站等之间进行数据通信。
总线100包括硬件、软件或两者,将计算机设备的部件彼此耦接在一起。总线100包括但不限于以下至少之一:数据总线(Data Bus)、地址总线(Address Bus)、控制总线(Control Bus)、扩展总线(Expansion Bus)、局部总线(Local Bus)。举例来说而非限制,总线100可包括图形加速接口(Accelerated Graphics Port,简称为AGP)或其他图形总线、增强工业标准架构(Extended Industry Standard Architecture,简称为EISA)总线、前端总线(Front Side Bus,简称为FSB)、超传输(Hyper Transport,简称为HT)互连、工业标准架构(Industry Standard Architecture,简称为ISA)总线、无线带宽(InfiniBand)互连、低引脚数(Low Pin Count,简称为LPC)总线、存储器总线、微信道架构(Micro ChannelArchitecture,简称为MCA)总线、外围组件互连(Peripheral Component Interconnect,简称为PCI)总线、PCI-Express(PCI-X)总线、串行高级技术附件(Serial AdvancedTechnology Attachment,简称为SATA)总线、视频电子标准协会局部(Video ElectronicsStandards Association Local Bus,简称为VLB)总线或其他合适的总线或者两个或更多个以上这些的组合。在合适的情况下,总线100可包括一个或多个总线。尽管本申请实施例描述和示出了特定的总线,但本申请考虑任何合适的总线或互连。
该计算机可以基于获取到隧道监测数据预测系统,执行本申请的隧道监测数据预测方法,从而实现智慧工地车辆的定位方法。
在本发明的再一些实施例中,结合上述的隧道监测数据预测方法,本发明实施例提供以下技术方案,一种存储介质,所述存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现上述的隧道监测数据预测方法。
本领域技术人员可以理解,在流程图中表示或在此以其他方式描述的逻辑和/或步骤,例如,可以被认为是用于实现逻辑功能的可执行指令的定序列表,可以具体实现在任何计算机可读介质中,以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用,或结合这些指令执行系统、装置或设备而使用。就本说明书而言,“计算机可读介质”可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。
可读介质的更具体的示例(非穷尽性列表)包括以下:具有一个或多个布线的电连接部(电子装置),便携式计算机盘盒(磁装置),随机存取存储器(RAM),只读存储器(ROM),可擦除可编辑只读存储器(EPROM或闪速存储器),光纤装置,以及便携式光盘只读存储器(CDROM)。另外,计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质,因为可以例如通过对纸或其他介质进行光学扫描,接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序,然后将其存储在计算机存储器中。
应当理解,本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中,多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如,如果用硬件来实现,和在另一实施方式中一样,可用本领域公知的下列技术中的任一项或它们的组合来实现:具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路,具有合适的组合逻辑门电路的专用集成电路,可编程门阵列(PGA),现场可编程门阵列(FPGA)等。
以上所述实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对发明专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。因此,本申请专利的保护范围应以所附权利要求为准。
Claims (5)
1.一种隧道监测数据预测方法,其特征在于,包括:
获取隧道初始监测数据组,在所述隧道初始监测数据组中设定观测窗口,对处于所述观测窗口内的初始监测数据进行偏差值检测与补偿,以得到隧道去噪数据组;
对所述隧道去噪数据组依次进行单个抽值处理,以得到若干抽值数据组,将若干所述抽值数据组输入训练好的预设输出模型中进行插值输出,以得到插值数据组,基于所述插值数据组对所述隧道去噪数据组进行异常值识别并将对应的异常值进行剔除,以得到隧道除杂数据组;
按监测时间段对所述隧道除杂数据组进行缺失值检测,并通过训练好的所述预设输出模型对缺失值进行填充,以得到隧道填充数据组;
对所述隧道填充数据组进行关联特征识别,以得到隧道关联数据组;
将所述隧道关联数据组输入训练后的预设预测模型中进行预测,以输出隧道预测数据;
所述对所述隧道去噪数据组依次进行单个抽值处理,以得到若干抽值数据组,将若干所述抽值数据组输入训练好的预设输出模型中进行插值输出,以得到插值数据组的步骤包括:
对所述隧道去噪数据组从第一个隧道去噪数据/>开始至第/>个隧道去噪数据/>结束重复进行/>次单个抽值,以得到抽值数据集合,所述抽值数据集合中包括/>个数据长度为/>的抽值数据组:
;
;
;
;
式中,表示隧道去噪数据组/>中的第/>个数据,/>表示第/>个抽值数据组;
获取历史监测数据组并对所述历史监测数据组进行单个抽值处理,以得到历史抽值数据组,将所述历史监测数据组与所述历史抽值数据组输入预设输出模型中进行训练;
将所述抽值数据集合输入训练好的预设输出模型中进行插值输出,以得到插值数据组;
所述基于所述插值数据组对所述隧道去噪数据组进行异常值识别并将对应的异常值进行剔除,以得到隧道除杂数据组的步骤包括:
计算所述插值数据组中的每个插值与每个所述抽值数据组对应的抽值之间的差异值:
;
式中,为所述插值数据组/>中的第/>个数据,/>为第/>个抽值数据组对应的抽值;
基于所述差异值计算第一判断阈值/>与第二判断阈值/>:
;
;
若,则/>为正常值并将/>保留,若/>,则/>为异常值并将/>剔除,以得到隧道除杂数据组;
所述按监测时间段对所述隧道除杂数据组进行缺失值检测,并通过训练好的所述预设输出模型对缺失值进行填充,以得到隧道填充数据组的步骤包括:
按监测时间段对所述隧道除杂数据组进行缺失值检测,以得到隧道缺失数据组,在历史数据库中选取/>组完整数据组/>,其中,隧道缺失数据组/>中包括/>个数据,完整数据组/>中包括/>个数据,且/>;
基于所述隧道缺失数据组与所述完整数据组/>计算填充系数/>:
;
式中,为隧道缺失数据组/>与第/>个完整数据组/>之间的填充关联度,/>为隧道缺失数据组中第/>个数据,/>为第/>个完整数据组中的第/>个数据,/>为隧道缺失数据组的数据均值,/>为第/>个完整数据组的数据均值;
判断所述填充系数是否小于填充阈值;
若所述填充系数小于填充阈值,则将隧道缺失数据组/>输入至训练好的所述预设输出模型中,以得到第一输出填充值,将所述第一输出填充值填充在对应位置,以得到隧道填充数据组;
若所述填充系数不小于填充阈值,则根据缺失值确定若干缺失窗口,并基于所述缺失窗口进行缺失值填充,以得到隧道填充数据组;
所述根据缺失值确定若干缺失窗口,并基于所述缺失窗口进行缺失值填充,以得到隧道填充数据组的步骤包括:
确定所述填充系数对应的完整数据组,并根据所述缺失值的位置将缺失值从填充系数/>对应的完整数据组进行剔除,以得到第一缺失数据组,所述第一缺失数据组中的数据与所述隧道缺失数据组中的数据一一对应设置;
以所述缺失值两侧的数据为初始窗口,每次单向扩展一个步长且左右对称扩展,直至最后一个窗口包括第一缺失数据组中的全部数据,以得到若干缺失窗口;
将若干所述缺失窗口中的数据输入至训练好的所述预设输出模型中,以得到输出填充数据组;
基于所述输出填充数据组确定差值最小值,并根据所述差值最小值计算待填充值,将所述待填充值填充在对应位置,以得到隧道填充数据组;
所述基于所述输出填充数据组确定差值最小值,并根据所述差值最小值计算待填充值,将所述待填充值填充在对应位置,以得到隧道填充数据组的步骤包括:
计算所述输出填充数据组中每个数据与所述第一缺失数据组中提出的缺失值之间的差值最小值:
;
式中,为输出填充数据组中的第/>个数据,/>为缺失值;
将差值最小值对应的缺失窗口中的数据作为缺失标准数据组,在隧道缺失数据组中选取与缺失标准数据组对应位置与长度的数据序列作为待填充序列;
将所述待填充序列输入至训练好的所述预设输出模型中,以得到第二输出填充值,基于所述第二输出填充值与所述差值最小值/>计算待填充值/>,将所述待填充值填充在对应位置,以得到隧道填充数据组。
2.根据权利要求1所述的隧道监测数据预测方法,其特征在于,所述在所述隧道初始监测数据组中设定观测窗口,对处于所述观测窗口内的初始监测数据进行偏差值检测与补偿,以得到隧道去噪数据组的步骤包括:
在所述隧道初始监测数据组中确定预设数据长度的观测窗口,在所述观测窗口中选取基准监测数据,在所述隧道初始监测数据组中将基准监测数据/>之前的若干初始监测数据输入卡尔曼滤波器中,以输出滤波预测值/>,基于所述滤波预测值/>与所述基准监测数据/>确定偏差度量值/>:
;
其中,为滤波预测值与基准监测数据之间的关系矩阵;
判断所述偏差度量值是否小于监测阈值/>且所述观测窗口是否处于满载状态;
若且所述观测窗口处于满载状态,则将所述观测窗口内的所有数据作为拟合参数进行最小二乘拟合以输出拟合值并将第一个拟合值替换基准监测数据/>,之后将观测窗口往后滑动一个数据长度并重复迭代拟合替换过程,以得到隧道拟合数据组,若且所述窗口不处于满载状态,则将所述观测窗口内的所有数据作为拟合参数进行最小二乘拟合以输出拟合值并将第一个拟合值替换基准监测数据/>,之后重复迭代拟合替换过程直至所述观测窗口处于满载状态,若/>,则将所述观测窗口往后滑动一个数据长度并重复迭代拟合替换过程,以得到隧道拟合数据组;
将所述隧道拟合数据组输入所述卡尔曼滤波器中进行平滑去噪处理,以得到隧道去噪数据组。
3.根据权利要求1所述的隧道监测数据预测方法,其特征在于,所述对所述隧道填充数据组进行关联特征识别,以得到隧道关联数据组的步骤包括:
在第个所述隧道填充数据组中任意选取数据/>与数据/>,基于所述数据/>与所述数据/>构建邻接矩阵/>:
;
其中,表示K-邻近算法,/>表示邻接矩阵中第/>行第/>列的元素;
基于所述邻接矩阵构建权重矩阵/>:
;
式中,为设定常数;
基于所述权重矩阵计算所述隧道填充数据组的特征关联分数/>:
;
;
;
;
;
;
式中,为变量矩阵,/>为拉普拉斯矩阵,/>为度矩阵,/>为数据矩阵,/>为第/>个所述隧道填充数据组中的第/>个数据,/>表示/>的对角矩阵,/>为单位矩阵;
将特征关联分数最小时对应的隧道填充数据组作为隧道关联数据组。
4.根据权利要求1所述的隧道监测数据预测方法,其特征在于,所述将所述隧道关联数据组输入训练后的预设预测模型中进行预测,以输出隧道预测数据的步骤包括:
构建预设预测模型,并初始化所述预设预测模型的权值与模型阈值,构建SSA算法中的初始种群,所述初始种群中的每个个体均包括预设预测模型的所需权值与模型阈值;
计算所述初始种群中每个个体的适应度,并根据适应度对所述初始种群中的每个个体从大至小依次排列,以得到排列种群,更新所述SSA算法中的食物发现者位置、加入者位置与警戒值位置;
计算更新后的适应度并实时更新每个个体的位置,直至满足迭代条件,并输出最终权值与最终模型阈值;
将所述最终权值与所述最终模型阈值替换掉所述预设预测模型的权值与模型阈值并通过历史监测数据对所述预设预测模型进行训练,以得到训练好后的预设预测模型;
将所述隧道关联数据组输入训练后的预设预测模型中进行预测,以输出隧道预测数据。
5.一种隧道监测数据预测系统,其特征在于,所述系统包括:
去噪模块,用于获取隧道初始监测数据组,在所述隧道初始监测数据组中设定观测窗口,对处于所述观测窗口内的初始监测数据进行偏差值检测与补偿,以得到隧道去噪数据组;
除杂模块,用于对所述隧道去噪数据组依次进行单个抽值处理,以得到若干抽值数据组,将若干所述抽值数据组输入训练好的预设输出模型中进行插值输出,以得到插值数据组,基于所述插值数据组对所述隧道去噪数据组进行异常值识别并将对应的异常值进行剔除,以得到隧道除杂数据组;
填充模块,用于按监测时间段对所述隧道除杂数据组进行缺失值检测,并通过训练好的所述预设输出模型对缺失值进行填充,以得到隧道填充数据组;
识别模块,用于对所述隧道填充数据组进行关联特征识别,以得到隧道关联数据组;
预测模块,用于将所述隧道关联数据组输入训练后的预设预测模型中进行预测,以输出隧道预测数据;
所述除杂模块包括:
抽值子模块,用于对所述隧道去噪数据组从第一个隧道去噪数据/>开始至第/>个隧道去噪数据/>结束重复进行/>次单个抽值,以得到抽值数据集合/>,所述抽值数据集合中包括/>个数据长度为的抽值数据组:
;
;
;
;
式中,表示隧道去噪数据组/>中的第/>个数据,/>表示第/>个抽值数据组;
第一训练子模块,用于获取历史监测数据组并对所述历史监测数据组进行单个抽值处理,以得到历史抽值数据组,将所述历史监测数据组与所述历史抽值数据组输入预设输出模型中进行训练;
插值数据组输出子模块,用于将所述抽值数据集合输入训练好的预设输出模型中进行插值输出,以得到插值数据组;
所述除杂模块还包括:
第一计算子模块,用于计算所述插值数据组中的每个插值与每个所述抽值数据组对应的抽值之间的差异值:
;
式中,为所述插值数据组/>中的第/>个数据,/>为第/>个抽值数据组对应的抽值;
第二计算子模块,用于基于所述差异值计算第一判断阈值/>与第二判断阈值/>:
;
;
剔除子模块,用于若,则/>为正常值并将/>保留,若/>,则/>为异常值并将/>剔除,以得到隧道除杂数据组;
所述填充模块包括:
检测子模块,用于按监测时间段对所述隧道除杂数据组进行缺失值检测,以得到隧道缺失数据组,在历史数据库中选取/>组完整数据组/>,其中,隧道缺失数据组/>中包括/>个数据,完整数据组/>中包括/>个数据,且/>;
第三计算子模块,用于基于所述隧道缺失数据组与所述完整数据组/>计算填充系数/>:
;
式中,为隧道缺失数据组/>与第/>个完整数据组/>之间的填充关联度,/>为隧道缺失数据组中第/>个数据,/>为第/>个完整数据组中的第/>个数据,/>为隧道缺失数据组的数据均值,/>为第/>个完整数据组的数据均值;
第二判断子模块,用于判断所述填充系数是否小于填充阈值;
第一填充子模块,用于若所述填充系数小于填充阈值,则将隧道缺失数据组/>输入至训练好的所述预设输出模型中,以得到第一输出填充值,将所述第一输出填充值填充在对应位置,以得到隧道填充数据组;
第二填充子模块,用于若所述填充系数不小于填充阈值,则根据缺失值确定若干缺失窗口,并基于所述缺失窗口进行缺失值填充,以得到隧道填充数据组;
所述第二填充子模块包括:
剔除单元,用于确定所述填充系数对应的完整数据组,并根据所述缺失值的位置将缺失值从填充系数/>对应的完整数据组进行剔除,以得到第一缺失数据组,所述第一缺失数据组中的数据与所述隧道缺失数据组中的数据一一对应设置;
扩展单元,用于以所述缺失值两侧的数据为初始窗口,每次单向扩展一个步长且左右对称扩展,直至最后一个窗口包括第一缺失数据组中的全部数据,以得到若干缺失窗口;
输出单元,用于将若干所述缺失窗口中的数据输入至训练好的所述预设输出模型中,以得到输出填充数据组;
计算单元,用于基于所述输出填充数据组确定差值最小值,并根据所述差值最小值计算待填充值,将所述待填充值填充在对应位置,以得到隧道填充数据组;
所述计算单元包括:
计算子单元,用于计算所述输出填充数据组中每个数据与所述第一缺失数据组中提出的缺失值之间的差值最小值:
;
式中,为输出填充数据组中的第/>个数据,/>为缺失值;
选取子单元,用于将差值最小值对应的缺失窗口中的数据作为缺失标准数据组,在隧道缺失数据组中选取与缺失标准数据组对应位置与长度的数据序列作为待填充序列;
填充子单元,用于将所述待填充序列输入至训练好的所述预设输出模型中,以得到第二输出填充值,基于所述第二输出填充值与所述差值最小值/>计算待填充值,将所述待填充值填充在对应位置,以得到隧道填充数据组。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202410026606.6A CN117540153B (zh) | 2024-01-09 | 2024-01-09 | 一种隧道监测数据预测方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202410026606.6A CN117540153B (zh) | 2024-01-09 | 2024-01-09 | 一种隧道监测数据预测方法及系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN117540153A CN117540153A (zh) | 2024-02-09 |
CN117540153B true CN117540153B (zh) | 2024-03-29 |
Family
ID=89794238
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202410026606.6A Active CN117540153B (zh) | 2024-01-09 | 2024-01-09 | 一种隧道监测数据预测方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117540153B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117743808B (zh) * | 2024-02-20 | 2024-05-14 | 中铁西南科学研究院有限公司 | 一种隧道变形预测方法、系统、设备及介质 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110309136A (zh) * | 2019-07-10 | 2019-10-08 | 山东大学 | 一种数据库异常事件缺失数据填充方法及系统 |
CN111143840A (zh) * | 2019-12-31 | 2020-05-12 | 上海观安信息技术股份有限公司 | 一种主机操作指令异常识别的方法及系统 |
CN115118511A (zh) * | 2022-06-29 | 2022-09-27 | 北京奇艺世纪科技有限公司 | 异常流量识别方法、装置、电子设备及存储介质 |
CN115146718A (zh) * | 2022-06-27 | 2022-10-04 | 北京华能新锐控制技术有限公司 | 基于深度表示的风电机组异常检测方法 |
CN115515677A (zh) * | 2020-03-05 | 2022-12-23 | 医视特有限公司 | 用于超声治疗的像差校正的差分预测 |
CN116128312A (zh) * | 2023-04-17 | 2023-05-16 | 南昌工程学院 | 基于监测数据分析的大坝安全预警方法及系统 |
CN116595880A (zh) * | 2023-05-22 | 2023-08-15 | 华东理工大学 | 一种沸腾床渣油加氢装置智能混合建模方法 |
-
2024
- 2024-01-09 CN CN202410026606.6A patent/CN117540153B/zh active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110309136A (zh) * | 2019-07-10 | 2019-10-08 | 山东大学 | 一种数据库异常事件缺失数据填充方法及系统 |
CN111143840A (zh) * | 2019-12-31 | 2020-05-12 | 上海观安信息技术股份有限公司 | 一种主机操作指令异常识别的方法及系统 |
CN115515677A (zh) * | 2020-03-05 | 2022-12-23 | 医视特有限公司 | 用于超声治疗的像差校正的差分预测 |
CN115146718A (zh) * | 2022-06-27 | 2022-10-04 | 北京华能新锐控制技术有限公司 | 基于深度表示的风电机组异常检测方法 |
CN115118511A (zh) * | 2022-06-29 | 2022-09-27 | 北京奇艺世纪科技有限公司 | 异常流量识别方法、装置、电子设备及存储介质 |
CN116128312A (zh) * | 2023-04-17 | 2023-05-16 | 南昌工程学院 | 基于监测数据分析的大坝安全预警方法及系统 |
CN116595880A (zh) * | 2023-05-22 | 2023-08-15 | 华东理工大学 | 一种沸腾床渣油加氢装置智能混合建模方法 |
Non-Patent Citations (2)
Title |
---|
TMD 减振技术在超高层建筑及大跨度桥梁中的应用;徐满清;《南昌工程学院学报》;20200831;全文 * |
基于多维时序数据的运维优化技术研究;陈强华;《中国优秀硕士学位论文全文数据库》;20201005;全文 * |
Also Published As
Publication number | Publication date |
---|---|
CN117540153A (zh) | 2024-02-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN117540153B (zh) | 一种隧道监测数据预测方法及系统 | |
KR102328734B1 (ko) | 이미지를 분석하기 위해, 딥러닝 네트워크에 이용하기 위한 트레이닝 이미지에 대한 라벨링 신뢰도를 자동으로 평가하기 위한 방법 및 이를 이용한 신뢰도 평가 장치 | |
CN116128312B (zh) | 基于监测数据分析的大坝安全预警方法及系统 | |
CN116150676A (zh) | 基于人工智能的设备故障诊断与识别方法及装置 | |
CN114120127B (zh) | 一种目标检测方法、装置及相关设备 | |
CN115546705B (zh) | 目标识别方法、终端设备及存储介质 | |
CN115439654B (zh) | 动态约束下的弱监督农田地块精细化分割方法及系统 | |
CN117746077B (zh) | 一种芯片缺陷的检测方法、装置、设备和存储介质 | |
CN117872166B (zh) | 储能电池热失控检测方法、装置及电子设备 | |
CN113487223B (zh) | 一种基于信息融合的风险评估方法和评估系统 | |
CN113221853A (zh) | 一种基于Yolov4的养鸡场饲养鸡识别算法 | |
CN113822336A (zh) | 一种云硬盘故障预测方法、装置、系统及可读存储介质 | |
CN117495640A (zh) | 一种区域碳排放量预测方法及系统 | |
CN116740586A (zh) | 冰雹识别方法、装置、电子设备及计算机可读存储介质 | |
CN115963404A (zh) | 一种电池荷电状态预测方法、设备和存储介质 | |
CN115953430A (zh) | 基于改进的批量样本损失函数的视频单目标跟踪方法及系统 | |
CN112149833B (zh) | 基于机器学习的预测方法、装置、设备和存储介质 | |
CN115311630A (zh) | 区分阈值生成、目标识别模型训练、目标识别方法及装置 | |
CN116305588B (zh) | 一种风洞试验数据异常检测方法、电子设备及存储介质 | |
CN113473124B (zh) | 信息获取方法、装置、电子设备及存储介质 | |
CN117649415B (zh) | 基于光流图检测的细胞均衡度分析方法 | |
CN116797781B (zh) | 一种目标检测方法、装置、电子设备及存储介质 | |
CN117746314B (zh) | 一种基于多级联合判定ood物体的方法、设备及介质 | |
CN117131337B (zh) | 桥梁振动数据分析方法、装置、电子设备及存储介质 | |
CN114663750B (zh) | 一种基于机器视觉与深度学习的海缆填充条断裂识别方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |