CN117473234A - 一种变形监测数据预处理方法、装置、设备及存储介质 - Google Patents
一种变形监测数据预处理方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN117473234A CN117473234A CN202311823538.8A CN202311823538A CN117473234A CN 117473234 A CN117473234 A CN 117473234A CN 202311823538 A CN202311823538 A CN 202311823538A CN 117473234 A CN117473234 A CN 117473234A
- Authority
- CN
- China
- Prior art keywords
- data
- missing
- monitoring
- deformation
- deformation monitoring
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012544 monitoring process Methods 0.000 title claims abstract description 409
- 238000000034 method Methods 0.000 title claims abstract description 68
- 238000007781 pre-processing Methods 0.000 title claims abstract description 35
- 238000003860 storage Methods 0.000 title claims abstract description 13
- 230000000295 complement effect Effects 0.000 claims abstract description 34
- 238000010586 diagram Methods 0.000 claims abstract description 32
- 238000012217 deletion Methods 0.000 claims description 33
- 230000037430 deletion Effects 0.000 claims description 33
- 230000015654 memory Effects 0.000 claims description 32
- 238000009826 distribution Methods 0.000 claims description 19
- 238000004364 calculation method Methods 0.000 claims description 14
- 238000004590 computer program Methods 0.000 claims description 9
- 238000012545 processing Methods 0.000 abstract description 6
- 238000004891 communication Methods 0.000 description 8
- 230000006870 function Effects 0.000 description 6
- 238000010276 construction Methods 0.000 description 5
- 230000001502 supplementing effect Effects 0.000 description 5
- 230000009286 beneficial effect Effects 0.000 description 3
- 230000003068 static effect Effects 0.000 description 3
- 230000001360 synchronised effect Effects 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000002790 cross-validation Methods 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000000802 evaporation-induced self-assembly Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 239000000047 product Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- 230000009469 supplementation Effects 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/10—Pre-processing; Data cleansing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/10—Pre-processing; Data cleansing
- G06F18/15—Statistical pre-processing, e.g. techniques for normalisation or restoring missing data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Probability & Statistics with Applications (AREA)
- Testing Or Calibration Of Command Recording Devices (AREA)
Abstract
本发明涉及数据处理技术领域，具体涉及一种变形监测数据预处理方法、装置、设备及存储介质，所述方法包括：根据监测到的变形监测数据，确定缺失数据以及缺失数据的缺失类型；根据缺失数据和预设的监测布点图，确定缺失数据监测点的位置信息；根据缺失类型和位置信息确定邻域范围；分别计算邻域范围内各变形监测数据对缺失数据监测点的影响权重；根据影响权重对邻域范围内各变形监测数据进行加权求和，补全缺失数据。相较于现有技术，本发明方法能够高效地补全缺失的监测数据，并且该方法具有较强的普适性，能够针对点缺失、时间块缺失、空间块缺失和混合缺失等多种情况，对缺失数据进行自适应补全。
Description
技术领域
本发明属于数据处理技术领域，尤其涉及一种变形监测数据预处理方法、装置、设备及存储介质。
背景技术
随着城市化进程的不断推进，地铁隧道工程得到越来越多的重视。地铁隧道建设是一项耗时长、工作量大的工程，具有造价高、人流量大的特点。近年来，地铁隧道安全事故时有发生，造成重大的经济损失和人员伤亡。因此，对地铁隧道开展实时连续变形监测具有重大意义。地铁隧道变形监测具有监测点密集、数据量大等特点，构建地铁隧道的三维变形场对于全面掌握地铁隧道的安全状况至关重要。
然而，仪器设备故障、外界环境复杂以及自动化监测系统不稳定等因素会导致监测数据缺失，不利于地铁隧道的三维变形场的构建。
发明内容
为了高效地补全地铁隧道工程的监测数据，本发明提供一种变形监测数据预处理方法、装置、设备及存储介质，技术方案如下：
第一方面，本发明提供了一种变形监测数据预处理方法，包括：
根据监测到的变形监测数据，确定缺失数据以及缺失数据的缺失类型；
根据缺失数据和预设的监测布点图，确定缺失数据监测点的位置信息；
根据缺失类型和位置信息确定邻域范围；
分别计算邻域范围内各变形监测数据对缺失数据监测点的影响权重；
根据影响权重对邻域范围内各变形监测数据进行加权求和，补全缺失数据；
其中，
监测布点图为变形监测数据对应的各个监测点的分布图，缺失数据监测点为缺失数据对应的监测点。
优选的，根据监测到的变形监测数据，确定缺失数据以及缺失数据的缺失类型包括：
在变形监测数据中确定缺失数据，并根据缺失数据确定缺失数据的缺失点时间段以及缺失数据的缺失点位置；
对缺失点时间段以及缺失点位置进行分析，得到缺失类型。
优选的，缺失类型包括点缺失、时间块缺失和空间块缺失；根据缺失类型和位置信息确定邻域范围包括：
判断缺失类型为点缺失、时间块缺失或空间块缺失；
若判断缺失类型为点缺失或判断缺失类型为时间块缺失，根据监测布点图和位置信息，选取邻近缺失数据监测点的多个同源数据监测点，提取多个同源数据监测点对应的变形监测数据作为邻域范围；
若缺失类型为空间块缺失，根据监测布点图和位置信息，选取邻近缺失数据监测点的多个同源数据监测点或多个异源数据监测点，提取多个同源数据监测点或多个异源数据监测点的变形监测数据作为邻域范围；
其中，同源数据监测点和缺失数据监测点的监测方式或监测仪器相同；异源数据监测点和缺失数据监测点的监测方式或监测仪器不同。
优选的，分别计算邻域范围内各变形监测数据对缺失数据监测点的影响权重包括：
分别计算邻域范围内各变形监测数据对应的监测点与缺失数据监测点之间的距离，并根据距离计算得到影响权重。
优选的，分别计算邻域范围内各变形监测数据对缺失数据监测点的影响权重包括：
分别计算邻域范围内各变形监测数据与缺失数据之间的相似度，并根据相似度计算得到影响权重。
优选的，根据影响权重对邻域范围内各变形监测数据进行加权求和，补全缺失数据包括：
分别在邻域范围内各变形监测数据中选取目标数据点；
根据影响权重对各目标数据点进行加权求和计算，得到加权求和结果；
将加权求和结果填补到缺失数据的缺失点位置，补全缺失数据。
优选的，在根据监测到的变形监测数据，确定缺失数据以及缺失数据的缺失类型之前，方法包括：
采用预设传感器对预设的监测点进行监测，得到变形监测数据。
第二方面，本发明提供了一种变形监测数据预处理装置，包括：
第一确定模块，用于根据监测到的变形监测数据，确定缺失数据以及缺失数据的缺失类型；
第二确定模块，用于根据缺失数据和预设的监测布点图，确定缺失数据监测点的位置信息；
第三确定模块，用于根据缺失类型和位置信息确定邻域范围；
第一计算模块，用于分别计算邻域范围内各变形监测数据对缺失数据监测点的影响权重；
第二计算模块，用于根据影响权重对邻域范围内各变形监测数据进行加权求和，补全缺失数据。
第三方面，本发明提供了一种变形监测数据预处理设备，该设备包括：存储器和处理器。其中，该存储器和该处理器通过内部连接通路互相通信，该存储器用于存储指令，该处理器用于执行该存储器存储的指令，并且当该处理器执行该存储器存储的指令时，使得该处理器执行上述变形监测数据预处理方法。
第四方面，本发明提供了一种计算机可读存储介质，计算机可读存储介质存储计算机程序，当计算机程序在计算机上运行时，上述变形监测数据预处理方法被执行。
相较于现有技术，本发明至少包括以下有益技术效果：
1）本发明方法通过确定变形监测数据中的缺失数据、缺失数据的缺失类型和监测布点图来确定缺失数据监测点的位置信息，再根据缺失类型和位置信息来确定邻域范围，然后计算邻域范围内各变形监测数据的影响权重，再采用影响权重对内各变形监测数据进行加权求和计算，以高效地补全缺失的监测数据。
2）本发明方法优先采用同源数据监测点对应的变形监测数据，并通过对应的步骤来补全缺失数据；若邻域范围内上述变形监测数据缺失率较大时，则采用异源数据监测点对应的变形监测数据，结合对应的步骤来补全缺失数据。
3）本发明方法的普适性强，能够针对点缺失、时间块缺失、空间块缺失和混合缺失等多种情况，对缺失数据进行自适应补全。
附图说明
在附图中，除非另外规定，否则贯穿多个附图相同的附图标记表示相同或相似的部件或元素。这些附图不一定是按照比例绘制的。应该理解，这些附图仅描绘了根据本发明公开的一些实施方式，而不应将其视为是对本发明范围的限制。
图1为本发明实施例一变形监测数据预处理方法的流程示意图；
图2为本发明实施例一变形监测数据预处理方法的缺失类型为点缺失的缺失数据图像示意图；
图3为本发明实施例一变形监测数据预处理方法的缺失类型为时间块缺失的缺失数据图像示意图；
图4为本发明实施例一变形监测数据预处理方法的缺失类型为空间块缺失的缺失数据图像示意图；
图5为本发明实施例一变形监测数据预处理方法的监测布点图示意图；
图6为本发明实施例二变形监测数据预处理装置的结构示意图；
图7为本发明实施例三变形监测数据预处理设备的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明实施例公开了一种变形监测数据预处理方法、装置、设备及存储介质，用于高效地补全地铁隧道工程的监测数据。
实施例一
如图1所示，本发明的变形监测数据预处理方法包括：
S101：根据监测到的变形监测数据，确定缺失数据以及缺失数据的缺失类型。
需要说明的是，地铁隧道的变形监测数据用于构建地铁隧道的三维变形场，以全面掌握地铁隧道的安全状况。在实际应用中，仪器设备故障、外界环境复杂以及自动化监测系统不稳定等因素会导致监测数据缺失，不利于地铁隧道的三维变形场的构建。本发明实施例首先根据监测到的变形监测数据，确定存在数据缺失的变形监测数据为缺失数据，并分析缺失数据的缺失类型，以便于后续对缺失数据进行补全。
其中，在步骤S101之前，本发明的方法包括：
采用预设传感器对预设的监测点进行监测，得到变形监测数据。
需要说明的是，每个传感器监测对应的监测点得到一份变形监测数据。
在本实施例中，监测点可以设置在地铁隧道顶部、侧墙或底部的断面。在其他实施例中，监测点的具体位置可以根据地铁隧道现场内布设的设备位置做局部调整。
其中，上述步骤S101包括：
S1011：在变形监测数据中确定缺失数据，并根据缺失数据确定缺失数据的缺失点时间段以及缺失数据的缺失点位置。
具体的，确定存在数据缺失的变形监测数据为缺失数据。由于变形监测数据（包括缺失数据）是实时监测得到的，具有时序性，即监测得到的每份变形监测数据对应一个监测时间，因此，根据缺失数据中的具体值即可确定缺失数据中数据缺失的时间段和位置，即缺失点时间段和缺失点位置。
S1012：对缺失点时间段以及缺失点位置进行分析，得到缺失类型。
在本实施例中，缺失类型包括点缺失、时间块缺失和空间块缺失。 如图2所示，点缺失的特征为数据缺失在某一时间段离散地出现；如图3所示，时间块缺失的特征为数据缺失在连续时间段内出现；如图4所示，空间块缺失的特征为空间上相邻的若干个监测点监测得到的变形监测数据都在某一时刻内出现数据缺失。因此，根据缺失点时间段和缺失点位置即可分析得到缺失类型。
具体的，通过对缺失数据的缺失类型进行分析确定，能够在后续的步骤中采用对应的缺失数据补全措施，以提高数据补全的效果。
在上述步骤S101之后，本实施例发明方法还包括：
S102：根据缺失数据和预设的监测布点图，确定缺失数据监测点的位置信息。
在本实施例中，监测布点图为各个监测点的分布图，缺失数据监测点为缺失数据对应的监测点。
如图5所示，在本实施例中，缺失数据监测点的位置信息为缺失数据监测点所在的断面。
需要说明的是，本发明方法可以通过预设的监测仪器获取每个监测点对应的变形监测数据，若某个监测点的变形监测数据无法获取则该监测点为缺失数据监测点。监测布点图中包括各监测点的编号信息，该编号信息根据预设的监测点编号规则确定。监测点编号规则为“线路+线路方向代码+区间编号+P+断面编号+监测点编号+监测点类型”。
具体的，本发明方法根据监测布点图，找到缺失数据监测点的布设位置，确定缺失数据监测点的位置信息。
S103：根据缺失类型和位置信息确定邻域范围。
具体的，将与缺失数据监测点的位置相邻或者距离最近的预设数个监测点所监测得到的变形监测数据确定为邻域范围。
需要说明的是，本发明实施例邻域范围内的变形监测数据为完整的数据，是补全缺失数据的数据来源。
可选的，根据缺失数据的缺失类型，选取与缺失数据监测点所处断面相邻或者距离最近的预设数个断面，并提取这些断面的监测点，将这些监测点监测得到的变形监测数据确定为邻域范围。
可选的，监测布点图内的监测点采用多种监测方式或多个监测仪器获取，缺失类型包括点缺失、时间块缺失和空间块缺失，上述步骤S103包括以下步骤：
S1031：判断缺失类型为点缺失、时间块缺失或空间块缺失；
S1032：若缺失类型为点缺失或时间块缺失，根据监测布点图和位置信息，选取邻近缺失数据监测点的多个同源数据监测点，提取多个同源数据监测点对应的变形监测数据作为邻域范围；
S1033：若缺失类型为空间块缺失，根据监测布点图和位置信息，选取邻近缺失数据监测点的多个同源数据监测点或多个异源数据监测点，提取多个同源数据监测点或多个异源数据监测点的变形监测数据作为邻域范围。
其中，同源数据监测点和缺失数据监测点的监测方式或监测仪器相同；异源数据监测点和缺失数据监测点的监测方式或监测仪器不同。
需要说明的是，对于地铁隧道结构变形的实时监测，得到的变形监测数据包括水平位移、沉降和收敛三类，这三类变形监测数据由不同监测方式得到。根据邻域范围内的变形监测数据对应的监测点的类型将邻域分为同源邻域和异源邻域，其中同源邻域为邻域范围内的变形监测数据对应的监测点均为同源数据监测点的邻域，异源邻域为邻域范围内的变形监测数据对应的监测点均为异源数据监测点的邻域。
在本实施例中，由图2和图3可知，若数据缺失类型为点缺失和时间块缺失，则实际用于补充缺失数据的数据量较小，利用同源数据监测点对应的变形监测数据即可。步骤S1032根据缺失数据监测点的位置信息，将缺失数据监测点位置相邻或距离最近的多个同源数据监测点对应的变形监测数据确定为邻域范围。
相较于现有技术，本发明方法优先采用同源数据监测点对应的变形监测数据来补全缺失数据，以在保证数据补全的基础上提高数据补全的效率。
其中，如图4所示，若数据缺失类型为空间块缺失，相较于点缺失和时间块缺失，所需的用于补充该缺失数据的数据量较大，利用同源数据监测点对应的变形监测数据进行数据补全可能存在数据不足的问题。故此时本发明方法采用步骤S1033，同时采用邻域范围内同源数据监测点和异源数据监测点对应的变形监测数据来补全缺失数据，使补全后的变形监测数据更加完整可靠。
S104：分别计算邻域范围内各变形监测数据对缺失数据监测点的影响权重。
在本实施例中，由步骤S103可知，本发明实施例在对缺失类型为点缺失或者时间块缺失的缺失数据进行数据补全时，所确定的邻域范围内只有同源数据监测点对应的变形监测数据，故在步骤S104计算邻域范围内各监测点对应的变形监测数据的影响权重，即计算邻域范围内各同源数据监测点对应的变形监测数据的影响权重；本发明实施例在对缺失类型为空间块缺失的缺失数据进行数据补全时，所确定的邻域范围内有同源数据监测点和异源数据监测点对应的变形监测数据，此时步骤S104计算邻域范围内各监测点（包括同源数据监测点和异源数据监测点）对应的变形监测数据的影响权重。
可选的，在本实施例中，步骤S104包括：
分别计算邻域范围内各变形监测数据对应的监测点与缺失数据监测点之间的距离，并根据距离计算得到影响权重。
具体的，分别计算邻域范围内各变形监测数据对应的监测点与缺失数据监测点之间的距离，分别为、/>、…、/>，n为邻域范围内变形监测数据对应的监测点的数量。
可选的，在一些实施例中，监测布点图还包括各监测点的空间坐标，根据各监测点的空间坐标分别计算邻域范围内各变形监测数据对应的监测点与缺失数据监测点之间的距离：
其中，、/>、/>分别表示邻域范围内监测点/>的/>坐标、/>坐标、/>坐标，/>、/>、/>分别表示缺失数据监测点/>的/>坐标、/>坐标、/>坐标。
可选的，在一些实施例中，根据邻域范围内各变形监测数据对应的监测点与缺失数据监测点之间的距离占所有距离之和的比例，得到邻域范围内各变形监测数据的影响权重。具体为：
计算邻域范围内各变形监测数据对应的监测点与缺失数据监测点之间的距离之和：
则邻域范围内各变形监测数据的影响权重：
其中，表示邻域范围内监测点/>与缺失数据监测点之间的距离，/>为一个预设的正实数。
需要说明的是，根据上述影响权重的计算过程可知，通过分别计算邻域范围内各变形监测数据对应的监测点与缺失数据监测点之间的距离，并根据距离计算得到影响权重，考虑到了空间邻近性，邻域范围内距离缺失数据监测点越近的监测点对应的变形监测数据的影响权重越大，强调了临近的变形监测数据对缺失数据的重要性，以提高缺失数据补全的准确性和可靠性。
可选的，在其他实施例中，步骤S104还可以包括：
分别计算邻域范围内各变形监测数据与缺失数据之间的相似度，并根据相似度计算得到影响权重。
具体的，通过计算邻域范围内各变形监测数据与缺失数据之间的相关系数或者欧氏距离得到邻域范围内各变形监测数据与缺失数据之间的相似度。
可选的，在其他实施例中，上述步骤S104也可采用交叉验证或者其他评估指标确定影响权重的计算方法。
相较于现有技术，本发明方法通过分别计算邻域范围内各变形监测数据与缺失数据之间的相似度，并根据相似度计算得到影响权重，使得邻域范围内与缺失数据更相似的变形监测数据具有更高的影响权重，使后续步骤中根据该影响权重利用邻域范围内各变形监测数据对缺失数据进行补全时效率更高，且补全后的变形监测数据更加准确可靠。
S105：根据影响权重对邻域范围内各变形监测数据进行加权求和，补全缺失数据。
具体的，根据步骤S104计算得到的影响权重对邻域范围内各变形监测数据进行加权求和计算，得到缺失数据的补全值：
其中，表示缺失数据监测点，/>表示邻域范围内监测点/>对应的变形监测数据中与缺失数据的数据缺失处相对应的数据。
根据前述可知，本发明实施例的变形监测数据预处理方法能够对变形监测数据中的缺失数据进行补全，适用于点缺失、时间块缺失和空间块缺失三种类型的缺失数据的补全，并且也能对点缺失、时间块缺失和空间块缺失中的任意两种缺失类型混合或三种缺失类型混合的缺失数据进行补全。其中，对于缺失类型为点缺失的缺失数据的补全，采用步骤S101-S105的变形监测数据预处理方法计算得到缺失数据的补全值，并采用该补全值对缺失数据进行补全即可；对于缺失类型为时间块缺失的缺失数据的补全，将连续时间段内的每个时间点的数据补全视作缺失类型为点缺失的缺失数据补全；对于缺失类型为空间块缺失的缺失数据的补全，将各个缺失数据监测点对应的缺失数据的补全视作缺失类型为点缺失的缺失数据补全。
在本实施例中，步骤S105可以包括：
S1051：分别在邻域范围内各变形监测数据中选取目标数据点。
在本实施例中，目标数据点即缺失数据监测点。
S1052：根据影响权重对各目标数据点进行加权求和计算，得到加权求和结果。
S1053：将加权求和结果填补到缺失数据的缺失点位置，补全缺失数据。
需要说明的是，本发明方法通过在邻域范围内各变形监测数据中选取目标数据点，并根据影响权重对各目标数据点进行加权求和计算，得到加权求和结果以补全缺失数据，减小了计算数据量，且用于计算加权求和结果的数据与缺失数据所缺失的数据更加贴近，使得缺失数据的补全效率更高，且补全后的变形监测数据更加准确可靠。
下面通过具体实例说明本发明对缺失数据的补全。
1）针对缺失类型为点缺失的缺失数据的补全。
根据监测到的变形监测数据，确定缺失数据以及缺失数据的缺失类型为点缺失，并根据缺失数据和预设的监测布点图，确定缺失数据监测点的位置信息（断面）。
如表1所示，位于31号断面的2号监测点x轴数据缺失，缺失点时间为：2023-03-1003:06:30。
表1 断面31的变形监测数据
将断面31相邻的2个断面的监测点对应的变形监测数据确定为邻域范围。相邻的2个断面的监测点对应的变形监测数据在缺失点时间的数据如表2、3所示。
表2 断面30的变形监测数据
表3 断面32的变形监测数据
缺失数据以及相邻的2个断面对应的变形监测数据的各个监测点坐标如表4所示。
表4 断面30、31、32的监测点坐标
根据表4所示的监测点坐标计算断面31相邻的2个断面的监测点与缺失数据监测点的距离（相应监测点的距离），并根据距离计算各监测点的影响权重，如表5所示。
表5 各监测点的距离、影响权重和x轴变形值
由此可知，将断面30、32处02P23Y312监测点的影响权重与x轴变形值相乘并累加可得断面31处02P23Y312监测点在X轴的变形缺失值，其值为0.0418。
2）针对缺失类型为时间块缺失的缺失数据的补全。
根据监测到的变形监测数据，确定缺失数据以及缺失数据的缺失类型为时间块缺失，并根据缺失数据和预设的监测布点图，确定缺失数据监测点的位置信息（断面）。如表6所示，位于31号断面的监测点02P23Y312在连续时间段内x轴变形量缺失，将时间块缺失分为时间在“2023-03-10 03:06:30”与“2023-03-10 11:08:01”的两个点缺失即可，缺失数据补全过程同“1）针对缺失类型为点缺失的缺失数据的补全”，不再赘述。
表6 断面31的变形监测数据
3）针对缺失类型为空间块缺失的缺失数据的补全。
根据监测到的变形监测数据，确定缺失数据以及缺失数据的缺失类型为空间块缺失，并根据缺失数据和预设的监测布点图，确定缺失数据监测点的位置信息（断面）。如表7所示，第31号断面监测点02P23Y312、02P23Y313的z轴变形量缺失。监测点02P23Y313位于断面底部，其值既可以通过使用全站仪测得，又可以通过静力水准的方法测得。下文示例中引入由静力水准方法测得的异源数据（异源数据监测点对应的变形监测数据），并与邻域内的同源数据（同源数据监测点对应的变形监测数据）共同补全监测点02P23Y313的缺失值。
表7 断面31的变形监测数据
将断面31相邻的4个断面的监测点对应的变形监测数据确定为邻域范围。相邻的4个断面的监测点对应的变形监测数据在缺失点时间的数据如表2、3、8、9所示。
表8 断面29的变形监测数据
表9 断面33的变形监测数据
缺失数据以及相邻的4个断面对应的变形监测数据的各个监测点坐标如表10所示。
表10 断面29、30、31、32、33的监测点坐标
根据表10所示的监测点坐标计算断面31相邻的4个断面的监测点与缺失数据监测点的距离（相应监测点的距离），并根据距离计算各监测点的影响权重，如表11所示。
表11 各监测点的距离、影响权重和z轴变形值
由此可知，将断面29、30、32、33处02P23Y313监测点的影响权重与z轴变形值相乘并累加可得断面31处02P23Y313监测点在Z轴的变形缺失值，其值为-0.059。
综上所述可知，在实际的地铁隧道三维变形场构建过程中，仪器设备故障、外界环境复杂以及自动化监测系统不稳定等因素会导致监测数据缺失，不利于地铁隧道的三维变形场的构建。
本发明方法的步骤S101-S105，通过确定变形监测数据中的缺失数据和缺失数据的缺失类型，并根据缺失数据和监测布点图确定缺失数据监测点的位置信息，进而根据缺失类型和位置信息确定邻域范围，然后通过计算邻域范围内各变形监测数据的影响权重，根据影响权重对邻域范围内各变形监测数据进行加权求和计算，从而补全缺失数据，提高了变形监测数据的完整性和可靠性，使得基于变形监测数据构建得到的三维变形场更加准确可靠，应用于地铁隧道的变形监测时能够更加全面准确地掌握地铁隧道的安全状况。
实施例二
如图6所示，本实施例公开了一种变形监测数据预处理装置，该装置包括：
第一确定模块601，用于根据监测到的变形监测数据，确定缺失数据以及所述缺失数据的缺失类型；
第二确定模块602，用于根据所述缺失数据和预设的监测布点图，确定缺失数据监测点的位置信息；
第三确定模块603，用于根据所述缺失类型和所述位置信息确定邻域范围；
第一计算模块604，用于分别计算所述邻域范围内各变形监测数据对缺失数据监测点的影响权重；
第二计算模块605，用于根据所述影响权重对所述邻域范围内各变形监测数据进行加权求和，补全所述缺失数据。
本发明实施例各装置中的各模块的功能可以参见上述方法中的对应描述，在此不作赘述。
实施例三
如图7所示，本实施例公开了一种变形监测数据预处理设备，该设备包括：存储器701和处理器702，存储器701内存储有可在处理器702上运行的计算机程序。处理器702执行该计算机程序时实现上述实施例中的变形监测数据预处理方法。存储器701和处理器702的数量可以为一个或多个。
该变形监测数据预处理设备还包括：
通信接口703，用于与外界设备进行通信，进行数据交互传输。
如果存储器701、处理器702和通信接口703独立实现，则存储器701、处理器702和通信接口703可以通过总线相互连接并完成相互间的通信。该总线可以是工业标准体系结构（Industry Standard Architecture，ISA）总线、外部设备互连（Peripheral ComponentInterconnect ，PCI）总线或扩展工业标准体系结构（Extended Industry StandardArchitecture ，EISA）总线等。该总线可以分为地址总线、数据总线、控制总线等。为便于表示，图7中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
可选的，在具体实现上，如果存储器701、处理器702及通信接口703集成在一块芯片上，则存储器701、处理器702及通信接口703可以通过内部接口完成相互间的通信。
本发明实施例提供了一种计算机可读存储介质，其存储有计算机程序，该程序被处理器执行时实现本发明实施例中提供的方法。
本发明实施例还提供了一种芯片，该芯片包括处理器，用于从存储器中调用并运行存储器中存储的指令，使得安装有芯片的通信设备执行本发明实施例提供的方法。
本发明实施例还提供了一种芯片，包括：输入接口、输出接口、处理器和存储器，输入接口、输出接口、处理器以及存储器之间通过内部连接通路相连，处理器用于执行存储器中的代码，当代码被执行时，处理器用于执行申请实施例提供的方法。
应理解的是，上述处理器可以是中央处理器(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(digital signal processing，DSP)、专用集成电路(application specific integrated circuit，ASIC)、现场可编程门阵列(fieldprogrammablegate array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者是任何常规的处理器等。值得说明的是，处理器可以是支持进阶精简指令集机器(advanced RISC machines，ARM)架构的处理器。
进一步地，可选的，上述存储器可以包括只读存储器和随机存取存储器，还可以包括非易失性随机存取存储器。该存储器可以是易失性存储器或非易失性存储器，或可包括易失性和非易失性存储器两者。其中，非易失性存储器可以包括只读存储器(read-onlymemory，ROM)、可编程只读存储器(programmable ROM，PROM)、可擦除可编程只读存储器(erasable PROM，EPROM)、电可擦除可编程只读存储器(electrically EPROM，EEPROM)或闪存。易失性存储器可以包括随机存取存储器(random access memory，RAM)，其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的RAM可用。例如，静态随机存取存储器(static RAM，SRAM)、动态随机存取存储器(dynamic random access memory ，DRAM) 、同步动态随机存取存储器(synchronous DRAM，SDRAM)、双倍数据速率同步动态随机存取存储器(double data date SDRAM，DDR SDRAM)、增强型同步动态随机存取存储器(enhancedSDRAM，ESDRAM)、同步连接动态随机存取存储器(synchlink DRAM，SLDRAM)和直接内存总线随机存取存储器(direct rambus RAM，DR RAM)。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行计算机程序指令时，全部或部分地产生按照本发明的流程或功能。计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分。并且本发明的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备（如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统）使用，或结合这些指令执行系统、装置或设备而使用。
应理解的是，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。上述实施例方法的全部或部分步骤是可以通过程序来指令相关的硬件完成，该程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。
此外，在本发明各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。上述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读存储介质中。该存储介质可以是只读存储器，磁盘或光盘等。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到其各种变化或替换，这些都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。
Claims (10)
1.一种变形监测数据预处理方法，其特征在于，包括：
根据监测到的变形监测数据，确定缺失数据以及所述缺失数据的缺失类型；
根据所述缺失数据和预设的监测布点图，确定缺失数据监测点的位置信息；
根据所述缺失类型和所述位置信息确定邻域范围；
分别计算所述邻域范围内各变形监测数据对缺失数据监测点的影响权重；
根据所述影响权重对所述邻域范围内各变形监测数据进行加权求和，补全所述缺失数据；
其中，
所述监测布点图为所述变形监测数据对应的各个监测点的分布图，所述缺失数据监测点为所述缺失数据对应的监测点。
2.根据权利要求1所述的变形监测数据预处理方法，其特征在于，所述根据监测到的变形监测数据，确定缺失数据以及所述缺失数据的缺失类型包括：
在所述变形监测数据中确定所述缺失数据，并根据所述缺失数据确定所述缺失数据的缺失点时间段以及所述缺失数据的缺失点位置；
对所述缺失点时间段以及所述缺失点位置进行分析，得到所述缺失类型。
3.根据权利要求1所述的变形监测数据预处理方法，其特征在于，所述缺失类型包括点缺失、时间块缺失和空间块缺失；所述根据所述缺失类型和所述位置信息确定邻域范围包括：
判断所述缺失类型为所述点缺失、所述时间块缺失或所述空间块缺失；
若判断所述缺失类型为所述点缺失或者判断所述缺失类型为所述时间块缺失，根据所述监测布点图和所述位置信息，选取邻近所述缺失数据监测点的多个同源数据监测点，提取多个所述同源数据监测点对应的变形监测数据作为所述邻域范围；
若所述缺失类型为空间块缺失，根据所述监测布点图和所述位置信息，选取邻近所述缺失数据监测点的多个同源数据监测点或多个异源数据监测点，提取多个所述同源数据监测点或多个所述异源数据监测点的变形监测数据作为所述邻域范围；
其中，所述同源数据监测点和所述缺失数据监测点的监测方式或监测仪器相同；所述异源数据监测点和所述缺失数据监测点的监测方式或监测仪器不同。
4.根据权利要求1所述的变形监测数据预处理方法，其特征在于，所述分别计算所述邻域范围内各变形监测数据对缺失数据监测点的影响权重包括：
分别计算所述邻域范围内各变形监测数据对应的监测点与所述缺失数据监测点之间的距离，并根据所述距离计算得到影响权重。
5.根据权利要求1所述的变形监测数据预处理方法，其特征在于，所述分别计算所述邻域范围内各变形监测数据对缺失数据监测点的影响权重包括：
分别计算所述邻域范围内各所述变形监测数据与所述缺失数据之间的相似度，并根据所述相似度计算得到影响权重。
6.根据权利要求2所述的变形监测数据预处理方法，其特征在于，所述根据所述影响权重对所述邻域范围内各变形监测数据进行加权求和，补全所述缺失数据包括：
分别在所述邻域范围内各所述变形监测数据中选取目标数据点；
根据所述影响权重对各所述目标数据点进行加权求和计算，得到加权求和结果；
将所述加权求和结果填补到所述缺失数据的所述缺失点位置，补全所述缺失数据。
7.根据权利要求1所述的变形监测数据预处理方法，其特征在于，在所述根据监测到的变形监测数据，确定缺失数据以及所述缺失数据的缺失类型之前，所述方法包括：
采用预设传感器对预设的监测点进行监测，得到变形监测数据。
8.一种变形监测数据预处理装置，其特征在于，包括：
第一确定模块，用于根据监测到的变形监测数据，确定缺失数据以及所述缺失数据的缺失类型；
第二确定模块，用于根据所述缺失数据和预设的监测布点图，确定缺失数据监测点的位置信息；
第三确定模块，用于根据所述缺失类型和所述位置信息确定邻域范围；
第一计算模块，用于分别计算所述邻域范围内各变形监测数据对缺失数据监测点的影响权重；
第二计算模块，用于根据所述影响权重对所述邻域范围内各变形监测数据进行加权求和，补全所述缺失数据。
9.一种变形监测数据预处理设备，其特征在于，包括：
处理器和存储器，所述存储器中存储指令，所述指令由处理器加载并执行，以实现如权利要求1-7任一项所述的变形监测数据预处理方法。
10.一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1-7中任一项所述的变形监测数据预处理方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311823538.8A CN117473234B (zh) | 2023-12-28 | 2023-12-28 | 一种变形监测数据预处理方法、装置、设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311823538.8A CN117473234B (zh) | 2023-12-28 | 2023-12-28 | 一种变形监测数据预处理方法、装置、设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117473234A true CN117473234A (zh) | 2024-01-30 |
| CN117473234B CN117473234B (zh) | 2024-04-30 |
Family
ID=89635143
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311823538.8A Active CN117473234B (zh) | 2023-12-28 | 2023-12-28 | 一种变形监测数据预处理方法、装置、设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117473234B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117787666A (zh) * | 2024-02-26 | 2024-03-29 | 山东省国土空间生态修复中心(山东省地质灾害防治技术指导中心、山东省土地储备中心) | 一种盐碱地信息监测治理方法、系统、设备及存储介质 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109101638A (zh) * | 2018-08-20 | 2018-12-28 | 河海大学 | 一种大坝变形监测连续性缺失数据补全方法 |
| CN113806349A (zh) * | 2021-11-18 | 2021-12-17 | 浙江大学 | 基于多视图学习的时空缺失数据补全方法、装置及介质 |
| CN115827335A (zh) * | 2023-02-06 | 2023-03-21 | 东南大学 | 基于模态交叉方法的时序数据缺失插补系统以及插补方法 |
| CN116518945A (zh) * | 2023-04-04 | 2023-08-01 | 武汉市勘察设计有限公司 | 一种基于测量机器人的地铁隧道结构安全监测方法 |
-
2023
- 2023-12-28 CN CN202311823538.8A patent/CN117473234B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109101638A (zh) * | 2018-08-20 | 2018-12-28 | 河海大学 | 一种大坝变形监测连续性缺失数据补全方法 |
| CN113806349A (zh) * | 2021-11-18 | 2021-12-17 | 浙江大学 | 基于多视图学习的时空缺失数据补全方法、装置及介质 |
| CN115827335A (zh) * | 2023-02-06 | 2023-03-21 | 东南大学 | 基于模态交叉方法的时序数据缺失插补系统以及插补方法 |
| CN116518945A (zh) * | 2023-04-04 | 2023-08-01 | 武汉市勘察设计有限公司 | 一种基于测量机器人的地铁隧道结构安全监测方法 |
Non-Patent Citations (1)
| Title |
|---|
| 马思远 等: "基于注意力机制的城市多元空气质量数据缺失值填充", 计算机工程与科学, vol. 45, no. 8, 31 August 2023 (2023-08-31), pages 1354 - 1364 * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117787666A (zh) * | 2024-02-26 | 2024-03-29 | 山东省国土空间生态修复中心(山东省地质灾害防治技术指导中心、山东省土地储备中心) | 一种盐碱地信息监测治理方法、系统、设备及存储介质 |
| CN117787666B (zh) * | 2024-02-26 | 2024-05-28 | 山东省国土空间生态修复中心(山东省地质灾害防治技术指导中心、山东省土地储备中心) | 一种盐碱地信息监测治理方法、系统、设备及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117473234B (zh) | 2024-04-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN117473234B (zh) | 一种变形监测数据预处理方法、装置、设备及存储介质 | |
| CN110019609B (zh) | 地图更新方法、装置以及计算机可读存储介质 | |
| CN110868241B (zh) | 基于多模型的地下电缆故障预警方法和装置 | |
| CN110875851B (zh) | 地下电缆故障预警方法和装置 | |
| CN111382472A (zh) | 随机森林融合svm预测盾构引起近接结构变形方法及装置 | |
| CN108363060A (zh) | 一种动态障碍物检测方法及设备 | |
| CN108900622A (zh) | 基于物联网的数据融合方法、装置与计算机可读存储介质 | |
| CN110866634A (zh) | 基于模型选择的地下电缆故障预警方法和装置 | |
| CN100478650C (zh) | 改善发电设备故障检测的方法和装置 | |
| CN115728734B (zh) | 激光雷达遮挡检测方法、装置、存储介质及激光雷达 | |
| CN105632114A (zh) | 基于gis技术的监测测点安全状态监控的方法 | |
| CN105387844A (zh) | 路面状况测定系统以及路面状况测定方法 | |
| CN110264055A (zh) | 部件危害性评估方法、装置、设备及计算机可读存储介质 | |
| WO2022153125A3 (en) | System and method for processing vehicle event data for analysis of road segments and turn ratios | |
| Rud et al. | Development of GPU-accelerated localization system for autonomous mobile robot | |
| CN106781659A (zh) | 一种车位状态基准值标定方法和装置 | |
| CN113327284B (zh) | 图像识别方法、装置、电子设备和存储介质 | |
| CN115643231A (zh) | 车载终端设备检测的方法、装置、电子设备及存储介质 | |
| WO2022227523A1 (zh) | 用于检测室内温度的方法、装置和智能空调 | |
| CN111679298B (zh) | 导航系统的完好性监测方法、完好性监测装置及电子设备 | |
| CN114812576A (zh) | 地图匹配方法、装置及电子设备 | |
| CN105654519B (zh) | 空间位置确定几何对象的方法及其装置 | |
| CN115092136B (zh) | 车速规划方法、装置、车辆及存储介质 | |
| CN113946466B (zh) | 基于qt的软件错误溯源方法及装置 | |
| CN112785075B (zh) | 一种基于rfid定位的行人行为预测方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |