CN113255579B - 一种施工监测异常采集数据自动识别与处理的方法 - Google Patents

Abstract

本发明属于土木工程施工过程监控数据处理领域，提供了一种施工监测异常采集数据自动识别与处理的方法，对土建施工领域内所使用的传感器采集的时间序列数据，如温度、应变、位移、加速度等，依次进行时间序列数据的数据收集、时间序列数据的数据前处理、时间序列数据中毛刺点的识别和删除，以及还原数据系统，对其进行光滑处理，使得监测采集的数据更准确、1.真实、客观。通过夹角

判定在局部时间范围内的连续若干个数据采集值显著偏离数据发展趋势轨迹的数据，剔除该类数据后，以新计算的插值结果替换原始的毛刺监测值，实现了毛刺数据的识别、剔除和光滑，提高数据监测的准确性。

Description

一种施工监测异常采集数据自动识别与处理的方法

技术领域

本发明属于建筑施工技术领域，特别涉及一种土木工程施工过程监控、运营阶段健康监测数据处理方法。

背景技术

目前，信息化技术和物联网技术，已广泛应用于建筑工程施工领域，运用信息化监测技术实时获取结构和设备的性能状态参数(温度、应力、内力、位移、倾角、加速度、声音，等)，保证结构在建造过程和运营过程的安全，已然成为提高建筑工程信息化管理水平的重要手段。

施工周期长、施工环境复杂恶劣是建筑工程施工的特点，在施工过程中，用于监测的结构和设备常常因为得不到有效保护，或受到外侧干扰，容易出现数据采集异常，而人为处理此类异常数据极为繁复，易疲劳、易出错。

数据异常的类型很多，比如局部时间段内数据丢失，局部时间范围内采集数据异常震荡、零碎采集数据呈毛刺状异常突变，等等。目前，已有诸多技术方法处理各类传感器采集的监测数据，比如加速度传感器所采集的时间序列数据，容易受到外界干扰而导致现场采集到的数据附加了某些特定频段的信号。因此，人们设计了各类滤波器，用于过滤受干扰采集数据的某些特定频率成分的信号，如高通滤波，低通滤波，或者其它非线性专用滤波器；对于某些局部剧烈震荡的实时采集数据，为了过滤震荡部分的信号，人们常用高斯滤波(又称高斯模糊)的方法将振幅收窄；对于某些存在个别散点数据显著异常，且超出物理量允许的变化范围的，可以采用阈值限定的方法，将超过设定阈值的采集值直接清除。

目前各种传感器在各异的使用工况下，实时采集的时间序列数据存在纷繁复杂的异常类型，暂无适用于任意类型的数据异常检测和剔除方法。

任意类型的数据异常经常表现为“毛刺状”，所谓“毛刺状”表示在局部时间范围内的连续若干个数据采集值显著偏离数据发展趋势轨迹，这类异常数据点按照先后顺序用直线连接起来，往往呈现毛刺状，因此得名。目前常规的滤波算法，包括高斯滤波算法，不仅无法将毛刺异常数据剔除，而且还会导致异常数据周边的正常光滑数据失真。

因此，本发明提出了一种施工监测异常采集数据自动识别与处理的方法，可靠识别毛刺点，并对其剔除和光滑处理，提高数据监测的准确性。

发明内容

本发明旨在发明一种施工监测异常采集数据自动识别与处理的方法，对土建施工领域内所使用的传感器采集的时间序列数据，如温度、应变、位移、加速度等，进行处理，识别“毛刺状”异常数据，并对其进行光滑处理，使得监测采集的数据更准确、真实、客观。

为解决上述技术问题，本发明提供如下技术方案：

一种施工监测异常采集数据自动识别与处理的方法，包括如下步骤：

步骤1，数据收集：从施工监测传感器采集的数据库或数据管理平台或其它数据文件中提取监测数据，对某一时间段内，由n条数据记录组成的时间序列数据 (t _i , y _i ), i =1, 2, 3, ..., n，即由n条数据记录组成的时间序列数据集 (t _i , y _i ), i = 1, 2, 3,..., n，其中，t _i 表示第i个时刻对应的时间，且序列{t _i }为等差数列；y _i 表示第i个时刻对应的传感器所采集到的监测值；

步骤2，数据前处理：在采集到的数据集y _i , i = 1, 2, 3 ... n中，计算最大数值y _max = max(y ₁, y ₂, y _3,…y _n)和最小数值y _min = min(y ₁, y ₂, y _3,…y _n)，其中，max表示取最 大值函数，min表示取最小值函数；并构造新的数据集

, i = 1, 2, 3 ... n；

步骤3，识别和删除异常数据：对数据集(x _i , y _i ), i = 1, 2, 3, ..., n，以x _i 和y _i 分别作为直角坐标系Y-X的横轴坐标和纵轴坐标,识别数据集(x _i , y _i ), i = 1, 2, 3,..., n中的毛刺点并将其删除；

步骤4，还原数据系统：利用步骤3所得到的毛刺点序号，将时间序列数据(t _i , y _i ),i = 1, 2, 3, ..., n中的毛刺点采用抛物线插值的方法，以新计算的插值结果替换原始的毛刺监测值。

优选的，在上述的施工监测异常采集数据自动识别与处理的方法中，在步骤3中， 对于任意相邻的3个数据点(x _i-1, y _i-1)、(x _i , y _i )和(x _i+1, y _i+1), i = 2, 3,4,…, n-1，分 别记为P _i-1 、P _i 和P _i+1，并将该三点依次直线段连接, 设直线段P _i P _i+1与P _i-1P _i 的延长线所构成 的夹角为

,计算直线段P _i P _i+1与P _i-1P _i 的延长线所构成的夹角

，若直线段P _i P _i+1与P _i-1P _i 的延长线所构成的夹角

的计算结果绝对值大于设定的阈值，那么判定P _i 点为毛刺点；对i = 2, 3,4,…, n-1，分别求解

，便可识别出m ₁个毛刺点，同时记录这m ₁个毛刺点序号S ₁={s ₁, s ₂, s ₃, …, s _m1}；随后，从点集{(x _i , y _i )|i = 1, 2, 3, ..., n}中删除

的数据点；以剩余的点集

，作为搜索毛 刺点的对象数据，进行新一轮的毛刺点搜索、毛刺点序号记录以及毛刺点删除过程，直到新 一轮的毛刺点识别数为0为止。

优选的，在上述的施工监测异常采集数据自动识别与处理的方法中，在步骤3中， 通过如下方法计算直线段P _i P _i+1与P _i-1P _i 的延长线所构成的夹角

：

以复数表示P _i-1、P _i 和P _i+1，分别用复数

，

和

表示P _i-1点、P _i 点和P _i+1点；

利用如下公式计算夹角

：

；其中，

为圆周率；sign为符号函数，

；arcsin和arccos分别表示反正弦函 数和反余弦函数；Im和Re分别表示取复数虚部和实部函数；z为复数，具有表达式

，式中，

表示复数的取模运算。

优选的，在上述的施工监测异常采集数据自动识别与处理的方法中，在步骤4中，利用毛刺点相邻的3个近非毛刺点数据作为插值节点数据，进行插值计算。

由以上公开的技术方案可知，与现有技术相比，本发明的有益效果如下：

本发明提供的一种施工监测异常采集数据自动识别与处理的方法，对土建施工领域内所使用的传感器采集的时间序列数据，如温度、应变、位移、加速度等，依次进行时间序列数据的数据收集、时间序列数据的数据前处理、时间序列数据中毛刺点的识别和删除，以及还原数据系统，对其进行光滑处理，使得监测采集的数据更准确、真实、客观。

附图说明

图1 是数据集(x _i , y _i )形成的直角坐标系Y-X的示意图。

图2 是数据集(x _i , y _i )中任意三点P _i-1 、P _i 和P _i+1依次直线段连接后P _i P _i+1与P _i-1P _i 的 延长线所构成的夹角

的示意图。

图3 是底板浇筑后传感器采集的时间序列数据片段处理后的效果图。

图中：1-毛刺点、2-光滑曲线。

具体实施方式

以下结合附图和具体实施例对本发明作进一步详细说明。以下将由所列举之实施例结合附图，详细说明本发明的技术内容及特征。需另外说明的是，附图均采用非常简化的形式且均使用非精准的比例，仅用以方便、明晰地辅助说明本发明实施例的目的。为叙述方便，下文中所述的“上”、“下”与附图的上、下的方向一致，但这不能成为本发明技术方案的限制。

请参阅图1至图3，本实施例公开了一种施工监测异常采集数据自动识别与处理的方法，本实施例中，该方法用于建筑工地大体积混凝土浇筑内部温度的测量数据处理。目前采用伸入混凝土内部的传感器进行大体积混凝土温度监控，由于混凝土在凝固过程中，水泥与水发生化学放热反应，释放的热量在混凝土内部分布不均匀，导致了温度梯度，而温度梯度会引起混凝土应力，导致混凝土开裂。因此，需要监测混凝土内部温度，计算其温度梯度，以检查温度梯度是否满足国家规范要求。但是由于传感器触头埋在混凝土里面，其受到施工振捣棒振动，或者其它干扰，导致监测到的数据有时出现瑕疵，因此，需要把这些瑕疵数据剔除，通常采用人工通过excel画图手动剔除，但是效率低下，本发明提供了一种施工监测异常采集数据自动识别与处理的方法，能够自动识别不好的数据，并补上合适的数据，以便快速准确地计算其温度梯度，提高混凝土浇筑质量。

该一种施工监测异常采集数据自动识别与处理的方法包括如下步骤：

步骤1，数据收集：从施工监测传感器采集的数据库或数据管理平台或其它数据文件中提取监测数据，对某一时间段内，由n条数据记录组成的时间序列数据(t _i , y _i ), i =1, 2, 3, ..., n，其中，t _i 表示第i个时刻对应的时间，且序列{t _i }为等差数列；y _i 表示第i个时刻对应的传感器所采集到的监测值；

步骤2，数据前处理：在采集到的数据集y _i , i = 1, 2, 3 ... n中，计算最大数值y _max = max(y ₁, y ₂, y _3,…y _n)和最小数值y _min = min(y ₁, y ₂, y _3,…y _n)，其中，max表示取最 大值函数，min表示取最小值函数；并构造新的数据集

, i = 1, 2, 3 ... n；

步骤3，识别和删除异常数据：对数据集(x _i , y _i ), i = 1, 2, 3, ..., n，以x _i 和y _i 分别作为直角坐标系Y-X的横轴坐标和纵轴坐标,识别数据集(x _i , y _i ), i = 1, 2, 3,..., n中的毛刺点并将其删除；

步骤4，还原数据系统：利用步骤3所得到的毛刺点序号，将时间序列数据(t _i , y _i ),i = 1, 2, 3, ..., n中的毛刺点采用抛物线插值的方法，以新计算的插值结果替换原始的毛刺监测值。

本发明提供的一种施工监测异常采集数据自动识别与处理的方法，对土建施工领域内所使用的传感器采集的时间序列数据，如温度、应变、位移、加速度等，依次进行时间序列数据的数据收集、时间序列数据的数据前处理、时间序列数据中毛刺点的识别和删除，以及还原数据系统，对其进行光滑处理，使得监测采集的数据更准确、真实、客观。

优选的，在上述的施工监测异常采集数据自动识别与处理的方法中，在步骤3中， 对于任意相邻的3个数据点(x _i-1, y _i-1)、(x _i , y _i )和(x _i+1, y _i+1), i = 2, 3,4,…, n-1，分 别记为P _i-1 、P _i 和P _i+1，并将该三点依次直线段连接, 设直线段P _i P _i+1与P _i-1P _i 的延长线所构成 的夹角为

,计算直线段P _i P _i+1与P _i-1P _i 的延长线所构成的夹角

，若直线段P _i P _i+1与P _i-1P _i 的延长线所构成的夹角

的计算结果绝对值大于设定的阈值，那么判定P _i 点为毛刺点；对i = 2, 3,4,…, n-1，分别求解

，便可识别出m ₁个毛刺点，同时记录这m ₁个毛刺点序号S ₁= {s ₁, s ₂, s ₃, …, s _m1}；随后，从点集{(x _i , y _i ) | i = 1, 2, 3, ..., n}中删除

的数据点；以剩余的点集

，作为搜索毛刺点的对象数据，进行新一轮的毛刺点搜索、毛刺点序号记录以及毛刺点删除 过程，直到新一轮的毛刺点识别数为0为止。采用上述方法，异常采集数据自动识别所需的 计算时间较少，而且计算结果更为准确可靠，使得异常采集数据自动识别更加精准。

优选的，在上述的施工监测异常采集数据自动识别与处理的方法中，在步骤3中， 通过如下方法计算直线段P _i P _i+1与P _i-1P _i 的延长线所构成的夹角

：

以复数表示P _i-1、P _i 和P _i+1，分别用复数

，

和

表示P _i-1点、P _i 点和P _i+1点；

利用如下公式计算夹角

：

；其中，

为圆周率；sign为符号函数，

；arcsin和arccos分别表示反正弦函 数和反余弦函数；Im和Re分别表示取复数虚部和实部函数；z为复数，具有表达式

，式中，

表示复数的取模运算。

优选的，在上述的施工监测异常采集数据自动识别与处理的方法中，在步骤4中，利用毛刺点相邻的3个近非毛刺点数据作为插值节点数据，进行插值计算。

本实施例中，图3是传感器采集的时间序列数据片段，横坐标为时间，纵坐标为混凝土大底板浇注后，其内部的温度监测值。可见监测数据含有大量的毛刺点1，经过本发明的施工监测异常采集数据自动识别与处理的方法处理之后，得到了光滑曲线2，较为客观地还原了真实监测结果，提高数据监测的准确性。

上述描述仅是对本发明较佳实施例的描述，并非对本发明范围的任何限定，本发明领域的普通技术人员根据上述揭示内容做的任何变更、修饰，均属于权利要求书的保护范围。

Claims (2)

1.一种施工监测异常采集数据自动识别与处理的方法，其特征在于，包括如下步骤：

步骤1，数据收集：从施工监测传感器采集的数据库或数据管理平台或其它数据文件中提取监测数据，对某一时间段内，由n条数据记录组成的时间序列(t _i , y _i ), i = 1, 2, 3,..., n，其中，t _i 表示第i个时刻对应的时间，且序列{t _i }为等差数列；y _i 表示第i个时刻对应的传感器所采集到的监测值；

步骤2，数据前处理：在采集到的数据集y _i , i = 1, 2, 3 ... n中，计算最大数值y _max = max(y ₁, y ₂, y _3,…y _n)和最小数值y _min = min(y ₁, y ₂, y _3,…y _n)，其中，max表示取最大值函 数，min表示取最小值函数；并构造新的数据集

， i = 1, 2, 3 ... n；

步骤3，识别和删除异常数据：对数据集(x _i , y _i ), i = 1, 2, 3, ..., n，以x _i 和y _i 分别作为直角坐标系Y-X的横轴坐标和纵轴坐标,识别数据集(x _i , y _i ), i = 1, 2, 3, ..., n中的毛刺点并将其删除；

步骤4，还原数据系统：利用步骤3所得到的毛刺点序号，将时间序列(t _i , y _i ), i = 1,2, 3, ..., n中的毛刺点采用抛物线插值的方法，以新计算的插值结果替换原始的毛刺监测值；

在步骤3中，对于任意相邻的3个数据点(x _i-1, y _i-1)、(x _i , y _i )和(x _i+1, y _i+1), i = 2, 3,4,…, n-1，分别记为P _i-1 、P _i 和P _i+1，并将该三点依次直线段连接, 设直线段P _i P _i+1与P _i-1P _i 的延长线所构成的夹角为

,计算直线段P _i P _i+1与P _i-1P _i 的延长线所构成的夹角

，若直线 段P _i P _i+1与P _i-1P _i 的延长线所构成的夹角

的计算结果绝对值大于设定的阈值，那么判定P _i 点为毛刺点；对i = 2, 3,4,…, n-1，分别求解

，便可识别出m ₁个毛刺点，同时记录这m ₁ 个毛刺点序号S ₁={s ₁, s ₂, s ₃, …, s _m1}；随后，从点集{(x _i , y _i ) | i = 1, 2, 3, ..., n}中 删除

的数据点；以剩余的点集

， 作为搜索毛刺点的对象数据，进行新一轮的毛刺点搜索、毛刺点序号记录以及毛刺点删除 过程，直到新一轮的毛刺点识别数为0为止；

在步骤3中，通过如下方法计算直线段P _i P _i+1与P _i-1P _i 的延长线所构成的夹角

：

以复数表示P _i-1、P _i 和P _i+1，分别用复数

，

和

表示P _i-1 点、P _i 点和P _i+1点；

利用如下公式计算夹角

：

；其中，

为圆周率； sign为符号函数，

；arcsin和arccos分别表示反正弦函数和反余弦函数； Im和Re分别表示取复数虚部和实部函数；z为复数，具有表达式

，式中，表示 复数的取模运算。

2.如权利要求1所述的施工监测异常采集数据自动识别与处理的方法，其特征在于，在步骤4中，利用毛刺点相邻的3个近非毛刺点数据作为插值节点数据，进行插值计算。

Images