CN113761048A - 地质灾害异常数据可视化处理方法及系统 - Google Patents

Abstract

本发明涉及地质灾害预警领域，公开一种地质灾害异常数据可视化处理方法及系统，以兼顾异常数据筛选的查全率和查准率，为灾害预测的可靠性和精确性垫定基础。方法包括：获取地质灾害监测数据序列及检测模式；当用户当前所配置的检测模式为模式一时，基于一阶差分异常检测法筛选出地质灾害监测数据序列中的异常数据；当用户当前所配置的检测法为模式二时，基于高斯混合聚类异常检测法筛选出地质灾害监测数据序列中的异常数据；当用户当前所配置的检测法为模式三时，将基于一阶差分异常检测法的筛选结果与基于高斯混合聚类异常检测法所得的结果取并集处理；然后在可视化图示中，根据相对应检测模式所得的筛选结果标记出各个异常数据。

Description

地质灾害异常数据可视化处理方法及系统

技术领域

本发明涉及地质灾害预警技术领域，尤其涉及一种地质灾害异常数据可视化处理方法及系统。

背景技术

我国地域广大，地势复杂，地质灾害频繁。地质灾害发生的主要原因包括自然变迁和人为破坏，主要灾害形态包括滑坡，坍塌，泥石流等，为我国社会经济和人民财产安全带来巨大损失。

目前的地质灾害检测工作大多已经使用了各种采集仪器，依据采集到的地质灾害监测数据采用人工预判和阈值判断的方式对地质灾害进行预警。但现有的地质灾害监测数据的采集存储过程中，不可避免地会出现异常数据或噪声，且在实际作业中，地质环境复杂，有多种因素都会影响到最终的数据。随着地质灾害监测数据量的上升，工作人员需要从繁杂的数据中提取出有用的信息，如何帮助工作人员分辨采集数据中的异常是正常的设备产生的数据波动还是地质环境发生了变化，成为亟待解决的问题。

发明内容

本发明主要目的在于公开一种地质灾害异常数据可视化处理方法及系统，以兼顾异常数据筛选的查全率和查准率，为灾害预测的可靠性和精确性垫定基础。

为达上述目的，本发明公开一种地质灾害异常数据可视化处理方法，包括：

获取任一传感器按时序排列的地质灾害监测数据序列及用户当前所配置的检测模式；

当用户当前所配置的检测模式为模式一时，基于一阶差分异常检测法分别筛选出所述地质灾害监测数据序列中的散点偏离异常数据、单个跳变异常数据、连续跳变异常数据和累积跳变异常数据；

当用户当前所配置的检测法为模式二时，基于高斯混合聚类异常检测法分别筛选出所述地质灾害监测数据序列中的散点偏离异常数据、单个跳变异常数据和连续跳变异常数据；

当用户当前所配置的检测法为模式三时，将基于一阶差分异常检测法的筛选结果与基于高斯混合聚类异常检测法所得的结果取并集处理；

在横坐标为时间且纵坐标为监测数据值的可视化图示中，根据相对应检测模式所得的筛选结果标记出各个异常数据；

其中，基于一阶差分异常检测法分别筛选出所述地质灾害监测数据序列中的散点偏离异常数据、单个跳变异常数据和连续跳变异常数据的算法为：

定义t时刻的数据为

，t-1为t时刻的上一个时刻，t-1时刻的数据为

，t-k时刻 的数据为

，

为步长为1的一阶差分

，

为步长为k的一阶差分

； 然后将步长为1的一阶差分异常记录为单个跳变异常；将连续两个步长为1的一阶差分均异 常，且相加后在平均值加减一倍标准差之内的数据记录为散点偏离异常；将连续三个步长 为1的一阶差分异常记录为连续跳变异常；将步长为3的一阶差分异常记录为累积跳变异 常；

其中，基于高斯混合聚类异常检测法分别筛选所述地质灾害监测数据序列中的散点偏离异常数据、单个跳变异常数据和连续跳变异常数据的算法为：

对于每一个时刻t计算

，生成列表并以二维图像表示，然后 对生成的二维图像做GMM（Gaussian Mixture Model，高斯混合模型）聚类，生成4个类并分 别给予标签0，1，2，3；标签0代表对应的数据点与后一个数据的后差分和该对应的数据点与 前一个数据的前差分在设定的接近原点的阈值范围内，标签1代表对应的数据点的后差分 大于前差分并处在设定的靠近横轴的阈值范围内，标签2代表对应的数据点的前差分大于 后差分并处在设定的靠近纵轴的阈值范围内，标签3代表对应的数据点的前差分和后差分 都处在设定的靠近横轴或纵轴的阈值范围外；以及

将标签为0的数据视为正常数据，标签为1或2的数据视为一级异常，标签为3的数据视为二级异常；当两个连续点的标签组合的前后顺序分别为标签1和标签2时，判断为单个跳变异常；当三个点连续依次为标签1、标签3和标签2的组合时，判断为散点偏离异常；当三个以上点连续为标签3时，判断为连续跳变异常。

优选地，在标记出各个异常数据的同时，以第一颜色标记基于一阶差分异常检测法筛选出的散点偏离异常数据、以第二颜色标记基于一阶差分异常检测法筛选出的单个跳变异常数据、以第三颜色标记基于一阶差分异常检测法筛选出的连续跳变异常数据、以第四颜色标记基于一阶差分异常检测法筛选出的累积跳变异常数据、以第五颜色标记基于高斯混合聚类异常检测法筛选出的散点偏离异常数据、以第六颜色标记基于高斯混合聚类异常检测法筛选出的单个跳变异常数据、以及以第七颜色标记基于高斯混合聚类异常检测法筛选出的连续跳变异常数据。

优选地，本实施例方法还进一步包括：在显示所述可视化图示后，获取用户配置的检索请求，所述检索请求包括监测模式和异常数据类型，然后在所述可视化图示中过滤掉其他类型的异常数据。

优选地，基于一阶差分异常检测法分别筛选出所述地质灾害监测数据序列中的散点偏离异常数据、单个跳变异常数据、连续跳变异常数据和累积跳变异常数据的过程中，还包括：

计算差值的平均值和标准差，将分布在平均值加减一倍标准差之外的数据设为一级异常数据；将分布在平均值加减二倍标准差之外的数据设为二级异常数据；将分布在平均值加减三倍标准差之外的数据设为三级异常数据；并根据用户所配置的异常数据分级信息筛选出所述地质灾害监测数据序列中的散点偏离异常数据、单个跳变异常数据、连续跳变异常数据和累积跳变异常数据。

优选地，本发明方法还包括：在同一所述可视化图示中，合并显示至少两个不同传感器的异常数据筛选结果。

为达上述目的，本发明还公开一种地质灾害异常数据可视化处理系统，包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述方法的步骤。

本发明具有以下有益效果：

一方面，便于用户根据不同需求配置不同的检测模式，操作灵活便捷。另一方面，由于四种故障类型之间可以形成互补、两种检测法之间也可以形成互补，因此，多层次的互补关系能确保了异常数据筛选的查全率和查准率；由于地质灾害的预测主要基于对异常数据的捕捉和分辨能力，从而使得本发明的数据筛选也为后续灾害预测的可靠性和精确性垫定了基础。

下面将参照附图，对本发明作进一步详细的说明。

附图说明

构成本申请的一部分的附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1是本发明实施例公开的基于一阶差分异常检测法所对应的单个跳变异常示意图。

图2是本发明实施例公开的基于一阶差分异常检测法所对应的散点偏离异常示意图。

图3是本发明实施例公开的基于一阶差分异常检测法所对应的连续跳变异常示意图。

图4是本发明实施例公开的基于一阶差分异常检测法所对应的累积跳变异常示意图。

图5是基于高斯混合聚类异常检测法所对应的二维图像示意图。

图6是基于高斯混合聚类异常检测法所对应的分类结果示意图。

图7是基于高斯混合聚类异常检测法所对应的单个跳变异常示意图。

图8是基于高斯混合聚类异常检测法所对应的散点偏离异常示意图。

图9是基于高斯混合聚类异常检测法所对应的连续跳变异常示意图。

图10是基于高斯混合聚类异常检测法所对应的累积跳变异常示意图。

图11是同一可视化图示中合并显示两个不同传感器异常数据筛选结果的示意图。

图12是本发明实施例的基于K阶差分异常检测法与基于高斯混合聚类异常检测法的互补关系示意图。

具体实施方式

以下结合附图对本发明的实施例进行详细说明，但是本发明可以由权利要求限定和覆盖的多种不同方式实施。

实施例1

本实施例公开一种地质灾害异常数据可视化处理方法，具体包括以下步骤。

步骤S1、获取任一传感器按时序排列的地质灾害监测数据序列及用户当前所配置的检测模式。

在该步骤中，该传感器可以是用于采集包括水平位移、深度位移、沉降、倾斜、裂缝或应力应变等地质灾害监测数据中的任意一种。

优选地，在该步骤之前，可对监测数据执行下述预处理，以从时间和数值两个方面筛选不在采集时间范围内的和不在正常测量范围内的数据：

1、对数据进行空值异常检测。例如：以时间步的三倍为阈值，超过该阈值的，视为空值异常。

2、对数据进行数据重传异常检测。例如：对于精确到秒的同样的时刻，有两条数据的，视为数据重传异常。

3、对数据中的空缺值进行处理。分两种情况，对于正常情况下波动很小的平稳数据，可选择使用前一个时刻的值补全空缺值、使用后一个时刻的值补全空缺值或使用平均数补全空缺值；对于正常情况下有一定规律性波动的数据，选择使用一次样条插值、二次样条插值、三次样条插值或一维平滑样条拟合补充空缺值。

4、对数据做平滑处理，以尽量抵消设备数据采集的正常波动，避免对异常判断造成干扰。例如：可使用Savitzky-Golay平滑。

5、对数据做标准化时间序列，将不规整的时间四舍五入为10分钟整，例如，将时间00:21:05标准化为00:20:00，相当于对数据在时间维度上做了平移处理，最大限度保留原始数据。

本实施例中，用户当前所配置的检测模式包括以下三种：

步骤S21、当用户当前所配置的检测模式为模式一时，基于一阶差分异常检测法分别筛选出所述地质灾害监测数据序列中的散点偏离异常数据、单个跳变异常数据、连续跳变异常数据和累积跳变异常数据。

在该步骤中，基于一阶差分异常检测法分别筛选出所述地质灾害监测数据序列中的散点偏离异常数据、单个跳变异常数据和连续跳变异常数据的算法为：

定义t时刻的数据为

，t-1为t时刻的上一个时刻，t-1时刻的数据为

，t-k时刻 的数据为

，

为步长为1的一阶差分

，

为步长为k的一阶差分

； 然后将步长为1的一阶差分异常记录为单个跳变异常；将连续两个步长为1的一阶差分均异 常，且相加后在平均值加减一倍标准差之内的数据记录为散点偏离异常；将连续三个步长 为1的一阶差分异常记录为连续跳变异常；将步长为3的一阶差分异常记录为累积跳变异 常。具体可参照：

如图1中点3所示，将步长为1的一阶差分异常记录为单个跳变异常。

检测散点偏离异常，如图2中点3所示，将连续两个步长为1的一阶差分均异常，且相加后在平均值加减一倍标准差之内的数据记录为散点偏离异常。该异常表示偶尔偏离正常数据范围后又迅速跳回的数据点。

如图3中点4、5、6、7、8所示，将连续三个步长为1的一阶差分异常记录为连续跳变异常。

检测累积跳变异常，将步长为3的一阶差分异常记录为累积跳变异常。主要用于检测逐渐上升或者逐渐下降的跳变，避免因为上升或者下降的速度不快造成漏检。如图4中点3，4，5，6，7，8所示，点3，4，5的增长若只独立计算各自的增长值，是无法直接分辨出这种异常的，但计算点2和点5之间的差值，就能明显的检测到数值的增长。

在该步骤中，进一步地，可通过计算差值的平均值和标准差，将分布在平均值加减一倍标准差之外的数据设为一级异常数据；将分布在平均值加减二倍标准差之外的数据设为二级异常数据；将分布在平均值加减三倍标准差之外的数据设为三级异常数据；进而根据用户所配置的异常数据分级信息筛选出所述地质灾害监测数据序列中的散点偏离异常数据、单个跳变异常数据、连续跳变异常数据和累积跳变异常数据。

步骤S22、当用户当前所配置的检测法为模式二时，基于高斯混合聚类异常检测法分别筛选出所述地质灾害监测数据序列中的散点偏离异常数据、单个跳变异常数据和连续跳变异常数据。

在该步骤中，基于高斯混合聚类异常检测法分别筛选所述地质灾害监测数据序列中的散点偏离异常数据、单个跳变异常数据和连续跳变异常数据的算法为：

对于每一个时刻t计算

，生成列表并以如图5所示的二维图 像表示，然后对生成的二维图像做GMM聚类，生成如图6所示的4个类并分别给予标签0，1，2， 3；标签0代表对应的数据点与后一个数据的后差分和该对应的数据点与前一个数据的前差 分在设定的接近原点的阈值范围内，标签1代表对应的数据点的后差分大于前差分并处在 设定的靠近横轴的阈值范围内，标签2代表对应的数据点的前差分大于后差分并处在设定 的靠近纵轴的阈值范围内，标签3代表对应的数据点的前差分和后差分都处在设定的靠近 横轴或纵轴的阈值范围外；以及将标签为0的数据视为正常数据，标签为1或2的数据视为一 级异常，标签为3的数据视为二级异常；当两个连续点的标签组合的前后顺序分别为标签1 和标签2时，判断为单个跳变异常；当三个点连续依次为标签1、标签3和标签2的组合时，判 断为散点偏离异常；当三个以上点连续为标签3时，判断为连续跳变异常。

其中，高斯混合模型（Gaussian Mixed Model，GMM）指的是多个高斯分布函数的线性组合，理论上GMM可以拟合出任意类型的分布，通常用于解决同一集合下的数据包含多个不同的分布的情况（或者是同一类分布但参数不一样，或者是不同类型的分布，比如正态分布和伯努利分布）。

关于基于高斯混合聚类异常检测法的异常数据类型示例如下：

对于单个跳变异常，如图7所示，点2为标签1，点3为标签2，当两个点连续为标签1和标签2时，判断为单个跳变异常。

对于散点偏离异常，如图8所示，点2为标签1，点3为标签3，点4为标签2，当三个点连续为标签1，标签3和标签2时，判断为散点偏离异常。

对于连续跳变异常，如图9所示，点3，4，5，6，7，8的标签分别为1，3，3，3，3，2，当三个及以上点连续为标签3时，判断为连续跳变异常。

对于累积跳变异常，如图10所示，点2，3，4，5，6，7，8的标签可能为1，3，3，3，3，3，2，也可能均为1，当三个及以上点连续为标签3时，判断为累积跳变异常。

在本实施例中，独创性地通过连续采样点聚类标签之间变化来映射对应的异常数据，其经过大量实验可得：其所识别的异常数据可以与前述基于补偿和标准差形成良好的互补关系。

步骤S23、当用户当前所配置的检测法为模式三时，将基于一阶差分异常检测法的筛选结果与基于高斯混合聚类异常检测法所得的结果取并集处理。

步骤S3、在横坐标为时间且纵坐标为监测数据值的可视化图示中，根据相对应检测模式所得的筛选结果标记出各个异常数据。

在该步骤中，优选地，在标记出各个异常数据的同时，以第一颜色标记基于一阶差分异常检测法筛选出的散点偏离异常数据、以第二颜色标记基于一阶差分异常检测法筛选出的单个跳变异常数据、以第三颜色标记基于一阶差分异常检测法筛选出的连续跳变异常数据、以第四颜色标记基于一阶差分异常检测法筛选出的累积跳变异常数据、以第五颜色标记基于高斯混合聚类异常检测法筛选出的散点偏离异常数据、以第六颜色标记基于高斯混合聚类异常检测法筛选出的单个跳变异常数据、以及以第七颜色标记基于高斯混合聚类异常检测法筛选出的连续跳变异常数据。

优选地，本实施例方法还进一步包括：

步骤S4、在显示所述可视化图示后，获取用户配置的检索请求，所述检索请求包括监测模式和异常数据类型，然后在所述可视化图示中过滤掉其他类型异常数据的标记信息。

综上，本实施例中，步长为k的一阶差分异常检测法和基于高斯混合聚类的异常检测法由于确定阈值的方式不同，检测出的异常并不完全等同，存在一种可检测出异常，而另外一种检测不出的情况，因此两种方法是互补的关系。当用户所配置的检测模式为模式三时，两种方法检测出的异常均会显示便于工作人员查看。又例如：在基于高斯混合聚类异常检测法，由于累计跳变异常和连续跳变异常的标签组合表现存在大部分的等同，可将累计跳变异常视为一种下位的连续跳变异常，基于该两种数据异常不便于区分，可通过上述基于一阶差分异常检测法来形成互补。

优选地，如图11所示，本实施例方法还在同一所述可视化图示中，合并显示至少两个不同传感器的异常数据筛选结果。

值得说明的是，本实施例的上述基于一阶差分异常检测法，还可以被替换为二阶或三阶。例如，当一阶为位移速度时，对应的二阶则为加速度，此种变形属于本领域技术人员基于本发明其实所能容易想到的变形，不做赘述。即，本实施例上述的一阶差分异常检测法可扩展为K（K具体为大于或等于2的正整数）阶差分异常检测法。藉此，本发明方法所对应的思维导图可对应表示为图12。

实施例2

与上述实施例相对应的，本实施例公开一种地质灾害异常数据可视化处理系统，包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，其中，所述处理器执行所述计算机程序时实现上述方法实施例相对应的步骤。

综上，本发明实施例公开的地质灾害异常数据可视化处理方法及系统，至少具有以下有益效果：

一方面，便于用户根据不同需求配置不同的检测模式，操作灵活便捷。另一方面，由于四种故障类型之间可以形成互补、两种检测法之间也可以形成互补，因此，多层次的互补关系能确保了异常数据筛选的查全率和查准率；由于地质灾害的预测主要基于对异常数据的捕捉和分辨能力，从而使得本发明的数据筛选也为后续灾害预测的可靠性和精确性垫定了基础。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (7)

1.一种地质灾害异常数据可视化处理方法，其特征在于，包括：

获取任一传感器按时序排列的地质灾害监测数据序列及用户当前所配置的检测模式；

当用户当前所配置的检测模式为模式一时，基于一阶差分异常检测法分别筛选出所述地质灾害监测数据序列中的散点偏离异常数据、单个跳变异常数据、连续跳变异常数据和累积跳变异常数据；

当用户当前所配置的检测法为模式二时，基于高斯混合聚类异常检测法分别筛选出所述地质灾害监测数据序列中的散点偏离异常数据、单个跳变异常数据和连续跳变异常数据；

当用户当前所配置的检测法为模式三时，将基于一阶差分异常检测法的筛选结果与基于高斯混合聚类异常检测法所得的结果取并集处理；

在横坐标为时间且纵坐标为监测数据值的可视化图示中，根据相对应检测模式所得的筛选结果标记出各个异常数据；

其中，基于一阶差分异常检测法分别筛选出所述地质灾害监测数据序列中的散点偏离异常数据、单个跳变异常数据和连续跳变异常数据的算法为：

定义t时刻的数据为

，t-1为t时刻的上一个时刻，t-1时刻的数据为

，t-k时刻的数 据为

，

为步长为1的一阶差分

，

为步长为k的一阶差分

；然后 将步长为1的一阶差分异常记录为单个跳变异常；将连续两个步长为1的一阶差分均异常， 且相加后在平均值加减一倍标准差之内的数据记录为散点偏离异常；将连续三个步长为1 的一阶差分异常记录为连续跳变异常；将步长为3的一阶差分异常记录为累积跳变异常；

其中，基于高斯混合聚类异常检测法分别筛选所述地质灾害监测数据序列中的散点偏离异常数据、单个跳变异常数据和连续跳变异常数据的算法为：

对于每一个时刻t计算

，生成列表并以二维图像表示，然后对生 成的二维图像做GMM聚类，生成4个类并分别给予标签0，1，2，3；标签0代表对应的数据点与 后一个数据的后差分和该对应的数据点与前一个数据的前差分在设定的接近原点的阈值 范围内，标签1代表对应的数据点的后差分大于前差分并处在设定的靠近横轴的阈值范围 内，标签2代表对应的数据点的前差分大于后差分并处在设定的靠近纵轴的阈值范围内，标 签3代表对应的数据点的前差分和后差分都处在设定的靠近横轴或纵轴的阈值范围外；以 及

将标签为0的数据视为正常数据，标签为1或2的数据视为一级异常，标签为3的数据视为二级异常；当两个连续点的标签组合的前后顺序分别为标签1和标签2时，判断为单个跳变异常；当三个点连续依次为标签1、标签3和标签2的组合时，判断为散点偏离异常；当三个以上点连续为标签3时，判断为连续跳变异常。

2.根据权利要求1所述的方法，其特征在于，在标记出各个异常数据的同时，以第一颜色标记基于一阶差分异常检测法筛选出的散点偏离异常数据、以第二颜色标记基于一阶差分异常检测法筛选出的单个跳变异常数据、以第三颜色标记基于一阶差分异常检测法筛选出的连续跳变异常数据、以第四颜色标记基于一阶差分异常检测法筛选出的累积跳变异常数据、以第五颜色标记基于高斯混合聚类异常检测法筛选出的散点偏离异常数据、以第六颜色标记基于高斯混合聚类异常检测法筛选出的单个跳变异常数据、以及以第七颜色标记基于高斯混合聚类异常检测法筛选出的连续跳变异常数据。

3.根据权利要求2所述的方法，其特征在于，还包括：

在显示所述可视化图示后，获取用户配置的检索请求，所述检索请求包括监测模式和异常数据类型，然后在所述可视化图示过滤掉其他类型异常数据的标记信息。

4.根据权利要求1、2或3所述的方法，其特征在于，基于一阶差分异常检测法分别筛选出所述地质灾害监测数据序列中的散点偏离异常数据、单个跳变异常数据、连续跳变异常数据和累积跳变异常数据的过程中，还包括：

计算差值的平均值和标准差，将分布在平均值加减一倍标准差之外的数据设为一级异常数据；将分布在平均值加减二倍标准差之外的数据设为二级异常数据；将分布在平均值加减三倍标准差之外的数据设为三级异常数据；并根据用户所配置的异常数据分级信息筛选出所述地质灾害监测数据序列中的散点偏离异常数据、单个跳变异常数据、连续跳变异常数据和累积跳变异常数据。

5.根据权利要求4所述的方法，其特征在于，还包括：

在同一所述可视化图示中，合并显示至少两个不同传感器的异常数据筛选结果。

6.根据权利要求1所述的方法，其特征在于，所述一阶差分异常检测法被替换为K阶差分异常检测法，K为大于或等于2的正整数。

7.一种地质灾害异常数据可视化处理系统，包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现上述权利要求1至6中任一所述方法的步骤。

Images