CN108520267A - 一种基于时空特征的水文遥测数据异常检测方法 - Google Patents

Abstract

本发明公开一种基于时空特征的水文遥测数据异常检测方法，包括以下步骤：1）使用滑动窗口方法对水文遥测数据进行子序列划分，对每一组经过分割的子序列进行特征提取，并通过一定的算法将其组合成为一组可以进行静态方法聚类的二维点，使之降维成为可以进行聚类的静态数据。2）将K‑means方法拓展到三维空间中对水文遥测数据进行聚类。3）计算所有水文遥测数据聚类之间的关联关系，作为判断水文遥测数据是否出现异常的依据。4）依据各站之间的关联矩阵，以及在同一时间段内水文遥测数据子序列所属的聚类，判断某个测站水文遥测数据子序列是否出现异常。

Description

一种基于时空特征的水文遥测数据异常检测方法

技术领域

本发明涉及一种基于时空特征的水文遥测数据异常检测方法，具体是利用数 据挖掘技术，通过将水文遥测数据具有的时间序列特征和空间分布特征进行深度 融合，来实现水文遥测数据的自动化异常检测，属于数据挖掘领域。

背景技术

随着水文遥测技术的不断发展和广泛应用，水文遥测系统已成为获取水文数 据最主要的手段。

与传统的人工水文观测手段相比，水文遥测系统具有采集频率高(目前，绝 大部分遥测系统为5分钟采集1次)、采集点密集(每个省都有数千个采集点)、 自动化程度高等特点。但由于受遥测系统自身、数据通信与网络，以及采集点附 近的自然环境、水利工程运行、航行等因素的影响，经常会导致所采集的数据出 现异常的问题，严重影响了数据的质量，给水安全、水资源高效利用等业务带来 很大的麻烦。

由于水文遥测数据量大，依靠人工手段进行异常检测基本上是不可能完成的 任务。为此，国内外学者开展了大量的研究，试图通过各种方法，对水文遥测数 据的异常进行自动的检测。主要方法包括：

①基于极值的方法

该类方法首先通过分析某个水文测站的历史数据，设定某个时间段内出现的 极大极小值，然后通过判断所采集的水文遥测数据是否在对应时段的极值范围内 来确定是否出现异常。该方法实现简单，但精确度不够，主要原因有二个，一是 超历史极值的情况时有发生，以此判断是否异常不够合理；二是极值范围一般较 大，极值范围内的异常不能正确识别。

②基于函数拟合的方法

该类方法首先通过分析某个水文测站的历史数据，找到与其最接近的拟合函 数，然后通过判断拟合函数得到的预测值与实测值之间的差值是否在阈值范围内 来确定是否出现异常。该方法适用于水文变化规律性很强的测站，即能够找到拟 合函数，实际中有大量的测站是找不到贴切的拟合函数的，所以，该方法的普适 性较差。

③基于时间序列的方法

该类方法充分利用水文遥测数据具有的时间序列特征，判断某个子序列与整 个序列间的偏差量来确定是否出现异常。该方法仅能判断出某个子序列出现异 常，不能精确判断是哪个数据出现异常，同时，由于自然和人为因素的改变，会 导致判断结果不正确。

④组合方法

由于单一的方法存在各种各样的问题，且很难解决，近期出现了一些同时使 用多种方法对水文遥测数据进行异常检测的尝试，但现有研究仅仅简单地通过加 权平均的方法对各种异常检测方法得到的结果进行合并，并没有真正地把各种方 法融合在一起。

综上所述，水文遥测数据的异常检测得到了越来越多的关注，但现有方法存 在着各种各样的局限性，如何充分利用水文遥测数据本身的特征，提供高效、精 确的异常检测方法，具有很高的实用价值。

发明内容

发明目的：针对现有水文遥测数据异常检测方法精确度低、适应性差等问题， 本发明提供了一种基于时空特征的水文遥测数据异常检测方法，充分利用水文遥 测数据具有的时间序列特征和空间相关特征，以提高水文遥测数据异常检测的准 确性，并可适用于各种水文遥测数据的各种异常类型的检测。

技术方案：一种基于时空特征的水文遥测数据异常检测方法，融合水文遥测 数据所具有的时间序列特征和空间关联特征，对其是否出现异常进行检测，包括 以下四个方面：

①基于滑动窗口方法的特征提取

②基于改进的K-means的特征数据聚类方法

③基于聚类的多站关联矩阵建立

④基于关联矩阵的异常检测

其中，前面3个方面完成多站时空关联矩阵的建立，为异常检测提供依据， 仅需在实际进行异常检测前做一次，以及在时空关联出现重大改变时，重新进行 计算，不需要在每次异常检测时重复计算；最后1个方面对每个需进行异常检测 的子序列都要执行。

(1)基于滑动窗口方法的特征提取

由于水文遥测数据比较复杂，无法直接使用聚类算法对其进行分析，为此， 使用滑动窗口方法对水文遥测数据进行子序列划分，对每一组经过分割的子序列 进行特征提取，并通过一定的算法将其组合成为一组可以进行静态方法聚类的二 维点。该方法能够在基本保持时序数据形态特征的同时，使之降维成为可以进行 聚类的静态数据。

基于滑动窗口方法的特征提取主要分为三个步骤，分别是子序列划分、特征 值提取、特征组合。

①子序列划分：利用滑动窗口方法对原始序列进行分割，得到等长的子序列， 如果分割过程中在最后无法保证子序列的等长性质，放弃最后小于窗口长度的数 个数据，这对于整个数万组数据的水文时序数据来说，并不会影响最后的检测结 果。滑动窗口大小取值为12(通过实验，比较不同窗口大小下的查全率、查准率 和误检率，获得的最佳结果)。

②特征值提取：计算每个子序列的特征，子序列的特征包括统计特征和结构 特征两个方面。因为水文遥测数据虽然是离散的水文现象在时间维度上的记录， 但其在时间维度上有一定的延续性，也就是说数据的跃迁情况会比较少，当均值 出现大幅度变化时，两个序列的特性就存在明显差异；方差用于表征数据集离散 的程度，两个波动程度差异很大的子序列显然不可能出现在同一个聚类中。所以 用子序列的均值和方差作为其统计特征。斜率用于表征数据起伏变化的快慢，两 个起伏变化差异很大的子序列显然不可能出现在同一个聚类中。所以，用斜率为 作为其结构特征。

均值计算公式：

其中，S_i为子序列中第i个水文遥测数据，m为子序列长度。

方差计算公式：

斜率计算公式：

③特征组合：把上述三个特征值组合成三维特征向量，以点的形式表征原子 序列。

(2)基于改进的K-means的特征数据聚类方法

将经典的K-means方法拓展到三维空间中对水文遥测数据进行聚类。

基于改进的K-means的特征数据聚类方法主要包括二个步骤，分别为确定K 值和数据聚类。

①确定K值：传统的K-means算法中，K值需要用户指定或遍历尝试来确 定，本发明引入AIC准则(Akaike information criterion)对数据集进行先验测试， 来确定K值。AIC通过衡量模型的复杂度和此模型拟合数据的匹配程度计算最 小值，得到相应的K值。

②数据聚类：采用上个步骤得到的K个子序列三维特征向量作为初始聚类 中心，对所有子序列三维特征向量进行K-means聚类操作。其中，距离计算采 用与三维特征向量对应的三维空间距离来表示。

(3)基于聚类的多站关联矩阵建立

计算所有水文遥测数据聚类之间的关联关系，作为判断水文遥测数据是否出 现异常的依据。

基于聚类的多站关联矩阵建立主要包括两个步骤，分别为任意两个水文遥测 数据聚类之间的关联矩阵的计算和关联矩阵有效性分析

①任意两个水文遥测数据聚类之间的关联矩阵的计算

两个水文遥测站A和B，其对应的聚类分别为(A1，A2，…，Am)和(B1， B2，…，Bn)，A与B数据序列聚类之间的关联矩阵记为ABmn，其中，m为 水文遥测站A的遥测数据聚类个数，n为水文遥测站B的遥测数据聚类个数。

ABij为A站水文遥测数据子序列属于Ai聚类时，与这些子序列相同时间段 的B站水文遥测数据子序列属于Bj聚类的概率，即对于每一个属于Ai聚类的A 站水文遥测数据子序列，与其相同时间段的B站水文遥测数据子序列属于Bj聚 类的数量占总数的比例，其值在0～1之间。其中，i∈(1,2,…,m)，j∈(1,2,…,n)。

显然，A与B数据序列聚类之间的关联矩阵与B与A数据序列聚类之间的 关联矩阵并不相同，应分别计算。

②关联矩阵有效性分析

在实际中，不是所有水文遥测站点之间都存在关联关系，所以，为了避免出 现误判，需要对上述得到的关联矩阵进行分析，剔除不存在关联关系站点所对应 的关联矩阵。

具体处理方法为，首先，判断关联矩阵的每一行，如果所有值都小于0.5， 则把该行的所有值都置为-1，表示该行不具有判断关联度的价值；其次，判断该 矩阵是否所有值都为-1，如果是则删除该矩阵，表示该矩阵对应的两个水文遥测 数据序列之间没有关联性。

(4)基于关联矩阵的异常检测

依据各站之间的关联矩阵，以及在同一时间段内水文遥测数据子序列所属的 聚类，判断某个测站水文遥测数据子序列是否出现异常。

基于关联矩阵的异常检测主要包括两个步骤，分别为所属聚类计算和异常检 测。

①所属聚类计算：首先计算需要进行异常检测的水文遥测数据子序列所属的 聚类，然后计算其它遥测站在同一时段内水文遥测数据子序列所属的聚类。

②异常检测：依据关联矩阵，计算需进行异常检测的水文遥测数据子序列所 属的聚类与其它所有与之有关联的(关联矩阵存在，并且对应的关联度值不是-1) 遥测站在同一时段内水文遥测数据子序列所属的聚类之间的平均关联度，当平均 关联度大于阈值(一般取0.8)时，表示该子序列正常，否则判断为异常，并给 出异常的可能性值(1-平均关联度)。

有益效果：与现有技术相比，本发明提供的基于时空特征的水文遥测数据异 常检测方法具有以下特点：

①把水文遥测数据具有的时间序列特征和空间分布特征有机地融合在一起， 实现真正意义上基于时空特征的水文遥测数据异常检测；

②本方法的子序列特征在数量和内容方面没有任何限制，可以根据不同的水 文遥测数据量(如水位、雨量、水质、流量等)定义不同的特征集合，具有广泛 的适用性；

③空间上分布的不同遥测站之间是否存在关联，以及关联程度如何，完全通 过历史遥测数据计算得到，不需要额外的信息(如地理位置、是否属于同一河流、 是否属于同一流域、是否属于同一气候带等)，所以可用性更好。

附图说明

图1为本发明实施例的基于时空特征的水文遥测数据异常检测方法的总体 流程图；

图2为本发明实施例中聚类流程图；

图3为本发明实施例中关联矩阵生成流程图；

图4为本发明实施例中水文遥测数据异常判别流程图。

具体实施方式

下面结合具体实施例，进一步阐明本发明，应理解这些实施例仅用于说明本 发明而不用于限制本发明的范围，在阅读了本发明之后，本领域技术人员对本发 明的各种等价形式的修改均落于本申请所附权利要求所限定的范围。

本实施例假设有三个水文遥测站的数据序列A、B、C，其起始时间和终止时 间相同，数据采样间隔时间也相同。

图1为本发明提供的基于时空特征的水文遥测数据异常检测方法的总体流程 图，整个方法分成两个相对独立的流程，一是率定过程，其通过历史数据为异常 检测提供依据；二是异常检测过程，对水文遥测数据异常序列进行检测。其中， 率定过程又可以分成特征提取、聚类和关联矩阵生成三个子过程。

率定的工作过程如下所描述：

①对数据序列A、B、C进行子序列划分，子序列长度为12；分别计算每个子 序列的特征：均值、方差和斜率，并合并成三维特征向量X；得到数据序列A、 B、C对应的特征向量序列XA、XB和XC。

②利用AIC准则得到特征向量序列XA、XB和XC的聚类数目KA、KB和KC， 以及相应的初始中心点，其Matlab程序如下所示：

③利用K-means算法得到特征向量序列XA、XB和XC的聚类(A1，A2，…， Am)、(B1，B2，…，Bn)和(C1，C2，…，Cp)，其中，m＝KA，n＝KB，p＝KC， 具体流程如图2所示。

④计算任意两个特征向量序列之间的关联矩阵AB、AC、BC、BA、CA和CB， 具体流程如图3所示。

异常检测的工程过程如下描述：

图4是异常检测的具体流程。

假设需对XA序列进行异常检测，其基本过程包括：

①获取需进行异常检测的XA序列中的某个子序列XA0，得到该子序列所属 的聚类Ai，以及该子序列的起止时间t1和t2；

②获取在t1和t2时段内XB和XC的子序列XB0和XC0，并得到XB0和XC0所属 的聚类Bj和Ck；

③从关联矩阵BA和CA中分别读取BAji和CAki，如果两者均为-1，则表示A 站的水文遥测数据与B和C站的水文遥测数据无关，则无法检测XA0是否出现异 常；否则，对非-1的值进行加权平均，如果结果大于等于0.8，则表示XA0正常， 小于0.8，则表示XAo出现了异常。

根据以上实施例可知，本发明的方法简单易用，适用面广，并且一次率定后 可以长时间使用，检测效率高。通过实验也验证了该方法的有效性，具有较高的 查全率和查准率。

Claims (7)

1.一种基于时空特征的水文遥测数据异常检测方法，其特征在于，包括以下四个方面：基于滑动窗口方法的特征提取，基于改进的K-means的特征数据聚类方法，基于聚类的多站关联矩阵建立，以及基于关联矩阵的异常检测。

2.如权利要求1所述的基于时空特征的水文遥测数据异常检测方法，其特征在于，

1）基于滑动窗口方法的特征提取：使用滑动窗口方法对水文遥测数据进行子序列划分，对每一组经过分割的子序列进行特征提取，并将其组合成为一组可以进行静态方法聚类的二维点；

2）基于改进的K-means的特征数据聚类方法：将K-means方法拓展到三维空间中对水文遥测数据进行聚类，并可根据具体特征向量定义的需要，进一步拓展至任意维空间；

3）基于聚类的多站关联矩阵建立：计算所有水文遥测数据聚类之间的关联关系，作为判断水文遥测数据是否出现异常的依据；

4）基于关联矩阵的异常检测：依据各站之间的关联矩阵，以及在同一时间段内水文遥测数据子序列所属的聚类，判断某个测站水文遥测数据子序列是否出现异常。

3.如权利要求2所述的基于时空特征的水文遥测数据异常检测方法，其特征在于，所述步骤1）包含以下步骤：

1.1）子序列划分：利用滑动窗口方法对原始序列进行分割，得到等长的子序列，如果分割过程中在最后无法保证子序列的等长性质，放弃最后小于窗口长度的数个数据；

1.2）特征值提取：计算每个子序列的特征，子序列的特征包括统计特征和结构特征两个方面，用子序列的均值和方差作为其统计特征，用斜率为作为其结构特征；

1.3）特征组合：把上述三个特征值组合成三维特征向量，以点的形式表征原子序列。

4.如权利要求3所述的基于时空特征的水文遥测数据异常检测方法，其特征在于，滑动窗口大小取值为12。

5.如权利要求2所述的基于时空特征的水文遥测数据异常检测方法，其特征在于，所述步骤2）包含以下步骤：

2.1）确定K值：引入AIC准则对数据集进行先验测试，来确定K值，AIC通过衡量模型的复杂度和模型拟合数据的匹配程度计算最小值，得到相应的K值；

2.2）数据聚类：采用上个步骤得到的K个子序列三维特征向量作为初始聚类中心，对所有子序列三维特征向量进行K-means聚类操作；其中，距离计算采用与三维特征向量对应的三维空间距离来表示。

6.如权利要求2所述的基于时空特征的水文遥测数据异常检测方法，其特征在于，所述步骤3）包含以下步骤：

3.1）任意两个水文遥测数据聚类之间的关联矩阵的计算

两个水文遥测站A和B，其对应的聚类分别为（A1，A2，…，Am）和（B1，B2，…，Bn），A与B数据序列聚类之间的关联矩阵记为ABmn ，其中，m为水文遥测站A的遥测数据聚类个数，n为水文遥测站B的遥测数据聚类个数；

ABij为A站水文遥测数据子序列属于Ai聚类时，与这些子序列相同时间段的B站水文遥测数据子序列属于Bj聚类的概率，对于每一个属于Ai聚类的A站水文遥测数据子序列，与其相同时间段的B站水文遥测数据子序列属于Bj聚类的数量占总数的比例，其值在0~1之间；其中，iϵ(1,2,…,m)，jϵ(1,2,…,n)；

显然，A与B数据序列聚类之间的关联矩阵与B与A数据序列聚类之间的关联矩阵并不相同，应分别计算；

3.2）关联矩阵有效性分析

判断关联矩阵的每一行，如果所有值都小于0.5，则把该行的所有值都置为-1，表示该行不具有判断关联度的价值。

7.如权利要求2所述的基于时空特征的水文遥测数据异常检测方法，其特征在于，所述步骤4）包含以下步骤：

4.1）所属聚类计算：首先计算需要进行异常检测的水文遥测数据子序列所属的聚类，然后计算其它遥测站在同一时段内水文遥测数据子序列所属的聚类；

4.2）异常检测：依据关联矩阵，计算需进行异常检测的水文遥测数据子序列所属的聚类与其它所有与之有关联的遥测站在同一时段内水文遥测数据子序列所属的聚类之间的平均关联度，当平均关联度大于阈值时，表示该子序列正常，否则判断为异常，并给出异常的可能性值；有关联指的是关联矩阵存在，并且对应的关联度值不是-1。