CN117390569B - 一种基于数据处理的水环境监测方法 - Google Patents

Abstract

本发明涉及数据处理技术领域，具体涉及一种基于数据处理的水环境监测方法，根据湖水各区域各相关数据的时间序列得到温差时间序列和局部波动程度时间序列；计算水流速度时间序列、温差时间序列分别与局部波动程度时间序列的影响因子；获取水流速度、温差次序和局部波动程度次序时间序列；将局部波动程度次序序列作为第一次序时间序列；根据温差次序时间序列、水流速度次序时间序列各时刻数据点的次序、影响因子以及第一次序时间序列各时刻数据点的异常因子；结合异常因子采用LOF算法对各时刻数据点的异常情况进行判断，完成湖水表面温度的监测。从而更全面的反应湖水表面温度的异常情况，提高了LOF算法检测异常数据的准确性。

Description

一种基于数据处理的水环境监测方法

技术领域

本申请涉及数据处理技术领域，具体涉及一种基于数据处理的水环境监测方法。

背景技术

水环境监测是指对各种水体进行定期监测，以了解其质量状况，保障了饮用水安全、维护了生态系统的稳定和水资源的合理利用。湖泊水温监测属于水环境监测的内容之一，通常是测量湖水的表面温度。湖泊表面水温是湖泊生态系统中更重要的指标之一，可以反映湖泊内部气候、热量交换和生物生存繁衍等方面的情况。

现有的湖泊水温监测是利用传感器通过数据传输来对湖泊水温进行实时监测，可以通过湖水表面温度异常数据的监测，及时发现水体温度变化的规律，掌握水体现状，减少环境污染对湖泊的影响，并评估湖泊水环境的稳定性和健康度。因此需要对采集到的湖水表面温度数据进行异常检测，并对异常数据的检测结果进行分析。

传统的异常检测方法包括：基于聚类的异常检测算法、和孤立森林异常检测算法等等。湖水表面温度数据通常有较大的数据量，而这些方法在处理较多数据时效果较差并且耗时较长，因而使用LOF局部异常因子检测算法来处理湖泊表面温度数据。但是湖水表面温度与环境温度以及湖水流动等因素密切相关，使得湖水表面温度的数据具有多个特征，直接使用LOF算法对湖水表面数据进行异常检测达不到较好的处理效果，

综上所述，本发明提出一种基于数据处理的水环境监测方法，结合环境温度和湖水流动对湖水表面温度的影响程度，为LOF算法处理的湖水表面温度数据赋予权重来进行异常检测，完成湖水表面温度的监测。

发明内容

为了解决上述技术问题，本发明提供一种基于数据处理的水环境监测方法，以解决现有的问题。

本发明的一种基于数据处理的水环境监测方法采用如下技术方案：

本发明一个实施例提供了一种基于数据处理的水环境监测方法，该方法包括以下步骤：

获取湖水环境各区域各相关数据的时间序列；

根据湖水表面温度时间序列和环境温度时间序列得到温差时间序列；对各相关数据的时间序列各时刻数据点设置滑动窗口；根据湖水表面温度时间序列各时刻数据点的滑动窗口内数据分布情况得到局部波动程度时间序列；采用灰度关联度分析法计算水流速度时间序列、温差时间序列分别与局部波动程度时间序列的关联系数；根据关联系数得到影响因子；

根据水流速度时间序列各时刻数据点的值得到水流速度次序时间序列；获取温差次序时间序列和局部波动程度次序时间序列；将局部波动程度次序序列作为第一次序时间序列；根据温差次序时间序列、水流速度次序时间序列各时刻数据点的次序以及影响因子得到第二次序时间序列；根据第一次序时间序列和第二次序时间序列得到湖水表面温度时间序列各时刻数据点的异常因子；

结合湖水表面温度时间序列各时刻数据点的异常因子采用LOF算法对各时刻数据点的异常情况进行判断，完成湖水表面温度的监测。

优选的，所述获取湖水环境各区域各相关数据的时间序列，包括：

湖水环境各区域各相关数据包括：湖水表面温度数据、水流速度数据和环境温度数据，将各区域各相关数据按照时间顺序分别构建湖水表面温度时间序列、水流速度时间序列和环境温度时间序列。

优选的，所述根据湖水表面温度时间序列和环境温度时间序列得到温差时间序列，包括：

对于各时刻数据，将湖水表面温度时间序列与环境温度时间序列各时刻温度的差值绝对值组成温差时间序列。

优选的，所述对各相关数据的时间序列各时刻数据点设置滑动窗口，包括：

对于各相关数据的时间序列各时刻数据点，以数据点为中心、左右两侧取其距离中心最近的数据点组成数据点的滑动窗口。

优选的，所述根据湖水表面温度时间序列各时刻数据点的滑动窗口内数据分布情况得到局部波动程度时间序列，包括：

对于湖水表面温度时间序列各时刻数据点，获取数据点的滑动窗口内的温度数据的均值和方差；

计算数据点的温度值与所述均值的差值绝对值，将所述差值绝对值与所述方差的乘积作为数据点的局部波动程度；将湖水表面温度时间序列所有时刻数据点的局部波动程度组成局部波动程度时间序列。

优选的，所述根据关联系数得到影响因子，包括：

计算水流速度时间序列、温差时间序列对局部波动程度时间序列的关联系数的和值；

将水流速度时间序列、温差时间序列对局部波动程度时间序列的关联系数分别与所述和值的比值作为水流速度时间序列和温差时间序列对局部波动程度时间序列的影响因子。

优选的，所述根据水流速度时间序列各时刻数据点的值得到水流速度次序时间序列，包括：

将水流速度时间序列中各时刻数据点的速度值从小到大进行排序，得到各时刻数据点的次序，将所有时刻数据点的次序按照时间序列组成水流速度次序时间序列。

优选的，所述根据温差次序时间序列、水流速度次序时间序列各时刻数据点的次序以及影响因子得到第二次序时间序列，包括：

对于各时刻数据点，计算数据点的温差次序与温差时间序列对局部波动程度时间序列的影响因子的乘积记为第一乘积，计算数据点的水流速度次序与水流速度时间序列对局部波动程度时间序列的影响因子的乘积记为第二乘积；

将第一乘积与第二乘积的和值作为第二次序时间序列各时刻数据点的值。

优选的，所述根据第一次序时间序列和第二次序时间序列得到湖水表面温度时间序列各时刻数据点的异常因子，包括：

对于湖水表面温度时间序列各时刻数据点，计算数据点的第一次序值与第二次序值的差值绝对值，获取湖水表面温度时间序列所有数据点的所述差值绝对值的均值，将所述差值绝对值与所述均值的比值作为数据点的异常因子。

优选的，所述结合湖水表面温度时间序列各时刻数据点的异常因子采用LOF算法对各时刻数据点的异常情况进行判断，包括：

采用LOF算法获取湖水表面温度时间序列各时刻数据点的局部离群因子；

将湖水表面温度时间序列各时刻数据点的异常因子加1的值作为局部离群因子的权重系数，得到各时刻数据点修正后的局部离群因子；

当数据点修正后的局部离群因子大于异常阈值时，则判断数据点为异常数据点；当数据点修正后的局部离群因子小于异常阈值时，则判断数据点为正常数据点。

本发明至少具有如下有益效果：

本发明通过分析水流速度以及环境温度等因素对湖水表面温度的影响，基于湖水表面温度数据来构建湖水表面温度的局部波动程度，有利于结合环境因素对湖水表面温度做出准确判断；

同时，本发明根据水流速度、环境温度以及湖水表面温度的变化特点来构建局部波动程度的影响因子、水流速度和温差的次序时间序列以及第一、第二次序时间序列，并结合第一、第二次序时间序列来得到每个区域的湖水表面温度在各个时刻的异常因子，将异常因子作为LOF算法中离群因子的权重对湖水表面温度数据进行后续处理，可以更全面的反应湖水表面温度的异常情况，提高了LOF算法检测异常数据的准确性，为工作人员分析湖泊管理和污染控制提供更准确的数据支持。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案和优点，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它附图。

图1为本发明提供的一种基于数据处理的水环境监测方法的流程图；

图2为异常因子指标计算流程图。

具体实施方式

为了更进一步阐述本发明为达成预定发明目的所采取的技术手段及功效，以下结合附图及较佳实施例，对依据本发明提出的一种基于数据处理的水环境监测方法，其具体实施方式、结构、特征及其功效，详细说明如下。在下述说明中，不同的“一个实施例”或“另一个实施例”指的不一定是同一实施例。此外，一或多个实施例中的特定特征、结构或特点可由任何合适形式组合。

除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。

下面结合附图具体的说明本发明所提供的一种基于数据处理的水环境监测方法的具体方案。

本发明一个实施例提供的一种基于数据处理的水环境监测方法。

具体的，提供了如下的一种基于数据处理的水环境监测方法，请参阅图1，该方法包括以下步骤：

步骤S001，获取湖水环境各区域各相关数据的时间序列。

本实施例通过数据处理技术对水环境进行监测。由于夏季是湖泊环境污染最为严重的季节之一，且夏季水温相对较高，湖水温度变化较明显，因此本实施例采集夏季白天的湖面相关的数据信息。

采集数据的方法为：利用无线水温传感器，并配置流速仪、环温计，采集湖泊个区域的湖水表面温度数据、水流速度数据和环境温度数据这三种相关数据。本实施例中的每个仪器采集的数据量记为/>，相邻两个数据量采集的时间间隔记为/>。每个区域共采集/>个数据，具体每个仪器采集的数据量/>以及间隔/>由实施者自行定义，本实施例设置为，/>。

即可得到个区域的数据集合，其中，第i个区域的湖水表面温度数据、水流速度数据和环境温度数据分别为/>、/>、/>，/>。对所有的数据集合分别进行归一化处理，归一化处理为现有公知技术，不再赘述。

对去量纲处理后的各个区域的数据集合分别按照时间顺序构建时间序列，得到第i个区域的湖水表面温度时间序列、水流速度时间序列以及环境温度时间序列/>，其中/>，分别表示/>、/>、/>时间序列中第/>个时刻的数据点的值。

至此，可以通过上述方法采集得到湖水环境各区域的湖水表面温度时间序列、水流速度时间序列和环境温度时间序列，方便对湖水环境进行监测。

步骤S002，对各区域各相关数据的时间序列进行分析，得到各时刻数据点的异常因子。

由于湖水表面温度与环境温度以及湖水流动等因素密切相关。

具体的，当水流速度较大时，会使湖泊的水体进行大范围的翻动和混合，水体内部热量传递的速度会加快，热交换的效率相对较高，导致湖水表面温度变化剧烈，并且湖水表面温度的变化幅度也会随之变大。即水流速度越大，湖水表面温度变化越剧烈，温度变化幅度越大。

其次，湖水表面温度和环境温度之间的温差会影响热量的传递速率，当温差较大时，热量传递速率也会加快，即温差越大湖水表面温度变化越剧烈，温度变化幅度越大。

因此，本实施例根据水流速度、湖水表面温度以及环境温度的变化特点来得到湖水表面温度数据在LOF算法中的局部离群因子的权重。

具体的，以第个区域的湖水表面温度时间序列/>、水流速度时间序列/>以及环境温度时间序列/>为例。

计算每个时刻湖水表面温度和环境温度的温差，温差为同一时刻的湖水表面温度与环境温度差的绝对值，将温差按照时间顺序构建时间序列，得到第个区域的温差时间序列/>，其中，/>表示第/>个区域的温差时间序列第/>个时刻湖泊表面温度与环境温度的温差。

设置一个尺寸为的滑动窗口，本实施例对/>取经验值11，实施者可自行设定，各时刻数据点的滑动窗口为以该数据点为中心且距离中心最近的10个数据点。从湖水表面温度时间序列/>中的第一个时刻的数据点进行遍历，将每个时刻的数据点计算其滑动窗口内湖水表面温度的方差，得到第/>个区域的湖水表面温度时间序列在第j个时刻的局部波动程度，局部波动程度的计算方法如下所示：

式中，表示第/>个区域的湖水表面温度时间序列在第/>个时刻的数据点滑动窗口的局部波动程度，/>表示第/>个区域的湖水表面温度时间序列在第/>个时刻的数据点滑动窗口内温度数据的方差，/>表示第/>个区域的湖水表面温度时间序列在第/>个时刻的数据点的温度值，/>表示第/>个区域的湖水表面温度时间序列在第/>个时刻的数据点滑动窗口内温度数据的均值。

需要说明的是，越大，表示第/>个时刻所在滑动窗口内的湖水表面温度变化越剧烈，则/>的值越大；/>的值越大，表示第/>个时刻的湖水表面温度变化幅度越大，则/>的值越大。

将第个区域湖水表面温度时间序列中的每个时刻数据点的局部波动程度按照时间顺序构建时间序列，得到局部波动程度时间序列/> ，其中/>表示第/>个区域湖水表面温度时间序列第/>个时刻的局部波动程度。

由于水流速度和温差都是值越大，湖水表面温度的局部波动程度越大，因此通过计算水流速度和温差对湖泊表面温度的局部波动程度的影响程度，来得到每个时刻的湖泊表面温度在受到水流速度和温差影响下的局部波动程度的大小，并与实际局部波动程度的大小进行比较，得到湖水表面温度的异常因子。

具体的，利用灰色关联度分析法计算水流速度时间序列和温差时间序列/>对局部波动程度时间序列/>的关联程度，得到关联系数/>和/>，其中灰色关联度分析法为现有公知技术，不再赘述。

根据关联系数和/>来分别得到水流速度时间序列和温差时间序列对局部波动程度时间序列的影响因子/>、/>，影响因子/>、/>的计算方法为：

式中，、/>分别为水流速度时间序列和温差时间序列对局部波动程度时间序列的影响因子，/>、/>分别为水流速度时间序列和温差时间序列与局部波动程度时间序列的关联系数。

需要说明的是，影响因子越大，则说明该时间序列对局部波动程度时间序列的影响越大。

以水流速度时间序列为例，将各时刻数据点的速度值大小进行排序，得到水流速度次序时间序列/>。/>中每个数据点的值表示在该时刻的水流速度的值在水流速度时间序列/>中所有水流速度的值按照从小到大进行排序的次序。水流速度的速度值越大，其对应的次序越大。

将温差时间序列以及局部波动程度时间序列/>按照上述相同的处理方法，得到温差次序时间序列/>和局部波动程度次序时间序列/>，将局部波动程度次序时间序列/>中的每个数据点的值表示该数据点所在时刻的湖水表面温度的局部波动程度的实际次序，记为第一次序时间序列/>。

根据水流速度次序时间序列、温差次序时间序列/>和影响因子/>、/>计算每个时刻的湖泊表面温度的局部波动程度的正常次序，具体计算方法为：

式中，表示第/>个时刻的局部波动程度的正常次序，/>、/>表示水流速度时间序列、温差时间序列对局部波动程度时间序列的影响因子，/>、/>分别表示水流速度次序时间序列/>、温差次序时间序列/>中第/>个时刻数据点的值。

需要说明的是，第个时刻的水流速度和温差越大，则该时刻的湖泊表面温度的局部波动程度越大，即水流速度的次序/>和温差的次序/>的值越大，则局部波动程度对应时刻的次序/>的值越大。计算第/>个区域的每个时刻的局部波动程度的正常次序，按照时间顺序构建时间序列，得到局部波动程度的正常次序时间序列/>，记为第二次序时间序列/>。

对第个区域的局部波动程度的第一次序时间序列/>和第二次序时间序列/>之间各时刻数据点的差异进行分析，得到第/>个区域的湖水表面温度各时刻的异常因子，其计算方法为：

式中，表示第/>个区域的湖水表面温度时间序列第/>个时刻数据点的异常因子，表示第一次序时间序列第/>个时刻数据点的值，/>表示第二次序时间序列第/>个时刻数据点的值。

需要说明的是，当第个区域的湖水表面温度的局部波动程度的第一次序值与第二次序值之间的差异变化越大，表示该时刻的湖水表面温度受到其他因素的影响越大，则该时刻的湖水表面温度数据越疑似异常数据，即该时刻湖水表面温度的异常因子/>越大。

计算第个区域每个时刻的湖水表面温度的异常因子，图2为异常因子指标计算的流程图。对所有时刻的湖水表面温度的异常因子进行归一化处理，得到第/>个区域的湖水表面温度时间序列第/>个时刻的异常因子/>，/>值域为/>。

步骤S003，结合各时刻数据点的异常因子与LOF算法对湖泊表面温度进行后续处理，并对异常温度数据进行标记，完成对湖水表面温度的监测。

根据上述步骤得到的湖水表面温度时间序列各时刻数据点的异常因子，将各时刻数据点的异常因子加一的值作为LOF算法中对于湖水表面温度时间序列各时刻数据点计算的局部离群因子的权重系数，得到各时刻数据点修正后的局部离群因子，其中LOF算法为现有公知技术，本实施例不再赘述。

设置异常阈值，将各时刻数据点的修正后的局部离群因子大于异常阈值的数据点标记为异常数据点，将将各时刻数据点的修正后的局部离群因子小于异常阈值的数据点标记为正常数据点。其中，本实施例设置异常阈值为2，实施者可自行设定。

对标记为异常温度数据的区域和时刻进行管理，方便后续工作人员较精准的定位发生异常温度的区域和时刻。

至此，完成对湖水表面温度的监测。

综上所述，本发明实施例提出一种基于数据处理的水环境监测方法，结合环境温度和湖水流动对湖水表面温度的影响程度，为LOF算法处理的湖水表面温度数据赋予权重来进行异常检测，完成湖水表面温度的监测。

本发明实施例通过分析水流速度以及环境温度等因素对湖水表面温度的影响，基于湖水表面温度数据来构建湖水表面温度的局部波动程度，有利于结合环境因素对湖水表面温度做出准确判断；

同时，本发明实施例根据水流速度、环境温度以及湖水表面温度的变化特点来构建局部波动程度的影响因子、水流速度和温差的次序时间序列以及第一、第二次序时间序列，并结合第一、第二次序时间序列来得到每个区域的湖水表面温度在各个时刻的异常因子，将异常因子作为LOF算法中离群因子的权重对湖水表面温度数据进行后续处理，可以更全面的反应湖水表面温度的异常情况，提高了LOF算法检测异常数据的准确性，为工作人员分析湖泊管理和污染控制提供更准确的数据支持。

需要说明的是：上述本发明实施例先后顺序仅仅为了描述，不代表实施例的优劣。且上述对本说明书特定实施例进行了描述。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。

本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同或相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。

以上所述实施例仅用以说明本申请的技术方案，而非对其限制；对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的范围，均应包含在本申请的保护范围之内。

Claims (10)

1.一种基于数据处理的水环境监测方法，其特征在于，该方法包括以下步骤：

获取湖水环境各区域各相关数据的时间序列；

根据湖水表面温度时间序列和环境温度时间序列得到温差时间序列；对各相关数据的时间序列各时刻数据点设置滑动窗口；根据湖水表面温度时间序列各时刻数据点的滑动窗口内数据分布情况得到局部波动程度时间序列；采用灰度关联度分析法计算水流速度时间序列、温差时间序列分别与局部波动程度时间序列的关联系数；根据关联系数得到影响因子；

根据水流速度时间序列各时刻数据点的值得到水流速度次序时间序列；获取温差次序时间序列和局部波动程度次序时间序列；将局部波动程度次序序列作为第一次序时间序列；根据温差次序时间序列、水流速度次序时间序列各时刻数据点的次序以及影响因子得到第二次序时间序列；根据第一次序时间序列和第二次序时间序列得到湖水表面温度时间序列各时刻数据点的异常因子；

结合湖水表面温度时间序列各时刻数据点的异常因子采用LOF算法对各时刻数据点的异常情况进行判断，完成湖水表面温度的监测。

2.如权利要求1所述的一种基于数据处理的水环境监测方法，其特征在于，所述获取湖水环境各区域各相关数据的时间序列，包括：

湖水环境各区域各相关数据包括：湖水表面温度数据、水流速度数据和环境温度数据，将各区域各相关数据按照时间顺序分别构建湖水表面温度时间序列、水流速度时间序列和环境温度时间序列。

3.如权利要求1所述的一种基于数据处理的水环境监测方法，其特征在于，所述根据湖水表面温度时间序列和环境温度时间序列得到温差时间序列，包括：

对于各时刻数据，将湖水表面温度时间序列与环境温度时间序列各时刻温度的差值绝对值组成温差时间序列。

4.如权利要求1所述的一种基于数据处理的水环境监测方法，其特征在于，所述对各相关数据的时间序列各时刻数据点设置滑动窗口，包括：

对于各相关数据的时间序列各时刻数据点，以数据点为中心、左右两侧取其距离中心最近的预设阈值个数据点，组成数据点的滑动窗口。

5.如权利要求4所述的一种基于数据处理的水环境监测方法，其特征在于，所述根据湖水表面温度时间序列各时刻数据点的滑动窗口内数据分布情况得到局部波动程度时间序列，包括：

对于湖水表面温度时间序列各时刻数据点，获取数据点的滑动窗口内的温度数据的均值和方差；

计算数据点的温度值与所述均值的差值绝对值，将所述差值绝对值与所述方差的乘积作为数据点的局部波动程度；将湖水表面温度时间序列所有时刻数据点的局部波动程度组成局部波动程度时间序列。

6.如权利要求1所述的一种基于数据处理的水环境监测方法，其特征在于，所述根据关联系数得到影响因子，包括：

计算水流速度时间序列、温差时间序列对局部波动程度时间序列的关联系数的和值；

将水流速度时间序列、温差时间序列对局部波动程度时间序列的关联系数分别与所述和值的比值作为水流速度时间序列和温差时间序列对局部波动程度时间序列的影响因子。

7.如权利要求1所述的一种基于数据处理的水环境监测方法，其特征在于，所述根据水流速度时间序列各时刻数据点的值得到水流速度次序时间序列，包括：

将水流速度时间序列中各时刻数据点的速度值从小到大进行排序，得到各时刻数据点的次序，将所有时刻数据点的次序按照时间序列组成水流速度次序时间序列。

8.如权利要求1所述的一种基于数据处理的水环境监测方法，其特征在于，所述根据温差次序时间序列、水流速度次序时间序列各时刻数据点的次序以及影响因子得到第二次序时间序列，包括：

对于各时刻数据点，计算数据点的温差次序与温差时间序列对局部波动程度时间序列的影响因子的乘积记为第一乘积，计算数据点的水流速度次序与水流速度时间序列对局部波动程度时间序列的影响因子的乘积记为第二乘积；

将第一乘积与第二乘积的和值作为第二次序时间序列各时刻数据点的值。

9.如权利要求1所述的一种基于数据处理的水环境监测方法，其特征在于，所述根据第一次序时间序列和第二次序时间序列得到湖水表面温度时间序列各时刻数据点的异常因子，包括：

对于湖水表面温度时间序列各时刻数据点，计算数据点的第一次序值与第二次序值的差值绝对值，获取湖水表面温度时间序列所有数据点的所述差值绝对值的均值，将所述差值绝对值与所述均值的比值作为数据点的异常因子。

10.如权利要求9所述的一种基于数据处理的水环境监测方法，其特征在于，所述结合湖水表面温度时间序列各时刻数据点的异常因子采用LOF算法对各时刻数据点的异常情况进行判断，包括：

采用LOF算法获取湖水表面温度时间序列各时刻数据点的局部离群因子；

将湖水表面温度时间序列各时刻数据点的异常因子加1的值作为局部离群因子的权重系数，得到各时刻数据点修正后的局部离群因子；

当数据点修正后的局部离群因子大于异常阈值时，则判断数据点为异常数据点；当数据点修正后的局部离群因子小于异常阈值时，则判断数据点为正常数据点。