CN114330904A - 一种基于特征工程的河涌水质预测方法 - Google Patents

Abstract

一种基于特征工程的河涌水质预测方法，包括：步骤A：获取影响河涌水质的监测数据；步骤B：对影响河涌水质的监测数据进行预处理；步骤C：构造影响河涌水质的特征指标；步骤D：采用相关系数法进行特征指标筛选，包括通过Pearson相关系数法进行LSTM模型的特征筛选；步骤E：模型结构数据处理，包括将筛选的特征指标，进行LSTM模型结构数据预处理；步骤F：模型训练及自动调参，包括对LSTM模型进行训练和自动调优LSTM模型参数，保存最优模型至服务器上；步骤G：模型预测及结果评估，包括基于最优模型获取预测数据，评估预测数据与真实数据的偏差。本发明结合河涌的多因素、多条件影响因素，实现更准确、更全面反映水质变化的预测情况。

Description

一种基于特征工程的河涌水质预测方法

技术领域

本发明涉及水质预测技术领域，尤其涉及一种基于特征工程的河涌水质预测方法。

背景技术

随着城市化进程的加快，城市内河涌的污染日益严峻，为了更高效的监管河涌水质及入河污染物的排放，提高河涌水污染的防治效率，环境管理部门需要更及时、更精准、更全面的了解河涌水质变化，并对主要排放口提前采取措施，提高河涌水质优良比。因此，对河涌的水质预测非常重要。

目前，水质预测方法主要包括：回归分析预测法、Markov法、时间序列分析预测法和函数模型预测法等传统预测法，以及神经网络模型、支持向量回归模型和灰色理论模型等新型水质预测模型。然而，在现有的河涌水质预测方法中，往往是针对某一方面的特征数据进行时间序列预测(例如，仅根据气象特征预测水质)，并没有全面考虑影响水质的各方面因素，从而对河涌水质的预测效果不理想。

事实上，河涌水环境是一个多因素、多条件影响的复杂系统。污染物进入河涌后，会经历混合、稀释、扩散、沉淀等物理过程，以及氧化、还原、降解、吸收、吸附、凝聚等生化反应过程，从而使污染物浓度降低。其中，影响物理自净过程的主要是水文条件和污染物的物理性质。而影响生化反应过程的主要是污染物的化学性质、溶解氧、水温、酸碱度、水体生物种类等。对于以生活污水为主导的河涌，居民每天生活污水的排放比较有规律且相对稳定，河涌污染物的物理性质、化学性质、酸碱度、水体生物种类等，在短期内变化通常较小。

一般情况下，短期内影响河涌水质变化的主要是四个方面的原因：一是受上游来水、地表径流、沿途排放、降雨等外源污染的影响；二是受温度、风速，日照、气压、湿度等气象因素的影响；三是对河涌的调水、曝气等人工干预措施的影响；四是居民生活污水的排放规律。下面以河涌中的污染物氨氮为例说明具体影响因素：

一是降雨因素。一方面降雨会影响上游来水、地表径流等外源污染；另一方面降雨会影响水体的物理自净过程。在没有降雨的时候，城市河涌流速较慢，污染物迁移和扩散较慢，水体的物理自净能力较弱；在降雨的时候，河涌流速较快，污染物迁移和扩散较快，水体的物理自净能力显著增强。降雨对河涌水体污染物浓度的影响主要体现在：一是降雨历时。一般情况下，初期雨水中的主要污染物的浓度大于后期雨水，即出现“降雨初始冲刷效应”的现象。二是降雨强度。不同降雨量的溢流情况也不一样，小雨、中雨的溢流影响较小，对河涌水质的变化影响较小。而大雨、暴雨、大暴雨、特大暴雨对水质的变化影响较大。三是近期降雨情况。近期降雨量越小，本次强降雨对水质的波动影响越大。

二是温度、风速，日照、气压、湿度等气象因素。如图1，含氮化合物相互转化流程图。气象因素主要是通过影响河涌的溶解氧、水温的变化，从而影响氨氮的自然降解过程。如图2，溶解氧在水体中的传递过程包括：大气复氧、氨化作用、硝化作用、有机物降解、藻类呼吸作用及光合作用，其它物质降解、底泥耗氧、杂质吸附等。其中，大气复氧、光合作用受温度、气压、风速、湿度、光照强度等气象因素的影响较大；而其它耗氧过程主要受水质污染浓度的影响。而影响水温的主要是气温、风速、相对湿度等气象因素，一般情况下，气温越高、相对湿度越大，水温越高；而风速越大，水温越低。

三是对河涌的调水、曝气等人工干预措施。从外江调入更干净的水质，增加曝气时长，都有利于加快水质自净过程，从而降低污染物浓度。

四是居民生活污水的排放规律。一般情况下，受居民生活规律的影响，居民人均排水量的最高峰时段出现在19:00—21:30，次高峰时段为06:30—10:30，00:00—5:00期间的排水量最低，沿途排放呈现昼夜周期性的波动。与此同时，河涌污染物的物理性质、化学性质、酸碱度、浓度等也呈现周期性变化。

因此，针对河涌水质的在线监测数据，迫切需要一种结合河涌的多因素、多条件影响因素，更准确、更全面反映水质变化的预测方法。

发明内容

本发明的目的在于针对背景技术中的缺陷，提出一种基于特征工程的河涌水质预测方法，通过构建影响污染物浓度变化的昼夜变化特征指标、季节性变化特征指标、影响溶解氧、水温的气象因素特征指标、降雨特征指标、调水特征指标、曝气特征指标等，并利用相关系数法进行特征筛选，然后将数据标准化、三维数据转换，采用LSTM深度学习法构造模型，并采用贝叶斯优化的方式进行自动调整最优参数，最后将预测结果经过逆标准化转换后输出，实现结合河涌的多因素、多条件影响因素，更准确、更全面反映水质变化的预测情况。

为了解决上述问题，本发明提出了一种基于特征工程的河涌水质预测方法，包括如下步骤：

步骤A：获取影响河涌水质的监测数据；

步骤B：对影响河涌水质的监测数据进行预处理；

步骤C：构造影响河涌水质的特征指标；

步骤D：采用相关系数法进行特征指标筛选，包括通过Pearson相关系数法进行LSTM模型的特征筛选；

步骤E：模型结构数据处理，包括将筛选的特征指标，进行LSTM模型结构数据预处理；

步骤F：模型训练及自动调参，包括对LSTM模型进行训练和自动调优LSTM模型参数，保存最优模型至服务器上；

步骤G：模型预测及结果评估，包括基于最优模型获取预测数据，评估预测数据与真实数据的偏差。

优选的，在所述步骤A中，获取影响河涌水质的监测数据包括获取河涌污染物监测数据、调水记录、曝气设备运行记录以及气象数据。

优选的，在所述步骤B中，对影响河涌水质的监测数据进行预处理包括：

步骤B1：对监测数据的完整性进行检查，剔除显著异常值，包括剔除缺失值、NULL值、值不变和负值；

步骤B2：剔除监测仪器处于非正常监测时段的数据，非正常监测时段包括故障期间、维修期间、超期限未校准时段、失控时段、有计划的维护保养时段和校准校验时段；

步骤B3：基于MAD法去除异常小和异常大的离群值。

优选的，在所述步骤C中，构造影响河涌水质的特征指标包括构造昼夜变化特征指标、季节性变化特征指标、影响溶解氧、水温的特征指标、降雨特征指标、调水特征指标和曝气特征指标。

优选的，构造昼夜变化特征指标包括：

引入日周期性特征指标参与LSTM模型训练预测，基于sin和cos将时间转换为清晰的“一天时间”的周期性信号；

转换过程包括：

将监测数据时间转化为时间戳格式，依次按照公式一至公式三进行转换；

day＝24×60×60--公式一；

Daysin＝sin(时间戳×(2π/day))--公式二；

Daycos＝cos(时间戳×(2π/day))--公式三；

Daysin表示转换后的sin日周期性信号；

Daycos表示转换后的cos日周期性信号；

构造季节性变化特征指标包括：

通过使用sin和cos将时间转换为清晰的“一年时间”的周期性信号；

转换过程包括：

将监测数据时间转化为时间戳格式，依次按照公式四至公式七进行转换；

day＝24×60×60--公式四；

year＝365.2425×day--公式五；

Yearsin＝sin(时间戳×(2π/year))--公式六；

Yearcos＝cos(时间戳×(2π/year))--公式七；

Yearsin表示转换后的sin年周期性信号；

Yearcos表示转换后的cos年周期性信号；

构造溶解氧、水温的特征指标包括引入影响溶解氧、水温的气象因素作为特征指标参与LSTM模型训练；

构造降雨特征指标包括引入不同范围时间段内的降雨量数据以反映降雨对水质变化的影响；

构造调水特征指标包括引入不同范围时间段内的调水时长以反映调水对河涌污染物浓度变化的影响；

构造曝气特征指标包括引入不同范围时间段内的曝气时长以反映曝气对河涌污染物浓度变化的影响。

优选的，在步骤D中，采用相关系数法进行特征指标筛选包括：

筛选中等相关性以上的特征指标参与LSTM模型训练；

若丨P丨>0.3，则表示特征指标处于中等相关性以上；

其中，P表示特征指标与待预测变量的相关系数。

优选的，在所述步骤E中，将筛选的特征指标，进行LSTM模型结构数据预处理包括如下步骤：

步骤E1：采用min-max对特征指标数据进行标准化归一至[0,1]；

步骤E2：将训练集和测试集按照3:1的比例随机拆分；

步骤E3：将训练集和测试集的数据转换为LSTM模型的三维框架数据。

优选的，在所述步骤F中，模型训练及自动调参包括：

通过tensorflow的keras构造LSTM模型训练框架。以特征指标作为模型输入自变量，以氨氮小时浓度作为输出的因变量，参与模型训练。并通过贝叶斯优化自动调优LSTM模型参数，最后保存最优模型到服务器上。

优选的，在所述步骤G中，模型预测及结果评估包括：

步骤G1：获取未来时间范围内的天气预报数据、河涌调水计划和曝气计划；

步骤G2：将步骤G1中获取的数据输入最优模型以预测未来时间范围内的氨氮浓度；

步骤G3：通过RMSE和MAE评估步骤G2中的预测数据与真实数据的偏差。

本发明的实施例具有以下有益效果：

本发明通过构建影响污染物浓度变化的昼夜变化特征指标、季节性变化特征指标、影响溶解氧、水温的气象因素特征指标、降雨特征指标、调水特征指标、曝气特征指标等，并利用相关系数法进行特征筛选，然后将数据标准化、三维数据转换，采用LSTM深度学习法构造模型，并采用贝叶斯优化的方式进行自动调整最优参数，最后将预测结果经过逆标准化转换后输出，实现结合河涌的多因素、多条件影响因素，更准确、更全面反映水质变化的预测情况。

附图说明

图1是本发明的一个实施例的含氮化合物相互转化流程图。

图2是本发明的一个实施例的溶解氧在水体中的传递过程及影响因素。

图3是本发明的一个实施例的某河涌氨氮与sin和cos的天周期性变化相关。

图4是本发明的一个实施例的某河涌氨氮呈现季节性变化。

图5是本发明的一个实施例的基于特征工程的LSTM预测结果与真实数据比较；

图6是本发明的一种基于特征工程的河涌水质预测方法的流程图。

具体实施方式

下面结合附图并通过具体实施方式来进一步说明本发明的技术方案。

为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本发明的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。

本申请提出一种基于特征工程的河涌水质预测方法，如图6所示，包括如下步骤：

步骤A：获取影响河涌水质的监测数据；

优选的，在所述步骤A中，获取影响河涌水质的监测数据包括获取河涌污染物监测数据、调水记录、曝气设备运行记录以及气象数据。

在本实施例中，河涌污染物数据、调水记录、曝气设备运行记录从监测站获取；气象数据从国家气象科学数据中心、美国国家海洋和大气管理局、中国天气网、以及全国温室数据系统等渠道获取。

步骤B：对影响河涌水质的监测数据进行预处理；

优选的，在所述步骤B中，对影响河涌水质的监测数据进行预处理包括：

步骤B1：对监测数据的完整性进行检查，剔除显著异常值，包括剔除缺失值、NULL值、值不变和负值；

步骤B2：剔除监测仪器处于非正常监测时段的数据，非正常监测时段包括故障期间、维修期间、超期限未校准时段、失控时段、有计划的维护保养时段和校准校验时段；

步骤B3：基于MAD法去除异常小和异常大的离群值。

步骤C：构造影响河涌水质的特征指标；

优选的，在所述步骤C中，构造影响河涌水质的特征指标包括构造昼夜变化特征指标、季节性变化特征指标、影响溶解氧、水温的特征指标、降雨特征指标、调水特征指标和曝气特征指标。

优选的，构造昼夜变化特征指标包括：

引入日周期性特征指标参与LSTM模型训练预测，基于sin和cos将时间转换为清晰的“一天时间”的周期性信号；

转换过程包括：

将监测数据时间转化为时间戳格式，依次按照公式一至公式三进行转换；

day＝24×60×60--公式一；

Daysin＝sin(时间戳×(2π/day))--公式二；

Daycos＝cos(时间戳×(2π/day))--公式三；

Daysin表示转换后的sin日周期性信号；

Daycos表示转换后的cos日周期性信号；

如图3所示，某河涌污染因子与sin和cos的天周期性信号相关。Daysin上升的过程，伴随着污染物浓度下降或触底的过程；Daysin下降的过程，伴随着污染物浓度上升或见顶的过程。同理，Daycos也刻画了污染物浓度周期性变化的信号。

构造季节性变化特征指标包括：

通过使用sin和cos将时间转换为清晰的“一年时间”的周期性信号；

转换过程包括：

将监测数据时间转化为时间戳格式，依次按照公式四至公式七进行转换；

day＝24×60×60--公式四；

year＝365.2425×day--公式五；

Yearsin＝sin(时间戳×(2π/year))--公式六；

Yearcos＝cos(时间戳×(2π/year))--公式七；

Yearsin表示转换后的sin年周期性信号；

Yearcos表示转换后的cos年周期性信号；

水质浓度也呈现一定的季节性变化的特点。如图4所示，某河涌氨氮1月、2月、3月、以及12月是一年中的高峰期；而4-11月是一年中的低谷期，其中4-9月是汛期，处于丰水期，通过雨水对河涌带来的稀释效应较大。冬季氨氮浓度较高，一方面受到气温较低、氨氮硝化反应下降的影响；另一方面由于受亚热带季风气候的影响，冬季降雨稀少，处于枯水期，通过雨水对河涌带来的稀释效应降低。

进一步的，构造溶解氧、水温的特征指标包括引入影响溶解氧、水温的气象因素作为特征指标参与LSTM模型训练；

在本实施例中，影响溶解氧的因素，主要是通过温度、气压、风速、湿度等气象因素影响水体大气复氧，以及通过太阳辐射的光照强度影响光合作用。影响水温变化的主要气象因子则是气温、相对湿度、风速等。

因此，本申请通过引入小时温度、气压、风速、相对湿度、日照时数、以及天气状况等气象因素，作为特征指标，参与LSTM模型训练。

进一步的，构造降雨特征指标包括引入不同范围时间段内的降雨量数据以反映降雨对水质变化的影响；

在本实施例中，本申请通过引入“降雨历时”这一特征指标，以刻画降雨前、中、后期对污染物浓度变化的影响；通过引入“近1小时降雨量、近2小时降雨量、近6小时降雨量、近12小时降雨量、近24小时降雨量”这一特征指标以刻画降雨强度对污物浓度的影响；通过引入“近7天降雨量、上次强降雨距今时长”这一特征指标，以刻画近期降雨情况对水质变化的影响。

进一步的，构造调水特征指标包括引入不同范围时间段内的调水时长以反映调水对河涌污染物浓度变化的影响；

在本实施例中，本发明通过引入“近4小时调水时长、近8小时调水时长、近12小时调水时长、近24小时调水时长”，以反映调水对河涌污染物浓度变化的影响。

进一步的，构造曝气特征指标包括引入不同范围时间段内的曝气时长以反映曝气对河涌污染物浓度变化的影响。

在本实施例中，通过引入“近4小时曝气时长、近8小时曝气时长、近12小时曝气时长、近24小时曝气时长”，以反映曝气对河涌污染物浓度变化的影响。

步骤D：采用相关系数法进行特征指标筛选，包括通过Pearson相关系数法进行LSTM模型的特征筛选；

优选的，在步骤D中，采用相关系数法进行特征指标筛选包括：

筛选中等相关性以上的特征指标参与LSTM模型训练；

若丨P丨>0.3，则表示特征指标处于中等相关性以上；

其中，P表示特征指标与待预测变量的相关系数。

在本实施例中，在LSTM模型训练中，特征指标比较多，其中可能存在不相关的特征，特征之间也可能存在相互依赖。特征指标过多，一方面会导致训练模型所需的时间比较长，另一方面容易引起“维度灾难”，模型过度复杂，推广能力、预测准确率下降。本发明通过Pearson相关系数法进行LSTM模型的特征筛选。只筛选特征指标与待预测变量|相关系数|>0.3(中等相关性以上)的特征指标参与模型训练。

步骤E：模型结构数据处理，包括将筛选的特征指标，进行LSTM模型结构数据预处理；

优选的，在所述步骤E中，将筛选的特征指标，进行LSTM模型结构数据预处理包括如下步骤：

步骤E1：采用min-max对特征指标数据进行标准化归一至[0,1]；

步骤E2：将训练集和测试集按照3:1的比例随机拆分；

步骤E3：将训练集和测试集的数据转换为LSTM模型的三维框架数据。

步骤F：模型训练及自动调参，包括对LSTM模型进行训练和自动调优LSTM模型参数，保存最优模型至服务器上；

优选的，在所述步骤F中，模型训练及自动调参包括：

通过tensorflow的keras构造LSTM模型训练框架。以特征指标作为模型输入自变量，以氨氮小时浓度作为输出的因变量，参与模型训练。并通过贝叶斯优化自动调优LSTM模型参数，最后保存最优模型到服务器上。

步骤G：模型预测及结果评估，包括基于最优模型获取预测数据，评估预测数据与真实数据的偏差。

优选的，在所述步骤G中，模型预测及结果评估包括：

步骤G1：获取未来时间范围内的天气预报数据、河涌调水计划和曝气计划；

步骤G2：将步骤G1中获取的数据输入最优模型以预测未来时间范围内的氨氮浓度；

步骤G3：通过RMSE和MAE评估步骤G2中的预测数据与真实数据的偏差。

在本实施例中，根据未来24小时天气预报数据，包括降雨量、温度、风速、湿度、气压、日照时数等，以及河涌调水计划、曝气计划，预测未来24小时的氨氮浓度。并通过均方根误差(RMSE)、平均绝对误差(MAE)评估预测数据与真实数据的偏差。

以上结合具体实施例描述了本发明的技术原理。这些描述只是为了解释本发明的原理，而不能以任何方式解释为对本发明保护范围的限制。基于此处的解释，本领域的技术人员不需要付出创造性的劳动即可联想到本发明的其它具体实施方式，这些方式都将落入本发明的保护范围之内。

Claims (9)

1.一种基于特征工程的河涌水质预测方法，其特征在于，包括如下步骤：

步骤A：获取影响河涌水质的监测数据；

步骤B：对影响河涌水质的监测数据进行预处理；

步骤C：构造影响河涌水质的特征指标；

步骤D：采用相关系数法进行特征指标筛选，包括通过Pearson相关系数法进行LSTM模型的特征筛选；

步骤E：模型结构数据处理，包括将筛选的特征指标，进行LSTM模型结构数据预处理；

步骤F：模型训练及自动调参，包括对LSTM模型进行训练和自动调优LSTM模型参数，保存最优模型至服务器上；

步骤G：模型预测及结果评估，包括基于最优模型获取预测数据，评估预测数据与真实数据的偏差。

2.根据权利要求1所述一种基于特征工程的河涌水质预测方法，其特征在于：

在所述步骤A中，获取影响河涌水质的监测数据包括获取河涌污染物监测数据、调水记录、曝气设备运行记录以及气象数据。

3.根据权利要求1所述一种基于特征工程的河涌水质预测方法，其特征在于：

在所述步骤B中，对影响河涌水质的监测数据进行预处理包括：

步骤B1：对监测数据的完整性进行检查，剔除显著异常值，包括剔除缺失值、NULL值、值不变和负值；

步骤B2：剔除监测仪器处于非正常监测时段的数据，非正常监测时段包括故障期间、维修期间、超期限未校准时段、失控时段、有计划的维护保养时段和校准校验时段；

步骤B3：基于MAD法去除异常小和异常大的离群值。

4.根据权利要求1所述一种基于特征工程的河涌水质预测方法，其特征在于：

在所述步骤C中，构造影响河涌水质的特征指标包括构造昼夜变化特征指标、季节性变化特征指标、影响溶解氧、水温的特征指标、降雨特征指标、调水特征指标和曝气特征指标。

5.根据权利要求4所述一种基于特征工程的河涌水质预测方法，其特征在于：

构造昼夜变化特征指标包括：

引入日周期性特征指标参与LSTM模型训练预测，基于sin和cos将时间转换为清晰的“一天时间”的周期性信号；

转换过程包括：

将监测数据时间转化为时间戳格式，依次按照公式一至公式三进行转换；

day＝24×60×60--公式一；

Daysin＝sin(时间戳×(2π/day))--公式二；

Daycos＝cos(时间戳×(2π/day))--公式三；

Daysin表示转换后的sin日周期性信号；

Daycos表示转换后的cos日周期性信号；

构造季节性变化特征指标包括：

通过使用sin和cos将时间转换为清晰的“一年时间”的周期性信号；

转换过程包括：

将监测数据时间转化为时间戳格式，依次按照公式四至公式七进行转换；

day＝24×60×60--公式四；

year＝365.2425×day--公式五；

Yearsin＝sin(时间戳×(2π/year))--公式六；

Yearcos＝cos(时间戳×(2π/year))--公式七；

Yearsin表示转换后的sin年周期性信号；

Yearcos表示转换后的cos年周期性信号；

构造溶解氧、水温的特征指标包括引入影响溶解氧、水温的气象因素作为特征指标参与LSTM模型训练；

构造降雨特征指标包括引入不同范围时间段内的降雨量数据以反映降雨对水质变化的影响；

构造调水特征指标包括引入不同范围时间段内的调水时长以反映调水对河涌污染物浓度变化的影响；

构造曝气特征指标包括引入不同范围时间段内的曝气时长以反映曝气对河涌污染物浓度变化的影响。

6.根据权利要求1所述一种基于特征工程的河涌水质预测方法，其特征在于：

在步骤D中，采用相关系数法进行特征指标筛选包括：

筛选中等相关性以上的特征指标参与LSTM模型训练；

若丨P丨>0.3，则表示特征指标处于中等相关性以上；

其中，P表示特征指标与待预测变量的相关系数。

7.根据权利要求1所述一种基于特征工程的河涌水质预测方法，其特征在于：

在所述步骤E中，将筛选的特征指标，进行LSTM模型结构数据预处理包括如下步骤：

步骤E1：采用min-max对特征指标数据进行标准化归一至[0,1]；

步骤E2：将训练集和测试集按照3:1的比例随机拆分；

步骤E3：将训练集和测试集的数据转换为LSTM模型的三维框架数据。

8.根据权利要求1所述一种基于特征工程的河涌水质预测方法，其特征在于：

在所述步骤F中，模型训练及自动调参包括：

通过tensorflow的keras构造LSTM模型训练框架，以特征指标作为模型输入自变量，以氨氮小时浓度作为输出的因变量，参与模型训练，并通过贝叶斯优化自动调优LSTM模型参数，最后保存最优模型到服务器上。

9.根据权利要求1所述一种基于特征工程的河涌水质预测方法，其特征在于：

在所述步骤G中，模型预测及结果评估包括：

步骤G1：获取未来时间范围内的天气预报数据、河涌调水计划和曝气计划；

步骤G2：将步骤G1中获取的数据输入最优模型以预测未来时间范围内的氨氮浓度；

步骤G3：通过RMSE和MAE评估步骤G2中的预测数据与真实数据的偏差。

Images