CN111210093A - 基于大数据的日用水量预测方法 - Google Patents

Abstract

本发明涉及大数据技术领域，公开了一种基于大数据的日用水量预测方法，包括步骤：S1：对包括日用水量、天气、温度、风速、降雨量的历史数据集进行预处理；S2：对预处理后的历史数据集进行特征构建，以提取时间特征、基础统计特征、延迟特征和组合特征；S3：将构建好的历史数据集输入多个机器学习模型分别进行单模型训练；S4：采用均方根误差在0.02～0.03之间，且两两单模型的均方根误差之间的差值不超过其中一个单模型的均方根误差的10％的多个单模型进行模型进行融合，以得组合模型，且使组合模型的均方根误差在0.02～0.03之间；S5：将下一天的日用水量数据按步骤S1和S2处理后带入组合模型，以预测下一天的日用水量。本发明能够较准确预测下一天的日用水量。

Description

基于大数据的日用水量预测方法

技术领域

本发明涉及大数据应用技术领域，特别涉及一种基于大数据的日用水量预测方法。

背景技术

在任何短期或者长期的计划中，城市需水量预测都是至关重要的一个环节。随着人口的增长、全球变暖，在经济快速发展的城市对用水的需求变化大，并且现在水资源匮乏，因此，现在许多国家都面临水资源断缺的问题，所以水资源的规划和管理很重要。城市用水量预测在城市建设规划、输配水系统的优化调度中具有重要的作用，天气、季节、节假日及不可预见因素对短期用水量影响比较大，而其它因素对长期的用水量影响比较大。水需求预测对于帮助决策者做出更好的决策并启发他们进行水资源分配以最大化长期价值和可用资源的可靠性所需的资本投资非常重要。

目前日用水量预测大致可以分为三类：第一类为时间序列预测法，仅依赖历史数据进行建模预测，比如自回归法等；第二类为结构分析法，除利用历史数据外，还需要考虑与用水量相关的其他因素，但该方法要求给出各种影响因素与用水量之间的显示关系，然而这种关系并不容易得到；第三类是系统方法，与结构分析法类似，使用多种用水量的影响因素及历史数据，采用神经网络等非线性模型来建立预测系统，通过系统预测日用水量。

而实际日用水量与天气、温度、湿度、风速、降雨量、节假日、人口增长、城市建设、生活水平等多种因素有关；同时，因计量设备误差、设备故障、数据采集系统缺陷，造成历史数据本身不准确或缺失；靠采用单一的一种方法进行日水量预测，会存在如下几方面技术问题：

一、因历史数据不准确，没有自动校正和修补数据，造成预测模型存在问题，预测精度不高；

二、受外在环境影响，预测波动较大，部分时段预测值偏离较大；

三、预测模型单一，没有自学习、自优化过程，不能根据外在环境变化自动优化、升级模型。

发明内容

本发明提出一种基于大数据的日用水量预测方法，解决现有技术中存在的上述技术问题。

本发明的一种基于大数据的日用水量预测方法，包括步骤：

S1：对包括日用水量、天气、温度、风速、降雨量的历史数据集进行预处理；

S2：对预处理后的历史数据集进行特征构建，以提取时间特征、基础统计特征、延迟特征和组合特征；

S3：将构建好的历史数据集输入多个机器学习模型分别进行单模型训练；

S4：采用均方根误差在0.02～0.03之间，且两两单模型的均方根误差之间的差值不超过其中一个单模型的均方根误差的10％的多个单模型进行模型进行融合，以得组合模型，且使所述组合模型的均方根误差在0.02～0.03之间；

S5：将下一天的日用水量数据按步骤S1和S2处理后带入所述组合模型，以预测下一天的日用水量。

其中，所述步骤S1中预处理包括：异常值处理、缺失值处理和重复值处理。

其中，所述步骤S1中，对于日用水量的异常值处理方式为：用前一天和后一天的数据均值填充，对于日用水量的缺失值处理方式为：使用随机森林回归填补缺失值。

其中，所述步骤S2包括：

构建基础特征：统计温度，计算日用水量的均值、方差、最大值、最小值和中位数，画出正态分布，作出温度与日用水量的分布曲线，统计天气、风速、风向的数量；

构建时间特征：对历史数据加入月份特征以及工作日或周末特征；

构建延迟特征：加入前面三天的用水量作为特征，加入上周这一天的用水量作为特征，加入前七天用水量的平均值作为特征；

提取组合特征：加入之前相似的最高温度/最低温度的用水均值当作特征，如果有特征缺失，将前三天用水量的平均值插入；

将天气、风速、风向、周末、月份变量进行one-hot离散处理。

其中，所述步骤S2中，在进行特征构建之间，还包括：将日用水量进行log缩放。

其中，均方根误差在0.02～0.03之间，且两两单模型的均方根误差之间的差值不超过其中一个单模型的均方根误差的10％的单模型包括：LASSO、ElasticNet、KernelRidge、GBOOST和XGBOOST。

其中，所述步骤S4包括：

以单模型LASSO、ElasticNet、KernelRidge、和GBOOST作为初级学习器为基础构建平均模型AveragingModels；

以ElasticNet、KernelRidge和GBOOST分别作为所述初级学习器，通过学习后生成新数据集，用于训练次级学习器LASSO，以得到StackingAveragedModels；

将XGBOOST、AveragingModels和StackingAveragedModels乘上各自预设的融合系数，进行加权求和，得到所述用于下一天日用水量预测的组合模型。

本发明中，对历史数据集进行预处理，完善历史数据集，通过多个模型单独训练，并采用提升特征相关性的模型集成，形成组合模型，由于各单模型预测结果的rmse值较小，且两两单模型预测结果的rmse值较接近，形成组合模型后rmse值较小，从而能够较准确预测下一天的日用水量，辅助城市用水的调度，发挥数据价值，给用户提供更加精准的服务。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例的一种的基于大数据的日用水量预测方法流程图；

图2是本发明实施例提供的RandomForest填补缺失值的实例图；

图3是本发明实施例提供的之前相同温度段的用水平均值特征实例图；

图4是本发明实施例提供的提升特征相关性的模型集成流程图；

图5是本发明实施例提供的模型平均实例图；

图6是本发明实施例提供的模型融合实例图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本实施例的基于大数据的日用水量预测方法如图1所示，包括：

步骤S1，对包括日用水量、天气、温度、风速、降雨量的历史数据集进行预处理，历史数据集为历史日用水量数据的集合。

步骤S2，对预处理后的历史数据集进行特征构建，以提取时间特征、基础统计特征、延迟特征和组合特征。

步骤S3，将构建好的历史数据集输入多个机器学习模型分别进行单模型训练；

步骤S4，采用均方根误差在0.02～0.03之间，且两两单模型的均方根误差之间的差值不超过其中一个单模型的均方根误差的10％的多个单模型进行模型进行融合，以得组合模型，且使所述组合模型的均方根误差在0.02～0.03之间；

步骤S5，将下一天的日用水量数据按步骤S1和S2处理后带入所述组合模型，以预测下一天的日用水量。

本实施例中，对历史数据集进行预处理，完善历史数据集，通过多个模型单独训练，并采用提升特征相关性的模型集成，形成组合模型，由于各单模型预测结果的rmse值较小，且两两单模型预测结果的rmse值较接近，形成组合模型后rmse值较小，从而能够较准确预测下一天的日用水量，辅助城市用水的调度，发挥数据价值，给用户提供更加精准的服务。

本实施例中，数据来源为北京水务局的2017年1月1日到2019年8月31日的日用水数据和降雨数据，在天气网爬取的数据北京3年的天气、最高温度、最低温度、风向、风力，将这些数据作为原始数据，通过合理的数据分析、特征构造，将2017-2018的数据作为训练数据，将2019数据作为测试数据。将回归预测结果与真实数据进行对比。原始数据的格式具体如下：

字段	说明	数据示例
			time	时间	2017-01-01
sum	日用水量(吨)	2684534
			maxtemp	当天的最高温度	36
mintemp	当天的最低温度	20
			winddirection	当天的风向	西北风
weather	当天的天气	晴
			windspeed	当天的风速	1级
precipitation	当天的平均降雨量	0.0

步骤S1中预处理包括：异常值处理、缺失值处理和重复值处理，具体地处理方式如下：

异常值处理：针对数据中存在的异常值，采用线性插值填充方案处理，例如：发现在2018年1月11日，日用水量非常大(可能是某处水管爆裂导致)，采用前一天和后一天的数据均值填充。对于一些非数值类数据，如：风力的等级一般都是1～9级，但是数据存在着一些数据为微风，对于这种数据采用重新赋值，赋值为一个合理的范围(如：2～3级)。对于温度、风向、天气及降雨量等异常数据(可能是录入错误)可根据气象局的历史数据进行更改。

缺失值处理：对于降雨量的缺失，根据当日的天气，如果天气中带有小雨、中雨等下雨类的天气，把相同天气状况的天气的均值插入，对于不下雨的天气，都用0来填充。对于天气数据的缺失，从网上爬取相应数据进行填充。

对于历史日用水量的缺失，使用随机森林回归填补缺失值，任何回归都是从特征矩阵中学习，然后求解连续型标签y的过程，之所以能够实现这个过程，是因为回归算法认为，特征矩阵和标签之前存在着某种联系。实际上，标签和特征是可以相互转换的，而回归填补缺失值，正是利用了这种思想。如图2所示，画出了随机森林填值的过程图，对于一个有n个特征的数据来说，其中特征T有缺失值，即上述表中日用水量有缺失，将特征T当作标签，其他的n-1个特征和原本的标签组成新的特征矩阵。那对于特征T来说，它没有缺失的部分，就是Y_test这部分，数据既有标签也有特征，而它缺失的部分，只有特征没有标签，就是需要预测的部分。特征的构造如下所示。

特征T不缺失的值对应的其它n-1个特征+本来的标签：X_train，特征T不缺失的值：Y_train

特征T缺失的值对应的其它n-1个特征+本来的标签：X_test，特征T缺失的值：未知，为需要预测的Y_test。

如果数据中除了特征T之外，其它特征也有缺失值，遍历所有的特征，从缺失最少的开始进行填补(因为填补缺失最少的特征所需要的准确信息最少)填补一个特征时，先将其它特征的缺失值用0代替，每完成一次回归预测，就将预测值放到原本的特征矩阵中，再继续填补下一个特征。每一次填补完毕，有缺失值的特征会减少一个，所以每次循环后，需要用0来填补的特征就越来越少。当进行到最后一个特征时(这个特征应该是所有特征中缺失值最多的)，已经没有任何的其他特征需要用0来进行填补了，而已经使用回归为其它特征填补了大量有效信息，可以用来填补缺失最多的特征。遍历所有的特征后，数据就完整，不再有缺失值了。将划分好的数据放入随机森林中做回归预测，将预测的结果填入到缺失的数据中。例如：日用水量和平均日降雨量这两个字段有缺失，但是降雨量的缺失更多，日用水的缺失就较少，然后把平均日降雨量作为标签，其它字段作为特征，预测平均日降雨量，然后填充缺失的平均日降雨量，而在把所有的除了日用水量的特征缺失值填充之后，用其它特征预测填充日用水量缺失值。由于日用水量是相对重点记录的数据，缺失相对比较少，一般不超过10条，因此可采用上述方式进行日用水量缺失值的填充。

重复值的处理：重复天数的数据，直接删掉，只保留一条数据。

本实施例中，步骤S2包括：

构建基础特征：统计温度，计算日用水量的均值、方差、最大值、最小值和中位数，画出正态分布，作出温度与日用水量的分布曲线，统计天气、风速、风向的数量。

构建时间特征：对历史数据加入月份特征(一月到十二月)以及工作日或周末特征，加入时间特征用于判断当天是否为工作日或者周末。

构建延迟特征：加入前面三天的用水量作为特征，加入上周这一天的用水量作为特征，加入前七天用水量的平均值作为特征。

提取组合特征：加入之前相似的最高温度和/或最低温度的日用水均值作为特征，如果有特征缺失，将前三天用水的平均值插入，如下图3所示，取当前时间之前最高温度的区间在一个段内的sum平均值作为特征，划分最高温度为[40～35)、[35～30)、[30～25)、[25～20)、[20～15)、[15～10)、[10～5)、[5～0)和[0～-10]这几个区间，即当天的最高温度属于那个区间，然后就把前面属于这个温度段的用水量做平均，作为特征。因为最高温度和最低温度相关系数达到0.966，所以只考虑相同段的最高温度，也可以只考虑最低温度，或两者均考虑。例如：今天的温度是20度，就统计之前最高温度在[25～20)度这个范围的天数，然后把这些天的用水量加起来做一个平均值，作为一个特征，这个特征和当天的用水量很相关。

将天气、风速、风向、周末、月份变量进行one-hot离散处理。

进一步地，由于北京市的日用水量为百万吨级别，先将日用水量做一个缩放，把日用水量sum进行log缩放，logsum＝log(sum+1)，方便后面的计算,例如：一天的用水量是两百万，通过这个公式缩放一下，就变成了14左右；如果是二十万，可能就缩放到10左右，将大数变小以便于计算。

本实施例中，经过步骤S3的训练后，均方根误差在0.02～0.03之间，且两两单模型的均方根误差之间的差值不超过其中一个单模型的均方根误差的10％的单模型包括：LASSO、ElasticNet、KernelRidge、GBOOST和XGBOOST，即这些单模型各自训练结果的rmse值较小且很接近。具体地，把数据划分为2017-2018年数据作为训练集，预测2019年的用水量，以rmse(均方根误差)作为评判标准，采用rmse值在0.025～0.03之间，且两两单模型的rmse值之间的差值不超过其中一个单模型rmse值的10％的多个单模型执行步骤S4的操作。

其中，y_i为2019年的日用水量真实值，

为2019年的日用水量预测值，真实值减去预测值，n为训练集中数据个数。

如图4所示，所述步骤S4包括：

如图5所示，以单模型LASSO、ElasticNet、KernelRidge、和GBOOST作为初级学习器为基础构建平均模型AveragingModels，AveragingModels也要满足上述均方根误差标准，即均方根误差在0.02～0.03之间。

如图6所示，以ElasticNet、KernelRidge和GBOOST分别作为所述初级学习器，通过学习后生成新数据集，用于训练次级学习器LASSO，以得到StackingAveragedModels。具体地，初级学习器的输出被当作样例输入特征，而初始样本的标记仍被当作样例标记，样例输入特征和样例标记输入次级学习器LASSO中，训练并得到模型StackingAveragedModels，StackingAveragedModels也要满足上述均方根误差标准。

将XGBOOST、AveragingModels和StackingAveragedModels乘上各自预设的融合系数，进行加权求和，得到所述用于下一天日用水量预测的组合模型，组合模型如下所示，下一天用水量sum为：

sum＝0.2*XGBOOST+0.3*AveragingModels+0.5*StackingAveragedModels

其中，通过多次训练测试过程，选择预测结果的rmse值在0.02～0.03范围内最小时的组合模型，此时，各模型前面的常数为0.2、0.3和0.5。

步骤S5中，预测下一天的日用水量时，将下一天的日用水量相关数据(即上述表格中除了日用水量字段的数据)按步骤S1和S2进行预处理和特征构建，将特征构建完成的数据带入组合模型即可预测下一天的日用水量。

进一步地，为了使预测更准确，将2017-2018年数据作为训练集，并分成五份，即五个训练集，用其中的四份来训练，然后对未用来的训练的一份训练集和测试集进行预测，预测结果的好坏均用rmse来判断。然后改变所选的用来训练的训练集和用来验证的训练集，重复此步骤，直到获得完整的训练集的预测结果。将获得上述三个模型(即XGBOOST、AveragingModels和StackingAveragedModels)，以及三个模型分别通过交叉验证获得的训练集预测结果。即P1、P2、P3、P4、P5。用这三个模型分别对测试集进行预测，得到测试集的预测结果：T1、T2、T3、T4、T5。将P1～P5、T1～T5作为下一层的训练集和测试集分别作为了模型LASSO的训练集和测试集，得到StackingAveragedModels模型。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (7)

1.一种基于大数据的日用水量预测方法，其特征在于，包括步骤：

S1：对包括日用水量、天气、温度、风速、降雨量的历史数据集进行预处理；

S2：对预处理后的历史数据集进行特征构建，以提取时间特征、基础统计特征、延迟特征和组合特征；

S3：将构建好的历史数据集输入多个机器学习模型分别进行单模型训练；

S4：采用均方根误差在0.02～0.03之间，且两两单模型的均方根误差之间的差值不超过其中一个单模型的均方根误差的10％的多个单模型进行模型进行融合，以得组合模型，且使所述组合模型的均方根误差在0.02～0.03之间；

S5：将下一天的日用水量数据按步骤S1和S2处理后带入所述组合模型，以预测下一天的日用水量。

2.如权利要求1所述的基于大数据的日用水量预测方法，其特征在于，所述步骤S1中预处理包括：异常值处理、缺失值处理和重复值处理。

3.如权利要求2所述的基于大数据的日用水量预测方法，其特征在于，所述步骤S1中，对于日用水量的异常值处理方式为：用前一天和后一天的数据均值填充，对于日用水量的缺失值处理方式为：使用随机森林回归填补缺失值。

4.如权利要求1所述的基于大数据的日用水量预测方法，其特征在于，所述步骤S2包括：

构建基础特征：统计温度，计算日用水量的均值、方差、最大值、最小值和中位数，画出正态分布，作出温度与日用水量的分布曲线，统计天气、风速、风向的数量；

构建时间特征：对历史数据加入月份特征以及工作日或周末特征；

构建延迟特征：加入前面三天的用水量作为特征，加入上周这一天的用水量作为特征，加入前七天用水量的平均值作为特征；

提取组合特征：加入之前相似的最高温度/最低温度的用水均值当作特征，如果有特征缺失，将前三天用水量的平均值插入；

将天气、风速、风向、周末、月份变量进行one-hot离散处理。

5.如权利要求4所述的基于大数据的日用水量预测方法，其特征在于，所述步骤S2中，在进行特征构建之间，还包括：将日用水量进行log缩放。

6.如权利要求1～5中任一项所述的基于大数据的日用水量预测方法，其特征在于，均方根误差在0.02～0.03之间，且两两单模型的均方根误差之间的差值不超过其中一个单模型的均方根误差的10％的单模型包括：LASSO、ElasticNet、KernelRidge、GBOOST和XGBOOST。

7.如权利要求6所述的基于大数据的日用水量预测方法，其特征在于，所述步骤S4包括：

以单模型LASSO、ElasticNet、KernelRidge、和GBOOST作为初级学习器为基础构建平均模型AveragingModels；

以ElasticNet、KernelRidge和GBOOST分别作为所述初级学习器，通过学习后生成新数据集，用于训练次级学习器LASSO，以得到StackingAveragedModels；

将XGBOOST、AveragingModels和StackingAveragedModels乘上各自预设的融合系数，进行加权求和，得到所述用于下一天日用水量预测的组合模型。

Images