CN112580864B - 结合多元数据应用价值提升的村镇生活垃圾产量预测系统 - Google Patents

Abstract

结合多元数据应用价值提升的村镇生活垃圾产量预测系统，涉及垃圾产量预测领域。本发明是为了解决现有垃圾产量预测方法对于乡村区域等城镇化规模发展、数据较为缺乏的地区无法将模型体系泛用，从而造成村镇生活垃圾产量预测精度不高的问题。本系统包括：数据预处理模块，高价值应用数据集获取模块，垃圾产量预测模块；所述数据采集模块用于采集研究年份范围的多元数据集；所述数据预处理模块用于对采集的多元数据集依次进行清洗降噪预处理；所述高价值应用数据集获取模块用于获取高价值应用数据集；所述垃圾产量预测模块用于获取预测的年份范围的垃圾产量。

Description

结合多元数据应用价值提升的村镇生活垃圾产量预测系统

技术领域

本发明涉及垃圾产量预测领域，特别涉及结合多元数据应用价值提升的村镇生活垃圾产量预测系统。

背景技术

伴随着我国城镇化水平的高速发展与人口数量的增长，截至2019年，生活垃圾年产量已经上升到了1.79亿吨的规模，我国村镇环境问题面临垃圾产生量增长快、运输处理能力不协调、运维成本欠优化、填埋导致的二次污染严重等现实挑战。生态环境部于2019年6月印发的《“无废城市”建设指标体系(试行)》中的生活垃圾管理中对人均生活垃圾日产生量的控制需求需要将数据的量级在时间尺度上进行细化，配合当地市政部门的精准环境管理，形成符合现实状况的精细化生活垃圾产量预测方法，用于服务当地生活垃圾管理资源的调配。生活垃圾的产量不仅由于经济发展水平的不同而不同，也受到季节、气候、能源、生活习惯的影响，因此城市和村镇的垃圾产量也有所不同。村镇生活垃圾产量波动较大且数据基础薄弱，因此建立针对村镇生活垃圾的垃圾产量预测方法是十分必要的。

目前我国城乡发展广泛存在着固废精细化治理建设需求与环境专题数据归口不一致、质量良莠不齐的问题。而现有技术中运用固废量处理模型预测固废产量多以发达城市为研究目标，对于乡村区域等城镇化规模待发展、数据较为缺乏的地区无法将模型体系泛用，目前预测生活垃圾产量的预测方法应用对我国村镇的生活垃圾产量预测会造成预测结果过高或过低的问题，当预测的生活垃圾产量高于实际垃圾产量则会造成针对垃圾产量部署的设备的浪费，当预测的生活垃圾产量低于实际垃圾产量则会造成部署的计划不全面，从而造成环境污染加重的问题。

发明内容

本发明目的是为了解决现有预测垃圾产量的方法应用在数据较为缺乏的地区时预测的精准度不高的问题，而提出了结合多元数据应用价值提升的村镇生活垃圾产量预测系统。

结合多元数据应用价值提升的村镇生活垃圾产量预测系统，包括：数据采集模块，数据预处理模块，高价值应用数据集获取模块，垃圾产量预测模块。

所述数据采集模块用于采集研究年份范围的多元数据集；

所述数据预处理模块用于对采集的多元数据集中的特征数据依次进行清洗降噪预处理；

所述高价值应用数据集获取模块用于获取高价值应用数据集；

所述垃圾产量预测模块用于获取预测的年份范围的垃圾产量。

本发明的有益效果为：

本发明针对村镇环境专题数据可能存在的格式不统一、数据有瑕疵的问题采用预处理、降维等数据应用价值提升范式的方法处理数据，减轻了人工预测生活垃圾计算过程的工作量；本发明综合通过岭回归学习算法提取了多元数据隐含价值信息，使预测方法更适用于村镇等数据缺乏、垃圾产量波动大的地区，提升了生活垃圾预测的精准度，从而解决针对对基础数据不够好的村镇生活垃圾产量预测准确率不高的问题。

附图说明

图1为结合数据价值提升的生活垃圾产量多元预测方法流程图。

具体实施方式

具体实施方式一：本实施方式一种结合多元数据应用价值提升的村镇生活垃圾产量预测系统包括：数据获取模块，数据预处理模块，高价值应用数据集获取模块，垃圾产量预测模块。

所述数据获取模块用于获取研究年份范围的多元数据集；

所述数据预处理模块用于对采集的多元数据集中的特征数据依次进行清洗降噪预处理；

所述高价值应用数据集获取模块用于获取高价值应用数据集；

所述垃圾产量预测模块用于获取预测的年份范围的垃圾产量。

具体实施方式二：本实施方式与具体实施方式一不同的是：所述数据获取模块用于获取研究年份范围的多元数据集，具体过程为：

获取以生活垃圾总产量为核心的城镇建设、市政环卫、交通能源、经济发展等社会统计的特征数据构成多元数据集，如下表所示：

表1模型数据特征属性

具体实施方式三：本实施方式与具体实施方式一至二不同的是：所述数据预处理模块用于对采集的多元数据集中的特征数据依次进行清洗降噪预处理，具体过程为：

步骤三一、计算多元数据集中每个特征数据异常值的上下限并对大于上限或小于下限的数据值进行检测剔除与条件替换：

步骤三一一、计算多元数据集中每个特征数据的异常值的上下限：

IQR＝Q3-Q1 (1)

A＝Q3+1.5(IQR) (2)

B＝Q1-1.5(IQR) (3)

其中，IQR是每组特征数据的第三四分位数与第一四分位数的差值，A是异常值的上限，B是异常值的下限，Q1是每组特征数据的第一四分位数，Q3是每组特征数据的第三四分位数；

步骤三一二、利用python中的numpy模块工具包的detect_outliers函数对大于上限或小于下限的数据值进行检测并转化为空值；

步骤三二、利用独热编码(One-HotEncoding)将步骤三一处理后的数据从字符类型变量转化为由1-0组成的二进制稀疏矩阵；

步骤三三、利用na-roughfix函数查找二进制稀疏矩阵变量中的空缺点位的数据，利用多元数据集中同一类别的数据进行补全即若字符型数据缺失则使用数据集中众数进行补全，若连续变量缺失则使用中位数进行数据填补。

具体实施方式四：本实施方式与具体实施方式一至三不同的是：所述高价值应用所述高价值应用数据集获取模块用于获取高价值应用数据集，具体过程为：

步骤四一、确认预处理后的特征数据的序列顺序：

选择参考数列、系统因素行为序列并进行编号，根据序号确定每一组数据的序列顺序：

所述参考序列是生活垃圾产量；

所述系统因素行为序列是多元数据集获取模块获取的多元数据集中除生活垃圾产量外的其余特征数据；

步骤四二、依次对各组的特征数据进行规范化处理：

其中，x′_i(1)是第i列第1行数据的值，x_i(k)是第i列第k行的数据规范化处理后的值，x′_i(k)是第i列第k行的数据的值，k＝1,2,3…m，m是特征数据的总行数。

步骤四三、计算规范化处理后的特征数据的灰色相对关联系数：

其中，x_i是系统因素行为序列，x₀是x_i的参照数列，i＝1,2,3…n是特征编号，ρ∈[0，1]是灰色关联分析的分辨系数，

是参照数列与第i列第k行对应特征差的最小值,

是参照数列与第i列第k行对应特征差的最大值；

步骤四四、对灰色关联系数进行加权计算获取灰色综合关联系数：

其中，m是特征数据的总行数，W_k是第k行关联系数在所有关联系数之和中的占比，r′_0i是加权计算后的灰色综合关联系数；

步骤四五、对于各组特征的灰色关联系数加权值进行排序，取灰色关联值最高的十个特征，作为高价值特征数据：

表3-1关联度综合评价排序表

其中，城市建设面积、数据年份、乡村居民可支配收入、城镇居民可支配收入、客运总量、公共交通运营里程、总人口、城市绿地面积、乡村人口、地区生产总值为高价值特征。

步骤四六、将高价值特征数据输入python的线性回归函数获得基于高价值特征的多元线性回归模型；

步骤四七、结合对灰色关联算法得出高价值特征因素进行基于年份的一元线性回归，获得研究年份范围的高价值应用因素数据集。

具体实施方式五：本实施方式与具体实施方式一至四不同的是：所述垃圾产量预测模块用于获取预测的年份范围的垃圾产量，具体过程为：

步骤五一、利用高价值特征数据集建立并训练岭回归预测模型，使用随机网格交叉验证方法进行超参数调优，具体过程为：

使用RandomizedSearchCV函数对训练好的的岭回归模型进行交叉验证调优，将参数分布进行设置，获取最优的模型超参数搭配。

步骤五二、使用研究年份范围前十年的高价值应用数据集作为特征参数导入到进行超参数调优后的岭回归模型中，获得研究区域未来五年的生活垃圾产量预测值。

实施例1：

为了进行生活垃圾产量的精确预测，于政府信息公开以及统计年鉴等渠道采集了2010年到2019年包含研究区域以及周边的11个市区的95组共计3040条相关统计数据，建立生活垃圾产量影响因素相关指标原始数据集。

对原始进行数据降维后的数据样本集容量总计为52组，以及10维的高相关性特征数据，与生活垃圾产量组成新数据集。使用岭回归模型对训练集进行拟合，并进行测试，计算后的绝对平均误差值为6529吨/年，模型预测准确率为93.66％，此时的模型误差较大，准确性有待调整提高。

采用交叉验证(Cross Validation)方法，进行模型参数的优化调整，将参数分布进行设置，获取最优的模型超参数搭配。调参后的结果，显示当前模型误差值大概在4235吨/年，模型预测准确率为95.16％。

本发明基于当地村镇场景下缺乏数据的基础情况，获得研究区域未来几年的较为精确的生活垃圾产量预测值，模型误差率伴随数据价值提升、数据降维、超参数调优等重要优化过程大幅度降低，为研究区域的生活垃圾资源预先配置提供了依据。

Claims (7)

1.结合多元数据应用价值提升的村镇生活垃圾产量预测系统，其特征在于：所述系统包括：数据获取模块，数据预处理模块，高价值应用数据集获取模块，垃圾产量预测模块；

所述数据获取模块用于获取研究年份范围的多元数据集；

所述数据预处理模块用于对采集的多元数据集中的特征数据依次进行清洗降噪预处理，包括以下步骤：

步骤三一、计算多元数据集中每个特征数据异常值的上下限并对大于上限或小于下限的数据值进行检测剔除与条件替换：

步骤三一一、计算多元数据集中每个特征数据的异常值的上下限：

IQR＝Q3-Q1 (1)

A＝Q3+1.5(IQR) (2)

B＝Q1-1.5(IQR) (3)

其中，IQR是每组特征数据的第三四分位数与第一四分位数的差值，A是异常值的上限，B是异常值的下限，Q1是每组特征数据的第一四分位数，Q3是每组特征数据的第三四分位数；

步骤三一二、利用python中的numpy模块工具包的detect_outliers函数对大于上限或小于下限的数据值进行检测并转化为空值；

步骤三二、利用独热编码将步骤三一处理后的特征数据从字符类型变量转化为由1-0组成的二进制稀疏矩阵；

步骤三三、利用na-roughfix函数查找二进制稀疏矩阵变量中的空缺点位的数据，利用多元数据集中同一类别的数据进行补全即若字符型数据缺失则使用数据集中众数进行补全，若连续变量缺失则使用中位数进行数据填补；

所述高价值应用数据集获取模块用于获取高价值应用数据集；

所述垃圾产量预测模块用于获取预测的年份范围的垃圾产量。

2.根据权利要求1所述的结合多元数据应用价值提升的村镇生活垃圾产量预测系统，其特征在于：所述数据获取模块获取的研究年份范围的多元数据集，包括以下特征数据：

生活垃圾年产量、研究所属城市、数据年份、城市面积、总人口数、城区面积、城市建设面积、城市绿地面积、城市居住面积、地区生产总值、第一产业生产值、第二产业生产值、第三产业生产值、第一产业占比、第二产业占比、第三产业占比、农村总产值、公共预算收入、公共预算支出、道路保洁面积、环卫车辆数量、城区人口、乡村人口、城镇居民可支配收入、乡村居民可支配收入、客运人数、城市道路里程、天然气消耗量、天然气用户量、用电总量、生活用水量、污水排放量。

3.根据权利要求2所述的结合多元数据应用价值提升的村镇生活垃圾产量预测系统，其特征在于：所述高价值应用数据集获取模块用于获取高价值应用数据集，具体过程为：

步骤四一、确认预处理后特征数据的序列顺序：

选择参考数列、系统因素行为序列并进行编号，根据序号确定每一组数据的序列顺序：

所述参考序列是生活垃圾产量；

所述系统因素行为序列是多元数据集获取模块获取的多元数据集中除生活垃圾产量外的其余特征数据；

步骤四二、依次对各组的特征数据进行规范化处理：

步骤四三、计算规范化处理后的特征数据的灰色相对关联系数；

步骤四四、对灰色关联系数进行加权计算获取灰色综合关联系数；

步骤四五、对于各组特征的灰色关联系数加权值进行排序，取灰色关联值最高的十个特征，作为高价值特征数据；

步骤四六、将高价值特征数据输入python的线性回归函数获得基于高价值特征的多元线性回归模型；

步骤四七、结合对灰色关联算法得出高价值特征因素进行基于年份的一元线性回归，获得研究年份范围的高价值应用因素数据集。

4.根据权利要求3所述的结合多元数据应用价值提升的村镇生活垃圾产量预测系统，其特征在于：所述步骤四二中依次对各组的特征数据进行规范化处理，具体过程为：

其中，x′_i(1)是第i列第1行数据的值，x_i(k)是第i列第k行的数据规范化处理后的值，x′_i(k)是第i列第k行的数据的值，k＝1,2,3…m，m是特征数据的总行数。

5.根据权利要求4所述的结合多元数据应用价值提升的村镇生活垃圾产量预测系统，其特征在于：所述步骤四三中计算规范化处理后的特征数据的灰色相对关联系数，具体过程为：

其中，x_i是系统因素行为序列，x₀是x_i的参照数列，i＝1,2,3…n是特征编号，ρ∈[0，1]是灰色关联分析的分辨系数，

是参照数列与第i列第k行对应特征差的最小值,

是参照数列与第i列第k行对应特征差的最大值。

6.根据权利要求5所述的结合多元数据应用价值提升的村镇生活垃圾产量预测系统，其特征在于：所述步骤四四中对灰色关联系数进行加权计算获取灰色综合关联系数，具体过程为：

其中，m是特征数据的总行数，W_k是第k行关联系数在所有关联系数之和中的占比，r′_0i是加权计算后的灰色综合关联系数。

7.根据权利要求6所述的结合多元数据应用价值提升的村镇生活垃圾产量预测系统，其特征在于：所述垃圾产量预测模块用于获取预测的年份范围的垃圾产量，具体过程为：

步骤五一、利用高价值特征数据集建立并训练岭回归预测模型，使用随机网格交叉验证方法进行超参数调优，具体过程为：

使用RandomizedSearchCV函数对训练好的的岭回归模型进行交叉验证调优，将参数分布进行设置，获取最优的模型超参数搭配；

步骤五二、使用研究年份范围前十年的高价值应用数据集作为特征参数导入到进行超参数调优后的岭回归模型中，获得研究区域未来五年的生活垃圾产量预测值。

Images