CN107909084A - 一种基于卷积‑线性回归网络的雾霾浓度预测方法 - Google Patents

Abstract

本发明公开了一种基于卷积‑线性回归网络的雾霾浓度预测方法，首先将数据分为训练集，交叉验证集，且每部分的数据按时间顺序排列，将训练集的数据按照当时的雾霾平均浓度进行标记；然后对卷积‑线性回归网络进行训练，将有标记的训练集数据进行输入对神经网络进行训练，卷积‑线性回归神经网络的卷积层对数据进行特征提取，卷积层提取数据特征，池化层进行特征筛选，全连接层将图像变为一维向量，分类层根据训练好的参数对其进行分类，最后在线性回归层对数据进行线性拟合，再使用交叉验证集数据监测网络训练的准确度和进度，并对参数进行调整，对输出的线性回归拟合结果进行分析就可以实现对未来雾霾浓度等级的预测。

Description

一种基于卷积-线性回归网络的雾霾浓度预测方法

技术领域

本发明属于天气预测与机器学习技术领域，更为具体地讲，涉及一种基于卷积-线性回归网络的雾霾浓度预测方法。

背景技术

现阶段雾霾领域研究，采用的机器学习方法大多为浅层结构，这些结构通常只包含一至两层的非线性特征转换层，典型的浅层结构有高斯混合模型(GMM)、隐马尔科夫模型(HMM)、条件随机域(CRF)、最大熵模型(MEM)、逻辑回归(LR)、支持向量机(SVM)和多层感知器(MLP)。

2011年，Voukantsis等研究者将主成分分析法和多层人工神经网络的方法相结合，对两个城市(希腊港口和芬兰首都)的第二天的日平均PM10和PM2.5浓度进行预测，其模型运用到两个城市准确度均能达到60％以上。H.Sakaino提出了一种基于图像的预测方法，其可以使用流体状图像序列(即动态纹理)从不同的图像源(例如基于地面的雷达成像器，卫星传感器和闪电)物理地预测近未来的空间-时间图像变化检测器，针对高纬度的图像，该作者提出了一个基于计算机视觉框架的时空预测方法，它采用基于物理的模型与时变光流。

在2015年的CVPR会议上，Shi等人根据雷达信息，将FC-LSTM(Fully ConnectedLong Short-Term Memory)的运用到了对未来降雨的预测上，并在该方法中加入了卷积，优化了预测结果，结果表明加入卷积后，在时空关系上的预测更为精确。

发明内容

本发明的目的在于克服现有技术的不足，提供一种基于卷积-线性回归网络的雾霾浓度预测方法，利用卷积-线性回归网络的线性回归拟合结果，实现对未来雾霾浓度等级的预测。

为实现上述发明目的，本发明一种基于卷积-线性回归网络的雾霾浓度预测方法，其特征在于，包括以下步骤：

(1)、从NASA官网下载所需的modis卫星图像，按照时间顺序对所有的卫星图像进行存储，并将其分为：训练集与交叉验证集；

(2)、对卫星图像进行归一化处理

在ENVI软件中打开存储的卫星图像，按照如下步骤提取卫星图像中的感兴趣区域；

(2.1)、在选中的卫星图像的打开窗口Image Display中，添加矢量边界层[Overlay]--->[Vectors]；

(2.2)、选择[Basic Tools]中的[Masking]菜单下的[Build Mask]工具并打开，再选择当前打开的卫星图像的窗口Select Input Display，如果当前打开的卫星图像在Display#1中打开，就选择选项中的Display#1即可；

(2.3)、点击[OK]后跳出的对话框中的[Options]菜单下选择[Import EVFs]命令，选中矢量边界文件.evf格式，再确定输出结果的方式[File]或[Memory]；

(2.4)、点击[Apply]后生成MASK文件，再利用生成的MASK文件使用[Apply Mask]工具进行掩膜操作，从而提取出卫星图像中的感兴趣区域；

(3)、按照国家标准的空气污染指数，按照等级对训练集的雾霾浓度进行标记处理；

(4)、搭建包含线性回归层的卷积-线性回归神经网络模型，使用带标签的训练集数据训练卷积-线性回归网络模型，调整模型参数，使得卷积层能够提取卫星图像特征，分类层可以对其进行准确的分类，线性回归层能够对其进行恰当拟合；

(5)、利用交叉验证集数据对模型训练的进度进行判断，当模型的准确度训练至90％以上时，判定模型可用，能够用于雾霾浓度的预测；

(6)、将近期的雾霾数据按照时间顺序排列，再输入进训练好的网络模型中，实现对未来的雾霾浓度等级进行预测。

本发明的发明目的是这样实现的：

本发明为一种基于卷积-线性回归网络的雾霾浓度预测方法，首先将数据分为训练集，交叉验证集，且每部分的数据按时间顺序排列，将训练集的数据按照当时的雾霾平均浓度进行标记；然后对卷积-线性回归网络进行训练，将有标记的训练集数据进行输入对神经网络进行训练，卷积-线性回归神经网络的卷积层对数据进行特征提取，卷积层提取数据特征，池化层进行特征筛选，全连接层将图像变为一维向量，分类层根据训练好的参数对其进行分类，最后在线性回归层对数据进行线性拟合，再使用交叉验证集数据监测网络训练的准确度和进度，并对参数进行调整，对输出的线性回归拟合结果进行分析就可以实现对未来雾霾浓度等级的预测。

同时，本发明一种基于卷积-线性回归网络的雾霾浓度预测方法还具有以下

有益效果：

(1)、传统方法均为对MODIS图像进行暗元素反演方法等方法进行雾霾浓度的反演，所以证明可以通过MODIS卫星图像提取雾霾浓度，利用CNN提取其特征就可以对雾霾不同浓度进分类。

(2)、雾霾监测站覆盖面有限，而卫星图像覆盖面广可以获得想要的任何位置的雾霾浓度；利用训好的卷积神经网络减去了人工反演MODIS图像的过程；使用更方便，将训练好的网络，随时输入前几日的MODIS图像就可以进行雾霾预测。

附图说明

图1是本发明基于卷积-线性回归网络的雾霾浓度预测方法流程图；

图2是卷积-线性回归网络的的模型图。

具体实施方式

下面结合附图对本发明的具体实施方式进行描述，以便本领域的技术人员更好地理解本发明。需要特别提醒注意的是，在以下的描述中，当已知功能和设计的详细描述也许会淡化本发明的主要内容时，这些描述在这里将被忽略。

实施例

图1是本发明基于卷积-线性回归网络的雾霾浓度预测方法流程图。

在本实施例中，如图1所示，本发明是一种基于卷积-线性回归网络的雾霾浓度预测方法，包括以下步骤：

S1、卫星数据收集

从NASA官网下载所需的modis卫星图像，可以通过时间范围，经纬度或者国家等条件筛选所需要的卫星图像。按照时间顺序对所有的卫星图像进行存储，并将其百分之八十作为训练集，其余百分之二十作为交叉验证集；

S2、卫星图像归一化处理

在ENVI软件中打开存储的卫星图像，需要对卫星图像中感兴趣区域进行提取根据某国家(省、市、地区等)行政边界的矢量多边形数据提取影像中的感兴趣区域；

具体方法为：

S2.1、在选中的卫星图像的打开窗口Image Display中，添加矢量边界层[Overlay]--->[Vectors]；

S2.2、选择[Basic Tools]中的[Masking]菜单下的[Build Mask]工具并打开，再选择当前打开的卫星图像的窗口Select Input Display，如果当前打开的卫星图像在Display#1中打开，就选择选项中的Display#1即可；

S2.3、点击[OK]后跳出的对话框中的[Options]菜单下选择[Import EVFs]命令，选中矢量边界文件.evf格式，再确定输出结果的方式[File]或[Memory]；

S2.4、点击[Apply]后生成MASK文件，再利用生成的MASK文件使用[Apply Mask]工具进行掩膜操作，从而提取出卫星图像中的感兴趣区域。

S3、训练集数据标记处理

按照国家标准的空气污染指数，按照等级对训练集的雾霾浓度进行标记处理；按照国家标准对雾霾浓度的分类雾霾分为五类，分别用1,2,3,4,5表示0～50、51～100、101～200、201～300和大于300的雾霾浓度,并将所有数据存入同一数据库不同的表中等待调用。

S4、卷积-线性回归神经网络的搭建

搭建包含线性回归层的卷积-线性回归神经网络模型，使用带标签的训练集数据训练卷积-线性回归网络模型，调整模型参数，使得卷积层能够提取卫星图像特征，分类层可以对其进行准确的分类，线性回归层能够对其进行恰当拟合；

下面我们结合图2对具体过程进行详细描述：

搭建卷积-线性回归网络，具体包括：输入层-多层的(卷积层-池化层)-全连接层-分类层-线性回归预测层-输出层；

S4.1卷积层的搭建与特点：神经网络中，每一层都是全连接的，假如输入是一幅1000*1000*1的图像，则输入层与隐层某一个节点将有1000*1000个权重需要训练，这会导致训练困难。而卷积神经网络的卷积层每个节点与上一层某个区域通过卷积核连接，而与这块区域以外的区域无连接。同样对于一副1000*1000*1的图像，采用10*10的卷积核，那么卷积层每个节点只需要训练100个节点；在卷积的过程中不会丢失图像的位置空间信息，非常符合我们的应用。

卷积操作是用一个卷积核与图像对应区域进行卷积得到一个值，然后不断的移动卷积核和求卷积，就可完成对整个图像的卷积。在卷积神经网络中，卷积层的计算不仅涉及一般图像卷积概念，还有深度和步长的概念。深度决定同一个区域的神经元个数，也就是有几个卷积核对同一块区域进行卷积操作；步长是卷积核移动多少个像素。此实施例中我们以输入数据的大小长宽相等为例，设输入大小为m*m*3，卷积核窗口大小为k*k，步长为s，并在输入数据的外圈的长宽方向进行了填0扩充，即padding的层数为P；其每层的输出尺寸n*n公式如下：

得到了卷积层每层深度的特征图后，需要将这些特征输入到激活函数中，从而得到卷积层最终的输出。神经网络中常用的sigmoid函数和双曲正切函数容易饱和，造成梯度消失。在卷积神经网络部分，中采用的是另外一种激活函数：ReLU。

ReLU(x)＝max(0，x)

S4.2池化层的搭建，池化层选取窗口大小为：k*k，步长为k，这样就不会重叠，进而在减少特征的同时也能实现防止过拟合的效果；选择max pooling，在max pooling的时候，我们不仅要得到最大值，同时还要记录下最大值得坐标，然后再unpooling的时候，就直接把这个点的坐标填上去，其它的激活值全部为0。

S4.3全连接层与分类层的搭建：在全连接层，将上一层输出的二维图像转化为一维的长矩阵，以便于分类层的分类；在分类层，通过全连接层的长矩阵和数据的标签，使用softmax多分类方法对有标签的数据进行分类；

S4.4线性回归层的搭建：将分类层的输出作为纵坐标y，而数据在输入时是按照时间顺序，所以可以将时间作为横坐标x。这样我们就可以通过线性回归拟合出一条曲线，通过该曲线就可以对下一时刻雾霾等级进行预测。

S5、利用交叉验证集数据对模型训练的进度进行判断，当模型的准确度训练至90％以上时，判定模型可用，能够用于雾霾浓度的预测；

S6、将近期的雾霾数据按照时间顺序排列，再输入进训练好的网络模型中，实现对未来的雾霾浓度等级进行预测。

尽管上面对本发明说明性的具体实施方式进行了描述，以便于本技术领域的技术人员理解本发明，但应该清楚，本发明不限于具体实施方式的范围，对本技术领域的普通技术人员来讲，只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内，这些变化是显而易见的，一切利用本发明构思的发明创造均在保护之列。

Claims (1)

1.一种基于卷积-线性回归网络的雾霾浓度预测方法，其特征在于，包括以下步骤：

(1)、从NASA官网下载所需的modis卫星图像，按照时间顺序对所有的卫星图像进行存储，并将其分为：训练集与交叉验证集；

(2)、对卫星图像进行归一化处理

在ENVI软件中打开存储的卫星图像，按照如下步骤提取卫星图像中的感兴趣区域；

(2.1)、在选中的卫星图像的打开窗口Image Display中，添加矢量边界层[Overlay]--->[Vectors]；

(2.2)、选择[Basic Tools]中的[Masking]菜单下的[Build Mask]工具并打开，再选择当前打开的卫星图像的窗口Select Input Display，如果当前打开的卫星图像在Display#1中打开，就选择选项中的Display#1即可；

(2.3)、点击[OK]后跳出的对话框中的[Options]菜单下选择[Import EVFs]命令，选中矢量边界文件.evf格式，再确定输出结果的方式[File]或[Memory]；

(2.4)、点击[Apply]后生成MASK文件，再利用生成的MASK文件使用[Apply Mask]工具进行掩膜操作，从而提取出卫星图像中的感兴趣区域；

(3)、按照国家标准的空气污染指数，按照等级对训练集的雾霾浓度进行标记处理；

(4)、搭建包含线性回归层的卷积-线性回归神经网络模型，使用使用带标签的训练集数据训练卷积-线性回归网络模型，调整模型参数，使得卷积层能够提取卫星图像特征，分类层可以对其进行准确的分类，线性回归层能够对其进行恰当拟合；

(5)、利用交叉验证集数据对模型训练的进度进行判，当模型的准确度训练至90％以上时，判定模型可用，能够用于雾霾浓度的预测；

(6)、将近期的雾霾数据按照时间顺序排列，再输入进训练好的网络模型中，实现对未来的雾霾浓度等级进行预测。