CN108376397A - 一种基于单幅图像估计空气质量的方法 - Google Patents

Abstract

本发明公开了一种基于单幅图像估计空气质量的方法，包括：采集已知空气质量指数的任意场景图像，建立数据库并进行扩充，得到空气质量等级为“优良”、“轻度污染”和“重度污染”三个等级的图像数据库；选取卷积神经网络经典模型——Alexnet模型作为本发明的空气质量模型，并利用Imagenet大数据进行预训练，提高深层特征差异性；预训练完成后，将本发明采集的场景图像库代入空气质量分类模型进行微调；微调完成后，将测试训练集图像空气质量分类模型进行场景空气质量分类；本发明首次提出利用场景图像信息进行空气质量估计，该方法无需任何测量仪器及人工辅助，分类准确率较高，且有较强的实时性，为未来大气污染监测技术的发展提供了新思路。

Description

一种基于单幅图像估计空气质量的方法

技术领域

本发明属于图像处理技术领域，涉及一种图像解析空气质量方法。

背景技术

随着我国的经济和社会的高速发展，城市一体化进程加快，工业规模也在迅速扩大，特别是煤和石油的持续使用，空气中存在着过多的颗粒物、二氧化硫和二氧化氮等有害污染物，空气污染环境问题越来越严峻，已经到了直接影响到生态环境和人类健康的地步。作为目前来说国际上最受关注的问题，空气污染不仅成为了诸多研究方向的研究热点，而且目前社会大众对该方面的问题也更加关注。空气质量已经成为了评价一个区域生活品质和舒适度的重要因素，值得全社会讨论和重视。

用于空气质量检测的直接量测方法包括光散射法(Journal of AppliedMeteorology,1970,9(9):86-103)、锥形元件震荡微天平法(Journal of the Air&WasteManagement Association,1991,41(8):1079-1083)等方法。此类方法大多受到颗粒物吸附水汽而产生变化的影响，且成本高昂(最便宜的光学测量系统单价也在上万元)，因而不适宜于大批量配置。为此，研究学者结合不同的数据来源，做出了一定的探索，如S.Vardoulakis提出利用高斯羽状模型、计算流体动力学模型、流转街道模型等估计空气质量(Atmospheric

Environment,2003,37(2):155-182)。微软亚洲研究院的郑宇博士通过结合气象信息、城市路网、交通流量等建立空气质量模型，可估算出任何一个角落一公里乘一公里细粒度的空气质量(Proceedings of the 19th ACM SIGKDD international conference onKnowledge discovery and data mining,ACM,2013:1436-1444)。这些方法虽然能得到较准确的结果，但对采集数据量级要求较高，无法实时性检测且普适性较差。

综上所述，现有空气质量检测技术不仅成本高，精度低，而且可推广性较低。而视觉特征作为空气质量最为直观的反映，与对应的空气质量息息相关。如果我们深入研究两者之间的关系，有望从视觉特征推导出对应的空气质量等级。

发明内容

本发明要解决的问题是：现有空气质量检测技术存在不足，如检测成本高、精度易受影响、局限性大、可推广性较低且实时性差等。因此需要一种低成本、无须人工干预、简单易实施的空气质量实时检测方法。

本发明的技术方案为：本发明设计了一种基于卷积神经网络的空气质量估计算法，卷积神经网络包含若干卷积层、池化层、激活层、全连接层及一个分类输出层，首先利用Imagenet大数据集对卷积神经网络进行预训练，再依靠场景数据库对网络参数进行微调，最后输入测试数据样本进行测试，得到最后的空气质量分类结果；具体过程如下：

步骤1：场景图像采集，本发明采集墨迹天气软件中的实景图像并进行了扩充；该数据集包含了3个空气质量等级，分别是：优良、轻度污染及重度污染；不同等级场景图像示意如图1图2图3所示；由于数据量较小，不符合深度学习的要求，故需进行扩充；

步骤2：图像预处理，统一将数据图像缩放为固定尺寸；为提高训练精度和速度，将训练图像减去均值再训练；

步骤3：构建空气质量分类模型；卷积神经网络主要包括卷积层、池化层、激活层、全连接层及输出层。本发明选取Alexnet网络模型作为空气质量分类模型，如图4所示；空气质量分类网络模型共有8层，其中前5层为卷积-池化层，后边3层为全连接层，最后的一个全连接层的输出是具有1000个输出的输出层；在每一个卷积-池化层以及全连接层后紧跟的操作是激活操作；

步骤4：将Imagenet大数据代入空气质量分类模型进行预训练；Imagenet是一个图像数据集，包含1500万张图像，2万多个名词对象的标注；本发明选取其中1000类图像作为训练数据，分别输入第n层卷积神经网络，提取卷积层中m个卷积核对应的m张待分类图像的特征，要说明的是第n层卷积神经网络包括第n层卷积-池化层和第n层激活层；然后将这m张归一化特征图像输入至第n+1层中重复执行上述操作；当输入至全连接层时，每个神经元都与前一层的每个神经元相连；输入图像经过多层的卷积、池化等操作后已呈现出高层特征，全连接层利用该特征对场景图像进行空气质量分类；在训练过程中，输入图像通过前向传递方法得到训练误差，再通过反向传播算法更新各层神经元的参数值；将Imagenet测试数据代入空气质量分类模型进行测试，若分类准确率达90％，则网络训练成功，预训练过程停止；

步骤5：将本发明采集的场景图像库代入步骤4训练完成的空气质量分类模型进行微调；微调过程就是用训练好的参数初始化自己的网络，然后用自己的数据接着训练，参数的调整方法与反向传播训练过程一样。在本发明中，要求场景空气质量分类网络待初始化的层数、类型及层的设置参数等均与预训练模型相同，但输出层分类类别需要改为本数据库中空气质量的类别个数；

步骤6：将待分类场景图像代入步骤5微调完成的空气质量分类模型实现场景空气质量分类；

作为本发明的一种优选方案，步骤3中卷积层卷积操作公式为：

其中l表示第l层，j表示卷积层的第j个核，M表示卷积核所在区域，k表示卷积核，b表示偏置，x表示特征图对应位置的值，f表示激活函数；

在卷积神经网络中常用的池化(下采样)运算有：最大池化、均值池化和高斯池化；在卷积神经网络设计过程中，池化层的设计只需要定义池化窗口的大小、池化方法和步长；本发明使用最大池化过程，表达式为：

式中是第i个输出图像上,第m行第n列上的神经元,其由第i个输入图像上大小为s×s的区域池化而成；

本发明中所用激活层表达式为：

y＝f_ReLU(x)＝max(x,0) (3)

式中x和y分别为输入和输出；

本发明中所用全连接层表达式为：

式中，y^j是一个输出向量中的第j个神经元,xⁱ是输入向量中的第i个神经元，w是一个全连层中的权重参数,b是偏置参数；

本发明中所用的输出层表达式为：

式中，pⁱ是第i类的输出比例，xⁱ是输入的第i个神经元，K是总类数；

作为本发明的一种优选方案，步骤4中的反向传播算法与梯度下降法结合，通过计算卷积神经网络中代价函数对所有参数的梯度来更新参数值，使得代价函数不断减小，实现对卷积神经网络的训练；

代价函数计算公式为：

式中Y_loss是代价值，和Y^j分别是第j个神经元真实标签和输出的值，k是输出神经元的总数。

网络各层的权重和偏置变化值计算公式为：

式中为参数变化值，α为基础学习率；

与现有技术相比，本发明具有以下优点：

该发明提出仅利用图像数据对任意场景空气质量进行分类，无需任何测量仪器及人工辅助，分类准确率较高，且有较强的实时性；

该发明提出利用卷积神经网络提取场景图像的高层特征并进行分类，突破了人工无法有效提取场景特征这一瓶颈，为未来大气污染监测技术的发展提供了新思路；

该发明引入Imagenet大数据对空气质量分类模型进行预训练，不仅弥补了小样本训练数据的不足，而且提取了更具类别差异的特征，提高了分类准确率。

附图说明

图1为本发明通过单幅图像估计空气质量方法流程图

图2为空气质量为优良的场景图像示意图；

图3为空气质量为轻度污染的场景图像示意图；

图4为空气质量为重度污染的场景图像示意图；

图5为空气质量分类模型示意图；

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明了，下面结合说明书发明内容并参照说明书附图,对本发明做进一步说明；如图1所示，本发明包括以下几步：

在步骤1中，本发明采集墨迹天气软件中的实景图像；该数据集包含了3个空气质量等级的图像即优良，轻度污染和重度污染，共计4000张；其中属于“优良”等级的图像有1500张，属于“轻度污染”等级的图像有1000张，属于“重度污染”等级的图像有1500张。本发明在“优良”等级数据集中取1000张图像作为训练集，500张作为测试集；在“轻度污染”等级数据集中取500张图像作为训练集，1000张图像作为测试集；在“重度污染”等级数据集中取1000张图像作为训练集，取500张图像作为测试集。由于数据量较小，不符合深度学习的要求，故对现有数据进行镜像处理，即左右反转，使得各数据集增至原来的两倍。

图像预处理，统一将数据图像缩放为固定尺寸；为提高训练精度和速度，将训练图像减去均值再训练；

在步骤2中，本发明统一将训练数据集和测试数据集中的图像缩放为宽：224像素个数，高：224像素个数；同时，为提高训练精度和速度，将训练数据集中图像每一个像素值减去图像总像素平均值代替原像素值；

在步骤3中，本发明构建空气质量分类模型；卷积神经网络主要包括卷积层、池化层、激活层、全连接层及输出层。本发明选取Alexnet网络模型作为空气质量分类模型，如图5所示；空气质量分类网络模型共有8层，其中前5层为卷积-池化层，后边3层为全连接层，最后的一个全连接层的输出是具有1000个输出的输出层；在每一个卷积-池化层以及全连接层后紧跟的操作是激活操作；网络的详细参数见表1；

表1空气质量分类模型详细参数

在步骤4中，本发明将Imagenet大数据代入空气质量分类模型进行预训练；在训练之前，需要设置训练参数，具体训练参数见表2；

表2空气质量模型训练参数

基础学习率α为0.01；本发明在训练过程中，选用“step”变化规律，同时结合学习率变化频率和学习率变化指数对基础学习率进行调整，学习率计算公式为：

式中γ为学习率变化频率，stepsize为学习率变化指数，iter为当前训练次数；

空气质量分类模型按照训练参数设置规则进行训练；选取1000类图像作为训练数据，每一类约1000张图像；将每一张训练图像分别输入第n层卷积神经网络，提取待分类图像的特征，要说明的是第n层卷积神经网络包括第n层卷积-池化层和第n层激活层；然后将这m张归一化特征图像输入至第n+1层中重复执行上述操作；当输入至全连接层时，每个神经元都与前一层的每个神经元相连；输入图像经过多层的卷积、池化等操作后已呈现出高层特征，全连接层利用该特征对场景图像进行空气质量分类；在训练过程中，输入图像通过前向传递方法得到训练误差，再通过反向传播算法更新各层神经元的参数值；选取1000类每一类约500张图像作为测试数据代入空气质量分类模型进行测试，若分类准确率达90％，则网络训练成功，预训练过程停止；

在步骤5中，本发明将采集的场景图像库代入步骤4训练完成的空气质量分类模型进行微调；微调过程就是用训练好的参数初始化自己的网络，然后用自己的数据接着训练，参数的调整方法与反向传播训练过程一样。在本发明中，要求场景空气质量分类网络待初始化的层数、类型及层的设置参数等均与预训练模型相同，但输出层分类类别需要改为本数据库中空气质量的类别个数；需要说明的是，微调网络最后一层需重新学习，相比较其它层需要有更快的学习速率，因此本发明将最后一层全连接层的权重和偏置的学习速率加快10倍，目的是让非微调层学习更快；

在步骤6中，本发明将测试数据集代入步骤5微调完成的空气质量分类模型实现场景空气质量分类；表3展示了本方法的分类结果及与其他方法的结果比较，可以发现本发明设计的空气质量分类模型在现有卷积网络模型中分类效果最好，高达98.6％，这表明了本发明中方法的有效性，也进一步说明了利用场景图像对空气质量进行估计是完全合理的；

表3不同卷积神经网络结构分类精度对比

网络结构	分类准确率
		Googlenet	90.8％
caffenet	96.6％
		VGG-16	95.8％
本方法	98.6％

最后，本申请的方法仅为较佳的实施方案，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (1)

1.一种基于单幅图像估计空气质量的方法，本发明的技术方案为：场景图像采集，本发明采集墨迹天气软件中的实景图像并进行了扩充；图像预处理，统一将数据图像缩放为固定尺寸；为提高训练精度和速度，将训练图像减去均值再训练；构建空气质量分类模型；将Imagenet大数据代入空气质量分类模型进行预训练；将本发明采集的场景图像库代入预训练完成的空气质量分类模型进行微调；将待分类场景图像代入微调完成的空气质量分类模型实现场景空气质量分类；具体过程如下：

步骤1：场景图像采集，本发明采集墨迹天气软件中的实景图像并进行了扩充；该数据集包含了3个空气质量等级，分别是：优良、轻度污染及重度污染；由于数据量较小，不符合深度学习的要求，故需进行扩充；

步骤2：图像预处理，统一将数据图像缩放为固定尺寸；为提高训练精度和速度，将训练图像减去均值再训练；

步骤3：构建空气质量分类模型；卷积神经网络主要包括卷积层、池化层、激活层、全连接层及输出层。本发明选取Alexnet网络模型作为空气质量分类模型；空气质量分类网络模型共有8层，其中前5层为卷积-池化层，后边3层为全连接层，最后的一个全连接层的输出是具有1000个输出的输出层；在每一个卷积-池化层以及全连接层后紧跟的操作是激活操作；卷积层卷积操作公式为：

其中l表示第l层，j表示卷积层的第j个核，M表示卷积核所在区域，k表示卷积核，b表示偏置，x表示特征图对应位置的值，f表示激活函数；

在卷积神经网络中常用的池化(下采样)运算有：最大池化、均值池化和高斯池化；在卷积神经网络设计过程中，池化层的设计只需要定义池化窗口的大小、池化方法和步长；本发明使用最大池化过程，表达式为：

式中是第i个输出图像上,第m行第n列上的神经元,其由第i个输入图像上大小为s×s的区域池化而成；

本发明中所用激活层表达式为：

y＝f_ReLU(x)＝max(x,0) (3)

式中x和y分别为输入和输出；

本发明中所用全连接层表达式为：

式中，y^j是一个输出向量中的第j个神经元,xⁱ是输入向量中的第i个神经元，w是一个全连层中的权重参数,b是偏置参数；

本发明中所用的输出层表达式为：

式中，pⁱ是第i类的输出比例，xⁱ是输入的第i个神经元，K是总类数；

步骤4：将Imagenet大数据代入空气质量分类模型进行预训练；Imagenet是一个图像数据集，包含1500万张图像，2万多个名词对象的标注；本发明选取其中1000类图像作为训练数据，分别输入第n层卷积神经网络，提取卷积层中m个卷积核对应的m张待分类图像的特征，要说明的是第n层卷积神经网络包括第n层卷积-池化层和第n层激活层；然后将这m张归一化特征图像输入至第n+1层中重复执行上述操作；当输入至全连接层时，每个神经元都与前一层的每个神经元相连；输入图像经过多层的卷积、池化等操作后已呈现出高层特征，全连接层利用该特征对场景图像进行空气质量分类；在训练过程中，输入图像通过前向传递方法得到训练误差，再通过反向传播算法更新各层神经元的参数值；将Imagenet测试数据代入空气质量分类模型进行测试，若分类准确率达90％，则网络训练成功，预训练过程停止；反向传播算法与梯度下降法结合，通过计算卷积神经网络中代价函数对所有参数的梯度来更新参数值，使得代价函数不断减小，实现对卷积神经网络的训练；代价函数计算公式为：

式中Y_loss是代价值，和Y^j分别是第j个神经元真实标签和输出的值，k是输出神经元的总数。

网络各层的权重和偏置变化值计算公式为：

式中为参数变化值，α为基础学习率；

步骤5：将本发明采集的场景图像库代入步骤4训练完成的空气质量分类模型进行微调；微调过程就是用训练好的参数初始化自己的网络，然后用自己的数据接着训练，参数的调整方法与反向传播训练过程一样。在本发明中，要求场景空气质量分类网络待初始化的层数、类型及层的设置参数等均与预训练模型相同，但输出层分类类别需要改为本数据库中空气质量的类别个数；

步骤6：将待分类场景图像代入步骤5微调完成的空气质量分类模型实现场景空气质量分类。