CN106779054A - 一种基于雾天图像的pm2.5估计方法 - Google Patents

Abstract

本发明涉及一种基于雾天图像的PM2.5估计方法，根据已有的雾天图像大气散射模型，利用卷积神经网络，将其中的透射率提取出来；利用多尺度深度网络估计图像深度；利用以上的透射率与深度信息，求得与PM2.5及空气质量直接相关的大气散射系数β；最后再利用数据挖掘的相关算法确定β与PM2.5的关系。通过以上步骤，实现了通过单一的雾天图片对其场景的PM2.5的估计。

Description

一种基于雾天图像的PM2.5估计方法

技术领域

本发明涉及一种基于雾天图像的PM2.5估计方法，属于空气质量监测领域。

背景技术

随着我国经济社会的快速发展，以煤炭为主的能源消耗大幅攀升，机动车保有量急剧增加，我国大部分地区PM2.5污染形势不容乐观。据世界卫生组织(WHO)最近发布的全球污染地图，高达92％的全球人口生活在空气质量不达标的地区，而中国仅有青藏高原空气质量达标。同时，PM2.5还会对人体健康造成危害：气象专家和医学专家认为，由细颗粒物造成的灰霾天气对人体健康的危害甚至要比沙尘暴更大。粒径大于2.5微米以下的细颗粒物会被人体自身的免疫系统阻挡在身体之外，而粒径在2.5微米以下的细颗粒物被人体吸入后会直接进入支气管，对呼吸系统和心血管系统造成伤害，包括呼吸道受刺激、咳嗽、呼吸困难、降低肺功能、加重哮喘、导致慢性支气管炎、心律失常、非致命性的心脏病、心肺病患者的过早死。

我国目前测量PM2.5的方式主要依赖于数量有限的精密设备：即在每个城市设定固定的监测点，在固定的时间段采用物理检测的方法更新PM2.5数据，这样的检测方法不仅成本高，实时性较差，同时也会耗费更多的人力。而且由于设备价格昂贵，一个城市只能布设少数的监测点，无法实现城市全区域的PM2.5检测。

随着深度学习技术的发展，尤其是卷积神经网络在计算机视觉领域的成功运用，使得图像对PM2.5污染物的测量得以实现。其中，专利《基于无参考图像清晰度评价的PM2.5浓度检测仪》(申请号：201410200873.7)提出了利用红外相机的检测方法，利用红外相机拍摄多张不同距离的照片，然后利用红外线测量技术以及相对距离分析得到图像深度，最终利用边缘模糊程度来估测PM2.5。该方法涉及红外相机，成本较高，不适合大规模的城市PM2.5监测；专利《一种基于深度学习的PM2.5污染物测量方法》(申请号：201410645121.1)通过对雾天图像的分析获取PM2.5浓度值，其本质是利用一个神经网络直接发掘雾天图像与PM2.5之间的关系。该方法的可实施性较差，原因如下：首先，一张图片至少有接近万级的像素点，直接将一张图像作为输入，经过卷积神经网络，不仅容易发生维度灾难，其计算量也是无法想象的，在训练网络时对GPU的处理能力要求高，而且训练时间较长；其次，一张图像包含了大量的信息，因此寻找一张图像与PM2.5的相关性难度较大，需要设计开发具有较强抗干扰能力的特征提取算法。

发明内容

本发明技术解决问题：克服现有技术的不足，提出一种基于雾天图像的PM2.5估计方法，该方法首先对图片先进行特征提取，有效地将多余信息去除，并通过算法求取出与PM2.5直接相关的量，更有针对性，有更高的可施行性。

本发明技术解决方案：一种基于雾天图像的PM2.5的估计方法，包括步骤如下：

步骤一：利用卷积神经网络，将雾天图像中的透射率提取出来；

步骤二：利用多尺度深度网络估计雾天图像的深度信息；

步骤三：根据现已知的雾天图像大气散射模型，利用步骤一与步骤二中得到的透射率与深度信息，求得与PM2.5及空气质量直接相关的大气散射系数β；最后利用数据挖掘方法确定β与PM2.5之间的关系。

所述步骤一中，卷积神经网络中的各层结构以及具体操作如下：

(1)合成样本数据以及预处理操作：样本数据为人工合成的雾天图像，即利用公式I(x)＝J(x)t(x)+α(1-t(x))，在清晰图像的基础上合成雾图，并做去噪、图像分割、像素归一化处理。公式中J(x)为清晰图像、t(x)即为透射率、α为全球大气光成分、I(x)即为人工合成的雾天图像；

(2)特征提取：卷积神经网络的第一层操作是特征提取，即利用最大输出单元作为非线性映射，通过自学习的方式提取图像中暗通道、最大对比度、色衰减度、色调差距等特征，达到降维的目的。具体操作为其中i,j为所要处理的像素点的位置，k为特征映射数，即为卷积滤波器、为偏差、I为雾天图像、为网络第一层的输出；

(3)多尺度映射：卷积神经网络的第二层操作实现了图像的多尺度映射，即使用平行卷积操作，保证在尺度不变的前提下实现多尺度的特征提取；在此，分别设定卷积滤波器的大小为3×3、5×5、7×7，具体操作为：其中F₁为第二步的输出，B₂为输入偏差，W₂为卷积滤波器，为第i个特征的第二层输出；

(4)局部极值化：卷积神经网络的第三层操作是局部极值化，其操作为其中Ω(x)为x像素点的邻域，y为邻域Ω(x)内的像素点，为第三层操作的输出，局部取极值的操作可以克服像素点的局部敏感性，并且可以在保证空间不变性的前提下，降低了在传输估计过程中的噪声；

(5)非线性回归：非线性回归是神经网络的第四层也是最后一层操作，其操作为即运用BReLU非线性激活函数对第三层输出进行修正处理，激活函数的斜率为其中W₄、B₄分别为第四层操作的滤波器与输入偏差，t_min与t_max限定了回归的区间，F₃为第三层操作的输出，为第四层操作的输出，即所求取的透射率t(x)。

所述步骤二中，多尺度深度网络的结构如下：

本步骤的主要思想为首先利用粗尺度网络在全局水平下估测场景的深度；再利用精细尺度网络在局部区域进行修正，其中，这两个步骤皆是以原始图像作为输入。除此之外，粗尺度网络的输出将作为精细尺度网络的第一层图像特征，其具体内容为：

(1)首先利用粗尺度神经网络在全局水平下估测场景深度，这样操作的目的保证了图像的连续性和完整性，保留了图像的全局信息。全局粗尺度网络的结构共包含五个特征提取层和两个完全连接层，其中特征提取层包括卷积层和最大池化。粗尺度网络的输出图像的分辨率是输入图像的1/4，同时，输出图像将成为第二步的输入；

(2)利用细尺度网络在局部区域进行修正，在局部精细尺度网络中，输入图像仍为原始图像，第一层的边缘特征提取采用卷积与池化操作；第二层操作的输入包括第一层的输出与第一步的粗尺度网络的输出的聚合，这也说明粗尺度网络输出应与池化操作后的输出尺寸相同；随后，使用零填充卷积保持输出尺寸不变，再进行两个卷积操作，即可得到图像的深度信息；

(3)多尺度深度网络训练的优化目标，即损失函数其中y为图像深度预测值，y^*为图像深度真实值，n为像素点个数；λ∈[0,1]，在此，折中选取λ＝0.5。

所述步骤三中，数据挖掘方法具体操作如下：

本步骤中，使用带有PM2.5标记的m个图像作为训练集。输入数据为大气散射系数向量B＝[β⁽¹⁾,β⁽²⁾,...,β^(m-1),β^(m)]^T，其中β⁽ⁱ⁾表示第i个样本的大气散射系数值；以对应的PM2.5值Y＝[y⁽¹⁾,y⁽²⁾,...,y^(m-1),y^(m)]^T作为输出，y⁽ⁱ⁾表示第i个样本对应的真实的PM2.5值；

设定其回归关系函数为H(Θ)，其中向量Θ＝[θ⁽¹⁾,θ⁽²⁾,...,θ^(n-1),θ⁽ⁿ⁾]，θ⁽ⁱ⁾表示函数的第i个参数值；通过优化其代价函数来确定H(Θ)的各个参数，其中h_θ(β⁽ⁱ⁾)是通过回归关系函数将第i个样本的大气散射系数映射成估计的PM2.5值的操作。在此，为使代价函数达到最小，将采用梯度下降法求得代价函数的最小值以及使得代价函数最小的各个参数值。

所述梯度下降法的具体实现为：第j个参数θ_j迭代求取的操作为a表示迭代步长。

本发明与现有技术相比的优点在于：

(1)本发明基于雾天图像来估计PM2.5浓度，相比于传统的PM2.5测量仪器，本方法虽然在精确度上有所下降，但是该方法不依赖于昂贵的监测设备，而雾天图像的获取是相对简单的(比如社交网络平台可以提供大量的雾天图像)，使得本方法可实施性更高，方式也更加简单。同时能够实现城市全区域的PM2.5实时监测。

(2)本发明与专利《基于无参考图像清晰度评价的PM2.5浓度检测仪》(申请号：201410200873.7)相比，利用了神经网络估计图像深度，而并非依赖红外线测距等方式测量图像深度，使得本方法可处理更多没有深度信息标签的图像。并且，由于不依赖于专门的红外相机，其成本也大大降低。

(3)本发明与专利《一种基于深度学习的PM2.5污染物测量方法》(申请号：201410645121.1)相比，首先对雾天图像进行了特征提取，有效地将多余信息去除，并通过算法求取与PM2.5直接相关的量，可以将雾天图像中与PM2.5有关的信息初步提取出来，可以降低雾天图像中其他内容的干扰。而对比文件的做法是直接用一个神经网络寻找图像与PM2.5的关系，不但计算量巨大，而且可实施性较低。因此本发明提出的方法具有更高的可施行性。

附图说明

图1为本发明总流程图；

图2为BReLU非线性回归函数；

图3为获取深度图操作图。

具体实施方式

下面结合附图及实施例对本发明进行详细说明。

如图1所示，本发明方法具体如下：

一、利用卷积神经网络，将图像中的透射率t(x)提取出来

(1)合成样本数据以及预处理操作：在训练网络过程中，由于缺少雾天图像与同样的清晰图，所以选择利用公式I(x)＝J(x)t(x)+α(1-t(x))，在清晰图像的基础上合成雾天图像，并做去噪、像素归一化等处理，并且将输入图像分割成16×16的块进行处理。公式中J(x)为清晰图像、t(x)即为透射率、α为全球大气光成分、I(x)即为人工合成的雾天图像；

(2)特征提取：卷积神经网络的第一层操作是特征提取，即利用最大输出单元作为非线性映射，通过自学习的方式提取图像中暗通道、最大对比度、色衰减度、色调差距等特征，以达到降维的目的。特征提取的本质是对原始图像的卷积操作，其滤波器为最大输出单元，在各个特征的颜色通道里取得极值，将图像的维度降低了k倍，k指的是特征映射数。具体操作为其中i,j为所要处理的像素点的位置，为卷积滤波器、为偏差、I为雾天图像、为网络第一层的输出；

(3)多尺度映射：卷积神经网络的第二层操作实现了图像的多尺度映射，即使用平行卷积操作，保证在尺度不变的前提下实现多尺度的特征提取；在此，分别设定卷积滤波器的大小为3×3、5×5、7×7，每种滤波器的数量相同。具体操作为：其中F₁为第二步的输出，B₂为输入偏差，W₂为卷积滤波器，为第i个特征的第二层输出；

(4)局部极值化：卷积神经网络的第三层操作是局部极值化，其操作为其中Ω(x)为x像素点的邻域，y为邻域Ω(x)内的像素点，为第三层操作的输出。局部取极值操作是为了使每个像素克服局部敏感性，同时在保证空间不变性的前提下，降低在传输估计过程中的噪声。相比于卷积神经网络的池操作，局部取极值操作可以应用在每个特征映射中，拥有更好的适用性；

(5)非线性回归：非线性回归是神经网络的第四层也是最后一层操作，其操作为即运用BReLU非线性激活函数对第三层输出进行修正处理。BReLU非线性激活函数结构如图2所示，其中激活函数的斜率为W₄、B₄分别为第四层操作的滤波器与输入偏差，t_min与t_max限定了回归的区间，F₃为第三层操作的输出，为第四层操作的输出，即所求取的透射率t(x)。BReLU函数的结构通过限定回归区间，有效地防止在Sigmoid和ReLU回归函数下出现的神经网络梯度消失以及响应溢出等情况。

(6)神经网络的训练过程中，本发明选择使用随机梯度下降法来训练网络中每一层滤波器以及偏差的各个参数，使得训练函数最小，其中Δ为所要训练的每层的滤波器和偏差的参数的集合、为RBG颜色通道与透射率t(x)的映射操作、为第i个输入分割块(共有N个分割块)、t_i为第i个块的实际透射率。

二、利用多尺度深度网络估计得到图像深度

本步骤的主要思想为首先利用粗尺度网络在全局水平下估测场景的深度；再利用精细尺度网络在局部区域进行修正。

多尺度深度网络的具体操作可参考图3，其中上层网络为粗尺度神经网络，下层网络为精细尺度网络。其中，这两个网络皆是以原始图像作为输入。除此之外，粗尺度网络的输出将作为精细尺度网络的第一层图像特征。图中方框图表示输出图像，方框图大小大致表示图像大小。

其具体内容为：

(1)首先利用粗尺度神经网络在全局水平下估测场景深度，这样操作的目的保证了图像的连续性和完整性，保留了图像的全局信息。全局粗尺度网络的结构共包含五个特征提取层和两个完全连接层，其中特征提取层包括卷积层和最大池化。粗尺度网络的输出图像的分辨率是输入图像的1/4，同时，输出图像将成为第二步的输入。图3中卷积操作后的每个方形大小近似表示输出图像的大小比例，仅供参考；

(2)利用细尺度网络在局部区域进行修正。在局部精细尺度网络中，输入图像仍为原始图像，第一层的边缘特征提取采用卷积与池化操作；第二层操作的输入包括第一层的输出与第一步的粗尺度网络的输出的聚合，这也说明粗尺度网络输出应与池化操作后的输出尺寸相同；随后，使用零填充卷积保持输出尺寸不变，再进行两个卷积操作，即可得到图像的深度信息；

(3)多尺度深度网络训练的优化目标，即训练过程中的损失函数 其中y为图像深度预测值，y^*为图像深度真实值，n为像素点个数；λ∈[0,1]，在此，λ被用来调整权重，本发明实施例经过大量试验折中选取λ＝0.5。

三、寻找图像中大气参数与污染指数的关系

本步骤中，使用带有PM2.5标记的m个图像作为训练集。输入数据为大气散射系数向量B＝[β⁽¹⁾,β⁽²⁾,...,β^(m-1),β^(m)]^T，其中β⁽ⁱ⁾表示第i个样本的大气散射系数值；以对应的PM2.5值Y＝[y⁽¹⁾,y⁽²⁾,...,y^(m-1),y^(m)]^T作为输出，y⁽ⁱ⁾表示第i个样本对应的真实的PM2.5值；

设定其回归关系函数为H(Θ)，其中向量Θ＝[θ⁽¹⁾,θ⁽²⁾,...,θ^(n-1),θ⁽ⁿ⁾]，θ⁽ⁱ⁾表示函数的第i个参数值；通过优化其代价函数来确定H(Θ)的各个参数，其中h_θ(β⁽ⁱ⁾)是通过回归关系函数将第i个样本的大气散射系数映射成估计的PM2.5值的操作。在此，为使代价函数达到最小，将采用梯度下降法求得代价函数的最小值以及使得代价函数最小的各个参数值。

所述梯度下降法的具体实现为：第j个参数θ_j迭代求取的操作为a表示迭代步长。

提供以上实施例仅仅是为了描述本发明的目的，而并非要限制本发明的范围。本发明的范围由所附权利要求限定。不脱离本发明的精神和原理而做出的各种等同替换和修改，均应涵盖在本发明的范围之内。

Claims (5)

1.一种基于雾天图像的PM2.5估计方法，其特征在于包括步骤如下：

步骤一：利用卷积神经网络，将雾天图像中的透射率提取出来；

步骤二：利用多尺度深度网络估计雾天图像的深度信息；

步骤三：根据已有的雾天图像大气散射模型，利用步骤一与步骤二中得到的透射率与深度信息，求得与PM2.5及空气质量直接相关的大气散射系数β；最后利用数据挖掘方法确定β与PM2.5之间的关系。

2.根据权利要求1所述的基于雾天图像的PM2.5估计方法，其特征在于：所述步骤一中，卷积神经网络中的各层结构以及具体操作如下：

(1)合成样本数据以及预处理操作：样本数据为人工合成的雾天图像，即利用公式I(x)＝J(x)t(x)+α(1-t(x))，在清晰图像的基础上合成雾图，并做去噪、图像分割、像素归一化处理，其中J(x)为清晰图像、t(x)即为透射率、α为全球大气光成分、I(x)即为人工合成的雾天图像；

(2)特征提取：卷积神经网络的第一层操作是特征提取，即利用最大输出单元作为非线性映射，通过自学习的方式提取图像中暗通道、最大对比度、色衰减度、色调差距等特征，达到降维的目的；具体操作为其中i,j为所要处理的像素点的位置，k为特征映射数，即为卷积滤波器、为偏差、I为雾天图像、为网络第一层的输出；

(3)多尺度映射：卷积神经网络的第二层操作实现了图像的多尺度映射，即使用平行卷积操作，保证在尺度不变的前提下实现多尺度的特征提取；在此，分别设定卷积滤波器的大小为3×3、5×5、7×7，具体操作为：其中F₁为第二步的输出，B₂为输入偏差，W₂为卷积滤波器，为第i个特征的第二层输出；

(4)局部极值化：卷积神经网络的第三层操作是局部极值化，其操作为其中Ω(x)为x像素点的邻域，y为邻域Ω(x)内的像素点，F₃ ⁱ为第三层操作的输出；

(5)非线性回归：非线性回归是神经网络的第四层也是最后一层操作，其操作为即运用BReLU非线性激活函数对第三层输出进行修正处理，激活函数的斜率为其中W₄、B₄分别为第四层操作的滤波器与输入偏差，t_min与t_max限定了回归的区间，F₃为第三层操作的输出，为第四层操作的输出，即所求取的透射率t(x)。

3.根据权利要求1所述的基于雾天图像的PM2.5估计方法，其特征在于：所述步骤二中，多尺度深度网络的结构如下：

(1)首先利用全局粗尺度神经网络在全局水平下估测场景深度，全局粗尺度网络的结构共包含五个特征提取层和两个完全连接层，其中特征提取层包括卷积层和最大池化。粗尺度网络的输出图像的分辨率是输入图像的1/4，同时，输出图像将成为第二步的输入；

(2)利用局部细尺度网络在局部区域进行修正，在局部精细尺度网络中，输入图像仍为原始图像，第一层的边缘特征提取采用卷积与池化操作；第二层操作的输入包括第一层的输出与第一步的粗尺度网络的输出的聚合，这也说明粗尺度网络输出应与池化操作后的输出尺寸相同；随后，使用零填充卷积保持输出尺寸不变，再进行两个卷积操作，即可得到图像的深度信息；

(3)多尺度深度网络训练的优化目标，即损失函数其中y为图像深度预测值，y^*为图像深度真实值，n为像素点个数；λ∈[0,1]，λ＝0.5。

4.根据权利要求1所述的基于雾天图像的PM2.5估计方法，其特征在于：所述步骤三中，数据挖掘方法具体操作如下：

使用带有PM2.5标记的m个图像作为训练集，输入数据为大气散射系数向量B＝[β⁽¹⁾,β⁽²⁾,...,β^(m-1),β^(m)]^T，其中β⁽ⁱ⁾表示第i个样本的大气散射系数值；以对应的PM2.5值Y＝[y⁽¹⁾,y⁽²⁾,...,y^(m-1),y^(m)]^T作为输出，y⁽ⁱ⁾表示第i个样本对应的真实的PM2.5值；

设定其回归关系函数为H(Θ)，其中向量Θ＝[θ⁽¹⁾,θ⁽²⁾,...,θ^(n-1),θ⁽ⁿ⁾]，θ⁽ⁱ⁾表示函数的第i个参数值；通过优化其代价函数来确定H(Θ)的各个参数，其中h_θ(β⁽ⁱ⁾)是通过回归关系函数将第i个样本的大气散射系数映射为估计的PM2.5值的操作，为使代价函数达到最小，将采用梯度下降法求得代价函数的最小值以及使得代价函数最小的各个参数值。

5.根据权利要求4所述的基于雾天图像的PM2.5估计方法，其特征在于：所述梯度下降法的具体实现为：第j个参数θ_j迭代求取的操作为a表示迭代步长。