CN111340771B - 一种融合视觉信息丰富度和宽深度联合学习的细颗粒物实时监测方法 - Google Patents

一种融合视觉信息丰富度和宽深度联合学习的细颗粒物实时监测方法 Download PDF

Info

Publication number
CN111340771B
CN111340771B CN202010110068.0A CN202010110068A CN111340771B CN 111340771 B CN111340771 B CN 111340771B CN 202010110068 A CN202010110068 A CN 202010110068A CN 111340771 B CN111340771 B CN 111340771B
Authority
CN
China
Prior art keywords
neural network
wide
layer
learning
iteration
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010110068.0A
Other languages
English (en)
Other versions
CN111340771A (zh
Inventor
顾锞
张永慧
乔俊飞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing University of Technology
Original Assignee
Beijing University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing University of Technology filed Critical Beijing University of Technology
Priority to CN202010110068.0A priority Critical patent/CN111340771B/zh
Publication of CN111340771A publication Critical patent/CN111340771A/zh
Application granted granted Critical
Publication of CN111340771B publication Critical patent/CN111340771B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30181—Earth observation
    • G06T2207/30192—Weather; Meteorology
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

一种融合视觉信息丰富度和宽深度联合学习的细颗粒物实时监测方法属于智能环境感知领域，针对目前流行的基于电化学传感器的细颗粒物监测方法存在空间分布密度低、时间延迟等缺点。该方法将视觉信息丰富度测量与宽深度联合学习(VAWD)相结合，实现细颗粒物的实时监测。首先，细颗粒物浓度的增长会降低视觉信息丰富度，利用VAWD模型从变换空间中提取的三种特征来测量给定照片的视觉信息丰富度。其次，为了同时具备记忆和泛化的优点，设计了宽深度联合学习神经网络来学习上述提取特征与近地面的细颗粒物浓度之间的非线性映射。实验表明：提取的特征的有效性和VAWD模型相对于最先进的方法具有很大的优越性。

Description

一种融合视觉信息丰富度和宽深度联合学习的细颗粒物实时 监测方法
技术领域
本发明针对目前流行的基于电化学传感器的细颗粒物监测方法存在空间分布密度低、时间延迟等缺点，属于智能环境感知领域。
背景技术
随着工业化和城市化的不断快速发展，许多发展中国家的经济都实现了跨越式增长。然而，如此快速的工业化和城市化给生活环境带来了负面影响，特别是导致了严重的大气污染。细颗粒物作为大气污染的一种，不仅危害人类健康，而且降低能源利用效率。因此，细颗粒物监测及其后续控制在改善人类健康和能源利用方面发挥着关键作用，不断受到政府和公众的广泛关注。
细颗粒物的主流监测方法包括锥形元素的振荡微量天平方法，β-ray吸收法和重量法。锥形元素的振荡微量天平方法容易造成测量误差，降低测量精度；β-ray吸收法在测量过程中，很难使温度和湿度保持在一个恒定值；重量法虽然测量精度较高，但是也有一定的不足。以上三种方法都有明显的局限性，这使得这些监测方法不适用于人们高度期望的高密度空间分布的实时细颗粒物监测。为了解决上述问题，本发明设计了一种基于图像的实时细颗粒物浓度监测方法，该方法采用视觉信息丰富度和宽深度联合学习。
发明内容
本发明设计一种基于图像的实时细颗粒物浓度监测方法，首先进行视觉信息丰富度(VA)特征提取，通过计算熵来提取VA特征，然后开发一个有效的学习器，找到一个非线性函数，从给定照片中提取的特征映射到细颗粒物浓度的估计。VAWD的框架如图1所示。
本发明采用了如下的技术方案及实现步骤：
(1)VA特征提取
细颗粒物浓度升高的主要表现是使一张照片的视觉信息量降低，这主要体现在每张照图像的色调图(H)、饱和度图(S)和亮度图(V)中的像素值趋于一致。为更好地说明一张照片与细颗粒物浓度之间的关系，如图2所示，随着细颗粒物浓度的增加，色调图和饱和度图中的每个像素迅速下降到零，如图2的(2)和图2的(3)中左半部分所示。同时，亮度图中的每个像素迅速上升到255，如图2的(4)中左半部分所示。显然，与RGB相比，HSV空间更能反映细颗粒物浓度增长引起的照片视觉信息丰富度的变化。
对于RGB格式的照片Px,y，先将其从RGB空间转换为HSV空间:
Vx,y＝max{Rx,y,Gx,y,Bx,y} (1)
其中，x、y分别代表水平方向和垂直方向的像素值；Rx,y，Gx,y和Bx,y分别代表红、绿、蓝三种颜色通道，另外定义V′x,y＝min{Rx,y,Gx,y,Bx,y}。根据公式(1)，当细颗粒物浓度小幅升高时，RGB通道的所有像素值都会增大，因此V中的所有像素值也会增大；观察式(2)，在这种情况下，Vx,y会增加，但是Vx,y-V′x,y不变，Sx,y会变小；同样的，当光线完全被细颗粒物覆盖时，H中的每一个像素值都为零。总体而言，随着细颗粒物浓度的持续增加，HSV空间像素值将单调递减/递增，直至稳定值0/255；也就是说，它的相关VA值将下降到零。
如前所述，HSV空间更能感知细颗粒物浓度升高所引起的视觉信息量变化，同时，浓度较低的细颗粒物在其对应的色调、饱和度和亮度图中，像素值通常较为复杂多变，或具有较高的VA值。为了更好地提取VA特征，首先利用公式(4)改变照片Px,y的亮度，生成一组中间图片:
其中，φrnd是四舍五入到最接近的整数的取整函数；φmin是寻找最小值的函数；wi是第i个乘数，为了加快计算速度和使用稀疏特征，在本专利中仅取值为wi＝{1,3,5}；R＝2l-1，其中l是最大动态范围，设置l＝8，因此2l＝256，R＝255。
在上述条件下下，可将式(4)简化为：
特征提取的最后一步是对VA的变化进行量化。信息熵是信息测量中最常用的指标，主要用于计算输入的图像Px,y的色调、饱和度和亮度图，及其相关的亮度变化照片进行计算并作为最终的VA特征：
其中，Z∈{H,S,V}用于表征不同的计算通道，是图像/>在Z映射中表现为j的概率密度；而/>和/>均由Px,y推导得到；当i＝{1,2,3,···}时，/>和/>是由/>计算得到；而熵越大，VA值越大。一般来说，低浓度细颗粒物的照片比高浓度细颗粒物的照片信息量大，熵值大。至此，共计提出9个相关特征用于后续学习使用。
为了更直观地了解熵或等效VA值随细颗粒物浓度的变化，以照片为例。图2的(1)为细颗粒物照片，左半部分为高浓度细颗粒物，右半部分为低浓度细颗粒物。图2的(2)、图2的(3)和图2的(4)分别显示了图2的(1)的色调、饱和度和亮度图。将式(5)应用于图2的(1)，得到一组中间照片。计算色调、饱和度和亮度空间中的中间照片的VA特征，其曲线如图2的(5)、图2的(6)和图2的(7)所示。三条黑色实曲线对应图2的(1)的左半部分，三条黑色虚曲线对应图2的(1)的右半部分。不难看出，随着wi的增加，高浓度细颗粒物照片的熵值，即黑色实曲线，迅速下降到一个很小的值，这意味着图2的(1)的左半边的VA特征值较小，相比之下，低浓度细颗粒物照片熵值对应的三条黑色虚曲线，即图2的(1)的右半部分VA特征较大。
(2)宽深度联合学习神经网络
由于宽度神经网络具有较强的记忆能力，首先利用宽度神经网络学习VA特征，宽度神经网络一般由三层组成，即输入层、隐藏层和输出层，如图3的(1)所示。神经元的输出由：
其中j表示宽度神经网络的层数；mj是第(j-1)层的总节点数；w(j,v,u)是连接的第(j-1)层中第u个节点和第j层中第v个节点的权重；b(j,v)是第j层中第v个节点所增加的偏置；t(j,v)表示第j层中第v个节点的输出；S(j,v,u)是第j层中第v个节点神经元的输入g(·)是一个sigmoid激活函数，且g(x)＝1/[1+exp(-x)]。本研究采用反向传播算法更新自由参数，如从第l次迭代到第(l+1)次迭代：
其中，代表第l次迭代的权重；/>代表第l次迭代偏置；η代表每次迭代中loss函数下降最快情况下所对应的可变学习率，在首次迭代中，我们预先设置其值为0.5；E为第l次迭代输出/>与其相关期望值的均方误差。对于网络的每个神经元的输出/>计算它的误差项/>其中T表示转置，当期误差小于0.01时，认为已经选取最佳权重与偏置，则迭代结束。
随后，考虑到深度神经网络具有强大的泛化能力，更深层次的结构。深度神经网络引入预处理过程，很好地解决了深度结构容易导致网络陷入局部最小的问题。预训练本质上是通过无监督学习过程来解决初始化参数的随机性，一种逐层学习各层参数并初始化整个网络的方法如下：
其中，Q(w,b)是整体样本代价函数，它包含权重衰减项；Q(w,b；s(j,v,u),t(j,v))是针对单个样例计算得到的方差代价函数；w表示神经网络的权重；b是神经网络的偏置；j为神经网络的层数，u、v表示不同层的节点号；γ是KL散度的稀疏性参数，将其预设为1；t(j,v)是第j层第v个神经元的输出；S(j,v,u)是第j层中第v个节点神经元的输入；σ和是平均激活值和期望激活值；λ是惩罚项，用于表示对惩罚的重视程度，将其预设为1；/>表示第j层中不同神经元之间w(j,v,u)的总和。当深度神经网络取得最小损失函数时，认为预训练结束，参数的初始化完成。在预训练得到初始化参数之后，在监督学习的情况下进行微调，即使用当前所获取的预训练参数对深度神经网络进行1次训练，用于更新网络的权重和偏置，然后得到最终的训练网络。图3的(2)给出了一个示例。
最后，将宽度学习的记忆能力和深度学习的泛化能力相结合，设计出一种新的更有效的广泛性宽深度联合学习神经网络。具体地，将宽度神经网络的输出Ow和深度神经网络的输出Od结合起来，得到提出的宽深度联合学习神经网络的最终输出：
Ow&d＝g(φwOw+φdOd) (13)
其中，φw和φd代表权重，均定义为0.5；g(·)是一个sigmoid激活函数，且g(x)＝1/[1+exp(-x)]。利用该公式，对所提出的宽深度神经网络再进行1次训练，并得到最佳权重与偏置。至此，一种融合视觉信息丰富度和宽深度联合学习的细颗粒物实时监测模型已经获取最佳权重与偏置，模型构建结束。宽深度联合学习神经网络的框架如图3的(3)所示。
在实际的应用过程中，对于输入图像，首先将其颜色空间转换至HSV空间；随后，提取图像的VA特征；最后，将训练好的宽深度神经网络应用于所提取的VA特征，实现细颗粒物浓度的实时推断。
本发明的创新及贡献主要体现在：
(1)本发明通过对细颗粒物敏感变换空间像素值的缩放，提取的基于熵的VA特征可以很好地反映细颗粒物浓度的变化，从而在基于图像的细颗粒物浓度监测中得到了很好的应用。
(2)本发明结合宽度神经网络的记忆能力和深度神经网络的泛化能力的优点，提出了一种新的宽深度联合学习神经网络，可以更好地融合所提取的VA特征，用于细颗粒物的监测。
(3)本发明提出的VAWD的方法不仅在性能精度上有很大的提高，而且在实现效率上也有很大的提高。
附图说明
图1是VAWD模型的框架
图2是一张高浓度细颗粒物照片与一张低浓度细颗粒物照片的对比说明
图3是宽深度联合学习神经网络：(1)是宽度神经网络；(2)是深度神经网络；(3)是宽深度联合学习神经网络
具体实施方式
(1)VA特征提取
细颗粒物浓度升高的主要表现是使一张照片的视觉信息量降低，这主要体现在每张照片的色调图(H)、饱和度图(S)和亮度图(V)中的像素值趋于一致。为了更好地说明一张照片与细颗粒物浓度之间的关系，如图2，可见，随着细颗粒物浓度的增加，色调图和饱和度图中的每个像素迅速下降到零，如图2的(2)和图2的(3)中左半部分所示。同时，亮度图中的每个像素迅速上升到255，如图2的(4)中左半部分所示。显然，与RGB相比，HSV空间更能反映细颗粒物浓度增长引起的照片视觉信息丰富度的变化。
对于RGB格式的照片Px,y，先将其从RGB空间转换为HSV空间:
Vx,y＝max{Rx,y,Gx,y,Bx,y} (14)
其中，x、y分别代表水平方向和垂直方向的像素值；Rx,y,Gx,y和Bx,y，分别代表红、绿、蓝三种颜色的通道，另外，V′x,y＝min{Rx,y,Gx,y,Bx,y}。根据公式(14)，当细颗粒物浓度小幅升高时，RGB通道的所有像素值都会增大，因此V中的所有像素值也会增大；观察式(15)，在这种情况下，Vx,y会增加，但是Vx,y-V′x,y不变，Sx,y会变小；同样的，当光线完全被细颗粒物覆盖时，H中的每一个像素值都为零。总体而言，随着细颗粒物浓度的持续增加，HSV空间像素值将单调递减/递增，直至稳定值0/255；也就是说，它的相关VA值将下降到零。
如前所述，HSV空间更能感知细颗粒物浓度升高所引起的视觉信息量变化，同时，浓度较低的细颗粒物在其对应的色调、饱和度和亮度图中，像素值通常较为复杂多变，或具有较高的VA值。为了更好地提取VA特征，首先改变给定照片Px,y的亮度，生成一组亮度变化的中间照片:
其中，φrnd是四舍五入到最接近的整数的取整函数；φmin是寻找最小值的函数；wi是第i个乘数，为了加快计算速度和使用稀疏特征，在本专利中仅取值为wi＝{1,3,5}；R＝2l-1，其中l是最大动态范围，设置l＝8，因此2l＝256，R＝255，用于表征影像的最大像素值。在此条件下，可将式(17)简化为：
应用基于尺度的成像技术的灵感来源于经典的去雾方程：
Q＝Je-βd+A[1-e-βd] (19)
其中，Q为相机拍摄的模糊图像像素的集合；J是去雾恢复出无雾的图像像素的集合；A为外界大气光；d表示景深；β是控制烟雾浓度变化的散射系数；e代表自然对数。为验证去雾方程同样适用于细颗粒物照片。用细颗粒物的形式重新定义方程(19)：
fξ＝Ue-ξd+D-De-ξd (20)
其中，U是在没有细颗粒物条件下的图像各像素的集合；D是所拍摄图像各像素点的集合；ξ代表所拍摄图像D的实际细颗粒物的浓度，其范围为(0，+∞)。为验证去雾方程的适用性，加入一张参考影像，并定义其所对应的细颗粒物浓度为ξ0，范围为(0，+∞)：
然后，通过加入一个任意的大于零的ε去放大图像中细颗粒物浓度ξ0：
对公式(21)和(22)整合，进一步推导得到如下：
令D＝255；并定义wi＝e-εd，得到：
对比式(18)和式(24)，不难发现，本文所采用的基于尺度的技术本质上是近似细颗粒物浓度上升的过程。同样值得强调的是，式(18)和式(24)的主要区别在于尺度系数。式(18)采用全局常数尺度系数wi，式(24)采用深度敏感尺度系数e-εd，e代表自然对数。通过这种近似，式(18)中定义的基于尺度的技术不仅能够有效地辅助VA特征的提取，而且极大地降低了实现成本，避免了深度图的均值估计。
特征提取的最后一步是对VA的变化进行量化。信息熵是信息测量中最常用的指标，其特征是对输入的图像Px,y的色调、饱和度和亮度图及其相关的亮度变化照片进行计算作为VA特征：
其中，Z∈{H，S，V}，是图像/>的Z映射中j的概率密度；/>和/>由计算得到。熵越大，VA值越大。一般来说，低浓度细颗粒物的照片比高浓度细颗粒物的照片信息量大，熵值大。
为了更直观地了解熵或等效VA值随细颗粒物浓度的变化，以照片为例。图2的(1)为细颗粒物照片，左半部分为高浓度细颗粒物，右半部分为低浓度细颗粒物。图2的(2)、图2的(3)和图2的(4)分别显示了图2的(1)的色调、饱和度和亮度图。将式(24)应用于图2-(1)，得到一组中间照片。计算色调、饱和度和亮度空间中的中间照片的VA特征，其曲线如图2的(5)、图2的(6)和图2的(7)所示。三条黑色实曲线对应图2的(1)的左半部分，三条黑色虚曲线对应图2的(1)的右半部分。不难看出，随着wi的增加，高浓度细颗粒物照片的熵值，即黑色实曲线，迅速下降到一个很小的值，这意味着图2的(1)的左半边的VA特征值较小，相比之下，低浓度细颗粒物照片熵值对应的三条黑色虚曲线，即图2的(1)的右半部分VA特征较大。
(2)宽深度联合学习神经网络
由于宽度神经网络具有较强的记忆能力，首先利用宽度神经网络学习VA特征，宽度神经网络一般由三层组成，即输入层、隐藏层和输出层，如图3的(1)所示。神经元的输出由：
其中j表示宽度神经网络的层数；mj是第(j-1)层的总节点数；w(j,v,u)是连接的第(j-1)层中第u个节点和第j层中第v个节点的权重；b(j,v)是第j层中第v个节点所增加的偏置；t(j,v)表示第j层中第v个节点的输出；S(j,v,u)是第j层中第v个节点神经元的输入g(·)是一个sigmoid激活函数，且g(x)＝1/[1+exp(-x)]。本研究采用反向传播算法更新自由参数，如从第l次迭代到第(l+1)次迭代：
其中，代表第l次迭代的权重；/>代表第l次迭代偏置；η代表每次迭代中loss函数下降最快情况下所对应的可变学习率，在首次迭代中，我们预先设置其值为0.5；E为第l次迭代输出/>与其相关期望值的均方误差。对于网络的每个神经元的输出/>计算它的误差项/>其中T表示转置，当期误差小于0.01时，认为已经选取最佳权重与偏置，则迭代结束。
随后，考虑到深度神经网络具有强大的泛化能力，更深层次的结构。深度神经网络引入预处理过程，很好地解决了深度结构容易导致网络陷入局部最小的问题。预训练本质上是通过无监督学习过程来解决初始化参数的随机性，一种逐层学习各层参数并初始化整个网络的方法如下：
其中，Q(w,b)是整体样本代价函数，它包含权重衰减项；Q(w,b；s(j,v,u),t(j,v))是针对单个样例计算得到的方差代价函数；w表示神经网络的权重；b是神经网络的偏置；j为神经网络的层数，u、v表示不同层的节点号；γ是KL散度的稀疏性参数，将其预设为1；t(j,v)是第j层第v个神经元的输出；S(j,v,u)是第j层中第v个节点神经元的输入；σ和是平均激活值和期望激活值；λ是惩罚项，用于表示对惩罚的重视程度，将其预设为1；/>表示第j层中不同神经元之间w(j,v,u)的总和。当深度神经网络取得最小损失函数时，认为预训练结束，参数的初始化完成。在预训练得到初始化参数之后，在监督学习的情况下进行微调，即使用当前所获取的预训练参数对深度神经网络进行1次训练，以更新网络的权重和偏置，得到最终的训练网络。图3的(2)给出了一个示例。
将宽度学习的记忆能力和深度学习的泛化能力相结合，设计出一种新的更有效的广泛性宽深度联合学习神经网络。具体地，将宽度神经网络的输出Ow和深度神经网络的输出Od结合起来，得到提出的宽深度联合学习神经网络的最终输出：
Ow&d＝g(φwOw+φdOd) (32)
其中，φw和φd代表权重，均定义为0.5；g(·)是一个sigmoid激活函数，且g(x)＝1/[1+exp(-x)]。利用该公式，对所提出的宽深度神经网络再进行1次训练，并得到最佳权重与偏置。至此，一种融合视觉信息丰富度和宽深度联合学习的细颗粒物实时监测模型已经获取最佳权重与偏置，模型构建结束。
在实际的应用过程中，对于输入图像，首先将其颜色空间转换至HSV空间；随后，提取图像的VA特征；最后，将训练好的宽深度神经网络应用于所提取的VA特征，实现细颗粒物浓度的实时推断。
本发明使用了AQPDCITY和AQPDBJUT两个空气质量照片数据集作为测试平台，展示了VAWD模型的细颗粒物监测性能。采用三个典型的标准来评价模型的监测能力，分别是均方根误差(RMSE)、归一化平均总误差(NMGE)以及峰值信噪比(PSNR)。
均方根误差(RMSE)是度量近地面和模型估计之间的绝对损失的平均值。该判据对较大误差非常敏感，反映了监测精度。RMSE的计算方法是：
其中，αz表示模型的估计细颗粒物值；βz代表相应的近地面处第z个样本的值；Z是样本的个数。
归一化平均总误差(NMGE)表示高于或低于估计的平均误差，定义如下:
误差敏感峰值信噪比(PSNR)：
在上述三个评价标准中，一个好的模型在RMSE和NMGE中的值较低，在PSNR中的值较高。在AQPDCITY和AQPDBJUT数据集上计算了提出的VAWD模型和8个最先进模型的性能，结果如表1所示。显然可以看出，提出的VAWD模型在所有计算模型中性能最好。
表1：VAWD与8个最先进的模型在AQPDCITY和AQPDBJUT数据集上的比较
引用：
[1]K.Gu,W.Lin,G.Zhai,X.Yang,W.Zhang,and C.W.Chen,“Noreference qualitymetric of contrast-distorted images based on information maximization,”IEEETrans.Cybernetics,vol.47,no.12,pp.4559-4565,Dec.2017.
[2]K.Gu,D.Tao,J.Qiao,and W.Lin,“Learning a no-reference qualityassessment model of enhanced images with big data,”IEEE Trans.NeuralNetworks&Learning Systems,vol.29,no.4,pp.1301-1313,Apr.2018.
[3]P.V.Vu and D.M.Chandler,“A fast wavelet-based algorithm for globaland local image sharpness estimation,”IEEE Signal Processing Letters,vol.19,no.7,pp.423-426,Jul.2012.
[4]K.Gu,G.Zhai,W.Lin,X.Yang,and W.Zhang,“No-reference image sharpnessassessment in autoregressive parameter space,”IEEE Trans.Image Processing,vol.24,no.10,pp.3218-3231,Oct.2015.
[5]A.Mittal,R.Soundararajan,and A.C.Bovik,“Making a‘completely blind’image quality analyzer,”IEEE Signal Processing Letters,vol.20,no.3,pp.209-212,Mar.2013.
[6]K.Gu,J.Zhou,J.Qiao,G.Zhai,W.Lin,and A.C.Bovik,“Noreference qualityassessment of screen content pictures,”IEEE Trans.Image Process.,vol.26,no.8,pp.4005-4018,Aug.2017.
[7]K.Gu,J.Qiao,and X.Li,“Highly efficient picture-based prediction ofPM2.5 concentration,”IEEE Trans.Industrial Electronics,vol.66,pp.3176-3184,Apr.2019.
[8]G.Yue,K.Gu,and J.Qiao,“Effective and efficient photo-based PM2.5concentration estimation,”IEEE Trans.Instrumentation&Measurement,vol.68,no.10,pp.3962-3971,Oct.2019.

Claims (1)

1.一种融合视觉信息丰富度和宽深度联合学习的细颗粒物实时监测方法，其特征在于，
包括以下实现步骤：
(1)VA特征提取
对于RGB格式的照片Px，y，先将其从RGB空间转换为HSV空间：
Vx，y＝max{Rx，y，Gx，y，Bx，y} (1)
其中，x、y分别代表水平方向和垂直方向的像素值；Rx，y，Gx，y和Bx，y分别代表红、绿、蓝三种颜色通道，另外定义V′x，y＝min{Rx，y，Gx，y，Bx，y}；
利用公式(4)改变照片Px，y的亮度，生成一组中间图片：
其中，是四舍五入到最接近的整数的取整函数；/>是寻找最小值的函数；wi是第i个乘数，为了加快计算速度和使用稀疏特征，仅取值为wi＝{1，3，5}；R＝2l-1，其中l是最大动态范围，设置l＝8，因此2l＝256，R＝255；
在上述条件下，将式(4)简化为：
特征提取的最后一步是对VA的变化进行量化；信息熵是信息测量中最常用的指标，用于计算输入的图像Px，y的色调、饱和度和亮度图，及其相关的亮度变化照片进行计算并作为最终的VA特征：
其中，Z∈{H，S，V}用于表征不同的计算通道，是图像/>在Z映射中表现为j的概率密度；而/>和/>均由Px，y推导得到；当i＝{1，2，3，…}时，/>和/>是由/>计算得到；至此，共计提出9个相关特征用于后续学习使用；
(2)宽深度联合学习神经网络
首先，用宽度神经网络学习VA特征，宽度神经网络由三层组成，即输入层、隐藏层和输出层，神经元的输出为：
其中j表示宽度神经网络的层数；mj是第(j-1)层的总节点数；w(j，v，u)是连接的第(j-1)层中第u个节点和第j层中第v个节点的权重；b(j，v)是第j层中第v个节点所增加的偏置；t(j，v)表示第j层中第v个节点的输出；S(j，v，u)是第j层中第v个节点神经元的输入；g(·)是一个sigmoid激活函数，且g(x)＝1/[1+exp(-x)]；
采用反向传播算法更新自由参数，如从第l次迭代到第(l+1)次迭代：
其中，代表第l次迭代的权重；/>代表第l次迭代偏置；η代表每次迭代中loss函数下降最快情况下所对应的可变学习率，在首次迭代中，预先设置其值为0.5；E为第l次迭代输出/>与其相关期望值的均方误差；对于网络的每个神经元的输出/>计算它的误差项/>其中T表示转置，当期误差小于0.01时，认为已经选取最佳权重与偏置，则迭代结束；
其次，在深度学习网络中，通过无监督学习过程来解决初始化参数的随机性，一种逐层学习各层参数并初始化整个网络的方法如下：
其中，Q(w，b)是整体样本代价函数，它包含权重衰减项；Q(w，b；s(j，v，u)，t(j，v))是针对单个样例计算得到的方差代价函数；w表示神经网络的权重；b是神经网络的偏置；j为神经网络的层数，u、v表示不同层的节点号；γ是KL散度的稀疏性参数，将其预设为1；t(j，v)是第j层第v个神经元的输出；S(j，v，u)是第j层中第v个节点神经元的输入；σ和是平均激活值和期望激活值；λ是惩罚项，用于表示对惩罚的重视程度，将其预设为1；/>表示第j层中不同神经元之间w(j，v，u)的总和；当深度神经网络取得最小损失函数时，认为预训练结束，参数的初始化完成；
深度学习网络经过预训练得到初始化参数之后，使用当前所获取的预训练参数对深度神经网络进行1次训练，用于更新网络的权重和偏置，然后得到最终的训练网络；
最后，将宽度神经网络的输出Ow和深度神经网络的输出Od结合起来，得到提出的宽深度联合学习神经网络的最终输出：
其中，和/>代表权重，均定义为0.5；g(·)是一个sigmoid激活函数，且g(x)＝1/[1+exp(-x)]；利用该公式，对所提出的宽深度神经网络再进行1次训练，并得到最佳权重与偏置；至此，一种融合视觉信息丰富度和宽深度联合学习的细颗粒物实时监测模型已经获取最佳权重与偏置，模型构建结束；
应用过程中，对于输入图像，首先将其颜色空间转换至HSV空间；随后，提取图像的VA特征；最后，将训练好的宽深度神经网络应用于所提取的VA特征，实现细颗粒物浓度的实时推断。
CN202010110068.0A 2020-02-23 2020-02-23 一种融合视觉信息丰富度和宽深度联合学习的细颗粒物实时监测方法 Active CN111340771B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010110068.0A CN111340771B (zh) 2020-02-23 2020-02-23 一种融合视觉信息丰富度和宽深度联合学习的细颗粒物实时监测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010110068.0A CN111340771B (zh) 2020-02-23 2020-02-23 一种融合视觉信息丰富度和宽深度联合学习的细颗粒物实时监测方法

Publications (2)

Publication Number Publication Date
CN111340771A CN111340771A (zh) 2020-06-26
CN111340771B true CN111340771B (zh) 2024-04-09

Family

ID=71186960

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010110068.0A Active CN111340771B (zh) 2020-02-23 2020-02-23 一种融合视觉信息丰富度和宽深度联合学习的细颗粒物实时监测方法

Country Status (1)

Country Link
CN (1) CN111340771B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111723874B (zh) * 2020-07-02 2023-05-26 华南理工大学 一种基于宽度和深度神经网络的声场景分类方法
CN113344043B (zh) * 2021-05-21 2024-05-28 北京工业大学 一种基于自组织多通道深度学习网络的河流浊度监测方法
CN113469010B (zh) * 2021-06-25 2024-04-02 中国科学技术大学 基于柴油车黑烟图像的NOx浓度实时估计方法及存储介质
CN113899667B (zh) * 2021-09-25 2024-03-01 杭州谱育科技发展有限公司 走航式颗粒物检测系统和方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109087277A (zh) * 2018-06-11 2018-12-25 北京工业大学 一种基于图像特征和集成神经网络的空气细颗粒物pm2.5测量方法
WO2019136946A1 (zh) * 2018-01-15 2019-07-18 中山大学 基于深度学习的弱监督显著性物体检测的方法及系统
CN110689021A (zh) * 2019-10-17 2020-01-14 哈尔滨理工大学 一种基于深度学习的低可见度环境下实时目标检测方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019136946A1 (zh) * 2018-01-15 2019-07-18 中山大学 基于深度学习的弱监督显著性物体检测的方法及系统
CN109087277A (zh) * 2018-06-11 2018-12-25 北京工业大学 一种基于图像特征和集成神经网络的空气细颗粒物pm2.5测量方法
CN110689021A (zh) * 2019-10-17 2020-01-14 哈尔滨理工大学 一种基于深度学习的低可见度环境下实时目标检测方法

Also Published As

Publication number Publication date
CN111340771A (zh) 2020-06-26

Similar Documents

Publication Publication Date Title
CN111340771B (zh) 一种融合视觉信息丰富度和宽深度联合学习的细颗粒物实时监测方法
Gu et al. PM₂. ₅ monitoring: use information abundance measurement and wide and deep learning
Luo et al. PM2. 5 concentration estimation using convolutional neural network and gradient boosting machine
CN108764308B (zh) 一种基于卷积循环网络的行人重识别方法
CN108399362B (zh) 一种快速行人检测方法及装置
CN113052211B9 (zh) 一种基于特征的秩和通道重要性的剪枝方法
CN111598156B (zh) 基于多源异构数据融合的pm2.5预测方法
US11880903B2 (en) Bayesian image denoising method based on distribution constraint of noisy images
CN109214470B (zh) 一种基于编码网络微调的图像能见度检测方法
CN112614070B (zh) 一种基于DefogNet的单幅图像去雾方法
Ma et al. Image-based air pollution estimation using hybrid convolutional neural network
CN114037891A (zh) 基于u型注意力控制网络的高分辨率遥感影像建筑物提取方法及装置
CN114241208A (zh) 图像间变化检测的局部和全局深度对比特征学习网络构建方法
CN109886146A (zh) 基于机器视觉检测的洪灾信息遥感智能采集方法及设备
CN116664462A (zh) 一种基于ms-dsc和i_cbam的红外和可见光图像融合方法
CN111640087A (zh) 一种基于sar深度全卷积神经网络的影像变化检测方法
Yuan et al. Locally and multiply distorted image quality assessment via multi-stage CNNs
CN116879192B (zh) 基于卫星遥感数据的水华预测方法、装置、设备及介质
CN113591608A (zh) 一种基于深度学习的高分辨率遥感影像不透水面提取方法
CN111507941B (zh) 一种用于美学质量评价的构图表征学习方法
CN113810683A (zh) 一种客观评估水下视频质量的无参考评价方法
CN116977744A (zh) 基于对比学习与子空间的小样本跨域高光谱图像分类方法
CN111310678A (zh) 一种双边深度特征域异源遥感图像变化检测方法
CN115035364A (zh) 一种基于深度神经网络的指针仪表读数方法
CN114140428A (zh) 基于YOLOv5的落叶松毛虫虫害检测识别方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant