CN110766046A - 一种双通道卷积神经网络集成学习的空气质量测量方法 - Google Patents
一种双通道卷积神经网络集成学习的空气质量测量方法 Download PDFInfo
- Publication number
- CN110766046A CN110766046A CN201910871268.5A CN201910871268A CN110766046A CN 110766046 A CN110766046 A CN 110766046A CN 201910871268 A CN201910871268 A CN 201910871268A CN 110766046 A CN110766046 A CN 110766046A
- Authority
- CN
- China
- Prior art keywords
- channel
- neural network
- air quality
- convolutional neural
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000013527 convolutional neural network Methods 0.000 title claims abstract description 67
- 238000000691 measurement method Methods 0.000 title claims description 18
- 238000005259 measurement Methods 0.000 claims abstract description 49
- 230000004927 fusion Effects 0.000 claims abstract description 38
- 238000000034 method Methods 0.000 claims abstract description 32
- 238000013528 artificial neural network Methods 0.000 claims abstract description 22
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 19
- 230000007613 environmental effect Effects 0.000 claims abstract description 15
- 238000000605 extraction Methods 0.000 claims abstract description 14
- 238000012549 training Methods 0.000 claims description 51
- 230000006870 function Effects 0.000 claims description 31
- 239000013598 vector Substances 0.000 claims description 26
- 238000011176 pooling Methods 0.000 claims description 13
- 230000004913 activation Effects 0.000 claims description 7
- 238000004364 calculation method Methods 0.000 claims description 5
- 230000008014 freezing Effects 0.000 claims description 2
- 238000007710 freezing Methods 0.000 claims description 2
- 239000003570 air Substances 0.000 description 59
- 238000013135 deep learning Methods 0.000 description 13
- 238000012545 processing Methods 0.000 description 5
- 239000000284 extract Substances 0.000 description 4
- 230000007246 mechanism Effects 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 239000000203 mixture Substances 0.000 description 3
- 238000012544 monitoring process Methods 0.000 description 3
- 238000005457 optimization Methods 0.000 description 3
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 2
- 238000005520 cutting process Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 239000000809 air pollutant Substances 0.000 description 1
- 231100001243 air pollutant Toxicity 0.000 description 1
- 238000003915 air pollution Methods 0.000 description 1
- 239000012080 ambient air Substances 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000008034 disappearance Effects 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 238000007636 ensemble learning method Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000007500 overflow downdraw method Methods 0.000 description 1
- 239000002245 particle Substances 0.000 description 1
- 238000007637 random forest analysis Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种双通道卷积神经网络集成学习的空气质量测量方法，所述空气质量测量方法包括以下步骤：步骤一：构建双通道卷积神经网络，提取天空和建筑部分的环境图像特征，并对特征进行加权融合；步骤二：提出用于空气质量测量的双通道加权卷积神经网络集成学习算法，该算法包括：两个特征提取卷积神经网络、一个加权特征融合层和一个分类层；步骤三：将双通道卷积神经网络应用在空气质量等级测量和空气质量指数测量两个方面。
Description
技术领域
本发明涉及空气质量测量技术领域，特别是涉及基于双通道卷积神经网络集成学习的空气质量测量方法。
背景技术
环境空气质量与人类生产和生活密切相关，空气质量的下降可能会造成生态破坏并诱发人类疾病。目前，空气质量监测主要采用在城市几个特定地点设置监测站，利用空气质量检测仪定期对空气污染物进行采样和测量，最后通过计算分析得出空气质量指数(AQI)的方法。这种方法容易受到时间和空间的严重限制，只能在特定的监测点获得特定时间的空气质量。难以实时获得随机位置的空气质量信息，并且测量成本高。如何实时准确地获得AQI是一个值得研究的课题。
基于图像的空气质量测量是一种利用图像处理算法提取环境图像特征，并基于图像特征来估计AQI的方法。近年来，随着深度学习技术的快速发展，利用深度学习技术完成识别、检测等任务是高效可行的。不同空气质量等级的环境图像在一定程度上往往不同，因此，利用深度卷积神经网络提取环境图像特征，实时随地进行AQI的测量是可行和有价值的。与传统的空气质量测量方法相比，基于图像和深度学习的空气质量测量可以随时随地获得空气质量，具有实时性和低成本的优点，近年来受到学术界的广泛关注。
目前，现有的与图像或深度学习相关的空气质量测量方法主要分为两类：基于传统的图像处理的方法或深度学习的方法。基于传统图像处理的方法是利用传统的机器学习算法进行特征提取，如边缘检测，方向梯度直方图等，对提取的特征进行分析计算，得到空气质量测量值。基于图像的深度学习方法通常训练深度卷积神经网络模型，提取环境图像特征，并计算空气质量。在最初的研究中，基于图像的空气质量测量方法主要基于传统的图像处理算法。随着深度学习的快速发展，深度学习相关的空气质量测量方法越来越受到关注。
深度学习的研究可以追溯到1989年LeCun将BP算法应用于多层神经网络。随着LeCun在1998年提出的LeNet-5模型，深度神经网络的基本结构形成。2006年，多伦多大学教授Geoffrey Hinton正式提出了深度学习的概念。Alex在2012年提出了AlexNet，建立了第一个大型卷积神经网络，并采用了ReLu激活函数代替Sigmod，设法避免了神经网络训练中梯度消失的问题，图像识别的性能远远优于传统方法。VGG，GoogleNet，ResNet等网络结构相继提出，进一步增强了深度卷积神经网络的特征提取能力。近年来，利用深度学习方法测量空气质量已引起学术界的广泛关注。在深度学习相关的空气质量测量研究中，ChaoZhang利用卷积神经网络，改进了卷积层激活函数和分类层激活函数，提出了一种改进激活函数的卷积神经网络EPAPL，并使用了Negative Log-Log Ordinal Classifier用于替换分类层中的softmax分类器，使用环境图像训练其网络模型进行分类预测，完成PM2.5和PM10六个等级的测量任务；Avijoy Chakma等使用卷积神经网络训练图像进行特征提取，结合随机森林分类，并将图像中所示的空气质量分为优，良，差三个等级。Nabin Rijal采用神经网络集成学习方法，他们使用三种不同的卷积神经网络，VGG16，InceptionV3和Resnet50分别对图像进行回归训练PM2.5值。将三个网络的输入PM2.5的预测值作为特征输入到前馈网络中，用于训练预测图像PM2.5值。Jian Ma结合暗通道先验理论，首先从图像中提取暗通道图像，分别用原始图像和暗通道图像训练两个卷积神经网络，然后区分图像优良差三个空气质量等级。Xiaoguang Chen等提出了一种传统的图像处理算法和深度学习相结合的方法。首先，他们计算图像像素值的分布特征，统计各幅图像高亮度点(像素值>128)与所有像素点的比例，使用边缘检测器统计各幅图像图像边缘点对所有像素的比例。将两个比例值作为输入特征来训练BP神经网络，以预测AQI值。
大多数基于图像和深度学习的空气质量测量算法采用卷积神经网络来提取整个图像的特征。然而，由于环境图像组成的复杂性，天空部分与建筑物部分因空气污染所产生的变化规律是不同的。在使用相同的卷积神经网络进行特征提取的情况下，这种差异通常会被忽略。
因此希望有一种空气质量测量方法能够解决现有技术中存在的问题。
发明内容
本发明公开了一种基于双通道卷积神经网络集成学习的空气质量测量方法，所述空气质量测量方法包括以下步骤：
步骤一：构建双通道卷积神经网络，各通道分别提取天空和建筑部分的环境图像特征，并对特征进行加权融合；
步骤二：提出用于空气质量测量的双通道加权卷积神经网络集成学习算法，该算法包括：两个特征提取卷积神经网络、一个加权特征融合层和一个分类层，首先使用双通道卷积神经网络对各部分环境图像分别进行特征提取，并采用自学习特征融合权重对提取特征进行融合；
步骤三：将双通道卷积神经网络应用在空气质量等级测量和空气质量指数测量两个方面，进行空气质量等级测量与空气质量指数测量。
优选地，所述步骤一中的双通道卷积神经网络包括上通道子卷积神经网络和下通道子卷积神经网络，每个子通道为一个基本的单通道卷积神经网络。
优选地,所述每个子通道包含5个卷积层，2个池化层和1个全连接层，其中三个卷积层采用5×5卷积核，另外两个卷积层采用3×3卷积核进行所述环境图像特征提取，每个池化层使用最大池化下采样提取重要特征；从双通道卷积神经网络中提取的特征向量通过全连接层输出，全连接层进行特征融合和预测。
优选地,对于环境图像的不同组成部分，所述步骤二空气质量测量的双通道加权卷积神经网络采用集成学习方法在所述上通道子卷积神经网络和下通道子卷积神经网络中同时接收图像的不同部分进行训练：在将环境图像输入到所述双通道加权卷积神经网络进行训练之前，首先对环境图像进行预处理，对天空图像的一部分和建筑图像的一部分进行分割并且对每部分图像进行随机裁剪，然后采用随机水平翻转输入训练，在每个子网络最后一层所述全连接层进行特征提取之后，对上下通道分别提取的特征向量进行加权融合，并且使用包含上下通道的完整特征的特征向量进行识别。
优选地,所述对上下通道分别提取的特征向量进行加权融合的方法包括以下步骤：
将两个特征层的输出特征送入分类层之前，首先执行加权特征融合，权重分别乘以上下通道的输出特征向量两个常数，然后将两个特征向量连接起来，特征融合的公式如式(1)：
feat＝λ1*feata+λ2*featb (1)
其中，λ1和λ2分别为上下通道的权重值；feata和featb分别为上下通道提取的特征向量；feat为融合后的全局特征向量。
优选地,在初始阶段，采用平衡权重方法将所述权重λ1和λ2设置为0.5；所述步骤二双通道加权卷积神经网络集成学习算法中首先冻结所述权重λ1和λ2，在双通道加权卷积神经网络集成学习算法训练之后，冻结其他参数，只训练所述权重λ1和λ2以找到适当的特征融合比，在所述权重λ1和λ2训练中，使用权重约束函数来限制权重值的训练，权重约束函数为公式(2)：
Lossw＝[1-(λ1+λ2)]2 (2)
在训练所述权重λ1和λ2时，将目标损失和权重约束函数组合起来形成全局损失函数，优化全局损失函数来调整权重参数值；最后，我们将训练后得到的所述权重λ1和λ2分别乘以从每个通道提取的特征向量，并对两个加权特征进行融合。
优选地,根据空气质量6个等级，所述步骤三空气质量等级测量将相应的环境图像分为6类，并在所述全连接层进行分类，所述分类层激活函数采用归一化指数函数(Softmax)，对标签进行独热编码(one-hot)操作，得到各等级的预测概率值，并以最大概率作为各等级的测量结果，同时，根据各等级的预测概率，提出了AQI的计算方法，如公式(3)所示：
AQI＝AQIL+(AQIH-AQIL)(1-P) (3)
其中，AQIH和AQIL分别为该预测等级的对应的AQI指数上下限，P为预测等级的概率。
优选地,所述步骤三空气质量指数测量将对应于环境图像的AQI用作训练标签以进行回归训练，通过测量AQI，得到空气质量等级，损失函数采用预测值和标记值之间的均方误差公式(4)：
其中，M为训练图片数量，yi为第i个图片空气质量指数真实值，f(xi)为测量值。
本发明提出了一种基于双通道卷积神经网络集成学习的空气质量测量算法，从集成学习的思想出发，使用两个通道卷积神经网络分别提取环境图像不同部分的特征。其次，考虑到图像的不同部分对最终识别结果具有不同的影响权重，本发明提出了一种加权特征融合方法来融合从两个通道中提取的特征向量，最后，使用集成的全局特征向量测量环境图像的空气质量。此外，本发明还提出了一种权重自学习方法来找到适当的特征融合权重。本发明能够更针对性地提取环境图像特征的不同部分，重点选择优良特征的特点。
附图说明
图1是基于双通道卷积神经网络集成学习的空气质量测量算法流程图。
图2是双通道卷积神经网络的结构示意图。
图3是环境图像数据样本图像。
图4是对环境图像采用从水平中心轴平均分割方法的示意图。
图5是双通道卷积神经网络空气质量测量阶段示意图。
图6是AQI预测结果示例图。
具体实施方式
为使本发明实施的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行更加详细的描述。在附图中，自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。所描述的实施例是本发明一部分实施例，而不是全部的实施例。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
如图1所示，基于双通道卷积神经网络集成学习的空气质量测量方法包括以下步骤：
步骤一：构建双通道卷积神经网络，提取天空和建筑部分的环境图像特征，并对特征进行加权融合；
步骤二：提出用于空气质量测量的双通道加权卷积神经网络集成学习算法，该算法包括：两个特征提取卷积神经网络、一个加权特征融合层和一个分类层；
步骤三：将双通道卷积神经网络应用在空气质量等级测量和空气质量指数测量两个方面，进行空气质量等级与空气质量指数的测量。
鉴于空气质量测量本质上是用于图像识别任务，因此，在AlexNet的基础上，我们构建了一个双通道卷积神经网络，用于天空和建筑部分的环境图像特征提取，并对所提出特征进行加权融合，提出了一种用于空气质量测量的双通道加权卷积神经网络(DCWCN)集成学习算法。它由两个特征提取卷积神经网络，一个加权特征融合层和一个分类层组成，如表1所示：
表1双通道加权卷积神经网络结构
| 上通道图像Upper channel image：64×64×3 | 下通道图像Lower channel image：64×64×3 |
| 上通道卷积层Conv1a：5×5 128步长＝2 | 下通道卷积层Conv1b：5×5 128步长＝2 |
| 上通道卷积层Conv2a：5×5 128步长＝1 | 下通道卷积层Conv2b：5×5 128步长＝1 |
| 上通道池化层Max_pool2a：3×3步长＝2 | 下通道池化层Max_pool2b：3×3步长＝2 |
| 上通道卷积层Conv3a：5×5 128步长＝1 | 下通道卷积层Conv3b：5×5 128步长＝1 |
| 上通道池化层Max_pool3a：3×3步长＝2 | 下通道池化层Max_pool3b：3×3步长＝2 |
| 上通道卷积层Conv4a：3×3 192步长＝1 | 下通道卷积层Conv4b：3×3 192步长＝1 |
| 上通道卷积层Conv5a：3×3 192步长＝2 | 下通道卷积层Conv5b：3×3 192步长＝2 |
| 上通道全连接层FC6a：512 | 下通道全连接层FC6b：512 |
特征融合：FC6a×λ1+FC6b×λ2
全连接层FC7：1024
全连接层FC8：6
DCWCN的结构如表1所示。它由上下通道子卷积神经网络组成，每个子通道是一个基本的单通道卷积神经网络，如图2所示，包含5个卷积层，2个池化层和1个全连接层。前三个卷积层采用5×5卷积核，后两个卷积层采用3×3卷积核进行图像特征提取；每个池化层使用最大池化下采样提取重要特征；512维度的全连接层用于输出从每个网络提取的特征向量以进行特征融合和预测。
环境图像的构成如图3所示，对于环境图像的不同组成部分，DCWCN采用集成学习策略在上下通道中同时接收图像的不同部分进行训练。在将环境图像输入到DCWCN进行训练之前，应首先对环境图像进行预处理，对天空图像的一部分和建筑图像的一部分进行分割。如图4所示，对于每个图像，采用从水平中心轴平均分割方法，将图像分成主要包含天空的上半部分图像和主要包含建筑物的下半部分图像，同时，我们对每部分图像进行随机裁剪，并采用随机水平翻转后输入训练。其中，上通道卷积神经网络侧重于天空的特征提取。在每轮迭代训练中，将切割后具有更多天空元素的上半部分图像输入上通道卷积神经网络进行训练下通道卷积神经网络侧重于建筑物部分的特征提取。在每轮迭代训练中，将切割后具有更多建筑物元素的下半部分图像输入到下通道卷积神经网络中进行训练。在每个子网络最后一层全连接层进行特征提取之后，对上下通道分别提取的特征向量进行加权和融合，并且使用包含上下通道的完整特征的特征向量进行识别。
加权特征融合和权重自学习
我们在观察中发现，考虑到两个通道的输入图像，天空部分相对简单，一般为天空和云彩，图像复杂度相对较低；建筑物部分的构成比较丰富，存在各种不同的建筑物，行人，道路和植物等，图像复杂度相对较高。由于两幅图像的复杂程度不同，两个通道提取的特征复杂度也不同，对最终测量结果的影响权重也不同。
因此，考虑到上下通道的图像特征可能对测量结果具有不同的影响比例，我们提出了一种加权特征融合的方法。在将两个特征层的输出特征送入分类层之前，首先执行加权特征融合。权重分别乘以上下通道的输出特征向量两个常数，然后将两个特征向量连接起来。特征融合的公式如式(1)：
feat＝λ1*feata+λ2*featb (1)
其中，λ1和λ2分别为上下通道的权重值；feata和featb分别为上下通道提取的特征向量；feat为融合后的全局特征向量。
在人工指定特征权重的基础上，我们又提出了一种参与训练的特征权重自学习方法。在初始阶段，采用平衡权重策略将两个权重λ1和λ2设置为0.5。在DCWCN的训练中，我们仅训练DCWCN的其他网络参数，并将两个权重冻结。在网络训练之后，冻结网络的其他参数，只训练两个权重以找到适当的特征融合比。在特征权重训练中，考虑到两个权重之间的比例关系，我们提出了一种权重约束函数来限制权重值的训练。权重约束函数定义为式(2)：
Lossw＝[1-(λ1+λ2)]2 (2)
在训练特征权重时，将目标损失和权重约束函数组合起来形成全局损失函数，优化全局损失函数来调整权重参数值。最后，我们将训练后得到的两个权重分别乘以从每个通道提取的特征向量，并对两个加权特征进行融合。
1.训练阶段实施细节：
(1)图像预处理
在训练之前，我们首先调整每个图像的大小，并将所有图像缩放到短边500像素，长边按照比例的尺寸。在每次训练迭代中，我们为每个图像选择一个批次的图像，并且基于水平中心轴进行均匀切割，将每个图像被分成上下两部分。其次，考虑到训练数据不足，我们使用随机裁剪和随机翻转作为数据增强方法。对上下部分图像执行随机裁剪，分别裁剪64×64图像块。同时，使用0.5的翻转概率同时对两个图像进行随机水平变换。最后，对于每批次我们获得64×64批量×2的图像作为该次迭代的训练数据，并将同一图像上的两个裁剪图像作为一组，分别送入上下通道卷积神经网络。
(2)DCWCN训练
图像预处理结束后，将获得的训练数据同时送入上下通道子卷积神经网络进行训练。包含更多天空元素的上半部分图像被送到上通道卷积神经网络，包含更多建筑元素的下半部分图像被送到下通道卷积神经网络，并在输出层计算损失函数。对于等级测量问题，损失函数是输出值和标签值之间的交叉熵的平均值。对于AQI测量问题，损失函数是均方误差。冻结特征融合层的融合权重λ1和λ2，采用Adam优化算法训练网络的其他网络参数。同时，我们在每个通道网络的最后一个卷积层采用概率为0.5的dropout来防止过度拟合。
(3).特征融合权重优化
当DCWCN的训练满足要求并且损失值不再显著降低时，停止第一步训练并冻结了网络参数。接下来，仅训练两个特征融合层的融合权重，使用Adam优化算法来更新λ1和λ2。经过一定次数的迭代后，训练完成。
对于空气质量测量任务，我们从分类和回归两个方向入手，考虑将我们的DCWCN应用在空气质量等级测量和空气质量指数测量两个方面。
1)空气质量等级测量
空气质量等级测量本质上是一种分类和识别任务。根据空气质量6个等级，将相应的环境图像分为6类，并在全连接层进行分类。分类层激活函数采用Softmax，对标签进行one-hot操作，得到各等级的预测概率值，并以最大概率作为各等级的测量结果。同时，根据各等级的预测概率，提出了AQI的计算方法，如式(3)所示：
AQI＝AQIL+(AQIH-AQIL)(1-P) (3)
其中，AQIH和AQIL分别为该预测等级的对应的AQI指数上下限，P为预测等级的概率。根据计算式，我们可以计算出AQI数值。
2)空气质量指数测量
此外，基于回归的思想，我们考虑直接对AQI指数进行测量。因此，我们在上述DCWCN之后添加1维全连接层，将对应于环境图像的AQI用作训练标签以进行回归训练。通过直接测量AQI，我们可以根据AQI值得到空气质量等级。损失函数采用预测值和标记值之间的均方误差：
其中，M为训练图片数量，yi为第i个图片空气质量指数真实值，f(xi)为测量值。
2.测量阶段
在测量阶段，我们同样对图像使用随机裁剪，并引入投票机制和平均机制。如图5所示，对于每张图像，我们先将其裁剪为天空的上半部分与建筑物的下半部分，对每一部分进行16个固定位置的crop，每张图片得到16对图像为一个batch作为此图像的测试图像，输入网络进行推理。最后，对于每个图像将会获得16个预测结果，对于等级分类的任务，采用投票机制将16个预测结果中的多数预测等级作为最终预测分类。对于AQI测量任务，采用平均机制，将16个预测值的平均值作为测量结果。部分空气质量测量结果示例如图6。
最后需要指出的是：以上实施例仅用以说明本发明的技术方案，而非对其限制。尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (8)
1.一种双通道卷积神经网络集成学习的空气质量测量方法，其特征在于，所述空气质量测量方法包括以下步骤：
步骤一：构建双通道卷积神经网络，各通道分别提取天空和建筑部分的环境图像特征，并对特征进行加权融合；
步骤二：提出用于空气质量测量的双通道加权卷积神经网络集成学习算法，该算法包括：两个特征提取卷积神经网络、一个加权特征融合层和一个分类层，首先使用双通道卷积神经网络对各部分环境图像分别进行特征提取，并采用自学习特征融合权重对提取特征进行融合；
步骤三：将双通道卷积神经网络应用在空气质量等级测量和空气质量指数测量两个方面，进行空气质量等级与空气质量指数测量。
2.根据权利要求1所述的双通道卷积神经网络集成学习的空气质量测量方法，其特征在于：所述步骤一中的双通道卷积神经网络包括上通道子卷积神经网络和下通道子卷积神经网络，每个子通道为一个基本的单通道卷积神经网络。
3.根据权利要求2所述的双通道卷积神经网络集成学习的空气质量测量方法，其特征在于：所述每个子通道包含5个卷积层，2个池化层和1个全连接层，其中三个卷积层采用5×5卷积核，另外两个卷积层采用3×3卷积核进行所述环境图像特征提取，每个池化层使用最大池化下采样提取重要特征；从双通道卷积神经网络中提取的特征向量通过全连接层输出，全连接层进行特征融合和预测。
4.根据权利要求3所述的双通道卷积神经网络集成学习的空气质量测量方法，其特征在于：对于环境图像的不同组成部分，所述步骤二空气质量测量的双通道加权卷积神经网络采用集成学习方法在所述上通道子卷积神经网络和下通道子卷积神经网络中同时接收图像的不同部分进行训练：在将环境图像输入到所述双通道加权卷积神经网络进行训练之前，首先对环境图像进行预处理，对天空图像的一部分和建筑图像的一部分进行分割并且对每部分图像进行随机裁剪，然后采用随机水平翻转输入训练，在每个子网络最后一层所述全连接层进行特征提取之后，对上下通道分别提取的特征向量进行加权融合，并且使用包含上下通道的完整特征的特征向量进行识别。
5.根据权利要求4所述的双通道卷积神经网络集成学习的空气质量测量方法，其特征在于：所述对上下通道分别提取的特征向量进行加权融合的方法包括以下步骤：
将两个特征层的输出特征送入分类层之前，首先执行加权特征融合，权重分别乘以上下通道的输出特征向量两个常数，然后将两个特征向量连接起来，特征融合的公式如式(1)：
feat＝λ1*feata+λ2*featb (1)
其中，λ1和λ2分别为上下通道的权重值；feata和featb分别为上下通道提取的特征向量；feat为融合后的全局特征向量。
6.根据权利要求5所述的双通道卷积神经网络集成学习的空气质量测量方法，其特征在于：在初始阶段，采用平衡权重方法将所述权重λ1和λ2设置为0.5；所述步骤二双通道加权卷积神经网络集成学习算法中首先冻结所述权重λ1和λ2，在双通道加权卷积神经网络集成学习算法训练之后，冻结其他参数，只训练所述权重λ1和λ2以找到适当的特征融合比，在所述权重λ1和λ2训练中，使用权重约束函数来限制权重值的训练，权重约束函数为公式(2)：
Lossw＝[1-(λ1+λ2)]2 (2)
在训练所述权重λ1和λ2时，将目标损失和权重约束函数组合起来形成全局损失函数，优化全局损失函数来调整权重参数值；最后，我们将训练后得到的所述权重λ1和λ2分别乘以从每个通道提取的特征向量，并对两个加权特征进行融合。
7.根据权利要求6所述的双通道卷积神经网络集成学习的空气质量测量方法，其特征在于：根据空气质量6个等级，所述步骤三空气质量等级测量将相应的环境图像分为6类，并在所述全连接层进行分类，所述分类层激活函数采用归一化指数函数(Softmax)，对标签进行独热编码(one-hot)操作，得到各等级的预测概率值，并以最大概率作为各等级的测量结果，同时，根据各等级的预测概率，提出了AQI的计算方法，如公式(3)所示：
AQI＝AQIL+(AQIH-AQIL)(1-P) (3)
其中，AQIH和AQIL分别为该预测等级的对应的AQI指数上下限，P为预测等级的概率。
8.根据权利要求7所述的双通道卷积神经网络集成学习的空气质量测量方法，其特征在于：所述步骤三空气质量指数测量将对应于环境图像的AQI用作训练标签以进行回归训练，通过测量AQI，得到空气质量等级，损失函数采用预测值和标记值之间的均方误差公式(4)：
其中，M为训练图片数量，yi为第i个图片空气质量指数真实值，f(xi)为测量值。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910871268.5A CN110766046A (zh) | 2019-09-16 | 2019-09-16 | 一种双通道卷积神经网络集成学习的空气质量测量方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910871268.5A CN110766046A (zh) | 2019-09-16 | 2019-09-16 | 一种双通道卷积神经网络集成学习的空气质量测量方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN110766046A true CN110766046A (zh) | 2020-02-07 |
Family
ID=69330005
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910871268.5A Pending CN110766046A (zh) | 2019-09-16 | 2019-09-16 | 一种双通道卷积神经网络集成学习的空气质量测量方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110766046A (zh) |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111882503A (zh) * | 2020-08-04 | 2020-11-03 | 深圳高性能医疗器械国家研究院有限公司 | 一种图像降噪方法及其应用 |
| CN112150460A (zh) * | 2020-10-16 | 2020-12-29 | 上海智臻智能网络科技股份有限公司 | 检测方法、检测系统、设备和介质 |
| CN112308093A (zh) * | 2020-11-24 | 2021-02-02 | 腾讯科技（深圳）有限公司 | 基于图像识别的空气质量感知方法、模型训练方法及系统 |
| CN112381299A (zh) * | 2020-11-17 | 2021-02-19 | 深圳前海微众银行股份有限公司 | 一种确定空气质量的方法及装置 |
| CN113222288A (zh) * | 2021-06-02 | 2021-08-06 | 山东建筑大学 | 村镇社区空间发展图谱的分类演化及预测方法 |
| CN113420771A (zh) * | 2021-06-30 | 2021-09-21 | 扬州明晟新能源科技有限公司 | 一种基于特征融合的有色玻璃检测方法 |
| CN114912707A (zh) * | 2022-06-01 | 2022-08-16 | 中科大数据研究院 | 一种基于多模态融合的空气质量预测系统及预测方法 |
| CN117078778A (zh) * | 2023-10-16 | 2023-11-17 | 四川邕合科技有限公司 | 基于大数据的智慧园区空气质量检测方法及检测终端 |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109145939A (zh) * | 2018-07-02 | 2019-01-04 | 南京师范大学 | 一种小目标敏感的双通道卷积神经网络语义分割方法 |
-
2019
- 2019-09-16 CN CN201910871268.5A patent/CN110766046A/zh active Pending
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109145939A (zh) * | 2018-07-02 | 2019-01-04 | 南京师范大学 | 一种小目标敏感的双通道卷积神经网络语义分割方法 |
Non-Patent Citations (1)
| Title |
|---|
| ZHENYU WANG ET AL.: "Air Quality Measurement Based on Double-Channel Convolutional Neural Network Ensemble Learning", 《ARXIV》 * |
Cited By (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111882503A (zh) * | 2020-08-04 | 2020-11-03 | 深圳高性能医疗器械国家研究院有限公司 | 一种图像降噪方法及其应用 |
| CN112150460A (zh) * | 2020-10-16 | 2020-12-29 | 上海智臻智能网络科技股份有限公司 | 检测方法、检测系统、设备和介质 |
| CN112150460B (zh) * | 2020-10-16 | 2024-03-15 | 上海智臻智能网络科技股份有限公司 | 检测方法、检测系统、设备和介质 |
| CN112381299A (zh) * | 2020-11-17 | 2021-02-19 | 深圳前海微众银行股份有限公司 | 一种确定空气质量的方法及装置 |
| CN112308093A (zh) * | 2020-11-24 | 2021-02-02 | 腾讯科技（深圳）有限公司 | 基于图像识别的空气质量感知方法、模型训练方法及系统 |
| CN112308093B (zh) * | 2020-11-24 | 2023-05-30 | 腾讯科技（深圳）有限公司 | 基于图像识别的空气质量感知方法、模型训练方法及系统 |
| CN113222288B (zh) * | 2021-06-02 | 2022-05-17 | 山东建筑大学 | 村镇社区空间发展图谱的分类演化及预测方法 |
| CN113222288A (zh) * | 2021-06-02 | 2021-08-06 | 山东建筑大学 | 村镇社区空间发展图谱的分类演化及预测方法 |
| CN113420771A (zh) * | 2021-06-30 | 2021-09-21 | 扬州明晟新能源科技有限公司 | 一种基于特征融合的有色玻璃检测方法 |
| CN113420771B (zh) * | 2021-06-30 | 2024-04-19 | 扬州明晟新能源科技有限公司 | 一种基于特征融合的有色玻璃检测方法 |
| CN114912707A (zh) * | 2022-06-01 | 2022-08-16 | 中科大数据研究院 | 一种基于多模态融合的空气质量预测系统及预测方法 |
| CN114912707B (zh) * | 2022-06-01 | 2023-06-30 | 郑州大学 | 一种基于多模态融合的空气质量预测系统及预测方法 |
| CN117078778A (zh) * | 2023-10-16 | 2023-11-17 | 四川邕合科技有限公司 | 基于大数据的智慧园区空气质量检测方法及检测终端 |
| CN117078778B (zh) * | 2023-10-16 | 2024-01-26 | 四川邕合科技有限公司 | 基于大数据的智慧园区空气质量检测方法及检测终端 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110766046A (zh) | 一种双通道卷积神经网络集成学习的空气质量测量方法 | |
| CN110197218B (zh) | 基于多源卷积神经网络的雷雨大风等级预测分类方法 | |
| CN107016413B (zh) | 一种基于深度学习算法的烟叶在线分级方法 | |
| CN109165623B (zh) | 基于深度学习的水稻病斑检测方法及系统 | |
| CN108229550B (zh) | 一种基于多粒度级联森林网络的云图分类方法 | |
| CN110263705A (zh) | 面向遥感技术领域两期高分辨率遥感影像变化检测方法 | |
| CN113160062B (zh) | 一种红外图像目标检测方法、装置、设备及存储介质 | |
| CN108805070A (zh) | 一种基于嵌入式终端的深度学习行人检测方法 | |
| CN111523521A (zh) | 一种双支路融合多尺度注意神经网络的遥感图像分类方法 | |
| CN110796009A (zh) | 基于多尺度卷积神经网络模型的海上船只检测方法及系统 | |
| CN114943832B (zh) | 一种基于多路卷积特征融合网络与差温知识蒸馏的路面裂缝图像轻量化分割方法 | |
| CN114841244B (zh) | 一种基于鲁棒采样和混合注意力金字塔的目标检测方法 | |
| CN110751209B (zh) | 一种融合深度图像分类和检索的智能台风定强方法 | |
| CN112749663B (zh) | 基于物联网和ccnn模型的农业果实成熟度检测系统 | |
| CN113408423A (zh) | 适用于tx2嵌入式平台的水产品目标实时检测方法 | |
| CN113191391A (zh) | 一种针对三维探地雷达图谱的道路病害分类方法 | |
| CN112232328A (zh) | 基于卷积神经网络的遥感影像建筑区提取方法、装置 | |
| CN104463194A (zh) | 一种人车分类方法及装置 | |
| CN117237559B (zh) | 面向数字孪生城市的三维模型数据智能分析方法及系统 | |
| CN107392254A (zh) | 一种通过联合嵌入从像素中构造图像的语义分割方法 | |
| CN114170511A (zh) | 基于Cascade RCNN的路面裂缝病害识别方法 | |
| CN111540203B (zh) | 基于Faster-RCNN调节绿灯通行时间的方法 | |
| CN115375672A (zh) | 一种基于改进型YOLOv4算法的煤矸检测方法 | |
| CN112766170A (zh) | 基于簇类无人机图像的自适应分割检测方法及装置 | |
| CN115147383A (zh) | 一种基于轻量化YOLOv5模型的绝缘子状态快速检测方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20200207 |
|
| RJ01 | Rejection of invention patent application after publication |