CN114912707B - 一种基于多模态融合的空气质量预测系统及预测方法 - Google Patents

一种基于多模态融合的空气质量预测系统及预测方法 Download PDF

Info

Publication number
CN114912707B
CN114912707B CN202210619414.7A CN202210619414A CN114912707B CN 114912707 B CN114912707 B CN 114912707B CN 202210619414 A CN202210619414 A CN 202210619414A CN 114912707 B CN114912707 B CN 114912707B
Authority
CN
China
Prior art keywords
data
air quality
value
feature
output
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210619414.7A
Other languages
English (en)
Other versions
CN114912707A (zh
Inventor
梅嘉容
王煜炜
刘敏
刘庆祥
付艳波
王元卓
陈文治
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Science And Technology Big Data Research Institute
Zhengzhou University
Original Assignee
China Science And Technology Big Data Research Institute
Zhengzhou University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Science And Technology Big Data Research Institute, Zhengzhou University filed Critical China Science And Technology Big Data Research Institute
Priority to CN202210619414.7A priority Critical patent/CN114912707B/zh
Publication of CN114912707A publication Critical patent/CN114912707A/zh
Application granted granted Critical
Publication of CN114912707B publication Critical patent/CN114912707B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/04—Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/18—Complex mathematical operations for evaluating statistical data, e.g. average values, frequency distributions, probability functions, regression analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/42—Global feature extraction by analysis of the whole pattern, e.g. using frequency domain transformations or autocorrelation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Business, Economics & Management (AREA)
  • Databases & Information Systems (AREA)
  • Computational Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Medical Informatics (AREA)
  • Economics (AREA)
  • Operations Research (AREA)
  • Mathematical Optimization (AREA)
  • Strategic Management (AREA)
  • Pure & Applied Mathematics (AREA)
  • Human Resources & Organizations (AREA)
  • Development Economics (AREA)
  • Quality & Reliability (AREA)
  • Tourism & Hospitality (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Game Theory and Decision Science (AREA)
  • Evolutionary Biology (AREA)
  • Entrepreneurship & Innovation (AREA)
  • General Business, Economics & Management (AREA)

Abstract

本发明属于空气质量监测及预测技术领域，具体涉及一种基于多模态融合的空气质量预测系统及预测方法。该方法利用无人机‑监测站形成的空地模型，把无人机拍摄到的监测区域的图片信息通过无线通信传输给地面的监测站，地面监测站通过基于多模态融合的空气质量预测模型，输入本地收集的时间序列以及传输得到的无人机拍摄图片以及外部因素，最后得到模型的输出即预测结果。该方法可以使同一地区空中与地面的信息充分融合得到更加精确的预测结果，不仅解决了地面检测站由于数据量不足产生的模型精度问题，还充分利用无人机形成了空‑地3D全方位监测，实现空气质量指数的三维细粒度监测与预测，更好的实现空气质量监测及预测。

Description

一种基于多模态融合的空气质量预测系统及预测方法
技术领域
本发明属于空气质量监测及预测技术领域，具体涉及一种基于多模态融合的空气质量预测系统及预测方法。
背景技术
根据世界卫生组织的报告，每年有450万人因室外空气污染而过早死亡，空气污染增加了人类患严重疾病的概率，如呼吸系统和心血管疾病。为了量化空气污染的严重程度，通过空气中各种颗粒物(如PM2.5和PM10)的浓度来计算一个名为空气质量指数(AQI)的指标，在空气质量指数的帮助下，人类可以提前采取保护措施。因此，实现准确和及时的AQI监测和预测，找到有效的空气污染控制方法，对人类来说非常重要。
现有的AQI监测方法主要分为两类：基于传感器的监测和基于视觉的监测。其中，基于传感器的监测方法通常利用公共或私人机构在城市中的专门地点设立的传感器监测站来实现AQI监测。然而，由于两个监测站之间距离较远，这些方法只能提供粗粒度的二维监测，且存在成本高和缺乏流动性的问题。而基于视觉的监测方法一般用航拍图像推断整个区域内的空气质量指数，但是受限于飞行器的飞行距离以及一次性工作时长，往往不能持续工作来提供训练出精确的神经网络模型所需的大量的拍摄数据。现有研究没有从根本上实现空中与地面空气质量预测的完全结合。
发明内容
针对现有方法无法从根本上实现空中与地面空气质量预测完全结合的缺陷和问题，本发明提供一种基于多模态融合的空气质量预测系统及预测方法。
本发明解决其技术问题所采用的方案是：提供一种基于多模态融合的空气质量预测系统，该系统包括嵌入模块、LSTM模块、CNN模块和组合模块，其中嵌入模块用于捕捉学习影响空气质量的外部分类特征，将外部分类特征数据从源空间映射到目标空间并进行结构保留；所述LSTM模块用于监测站空气质量数据时间相关性的学习，并对空气质量数据进行处理后通过LSTM模型输出空气质量特征向量；所述CNN模块用于提取雾霾图像中的特征编码，通过CNN模型输出雾霾特征；所述组合模块用于将嵌入模块、LSTM模块和CNN模块得到的输出值进行归一化后使用加权和进行组合计算得到空气质量预测结果。
本发明还提供一种基于多模态融合的空气质量预测方法，该方法包括以下步骤：
步骤一、通过嵌入模块学习外部分类特征，利用one-hot编码表示外部分类特征，将one-hot编码向量作为全连接层的输入，然后用反向传播算法计算全连接层中每条边的权重，然后由全连接层输出层输出将外部分类数据从源空间映射到目标空间并进行结构保留：
Figure BDA0003674489640000021
式中：
Figure BDA0003674489640000031
表示嵌入模块输出值；/>
Figure BDA0003674489640000032
代表分类特征集合，i，/>
Figure BDA0003674489640000033
是这个集合中的分类特征；Vi表示i类嵌入特征；<Vi,Vj>是两个嵌入向量Vi和Vj的内积；ωi,j代表内积值的权重；ωi是嵌入向量的权重；
步骤二、将空气质量数据进行预处理，然后通过LSTM模块进行时间相关性学习，通过LSTM模型得到LSTM数据输出值；
Figure BDA0003674489640000034
式中：
Figure BDA0003674489640000035
为LSTM模块输出值；Why为当前隐藏状态信息的权重；ht为t时刻的隐藏状态的信息；bh为偏差值；
步骤三、将无人机采集的雾霾图像通过CNN模型进行处理得到雾霾图像特征图；所述CNN模型架构包括特征提取层、多个卷积层和全局平均汇集层，其中特征提取层提取雾霾图像中与雾霾估计相关的特征得到一个特征张量，将提取的特征编码作为卷积层的输入进行卷积运算，最后经全局平均汇集层输出特征张量，
Figure BDA0003674489640000036
式中：
Figure BDA0003674489640000037
表示CNN模块的输出向量；c为特征图；
步骤四、将嵌入模块、LSTM模块和CNN模块的输出值进行归一化后使用加权和作为隐藏特征进行组合，送入整流线性单元，输出空气质量预测结果，
Figure BDA0003674489640000038
式中：Y是预测值；W是上述模块的联合权重，b是偏置项。
上述的基于多模态融合的空气质量预测方法，步骤一中所述外部分类特征包括天气特征、POI数据和路网数据，其中天气特征数据包括温度、湿度、风速和风向；对于POI数据，将收集到的POI数据重新进行类别划分，计算出1kmaPOI特征内所有站点的每个类别中的POI数量作为特征向量。
上述的基于多模态融合的空气质量预测方法，步骤二中所述预处理包括以下内容：
(1)缺失值处理：遍历数据，找到缺失的数据，记录缺失值上一个数据和下一个数据，使用上下数据的平均值填充改缺失数据；
(2)异常值处理：对于影响空气质量的一个特征因素的所有数据首先按照从小到大的顺序排序，找数据中的下四分位数、中位数和上四分位数，按照上界和下界的计算公式得到数据上界和下界；然后再次遍历该特征的所有数据，将每个数据与上界和下界对比，如果当前值比下界小，则使用下界替换该值；如果当前值大于上界，则使用上界替换该值；将该特征的所有数据都进行异常值处理后，选择下一个特征的数据继续，直到所有的特征都处理完成；
(3)标准化处理：通过标准化公式将样本数据进行转换使所有的数据值处于[0,1]区间内，
Figure BDA0003674489640000041
其中，x′是经过Min-Max标准化转换函数处理后的结果，x是总体样本数据，xmax是样本数据中的最大值，而xmin是样本数据中的最小值。
上述的基于多模态融合的空气质量预测方法，对于进行标准化处理的模型输入数据，模型的输出结果需要通过转换函数的反函数进行逆运算处理，
x＝(xmax-xmin)*x′+xmin。
上述的基于多模态融合的空气质量预测方法，步骤二中LSTM步骤包括以下内容：
(1)决定要从cell state中选出需要丢弃的信息，然后由LSTM内部结构的“遗忘门进行信息丢弃，
ft＝σ(Wf·[ht-1,xt]+bf)
对前一时刻的输出ht-1和当前时刻的输入xt进行检查，sigmoid激活函数对上一时刻的单元格状态Ct-1进行筛选，输出一个[0,1]之间的数字来决定信息保留与否；
(2)由LSTM的“输入门”在cell状态选出存储信息，
it＝σ(Wi·[ht-1,xt]+bi)
Figure BDA0003674489640000051
(3)将上一时刻的单元格状态Ct-1进行更新，
Figure BDA0003674489640000052
ht＝ot*tanh(Ct)
将Ct-1与“遗忘门”的输出ft相乘得到希望忘记的部分，再加上“输入门”的输出it和
Figure BDA0003674489640000053
的乘积，得到新的单元格状态Ct；
(4)确定神经网络的输出，
Figure BDA0003674489640000054
其中
Figure BDA0003674489640000055
是LSTM模块输出值，Why是当前隐藏状态信息的权重，bh是偏差值。
上述的基于多模态融合的空气质量预测方法，步骤三中使用CNN模型学习无人机图像特征，通过提取雾霾图像的特征编码提高模型的性能，包括以下内容：
(1)将无人机相机采集的雾霾图像转换为灰度图像，然后用Otsu法将其转换为二进制图像；
(2)从二进制图像中提取具有雾霾估计的特征，包括暗通道先验、蓝色通道、图像平滑度、深度图、RMS和图像熵；
(3)利用CNN模型学习提取出的与雾霾估计相关的特征，具体是：首先将每个输入的雾霾图像在空间上进行像素调整，将提取的与雾霾相关的特征归一化为灰度[0,1]；然后将与雾霾相关特征之外的像素被归一化为零均值得到一个特征张量，随后经过CNN模型的特征提取层、几个卷积层和一个全局平均池层输出CNN模型输出值。
本发明的有益效果：本发明基于深度学习预测模型，提出了一种融合了图片、时间序列等多个模态数据的空气质量预测方法，该方法考虑了导致空气质量变化的多种因素，通过一个空-地部署框架结合无人机在空中不同角度拍摄的图片信息以及地面监测站收集的时间序列，通过一个多模态的融合模型使同一地区空中与地面的信息充分融合得到更加精确的预测结果，不仅解决了地面检测站由于数据量不足产生的模型精度问题，还充分利用无人机形成了空-地3D全方位监测，实现空气质量指数的三维细粒度监测与预测，更好的实现空气质量监测及预测。
附图说明
图1为本发明空-地质量预测框架图。
图2为本发明多模态融合预测模型图。
图3为本发明网格卷积图。
具体实施方式
本发明提出了一种充分利用空中航拍所得图像特征的多模态融合的空-地空气质量预测模型及预测方法，其中预测模型由一个嵌入模块、一个卷积神经网络(CNN)模块、一个长短期记忆(LSTM)模块以及一个组合模块组成，组合模块将三个模型进行融合得到更加精确的预测结果，不仅解决了地面检测站由于数据量不足产生的模型精度问题，并且充分利用无人机形成了空-地3D全方位监测。下面结合附图和实施例对本发明进一步说明。
实施例1：本实施例提供一种基于多模态融合的空气质量预测系统，该系统包括嵌入模块、LSTM模块、CNN模块和组合模块，其中嵌入模块用于捕捉学习影响空气质量的外部分类特征，将外部分类特征数据从源空间映射到目标空间并进行结构保留；所述LSTM模块用于监测站空气质量数据时间相关性的学习，并对空气质量数据进行处理后通过LSTM模型输出空气质量特征向量；所述CNN模块用于提取雾霾图像中的特征编码，通过CNN模型输出雾霾特征图；所述组合模块用于将嵌入模块、LSTM模块和CNN模块得到的输出值进行归一化后组合计算得到空气质量预测结果。
实施例2：本实施例提供一种基于多模态融合的空气质量预测方法，该方法包括以下步骤：
步骤一、通过嵌入模块学习外部分类特征，外部分类特征包括天气特征、POI特征和路网数据，其中天气特征数据包括温度、湿度、风速和风向；对于POI数据，将收集到的POI数据重新进行类别划分，计算出1kmaPOI特征内所有站点的每个类别中的POI数量作为特征向量。
利用one-hot编码表示外部分类特征，将one-hot编码向量作为全连接层的输入，然后用反向传播算法计算全连接层中每条边的权重，然后由全连接层输出层输出将外部分类数据从源空间映射到目标空间并进行结构保留：
Figure BDA0003674489640000081
式中：
Figure BDA0003674489640000082
表示嵌入模块输出值；/>
Figure BDA0003674489640000083
代表分类特征集合，i，/>
Figure BDA0003674489640000084
是这个集合中的分类特征；Vi表示i类嵌入特征；<Vi,Vj>是两个嵌入向量Vi和Vj的内积；ωi,j代表内积值的权重；ωi是嵌入向量的权重。
步骤二、将空气质量数据进行预处理，其中预处理包括以下内容：
(1)缺失值处理：遍历数据，找到缺失的数据，记录缺失值上一个数据和下一个数据，使用上下数据的平均值填充改缺失数据；
(2)异常值处理：对于影响空气质量的一个特征因素的所有数据首先按照从小到大的顺序排序，找数据中的下四分位数、中位数和上四分位数，按照上界和下界的计算公式得到数据上界和下界；
然后再次遍历该特征的所有数据，将每个数据与上界和下界对比，如果当前值比下界小，则使用下界替换该值；如果当前值大于上界，则使用上界替换该值；将该特征的所有数据都进行异常值处理后，选择下一个特征的数据继续，直到所有的特征都处理完成；
(3)标准化处理：通过标准化公式将样本数据进行转换使所有的数据值处于[0,1]区间内，
Figure BDA0003674489640000091
其中，x′是经过Min-Max标准化转换函数处理后的结果，x是总体样本数据，xmax是样本数据中的最大值，而xmin是样本数据中的最小值。
标准化处理是神经网络模型建模时非常重要的一个环节，标准化后可以加快模型的收敛，缩短模型训练时间。但是如果模型的输入数据经过标准化处理，那么模型的输出结果也需要经过转换公式逆运算处理。转换函数的逆运算即转换函数的反函数，其公式如下所示：
x＝(xmax-xmin)*x′+xmin。
然后通过LSTM模块进行时间相关性学习，通过LSTM模型得到LSTM数据输出值；
Figure BDA0003674489640000092
式中：
Figure BDA0003674489640000093
为LSTM模块输出值；Why为当前隐藏状态信息的权重；ht为t时刻的隐藏状态的信息；bh为偏差值。
步骤三、将无人机采集的雾霾图像通过CNN模型进行处理得到雾霾图像特征图；所述CNN模型架构包括特征提取层、多个卷积层和全局平均汇集层，其中特征提取层提取雾霾图像中与雾霾估计相关的特征得到一个特征张量，将提取的特征编码作为卷积层的输入进行卷积运算，最后经全局平均汇集层输出特征张量，
Figure BDA0003674489640000101
式中：
Figure BDA0003674489640000102
表示CNN模块的输出向量；c为特征图；
步骤四、将嵌入模块、LSTM模块和CNN模块的输出值进行归一化后使用加权和作为隐藏特征进行组合，送入整流线性单元，输出空气质量预测结果，
Figure BDA0003674489640000103
式中：Y是预测值，
Figure BDA0003674489640000104
和/>
Figure BDA0003674489640000105
分别代表嵌入模块、CNN模块和LSTM模块的输出特征，W是联合权重，b是偏置项。
实施例3、本实施例以具体案例为例，并结合具体附图对本发明的基于多模态融合的空气质量预测方法进行进一步的详细说明。
如图1的空-地空气质量预测框架所示，空中选择大疆公司的MAVIC 2ZOOM无人机作为空中传感设备，这些无人机的最大行程是每次18公里，最大遥控距离是8公里，其可以利用GPS传感器来提供实时的三维位置监测，并使用4K相机来收集雾霾图像数据；MAVIC2ZOOM无人机的最大电池寿命约为30分钟，可以悬停在空中，以270°的视角收集数据，还可以通过无线网络与地面通信，最大通信距离为7～9Km。
在北京某地区收集了5298张雾霾图像形成图像数据集用于空气质量指数的估计，将图像数据集按照8:2的比例随机分为训练集和测试集。
地面则利用来自于政府设立的地面监测站的AQI历史观测数据。
具体包括以下内容。
1、外部特征学习
输入嵌入模块，它学习外部分类特征，如天气特征、地理特性和高程。外部分类特征如下所示：
(1)天气特征
本实施例使用了全球数据同化系统(GDAS)、美国国家环境预报中心(NCEP)全球预报系统(GFS)3提供的2格网天气资料。该系统是一个将来自监测站、卫星和雷达的多源观测与物理大气模式相结合的数据同化产品。栅格数据的空间分辨率为0.25°，有117个栅格覆盖北京地区。
本实施例选取的气象数据属性包括温度、湿度、风度和风向按风速和风向进行分解。
然后再以同样的方式提取历史天气数据和天气预报数据。
对于基于网格的气象数据，首先选择站点周围的k×k个网格，这些网格比最近的网格具有更好的空间覆盖性；
然后用卷积层学习k×k网格不同天气属性的核，将卷积结果作为该站的气象资料；如图3基于网格的天气数据的卷积实例。将3×3个不同权值的网格相乘，得到目标站的气象数据特征，并学习核函数中的权值。
(2)POI数据
在工厂多的地区，由于排放污染物，空气质量往往很差，而在公园周围的地区，空气更新鲜。POI能够捕捉这些地理特征。从Amap及其APIs4收集了北京的细粒度兴趣点数据，合并了一些相似的类别，将POI数据重新划分为12个类别，如下表1所示。
表1 POI分类表
标号 POI分类
1 车辆服务(加油站、修车点)
2 交通站点
3 工厂
4 装饰和家具市场
5 餐厅和饮料点
6 商场和超市
7 体育场
8 公园
9 文化和教育
10 娱乐
11 公司
12 酒店和房地产
提取描述的12个POI类别，并计算1kma POI特征内所有站点的每个类别中的POI数量作为特征向量。
(3)路网数据
从OpenStreetMap5收集北京的道路网数据。路网数据包括37个道路类别，但很多类别都有路口，所以合并了一些相似的类别，将路网数据重新划分为5类，如下表2所示。
表2路网道路分类表
Figure BDA0003674489640000121
Figure BDA0003674489640000131
对于这些分类特征，首先利用one-hot编码来表示分类特征，
然后，将one-hot编码向量作为全连接层的输入；
然后，用反向传播算法来计算全连接层中每条边的权重，经全连接层组成的输出层输出。
从而将数据从源空间映射到目标空间，并进行结构保留
Figure BDA0003674489640000132
式中：
Figure BDA0003674489640000133
表示嵌入模块输出值；/>
Figure BDA0003674489640000134
代表分类特征集合，i，/>
Figure BDA0003674489640000135
是这个集合中的分类特征；Vi表示i类嵌入特征；<Vi,Vj>是两个嵌入向量Vi和Vj的内积；ωi,j代表内积值的权重；ωi是嵌入向量的权重。
2、时间相关性学习
由于空气质量数据为时间序列数据，而LSTM具有保持历史数据的长期记忆的特点，因此在环境监测中，可以用来捕捉收集到的时间序列之间的时间相关性。本实施例以2021年前6个月的AQI历史观测数据来评估本方法，具体是选择前五个月的空气质量数据作为训练数据集，第六个月的数据作为测试数据集；由于空气质量数据是时间序列数据，需要使用它们在前一个时间区间，即xt-1，xt-2，...，xt-r，来预测时间区间t的空气质量，其中r是历史数据窗口的长度，可以设置窗口的长度，以确定最好的模型性能。对空气质量数据进行预处理，预处理分别包括：缺失值处理、异常值处理、标准化处理。具体的：
(1)缺失值处理
对数据中的缺失值进行处理，查看数据发现缺失数据量较小，可以直接使用上下平均值填充。遍历数据，找到缺失的数据，记录缺失值上一个数据和下一个数据，使用上下数据的平均值填充改缺失数据。
(2)异常值处理
对影响空气质量的其中一个特征因素的数据进行异常值处理，对该特征的所有数据按照从小到大的顺序排序，找数据中的下四分位数、中位数和上四分位数，按照上界和下界的计算公式得到数据上界和下界；然后再次遍历该特征的所有数据，将每个数据与上界和下界对比，如果当前值比下界小，则使用下界替换该值；如果当前值大于上界，则使用上界替换该值。该特征的所有数据都进行异常值处理后，选择下一个特征的数据继续，直到所有的特征都处理完成。
(3)标准化处理
本实施例用Min-Max标准化进行举例，通过标准化公式将样本数据进行转换，使所有的数据值处于[0,1]区间内，其中转换函数如公式所示：
Figure BDA0003674489640000141
其中，x′是经过Min-Max标准化转换函数处理后的结果，x是总体样本数据，xmax是样本数据中的最大值，而xmin是样本数据中的最小值。标准化处理是神经网络模型建模时非常重要的一个环节，标准化后可以加快模型的收敛，缩短模型训练时间。但是如果模型的输入数据经过标准化处理，那么模型的输出结果也需要经过转换公式逆运算处理。转换函数的逆运算即转换函数的反函数，其公式如下所示：
x＝(xmax-xmin)*x′+xmin
LSTM步骤：
①决定要从cell state中丢弃哪些不需要的信息，决定信息丢弃的是由LSTM内部结构的“遗忘门”完成，其公式如下所示：
ft＝σ(Wf·[ht-1,xt]+bf)
对前一时刻的输出ht-1和当前时刻的输入xt进行检查，sigmoid激活函数会对上一时刻的单元格状态Ct-1进行筛选，输出一个[0,1]之间的数字来决定信息保留与否。
②决定在“cell状态”中存储什么信息。这部分由LSTM的“输入门”完成，其公式如下所示：
it＝σ(Wi·[ht-1,xt]+bi)
Figure BDA0003674489640000151
③将上一时刻的单元格状态Ct-1进行更新，其公式如下所示：
Figure BDA0003674489640000152
ht=ot*tanh(Ct)
将Ct-1与“遗忘门”的输出ft相乘，是希望忘记的部分，再加上“输入门”的输出it和
Figure BDA0003674489640000153
的乘积，得到新的单元格状态Ct。
④确定神经网络的输出，由于本发明LSTM模型在最后的组合模块进行组合，因此输出为：
Figure BDA0003674489640000154
式中：
Figure BDA0003674489640000161
为LSTM模块输出值；Why为当前隐藏状态信息的权重；ht为t时刻的隐藏状态的信息；bh为偏差值。
3、无人机图像特征学习
使用CNN模型学习无人机图像特征。CNN模型架构包括特征提取层、几个卷积层、全局平均汇集层。特征提取层提取雾霾图像中与雾霾估计相关的特征，从而得到一个特征张量，提取的特征被编码卷积层的输入，卷积层来执行卷积运算，最后，全局平均池化层汇集特征张量输出。该方法通过使用特征编码而不是整个霾图像作为输入，可以提高模型的性能。具体包括以下内容：
(1)将无人机相机采集的雾霾图像转换为灰度图像，然后用Otsu法进一步将其转换为二值图像；
(2)从二进制图像中提取具有雾霾估计的特征：为了通过使用CNN模型实现从雾霾二元图像到AQI预测，需要在雾霾图像中找到与雾霾估计最相关的统计特征：暗通道先验、蓝色通道(RGB->HSV色调、饱和度、色度)、图像平滑度、深度图、RMS(对比度)和图像熵。
(3)利用CNN模型学习提取出的与雾霾估计相关的特征，包括以下步骤：
首先，将每个输入的雾霾图像在空间上调整为128×128像素，将提取的六个与雾霾相关的特征归一化为灰度[0,1]；
其次，将六个雾霾相关特征之外的像素被归一化为零均值，从而得到一个大小为128×128×6的特征张量；
经过CNN模型的特征提取层、几个卷积层和一个全局平均池层，模型输出如下：
Figure BDA0003674489640000171
式中：
Figure BDA0003674489640000172
表示CNN模块的输出向量；c是特征图，其作为最大池化的输入。
4、组合
将嵌入模块和深度学习模块归一化后使用加权和作为隐藏特征进行组合，特征被串联后送入整流线性单元；将嵌入模块、CNN模块和LSTM模块的输出的加权和放在一起，同时优化生成的参数，然后通过反向传播提升权重，输出预测结果：
Figure BDA0003674489640000173
式中：Y是预测值，
Figure BDA0003674489640000174
和/>
Figure BDA0003674489640000175
分别代表嵌入模块、CNN模块和LSTM模块的输出特征，W是上述模块的联合权重，b是偏置项。

Claims (5)

1.一种基于多模态融合的空气质量预测方法，其特征在于：包括以下步骤：
步骤一、通过嵌入模块学习外部分类特征，所述外部分类特征包括天气特征、POI数据和路网数据，其中天气特征数据包括温度、湿度、风速和风向；对于POI数据，将收集到的POI数据重新进行类别划分，计算出1km POI特征内所有站点的每个类别中的POI数量作为特征向量；
利用one-hot编码表示外部分类特征，将one-hot编码向量作为全连接层的输入，然后用反向传播算法计算全连接层中每条边的权重，然后由全连接层输出层输出将外部分类数据从源空间映射到目标空间并进行结构保留：
Figure QLYQS_1
式中：
Figure QLYQS_2
表示嵌入模块输出值；/>
Figure QLYQS_3
代表分类特征集合，i，
Figure QLYQS_4
是这个集合中的分类特征；Vi表示i类嵌入特征；<Vi,Vj>是两个嵌入向量Vi和Vj的内积；ωi,j代表内积值的权重；vi是嵌入向量的权重；
步骤二、将空气质量数据进行预处理，然后通过LSTM模块进行时间相关性学习，通过LSTM模型得到LSTM数据输出值；
Figure QLYQS_5
式中：
Figure QLYQS_6
为LSTM模块输出值；Why为当前隐藏状态信息的权重；ht为t时刻的隐藏状态的信息；bh为偏差值；
步骤三、将无人机采集的雾霾图像通过CNN模型进行处理得到雾霾图像特征图；所述CNN模型架构包括特征提取层、多个卷积层和全局平均汇集层，其中特征提取层提取雾霾图像中与雾霾估计相关的特征得到一个特征张量，将提取的特征编码作为卷积层的输入进行卷积运算，最后经全局平均汇集层输出特征张量，
Figure QLYQS_7
式中：
Figure QLYQS_8
表示CNN模块的输出向量；c为特征图；
步骤四、将嵌入模块、LSTM模块和CNN模块的输出值进行归一化后使用加权和作为隐藏特征进行组合，送入整流线性单元，输出空气质量预测结果，
Figure QLYQS_9
式中：Y是预测值；W是嵌入模块、LSTM模块和CNN模块的联合权重，b是偏置项。
2.根据权利要求1所述的基于多模态融合的空气质量预测方法，其特征在于：步骤二中所述预处理包括以下内容：
(1)缺失值处理：遍历数据，找到缺失的数据，记录缺失值上一个数据和下一个数据，使用上下数据的平均值填充该缺失数据；
(2)异常值处理：对于影响空气质量的一个特征因素的所有数据首先按照从小到大的顺序排序，找数据中的下四分位数、中位数和上四分位数，按照上界和下界的计算公式得到数据上界和下界；然后再次遍历该特征的所有数据，将每个数据与上界和下界对比，如果当前值比下界小，则使用下界替换该值；如果当前值大于上界，则使用上界替换该值；将该特征的所有数据都进行异常值处理后，选择下一个特征的数据继续，直到所有的特征都处理完成；
(3)标准化处理：通过标准化公式将样本数据进行转换使所有的数据值处于[0,1]区间内，
Figure QLYQS_10
其中，x′是经过Min-Max标准化转换函数处理后的结果，x是总体样本数据，xmax是样本数据中的最大值，而xmin是样本数据中的最小值。
3.根据权利要求2所述的基于多模态融合的空气质量预测方法，其特征在于：对于进行标准化处理的模型输入数据，模型的输出结果需要通过转换函数的反函数进行逆运算处理，
x＝(xmax-xmin)*x′+xmin。
4.根据权利要求1所述的基于多模态融合的空气质量预测方法，其特征在于：步骤二中LSTM步骤包括以下内容：
(1)决定要从cell state中选出需要丢弃的信息，然后由LSTM内部结构的“遗忘门”进行信息丢弃，
ft＝σ(Wf·[ht-1,xt]+bf)
对前一时刻的输出ht-1和当前时刻的输入xt进行检查，sigmoid激活函数对上一时刻的单元格状态Ct-1进行筛选，输出一个[0,1]之间的数字来决定信息保留与否；
(2)由LSTM的“输入门”在cell状态选出存储信息，
it＝σ(Wi·[ht-1，xt]+bi)
Figure QLYQS_11
(3)将上一时刻的单元格状态Ct-1进行更新，
Figure QLYQS_12
ht＝ot*tanh(Ct)
将Ct-1与“遗忘门”的输出ft相乘得到希望忘记的部分，再加上“输入门”的输出it和
Figure QLYQS_13
的乘积，得到新的单元格状态Ct；
(4)确定神经网络的输出，
Figure QLYQS_14
其中
Figure QLYQS_15
是LSTM模块输出值，Why是当前隐藏状态信息的权重，bh是偏差值。
5.根据权利要求1所述的基于多模态融合的空气质量预测方法，其特征在于：步骤三中使用CNN模型学习无人机图像特征，通过提取雾霾图像的特征编码提高模型的性能，包括以下内容：
(1)将无人机相机采集的雾霾图像转换为灰度图像，然后用Otsu法将其转换为二进制图像；
(2)从二进制图像中提取具有雾霾估计的特征，包括暗通道先验、蓝色通道、图像平滑度、深度图、RMS和图像熵；
(3)利用CNN模型学习提取出的与雾霾估计相关的特征，具体是：首先将每个输入的雾霾图像在空间上进行像素调整，将提取的与雾霾相关的特征归一化为灰度[0,1]；然后将与雾霾相关特征之外的像素被归一化为零均值得到一个特征张量，随后经过CNN模型的特征提取层、几个卷积层和一个全局平均池层输出CNN模型输出值。
CN202210619414.7A 2022-06-01 2022-06-01 一种基于多模态融合的空气质量预测系统及预测方法 Active CN114912707B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210619414.7A CN114912707B (zh) 2022-06-01 2022-06-01 一种基于多模态融合的空气质量预测系统及预测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210619414.7A CN114912707B (zh) 2022-06-01 2022-06-01 一种基于多模态融合的空气质量预测系统及预测方法

Publications (2)

Publication Number Publication Date
CN114912707A CN114912707A (zh) 2022-08-16
CN114912707B true CN114912707B (zh) 2023-06-30

Family

ID=82769773

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210619414.7A Active CN114912707B (zh) 2022-06-01 2022-06-01 一种基于多模态融合的空气质量预测系统及预测方法

Country Status (1)

Country Link
CN (1) CN114912707B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115795397A (zh) * 2022-12-08 2023-03-14 陕西金元新能源有限公司 基于1DCNN-LSTM与BiLSTM并行网络的齿轮箱温度预测方法
CN116819654B (zh) * 2023-08-25 2023-10-27 深圳市昆特科技有限公司 天气预测方法及相关装置
CN117078778B (zh) * 2023-10-16 2024-01-26 四川邕合科技有限公司 基于大数据的智慧园区空气质量检测方法及检测终端
CN117235650B (zh) * 2023-11-13 2024-02-13 国网浙江省电力有限公司温州供电公司 一种高空作业状态检测方法、装置、设备及介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU2019100364A4 (en) * 2019-04-05 2019-05-09 Shenyuan Huang A Method of Air Quality Prediction Using Long Short-Term Memory Neural Network
CN110766046A (zh) * 2019-09-16 2020-02-07 华北电力大学 一种双通道卷积神经网络集成学习的空气质量测量方法
CN113313235A (zh) * 2021-05-25 2021-08-27 江南大学 一种基于改进的lstm的空气质量预测模型及方法
CN113984969A (zh) * 2021-10-26 2022-01-28 西安交通大学 一种基于多源时空数据融合的空气质量预测方法及系统

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108805368A (zh) * 2018-09-06 2018-11-13 天津珞雍空间信息研究院有限公司 一种基于空天地一体化的大气环境智能化管理系统
KR102181109B1 (ko) * 2020-01-16 2020-11-20 주식회사 룰루랩 대중교통 실내외 대기 환경 모니터링 및 통합 관제 시스템
CN113361309B (zh) * 2020-03-18 2022-05-13 山东交通学院 基于中高分辨率遥感影像的城区多雾霾污染参数监测方法
CN111598156A (zh) * 2020-05-14 2020-08-28 北京工业大学 基于多源异构数据融合的pm2.5预测模型
CN111738942A (zh) * 2020-06-10 2020-10-02 南京邮电大学 一种融合特征金字塔的生成对抗网络图像去雾方法
CN111949749A (zh) * 2020-07-30 2020-11-17 中国科学技术大学 基于高阶图卷积网络的空气质量监测站点位置推荐方法
CN112381299A (zh) * 2020-11-17 2021-02-19 深圳前海微众银行股份有限公司 一种确定空气质量的方法及装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU2019100364A4 (en) * 2019-04-05 2019-05-09 Shenyuan Huang A Method of Air Quality Prediction Using Long Short-Term Memory Neural Network
CN110766046A (zh) * 2019-09-16 2020-02-07 华北电力大学 一种双通道卷积神经网络集成学习的空气质量测量方法
CN113313235A (zh) * 2021-05-25 2021-08-27 江南大学 一种基于改进的lstm的空气质量预测模型及方法
CN113984969A (zh) * 2021-10-26 2022-01-28 西安交通大学 一种基于多源时空数据融合的空气质量预测方法及系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
multisensory concept learning framework based on spiking neural networks;wang yw，zeng y;frontiers in system neuroscience;全文 *
面向网络性能优化的虚拟计算资源调度机制研究;王煜炜，刘敏等;通信学报;全文 *

Also Published As

Publication number Publication date
CN114912707A (zh) 2022-08-16

Similar Documents

Publication Publication Date Title
CN114912707B (zh) 一种基于多模态融合的空气质量预测系统及预测方法
CN108596101B (zh) 一种基于卷积神经网络的遥感图像多目标检测方法
CN110363327B (zh) 基于ConvLSTM和3D-CNN的短临降水预测方法
KR101926544B1 (ko) 기상 예측 모델을 이용한 기상 관측 방법, 시스템 및 컴퓨터 프로그램
CN111259809A (zh) 基于DANet的无人机海岸线漂浮垃圾巡检系统
Cai et al. Treepedia 2.0: applying deep learning for large-scale quantification of urban tree cover
CN105427596B (zh) 一种基于时空特征的社区停车位状态检测及服务方法
CN111639787A (zh) 一种基于图卷积网络的时空数据预测方法
CN107909084B (zh) 一种基于卷积-线性回归网络的雾霾浓度预测方法
CN110059745B (zh) 一种基于星地融合的流域降雨产品订正方法及系统
CN104320617A (zh) 一种基于深度学习的全天候视频监控方法
CN114332385A (zh) 一种基于三维虚拟地理场景的单目相机目标检测与空间定位方法
CN111709397A (zh) 一种基于多头自注意力机制的无人机变尺寸目标检测方法
CN113469226B (zh) 一种基于街景图像的土地利用分类方法及系统
Alahmadi et al. A comparison of small-area population estimation techniques using built-area and height data, Riyadh, Saudi Arabia
Nadoushan et al. Predicting urban expansion in Arak Metropolitan Area using two land change models
CN116192251A (zh) 一种基于天空红外遥感图像确定星地激光链路通信可用度的方法
CN116720156A (zh) 基于图神经网络多模态气象数据融合的气象要素预报方法
CN109671038A (zh) 一种基于伪不变特征点分类分层的相对辐射校正方法
CN115457006A (zh) 基于相似一致性自蒸馏的无人机巡检缺陷分类方法及装置
CN116229292A (zh) 一种基于无人机路面巡检病害的巡检系统及方法
CN208335208U (zh) 包含气象参数的图像融合采集系统
CN117710508A (zh) 基于改进条件生成对抗网络的近地表温度反演方法和装置
CN112767351A (zh) 一种基于敏感位置依赖分析的变电设备缺陷检测方法
CN107576399A (zh) 面向modis 林火探测的亮温预测方法和系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: No. 100, Kexue Avenue, high tech Development Zone, Zhengzhou City, Henan Province

Applicant after: Zhengzhou University

Applicant after: China Science and technology big data Research Institute

Address before: 450000 8 / F, creative island building, no.6, Zhongdao East Road, Zhengdong New District, Zhengzhou City, Henan Province

Applicant before: China Science and technology big data Research Institute

Applicant before: Zhengzhou University

CB02 Change of applicant information
GR01 Patent grant
GR01 Patent grant