CN114996624B - 一种基于多任务深度学习的遥感pm2.5和no2协同反演方法 - Google Patents

一种基于多任务深度学习的遥感pm2.5和no2协同反演方法 Download PDF

Info

Publication number
CN114996624B
CN114996624B CN202210354351.7A CN202210354351A CN114996624B CN 114996624 B CN114996624 B CN 114996624B CN 202210354351 A CN202210354351 A CN 202210354351A CN 114996624 B CN114996624 B CN 114996624B
Authority
CN
China
Prior art keywords
task
data
layer
variable
model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210354351.7A
Other languages
English (en)
Other versions
CN114996624A (zh
Inventor
熊劲松
沈焕锋
曾超
林德坤
石浩杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan University WHU
Original Assignee
Wuhan University WHU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan University WHU filed Critical Wuhan University WHU
Priority to CN202210354351.7A priority Critical patent/CN114996624B/zh
Publication of CN114996624A publication Critical patent/CN114996624A/zh
Application granted granted Critical
Publication of CN114996624B publication Critical patent/CN114996624B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10Complex mathematical operations
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02ATECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/10Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Mathematical Analysis (AREA)
  • Biomedical Technology (AREA)
  • Databases & Information Systems (AREA)
  • Mathematical Optimization (AREA)
  • Computational Mathematics (AREA)
  • Algebra (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Pure & Applied Mathematics (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Image Analysis (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明公开了一种基于多任务深度学习的遥感PM2.5和NO2协同反演方法,包括:对地面站点PM2.5和NO2数据、遥感数据、气象数据及其他辅助数据的获取与预处理;使用遥感信息及空间数据处理手段对多源数据进行处理并提取特征变量;对变量进行格网化时空匹配,将匹配后具有地面监测站点对应真值的格网数据作为样本数据,构建样本集;构建多重门控混合专家架构的多任务深度学习神经网络模型,进行多任务深度学习网络自适应训练,并在验证通过后使用该模型对未知真值的格网上的PM2.5和NO2浓度进行协同反演,得到最终的PM2.5和NO2浓度反演结果。本发明基于多任务深度学习协同反演PM2.5和NO2大气污染,获得更加准确的反演结果,实现更精细的多种大气污染物协同监测。

Description

一种基于多任务深度学习的遥感PM2.5和NO2协同反演方法
技术领域
本发明属于遥感数据处理和应用技术领域,涉及PM2.5及NO2浓度估计方法,利用地面站点PM2.5和NO2数据、遥感数据、气象数据及其他辅助数据,可以有效实现PM2.5和NO2浓度高精度协同反演。
背景技术
PM2.5与NO2均为大气环境监测、出行风险分析和生活健康评估等领域的重要污染物。由于PM2.5和NO2等大气污染物不仅成因复杂、快速变化,其浓度还受到污染物之间存在复杂的物理化学相互作用影响,具有较强的相关性。因此,如何有效结合PM2.5和NO2两种反演任务,充分挖掘其中的相关性共享信息,并实现污染物协同反演对大气环境监测与治理有着重要意义。
现有的PM2.5或NO2反演方法均主要包括机理模型方法与统计模型方法,前者依赖物理化学模型和经验参数的输入,实现方式较为复杂;而后者主要以数据为驱动,依靠统计机器学习模型或深度学习模型进行反演,在分别估计PM2.5或NO2浓度的任务中具有高精度、易实现的优势并被广泛应用。然而,值得注意的是,已有技术主要存在两方面的不足:其一,已有技术只着眼于PM2.5或NO2反演本身的单个任务,面临多种污染物监测需求时处理复杂且低效。其二,已有技术的反演方法忽视了污染物之间的相关关系,导致部分情况下处理结果误差较大或出现异常值。
发明内容
鉴于已有相关技术中存在的上述不足,本发明旨在提供一种基于多任务深度学习的遥感 PM2.5和NO2协同反演方法。采用多重门控混合专家(Multi-gate Mixture-of-Experts,MMoE) 架构的多任务深度学习方法,利用PM2.5与NO2反演任务的相关性共享信息,可以实现PM2.5 和NO2浓度协同反演,对多种大气污染物的反演而言具有模型数量少、鲁棒性强、流程简洁、精度更高的优点。
本发明所采用的技术方案是一种基于多任务深度学习的遥感PM2.5和NO2协同反演方法,包括如下步骤:
步骤1,数据获取与模型变量的选择,包括地面站点PM2.5和NO2数据、遥感数据、气象数据及其他辅助数据,并对其进行预处理;
步骤2,使用遥感信息及空间数据处理手段对多源数据进行处理并提取特征变量,其具体实现包括以下子步骤:
步骤2.1,对于步骤1预处理后的遥感数据、气象数据及其他辅助数据,分别根据PM2.5 与NO2反演子任务进行处理:对PM2.5反演子任务获取常用参数,得到PM2.5子任务数据集 Subset(PM2.5),包括气溶胶光学厚度、地表温度、风速、相对湿度、表面压强、露点温度、降水、数字高程模型、植被指数参数、人口密度及国内生产总值;对NO2反演子任务获取常用参数,得到NO2子任务数据集Subset(NO2),包括NO2柱总量、地表温度、风速、相对湿度、表面压强、露点温度、降水、日照时间、植被指数参数、人口密度及国内生产总值;
步骤2.2,对步骤2.1获取的子任务数据进行并集处理得到多任务数据集,再通过栅格数据重投影、重采样处理、裁剪匹配过程统一空间尺度,通过时间插值方法统一时间尺度,得到对应的多任务特征自变量,包括气溶胶光学厚度变量AOD、NO2柱总量变量NO2_TC、地表温度变量Temp、风速变量WS、相对湿度变量RH、气压变量PS、露点温度变量DTemp、降水变量TP、日照时间变量Sund、数字高程模型变量DEM、植被指数变量NDVI、人口密度变量PD、国内生产总值变量GDP;
步骤2.3,对于地面站点数据,获取PM2.5和NO2浓度值作为因变量;
步骤3,对步骤2中获得的自变量和因变量进行格网化时空匹配,将匹配后具有地面监测站点对应真值的格网数据作为样本数据,构建多任务学习样本集;
步骤4,构建多任务深度学习模型,该模型是一个具有多重门控混合专家(Multi-gate Mixture-of-Experts,MMoE)架构的多任务深度学习神经网络模型,具有两个任务输出,分别对应PM2.5浓度与NO2浓度的反演,两个任务均采用平方损失函数作为损失函数;所述多任务深度学习模型网络结构包括三部分:其一是用于多任务数据、信息与特征共享的共享部分,该部分由若干个专家子网络构成;其二是用于筛选过滤共享信息的两个门控结构,分别对应两个子任务;其三是用于分别获取两个子任务各自特征和输出的独立任务层部分;
步骤5,将步骤3中匹配得到的具有站点对应PM2.5和NO2真值的多任务学习样本集归一化后输入步骤4的多任务深度学习网络进行自适应训练。该自适应训练过程包含如下子步骤:
步骤5.1,将多任务学习样本集的特征变量输入模型中,对每个专家子网络分别通过逐层无监督预训练得到初始权重值;
步骤5.2,通过网络前向传播分别计算共享部分多个专家子网络的输出特征、两个任务分别对应的门控结构的输出权重,并通过门控结构权重对所述多个专家子网络输出的特征进行加权融合,再将其结果作为输入值,分别输入对应的独立任务层部分,计算得到PM2.5和 NO2浓度输出结果;
步骤5.3,采用平方损失函数分别计算PM2.5和NO2两个单任务损失函数LPM2.5并计算多任务深度学习模型总损失函数Lmulti-task
步骤5.4,判断模型训练是否收敛,若收敛则停止训练,得到多任务深度学习模型模型,否则执行步骤5.5;
步骤5.5,采用反向传播算法计算模型各参数梯度,使用Adam梯度下降方法更新模型权值,更新完成后返回步骤5.2;
步骤6,对步骤5中模型输出结果进行效果验证,验证通过后使用该模型对未知真值的格网上的PM2.5和NO2浓度进行协同反演,得到最终的PM2.5和NO2浓度反演结果;
进一步的,步骤1中所述的预处理过程,包括对地面站点PM2.5和NO2数据的异常值与空值剔除,对遥感数据、气象数据及其他辅助数据处理为栅格数据文件格式。
进一步的,步骤2.1和2.2中所述子任务数据集及其并集操作表示如下:
Dataset(Multi-task)=Subset(PM2.5)∪Subset(NO2) (1)
其中,Dataset(Multi-task)为多任务数据集,Subset(PM2.5)为PM2.5子任务数据集, Subset(NO2)为NO2子任务数据集。
进一步的,步骤3中得到的多任务学习样本集是以PM2.5和NO2同时作为因变量、以多任务数据集Dataset(Multi-task)的特征自变量作为自变量的集合,其结构如下:
SampleSet(Multi-task)={PM2.5,NO2}∪Dataset(Multi-task) (2)
其中,SampleSet(Multi-task)是多任务学习样本集,Dataset(Multi-task)为多任务数据集,{PM2.5,NO2}为PM2.5和NO2变量的集合。
该步骤多任务学习样本集中自变量与因变量之间需要学习的映射关系如下:
(PM2.5,NO2)=f(Dataset(Multi-task))= f(AOD,NO2_TC,Temp,WS,RH,PS,DTemp,TP,Sund,DEM,NDVI,PD,GDP) (3)
其中,Dataset(Multi-task)为多任务数据集,AOD为气溶胶光学厚度变量,NO2_TC为NO2柱总量变量,Temp地表温度变量,WS为风速变量,RH为相对湿度变量,PS为气压变量,Dtemp为露点温度变量,TP为降水变量,Sund为日照时间变量,DEM为数字高程模型变量,NDVI为植被指数变量,PD为人口密度变量,GDP为国内生产总值变量,f为多任务深度学习模型需要学习的自变量到因变量的映射关系。
进一步的,步骤4所述多任务深度学习模型的共享部分为多任务学习网络的底层部分,由若干个相同结构的专家子网络构成,每个专家子网络均包括数据输入、全连接层、激活函数层;在专家子网络的相邻每两层间构成受限玻尔兹曼机RBM,每个RBM均由显层V和隐层H双向连接构成,且前一个RBM的隐层为后一个RBM的显层,对于每个RBM,其结构表示如下:
其中,M为显层神经元个数,N为隐层神经元个数,V为显层神经元的值,H为隐层神经元的值,W为RBM的权重矩阵,A为显层偏置,B为隐层偏置,v表示单个显层神经元的值,h表示单个隐层神经元的值,w表示显层神经元到隐层神经元对应权重值,a表示显层中对应单个神经元的偏置项,b表示隐层中对应单个神经元的偏置项。进一步的,步骤4所述多任务深度学习模型的门控结构,为多层感知机模型,其计算结构可表示如下:
其中,是对应第k个任务的门控结构第i层的输出值,Wi k时该任务对应门控结构第i层的权重,x是SampleSet(Multi-task)中输入模型的自变量值,b为偏置单元,σ为sigmoid 激活函数,softmax为归一化指数函数。即对于i为模型输出层时,得到第k个任务对应的门控结构输出权重为/>
进一步的,步骤4所述多任务深度学习模型的独立任务层部分为多任务学习网络的高层部分,是PM2.5和NO2浓度反演两个任务的独立网络结构,每个网络结构拥有独立的全连接层、激活函数层和结果输出,均连接共享部分的多个专家子网络,并通过对应的门控结构对专家子网络的输出特征进行加权融合作为独立网络的输入值。
进一步的,步骤5所述归一化过程采用如下公式:
其中,x′t表示第t个样本归一化后的变量值,xt表示第t个样本原始变量值,min表示最小值函数,max表示最大值函数。
进一步的,步骤5.1中,专家子网络逐层无监督预训练过程是通过对比散度算法对专家子网络的每个受限玻尔兹曼机RBM进行权值初始化,以第一个RBM为例,显层V第一次使隐层H激活的过程表示如下:
其中,V(0)表示将多任务学习样本集SampleSet(Multi-task)中的自变量x赋给显层得到的显层值向量,中j表示隐层第j个神经元,(0)表示隐层第一次激活,Wj表示隐层第j 个神经元与显层的权值向量,bj为隐层第j个神经元的偏置项,σ表示sigmoid激活函数,随机变量μ~U(0,1);
通过上式得到的激活后的隐层H(0)重构显层V(0)的过程可表示如下:
其中,Vi (1)中i表示显层第i个神经元,(1)表示显层被重构,Wi T表示显层第i个神经元与隐层的权值向量,ai为显层第i个神经元的偏置项,σ表示sigmoid激活函数,随机变量μ~U(0,1);
类似的,再通过式(6)用V(1)对隐层进行一次激活得到H(1),最终权值W迭代更新的规则如下所示,迭代一定次数后得到RBM初始权值:
W←W+ε(H(0)·V(0)T-H(1)·V(1)T) (9)
其中,ε为权值更新的学习率;
步骤5.2所述前向传播过程中,每个门控结构对专家子网络输出特征的加权融合过程如下:
其中,x是SampleSet(Multi-task)中输入模型的自变量值,ej(x)对应第j个专家子网络的输出特征,n为专家子网络总数,对应第k个任务的门控结构的第j个输出神经元输出值,f(x)k为第k个任务的独立任务层部分的网络输入值。
进一步的,步骤5.3所述多任务深度学习模型总损失函数计算方式如下:
其中,Lmulti-task为多任务学习模型的总损失,LPM2.5分别为多任务学习模型中 PM2.5和NO2浓度反演任务的损失。α、β分别为两个任务损失函数的权重系数,通过如下自适应调整方法得到:
进一步的,对步骤6中模型输出结果进行效果验证,可以通过决定系数R2、均方根误差 RMSE或平均绝对误差MAE等指标进行评价。
本发明的优势在于:
(1)创新性提出基于多任务深度学习的PM2.5和NO2浓度协同反演方法,弥补了大气污染物协同反演方法的空缺。相较于使用传统单任务学习策略分别反演PM2.5或NO2,本发明提出的多任务深度学习方法仅构建一个模型便可实现PM2.5与NO2协同反演,使用的模型数量少,简化了对多种大气污染物的反演流程,具有更高的处理效率。
(2)本发明克服已有技术缺陷和不足,使用多任务深度学习模型进行协同反演,可以有效挖掘PM2.5和NO2浓度反演任务之间的相关关系共享信息,从而增强反演模型对PM2.5 和NO2浓度的共同解释能力,得到更高的反演精度。
(3)本发明基于MMoE多任务架构建立的多任务深度学习模型,通过多个专家子网络及门控结构实现对PM2.5和NO2反演任务共享信息的合理筛选与融合,保证每个任务能获取有效共享信息,抑制干扰信息的影响,使模型具有更强的鲁棒性。
总之,本发明提出的方法基于多任务深度学习,可有效考虑PM2.5和NO2浓度反演任务之间相关关系的影响,协同反演PM2.5和NO2大气污染物,得到更加准确的反演结果,实现更精细的多种大气污染物协同监测。
附图说明
图1是本发明实施例的方法流程图。
图2是本发明实施例所提出的多任务MMoE深度置信网络架构图。
图3是本发明实施例所提出的多任务MMoE深度置信网络模型的PM2.5反演效果验证图。
图4是本发明实施例所提出的多任务MMoE深度置信网络模型的NO2反演效果验证图。
具体实施方法
为了便于本领域普通技术人员理解和实施本发明,下面结合附图及实施例对本发明作进一步的详细描述,应当理解的是,此处所描述的实施示例仅用于说明和解释本发明,并不用于限定本发明。
污染物之间存在复杂的物理化学相互作用且具有较强的相关性,导致现有方法对PM2.5 和NO2大气污染物协同反演面临挑战,提出采用MMoE架构的多任务深度学习方法,充分挖掘污染物反演任务之间的相关性共享信息,能够实现高精度的PM2.5与NO2协同反演。
见图1,本发明实施例提供了一种基于多任务深度学习的遥感PM2.5和NO2协同反演方法,包括如下步骤:
步骤1,数据获取与模型变量的选择,包括地面站点PM2.5和NO2数据、遥感数据、气象数据及其他辅助数据。获取数据时主要遵循可获得性、广泛性、可靠性的原则,根据反演任务常用变量充分收集多源数据。对不同类型和格式的数据进行预处理,包括对地面站点PM2.5和NO2数据的异常值与空值剔除,对遥感数据、气象数据(采用同化再分析资料数据)及其他辅助数据处理为TIFF栅格数据文件格式;
步骤2,使用遥感信息及空间数据处理手段对多源数据进行处理并提取特征变量,其具体实现包括以下子步骤:
步骤2.1,对于步骤1预处理后的遥感数据、气象数据及其他辅助数据,分别根据PM2.5 与NO2反演子任务进行处理:对PM2.5反演子任务获取常用参数,得到PM2.5子任务数据集 Subset(PM2.5),包括气溶胶光学厚度、地表温度、风速、相对湿度、表面压强、露点温度、降水、数字高程模型、植被指数参数、人口密度及国内生产总值;对NO2反演子任务获取常用参数,得到NO2子任务数据集Subset(NO2),包括NO2柱总量、地表温度、风速、相对湿度、表面压强、露点温度、降水、日照时间、植被指数参数、人口密度及国内生产总值;
步骤2.2,对步骤2.1获取的子任务数据进行并集处理得到多任务数据集,再根据选取的实际研究区域,对影像数据重投影到统一的地理坐标系和投影坐标系、重采样到一致的空间分辨率并统一数据的时间分辨率、将所有数据裁剪到研究区域范围并匹配各项数据,得到对应的特征自变量,包括气溶胶光学厚度变量AOD、NO2柱总量变量NO2_TC、地表温度变量 Temp、风速变量WS、相对湿度变量RH、气压变量PS、露点温度变量DTemp、降水变量TP、日照时间变量Sund、数字高程模型变量DEM、植被指数变量NDVI、人口密度变量PD、国内生产总值变量GDP。该步骤所述子任务数据集及其并集操作表示如下:
Dataset(Multi-task)=Subset(PM2.5)∪Subset(NO2) (1)
其中,Dataset(Multi-task)为多任务数据集。
步骤2.3,对于地面站点收集的数据,获取PM2.5和NO2浓度值作为因变量;
步骤3,对步骤2中获得的自变量和因变量进行格网化时空匹配,将匹配后具有地面监测站点对应真值的格网数据作为样本数据,构建多任务学习样本集。该步骤匹配并构建样本集的过程可通过Python及ArcGIS开发实现。该步骤得到的多任务学习样本集是以PM2.5和 NO2同时作为因变量、以多任务数据集Dataset(Multi-task)的特征自变量作为自变量的集合,其结构如下:
SampleSet(Multi-task)={PM2.5,NO2}∪Dataset(Multi-task) (2)
其中,SampleSet(Multi-task)是多任务学习样本集,Dataset(Multi-task)为多任务数据集,{PM2.5,NO2}为PM2.5和NO2变量的集合。
该步骤多任务学习样本集中自变量与因变量之间需要学习的映射关系如下:
(PM2.5,NO2)=f(Dataset(Multi-task))=f(AOD,NO2_TC,Temp,WS,RH,PS,DTemp,TP,Sund,DEM,NDVI,PD,GDP) (3)
其中,f为多任务深度学习模型需要学习的自变量到因变量的映射关系。
步骤4,提出多任务MMoE深度置信网络作为多任务深度学习模型的实现,该网络是一个具有MMoE架构的多任务深度置信神经网络模型,具有两个任务输出,分别对应PM2.5浓度与NO2浓度的反演,两个任务均采用平方损失函数作为损失函数;所述多任务深度学习模型网络结构包括三部分:其一是用于多任务数据、信息与特征共享的共享部分,该部分由三个深度置信专家子网络构成;其二是用于筛选过滤共享信息的两个多层感知机门控结构,分别对应两个子任务;其三是用于分别获取两个子任务各自特征和输出的独立任务层部分。该步骤中的多任务MMoE深度置信网络使用python编程语言的pytorch深度学习工具编写;
步骤5,将步骤3中匹配得到的具有站点对应PM2.5和NO2真值的多任务学习样本集归一化后输入步骤4的多任务MMoE深度置信网络进行自适应训练,该自适应训练过程包含如下子步骤:
步骤5.1,将多任务学习样本集的特征变量输入网络中,对每个深度置信专家子网络分别通过逐层无监督预训练得到初始权重值;
步骤5.2,通过网络前向传播分别计算共享部分三个深度置信专家子网络的输出特征、两个任务分别对应的多层感知机门控结构的输出权重,并通过门控结构权重对所述三个专家子网络输出的特征进行加权融合,再将其结果作为输入值,分别输入对应的独立任务层部分,计算得到PM2.5和NO2浓度输出结果;
步骤5.3,采用平方损失函数分别计算PM2.5和NO2两个单任务损失函数LPM2.5、LNO2,并计算多任务深度学习网络总损失函数Lmulti-task
步骤5.4,判断网络训练是否收敛,若收敛则停止训练,得到多任务深度学习网络模型,否则执行步骤5.5;
步骤5.5,采用反向传播算法计算网络各参数梯度,使用Adam梯度下降方法更新网络权值,更新完成后返回步骤5.2;
步骤6,对步骤5中模型输出结果进行效果验证,验证通过后使用该模型对未知真值的格网上的PM2.5和NO2浓度进行协同反演,得到最终的PM2.5和NO2浓度反演结果;
本实施例中,步骤4所述多任务MMoE深度置信网络的共享部分为多任务学习网络的底层部分,由三个相同结构的深度置信专家子网络构成,每个专家子网络均包括数据输入、全连接层、激活函数层。在专家子网络的相邻每两层间构成受限玻尔兹曼机(Restricted Boltzmann Machine,RBM),每个RBM均由显层(V)和隐层(H)双向连接构成,且前一个RBM的隐层为后一个RBM的显层。对于每个RBM,其结构表示如下:
其中,M为显层神经元个数,N为隐层神经元个数,V为显层神经元值的向量,H为隐层神经元值的向量,W为RBM的权重矩阵,A为显层偏置的向量,B为隐层偏置的向量, v表示单个显层神经元的值,h表示单个隐层神经元的值,w表示显层神经元到隐层神经元对应权重值,a表示显层中对应单个神经元的偏置项,b表示隐层中对应单个神经元的偏置项。
本实施例中,步骤4所述的多任务深度学习模型的门控结构,为多层感知机模型,其计算结构表示如下:
其中,是对应第k个任务的门控结构第i层的输出值,Wi k时该任务对应门控结构第i层的权重,x是SampleSet(Multi-task)中输入网络的自变量值,b为偏置单元,σ为sigmoid 激活函数,softmax为归一化指数函数。即对于i为网络输出层时,得到第k个任务对应的门控结构输出权重为/>
本实施例中,步骤4所述的多任务MMoE深度置信网络的独立任务层部分为多任务学习网络的高层部分,是PM2.5和NO2浓度反演两个任务的独立网络结构,每个网络结构拥有独立的全连接层、激活函数层和结果输出,均连接共享部分的三个深度置信专家子网络,并通过对应的门控结构对专家子网络的输出特征进行加权融合作为独立网络的输入值;
如图2所示为本实施例所提出的多任务MMoE深度置信网络架构图。
本实施例中,步骤5所述归一化过程采用如下公式:
其中,x′t表示第t个样本归一化后的变量值,xt表示第t个样本原始变量值,min表示最小值函数,max表示最大值函数。
本实施例中,步骤5.1所述的深度置信专家子网络逐层无监督预训练过程是通过对比散度算法对专家子网络的每个受限玻尔兹曼机(RBM)进行权值初始化,以第一个RBM为例,显层V第一次使隐层H激活的过程表示如下:
其中,V(0)表示将SampleSet(Multi-task)中的自变量x赋给显层得到的显层值向量,中j表示隐层第j个神经元,(0)表示隐层第一次激活,Wj表示隐层第j个神经元与显层的权值向量,bj为隐层第j个神经元的偏置项,σ表示sigmoid激活函数,随机变量μ~U(0,1)。
通过上式得到的激活后的隐层H(0)重构显层V(0)的过程可表示如下:
其中,Vi (1)中i表示显层第i个神经元,(1)表示显层被重构,Wi T表示显层第i个神经元与隐层的权值向量,ai为显层第i个神经元的偏置项,σ表示sigmoid激活函数,随机变量μ~U(0,1)。
类似的,再通过式(6)用V(1)对隐层进行一次激活得到H(1),最终权值W迭代更新的规则如下所示,迭代一定次数后得到RBM初始权值:
W←W+ε(H(0)·V(0)T-H(1)·V(1)T) (9)
其中,ε为权值更新的学习率。
本实施例中,步骤5.2所述前向传播过程中,每个门控结构对专家子网络输出特征的加权融合过程如下:
其中,x是SampleSet(Multi-task)输入网络的自变量值,ej(x)对应第j个专家子网络的输出特征,n为专家子网络总数,对应第k个任务的门控结构的第j个输出神经元输出值,f(x)k为加权融合结果,即第k个任务的独立任务层部分的网络输入值。
本实施例中,步骤5.3所述多任务深度学习网络总损失函数可如下公式得到:
其中,Lmulti-task为多任务学习网络的总损失,LPM2.5分别为多任务学习网络中 PM2.5和NO2浓度反演任务的损失,α、β分别为两个任务损失函数的权重系数。本实施例提出如下自适应调整方法得到权重系数α、β:
上述自适应调整方法通过计算PM2.5和NO2单任务损失在损失总和中的比例得到相应任务的损失权重值,为单任务损失大的任务分配更高的权重,能有效加快网络收敛速度,自适应选取合适的权重值。
本实施例中,对步骤6中模型输出结果进行效果验证,可以通过决定系数R2、均方根误差RMSE或平均绝对误差MAE等指标进行评价。
其中,yt是多任务学习样本集第t条样本的PM2.5或NO2浓度观测值,m为样本总数,是样本观测值的平均值,/>是模型估计的对应PM2.5或NO2浓度。R2越接近1表明模型的反演效果越好。
式中各参数含义同上,RMSE和MAE越小说明模型的反演效果越好。
下面通过具体实验说明本发明的效果:
首先选取武汉城市圈作为本实验的实验区域,以2017年1月1日至12月31日作为实验时段,按照本发明前述方法获取葵花8号气溶胶光学厚度数据、欧洲中期天气预报中心再分析资料气象数据以及其他辅助数据,处理并生成所需的多任务学习样本集。
然后根据本发明前述方法,使用pytorch深度学习工具构建多任务MMoE深度置信网络。按照9∶1的比例将归一化后的多任务学习样本集划分为训练集和测试集,并将训练集输入网络进行训练,得到训练好的多任务MMoE深度置信网络模型。
最后利用训练好的多任务MMoE深度置信网络模型,基于测试集验证模型反演效果,通过决定系数R2、均方根误差RMSE、平均绝对误差MAE指标进行评价,决定系数R2越接近1,RMSE和MAE越小,表明反演效果越好。
本模型在测试集上对PM2.5和NO2浓度的反演结果与实际浓度的对比见图3、图4,本模型与常见的单任务深度置信网络反演结果对比如表1所示,可见本发明提出的多任务深度学习PM2.5和NO2协同反演方法更具优势。
表1多任务MMoE深度置信网络模型与单任务模型效果对比表
具体实施时,以上流程采用计算机软件技术实现,亦可实现自动化运行。
应当理解的是,本说明书未详细阐述的部分均属于现有技术。
应当理解的是,本说明书结合附图所示实施例的描述较为详细,但不能因此认为是对本发明专利保护范围的限制。在不偏离本发明原理的前提下,本领域的普通技术人员在本发明的启示下,可以做出替换或变形,均落入本发明的保护范围之内,本发明的请求保护范围以所附权利要求书为准。

Claims (10)

1.一种基于多任务深度学习的遥感PM2.5和NO2协同反演方法,其特征在于,包括以下步骤:
步骤1,数据获取与模型变量的选择,包括地面站点PM2.5和NO2数据、遥感数据、气象数据及其他辅助数据,并对其进行预处理;
步骤2,使用遥感信息及空间数据处理手段对多源数据进行处理并提取特征变量,其具体实现包括以下子步骤:
步骤2.1,对于步骤1预处理后的遥感数据、气象数据及其他辅助数据,分别根据PM2.5与NO2反演子任务进行处理;
步骤2.2,对步骤2.1获取的子任务数据进行并集处理得到多任务数据集,再通过栅格数据重投影、重采样处理、裁剪匹配过程统一空间尺度,通过时间插值方法统一时间尺度,得到对应的多任务特征自变量,包括气溶胶光学厚度变量AOD、NO2柱总量变量NO2_TC、地表温度变量Temp、风速变量WS、相对湿度变量RH、气压变量PS、露点温度变量DTemp、降水变量TP、日照时间变量Sund、数字高程模型变量DEM、植被指数变量NDVI、人口密度变量PD、国内生产总值变量GDP;
步骤2.3,对于地面站点数据,获取PM2.5和NO2浓度值作为因变量;
步骤3,对步骤2中获得的自变量和因变量进行格网化时空匹配,将匹配后具有地面监测站点对应真值的格网数据作为样本数据,构建多任务学习样本集;
步骤4,构建多任务深度学习模型,该模型是一个具有多重门控混合专家架构的多任务深度学习神经网络模型,具有两个任务输出,分别对应PM2.5浓度与NO2浓度的反演,两个任务均采用平方损失函数作为损失函数;所述多任务深度学习模型网络结构包括三部分:其一是用于多任务数据、信息与特征共享的共享部分,该部分由若干个专家子网络构成;其二是用于筛选过滤共享信息的两个门控结构,分别对应两个子任务;其三是用于分别获取两个子任务各自特征和输出的独立任务层部分;
步骤5,将步骤3中匹配得到的具有站点对应PM2.5和NO2真值的多任务学习样本集归一化后输入步骤4的多任务深度学习模型进行自适应训练,该自适应训练过程包含如下子步骤:
步骤5.1,将多任务学习样本集的特征变量输入模型中,对每个专家子网络分别通过逐层无监督预训练得到初始权重值;
步骤5.2,通过前向传播分别计算共享部分多个专家子网络的输出特征、两个任务分别对应的门控结构的输出权重,并通过门控结构权重对所述多个专家子网络输出的特征进行加权融合,再将其结果作为输入值,分别输入对应的独立任务层部分,计算得到PM2.5和NO2浓度输出结果;
步骤5.3,采用平方损失函数分别计算PM2.5和NO2两个单任务损失函数LPM2.5并计算多任务深度学习模型总损失函数Lmulti-task
步骤5.4,判断模型训练是否收敛,若收敛则停止训练,得到多任务深度学习模型,否则执行步骤5.5;
步骤5.5,采用反向传播算法计算模型各参数梯度,使用Adam梯度下降方法更新模型权值,更新完成后返回步骤5.2;
步骤6,对步骤5中模型输出结果进行效果验证,验证通过后使用验证后的模型对未知真值的格网上的PM2.5和NO2浓度进行协同反演,得到最终的PM2.5和NO2浓度反演结果。
2.根据权利要求1所述的基于多任务深度学习的遥感PM2.5和NO2协同反演方法,其特征在于:步骤1中所述的预处理过程,包括对地面站点PM2.5和NO2数据的异常值与空值剔除,对遥感数据、气象数据及其他辅助数据处理为栅格数据文件格式。
3.根据权利要求1所述的基于多任务深度学习的遥感PM2.5和NO2协同反演方法,其特征在于:步骤2.1中根据PM2.5与NO2反演子任务进行处理的具体实现过程如下;
对PM2.5反演子任务获取常用参数,得到PM2.5子任务数据集Subset(PM2.5),包括气溶胶光学厚度、地表温度、风速、相对湿度、表面压强、露点温度、降水、数字高程模型、植被指数参数、人口密度及国内生产总值;对NO2反演子任务获取常用参数,得到NO2子任务数据集Subset(NO2),包括NO2柱总量、地表温度、风速、相对湿度、表面压强、露点温度、降水、日照时间、植被指数参数、人口密度及国内生产总值;
步骤2.2中所述子任务数据集及其并集操作表示如下:
Dataset(Multi-task)=Subset(PM2.5)∪Subset(NO2) (1)
其中,Dataset(Multi-task)为多任务数据集,Subset(PM2.5)为PM2.5子任务数据集,Subset(NO2)为NO2子任务数据集。
4.根据权利要求1所述的基于多任务深度学习的遥感PM2.5和NO2协同反演方法,其特征在于:步骤3中得到的多任务学习样本集是以PM2.5和NO2同时作为因变量、以多任务数据集Dataset(Multi-task)的特征自变量作为自变量的集合,其结构如下:
SampleSet(Multi-task)={PM2.5,NO2}∪Dataset(Multi-task) (2)
其中,SampleSet(Multi-task)是多任务学习样本集,Dataset(Multi-task)为多任务数据集,{PM2.5,NO2}为PM2.5和NO2变量的集合;
该步骤多任务学习样本集中自变量与因变量之间需要学习的映射关系如下:
(PM2.5,NO2)=f(Dataset(Multi-task))=
f(AOD,NO2_TC,Temp,WS,RH,PS,DTemp,TP,Sund,DEM,NDVI,PD,GDP) (3)
其中,Dataset(Multi-task)为多任务数据集,AOD为气溶胶光学厚度变量,NO2_TC为NO2柱总量变量,Temp地表温度变量,WS为风速变量,RH为相对湿度变量,PS为气压变量,Dtemp为露点温度变量,TP为降水变量,Sund为日照时间变量,DEM为数字高程模型变量,NDVI为植被指数变量,PD为人口密度变量,GDP为国内生产总值变量,f为多任务深度学习模型需要学习的自变量到因变量的映射关系。
5.根据权利要求1所述的基于多任务深度学习的遥感PM2.5和NO2协同反演方法,其特征在于:步骤4所述多任务深度学习模型的共享部分为多任务学习模型的底层部分,由若干个相同结构的专家子网络构成,每个专家子网络均包括数据输入、全连接层、激活函数层;在专家子网络的相邻每两层间构成受限玻尔兹曼机RBM,每个RBM均由显层V和隐层H双向连接构成,且前一个RBM的隐层为后一个RBM的显层,对于每个RBM,其结构表示如下:
其中,M为显层神经元个数,N为隐层神经元个数,V为显层神经元的值,H为隐层神经元的值,W为RBM的权重矩阵,A为显层偏置,B为隐层偏置,v表示单个显层神经元的值,h表示单个隐层神经元的值,w表示显层神经元到隐层神经元对应权重值,a表示显层中对应单个神经元的偏置项,b表示隐层中对应单个神经元的偏置项。
6.根据权利要求1所述的基于多任务深度学习的遥感PM2.5和NO2协同反演方法,其特征在于:步骤4所述多任务深度学习模型的门控结构,为多层感知机模型,其计算结构可表示如下:
其中,是对应第k个任务的门控结构第i层的输出值,Wi k是该任务对应门控结构第i层的权重,x是多任务学习样本集SampleSet(Multi-task)中输入模型的自变量值,b为偏置单元,σ为sigmoid激活函数,softmax为归一化指数函数,即对于i为模型输出层时,得到第k个任务对应的门控结构输出权重为/>
7.根据权利要求1所述的基于多任务深度学习的遥感PM2.5和NO2协同反演方法,其特征在于:步骤4所述多任务深度学习模型的独立任务层部分为多任务学习模型的高层部分,是PM2.5和NO2浓度反演两个任务的独立网络结构,每个网络结构拥有独立的全连接层、激活函数层和结果输出,均连接共享部分的多个专家子网络,并通过对应的门控结构对专家子网络的输出特征进行加权融合作为独立网络的输入值。
8.根据权利要求1所述的基于多任务深度学习的遥感PM2.5和NO2协同反演方法,其特征在于:步骤5所述归一化过程采用如下公式:
其中,x′t表示第t个样本归一化后的变量值,xt表示第t个样本原始变量值,min表示最小值函数,max表示最大值函数。
9.根据权利要求1所述的基于多任务深度学习的遥感PM2.5和NO2协同反演方法,其特征在于:步骤5.1中,专家子网络逐层无监督预训练过程是通过对比散度算法对专家子网络的每个受限玻尔兹曼机RBM进行权值初始化,以第一个RBM为例,显层V第一次使隐层H激活的过程表示如下:
其中,V(0)表示将多任务学习样本集SampleSet(Multi-task)中的自变量x赋给显层得到的显层值向量,中j表示隐层第j个神经元,(0)表示隐层第一次激活,Wj表示隐层第j个神经元与显层的权值向量,bj为隐层第j个神经元的偏置项,σ表示sigmoid激活函数,随机变量μ~U(0,1);
通过上式得到的激活后的隐层H(0)重构显层V(0)的过程可表示如下:
其中,Vi (1)中i表示显层第i个神经元,(1)表示显层被重构,Wi T表示显层第i个神经元与隐层的权值向量,ai为显层第i个神经元的偏置项,σ表示sigmoid激活函数,随机变量μ~U(0,1);
类似的,再通过式(6)用V(1)对隐层进行一次激活得到H(1),最终权值W迭代更新的规则如下所示,迭代一定次数后得到RBM初始权值:
W←W+ε(H(0)·V(0)T-H(1)·V(1)T) (9)
其中,ε为权值更新的学习率;
步骤5.2所述前向传播过程中,每个门控结构对专家子网络输出特征的加权融合过程如下:
其中,x是多任务学习样本集SampleSet(Multi-task)中输入模型的自变量值,ej(x)对应第j个专家子网络的输出特征,n为专家子网络总数,对应第k个任务的门控结构的第j个输出神经元输出值,f(x)k为第k个任务的独立任务层部分的模型输入值。
10.根据权利要求1所述的基于多任务深度学习的遥感PM2.5和NO2协同反演方法,其特征在于:步骤5.3所述多任务深度学习模型总损失函数计算方式如下:
其中,Lmulti-task为多任务学习模型的总损失,LPM2.5分别为多任务学习模型中PM2.5和NO2浓度反演任务的损失,α、β分别为两个任务损失函数的权重系数,通过提出如下自适应调整方法得到权重系数α、β:
CN202210354351.7A 2022-04-06 2022-04-06 一种基于多任务深度学习的遥感pm2.5和no2协同反演方法 Active CN114996624B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210354351.7A CN114996624B (zh) 2022-04-06 2022-04-06 一种基于多任务深度学习的遥感pm2.5和no2协同反演方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210354351.7A CN114996624B (zh) 2022-04-06 2022-04-06 一种基于多任务深度学习的遥感pm2.5和no2协同反演方法

Publications (2)

Publication Number Publication Date
CN114996624A CN114996624A (zh) 2022-09-02
CN114996624B true CN114996624B (zh) 2024-04-05

Family

ID=83023416

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210354351.7A Active CN114996624B (zh) 2022-04-06 2022-04-06 一种基于多任务深度学习的遥感pm2.5和no2协同反演方法

Country Status (1)

Country Link
CN (1) CN114996624B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN118212548B (zh) * 2024-03-21 2024-09-13 宁波大学 基于级联深度网络的颗粒物与臭氧遥感协同估算方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106442236A (zh) * 2015-07-30 2017-02-22 中国科学院遥感与数字地球研究所 基于卫星遥感的地面pm2.5反演方法及系统
CN108170927A (zh) * 2017-12-22 2018-06-15 深圳先进技术研究院 一种基于modis的pm2.5遥感反演方法
CN109377440A (zh) * 2018-12-06 2019-02-22 北京工业大学 一种基于多任务集成学习器的pm2.5和o3浓度协同预测方法
CN110287455A (zh) * 2019-05-28 2019-09-27 武汉大学 一种结合遥感数据与社会感知数据的pm2.5深度学习反演方法
CN114004163A (zh) * 2021-11-04 2022-02-01 大连理工大学 一种基于modis和长短时记忆网络模型的pm2.5反演方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106442236A (zh) * 2015-07-30 2017-02-22 中国科学院遥感与数字地球研究所 基于卫星遥感的地面pm2.5反演方法及系统
CN108170927A (zh) * 2017-12-22 2018-06-15 深圳先进技术研究院 一种基于modis的pm2.5遥感反演方法
CN109377440A (zh) * 2018-12-06 2019-02-22 北京工业大学 一种基于多任务集成学习器的pm2.5和o3浓度协同预测方法
CN110287455A (zh) * 2019-05-28 2019-09-27 武汉大学 一种结合遥感数据与社会感知数据的pm2.5深度学习反演方法
CN114004163A (zh) * 2021-11-04 2022-02-01 大连理工大学 一种基于modis和长短时记忆网络模型的pm2.5反演方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
不同时间尺度大气PM_(2.5)和PM_(10)卫星影像反演;武鹏飞;赵银军;卢远;吴海燕;金健;;广西师范学院学报(自然科学版);20160925(03);全文 *
四川盆地PM_(2.5)与PM_(10)高分辨率时空分布及关联分析;汤宇磊;杨复沫;詹宇;;中国环境科学;20191220(12);全文 *
基于遗传BP神经网络的主被动遥感协同反演土壤水分;余凡;赵英时;李海涛;;红外与毫米波学报;20120615(03);全文 *
李同文 ; 孙越乔 ; 杨晨雪 ; 李明晓 ; 曾超 ; 沈焕锋 ; .融合卫星遥感与地面测站的区域PM2.5反演.测绘地理信息.2015,(03),全文. *

Also Published As

Publication number Publication date
CN114996624A (zh) 2022-09-02

Similar Documents

Publication Publication Date Title
CN111832814B (zh) 一种基于图注意力机制的空气污染物浓度预测方法
CN109492822B (zh) 空气污染物浓度时空域关联预测方法
CN109214592B (zh) 一种多模型融合的深度学习的空气质量预测方法
CN111815037B (zh) 一种基于注意力机制的可解释性短临极端降雨预测方法
CN112116080A (zh) 一种融合了注意力机制的cnn-gru水质预测方法
CN109143408B (zh) 基于mlp的动态区域联合短时降水预报方法
CN110289987B (zh) 基于表征学习的多智能体系统网络抗攻击能力评估方法
CN114996624B (zh) 一种基于多任务深度学习的遥感pm2.5和no2协同反演方法
CN117370766A (zh) 一种基于深度学习的卫星任务规划方案评估方法
Chen et al. WSN sampling optimization for signal reconstruction using spatiotemporal autoencoder
CN118350678B (zh) 基于物联网与大数据的水环境监测数据处理方法及系统
CN114578011A (zh) 一种基于多传感器多源数据融合的水质监测方法
CN116227689A (zh) 一种光伏板污秽度状态评价及清扫决策系统
CN115293577A (zh) 基于机器学习的高寒流域地下水化学控制因素分析方法
CN115049026A (zh) 基于gsnnr的空间非平稳性关系的回归分析方法
CN110260914A (zh) 一种基于测点时空特征的工程安全监测系统区域划分方法
CN116502539B (zh) 一种VOCs气体浓度预测方法及系统
CN117275222A (zh) 一种融合一维卷积与属性增强单元的交通流量预测方法
Trifunov et al. A data-driven approach to partitioning net ecosystem exchange using a deep state space model
CN115170218A (zh) 融合图神经网络和多层级对比学习的神经网络序列推荐方法
Čorić et al. PollenNet-a deep learning approach to predicting airborne pollen concentrations
CN117192063B (zh) 基于耦合卡尔曼滤波数据同化的水质预测方法及系统
CN118396482B (zh) 面向气候变化的耕地质量动态监测方法
Annas et al. Assessing daily tropical rainfall variations using a neuro-fuzzy classification model
CN118333091B (zh) 区域海表面温度预报方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant