CN106226212B - 基于深度残差网络的高光谱霾监测方法 - Google Patents

基于深度残差网络的高光谱霾监测方法 Download PDF

Info

Publication number
CN106226212B
CN106226212B CN201610783726.6A CN201610783726A CN106226212B CN 106226212 B CN106226212 B CN 106226212B CN 201610783726 A CN201610783726 A CN 201610783726A CN 106226212 B CN106226212 B CN 106226212B
Authority
CN
China
Prior art keywords
residual error
haze
data
network
training
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201610783726.6A
Other languages
English (en)
Other versions
CN106226212A (zh
Inventor
李元祥
陆永帅
施雨舟
徐俊
彭希帅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Jiaotong University
Original Assignee
Shanghai Jiaotong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Jiaotong University filed Critical Shanghai Jiaotong University
Priority to CN201610783726.6A priority Critical patent/CN106226212B/zh
Publication of CN106226212A publication Critical patent/CN106226212A/zh
Application granted granted Critical
Publication of CN106226212B publication Critical patent/CN106226212B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N15/00Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
    • G01N15/06Investigating concentration of particle suspensions
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88Lidar systems specially adapted for specific applications
    • G01S17/95Lidar systems specially adapted for specific applications for meteorological use
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02ATECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/10Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation

Landscapes

  • Physics & Mathematics (AREA)
  • Chemical & Material Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Dispersion Chemistry (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electromagnetism (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Image Analysis (AREA)

Abstract

一种基于深度残差网络的高光谱霾监测方法,将深度残差网络与高光谱遥感数据相结合,通过在网络中加入捷径通路的方法,降低了训练难度,提高了训练精度。从而得到了更为准确的霾监测模型,提高了监测精度。

Description

基于深度残差网络的高光谱霾监测方法
技术领域
本发明涉及图像处理及模式识别的技术领域,具体是一种基于深度残差网络的高光谱霾监测方法。
背景技术
当前,我国的大气污染越发严重。大气霾污染已经成为了亟待解决的重大环境问题。霾污染治理中重要的一环就是霾的监测问题。目前,用于雾霾天气现象监测的手段有地面定点观测和卫星遥感检测。由于雾霾具有在特定时间内发生频率较高,影响范围广的特点,因此只有监测手段具有较高的时空性,才能对其做出及时准确的监测。然而,地面定点观测主要依据布设气象站点进行观测,受到人力、物力、财力和技术的限制,气象站点稀少,分布不均匀、不合理,不能完全满足监测典型极端天气现象的时空需求。卫星遥感监测则具有覆盖范围广、信息量大、重复频率高、客观真实性强、信息源可靠、资源获取方便、费用低廉等诸多优势,不仅弥补了地面观测数据时空分辨率的不足,同时还可与地面观测数据进行精度上的相互验证,互为补充,深化了雾霾天气现象的研究,在其与时空特征分布的监测和定量研究中发挥着越来越重要的作用。
张春贵等(2009)在详细分析MODIS多通道探测数据在不同下垫面条件下的辐射特征的基础上,建立了海雾遥感监测模型,能够较准去地对研究区域的海雾分布和发展过程进行检测。李军等(2011)根据静止卫星MTSAT-1资料利用主成分分析法对华北地区的大雾进行了监测,并对大雾监测阈值进行了敏感型分析,通过选取合适的检测阈值,使得探测雾的准确率提高。王中挺等人2012年提出了利用环境一号卫星数据的深蓝算法(王中挺,厉青,李莘莘,等.基于环境一号卫星的霾监测应用[J].光谱学与光谱分析,2012,32(3):775-780.)来进行霾监测,但因为辐射分辨率的限制,精度尚不能完全满足霾监测的需求。
高光谱遥感数据作为一种较新型的遥感数据,具有波段多、光谱范围窄、波段连续等特点。相对于传统卫星遥感数据,高光谱遥感可以得到拍摄地更为详细的地表信息和大气信息,多用于地物分类矿物监测等领域。目前尚没有高光谱数据用于霾监测的研究。
发明内容
本发明为了克服上述现有技术的不足,提供一种基于深度残差网络的高光谱霾监测方法,降低了深度网络的训练难度,提高了网络拟合精度,最终实现了霾识别率的提升。
本发明的包括训练阶段和识别阶段两部分,所述训练阶段包括以下步骤:
第一步,获取高光谱遥感原始数据;
第二步,对数据进行预处理操作,包括条纹修复和换线去除、损坏波段剔除、大气校正、几何校正等操作;
第三步,获取高光谱图像对应区域对应时间的地面站观测数据;
第四步,将每个观测站周围1.5km×1.5km区域高光谱图像截出,作为训练集,观测站的天气情况(无霾、轻霾、中霾、重霾)作为此区域的标签数据;
第五步,将训练数据和标签数据输入深度残差网络中训练网络参数,网络结构如下:
整个网络为13层(只算卷积层和全连接层),其中包括卷积层10层,全连接层3层。在第1层卷积层之后,分为三个残差模块。每个残差模块在一开始分为一条主径和一条捷径,主径上有三个卷积层用于提取高光谱曲线中的深层特征,捷径上只有一个卷积层,方便训练时残差的向上传播。主径和捷径得到的特征在残差模块结束时重新叠加汇合,进入下一个阶段。最后部分是三个节点为500、50、4的全连接层,将之前得到的卷积特征进行分类,得到识别结果;
第六步,将第五步训练好的网络参数保存,作为我们的识别模型。
所述识别阶段包括以下步骤:
第一步,获取要进行识别的高光谱遥感原始数据;
第二步,对数据进行预处理操作,包括条纹修复和换线去除、损坏波段剔除、大气校正、几何校正等操作;
第三步,将预处理好的高光谱数据输入上述识别模型,得到识别结果。
与现有技术相比本发明具有以下优点:
第一,本发明采用了高光谱遥感数据作为输入数据,高光谱遥感数据具有波段多、光谱范围窄、波段连续等特点。相对于传统的全色遥感数据(单通道)或者多光谱遥感数据(十几或者几十通道),高光谱遥感数据(上百个通道)可以得到拍摄地更为详细的地表信息和大气信息,为我们的高精度霾监测提供基础。
第二,将最新的深度学习的方法与传统的气象行业相结合,一般的霾监测算法是针对高光谱数据242个通道反射强度的特点,人工提取需要的特征建立霾模型,再不断的调整修正,得到最终结果。而机器学习尤其是深度学习,通过卷积等操作,可以将样本在原空间的特征表示变换到新的特征空间,自动地学习得到层次化的特征表示,从而更有利于监测和分类。同时,高光谱数据不同于传统的遥感数据,数据量十分庞大,人工建模的方法不仅十分繁琐而且结果往往不尽人意。在机器性能飞速发展的今天,使用深度学习来提取特征建立霾监测模型,可以有事半功倍的作用。
第三,一般来说,网络深度约深,越可以提取出光谱曲线的深层特征,识别结果也就应该越好。但传统的深度学习只是卷积层的不断堆砌,带来的问题就是随着网络深度的增加,训练难度越来越大。目前的网络训练一般都采用反馈的训练方式,通过对比输出层与标签之间的误差(或者称之为残差),将误差逐层向上反馈调整整个网络的参数权值。而残差的大小有着逐层递减的特点,当层数很大的时候,最初始的几层几乎感受不到任何反馈的残差,导致无法调整权值,使得网络深度失去的意义。本发明在每个残差模块的开始和结束引入了单层卷积的捷径,反馈过程的误差可以通过这条捷径直接向上层传播,让整个网络的权值都得以调整。最终使得整个深度残差网络的权值参数接近最优解,得到性能优异的模型,提高了霾监测结果。
附图说明
图1是本发明的流程图。
图2是本发明深度残差网络的网络总体结构图。其中,一维卷积层和残差模块下方的数字代表输出特征的层数和维度,全连接层和输出层下方的数字表示节点数。
图3是残差模块内部结构示意图。
图4是加入残差捷径的深度残差网络与不加入残差捷径的深层堆砌网络训练与测试性能对比图。
图5是本发明对苏州区域的监测结果示意图。其中(a)是三个观测区域的位置示意图,(b)是15年01月26日的监测结果,(c)是15年07月15日的观测结果。其中1、2表示无霾,3表示轻霾,4表示中霾,5表示重霾。
具体实施方式
以下结合附图和实验样例对本发明的作详细说明:
第一步,获取高光谱遥感原始数据;
第二步,对数据进行预处理操作,包括条纹修复和换线去除、损坏波段剔除、大气校正、几何校正等操作;
其中,不同时间不同维度获取的图像还需要对太阳高度角进行修正,如式1。
其中,I是修正之后的反射强度,I0是原始反射强度,h是图像拍摄时的太阳高度角。
第三步,获取高光谱图像对应区域对应时间的地面站观测数据;
第四步,将每个观测站周围1.5km×1.5km区域高光谱图像截出,作为训练集,观测站的天气情况(无霾、轻霾、中霾、重霾)作为此区域的标签数据;
第五步,将训练数据和标签数据输入深度残差网络中训练网络参数,网络结构如图2所示。
整个网络为13层,其中包括卷积层10层,全连接层3层。在第1层卷积层之后,分为三个残差模块。残差模块的内部结构如图3所示。每个残差模块在一开始分为一条主径和一条捷径,主径上有三个卷积层用于提取高光谱曲线中的深层特征,捷径上只有一个卷积层,方便训练时残差的向上传播。主径和捷径得到的特征在残差模块结束时重新叠加汇合,进入下一个阶段。最后部分是三个节点为500、50、4的全连接层,将之前得到的卷积特征进行分类,得到识别结果。
每个残差模块的前都有一个最大池化(Maxpooling)操作,用于将压缩维度,减少模型参数,提高模型的泛化能力。模型中池化长度设置为2,即下采样为原来的一般长度。
在每个卷积层和池化层之后都会进行批归一化(Batch Normalization)操作,使得提取后的特征的均值为0,方差为1,用于加速训练和优化结果。
在全连接层中加入了随机隐退(Dropout)操作,提高模型的鲁棒性,防止过拟合。
训练时的代价函数选择为交叉熵,采用随机梯度下降的方法来训练网络,学习率设置为1×10-4,训练迭代次数1000。
第六步,保存网络参数得到霾监测模型。
有无残差捷径的实验对比:
为了说明残差捷径加入的有效性,我们将同样深度同样参数设置,区别仅仅在于有无捷径的两个深度网络,在相同的数据集下进行试验。试验数据为苏州地区观测站附近带标签的517667个像元数据,每个像元数据有242个通道(去除损坏通道后剩余198个),表示一处地点此时的光谱曲线。标签分为无霾、轻霾、中霾、重霾四类。其中,选取其中5000个像元数据作为训练集,其余数据作为测试集。
训练迭代过程中的训练误差和测试误差如图3所示。
可以看出,随着迭代次数的增加,两种模型的训练误差和测试误差都呈下降趋势,并且一开始下降迅速,而后趋于平稳。加入捷径之后的深度残差网络相对于传统深层网络,训练时误差下降更快,训练波动也小,训练难度明显降低。在测试误差的表现上,深度残差网络也明显优于堆砌的深度网络。
不同方法霾识别性能对比:
同样在之前的数据上进行支持向量机、浅层网络、深层堆砌网络和本发明深度残差网络的识别对比试验。
支持向量机采用径向基函数作为核函数,参数g和惩罚因子C采用五折交叉验证的方法进行寻优得到。浅层网络采用198-50-4的网络结构,学习率设为0.01。堆砌深层网络与深度残差网络的参数与上部分相同。
评价指标采用总体精度和卡帕系数。
试验重复三次,结果如表1所示。
表1对比试验结果
可以看出,本发明深度残差网络,不论在总体精度上还是卡帕系数上,都远远优越于其他算法。
苏州2015年-2016年数据监测试验:
用训练好的模型,对2015年1月-2016年3月期间苏州地区的Hyperion观测数据进行识别。每张高光谱图上有常熟、吴江和吴中三个观测点。以观测点周围约1.5km×1.5km区域的像元作为输入,区域内判断比例最高的类别作为整块区域最终的判断类别。
结果如下表展示。
表2苏州地区监测试验结果
可以看出,程序判断的霾种类都与地面观测数据吻合。可以说明我们算法的可行性。
综上所述,本发明在高光谱霾监测方面有着很高的准确率。单像元判断精度在96%以上,区域判断精度几乎达到100%。

Claims (3)

1.一种基于深度残差网络的高光谱霾监测方法,其特征在于,包括训练阶段和识别阶段,具体步骤步骤如下:
训练阶段:
第一步,获取高光谱遥感原始数据;
第二步,对原始数据进行预处理操作,包括条纹修复、换线去除、损坏波段剔除、大气校正或几何校正;
第三步,获取高光谱图像对应区域对应时间的地面站观测数据;
第四步,将每个地面站周围1.5km×1.5km区域高光谱图像截出,作为训练集,地面站的天气情况,包括无霾、轻霾、中霾、重霾,作为此区域的标签数据;
第五步,将训练数据和标签数据输入深度残差网络中训练网络参数;
第六步,将第五步训练好的网络参数保存,作为识别模型,即霾监测模型;
识别阶段:
第一步,获取要进行识别的高光谱遥感原始数据;
第二步,对数据进行预处理操作,包括条纹修复和换线去除、损坏波段剔除、大气校正或几何校正;
第三步,将预处理好的高光谱数据输入所述的霾监测模型,得到识别结果。
2.根据权利要求1所述的基于深度残差网络的高光谱霾监测方法,其特征在于,所述第五步中深度残差网络的架构具体是:将预处理后的光谱曲线作为输入层,经过一维卷基层提取特征后输入到一个或几个串联的残差模块,最后是全连接层和结果输出层。
3.根据权利要求2所述的基于深度残差网络的高光谱霾监测方法,其特征在于,所述的残差模块在一开始分为一条主径和一条捷径,主径上有多个卷积层用于提取高光谱曲线中的深层特征,捷径上只有一个卷积层或者直连,方便训练时残差的向上传播,主径和捷径得到的特征在残差模块结束时重新叠加汇合,进入下一个阶段。
CN201610783726.6A 2016-08-30 2016-08-30 基于深度残差网络的高光谱霾监测方法 Active CN106226212B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610783726.6A CN106226212B (zh) 2016-08-30 2016-08-30 基于深度残差网络的高光谱霾监测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610783726.6A CN106226212B (zh) 2016-08-30 2016-08-30 基于深度残差网络的高光谱霾监测方法

Publications (2)

Publication Number Publication Date
CN106226212A CN106226212A (zh) 2016-12-14
CN106226212B true CN106226212B (zh) 2018-10-19

Family

ID=58072337

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610783726.6A Active CN106226212B (zh) 2016-08-30 2016-08-30 基于深度残差网络的高光谱霾监测方法

Country Status (1)

Country Link
CN (1) CN106226212B (zh)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106991386A (zh) * 2017-02-27 2017-07-28 杭州电子科技大学 一种基于深度残差网络的手势识别方法
CN106897268B (zh) * 2017-02-28 2020-06-02 科大讯飞股份有限公司 文本语义理解方法、装置和系统
CN107123111B (zh) * 2017-04-14 2020-01-24 惠州旭鑫智能技术有限公司 一种用于手机屏幕缺陷检测的深度残差网络构造方法
CN107423670A (zh) * 2017-04-20 2017-12-01 上海交通大学 基于深度置信网络的modis雾监测方法
CN108733719A (zh) * 2017-04-24 2018-11-02 优信拍(北京)信息科技有限公司 一种车辆部位识别方法、装置、设备及计算机可读介质
CN107239799A (zh) * 2017-05-26 2017-10-10 西安电子科技大学 基于Pauli分解和深度残差网的极化SAR影像分类方法
CN107341518A (zh) * 2017-07-07 2017-11-10 东华理工大学 一种基于卷积神经网络的图像分类方法
CN107909084B (zh) * 2017-11-15 2021-07-13 电子科技大学 一种基于卷积-线性回归网络的雾霾浓度预测方法
CN109359385B (zh) * 2018-10-17 2021-11-23 网宿科技股份有限公司 一种服务质量评估模型的训练方法及装置
CN110147773A (zh) * 2019-05-23 2019-08-20 广东工业大学 一种遥感图像识别方法
CN110458097A (zh) * 2019-08-09 2019-11-15 软通动力信息技术有限公司 一种人脸图片识别方法、装置、电子设备及存储介质
CN111915069B (zh) * 2020-07-17 2021-12-07 天津理工大学 一种基于深度学习的轻量级有毒有害气体分布的检测方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102799903A (zh) * 2012-07-18 2012-11-28 中国科学院自动化研究所 一种基于空间与光谱信息的高光谱自动云检测方法
CN103353616A (zh) * 2013-07-05 2013-10-16 吉林大学 一种基于高光谱遥感数据快速识别油气微渗漏的方法
CN103868860A (zh) * 2014-03-25 2014-06-18 辽宁师范大学 一种基于高光谱植被指数监测湿地植被冠层氮浓度的方法
CN104050252A (zh) * 2014-06-12 2014-09-17 核工业北京地质研究院 一种高光谱遥感蚀变信息提取方法
CN104122233A (zh) * 2014-07-29 2014-10-29 大连海事大学 一种海面不同厚度原油油膜高光谱探测通道选择方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7260242B2 (en) * 2003-08-15 2007-08-21 United States Of America As Represented By The Secretary Of The Air Force Spatial surface prior information reflectance estimation (SPIRE) algorithms

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102799903A (zh) * 2012-07-18 2012-11-28 中国科学院自动化研究所 一种基于空间与光谱信息的高光谱自动云检测方法
CN103353616A (zh) * 2013-07-05 2013-10-16 吉林大学 一种基于高光谱遥感数据快速识别油气微渗漏的方法
CN103868860A (zh) * 2014-03-25 2014-06-18 辽宁师范大学 一种基于高光谱植被指数监测湿地植被冠层氮浓度的方法
CN104050252A (zh) * 2014-06-12 2014-09-17 核工业北京地质研究院 一种高光谱遥感蚀变信息提取方法
CN104122233A (zh) * 2014-07-29 2014-10-29 大连海事大学 一种海面不同厚度原油油膜高光谱探测通道选择方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
基于深度学习的高分辨率遥感影像分类研究;刘大伟等;《光学学报》;20160430;第36卷(第4期);1-9 *
基于深度残差网络的高光谱遥感数据霾监测;陆永帅等;《光学学报》;20171130;第37卷(第11期);1-11 *

Also Published As

Publication number Publication date
CN106226212A (zh) 2016-12-14

Similar Documents

Publication Publication Date Title
CN106226212B (zh) 基于深度残差网络的高光谱霾监测方法
Rogers et al. Mapping of mangrove extent and zonation using high and low tide composites of Landsat data
CN110555841B (zh) 基于自注意图像融合和dec的sar图像变化检测方法
CN111242224B (zh) 一种基于无人机提取分类样本点的多源遥感数据分类方法
US9230168B2 (en) Automatic generation of built-up layers from high resolution satellite image data
CN110097101B (zh) 一种基于改进可靠性因子的遥感图像融合与海岸带分类方法
CN115356249B (zh) 基于机器学习融合模型的卫星偏振pm2.5估算方法和系统
CN109726705B (zh) 红树林信息的提取方法、装置及电子设备
Tehrani et al. Multi-regional landslide detection using combined unsupervised and supervised machine learning
CN109657602A (zh) 基于街景数据和迁移学习的自动城市功能分区方法及系统
CN113239830A (zh) 一种基于全尺度特征融合的遥感图像云检测方法
CN115035411B (zh) 一种基于高光谱数据的互花米草指数构建与提取方法
CN114266961A (zh) 一种整合高光谱和多频段全极化sar影像的沼泽植被堆栈集成学习分类方法
CN109558803A (zh) 基于卷积神经网络与np准则的sar目标鉴别方法
CN108734122A (zh) 一种基于自适应样本选择的高光谱城区水体检测方法
Li et al. A new method for surface water extraction using multi-temporal Landsat 8 images based on maximum entropy model
CN116664954A (zh) 基于图卷积与卷积融合的高光谱地物分类方法
CN107194917A (zh) 基于dap和arelm的在轨sar图像变化检测方法
Tian et al. Classification of planted forest species in southern China with airborne hyperspectral and LiDAR data
CN116863327B (zh) 一种基于双域分类器协同对抗的跨域小样本分类方法
CN109344769A (zh) 一种基于遥感影像的光伏电站检测方法及系统
Liu et al. Analysis of coastline changes and the socio-economic driving mechanisms in Shenzhen, China
CN117557897A (zh) 目标农作物的倒伏监测方法、装置、电子设备及存储介质
Wang et al. [Retracted] Remote Sensing Satellite Image‐Based Monitoring of Agricultural Ecosystem
CN111881797A (zh) 滨海湿地植被精细分类方法、装置、设备和存储介质

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant