CN112183452A - 一种基于气象卫星图像和深度迁移学习的海雾识别方法 - Google Patents

一种基于气象卫星图像和深度迁移学习的海雾识别方法 Download PDF

Info

Publication number
CN112183452A
CN112183452A CN202011104887.0A CN202011104887A CN112183452A CN 112183452 A CN112183452 A CN 112183452A CN 202011104887 A CN202011104887 A CN 202011104887A CN 112183452 A CN112183452 A CN 112183452A
Authority
CN
China
Prior art keywords
fog
land
sea
sea fog
training
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011104887.0A
Other languages
English (en)
Other versions
CN112183452B (zh
Inventor
黄彬
钱传海
李冠廷
吴铭
赵伟
张闯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guo Jiaqixiangzhongxin
Beijing University of Posts and Telecommunications
Original Assignee
Guo Jiaqixiangzhongxin
Beijing University of Posts and Telecommunications
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guo Jiaqixiangzhongxin, Beijing University of Posts and Telecommunications filed Critical Guo Jiaqixiangzhongxin
Priority to CN202011104887.0A priority Critical patent/CN112183452B/zh
Publication of CN112183452A publication Critical patent/CN112183452A/zh
Application granted granted Critical
Publication of CN112183452B publication Critical patent/CN112183452B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/10Terrestrial scenes
    • G06V20/13Satellite images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/241Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/40Software arrangements specially adapted for pattern recognition, e.g. user interfaces or toolboxes therefor
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/048Activation functions
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02ATECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/10Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Human Computer Interaction (AREA)
  • Astronomy & Astrophysics (AREA)
  • Remote Sensing (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明涉及一种基于气象卫星图像和深度迁移学习的海雾识别方法,包括:制作陆地雾数据集和海雾数据集;使用陆地雾数据集对语义分割网络进行训练,得到陆地雾识别模型;保留陆地雾识别模型中的低层级权重参数不变,使用海雾数据集训练陆地雾识别模型中的高层级权重参数,得到基于深度迁移学习的海雾识别模型;将待识别气象卫星可见光真彩图像输入海雾识别模型,海雾识别模型最后经由sigmoid层输出海雾识别二值结果图,并将海雾识别二值结果图以海雾区域覆盖掩模的形式叠加在待识别气象卫星可见光真彩图像上。本发明基于气象卫星图像和深度迁移学习方法训练获得更具泛化能力的海雾识别模型,具有泛化性好、识别精度高以及自动化程度较高等优点。

Description

一种基于气象卫星图像和深度迁移学习的海雾识别方法
技术领域
本发明涉及海洋环境监测技术领域,特别是涉及一种基于气象卫星图像和深度迁移学习的海雾识别方法。
背景技术
雾由微小水滴或冰晶凝聚而成,悬浮于近地表大气。海雾,即为雾发生于沿海地区或海上等区域的气象。海雾一旦出现,因其浓度、厚度、范围都比较大,会大幅降低大气水平能见度,严重影响海域船舶交通安全,进而威胁到生产生活甚至经济等诸多领域,危害颇甚。
传统的海雾监测主要依靠沿岸或近海区域设置的稀疏气象站或浮标,虽然精度较高,但是由于站点多分布于近海且数量有限,远离海岸线的海雾以及大范围的海雾监测均无法实现。而卫星遥感技术具有快速、近实时、大范围观测的优势,尤其是静止卫星能够实现海雾的动态性连续监测,成为目前海雾监测的主要技术手段。
目前,基于卫星遥感技术的海雾监测算法以阈值法为主,通过经验分析设定光谱阈值,根据卫星空间分辨率逐点计算阈值并比较,从而实现海雾监测。但这种方法忽略了海雾在空间上的整体性,雾是存在于一片空间区域的,而不是以每个探测点孤立存在的,并没有利用遥感影像的图像特征,而且基于阈值的分析方法,需要对不同海域,不同时段以及不同季节分别设定阈值,这样很难获取一个通用且监测准确率较高的监测方法。这类基于先验知识的方法于鲁棒性及可泛化性层面上都有很大的局限。此类方法依赖于专家的气象经验,对从业者有更高的专业知识要求,人才培养成本高。所以出现了采用卷积神经网络针对气象卫星遥感影像构建深度学习模型的方法,该方法能够利用全局图像特征,同时处理多通道遥感影像,取得比传统阈值法更准确和更具鲁棒性的效果。
近年来,深度学习这门学科不断发展进步,已于越来越多领域取得了很好的应用,计算机视觉、自然语言处理、语音识别等。而图像语义分割一直以来都是计算机视觉领域的核心研究方向,其与图像分类、图像检测并称为计算机视觉领域三大基本任务。2014年相关学者提出全卷积网络模型(Fully Convolutional Networks,FCN),为语义分割领域做出了开创性的工作,随着学者们研究的深入,陆续又有更多更为先进的语义分割网络结构诞生,如U-Net网络模型应用于医学影像的肿瘤识别;D-LinkNet应用于卫星图像的道路提取等。
目前提出的基于气象卫星图像的深度学习海雾检测方法,例如公开号为CN110208880A的专利申请“一种基于深度学习和卫星遥感技术的海雾检测方法”,是以大量数据样本为基础的,需要大量海雾数据样本用于学习,但是海上观测站分布稀疏,根据观测站数据获取的真实可信海雾图像样本量有限,因此无法训练出具有泛化能力的海雾识别模型,也就是数据量不够的话,模型用于海雾检测准确率就不够高,导致远离海岸线的海雾以及大范围的海雾的监测精度较低,而如果通过目视解译的方法人工标注海上雾区,从而增加海雾数据集,虽然能够增加样本数量,但是由于缺乏真实值校验,人工标注甚至专家标注都有可能存在偏差,反而为数据集引入噪声,影响模型训练的效果,从而降低海雾识别及检测的准确率。
发明内容
基于此,有必要针对现有技术中海雾检测方法存在的需要大量海雾数据样本用于学习,模型泛化能力不足,海雾识别及检测准确率较低的问题,提供一种基于气象卫星图像和深度迁移学习的海雾识别方法。
一种基于气象卫星图像和深度迁移学习的海雾识别方法,包括以下步骤:
步骤一:制作陆地雾数据集和海雾数据集,所述陆地雾数据集划分为陆地雾训练集和陆地雾验证集,所述海雾数据集划分为海雾训练集和海雾验证集;
步骤二:使用所述陆地雾数据集对语义分割网络进行训练,得到陆地雾识别模型;
步骤三:保留所述陆地雾识别模型中的低层级权重参数不变,使用所述海雾数据集训练所述陆地雾识别模型中的高层级权重参数,得到基于深度迁移学习的海雾识别模型;
步骤四:将待识别气象卫星可见光真彩图像输入所述海雾识别模型,所述海雾识别模型最后经由sigmoid层输出海雾识别二值结果图,并将所述海雾识别二值结果图以海雾区域覆盖掩模的形式叠加在所述待识别气象卫星可见光真彩图像上。
与现有技术相比,本发明具有以下有益效果:
(1)泛化性好
本发明首选使用大量的陆地雾数据集对语义分割网络进行训练,得到陆地雾识别模型后,保留陆地雾识别模型中的低层级权重参数不变,基于深度迁移学习方法,再使用少量的海雾数据集训练陆地雾识别模型中的高层级权重参数,实现仅利用少量海雾数据集微调陆地雾识别模型即可获得更具泛化能力的海雾识别模型,解决了使用深度学习方法做海雾识别过程中,因海上观测站缺乏,无法获取真实能见度数据,进而无法提供足够海雾数据集,导致的模型泛化能力不足的问题;
(2)识别精度高
与海洋相比,陆地包含诸多气象观测站,所以陆地雾数据集的观测数据更加完备,数据源更为准确和可靠,使用陆地雾数据集训练得到陆地雾识别模型,为海雾识别模型的训练奠定了基础,提高了海雾识别模型的识别精度;
(3)自动化程度较高
本发明训练得到的海雾识别模型能够对输入的待识别气象卫星可见光真彩图像进行海雾自动化识别,因此自动化程度较高,将会极大程度上解放人力,降低人力成本。
附图说明
图1为本发明一种基于气象卫星图像和深度迁移学习的海雾识别方法在一个实施例中的流程示意图;
图2为本发明一个具体实施方式中D-LinkNet分割网络的结构图;
图3为D-LinkNet分割网络中ResNet编码层的结构图;
图4为D-LinkNet分割网络中解码层的结构图。
具体实施方式
迁移学习的目标是让计算机把大数据领域习得的知识和方法迁移到数据不那么多的领域,这样计算机也可以“举一反三”“触类旁通”,而不必在每个领域都依赖大数据从头学起。对于计算机而言,所谓迁移学习,就是能让现有的模型算法稍加调整即可应用于一个新的相似领域和类似功能的一项技术。虽然海雾本身具有其独特性,但其在气象卫星图像上所表现出来的图像特征与陆地雾十分相似的。因此,本发明提出先利用大量陆地雾数据集训练深度学习模型,再结合仅有的少量海雾数据集做微调,使得训练出来的海雾识别模型具有更好的泛化性能,能够准确识别出各种形态和纹理的海雾区域。下面将结合附图及较佳实施例对本发明的技术方案进行详细描述。
在一个实施例中,如图1所示,本发明提供一种基于气象卫星图像和深度迁移学习的海雾识别方法,该方法包括以下步骤:
步骤一(S100):制作陆地雾数据集和海雾数据集,并将陆地雾数据集划分为陆地雾训练集和陆地雾验证集,海雾数据集划分为海雾训练集和海雾验证集;
步骤二(S200):使用陆地雾数据集对语义分割网络进行训练,得到陆地雾识别模型;
步骤三(S300):保留陆地雾识别模型中的低层级权重参数不变,使用海雾数据集训练陆地雾识别模型中的高层级权重参数,得到基于深度迁移学习的海雾识别模型;
步骤四(S400):将待识别气象卫星可见光真彩图像输入海雾识别模型,海雾识别模型最后经由sigmoid层输出海雾识别二值结果图,并将海雾识别二值结果图以海雾区域覆盖掩模的形式叠加在待识别气象卫星可见光真彩图像上。
具体地,在步骤S100中,首先制作大批量的陆地雾数据集和小批量的海雾数据集,其中陆地雾数据集包括用于对模型进行训练的陆地雾训练集和用于对模型进行验证的陆地雾验证集,海雾数据集包括用于对模型进行训练的海雾训练集和用于对模型进行验证的海雾验证集。
可选地,通过以下步骤制作陆地雾数据集:
步骤S111:获取若干幅包含陆地区域的气象卫星可见光真彩图像(即RGB图像),具体可以在气象卫星官网上,选定经纬度范围后下载得到。优选地,为提高海雾监测的实时性,本步骤所获取的气象卫星可见光真彩图像为静止气象卫星拍摄的可见光真彩图像。
步骤S112:获取各个陆地观测站的数据,将各个陆地观测站在每一幅包含陆地区域的气象卫星可见光真彩图像拍摄时间内的能见度与能见度阈值进行比较,并根据比较结果在相应包含陆地区域的气象卫星可见光真彩图像中以不同的标记符号标注出各个陆地观测站的位置。
具体地,在本步骤中,首先选取气象卫星图像拍摄时间与观测站观测时间一致的数据,然后标出陆地观测站在包含陆地区域的气象卫星可见光真彩图像中的位置,陆地观测站映射在图中为某个经纬度点,并根据陆地观测站观测到能见度数据的不同,与能见度阈值进行比较,对于能见度小于能见度阈值(例如1公里)的陆地观测站在图像上标为“*”,对于能见度大于等于能见度阈值(例如1公里)的陆地观测站在图像上标为“○”,从而完成陆地观测站在包含陆地区域的气象卫星可见光真彩图像上的标注。
步骤S113:结合各个陆地观测站的位置和包含陆地区域的气象卫星可见光真彩图像的云雾边缘,利用图像分割标注工具在标注后的图像上手工绘制云雾边缘,完成全部包含陆地区域的气象卫星可见光真彩图像的陆地雾分割标注,得到陆地雾数据集。
在步骤S112得到标注后的图像后,本步骤根据图像上的“*”和“○”,并结合包含陆地区域的气象卫星可见光真彩图像的云雾边缘,对于以“*”为主的区域,利用图像分割标注工具如labelme等在标注后的图像上手工绘制云雾边缘,并标注为雾区。对于以“○”为主的区域,归为默认的非雾区域。对于缺乏观测站的区域,由于能见度观测值缺失,无法判断是否为雾区,这部分卫星图像将不放入数据集中,从而实现对一幅包含陆地区域的气象卫星可见光真彩图像的陆地雾分割标注,重复上述过程完成全部包含陆地区域的气象卫星可见光真彩图像的陆地雾分割标注后,即可得到陆地雾数据集。
步骤S114:按照预设比例对陆地雾数据集进行随机划分,例如按照训练集与数据集之比为7:3的预设比例对陆地雾数据集进行随机划分,得到陆地雾训练集和陆地雾验证集,至此完成陆地雾数据集的制作。
海雾数据集的制作过程与陆地雾数据集的做作过程类似,可选地,通过以下步骤制作海雾数据集:
步骤S121:获取若干幅包含海上区域的气象卫星可见光真彩图像(即RGB图像),具体可以在气象卫星官网上,选定经纬度范围后下载得到。优选地,为提高海雾监测的实时性,本步骤所获取的气象卫星可见光真彩图像为静止气象卫星拍摄的可见光真彩图像。
步骤S122:获取各个海上观测站的数据,将各个海上观测站在每一幅包含海上区域的气象卫星可见光真彩图像拍摄时间内的能见度与能见度阈值进行比较,并根据比较结果在相应包含海上区域的气象卫星可见光真彩图像中以不同的标记符号标注出各个海上观测站的位置。
具体地,在本步骤中,首先选取气象卫星图像拍摄时间与观测站观测时间一致的数据,然后标出海上观测站在包含海上区域的气象卫星可见光真彩图像中的位置,海上观测站映射在图中为某个经纬度点,并根据海上观测站观测到能见度数据的不同,与能见度阈值进行比较,对于能见度小于能见度阈值(例如1公里)的海上观测站在图像上标为“*”,对于能见度大于等于能见度阈值(例如1公里)的海上观测站在图像上标为“○”,从而完成海上观测站在包含海上区域的气象卫星可见光真彩图像上的标注。
步骤S123:结合各个海上观测站的位置和包含海上区域的气象卫星可见光真彩图像的云雾边缘,利用图像分割标注工具在标注后的图像上手工绘制云雾边缘,完成全部包含海上区域的气象卫星可见光真彩图像的海雾分割标注,得到海雾数据集。
在步骤S122得到标注后的图像后,本步骤根据图像上的“*”和“○”,并结合包含海上区域的气象卫星可见光真彩图像的云雾边缘,对于以“*”为主的区域,利用图像分割标注工具如labelme等在标注后的图像上手工绘制云雾边缘,并标注为雾区。对于以“○”为主的区域,归为默认的非雾区域。对于缺乏观测站的区域,由于能见度观测值缺失,无法判断是否为雾区,这部分卫星图像将不放入数据集中,从而实现对一幅包含海上区域的气象卫星可见光真彩图像的海上雾分割标注,重复上述过程完成全部包含海上区域的气象卫星可见光真彩图像的海雾分割标注后,即可得到海雾数据集。
步骤S124:按照预设比例对海雾数据集进行随机划分,例如按照训练集与数据集之比为7:3的预设比例对海雾数据集进行随机划分,得到海雾训练集和海雾验证集,至此完成海雾数据集的制作。
在步骤S200中,使用陆地雾数据集对语义分割网络进行训练,训练模型识别陆地雾的能力,最终得到陆地雾识别模型,陆地雾识别模型能够在包含陆地区域的气象卫星可见光真彩图像中分割出陆地雾区域,其中语义分割网络可以采用现有技术中的任意一种分割网络,例如采用SegNet、U-Net或者D-LinkNet等等。
进一步地,步骤S200使用陆地雾数据集对语义分割网络进行训练,得到陆地雾识别模型的过程具体包括以下步骤:
将陆地雾训练集投入网络训练后,首先将陆地雾训练集分成若干批次的训练集;
然后设定损失函数和初始学习率,例如设定损失函数为BCE损失,学习率初始化为10-5,并以反向传播为原则更新网络权重;
最后将训练集的各批次投入语义分割网络进行训练,并于训练过程中应用Adam优化算法,其中Adam优化算法是一种可以替代传统随机梯度下降过程的一阶优化算法,它能基于训练数据迭代地更新神经网络权重,并且每批训练集训练完毕后,都在陆地雾验证集抽取一个批次的验证集进行验证,直至训练至损失函数收敛为止,得到训练好的陆地雾识别模型。
在步骤S300中,保留陆地雾识别模型中的低层级权重参数不变,使用海雾数据集训练陆地雾识别模型中的高层级权重参数,得到基于深度迁移学习的海雾识别模型。本步骤利用迁移学习技术,使用海雾数据集训练陆地雾识别模型识别海雾的能力,固定步骤S200得到的陆地雾识别模型的低层模型参数,微调再训练高层参数,使网络适应于海雾识别,从而能够在待识别气象卫星可见光真彩图像中分割出海雾区域。网络的最初若干层为低层,它们往往会学习到明显的特征;而伴随网络的深入,学习到的内容越抽象,因此本发明保留陆地雾识别模型中的低层级权重参数不变,使用海雾数据集训练陆地雾识别模型中的高层级权重参数,从而得到具有更强海雾区域识别能力的海雾识别模型。
进一步地,步骤S300保留陆地雾识别模型中的低层级权重参数不变,使用海雾数据集训练陆地雾识别模型中的高层级权重参数,得到基于深度迁移学习的海雾识别模型的过程具体包括以下步骤:
将海雾训练集投入陆地雾识别模型训练后,首先将海雾训练集分成若干批次的训练集;
然后设定损失函数和初始学习率,例如设定损失函数为BCE损失,学习率初始化为10-5,以步骤S200得到的陆地雾模型为起点,以反向传播为原则,保留陆地雾识别模型中的低层级权重参数不变,仅更新高层级网络权重;
最后将训练集的各批次投入陆地雾识别模型进行高层级权重参数训练,并于训练过程中应用Adam优化算法,并且每批训练集训练完毕后,在海雾验证集抽取一个批次的验证集进行验证,直至训练至损失函数收敛为止,最终得到基于深度迁移学习的海雾识别模型。
在步骤S400中,利用步骤S300训练得到的海雾识别模型对海雾区域进行识别,将待识别气象卫星可见光真彩图像输入训练好的海雾识别模型,海雾识别模型最后经由sigmoid层输出海雾识别二值结果图,在海雾识别二值结果图中,0表示无海雾,1表示有海雾,并且海雾识别二值结果图与待识别气象卫星可见光真彩图像的分辨率一致;将海雾识别二值结果图以海雾区域覆盖掩模的形式叠加在待识别气象卫星可见光真彩图像上,例如将海雾识别二值结果图中为1的区域生成透明度为0.2的掩膜叠加在待识别气象卫星可见光真彩图像上,以标识该区域判别为海雾区域。
本实施例提出的一种基于气象卫星图像和深度迁移学习的海雾识别方法具有以下有益效果:
(1)泛化性好
本实施例首选使用大量的陆地雾数据集对语义分割网络进行训练,得到陆地雾识别模型后,保留陆地雾识别模型中的低层级权重参数不变,基于深度迁移学习方法,再使用少量的海雾数据集训练陆地雾识别模型中的高层级权重参数,实现仅利用少量海雾数据集微调陆地雾识别模型即可获得更具泛化能力的海雾识别模型,解决了使用深度学习方法做海雾识别过程中,因海上观测站缺乏,无法获取真实能见度数据,进而无法提供足够海雾数据集,导致的模型泛化能力不足的问题;
(2)识别精度高
与海洋相比,陆地包含诸多气象观测站,所以陆地雾数据集的观测数据更加完备,数据源更为准确和可靠,使用陆地雾数据集训练得到陆地雾识别模型,为海雾识别模型的训练奠定了基础,提高了海雾识别模型的识别精度;
(3)自动化程度较高
本实施例训练得到的海雾识别模型能够对输入的待识别气象卫星可见光真彩图像进行海雾自动化识别,因此自动化程度较高,将会极大程度上解放人力,降低人力成本。
作为一种具体的实施方式,选择D-LinkNet分割网络作为语义分割网络,图2所示为D-LinkNet分割网络的结构图,D-LinkNet分割网络包括编码器部分、解码器部分和输出整合部分,其中编码器部分为特征提取阶段,编码器部分对输入图像即待识别气象卫星可见光真彩图像进行卷积核大小为7×7的卷积操作后,再采用ResNet网络作为特征提取的基础框架对卷积操作后得到的特征图进行四次编码,其中ResNet网络可以为ResNet-34网络或者ResNet-50网络等,由于ResNet网络的层很多,因此图2中并未完全画出,而是用“R”表示一个编码层,ResNet编码层的结构如图3所示,包括两个卷积核大小为3×3的卷积层和加操作;每一次编码包括依次连接的卷积核大小为3×3的卷积层和池化层,卷积核大小为3×3的卷积层后伴随着一个非线性激活函数层。编码阶段能够有效提取图像特征。假设进行了n次池化操作,会得到原图分辨率/2n大小的特征图。
承接上述编码器部分,进入解码翻译阶段。解码器部分包括空洞卷积层(D-Block)和四次解码,每一次解码依次包括依次连接的卷积核大小为1×1的卷积层、卷积核大小为3×3的转置卷积层和卷积核大小为1×1的卷积层,用“D”表示一个解码层,每一个解码层的结构如图4所示,D-LinkNet分割网络中共进行四次解码(与池化次数相对应)。通过解码操作,有效地还原了图像分辨率,特征图被恢复为原图分辨率。
输出整合部分(类全联接层)采用3次卷积+非线性激活函数层来模拟替代全联接层,其具体包括卷积核大小为7×7的转置卷积层和两个卷积核大小为3×3的卷积层,需要指出的是,在D-LinkNet分割网络中,每一个卷积层和转置卷积层后均伴随着非线性激活函数层。最后使用sigmoid层得到单一的二值预测图像,即海雾识别二值结果图。
进一步地,在D-LinkNet分割网络中,每一个卷积层和转置卷积层后均伴随着一个ReLu激活函数层。
进一步地,当选择D-LinkNet分割网络作为语义分割网络,保留陆地雾识别模型中的低层级权重参数不变,使用海雾数据集训练陆地雾识别模型中的高层级权重参数时,仅使用海雾数据集训练输出整合部分中的最后两个卷积核大小为3×3的卷积层部分,即保持D-LinkNet分割网络中的编码器部分和解码器部分,而仅仅使用海雾数据集重新训练输出整合部分中的最后两个卷积核大小为3×3的卷积层部分,利用深度迁移学习方法微调网络,实现模型的海雾识别能力。
本发明解决了使用深度学习方法做海雾识别过程中,因海上观测站缺乏,无法获取真实能见度数据,进而无法提供足够海雾数据集,导致的模型泛化能力不足的问题,提供了一种新的基于气象卫星图像和深度迁移学习的海雾识别方法,该方法采用大量陆地雾数据训练陆地雾识别模型后,仅利用少量海雾数据集微调陆地雾识别模型,从而获得更具泛化能力的海雾识别模型。
以上所述实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本发明的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对发明专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本发明构思的前提下,还可以做出若干变形和改进,这些都属于本发明的保护范围。因此,本发明专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种基于气象卫星图像和深度迁移学习的海雾识别方法,其特征在于,包括以下步骤:
步骤一:制作陆地雾数据集和海雾数据集,所述陆地雾数据集划分为陆地雾训练集和陆地雾验证集,所述海雾数据集划分为海雾训练集和海雾验证集;
步骤二:使用所述陆地雾数据集对语义分割网络进行训练,得到陆地雾识别模型;
步骤三:保留所述陆地雾识别模型中的低层级权重参数不变,使用所述海雾数据集训练所述陆地雾识别模型中的高层级权重参数,得到基于深度迁移学习的海雾识别模型;
步骤四:将待识别气象卫星可见光真彩图像输入所述海雾识别模型,所述海雾识别模型最后经由sigmoid层输出海雾识别二值结果图,并将所述海雾识别二值结果图以海雾区域覆盖掩模的形式叠加在所述待识别气象卫星可见光真彩图像上。
2.根据权利要求1所述的基于气象卫星图像和深度迁移学习的海雾识别方法,其特征在于,步骤二包括以下步骤:
将所述陆地雾训练集分成若干批次的训练集;
设定损失函数和初始学习率,以反向传播为原则更新网络权重;
将训练集的各批次投入所述语义分割网络进行训练,并于训练过程中应用Adam优化算法,并且每批训练集训练完毕后,在所述陆地雾验证集抽取一个批次的验证集进行验证,直至训练至所述损失函数收敛为止,得到所述陆地雾识别模型。
3.根据权利要求1所述的基于气象卫星图像和深度迁移学习的海雾识别方法,其特征在于,步骤三包括以下步骤:
将所述海雾训练集分成若干批次的训练集;
设定损失函数和初始学习率,以步骤二得到的所述陆地雾模型为起点,以反向传播为原则,保留所述陆地雾识别模型中低层级权重参数不变,仅更新高层级权重;
将训练集的各批次投入所述陆地雾识别模型进行高层级权重参数训练,并于训练过程中应用Adam优化算法,并且每批训练集训练完毕后,在所述海雾验证集抽取一个批次的验证集进行验证,直至训练至所述损失函数收敛为止,得到所述海雾识别模型。
4.根据权利要求1至3任意一项所述的基于气象卫星图像和深度迁移学习的海雾识别方法,其特征在于,
所述语义分割网络为D-LinkNet分割网络,所述D-LinkNet分割网络包括编码器部分、解码器部分和输出整合部分;
所述编码器部分对输入的所述待识别气象卫星可见光真彩图像进行卷积核大小为7×7的卷积操作后,再采用ResNet网络作为特征提取的基础框架对卷积操作后得到的特征图进行四次编码,每一次编码包括卷积核大小为3×3的卷积层和池化层;
所述解码器部分包括空洞卷积层和四次解码,每一次解码包括卷积核大小为1×1的卷积层、卷积核大小为3×3的转置卷积层和卷积核大小为1×1的卷积层;
所述输出整合部分包括卷积核大小为7×7的转置卷积层和两个卷积核大小为3×3的卷积层,并且在D-LinkNet分割网络中,每一个卷积层和转置卷积层后均伴随着一个非线性激活函数层。
5.根据权利要求4所述的基于气象卫星图像和深度迁移学习的海雾识别方法,其特征在于,
在使用所述海雾数据集训练所述陆地雾识别模型中的高层级权重参数时,仅使用所述海雾数据集训练所述输出整合部分中的最后两个卷积核大小为3×3的卷积层部分。
6.根据权利要求4所述的基于气象卫星图像和深度迁移学习的海雾识别方法,其特征在于,
所述ResNet网络为ResNet-34网络或者ResNet-50网络。
7.根据权利要求4所述的基于气象卫星图像和深度迁移学习的海雾识别方法,其特征在于,
所述非线性激活函数层为ReLu激活函数层。
8.根据权利要求1至3任意一项所述的基于气象卫星图像和深度迁移学习的海雾识别方法,其特征在于,通过以下步骤制作所述陆地雾数据集:
获取若干幅包含陆地区域的气象卫星可见光真彩图像;
将各个陆地观测站在每一幅包含陆地区域的气象卫星可见光真彩图像拍摄时间内的能见度与能见度阈值进行比较,并根据比较结果在相应包含陆地区域的气象卫星可见光真彩图像中以不同的标记符号标注出各个所述陆地观测站的位置;
结合各个所述陆地观测站的位置和包含陆地区域的气象卫星可见光真彩图像的云雾边缘,利用图像分割标注工具在标注后的图像上手工绘制云雾边缘,完成全部包含陆地区域的气象卫星可见光真彩图像的陆地雾分割标注,得到所述陆地雾数据集;
按照预设比例对所述陆地雾数据集进行随机划分,得到所述陆地雾训练集和所述陆地雾验证集。
9.根据权利要求1至3任意一项所述的基于气象卫星图像和深度迁移学习的海雾识别方法,其特征在于,通过以下步骤制作所述海雾数据集:
获取若干幅包含海上区域的气象卫星可见光真彩图像;
将各个海上观测站在每一幅包含海上区域的气象卫星可见光真彩图像拍摄时间内的能见度与能见度阈值进行比较,并根据比较结果在相应包含海上区域的气象卫星可见光真彩图像中以不同的标记符号标注出各个所述海上观测站的位置;
结合各个所述海上观测站的位置和包含海上区域的气象卫星可见光真彩图像的云雾边缘,利用图像分割标注工具在标注后的图像上手工绘制云雾边缘,完成全部包含海上区域的气象卫星可见光真彩图像的海雾分割标注,得到所述海雾数据集;
按照预设比例对所述海雾数据集进行随机划分,得到所述海雾训练集和所述海雾验证集。
10.根据权利要求1至3任意一项所述的基于气象卫星图像和深度迁移学习的海雾识别方法,其特征在于,
所述语义分割网络为SegNet分割网络或者U-Net分割网络。
CN202011104887.0A 2020-10-15 2020-10-15 一种基于气象卫星图像和深度迁移学习的海雾识别方法 Active CN112183452B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011104887.0A CN112183452B (zh) 2020-10-15 2020-10-15 一种基于气象卫星图像和深度迁移学习的海雾识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011104887.0A CN112183452B (zh) 2020-10-15 2020-10-15 一种基于气象卫星图像和深度迁移学习的海雾识别方法

Publications (2)

Publication Number Publication Date
CN112183452A true CN112183452A (zh) 2021-01-05
CN112183452B CN112183452B (zh) 2023-03-24

Family

ID=73950413

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011104887.0A Active CN112183452B (zh) 2020-10-15 2020-10-15 一种基于气象卫星图像和深度迁移学习的海雾识别方法

Country Status (1)

Country Link
CN (1) CN112183452B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112907475A (zh) * 2021-03-02 2021-06-04 珠海复旦创新研究院 一种冰晶图片的自动分割方法
CN113139550A (zh) * 2021-03-29 2021-07-20 山东科技大学 一种基于深度语义分割网络的遥感影像海岸线提取方法
CN113393466A (zh) * 2021-06-18 2021-09-14 中国石油大学(华东) 一种用于modis海雾探测的语义分割网络模型
CN117132903A (zh) * 2023-10-26 2023-11-28 江苏云幕智造科技有限公司 一种基于深度迁移学习的旋转卫星组件识别方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110208880A (zh) * 2019-06-05 2019-09-06 北京邮电大学 一种基于深度学习和卫星遥感技术的海雾检测方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110208880A (zh) * 2019-06-05 2019-09-06 北京邮电大学 一种基于深度学习和卫星遥感技术的海雾检测方法

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
HO-KUN JEON 等: "Sea Fog Identification From GOCI Images Using CNN Transfer Learning Models", 《ELECTRONICS》 *
LICHEN ZHOU 等: "D-LinkNet: LinkNet with Pretrained Encoder and Dilated Convolution for High Resolution Satellite Imagery Road Extraction", 《2018 IEEE/CVF CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION WORKSHOPS (CVPRW)》 *
张春桂等: "福建沿海海雾的卫星遥感监测", 《中国农业气象》 *
王柯力等: "基于迁移学习的水产动物图像识别方法", 《计算机应用》 *
肖艳芳等: "海雾卫星遥感监测研究进展", 《海洋科学》 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112907475A (zh) * 2021-03-02 2021-06-04 珠海复旦创新研究院 一种冰晶图片的自动分割方法
CN112907475B (zh) * 2021-03-02 2023-05-23 珠海复旦创新研究院 一种冰晶图片的自动分割方法
CN113139550A (zh) * 2021-03-29 2021-07-20 山东科技大学 一种基于深度语义分割网络的遥感影像海岸线提取方法
CN113393466A (zh) * 2021-06-18 2021-09-14 中国石油大学(华东) 一种用于modis海雾探测的语义分割网络模型
CN117132903A (zh) * 2023-10-26 2023-11-28 江苏云幕智造科技有限公司 一种基于深度迁移学习的旋转卫星组件识别方法
CN117132903B (zh) * 2023-10-26 2024-01-23 江苏云幕智造科技有限公司 一种基于深度迁移学习的旋转卫星组件识别方法

Also Published As

Publication number Publication date
CN112183452B (zh) 2023-03-24

Similar Documents

Publication Publication Date Title
CN112183452B (zh) 一种基于气象卫星图像和深度迁移学习的海雾识别方法
CN110059758B (zh) 一种基于语义分割的遥感影像养殖塘检测方法
CN114926749B (zh) 基于遥感图像的近地面大气污染物反演方法及系统
CN110208880B (zh) 一种基于深度学习和卫星遥感技术的海雾检测方法
CN112508079B (zh) 海洋锋面的精细化识别方法、系统、设备、终端及应用
CN110414509B (zh) 基于海陆分割和特征金字塔网络的港口停靠舰船检测方法
CN112785034B (zh) 基于融合神经网络的台风路径预报方法、系统、介质及终端
CN112950780B (zh) 一种基于遥感影像的网络地图智能生成方法及系统
CN110555841A (zh) 基于自注意图像融合和dec的sar图像变化检测方法
CN112561876A (zh) 基于图像的池塘和水库的水质检测方法及系统
CN113487600B (zh) 一种特征增强尺度自适应感知船舶检测方法
CN111178438A (zh) 一种基于ResNet101的天气类型识别方法
CN116994140A (zh) 基于遥感影像的耕地提取方法、装置、设备和介质
CN114943876A (zh) 一种多级语义融合的云和云影检测方法、设备及存储介质
CN111178304A (zh) 基于全卷积神经网络的高分辨率遥感影像像素级解译方法
CN116699096B (zh) 一种基于深度学习的水质检测方法和系统
CN112001293A (zh) 结合多尺度信息和编解码网络的遥感影像地物分类方法
CN115471754A (zh) 一种基于多维多尺度U-net网络的遥感图像道路提取方法
CN112257496A (zh) 一种基于深度学习的输电通道周围环境分类方法及系统
CN114821229A (zh) 基于条件生成对抗网络的水下声学数据集增广方法及系统
CN114511061A (zh) 基于深度神经网络的岸滨地区海雾能见度预报方法
CN114387446A (zh) 一种高分率遥感影像水体自动提取方法
CN113280820A (zh) 基于神经网络的果园视觉导航路径提取方法与系统
CN116611580A (zh) 一种基于多源数据与深度学习的海洋赤潮预测方法
CN117132884A (zh) 一种基于地块尺度的农作物遥感智能提取方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant