CN110208880B - 一种基于深度学习和卫星遥感技术的海雾检测方法 - Google Patents

Abstract

本发明提供了一种基于深度学习和卫星遥感技术的海雾检测方法，包括：获取卫星遥感图像，对图像中的海雾进行标注，将标注海雾的图像作为深度学习分割网络模型的标签；对训练集图像进行预处理，得到符合预设标准的输入图像，所述输入图像用于扩充数据集和增强模型鲁棒性；基于扩充后的数据集，在GPU上对深度学习分割网络模型使用反向传播算法进行训练，训练完成后得到学习到海雾的图像特性的模型。本发明将深度学习和卫星遥感结合，解决海雾探测困难的问题。通过学习大量过去卫星图像中沿海地区和海洋上产生的海雾的特点，能够基于卫星图像快速准确地对海雾进行监测和分割。

Description

一种基于深度学习和卫星遥感技术的海雾检测方法

技术领域

本发明涉及计算机视觉技术领域，尤其涉及一种基于深度学习和卫星遥感技术的海雾检测方法。

背景技术

雾是一种常见的天气现象，也是一种灾害天气。随着社会进步和经济的快速发展，雾害已经引起人们的广泛关注。与陆地上生成的雾相比，海雾具有自身特点，海雾(seafog)是一种常常发生在海上或沿海地区的现象，当海洋上空低层大气中凝结的水滴或冰晶，使大气水平能见度小于1km时，就是海雾现象。海雾发生时，海面水平能见度比较低，这会对海上渔业、航运、平台作业及沿岸航空和公路交通等造成很大影响，是中国近海需要关注的灾难性天气之一。目前仅有沿海和海岛上有气象观测点，分布非常不均，无法通过观测点实时监测海雾。如果能在海雾发生时及时监测到，就可以避免和减轻海雾对海上作业的影响。如海雾主要以平流雾的形式出现，海雾一旦形成，其浓度和厚度都比较大，且水平范围广。海雾给海上交通运输、海洋渔业生产造成很大影响，海上出现大雾时能见度极低，常常会使海上船只发生碰撞、触礁、搁浅或者偏离航线，甚至会造成海难事故，严重影响海上作业人员的人身安全，此外，海雾还会加剧沿岸空气污染，危害人体健康，腐蚀建筑物，影响沿海农业生产，引发电网雾闪事件，引起供电中断，电力输送瘫痪等各种社会生产活动，是典型的自然灾害。

现如今对海雾的预报方法主要有天气学方法、统计方法和数值预报方法。天气学方法主要运用天气学基本原理和天气学分析方法，考虑天气系统与海雾发生之间的联系，对预报员的主观经验依赖性高，预报准确率和可靠性较低；统计预报方法通过历史资料的统计分析建立海雾与预报因子之间的统计模型对海雾进行预报。但统计预报方法缺乏对海雾过程物理规律的描述，多依赖于历史观测资料或数值预报资料的质量和数量。

相似专利如下：

1.CN200910100045.5白天海雾的卫星遥感监测方法

该发明属于卫星遥感数据处理应用技术领域，具体涉及一种白天海雾的卫星遥感监测方法。根据雾在地物中所属和卫星图像特点，从海雾的物理特性和图像特征出发，通过云地分离、相态判别、粒径判断、图像特征分析、高度分析和修补误漏等步骤，逐步消除晴空海域、冰相云系等，实现白天海雾的卫星遥感自动监测。

2.CN200810249768.7静止气象卫星遥感白天和夜间海雾的检测方法

该发明涉及一种静止气象卫星遥感白天和夜间海雾的检测方法。首先利用静止气象卫星数接收处理数据文件S-VISSR，经定标定位、资料订正、等经纬度投影等预处理，得到包含5个通道数据的投影后的GPF格式的文件。再利用GPF文件中的4个通道数据，根据海雾的运动学特征和光谱特征对海雾信息进行提取，采用三级判识方法确定海雾区域。

发明人在研究的过程中发现，现有技术中存在以下缺陷：

1.观测站点分布以及观测时间的限制：

在广袤的海洋上，只有极少数甚至没有地面观测站。卫星具有覆盖范围广，客观真实性高，信息源可靠且成本低，连续性强等优点，因此使用卫星资料监测海洋雾区，有其他常规监测手段无法替代的优势。

2.依赖于预报员的主观经验：

传统的天气学方法运用天气学原理和天气学分析方法，考虑天气系统与海雾发生之间的联系，主要依赖于预报员的主观经验，预报准确率和可靠性较低。

3.不够智能，消耗人力物力：

以往的非深度学习方法，需要消耗比较多的人力和计算资源，且十几年甚至几十年间一直沿用传统的方法，发展缓慢且不够智能化。而深度学习的方法建立、模拟人脑进行分析学习的神经网络，它模仿人脑的机制来解释数据，十分智能，实践中可以解放人力，同时消耗的计算资源也很小。

随着卫星遥感技术的进步和深度学习的发展，我们应该考虑用深度学习结合卫星遥感技术来解决海雾的检测难题，让算法可以自动给出海雾的范围，既减少了人力消耗，又能够提高准确度。

在卫星遥感图像中，根据人的先验知识是可以判断出海雾的区域的，海雾有明显的边缘整齐、纹理平滑的特点，且随时间变化较小。在卫星图像中可以和云层区分出来。通过深度学习，更是可以提取到海雾的图像特征，对其进行很好的监测。

发明内容

本发明的目的在于克服上述现有技术的不足，提出了一种基于深度学习和卫星遥感技术的海雾检测方法，将深度学习和卫星遥感结合，解决海雾探测困难的问题。通过学习大量过去卫星图像中沿海地区和海洋上产生的海雾的特点，能够基于卫星图像快速准确地对海雾进行监测和分割。

本发明提供了一种基于深度学习和卫星遥感技术的海雾检测方法，包括：

获取卫星遥感图像，对图像中的海雾区域进行标注，将标注海雾区域的图像作为深度学习分割网络模型的标签，所述标签和标签对应的卫星遥感图像组成训练集图像；

对训练集图像进行预处理，得到符合预设标准的输入图像，所述输入图像用于扩充数据集；

基于扩充后的数据集，在GPU上对深度学习分割网络模型使用反向传播算法进行训练，训练完成后得到学习到海雾的图像特性的模型。

进一步的，将获取的卫星遥感图像中的海雾区域进行标注的方法包括：

使用labelme软件对获取的卫星遥感图像中的海雾区域进行标注，标注类别分为海雾和背景两类；标注后的图像作为标签和标签对应的图像一起输入到深度学习分割网络模型中。

进一步的，所述对训练集图像进行预处理的方法包括：

对训练集的每一张图像按照预设操作进行预处理，得到符合预设标准的输入图像，将图像放入数据集中，用于扩充数据集；

所述预设操作包括但不限于将输入图像依次进行预设尺寸裁剪、gamma校正、预设角度旋转变换、图像模糊处理、添加噪声、镜像翻转等操作。

进一步的，所述基于扩充后的数据集，在GPU上对深度学习分割网络模型使用反向传播算法进行训练，训练完成后得到学习到海雾的图像特性的模型的方法，包括：

(1)从扩充后的数据集中随机抽取百分比的图像作为训练集，剩余百分比的图像作为验证集；将训练集的图像和标签以预设组为一个batch作为网络输入，使用反向传播算法进行训练，共训练预设数量的epoch；

(2)训练集的输入图像首先经过深度学习分割网络模型U-net的编码器进行特征提取，编码器中每个卷积层生成不同大小的特征图，特征图大小逐层递减；

(3)U-net网络的解码器进行上采样，生成大小逐层递增的特征图，上采样的同时将特征提取的结果和上采样的结果逐层进行特征融合；

(4)再经过两个卷积层，达到最后的heatmap，再用一个1X1的卷积做分类，算出概率比较大的softmax类，作为输入给交叉熵进行反向传播训练；

(5)每个epoch训练结束时，用验证集的图像数据来验证，将loss作为验证误差，来表征模型的泛化能力和调整超参数的依据。

进一步的，所述(4)中分类的方法包括：

使用两个神经元做卷积分成两类，得到最后的两张heatmap，第一张表示的是第一类的得分(即每个像素点对应第一类都有一个得分)，第二张表示第二类的得分heatmap，然后作为softmax函数的输入，算出概率比较大的softmax类，选择它作为输入给交叉熵进行反向传播训练。

进一步的，该方法还包括：

将用于测试的卫星遥感图像经过预处理后，输入训练后的模型中，模型的输出为海雾在测试卫星遥感图像中的位置图像，该图像即为对海雾区域的预测结果。

本发明的有益效果是：

(1)普适性强

任何卫星的任何区域的卫星遥感图像都可以用本发明进行海雾检测。

(2)节省时间和人力

本发明只需要进行一次训练，得到模型后就可以将模型应用于实践中，节省了人力，速度也比传统的方式更快。

(3)准确度高

专有数据集，更有目的性的训练，可以提升模型的准确度。

(4)满足实时性

模型框架小，且可在廉价的核心处理器上进行快速的运算，达到一定的实时性。

附图说明

图1所示为本发明提出的一种基于深度学习和卫星遥感技术的海雾检测方法流程图；

图2所示为输入的真彩图示意图；

图3所示为输入的标签示意图；

图4所示为模型测试输入示意图；

图5所示为模型测试结果示意图。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。

实施例一

如图1所示，本发明实施例一提供了一种基于深度学习和卫星遥感技术的海雾检测方法，包括：

获取卫星遥感图像，对图像中的海雾区域进行标注，将标注海雾区域的图像作为深度学习分割网络模型的标签，所述标签和标签对应的卫星遥感图像组成训练集图像；

对训练集图像进行预处理，得到符合预设标准的输入图像，所述输入图像用于扩充数据集；

基于扩充后的数据集，在GPU上对深度学习分割网络模型使用反向传播算法进行训练，训练完成后得到学习到海雾的图像特性的模型。比如纹理均匀、边缘平滑等。

将获取的卫星遥感图像中的海雾进行标注的方法包括：

使用labelme软件对获取的卫星遥感图像中的海雾区域进行标注，标注类别分为海雾和背景两类；标注后的图像作为标签和标签对应的图像作为训练集一起输入到深度学习分割网络模型中。

其中，本发明使用卫星遥感图像作为输入，数据集图像共选取两千张左右。输入图像的通道数，视卫星遥感数据而定。原始图像的大小选择2048*2048，区域选择有海雾发生的海域。用labelme软件对卫星图像中的海雾区域进行标注，共分为海雾和背景两类。标注后的图像作为标签一起输入到深度神经网络模型中。

所述对训练集的图像进行预处理的方法包括：

对训练集的每一张图像按照预设操作进行预处理，得到符合预设标准的输入图像，将图像放入数据集中，用于扩充数据集；

所述预设操作包括但不限于将输入图像依次进行预设尺寸裁剪、gamma校正、预设角度旋转变换、图像模糊处理、添加噪声、镜像翻转等操作。

在图像预处理模块中，通过一系列的图像处理方式，扩充数据集，调整图像大小，使数据集更适合算法训练，提升算法准确度，并且使得模型更具有普适性。对输入的图像每一张依次进行裁剪(将图像裁剪为1024*1024大小)、gamma校正、以一定角度旋转变换、图像模糊处理、添加噪声、镜像翻转等操作。变换后的图像放入数据集中。一方面进行数据增强，扩充数据及大小；另一方面通过添加噪声增强算法的鲁棒性。

进一步的，所述基于扩充后的数据集，在GPU上对深度学习分割网络模型使用反向传播算法进行训练，训练完成后得到学习到海雾的图像特性的模型的方法，包括：

(1)从扩充后的数据集中随机抽取百分比的图像作为训练集，剩余百分比的图像作为验证集；将训练集的图像和标签以预设组为一个batch作为网络输入，使用反向传播算法进行训练，共训练预设数量的epoch；

(2)训练集的输入图像首先经过深度学习分割网络模型U-net的编码器进行特征提取，编码器中每个卷积层生成不同大小的特征图，特征图大小逐层递减；

网络的选择上除了U-net，还可以用segnet、FCN等网络结构。但是U-net在小数据集上有更好的表现。

(3)U-net网络的解码器进行上采样，生成大小逐层递增的特征图，上采样的同时将特征提取的结果和上采样的结果逐层进行特征融合；

(4)再经过两个卷积层，达到最后的heatmap，再用一个1X1的卷积做分类，算出概率比较大的softmax类，作为输入给交叉熵进行反向传播训练；

(5)每个epoch训练结束时，用验证集的图像数据来验证，将loss作为验证误差，来表征模型的泛化能力和调整超参数的依据。

进一步的，所述(4)中分类的方法包括：

使用两个神经元做卷积分成两类，得到最后的两张heatmap，第一张表示的是第一类的得分(即每个像素点对应第一类都有一个得分)，第二张表示第二类的得分heatmap，然后作为softmax函数的输入，算出概率比较大的softmax类，选择它作为输入给交叉熵进行反向传播训练。

例如：(1)从数据集中随机抽取75％的图像作为训练集，另外25％作为验证集。将训练集的图像和标签以5组为一个batch作为网络输入，用反向传播算法进行训练，共训练200个epoch。

(2)网络结构选用U-net(一种典型的图像分割网络)，输入图像首先经过卷积神经网络进行特征提取，每个卷积层生成不同大小的特征图，特征图大小逐层递减。

(3)然后网络进行上采样，生成大小逐层递增的特征图，这卷积和上采样两部分也可以理解为编码器和解码器，上采样的同时将特征提取的结果和上采样的结果逐层进行特征融合。

(4)再经过两个卷积层，达到最后的heatmap，再用一个1X1的卷积做分类，这里是分成两类，所以用的是两个神经元做卷积，得到最后的两张heatmap,例如第一张表示的是第一类的得分(即每个像素点对应第一类都有一个得分)，第二张表示第二类的得分heatmap,然后作为softmax函数的输入，算出概率比较大的softmax类，选择它作为输入给交叉熵进行反向传播训练。

(5)每个epoch训练结束时，用验证集的数据来验证，将loss作为验证误差，来表征模型的泛化能力和调整超参数的依据。

进一步的，该方法还包括：

将用于测试的卫星遥感图像经过预处理后，输入训练后的模型中，模型的输出为海雾在测试卫星遥感图像中的位置图像，该图像即为对海雾区域的预测结果。

例如：将测试图片(一张不属于训练集的图片)经过归一化之后，输入训练后得到的模型中，模型的输出图像即为对海雾区域的预测结果。

本发明实施例一的有益效果是：通过深度学习算法与卫星遥感技术相结合，实现自动实时检测海雾。可以快速产生对新图像的海雾检测，节省时间和人力。

如图2-图5所示，图2所示为输入的真彩图示意图；图2示出的是原始卫星图像经过剪裁、翻转、旋转等预处理之后，生成的黄渤海区域的卫星图像示例，是训练集中的一张图像。图3所示为输入的标签示意图；标注了训练集中的海雾区域，作为标签输入到网络中对模型进行训练。图3为图2对应的标签，其中灰色区域是人工标注的海雾，黑色则为背景。图4所示为模型测试输入示意图；测试阶段，输入未经预处理的，且不在训练集中的卫星图像到模型中，其输出即为模型对该图像中海雾区域的预测结果。图5所示为模型测试结果示意图；模型对测试图片预测的海雾区域结果图。其中白色部分为模型预测的海雾区域，黑色部分则为模型预测的背景。经过测试，模型的准确率达到92％，几乎可以准确地预测出输入的卫星图像中海雾的区域。

本发明的普适性强，任何卫星的任何区域的卫星遥感图像都可以用本发明进行海雾检测。节省时间和人力，本发明只需要进行一次训练，得到模型后就可以将模型应用于实践中，节省了人力，速度也比传统的方式更快。准确度高，专有数据集，更有目的性的训练，可以提升模型的准确度。满足实时性，模型框架小，且可在廉价的核心处理器上进行快速的运算，达到一定的实时性。

上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明并不受所描述的动作顺序的限制，因为依据本发明，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本发明所必须的。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。

Claims (5)

1.一种基于深度学习和卫星遥感技术的海雾检测方法，其特征在于，包括：

获取卫星遥感图像，对图像中的海雾区域进行标注，将标注海雾区域的图像作为深度学习分割网络模型的标签，所述标签和标签对应的卫星遥感图像组成训练集图像；

对训练集图像进行预处理，得到符合预设标准的输入图像，所述输入图像用于扩充数据集；

基于扩充后的数据集，在GPU上对深度学习分割网络模型使用反向传播算法进行训练，训练完成后得到学习到海雾的图像特性的模型，具体包括：

(1)从扩充后的数据集中随机抽取百分比的图像作为训练集，剩余百分比的图像作为验证集；将训练集的图像和标签以预设组为一个更新反向传播参数的轮次batch作为网络输入，使用反向传播算法进行训练，共训练预设数量的轮次epoch；

(2)训练集的输入图像首先经过深度学习分割网络模型的编码器进行特征提取，编码器中每个卷积层生成不同大小的特征图，特征图大小逐层递减；

(3)深度学习分割网络模型的解码器进行上采样，生成大小逐层递增的特征图，上采样的同时将特征提取的结果和上采样的结果逐层进行特征融合；

(4)再经过两个卷积层，达到最后的热力图heatmap，再用一个1×1的卷积做分类，算出概率比较大的逻辑回归函数softmax类，作为输入给交叉熵进行反向传播训练；

(5)每个轮次epoch训练结束时，用验证集的图像数据来验证，将损失函数计算得出的损失loss作为验证误差，来表征模型的泛化能力和调整超参数的依据。

2.如权利要求1所述的方法，其特征在于，所述对图像中的海雾区域进行标注的方法包括：

使用labelme软件对获取的卫星遥感图像中的海雾区域进行标注，标注类别分为海雾和背景两类；标注后的图像作为标签和标签对应的卫星遥感图像一起输入到深度学习分割网络模型中。

3.如权利要求1所述的方法，其特征在于，所述对训练集图像进行预处理的方法包括：

对训练集的每一张图像按照预设操作进行预处理，得到符合预设标准的输入图像，将图像放入数据集中，用于扩充数据集；

所述预设操作包括：将输入图像依次进行预设尺寸裁剪、gamma校正、预设角度旋转变换、图像模糊处理、添加噪声或镜像翻转操作。

4.如权利要求1所述的方法，其特征在于，所述(4)中分类的方法包括：

使用两个神经元做卷积分成两类，得到最后的两张热力图heatmap，第一张表示的是第一类的得分，即每个像素点对应第一类都有一个得分，第二张表示第二类的得分热力图heatmap，然后作为逻辑回归函数softmax的输入，算出概率比较大的逻辑回归函数softmax类，选择它作为输入给交叉熵进行反向传播训练。

5.如权利要求1-4之一所述的方法，其特征在于，还包括：

将用于测试的卫星遥感图像经过预处理后，输入训练后的模型中，模型的输出为海雾在测试卫星遥感图像中的位置图像，该图像即为对海雾区域的预测结果。

Images