CN114219734A - 一种基于深度学习的sar辅助下遥感光学影像去云方法 - Google Patents

一种基于深度学习的sar辅助下遥感光学影像去云方法 Download PDF

Info

Publication number
CN114219734A
CN114219734A CN202111549365.6A CN202111549365A CN114219734A CN 114219734 A CN114219734 A CN 114219734A CN 202111549365 A CN202111549365 A CN 202111549365A CN 114219734 A CN114219734 A CN 114219734A
Authority
CN
China
Prior art keywords
image block
cloud
sar
remote sensing
optical image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111549365.6A
Other languages
English (en)
Inventor
黄小贤
王悦文
杨伟光
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Individual
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Individual filed Critical Individual
Priority to CN202111549365.6A priority Critical patent/CN114219734A/zh
Publication of CN114219734A publication Critical patent/CN114219734A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于深度学习的SAR辅助下遥感光学影像去云方法，方法共分为4个模块，具体为分散模块，将SAR影像和遥感光学影像均匀分散为影像块；提取模块，提取SAR影像块和遥感光学影像块的HOG特征；检测模块，比对后综合SAR影像块和光学影像块的HOG特征，将影像块的综合特征输入预先训练好的检测网络进行云检测；替换模块，若发现包含云的光学影像块则采用对应的SAR影像块替换。本发明借助了SAR影像信息，增加提升了云检测和去除能力，本发明提供的云检测结果可作为遥感光学影像质量评估的依据以及云去除的引导信息。

Description

一种基于深度学习的SAR辅助下遥感光学影像去云方法
技术领域
本发明涉及遥感影像处理技术领域，更进一步地说，具体涉及一种基于深度学习的SAR辅助下遥感光学影像去云方法。
背景技术
受多云天气的影响，遥感光学影像通常被云层遮挡，导致无法获取清晰的遥感影像，影响对遥感影像中关键地物的判读。因此在对遥感光学影像进行判读之前必须去除。
传统方法在整幅图像上使用了两次生成对抗网络，计算复杂度高，运行效率低。为此，有必要对现有技术进行改进。
合成孔径雷达SAR(Synthetic Aperture Radar)，是一种主动式的对地观测系统，可安装在飞机、卫星、宇宙飞船等飞行平台上，全天时、全天候对地实施观测、并具有一定的地表穿透能力。SAR影像不受天气、云雾影响。基于SAR影像提供的信息能够实现光学影像云的检测与去除，提出一种基于深度学习的SAR辅助下遥感光学影像去云方法。
发明内容
本发明的目的在于提供一种基于深度学习的SAR辅助下遥感光学影像去云方法，以克服现有技术所存在的缺陷。
为了达到上述目的，本发明采用的技术方案如下：
一种基于深度学习的SAR辅助下遥感光学影像去云方法，共分为4个模块，包括以下步骤：
S1：分散模块，将SAR影像和遥感光学影像均匀分散为影像块；
S2：提取模块，提取SAR影像块和遥感光学影像块的HOG特征；
S3：检测模块，比对后综合SAR影像块和光学影像块的HOG特征，将影像块的综合特征输入预先训练好的检测网络进行云检测；
S4：替换模块，若发现包含云的光学影像块则采用对应的SAR影像块替换。
所述分散模块、提取模块、检测模块和替换模块依次连接。
进一步地，所述步骤S1中SAR影像为ISAR和遥感光学影像为IO，图像ISAR和IO的大小为W×H，其中，W为影像的宽度，H为影像的高度，w为设定的影像块大小。所述SAR影像和遥感光学影像块数量依据下面公式计算：
Figure BDA0003416740090000011
进一步地，所述步骤S2具体包括：
S21：计算每一个SAR影像块的HOG特征，第n个影像块的特征记为Fs,n；
S22：计算每一个光学影像块的HOG特征，第n个影像块的特征记为Fo,n。
进一步地，每一个SAR影像块和每一个光学影像块的HOG特征计算过程如下：
首先、根据以下公式计算每一个SAR影像块和每一个光学影像块的像素的梯度；
Figure BDA0003416740090000021
Figure BDA0003416740090000022
式中Pix(x,y)为影像块(x,y)点的像素值，Gra(x,y)为该点的梯度值，Mag(x,y)为该点的梯度幅度；
然后，统计每一个SAR影像块和每一个光学影像块的梯度直方图，得到SAR影像块和光学影像块的HOG特征。
进一步地，所述步骤S3具体包括：
S31：获取多幅同个区域的SAR影像和遥感光学影像的数据集；
S32：对数据集中的同个区域SAR影像和遥感光学影像对进行影像块划分，并根据遥感影像的云区域对存在云的影像块添加标签。根据遥感影像的云区域对存在云的影像块添加标签1，反之添加标签0；
S33：计算影像块的综合特征，并存储综合特征和标签数据；
其中，综合特征采用以下公式：
Fn＝[Fs,n·Fo,n]
S34：根据影像块大小设计云检测网络，采用三层的全连接网络，检测网络可以下式表示：
Test(x)＝sigmoid(b2+W2relu(W1x+b1))
其中W1、W2分别为网络的第一层和第二层权重矩阵，b1、b2分为为第一层权重矩阵和第二层权重矩阵对应的偏置项；relu为采用的修正线性单元激活函数；sigmoid为采用的sigmoid激活函数。
其中云检测的计算过程可以下式表示：
Cn＝Test(Fn)
其中，Test为检测网络，检测网络的输出为0和1两种结果，Cn为第n个影像块的云检测结果，Cn＝0表示第n个光学影像块无云，Cn＝1表示第n个光学影像块存在云。
S35：将交叉熵作为损失函数，使用随机梯度训练云检测网络。
进一步地，所述步骤S4中的影像块替换是基于所述步骤S3中的云检测结果进行替换。
与现有技术相比，本发明的优点在于：本发明首先对同个区域的遥感SAR影像和受云影响的遥感光学影像进行均匀分散为影像块，之后同时提取每一影像块的SAR影像和光学影像特征，采用前馈神经网络进行云的检测，获得每一影像块是否包含云的检测结果；最后对包含云的光学影像区域，使用SAR影像进行替换以达到云去除的目的。本发明借助了SAR影像信息，提升了云检测和去除能力；本发明提供的云检测结果可作为遥感光学影像质量评估的依据以及云去除的引导信息。
附图说明
图1是本发明SAR影像信息辅助的遥感光学影像云检测方法流程图。
具体实施方式
下面结合附图对本发明的优选实施例进行详细阐述，以使本发明的优点和特征能更易于被本领域技术人员理解，从而对本发明的保护范围做出更为清楚明确的界定。
参阅图1所示，本实施例公开了一种SAR影像信息辅助的遥感光学影像云检测方法，包括以下步骤：
步骤S1：将SAR影像和遥感光学影像均匀分散为影像块。具体为：
计SAR影像为ISAR和遥感光学影像为IO，图像ISAR和IO的大小为W×H，其中，W为影像的宽度，H为影像的高度，w为设定的影像块大小。所述SAR影像和遥感光学影像块数量依据下面公式计算：
Figure BDA0003416740090000031
步骤S2：提取SAR影像块和遥感光学影像块的HOG特征。具体为：
S21：计算每一个SAR影像块的HOG特征，第n个影像块的特征记为Fs,n；
S22：计算每一个光学影像块的HOG特征，第n个影像块的特征记为Fo,n。
其中，影像块的HOG特征计算过程如下：
首先，根据以下公式计算影像块像素的梯度：
Figure BDA0003416740090000032
Figure BDA0003416740090000033
式中Pix(x,y)为影像块(x,y)点的像素值，Gra(x,y)为该点的梯度值，Mag(x,y)为该点的梯度幅度；
然后，统计影像块的梯度直方图，得到各影像块的HOG特征。
步骤S3：比对后综合SAR影像块和光学影像块的HOG特征，将影像块的综合特征输入预先训练好的检测网络进行云检测。具体为：
S31：获取多幅同个区域的SAR影像和遥感光学影像的数据集；
S32：对数据集中的同个区域SAR影像和遥感光学影像对进行影像块划分，并根据遥感影像的云区域对存在云的影像块添加标签。根据遥感影像的云区域对存在云的影像块添加标签1，反之添加标签0；
S33：计算影像块的综合特征，并存储综合特征和标签数据；
其中，综合特征采用以下公式：
Fn＝[Fs,n·Fo,n]
S34：根据影像块大小设计云检测网络，采用三层的全连接网络，检测网络可以下式表示：
Test(x)＝sigmoid(b2+W2relu(W1x+b1))
其中W1、W2分别为网络的第一层和第二层权重矩阵，b1、b2分为为第一层权重矩阵和第二层权重矩阵对应的偏置项；relu为采用的修正线性单元激活函数；sigmoid为采用的sigmoid激活函数；
其中，云检测的计算过程可以下式表示：
Cn＝Test(Fn)
其中，Test为检测网络，检测网络的输出为0和1两种结果，Cn为第n个影像块的云检测结果，Cn＝0表示第n个光学影像块无云，Cn＝1表示第n个光学影像块存在云。
S35：将交叉熵作为损失函数，使用随机梯度训练云检测网络。
步骤S4：若发现包含云的光学影像块则采用对应的SAR影像块替换。
本发明借助了SAR影像信息，增加提升了云检测和去除能力，本发明提供的云检测结果可作为遥感光学影像质量评估的依据以及云去除的引导信息。
虽然结合附图描述了本发明的实施方式，但是专利所有者可以在所附权利要求的范围之内做出各种变形或修改，只要不超过本发明的权利要求所描述的保护范围，都应当在本发明的保护范围之内。

Claims (6)

1.一种基于深度学习的SAR辅助下遥感光学影像去云方法，其特征在于，共分为4个模块，包括以下步骤：
S1：分散模块，将SAR影像和遥感光学影像均匀分散为影像块；
S2：提取模块，提取SAR影像块和遥感光学影像块的HOG特征；
S3：检测模块，比对后综合SAR影像块和光学影像块的HOG特征，将影像块的综合特征输入预先训练好的检测网络进行云检测；
S4：替换模块，若发现包含云的光学影像块则采用对应的SAR影像块替换。
2.根据权利要求1所述的一种基于深度学习的SAR辅助下遥感光学影像去云方法，其特征在于，在步骤S1中SAR影像为ISAR和遥感光学影像为IO，图像ISAR和IO的大小为W×H，其中，W为影像的宽度，H为影像的高度，w为设定的影像块大小，所述SAR影像和遥感光学影像块数量依据下面公式计算：
Figure FDA0003416740080000011
3.根据权利要求1所述的一种基于深度学习的SAR辅助下遥感光学影像去云方法，其特征在于，所述步骤S2具体包括：
S21：计算每一个SAR影像块的HOG特征，第n个影像块的特征记为Fs,n；
S22：计算每一个光学影像块的HOG特征，第n个影像块的特征记为Fo,n。
4.根据权利要求3所述的一种基于深度学习的SAR辅助下遥感光学影像去云方法，其特征在于，每一个SAR图像块和每一个光学图像块的HOG特征计算过程如下：
首先，根据以下公式计算每一个SAR图像块和每一个光学图像块的像素的梯度；
Figure FDA0003416740080000012
Figure FDA0003416740080000013
式中Pix(x,y)为影像块(x,y)点的像素值，Gra(x,y)为该点的梯度值，Mag(x,y)为该点的梯度幅度；
然后，统计每一个SAR影像块和每一个光学影像块的梯度直方图，得到SAR影像块和光学影像块的HOG特征。
5.根据权利要求1所述的一种基于深度学习的SAR辅助下遥感光学影像去云方法，其特征在于，所述步骤S3具体包括：
S31：获取多幅同个区域的SAR影像和遥感光学影像的数据集；
S32：对数据集中的同个区域SAR影像和遥感光学影像对进行影像块划分，并根据遥感影像的云区域对存在云的影像块添加标签。根据遥感影像的云区域对存在云的影像块添加标签1，反之添加标签0；
S33：计算影像块的综合特征，并存储综合特征和标签数据；
其中，综合特征采用以下公式：
Fn＝[Fs,n·Fo,n]
S34：根据影像块大小设计云检测网络，采用三层的全连接网络，检测网络可以下式表示：
Test(x)＝sigmoid(b2+W2relu(W1x+b1))
其中W1、W2分别为网络的第一层和第二层权重矩阵，b1、b2分为为第一层权重矩阵和第二层权重矩阵对应的偏置项；relu为采用的修正线性单元激活函数；sigmoid为采用的sigmoid激活函数；
其中，云检测的计算过程可以下式表示：
Cn＝Test(Fn)
其中，Test为检测网络，检测网络的输出为0和1两种结果，Cn为第n个影像块的云检测结果，Cn＝0表示第n个光学影像块无云，Cn＝1表示第n个光学影像块存在云；
S35：将交叉熵作为损失函数，使用随机梯度训练云检测网络。
6.根据权利要求1所述的一种基于深度学习的SAR辅助下遥感光学影像去云方法，其特征在于，所述步骤S4中的影像块替换是基于所述步骤S3中的云检测结果进行替换。
CN202111549365.6A 2021-12-17 2021-12-17 一种基于深度学习的sar辅助下遥感光学影像去云方法 Pending CN114219734A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111549365.6A CN114219734A (zh) 2021-12-17 2021-12-17 一种基于深度学习的sar辅助下遥感光学影像去云方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111549365.6A CN114219734A (zh) 2021-12-17 2021-12-17 一种基于深度学习的sar辅助下遥感光学影像去云方法

Publications (1)

Publication Number Publication Date
CN114219734A true CN114219734A (zh) 2022-03-22

Family

ID=80703429

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111549365.6A Pending CN114219734A (zh) 2021-12-17 2021-12-17 一种基于深度学习的sar辅助下遥感光学影像去云方法

Country Status (1)

Country Link
CN (1) CN114219734A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117252785A (zh) * 2023-11-16 2023-12-19 安徽省测绘档案资料馆(安徽省基础测绘信息中心) 一种基于多源sar与光学影像联合的去云方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117252785A (zh) * 2023-11-16 2023-12-19 安徽省测绘档案资料馆(安徽省基础测绘信息中心) 一种基于多源sar与光学影像联合的去云方法
CN117252785B (zh) * 2023-11-16 2024-03-12 安徽省测绘档案资料馆(安徽省基础测绘信息中心) 一种基于多源sar与光学影像联合的去云方法

Similar Documents

Publication Publication Date Title
CN108427920B (zh) 一种基于深度学习的边海防目标检测方法
CN113052211B9 (zh) 一种基于特征的秩和通道重要性的剪枝方法
CN112308019A (zh) 基于网络剪枝和知识蒸馏的sar舰船目标检测方法
CN108805833B (zh) 基于条件对抗网络的字帖二值化背景噪声杂点去除方法
CN105657402A (zh) 一种深度图恢复方法
CN110136162B (zh) 无人机视角遥感目标跟踪方法及装置
CN113408340A (zh) 基于增强型特征金字塔的双极化sar小型船只检测方法
CN111861926B (zh) 一种基于空域组增强机制与长短时记忆网络的图像去雨方法
CN110647977A (zh) 一种用于星上对舰船目标检测的Tiny-YOLO网络的优化方法
CN115330643A (zh) 基于卷积神经网络和视觉变换神经网络的地震去噪方法
CN114219734A (zh) 一种基于深度学习的sar辅助下遥感光学影像去云方法
CN107845064B (zh) 基于主动采样和高斯混合模型的图像超分辨重建方法
CN118247515A (zh) 动态稀疏方法、智能分析方法、装置、设备及存储介质
CN117934814A (zh) 一种基于分散注意力挖掘网络的红外小目标识别方法
CN109558819B (zh) 一种用于遥感图像目标检测的深度网络轻量化方法
CN116403120A (zh) 一种基于优化ssd算法的遥感图像目标检测方法及系统
Ray et al. Deep learning based underwater image enhancement using deep convolution neural network
Khare et al. An approach towards wavelet transform based multiclass object classification
CN116089944A (zh) 基于迁移学习的跨平台应用程序异常检测方法、系统
CN110991361B (zh) 面向高清高速视频的多通道多模态背景建模方法
CN113538536B (zh) 一种sar图像信息辅助的遥感光学图像浓云检测方法及系统
CN114419415A (zh) 一种改进的数字识别方法
Özdaş et al. Super resolution image acquisition for object detection in the military industry
CN113255768A (zh) 一种提升卷积神经网络鲁棒性能的方法
CN111339836A (zh) 一种基于迁移学习的sar图像舰船目标检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication