CN112906645B - 一种sar数据和多光谱数据融合的海冰目标提取方法 - Google Patents

一种sar数据和多光谱数据融合的海冰目标提取方法 Download PDF

Info

Publication number
CN112906645B
CN112906645B CN202110304825.2A CN202110304825A CN112906645B CN 112906645 B CN112906645 B CN 112906645B CN 202110304825 A CN202110304825 A CN 202110304825A CN 112906645 B CN112906645 B CN 112906645B
Authority
CN
China
Prior art keywords
image
target
data
fusion
sea ice
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110304825.2A
Other languages
English (en)
Other versions
CN112906645A (zh
Inventor
李万武
柳林
张继贤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shandong University of Science and Technology
Original Assignee
Shandong University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shandong University of Science and Technology filed Critical Shandong University of Science and Technology
Priority to CN202110304825.2A priority Critical patent/CN112906645B/zh
Publication of CN112906645A publication Critical patent/CN112906645A/zh
Application granted granted Critical
Publication of CN112906645B publication Critical patent/CN112906645B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/13—Satellite images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/251—Fusion techniques of input or preprocessed data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/194—Terrestrial scenes using hyperspectral data, i.e. more or other wavelengths than RGB
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Probability & Statistics with Applications (AREA)
  • Astronomy & Astrophysics (AREA)
  • Remote Sensing (AREA)
  • Multimedia (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种SAR数据和多光谱数据融合的海冰目标提取方法，属于海洋遥感技术领域，首先构建了OceanTDL5神经网络模型，基于该模型进行海冰目标初检提取疑似目标，然后提出影像融合方法，基于影像融合进行海冰目标提取。OceanTDL5神经网络模型结构包括1个Layer层、1个中间Group层组和1个全连接Dense层；影像融合方法为：计算S1极化SAR影像和S2多光谱影像中疑似目标像素值均值差meanD，融合S1影像和S2影像中疑似目标的像素值，得到初始融合的影像fusionS，计算S1影像非疑似目标像素值clusterVal，建立S1影像非疑似目标的掩模影像，计算待融合影像的中心坐标，按照边界像素值相同的原则将S1影像非疑似目标融合到融合影像中。

Description

一种SAR数据和多光谱数据融合的海冰目标提取方法
技术领域
本发明公开了一种SAR数据和多光谱数据融合的海冰目标提取方法，属于海洋遥感技术领域。
背景技术
现有的海洋目标检测方法大多是基于SAR图像进行的，但SAR数据存在传感器数量有限、回波周期相对较长、分辨率相对较低等缺点。多光谱遥感影像具有光谱优势，利用其进行目标检测的研究也越来越多，基于多光谱影像的海洋目标检测方法，在理想条件下检测效果很好，然而当遇到阴影、薄雾或云等复杂环境时，无法有效进行海洋目标的检测；SAR影像海洋目标检测方法已经比较成熟，主要集中于舰船等目标检测研究，但光谱色彩和解译特征不足；多光谱和SAR影像融合进行海洋目标检测可以弥补二者的不足，将多光谱影像和SAR影像进行融合，弥补单一数据源的不足，提高海洋目标检测的准确性。
发明内容
本发明公开了一种SAR数据和多光谱数据融合的海冰目标提取方法，以解决现有技术中，大场景海洋分布目标检测利用单一影像很难兼顾局部细节和全局分布的问题。
一种SAR数据和多光谱数据融合的海冰目标提取方法，结合了：OceanTDL5神经网络模型进行目标初检和影像融合方法；
首先构建OceanTDL5神经网络模型并基于该模型进行海冰目标初步检测，得到疑似目标，然后提出一种SAR数据和多光谱数据的影像融合方法并基于该方法对疑似目标进行影像融合，精确提取海冰目标。
优选地，该方法包括：
S1.确定海冰目标提取的研究区域，分别获得研究区域的S1极化SAR数据和S2多光谱数据，S1极化SAR数据简称为S1影像，S2多光谱数据简称为S2影像；
S2.对S1影像进行预处理，构建海洋目标检测S1影像数据集，S1影像预处理包括选择数据集、影像裁剪、去帧间隙、辐射校正、斑点滤波、正射纠正和数据格式转换；
S3.选用S2影像中透云雾性和饱满度最佳的波段数据并对S2影像进行预处理，生成用于海冰检测的S2影像数据集，S2影像预处理包括重采样、重投影、归一化数据格式转换和匹配SAR分辨率；
S4.构建OceanTDL5神经网络模型；
S5.构建用于OceanTDL5神经网络模型学习的训练数据集、测试数据集和验证数据集；
S6.设置OceanTDL5神经网络模型的训练次数并对其进行训练；
S7.调用训练完成的OceanTDL5神经网络模型对S1影像和S2影像中的海冰进行初步检测，并保存检测到的疑似目标和非疑似目标；
S8.对初步检测后的S1影像和S2影像进行影像融合和海冰提取；
S9.完成基于SAR数据和多光谱数据融合的海冰目标提取。
优选地，所述OceanTDL5神经网络模型的结构为：
OceanTDL5神经网络模型由1个Layer层、1个中间Group层组和1个全连接Dense层构成；
Layer层的组织形成为：Wx_pluse_b-relu-Dropout-reshape；
中间Group层组包括3层，组织形成为：(Wx_pluse_b-relu-Dropout-reshape)*3；
全连接Dense层的组织形成为：Wx_pluse_b-relu；
特征信息由开始输入的784个特征经529-121-25-9逐级递减，最后用一个包含9个神经元的全连接进行加权求和，relu激活压缩到2个特征，输入到Loss层的Softmax进行分类。
优选地，所述影像融合目标精检方法为：
(1)计算S1影像和S2影像中疑似目标像素值均值差meanD；
分别读取S1影像和S2影像中疑似目标检测结果，计算其像素值均值差meanD：
Figure BDA0002975628720000021
式中，meanS1，meanS2分别为S1和S2影像中疑似目标像素均值，ValS1-STP，ValS2-STP分别为S1影像和S2影像中疑似目标像素值，NS1-STP，NS2-STP分别为S1影像和S2影像中疑似目标像素个数；
(2)计算融合影像疑似目标的像素值；
融合S1影像和S2影像中疑似目标的像素值，得到初始融合的fusionS影像：
fusionSmn＝[Vals1-STP]mn+meanD
式中，fusionSmn为融合影像疑似目标的像素值，ValS1-STP为S1影像中疑似目标的像素值，m，n为疑似目标像素的行和列；
(3)计算S1影像非分布目标像素值；
依次读取S1影像中的非分布目标，将S1影像中以该目标为中心的九宫格区域的像素值进行调整，保存到clusterVal[j][k]中，如下式：
clusterVal[j][k]＝S1[j][k]+meanD/ε
式中，clusterVal[j][k]为S1影像非分布目标像素值，j是S1影像的行号，k是列号，ε是融合系数，ε＝2；
(4)将clusterVal[j][k]融合到fusionS影像中：
建立S1影像非分布目标的掩模影像，计算S1影像非分布目标的中心坐标，按照边界像素值相同的原则将clusterVal[j][k]融合到fusionS影像中。
优选地，影像融合前，对研究区域进行特征分析，具体方法为：
采用小样本对研究区域海冰目标的图像特征进行统计分析，得到研究区域海冰目标的统计特征值和像素特征值；
采用小样本对研究区域全部海洋的图像特征进行统计分析，得到研究区域全部海洋的统计特征值和像素特征值；
采用小样本对预处理后的疑似目标的图像特征进行统计分析，得到研究区域各类目标的统计特征值。
优选地，斑点滤波分别采用Boxcar滤波器和改进的J.S.Lee滤波器两种极化滤波器进行滤波。
优选地，重采样后将S2影像中的不透明云和卷积云提取出来，然后将陆地剔除，即将陆地像素设置成空值，从而提取出海洋。
与现有技术相比，本发明采用一种SAR数据和多光谱数据融合的新方法实现S1和S2影像的融合，融合后的影像保持了融合前的SAR影像的空间细节、清晰的纹理，兼有融合前多光谱影像的材质(海冰)感、色彩充实。光谱色彩方面，SAR影像偏暗，融合后的影像介于SAR与多光谱影像之间。空间细节方面，融合影像比原多光谱影像丰富，有层次感，在空间细节的捕捉方面要优于原始SAR影像和多光谱影像；光谱色彩方面，原始SAR影像偏暗，融合后的影像介于SAR与多光谱影像之间。融合影像较原SAR影像更容易确定海洋分布目标的类型，而较原多光谱更容易确定同类型分布目标间的差异。
附图说明
图1为构建极化SAR海洋目标检测数据集的流程图；
图2为构建多光谱海洋目标检测数据集的流程图；
图3为OceanTDL5神经网络模型结构图；
图4为对S1影像和S2影像进行影像融合和海冰检测的流程图；
图5(a)为OceanTDL5神经网络模型的训练损失_批次曲线；
图5(b)为OceanTDL5神经网络模型的训练精度_批次曲线；
图6(a)为融合前的S1影像，(b)为融合前的S2影像，(c)为S1和S2融合后的影像；
图7为深度学习检测到的海冰目标；
图8为S1和S2融合检测到的海冰目标。
具体实施方式
下面结合具体实施方式对本发明作进一步详细说明：
一种SAR数据和多光谱数据融合的海冰目标提取方法，结合了：OceanTDL5神经网络模型目标初检和影像融合目标精检方法；
首先构建OceanTDL5神经网络模型并基于该模型进行海冰目标初步检测，得到疑似目标，然后提出一种SAR数据和多光谱数据的影像融合方法并基于该方法对疑似目标进行影像融合，精确提取海冰目标。
该方法包括：
S1.确定海冰目标提取的研究区域，分别获得研究区域的S1极化SAR数据和S2多光谱数据，S1极化SAR数据简称为S1影像，S2多光谱数据简称为S2影像；
实施例的研究区域为渤海海域，SAR数据采用渤海海域S1(Sentinel-1，哨兵1号)的IW模式的双极化SAR数据，多光谱数据选取S2(Sentinel-2，哨兵2号)MSI(Multi-Spectral Instrument，多光谱仪器)数据。
S2.对S1影像进行预处理，构建海洋目标检测S1影像数据集，S1影像预处理包括选择数据集、影像裁剪、去帧间隙、辐射校正、斑点滤波、正射纠正和数据格式转换，流程如图1所示；
S3.选用S2影像中透云雾性和饱满度最佳的波段数据并对S2影像进行预处理，生成用于海冰检测的S2影像数据集，S2影像预处理包括重采样、重投影、归一化数据格式转换和匹配SAR分辨率，流程如图2所示；
多光谱数据，包括三种分辨率的数据。10米分辨率有4个波段。20米分辨率有6个波段，4条窄波段(705nm、740nm、783nm和865nm)用于植被特征、2条宽WIR波段(1610nm和2190nm)用于雪/冰/云探测或植被水分评估。60米分辨率有3个波段，主要用于云屏蔽和大气校正。选用S2影像10分辨率数据。通过对比，B2综合效果较好，且透云雾性好；B4云雾影响最大，可见云雾；B3次之，云雾隐约可见；B8、B2不见云雾，但B2饱满度较好。综合分析采用S2的10米分辨率的B2波段数据，融合前文处理的S1(Sentinel-1，哨兵1号)SAR数据集进行海冰的检测。
将S2影像北纬51区1C级产品转换成10m分辨率，得到宽度和高度均为30978像素的影像。其像素值采用Nearest方法进行插值，选择First方法进行重采样。为了提高成像速度，选择在金字塔级别上重新采样。为提高海冰检测准确率，将研究区域S2影像1C级产品的不透明云和卷积云提取出来。为了提高海冰检测效率，需要将研究区中重采样后图像中的陆地剔除，即像素设置成空值，提取出海洋。
为便于S1和S2影像融合进行海冰检测，需要将两种影像重新投影到相同的地理参考系。对提取到的海洋研究区的S2图像分别采用最近邻插值、双线性插值和三次卷积重采样方法处理得到的结果如表1所示。表中用时是相同配置下的用时。
表1重采样结果
Figure BDA0002975628720000051
通过上述实验对比，为了保证目标检测的及时性，采用最近邻插值方法进行S2影像的重投影。
S4.构建OceanTDL5神经网络模型；
S5.构建用于OceanTDL5神经网络模型学习的训练数据集、测试数据集和验证数据集；
S6.设置OceanTDL5神经网络模型的训练次数并对其进行训练；
OceanTDL5模型训练次数设置为82500次，其它2个模型的训练次数设置为41250次，模型及参数对训练精度、损失、耗时及生成模型大小的影响见表2。模型训练开始时波动较大，随着时间推移，损失波动逐渐减少。模型的训练损失_批次曲线如图5(a)所示，训练精度_批次曲线如图5(b)所示，可以看出OceanTDL5训练精度最好。
表2 OceanTDL5模型及参数对训练结果的影响
Figure BDA0002975628720000052
S7.调用训练完成的OceanTDL5神经网络模型对S1影像和S2影像中的海冰进行初步检测，并保存检测到的疑似目标和非疑似目标；
S8.对初检后的S1影像和S2影像进行影像融合和海冰提取，流程如图4所示；
S9.完成基于SAR数据和多光谱数据融合的海冰目标提取。
所述OceanTDL5神经网络模型的结构如图3所示，具体为：
OceanTDL5神经网络模型由1个Layer层、1个中间Group层组和1个全连接Dense层构成；
Layer层的组织形成为：Wx_pluse_b-relu-Dropout-reshape；
中间Group层组包括3层，组织形成为：(Wx_pluse_b-relu-Dropout-reshape)*3；
全连接Dense层的组织形成为：Wx_pluse_b-relu；
特征信息由开始输入的784个特征经529-121-25-9逐级递减，最后用一个包含9个神经元的全连接进行加权求和，relu激活压缩到2个特征，输入到Loss层的Softmax进行分类。
所述影像融合目标精检方法为：
(1)计算S1影像和S2影像中疑似目标像素值均值差meanD；
分别读取S1影像和S2影像中疑似目标检测结果，计算其像素值均值差meanD：
Figure BDA0002975628720000061
式中，meanS1，meanS2分别为S1和S2影像中疑似目标像素均值，ValS1-STP，ValS2-STP分别为S1影像和S2影像中疑似目标像素值，NS1-STP，NS2-STP分别为S1影像和S2影像中疑似目标像素个数；
(2)计算融合影像疑似目标的像素值；
融合S1影像和S2影像中疑似目标的像素值，得到初始融合的fusionS影像：
fusionSmn＝[ValS1-STP]mn+meanD
式中，fusionSmn为融合影像疑似目标的像素值，ValS1-STP为S1影像中疑似目标的像素值，m，n为疑似目标像素的行和列；
(3)计算S1影像非分布目标像素值；
依次读取S1影像中的非分布目标，将S1影像中以该目标为中心的九宫格区域的像素值进行调整，保存到clusterVal[j][k]中，如下式：
clusterVal[j][k]＝S1[j][k]+meanD/ε
式中，clusterVal[j][k]为S1影像非分布目标像素值，j是S1影像的行号，k是列号，ε是融合系数，ε＝2；
(4)将clusterVal[j][k]融合到fusionS影像中：
建立S1影像非分布目标的掩模影像，计算S1影像非分布目标的中心坐标，按照边界像素值相同的原则将clusterVal[j][k]融合到fusionS影像中。
影像融合前，对研究区域进行特征分析，具体方法为：
采用小样本对研究区域海冰目标的图像特征进行统计分析，得到研究区域海冰目标的统计特征值和像素特征值，如表3；
采用小样本对研究区域全部海洋的图像特征进行统计分析，得到研究区域全部海洋的统计特征值和像素特征值，如表4；
采用小样本对预处理后的疑似目标的图像特征进行统计分析，得到研究区域各类目标的统计特征值，如表5所示。
Figure BDA0002975628720000062
Figure BDA0002975628720000071
表5研究海域各目标光谱特征值
Figure BDA0002975628720000072
实验发现，全部海洋研究区统计直方图呈多峰值，海冰总体呈单峰值，可以确定均值为0.22296的是海冰。另外，在海冰的小样本中出现0.17左右反射值较小的峰值，全部海洋研究区中同样出现0.17左右反射值较小的峰值，初步确定这部分包含半溶化的海冰或者说是海冰上有海水。实验还发现，研究区域反射值大于0.3(占整个影像的5％)大部分是海岸海冰，小部分是海洋中的海冰，不是钻井平台和海岸堤坝，这与SAR影像不同。
对线性缩放转换后的[0，255]的整型数据，按14米分辨率重采样，构建S2海洋目标检测数据集。所构建的S2海洋目标检测数据集共有48984320个像素，为海冰检测神经网络模型学习提供训练、测试和验证数据集。海水共20521200个像素，包含28*28像素数26175，海冰共28463120个像素，包含28*28像素数36305。海冰出现了双峰，其中像素值在33-39间的单峰主要是由半溶化的海冰或海冰上有海水造成的。
斑点滤波分别采用Boxcar滤波器和改进的J.S.Lee滤波器两种极化滤波器进行滤波。
Boxcar滤波器估计值的协方差矩阵如下：
Figure BDA0002975628720000073
式中，i和j为对应像素的行和列。
J.S.Lee滤波根据下式估计未消隐协方差矩阵：
Figure BDA0002975628720000074
式中，k是根据跨度统计值span＝C11+C22+C33计算的比例系数。
重采样后将S2影像中的不透明云和卷积云提取出来，然后将陆地剔除，即将陆地像素设置成空值，从而提取出海洋。
采用上述方法对S1和S2影像进行融合，融合后提取的海冰目标效果如图6(c)所示，图6中右图为左图的局部放大图，融合前的S1影像和S2影像如图6(a)和(b)所示。
(1)定性分析
从图6(c)可见，融合后的影像保持了融合前的SAR影像的空间细节，兼有融合前多光谱影像中海冰的材质感，给人视觉上色彩充实、纹理清晰的感觉。光谱色彩方面原始SAR影像偏暗，融合后的影像介于SAR与多光谱影像之间。空间细节方面，融合影像比原多光谱影像丰富很多，有很强的层次感。从图6(c)右图放大图可以看出融合后图像在空间细节的捕捉方面要优于图6(a)右图SAR影像和图6(b)右图多光谱影像。从影像解译角度分析，融合影像较原SAR影像更容易确定海洋分布目标的类型，而较原多光谱更容易确定同类型分布目标间的差异。
(2)定量分析
为了更加全面衡量融合方法的有效性，采用检出率指标对基于融合影像提取的海冰目标做定量分析。采用深度学习模型检测到的海冰目标如图7所示，采用S1和S2的融合影像检测到的海冰目标如图8所示。
图7中品红框(品红框在其他证明文件中可以看出)是采用训练后的OceanTDL5模型检测到的海冰，共检测到海冰1804个，每个包含28*28个像素，检出率96.8％。图8是S1和S2影像融合检测到的海冰，共检测到海冰1861个，检出率99.7％。检测准确率提高3个百分点，检测用时3.65秒，对于14米分辨率的影像检测能力约67.2km2/s。漏检的海冰主要集中在海水和海冰交融处，冰上有水或半融化的冰。深度学习模型与S1和S2影像融合方法检测到的海冰目标详细数据如表6所示。
表6深度学习模型与影像融合方法检测到的海冰目标
Figure BDA0002975628720000081
当然，上述说明并非是对本发明的限制，本发明也并不仅限于上述举例，本技术领域的技术人员在本发明的实质范围内所做出的变化、改型、添加或替换，也应属于本发明的保护范围。

Claims (5)

1.一种SAR数据和多光谱数据融合的海冰目标提取方法，其特征在于，该方法结合了：OceanTDL5神经网络模型目标初检和影像融合目标精检方法；
首先构建OceanTDL5神经网络模型并基于该模型进行海冰目标初步检测，得到疑似目标，然后提出一种SAR数据和多光谱数据的影像融合方法并基于该方法对疑似目标进行影像融合，精确提取海冰目标；
一种SAR数据和多光谱数据融合的海冰目标提取方法包括：
S1.确定海冰目标提取的研究区域，分别获得研究区域的S1极化SAR数据和S2多光谱数据，S1极化SAR数据简称为S1影像，S2多光谱数据简称为S2影像；
S2.对S1影像进行预处理，构建海洋目标检测S1影像数据集，S1影像预处理包括选择数据集、影像裁剪、去帧间隙、辐射校正、斑点滤波、正射纠正和数据格式转换；
S3.选用S2影像中透云雾性和饱满度最佳的波段数据并对S2影像进行预处理，生成用于海冰检测的S2影像数据集，S2影像预处理包括重采样、重投影、归一化数据格式转换和匹配SAR分辨率；
S4.构建OceanTDL5神经网络模型；
S5.构建用于OceanTDL5神经网络模型学习的训练数据集、测试数据集和验证数据集；
S6.设置OceanTDL5神经网络模型的训练次数并对其进行训练；
S7.调用训练完成的OceanTDL5神经网络模型对S1影像和S2影像中的海冰进行初步检测，并保存检测到的疑似目标和非疑似目标；
S8.对初步检测后的S1影像和S2影像进行影像融合和海冰提取；
S9.完成基于SAR数据和多光谱数据融合的海冰目标提取；
所述OceanTDL5神经网络模型的结构为：
OceanTDL5神经网络模型由1个Layer层、1个中间Group层组和1个全连接Dense层构成；
Layer层的组织形成为：Wx_pluse_b-relu-Dropout-reshape；
中间Group层组包括3层，组织形成为：(Wx_pluse_b-relu-Dropout-reshape)*3；
全连接Dense层的组织形成为：Wx_pluse_b-relu；
特征信息由开始输入的784个特征经529-121-25-9逐级递减，最后用一个包含9个神经元的全连接进行加权求和，relu激活压缩到2个特征，输入到Loss层的Softmax进行分类。
2.根据权利要求1所述的SAR数据和多光谱数据融合的海冰目标提取方法，其特征在于，所述影像融合目标精检方法为：
(1)计算S1影像和S2影像中疑似目标像素值均值差meanD；
分别读取S1影像和S2影像中疑似目标检测结果，计算其像素值均值差meanD：
Figure FDA0003722913420000021
式中，meanS1，meanS2分别为S1和S2影像中疑似目标像素均值，ValS1-STP，ValS2-STP分别为S1影像和S2影像中疑似目标像素值，NS1-STP，NS2-STP分别为S1影像和S2影像中疑似目标像素个数；
(2)计算融合影像疑似目标的像素值；
融合S1影像和S2影像中疑似目标的像素值，得到初始融合的fusionS影像：
fusionSmn＝[ValS1-STP]mn+meanD
式中，fusionSmn为融合影像疑似目标的像素值，ValS1-STP为S1影像中疑似目标的像素值，m，n为疑似目标像素的行和列；
(3)计算S1影像非分布目标像素值；
依次读取S1影像中的非分布目标，将S1影像中以该目标为中心的九宫格区域的像素值进行调整，保存到clusterVal[j][k]中，如下式：
clusterVal[j][k]＝S1[j][k]+meanD/ε
式中，clusterVal[j][k]为S1影像非分布目标像素值，j是S1影像的行号，k是列号，ε是融合系数，ε＝2；
(4)将clusterVal[j][k]融合到fusionS影像中：
建立S1影像非分布目标的掩模影像，计算S1影像非分布目标的中心坐标，按照边界像素值相同的原则将clusterVal[j][k]融合到fusionS影像中。
3.根据权利要求1所述的SAR数据和多光谱数据融合的海冰目标提取方法，其特征在于，影像融合前，对研究区域进行特征分析，具体方法为：
采用小样本对研究区域海冰目标的图像特征进行统计分析，得到研究区域海冰目标的统计特征值和像素特征值；
采用小样本对研究区域全部海洋的图像特征进行统计分析，得到研究区域全部海洋的统计特征值和像素特征值；
采用小样本对预处理后的疑似目标的图像特征进行统计分析，得到研究区域各类目标的统计特征值。
4.根据权利要求1所述的SAR数据和多光谱数据融合的海冰目标提取方法，其特征在于，斑点滤波分别采用Boxcar滤波器和改进的J.S.Lee滤波器两种极化滤波器进行滤波。
5.根据权利要求1所述的SAR数据和多光谱数据融合的海冰目标提取方法，其特征在于，重采样后将S2影像中的不透明云和卷积云提取出来，然后将陆地剔除，即将陆地像素设置成空值，从而提取出海洋。
CN202110304825.2A 2021-03-15 2021-03-15 一种sar数据和多光谱数据融合的海冰目标提取方法 Active CN112906645B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110304825.2A CN112906645B (zh) 2021-03-15 2021-03-15 一种sar数据和多光谱数据融合的海冰目标提取方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110304825.2A CN112906645B (zh) 2021-03-15 2021-03-15 一种sar数据和多光谱数据融合的海冰目标提取方法

Publications (2)

Publication Number Publication Date
CN112906645A CN112906645A (zh) 2021-06-04
CN112906645B true CN112906645B (zh) 2022-08-23

Family

ID=76105979

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110304825.2A Active CN112906645B (zh) 2021-03-15 2021-03-15 一种sar数据和多光谱数据融合的海冰目标提取方法

Country Status (1)

Country Link
CN (1) CN112906645B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115862010B (zh) * 2022-09-09 2023-09-05 滁州学院 一种基于语义分割模型的高分遥感影像水体提取方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109711446A (zh) * 2018-12-18 2019-05-03 中国科学院深圳先进技术研究院 一种基于多光谱影像和sar影像的地物分类方法及装置
CN111339959A (zh) * 2020-02-28 2020-06-26 西南交通大学 基于sar和光学影像融合的近海浮筏养殖区提取方法
CN111553245A (zh) * 2020-04-24 2020-08-18 中国电建集团成都勘测设计研究院有限公司 基于机器学习算法和多源遥感数据融合的植被分类方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105930772A (zh) * 2016-04-13 2016-09-07 武汉大学 基于sar影像与光学遥感影像融合的城市不透水面提取方法
CN107516317B (zh) * 2017-08-18 2021-04-27 上海海洋大学 一种基于深度卷积神经网络的sar影像海冰分类方法
CN110276365B (zh) * 2018-03-16 2021-12-28 中国科学院空天信息创新研究院 一种用于sar图像海冰分类的卷积神经网络的训练方法及其分类方法
CN111652038B (zh) * 2020-04-13 2023-03-03 上海海洋大学 基于卷积神经网络的遥感的海冰图像分类方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109711446A (zh) * 2018-12-18 2019-05-03 中国科学院深圳先进技术研究院 一种基于多光谱影像和sar影像的地物分类方法及装置
CN111339959A (zh) * 2020-02-28 2020-06-26 西南交通大学 基于sar和光学影像融合的近海浮筏养殖区提取方法
CN111553245A (zh) * 2020-04-24 2020-08-18 中国电建集团成都勘测设计研究院有限公司 基于机器学习算法和多源遥感数据融合的植被分类方法

Also Published As

Publication number Publication date
CN112906645A (zh) 2021-06-04

Similar Documents

Publication Publication Date Title
Wang et al. Sea ice concentration estimation during melt from dual-pol SAR scenes using deep convolutional neural networks: A case study
Karvonen Baltic sea ice concentration estimation using SENTINEL-1 SAR and AMSR2 microwave radiometer data
CN112288647B (zh) 一种基于门控卷积的遥感影像云和阴影修复的方法
CN111781146B (zh) 利用高分辨率卫星光学影像的波浪参数反演方法
CN111860336A (zh) 基于位置感知的高分辨遥感图像倾斜船舶目标检测方法
CN114821261A (zh) 一种图像融合的算法
He et al. Mapping topo-bathymetry of transparent tufa lakes using UAV-based photogrammetry and RGB imagery
CN110032963B (zh) 互花米草新生斑块的动态监测方法
CN107688776B (zh) 一种城市水体提取方法
CN116309070A (zh) 一种高光谱遥感图像超分辨率重建方法、装置及计算机设备
CN110147746B (zh) 基于Sentinel-2影像快速提取最大和最小可能地表水体范围的方法和系统
CN112906645B (zh) 一种sar数据和多光谱数据融合的海冰目标提取方法
Xu et al. Cloudy image arithmetic: A cloudy scene synthesis paradigm with an application to deep-learning-based thin cloud removal
CN111339959A (zh) 基于sar和光学影像融合的近海浮筏养殖区提取方法
CN113744249A (zh) 一种海洋生态环境损害调查方法
CN116012723A (zh) 基于时序遥感影像的湿地类型提取方法、装置及电子设备
CN116630209A (zh) 基于交叉混合注意力的sar与可见光图像融合方法
Chen et al. Neural classification of SPOT imagery through integration of intensity and fractal information
CN116844049A (zh) 基于图像差值法的森林扰动监测方法、系统、设备及介质
Wang et al. Data fusion in data scarce areas using a back-propagation artificial neural network model: a case study of the South China Sea
Tsay et al. Deep learning for satellite rainfall retrieval using Himawari-8 multiple spectral channels
CN115294183A (zh) 一种基于多源遥感数据的碟型子湖水体时序提取方法
Wang et al. Reduction of rain effect on wave height estimation from marine X-band radar images using unsupervised generative adversarial networks
Liu et al. A Deep Learning Method for Offshore Raft Aquaculture Extraction Based on Medium Resolution Remote Sensing Images
Wang et al. Framework to create cloud-free remote sensing data using passenger aircraft as the platform

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant