CN113298086A - 基于U-Net网络的赤潮多光谱检测方法 - Google Patents
基于U-Net网络的赤潮多光谱检测方法 Download PDFInfo
- Publication number
- CN113298086A CN113298086A CN202110453641.2A CN202110453641A CN113298086A CN 113298086 A CN113298086 A CN 113298086A CN 202110453641 A CN202110453641 A CN 202110453641A CN 113298086 A CN113298086 A CN 113298086A
- Authority
- CN
- China
- Prior art keywords
- image
- sample
- net network
- red tide
- detected
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 98
- 230000003595 spectral effect Effects 0.000 claims abstract description 53
- 238000000034 method Methods 0.000 claims abstract description 29
- 238000012549 training Methods 0.000 claims description 16
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 claims description 15
- 238000012545 processing Methods 0.000 claims description 7
- 238000010606 normalization Methods 0.000 claims description 5
- 238000005520 cutting process Methods 0.000 claims description 3
- 230000009286 beneficial effect Effects 0.000 abstract 1
- 238000010586 diagram Methods 0.000 description 13
- 238000002474 experimental method Methods 0.000 description 11
- 230000006870 function Effects 0.000 description 9
- 238000004590 computer program Methods 0.000 description 8
- 230000008569 process Effects 0.000 description 7
- 238000012544 monitoring process Methods 0.000 description 6
- 238000012360 testing method Methods 0.000 description 6
- 238000003860 storage Methods 0.000 description 5
- 239000002028 Biomass Substances 0.000 description 4
- 238000009826 distribution Methods 0.000 description 4
- 238000005259 measurement Methods 0.000 description 4
- 238000012937 correction Methods 0.000 description 3
- 238000007781 pre-processing Methods 0.000 description 3
- 238000007637 random forest analysis Methods 0.000 description 3
- 238000005070 sampling Methods 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 241000195493 Cryptophyta Species 0.000 description 2
- 230000009471 action Effects 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 2
- 229930002875 chlorophyll Natural products 0.000 description 2
- 235000019804 chlorophyll Nutrition 0.000 description 2
- ATNHDLDRLWWWCB-AENOIHSZSA-M chlorophyll a Chemical compound C1([C@@H](C(=O)OC)C(=O)C2=C3C)=C2N2C3=CC(C(CC)=C3C)=[N+]4C3=CC3=C(C=C)C(C)=C5N3[Mg-2]42[N+]2=C1[C@@H](CCC(=O)OC\C=C(/C)CCC[C@H](C)CCC[C@H](C)CCCC(C)C)[C@H](C)C2=C5 ATNHDLDRLWWWCB-AENOIHSZSA-M 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 239000013535 sea water Substances 0.000 description 2
- 238000012706 support-vector machine Methods 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 241000206761 Bacillariophyta Species 0.000 description 1
- 241000894006 Bacteria Species 0.000 description 1
- 230000005856 abnormality Effects 0.000 description 1
- 238000010521 absorption reaction Methods 0.000 description 1
- 230000002411 adverse Effects 0.000 description 1
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000013145 classification model Methods 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 230000008602 contraction Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000012851 eutrophication Methods 0.000 description 1
- 238000004880 explosion Methods 0.000 description 1
- 238000001506 fluorescence spectroscopy Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000002245 particle Substances 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 230000002195 synergetic effect Effects 0.000 description 1
- 239000003053 toxin Substances 0.000 description 1
- 231100000765 toxin Toxicity 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/243—Classification techniques relating to the number of classes
- G06F18/24323—Tree-organised classifiers
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/56—Extraction of image or video features relating to colour
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Molecular Biology (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Multimedia (AREA)
- Probability & Statistics with Applications (AREA)
- Image Processing (AREA)
Abstract
本发明提供一种基于U‑Net网络的赤潮多光谱检测方法。该方法包括：获取初始图像，初始图像包括目标海域在如下预设波段的光谱信息：近红外波段、红色波段、蓝色波段和绿色波段；基于近红外波段的光谱信息和红色波段的光谱信息，确定出目标海域的归一化植被指数；基于初始图像和归一化植被指数，生成目标海域的待检测图像，待检测图像包括预设波段的光谱信息和归一化植被指数表征的光谱信息；将待检测图像输入预先训练的目标U‑Net网络，采用忽略边缘的滑动步长预测策略，预测出待检测图像中的赤潮区域，并生成标记了赤潮区域的检测结果。有助于提高小规模赤潮检测的精度，并避免检测结果中存在明显的拼接痕迹。
Description
技术领域
本发明涉及海洋探测领域，特别涉及一种基于U-Net网络的赤潮多光谱检测方法。
背景技术
赤潮是海水中的浮游生物、原生动物或细菌过度繁殖或聚集致使海水变色的一种海洋生态危害，也被称为有害藻华(HABs)。赤潮不仅导致海洋生物缺氧死亡,而且部分赤潮生物产生的毒素也会引起海域中生物死亡,严重破坏海洋生态平衡。近年来，由于水体富营养化日益严重，赤潮爆发频率居高不下。仅2019年，中国海域共发现38次大规模赤潮，直接经济损失高达0.31亿元。
目前赤潮监测主要包括海上船只作业、水质浮标测量和卫星遥感三种手段，前两种手段都是传统的赤潮监测手段。然而，赤潮的爆发持续时间短，其漂移路径往往受海洋风场、流场的共同作用，空间分布广，演变频率高，持续时间短。因此传统监测手段同步性差，无法获取藻类灾害水体的实时变化趋势，且费时费力，赤潮监测的有效性受到限制。遥感技术以其覆盖范围广、重访周期短、能提供实时数据等优势，已成为赤潮监测的重要手段。赤潮暴发海域由于浮游植物的暴发性增值或高度聚集,使得在440nm和675nm存在有强吸收，在685-710nm处存在反射峰，同时在550nm处由于悬浮颗粒的作用,使得此处水体具有较强的反射特性。Moradi等人在MODIS(Moderate-resolution Imaging Spectroradiometer，中分辨率成像光谱仪)荧光数据的基础上结合水文和生物光学场测量数据进行赤潮的检测，使用OC4波段比值算法估算叶绿素含量，并发现了叶绿素异常，揭示赤潮发生的可能性。Lou等人利用443nm、490nm、555nm的GOCI(Geo-stationary Ocean Color Imager，地球静止海洋水色成像仪)归一化辐射量数据建立了赤潮指数；Tao等人利用MODIS数据，根据不同藻类在555nm和531nm存在明显的光谱差异，建立了两种浮游植物指数和硅藻指数来区分东海的硅藻和其他藻华等等。Zhao等人基于443nm、531nm、547nm提出了适用于多光谱数据的赤潮指数，能够实现赤潮的快速检测。Shin等人利用多传感器数据进行了朝鲜半岛附近的赤潮检测，证实了多传感器数据的协同效应比单传感器数据的赤潮检测灵敏度高。但已有的遥感监测方法都是针对包括GOCI、MODIS、SeaWiF(Sea Viewing Wide Field Of ViewSensor，海色遥感传感器)等在内的低空分辨率海洋水色卫星数据(空间分辨率>250m)，检测精度有待提高。同时以上卫星数据的空间分辨率较低，难以对小规模赤潮爆发事件进行检测，混合像元效应也会导致检测结果严重高估。
随着遥感卫星获取的影像空间分辨率越来越高，高分辨率遥感影像可以满足小规模赤潮的检测，但由于高分辨率遥感影像的光谱分辨率较低，上述赤潮检测方法不能直接应用于高分辨率影像中。同时，高分辨率影像的赤潮检测方法受光谱影响较大。
综上所述，现有利用高分辨率多光谱影像赤潮检测的技术较少，且精度较低。
发明内容
有鉴于此，本发明提供一种基于U-Net网络的赤潮多光谱检测方法，以解决现有技术中利用高分辨率多光谱影像检测赤潮的精度较低的问题。
本发明提供的一种基于U-Net网络的赤潮多光谱检测方法的技术方案是：
一种基于U-Net网络的赤潮多光谱检测方法，包括如下步骤：获取初始图像，初始图像包括目标海域在如下预设波段的光谱信息：近红外波段、红色波段、蓝色波段和绿色波段；基于近红外波段的光谱信息和红色波段的光谱信息，确定出目标海域的归一化植被指数；基于初始图像和归一化植被指数，生成目标海域的待检测图像，待检测图像包括预设波段的光谱信息和归一化植被指数表征的光谱信息；将待检测图像输入预先训练的目标U-Net网络，采用忽略边缘的滑动步长预测策略，预测出待检测图像中的赤潮区域，并生成标记了赤潮区域的检测结果。
可选地，检测结果经由如下步骤生成：基于预设的拼接区域与预测区域的比例以及预设的待检测图像块的宽度，确定步长；按照步长，将待检测图像裁剪成若干待检测图像块，每个待检测图像块均与相邻的待检测图像块存在预设重复区域；将各待检测图像块进行归一化并构建生成器；将生成器输入目标U-Net网络，得到预测图像块；采用忽略边缘的拼接策略，拼接每个预测图像块，得到检测结果。
可选地，目标U-Net网络中的卷积层的padding为1。
可选地，目标U-Net网络中的卷积层还包括BN层。
可选地，目标U-Net网络中的编码器和解码器之间还设置有 Dropout层。
可选地，目标U-Net网络经由如下步骤训练得到：获取初始样本图像，初始样本图像包括样本海域在预设波段的光谱信息；基于初始样本图像中的近红外波段和红色波段的光谱信息，确定出样本海域的样本归一化植被指数；基于初始样本图像和样本归一化植被指数，生成样本图像；基于样本图像中的赤潮区域，构建样本图像的样本标签；基于样本图像和样本标签，构建样本集；将样本集中的样本图像输入预先构建的初始U-Net网络，以该样本图像的样本标签为期望输出，训练初始 U-Net网络，得到目标U-Net网络。
可选地，样本标签经由如下步骤生成：将样本图像中赤潮区域内的水体标记为1，将样本图像中其他对象标记为0；基于样本图像中各对象的标签值，生成二值图，得到该样本图像的样本标签。
可选地，初始样本图像至少包括赤潮水体的光谱信息和云层的光谱信息。
可选地，基于样本图像和样本标签，构建样本集，包括：对样本图像和样本标签执行数据增强步骤，得到样本集。
可选地，将样本集中的样本图像输入初始U-Net网络之前，方法还包括：对样本图像和样本标签的灰度值进行归一化处理。
本发明提供的基于U-Net网络的赤潮多光谱检测方法中，基于初始图像中预设波段的光谱信息，确定出初始图像的归一化植被指数，并将归一化植被指数和初始图像组合成多特征的待检测图像，然后将待检测图像输入预训练的U-Net模型，采用忽略边缘的滑动步长预测方法得到赤潮检测结果。一方面，通过引入归一化植被指数增强待检测图像中低生物量赤潮区域的光谱特征，使得待检测图像中的赤潮特征更加明显，有助于提高小规模赤潮检测的精度；另一方面，通过忽略边缘的滑动步长预测方法得到赤潮检测结果，可以避免检测结果中存在明显的拼接痕迹。
附图说明
附图用于更好地理解本发明，不构成对本发明的不当限定。其中：
图1是本发明具体实施例提供的基于U-Net网络的赤潮多光谱检测方法的流程图；
图2是本发明具体实施例提供的基于U-Net网络的赤潮多光谱检测方法的原理示意图；
图3是本发明具体实施例提供的基于U-Net网络的赤潮多光谱检测方法中生成检测结果的流程图；
图4是本发明具体实施例提供的基于U-Net网络的赤潮多光谱检测方法中训练初始U-Net网络的流程图；
图5是本发明具体实施例中的赤潮区域的遥感影像图；
图6是本发明具体实施例的不同数据集得到的赤潮检测结果；
图7是本发明具体实施例的不同方法得到的赤潮检测结果。
具体实施方式
下面结合实施例对本发明作进一步说明。
针对现有技术中利用高分辨率多光谱影像赤潮检测的精度较低的问题，本实施例提供了一种基于U-Net网络的赤潮多光谱检测方法，如图1所示，其包括如下步骤：
S101、获取初始图像。
在本实施例中，初始图像包括目标海域在如下预设波段的光谱信息：近红外波段、红色波段、蓝色波段和绿色波段。例如可以是HY-1D CZI影像经几何校正、辐射定标等预处理后得到的四波段光谱图像。
S102、基于近红外波段的光谱信息和红色波段的光谱信息，确定出目标海域的归一化植被指数。
在本实施例中，归一化植被指数(Normalized Difference Vegetation Index，NDVI)可以增强初始图像中低生物量赤潮区域的赤潮水体光谱信息。其计算方式为，初始图像中近红外波段的反射值与红光波段的反射值之差比上两者之和。
S103、基于初始图像和归一化植被指数，生成目标海域的待检测图像。
在本实施例中，可以基于步骤S200中确定出的NDVI生成单波段光谱图像，然后与初始图像组合成五波段的光谱图像，即可得到五通道的待检测图像，每个通道对应一个波段。如此，可以将初始图像中低生物量赤潮区域的赤潮水体光谱信息引入待检测图像中。
S104、将待检测图像输入预先训练的目标U-Net网络，采用忽略边缘的滑动步长预测策略，预测出待检测图像中的赤潮区域，并生成标记了赤潮区域的检测结果。
在本实施例中，U-Net输出的检测结果为单通道分类图像，通过灰度值标记出图中的赤潮区域。
本实施例中的U-Net模型与其他常见的分割网络采用了完全不同的特征融合方式，可以逐像素进行分类。同时，由于它是完全卷积的网络，因此可以在小样本集上训练出好的模型，训练速度比较快。
U-Net网络由编码器和解码器组成，其网络结构可以用U形图表示。U-Net网络的编码器是典型的卷积神经网络结构，用来提取输入的待检测图像的图像特征，并输出特征图。编码器共包括4个子模块，每个子模块均包含2个3×3卷积层和1个×2的最大池化层。每个子模块的卷积核数目是上一个子模块的2倍，下采样尺寸缩减为原来的1/2，这样的设计一定程度上保留了下采样丢失的信息。解码器的作用是将编码器输出的特征图上采样到输入尺寸大小，输出包括定位的类别图像。解码器共包括4个子模块，每个子模块包括2个3×3卷积层。与编码器不同的是，解码器每个子模块中包含1个2×2的上采样层。解码过程中首先通过在每一个上采样层横向连接对应的收缩路径层，再通过2组3×3的卷积细化特征输入到下一个上采样层。其中，横向连接要求通道数相同。U-Net网络的最后一层是分类层，该层采用1×1卷积将特征图的64通道映射到类别数量，采用Softmax函数输出类别分类概率图，即从待检测图像中预测出存在赤潮的区域。
进一步结合图2，图2示出了本发明提供的基于U-Net网络的赤潮多光谱检测方法的原理示意图。如图2所示，目标海域的HY-1D CZI 影像经几何校正、辐射定标等预处理后得到的四波段光谱图像为初始图像，然后经过波段运算确定出初始图像中的归一化植被指数，再将归一化植被指数和初始图像组合成5通道的待检测图像。之后将待检测图像随机分割成256×256像素大小的图像，并输入预训练的目标U- Net网络中，输出的单通道的分类图像即为待检测图像的赤潮检测结果。
本发明提供的基于U-Net网络的赤潮多光谱检测方法中，基于初始图像中预设波段的光谱信息，确定出初始图像的归一化植被指数，并将归一化植被指数和初始图像组合成多特征的待检测图像，然后将待检测图像输入预训练的U-Net模型，采用忽略边缘的滑动步长预测方法得到赤潮检测结果。一方面，通过引入归一化植被指数增强待检测图像中低生物量赤潮区域的光谱特征，使得待检测图像中的赤潮特征更加明显，有助于提高小规模赤潮检测的精度；另一方面，通过忽略边缘的滑动步长预测方法得到赤潮检测结果，可以避免检测结果中存在明显的拼接痕迹。
在本实施例的一些可选的实现方式中，目标U-Net网络中的卷积层的padding为1，使得U-Net最后输出的单通道分类图像额尺寸与待检测图像的尺寸一致。
进一步地，目标U-Net网络中的卷积层还包括BN层，可以加快U- Net网络的收敛速度。
进一步地，目标U-Net网络中的编码器和解码器之间还设置有 Dropout层，使得目标U-Net网络中的编码器输出的特征图先经过 Dropout层，再进入解码器进行上采样，以此提升目标U-Net网络的容纳能力并避免出现过拟合。
在本实施例中，为避免最终输出的检测结果中存明显的拼接痕迹，本实施例采用基于忽略边缘的滑动步长预测方法，即按固定步长、有重叠地裁剪图像并在拼接时采取忽略边缘策略。如图3所示，本发明具体实施例提供的基于U-Net网络的赤潮多光谱检测方法中生成检测结果的流程可以包括以下步骤：
S301、基于预设的拼接区域与预测区域的比例以及预设的待检测图像块的宽度，确定步长。
在本实施例中，可以采用如下公式(1)确定裁剪图像时的步长：
式中，s代表影像裁剪时的步长，OL_ratio代表拼接区域与预测区域比例，n代表待检测图像块的宽度，示例性的，本实施例将OL_ratio 预先设置为50％，待检测图像块宽度n可以取256像素。
S302、按照步长和待检测图像块宽度，将待检测图像裁剪成若干待检测图像块。
在本实施例中，每个待检测图像块均与相邻的待检测图像块存在预设重复区域。
S303、将各待检测图像块进行归一化并构建生成器。
S304、将生成器输入目标U-Net网络，得到预测图像块。
S305、采用忽略边缘的拼接策略，拼接个预测图像块，得到检测结果。
在本实施例中，拼接预测图像块时，除四周区域外，均取相邻的预测图像块的中间部分进行拼接，以得到检测结果，如此可以避免输出的检测结果中存在明显的拼接痕迹。
接下来参考图4，图4示出了本发明具体实施例提供的基于U-Net 网络的赤潮多光谱检测方法中训练初始U-Net网络的流程图，该流程可以包括如下步骤：
步骤S401、获取初始样本图像。
在本实施例中，初始样本图像包括样本海域在预设波段的光谱信息。例如可以获取各个样本海域的HY-1D CZI影像，然后对HY-1D CZI 影像执行几何校正、辐射定标等预处理，得到的各个样本海域的四波段光谱图像即为初始样本图像。
步骤S402、基于初始样本图像中的近红外波段和红色波段的光谱信息，确定出样本海域的样本归一化植被指数。
步骤S403、基于初始样本图像和样本归一化植被指数，生成样本图像。
步骤S404、基于样本图像中的赤潮区域，构建样本图像的样本标签。
在本实施例的一些可选的实现方式中，样本标签经由如下步骤生成：将样本图像中赤潮区域内的水体标记为1，将样本图像中其他对象标记为0；基于样本图像中各对象的标签值，生成二值图，得到该样本图像的样本标签。
作为示例，可以根据经验对待检测图像进行目视解译标注，仅将赤潮水体的标签设置为1，待检测图像中的正常水体、云等其他对象视为背景，标签均设为0，以此得到的二值图即为该样本图像的样本标签。如此一来，可以将检测赤潮的U-Net网络转换为一个二分类模型，输出的检测结果即为单通道的分类概率图。
进一步地，为了提高U-Net网络提取赤潮特征的准确度，在选取初始样本图像时，可以根据赤潮发生的时间、地点等因素，选择存在多个对象的区域。例如赤潮多发生于夏季，此时遥感图像中的云层覆盖量较大，则可以选择赤潮水体和云层同时存在的海域作为样本海域，然后以该样本海域的四波段图像作为初始图像。
步骤S405、基于样本图像和样本标签，构建样本集。
在本实施例中，样本集为样本图像和样本标签的数据集，其中的每个样本图像均对应有一个样本标签。
在本实施例的一些可选的实现方式中，该步骤还可以进一步包括如下步骤：基于样本图像和样本标签，执行数据增强步骤，得到样本集。作为示例，可以样本图像及其对应的样本标签随机分割成大小为256× 256像素的图像，然后分别对每一个图像进行水平翻转、竖直翻转和对角反转，以此实现对样本数据的数据增强。从而可以得到充足的样本数据量，避免模型训练过程中产生过拟合现象。
实践中，不同海域的数据分布存在较大差异，各个海域的遥感图像的平均亮度、像素值的分布范围也存在比较大的差异，为了降低这种差异对模型训练的收敛性和准确度的不利影响，在本实施例中的一些可选的实现方式中，该步骤还可以进一步包括：将样本集中的样本图像输入初始U-Net网络之前，对样本图像和样本标签的灰度值进行归一化处理。
例如可以采用最大最小值归一化方法，将样本图像和样本标签的灰度值归一化到0到1的取值区间内，如此可以提高样本数据分布的相似性，加快训练模型的收敛速度，提高模型的准确度。
步骤S406、将样本集中的样本图像输入预先构建的初始U-Net网络，以该样本图像的样本标签为期望输出，训练初始U-Net网络，得到目标U-Net网络。
在本实施例中，可以按照预设比例，将样本集划分为训练集和测试集，分别用于训练模型和验证模型。
作为示例，可以将初始U-Net网络的初始学习率预设为10-4，将 batchsize预设为2，选用Adam作为优化器，选择交叉熵函数作为损失函数。然后基于训练集，采用机器学习方法训练初始U-Net网络，通过损失函数值和反向传播特性，指导初始U-Net网络的训练过程，并基于测试集验证训练后的U-Net网络的准确度，直至U-Net网络的准确度达到预设标准，则停止训练，得到目标U-Net网络。
下面参考图5，为了验证本发明提供的基于U-Net网络的赤潮多光谱检测方法的精度，选取2020年8月17日的HY-1D CZI遥感影像数据中赤潮爆发区域作为实验数据。该遥感影像中的赤潮区域的大小为 2670×3805像素，如图5所示，图5为赤潮区域的多光谱影像的假彩色合成图，其中，图5(a)为实验区域的位置示例图，图5(b)为HY- 1D CZI的总影像，图5(c)为赤潮爆发区域的HY-1D CZI影像，该 HY-1D CZI影像包括4个波段：近红外波段、红色波段、蓝色波段和绿色波段。
为验证本发明提供的基于U-Net网络的赤潮多光谱检测方法的有效性，设计了两组对比实验。第一组实验是采用同一种检测方法，对不同数据组合所得到的检测结果进行对比；第二组实验是采用相同的数据组合，对不同的检测方法得到的检测结果进行对比。并从以下四个维度对检测结果进行评估：精度(Precision)、召回率(Recall)、F1-score、Kappa系数。
针对第一组实验，分别采用4个波段的光谱图像(R，G，B，NIR)、 3个波段的光谱图像(R，G，B)和本发明中的5波段的光谱图像(R，G， B，NIR，NDVI)作为同一个U-Net网络的输入数据，分别得到对应的检测结果，其中NIR为近红外波段。
第一组实验的结果如表1所示，从表1中可以看出，本发明提供的基于U-Net网络的赤潮多光谱检测方法在Precision、Recall、F1-score、 Kappa系数等方面都有不同程度的提升。5个波段的光谱图像的赤潮检测精度为91.46％，比4个波段的光谱图像和3个波段的的光谱图像的精度分别高5.74％和25.48％，Recall分别提高了4.27％和12％。
表1第一组实验的检测结果对比
进一步参考图6，图6示出了第一组实验中各个数据集得到的赤潮检测结果，其中，图6(a)为目视解译图，图6(b)为5个波段的光谱图像得到的检测结果，图6(c)为4个波段的光谱图像得到的检测结果，图6(d)为3个波段的光谱图像得到的检测结果。从图6中可以看出，3个波段的光谱图像的赤潮检测结果最差，在该检测结果中，部分云被误识别为赤潮，这与表2所示的精度一致。与图6(a)所示的目视解译图相比，4个波段的光谱图像的检测结果在赤潮信息不明显的区域检测精度较低，赤潮的区域范围明显被低估。本发明的5个波段的光谱图像，引入了归一化植被指数，使得赤潮信息较弱的区域也能得到较好的检测，取得了较高的检测精度。
第二组实验，采用了两种全卷积神经网络和两种传统的分类方法，分别是FCN-8s网络、SegNet网络、支持向量机分类(Support Vector Machine Classification，SVM)和随机森林分类(Random Forests Classification，RF)。在相同的待检测图像和实验条件下，进行赤潮检测。
表2为不同方法的检测结果对比。从表2可以看出，本发明提供的基于U-Net网络的赤潮多光谱检测方法的精度为91.46％，F1-score 为0.91，Kappa系数为0.91，均高于其他四种分类方法。由此表明本发明提供的基于U-Net网络的赤潮多光谱检测方法具有更高的精度和一致性。
表2第二组实验的检测结果对比
进一步结合图7，图7示出了第二组实验中各个方法的检测结果图，其中图7(a)为目视解译图，图7(b)为目本发明提供的基于U- Net网络的赤潮多光谱检测方法得到的检测结果图，图7(c)为FCN- 8s网络得到的检测结果图，图7(c)为SegNet网络得到的检测结果图、图7(d)为支持向量机分类得到的检测结果图，图7(e)为随机森林方法得到的检测结果图。从图7中可以看出，本发明提供的基于U-Net 网络的赤潮多光谱检测方法的检测结果是最好的。
本领域内的技术人员应明白，本公开的实施例可提供为方法、系统、或计算机程序产品。因此，本公开可采用硬件实施例、软件实施例、或结合软件和硬件方面的实施例的形式。而且，本公开可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。
本公开是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)或随机存储记忆体(RandomAccessMemory，RAM)等。
上述虽然结合附图对本发明的具体实施方式进行了描述，但并非对本公开保护范围的限制，所属领域技术人员应该明白，在本发明的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本公开的保护范围以内。
Claims (10)
1.一种基于U-Net网络的赤潮多光谱检测方法，其特征在于，包括：
获取初始图像，所述初始图像包括目标海域在如下预设波段的光谱信息：近红外波段、红色波段、蓝色波段和绿色波段；
基于所述近红外波段的光谱信息和所述红色波段的光谱信息，确定出所述目标海域的归一化植被指数；
基于所述初始图像和所述归一化植被指数，生成所述目标海域的待检测图像，所述待检测图像包括所述预设波段的光谱信息和所述归一化植被指数表征的光谱信息；
将所述待检测图像输入预先训练的目标U-Net网络，采用忽略边缘的滑动步长预测策略，预测出所述待检测图像中的赤潮区域，并生成标记了所述赤潮区域的检测结果。
2.根据权利要求1所述的基于U-Net网络的赤潮多光谱检测方法，其特征在于，所述检测结果经由如下步骤生成：
基于预设的拼接区域与预测区域的比例以及预设的待检测图像块的宽度，确定步长；
按照所述步长，将所述待检测图像裁剪成若干待检测图像块，每个所述待检测图像块均与相邻的待检测图像块存在预设重复区域；
将各所述待检测图像块进行归一化并构建生成器；
将所述生成器输入所述目标U-Net网络，得到预测图像块；
采用忽略边缘的拼接策略，拼接各所述预测图像块，得到所述检测结果。
3.根据权利要求2所述的基于U-Net网络的赤潮多光谱检测方法，其特征在于，所述目标U-Net网络中的卷积层的padding为1。
4.根据权利要求3所述的基于U-Net网络的赤潮多光谱检测方法，其特征在于，所述目标U-Net网络中的卷积层还包括BN(Batch Normalization，批标准化)层。
5.根据权利要求4所述的基于U-Net网络的赤潮多光谱检测方法，其特征在于，所述目标U-Net网络中的编码器和解码器之间还设置有Dropout层。
6.根据权利要求1至5之一所述的基于U-Net网络的赤潮多光谱检测方法，其特征在于，所述目标U-Net网络经由如下步骤训练得到：
获取初始样本图像，所述初始样本图像包括样本海域在所述预设波段的光谱信息；基于所述初始样本图像中的近红外波段和红色波段的光谱信息，确定出所述样本海域的样本归一化植被指数；基于所述初始样本图像和所述样本归一化植被指数，生成样本图像；基于所述样本图像中的赤潮区域，生成所述样本图像的样本标签；基于所述样本图像和所述样本标签，构建样本集；
将所述样本集中的样本图像输入预先构建的初始U-Net网络，以该样本图像的样本标签为期望输出，训练所述初始U-Net网络，得到所述目标U-Net网络。
7.根据权利要求6所述的基于U-Net网络的赤潮多光谱检测方法，其特征在于，所述样本标签经由如下步骤生成：
将所述样本图像中赤潮区域内的水体标记为1，将所述样本图像中其他对象标记为0；
基于所述样本图像中各对象的标签值，生成二值图，得到该样本图像的样本标签。
8.根据权利要求7所述的基于U-Net网络的赤潮多光谱检测方法，其特征在于，所述初始样本图像至少包括赤潮水体的光谱信息和云层的光谱信息。
9.根据权利要求8所述的基于U-Net网络的赤潮多光谱检测方法，其特征在于，基于所述样本图像和所述样本标签，构建样本集，包括：
对所述样本图像和所述样本标签执行数据增强步骤，得到所述样本集。
10.根据权利要求9所述的基于U-Net网络的赤潮多光谱检测方法，其特征在于，将所述样本集中的样本图像输入所述初始U-Net网络之前，所述方法还包括：
对所述样本图像和所述样本标签的灰度值进行归一化处理。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110453641.2A CN113298086A (zh) | 2021-04-26 | 2021-04-26 | 基于U-Net网络的赤潮多光谱检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110453641.2A CN113298086A (zh) | 2021-04-26 | 2021-04-26 | 基于U-Net网络的赤潮多光谱检测方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113298086A true CN113298086A (zh) | 2021-08-24 |
Family
ID=77320173
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110453641.2A Pending CN113298086A (zh) | 2021-04-26 | 2021-04-26 | 基于U-Net网络的赤潮多光谱检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113298086A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116258896A (zh) * | 2023-02-02 | 2023-06-13 | 山东产研卫星信息技术产业研究院有限公司 | 一种基于空天地一体化的赤潮准实时监测方法 |
| CN116310543A (zh) * | 2023-03-14 | 2023-06-23 | 自然资源部第一海洋研究所 | Gf-1 wfv卫星赤潮深度学习探测模型、构建方法及设备 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20080064762A (ko) * | 2008-05-14 | 2008-07-09 | 강용균 | 해양식생영상 방법 |
| CN111259828A (zh) * | 2020-01-20 | 2020-06-09 | 河海大学 | 基于高分辨率遥感图像多特征的识别方法 |
| CN111814563A (zh) * | 2020-06-09 | 2020-10-23 | 河南工业大学 | 一种种植结构的分类方法及装置 |
-
2021
- 2021-04-26 CN CN202110453641.2A patent/CN113298086A/zh active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20080064762A (ko) * | 2008-05-14 | 2008-07-09 | 강용균 | 해양식생영상 방법 |
| CN111259828A (zh) * | 2020-01-20 | 2020-06-09 | 河海大学 | 基于高分辨率遥感图像多特征的识别方法 |
| CN111814563A (zh) * | 2020-06-09 | 2020-10-23 | 河南工业大学 | 一种种植结构的分类方法及装置 |
Non-Patent Citations (4)
| Title |
|---|
| SOO MEE KIM ET.AL: "U-Net Convolutional Neural Network Model for Deep Red Tide Learning Using GOCI", 《JOURNAL OF COASTAL RESEARCH》 * |
| XI-JIAN LIANG ET.AL: "Automatic Remote Sensing Detection of Floating Macroalgae in the Yellow and East China Seas Using Extreme Learning Machine", 《JOURNAL OF COASTAL RESEARCH》 * |
| XIN ZHAO ET.AL: "Red Tide Detection Method for HY 1D Coastal Zone Imager Based on U Net Convolutional Neural Network", 《REMOTE SENSING》 * |
| 姜宗辰 等: "基于深度置信网络（DBN）的赤潮高光谱遥感提取研究", 《海洋技术学报》 * |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116258896A (zh) * | 2023-02-02 | 2023-06-13 | 山东产研卫星信息技术产业研究院有限公司 | 一种基于空天地一体化的赤潮准实时监测方法 |
| CN116258896B (zh) * | 2023-02-02 | 2023-09-26 | 山东产研卫星信息技术产业研究院有限公司 | 一种基于空天地一体化的赤潮准实时监测方法 |
| CN116310543A (zh) * | 2023-03-14 | 2023-06-23 | 自然资源部第一海洋研究所 | Gf-1 wfv卫星赤潮深度学习探测模型、构建方法及设备 |
| CN116310543B (zh) * | 2023-03-14 | 2023-09-22 | 自然资源部第一海洋研究所 | Gf-1 wfv卫星赤潮深度学习探测模型、构建方法及设备 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110765941B (zh) | 一种基于高分遥感影像的海水污染区域识别方法和设备 | |
| CN102096824B (zh) | 基于选择性视觉注意机制的多光谱图像舰船检测方法 | |
| CN116091497B (zh) | 遥感变化检测方法、装置、电子设备和存储介质 | |
| CN108229551B (zh) | 一种基于紧凑字典稀疏表示的高光谱遥感图像分类方法 | |
| CN111008664B (zh) | 一种基于空谱联合特征的高光谱海冰检测方法 | |
| CN113298086A (zh) | 基于U-Net网络的赤潮多光谱检测方法 | |
| CN110427933A (zh) | 一种基于深度学习的水尺识别方法 | |
| CN111666854A (zh) | 融合统计显著性的高分辨率sar影像车辆目标检测方法 | |
| CN110781831A (zh) | 基于自适应的高光谱最优波段选择方法和装置 | |
| CN116580195A (zh) | 基于ConvNeXt卷积的遥感图像语义分割方法及系统 | |
| CN103745231A (zh) | 小麦矮腥黑穗病tck及其近似种tct的冬孢子图像鉴定方法 | |
| CN107704835A (zh) | 一种利用光谱遥感图像识别海上人工设施的方法 | |
| CN111079807B (zh) | 一种地物分类方法及装置 | |
| Sreenivas et al. | Processing of satellite image using digital image processing | |
| CN114998724B (zh) | 一种抗云层干扰的湖泊蓝藻水华遥感监测方法 | |
| Zhang et al. | Target detection based on edge-aware and cross-coupling attention for SAR images | |
| CN116452408A (zh) | 一种基于风格迁移的透明液体感知方法 | |
| CN114781242A (zh) | 富营养化湖泊真光层内藻总量遥感监测方法 | |
| CN112308024A (zh) | 一种水体信息提取方法 | |
| CN115410074B (zh) | 遥感影像云检测方法及装置 | |
| Chen et al. | A novel split-frequency feature fusion framework for processing the dual-optical images of offshore oil spills | |
| Han et al. | Red tide detection based on improved DenseNet network—Example of red tide detection from geostationary ocean color imager data in Bohai Sea | |
| CN111695503B (zh) | 基于双波段辐亮度的珊瑚礁底质分类方法 | |
| CN117557775B (zh) | 基于红外和可见光融合的变电站电力设备检测方法及系统 | |
| CN117333494B (zh) | 基于深度学习的秸秆覆盖率检测方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20210824 |
|
| RJ01 | Rejection of invention patent application after publication |