CN116310543A - Gf-1 wfv卫星赤潮深度学习探测模型、构建方法及设备 - Google Patents
Gf-1 wfv卫星赤潮深度学习探测模型、构建方法及设备 Download PDFInfo
- Publication number
- CN116310543A CN116310543A CN202310242678.XA CN202310242678A CN116310543A CN 116310543 A CN116310543 A CN 116310543A CN 202310242678 A CN202310242678 A CN 202310242678A CN 116310543 A CN116310543 A CN 116310543A
- Authority
- CN
- China
- Prior art keywords
- convolution
- red tide
- side window
- 1wfv
- satellite
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 117
- 238000013135 deep learning Methods 0.000 title claims abstract description 44
- 238000010276 construction Methods 0.000 title claims abstract description 14
- 238000002310 reflectometry Methods 0.000 claims abstract description 35
- 238000000605 extraction Methods 0.000 claims abstract description 24
- 230000004927 fusion Effects 0.000 claims abstract description 10
- 230000011218 segmentation Effects 0.000 claims abstract description 5
- 238000000034 method Methods 0.000 claims description 38
- 230000006870 function Effects 0.000 claims description 20
- 238000012549 training Methods 0.000 claims description 15
- 238000011049 filling Methods 0.000 claims description 14
- 238000004590 computer program Methods 0.000 claims description 12
- 238000005070 sampling Methods 0.000 claims description 12
- 230000008569 process Effects 0.000 claims description 9
- 230000004913 activation Effects 0.000 claims description 3
- 238000013507 mapping Methods 0.000 claims description 3
- 238000011176 pooling Methods 0.000 claims description 3
- 230000003014 reinforcing effect Effects 0.000 claims description 3
- 230000002708 enhancing effect Effects 0.000 claims description 2
- 238000011068 loading method Methods 0.000 claims description 2
- 238000012544 monitoring process Methods 0.000 abstract description 19
- 230000000694 effects Effects 0.000 abstract description 11
- 238000003708 edge detection Methods 0.000 abstract description 7
- 230000007547 defect Effects 0.000 abstract description 5
- 238000009826 distribution Methods 0.000 description 22
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 20
- 238000012360 testing method Methods 0.000 description 19
- 238000010586 diagram Methods 0.000 description 17
- 239000002028 Biomass Substances 0.000 description 12
- 230000009467 reduction Effects 0.000 description 9
- 230000008901 benefit Effects 0.000 description 6
- 238000013136 deep learning model Methods 0.000 description 6
- 230000012010 growth Effects 0.000 description 6
- 238000010606 normalization Methods 0.000 description 6
- 238000012545 processing Methods 0.000 description 6
- MCSXGCZMEPXKIW-UHFFFAOYSA-N 3-hydroxy-4-[(4-methyl-2-nitrophenyl)diazenyl]-N-(3-nitrophenyl)naphthalene-2-carboxamide Chemical compound Cc1ccc(N=Nc2c(O)c(cc3ccccc23)C(=O)Nc2cccc(c2)[N+]([O-])=O)c(c1)[N+]([O-])=O MCSXGCZMEPXKIW-UHFFFAOYSA-N 0.000 description 5
- 238000004458 analytical method Methods 0.000 description 5
- 230000003595 spectral effect Effects 0.000 description 5
- 238000002679 ablation Methods 0.000 description 4
- 238000002474 experimental method Methods 0.000 description 4
- 230000004044 response Effects 0.000 description 4
- 238000001228 spectrum Methods 0.000 description 4
- 235000002566 Capsicum Nutrition 0.000 description 3
- 239000006002 Pepper Substances 0.000 description 3
- 241000722363 Piper Species 0.000 description 3
- 235000016761 Piper aduncum Nutrition 0.000 description 3
- 235000017804 Piper guineense Nutrition 0.000 description 3
- 235000008184 Piper nigrum Nutrition 0.000 description 3
- 230000005855 radiation Effects 0.000 description 3
- 150000003839 salts Chemical class 0.000 description 3
- 241000894007 species Species 0.000 description 3
- 238000003860 storage Methods 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 238000012937 correction Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 230000009977 dual effect Effects 0.000 description 2
- 230000007613 environmental effect Effects 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 238000002156 mixing Methods 0.000 description 2
- 238000002360 preparation method Methods 0.000 description 2
- 230000002265 prevention Effects 0.000 description 2
- 230000035945 sensitivity Effects 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 241000195493 Cryptophyta Species 0.000 description 1
- 241000200174 Noctiluca Species 0.000 description 1
- 230000003321 amplification Effects 0.000 description 1
- 230000003698 anagen phase Effects 0.000 description 1
- 238000009360 aquaculture Methods 0.000 description 1
- 244000144974 aquaculture Species 0.000 description 1
- 230000008033 biological extinction Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 229930002875 chlorophyll Natural products 0.000 description 1
- 235000019804 chlorophyll Nutrition 0.000 description 1
- ATNHDLDRLWWWCB-AENOIHSZSA-M chlorophyll a Chemical compound C1([C@@H](C(=O)OC)C(=O)C2=C3C)=C2N2C3=CC(C(CC)=C3C)=[N+]4C3=CC3=C(C=C)C(C)=C5N3[Mg-2]42[N+]2=C1[C@@H](CCC(=O)OC\C=C(/C)CCC[C@H](C)CCC[C@H](C)CCCC(C)C)[C@H](C)C2=C5 ATNHDLDRLWWWCB-AENOIHSZSA-M 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000005520 cutting process Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000006855 networking Effects 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
- 230000008092 positive effect Effects 0.000 description 1
- 238000011158 quantitative evaluation Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000012827 research and development Methods 0.000 description 1
- 238000005728 strengthening Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
- G01N21/25—Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
- G01N21/55—Specular reflectivity
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
- G06N3/0455—Auto-encoder networks; Encoder-decoder networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
- G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
- G06V20/13—Satellite images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
- Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- Computing Systems (AREA)
- Artificial Intelligence (AREA)
- Software Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Life Sciences & Earth Sciences (AREA)
- Multimedia (AREA)
- Data Mining & Analysis (AREA)
- Biomedical Technology (AREA)
- Databases & Information Systems (AREA)
- Mathematical Physics (AREA)
- Medical Informatics (AREA)
- General Engineering & Computer Science (AREA)
- Molecular Biology (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Analytical Chemistry (AREA)
- Pathology (AREA)
- Chemical & Material Sciences (AREA)
- Immunology (AREA)
- Biochemistry (AREA)
- Remote Sensing (AREA)
- Astronomy & Astrophysics (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Image Processing (AREA)
Abstract
本发明属于赤潮监测技术领域,公开了GF‑1WFV卫星赤潮深度学习探测模型、构建方法及设备,输入GF‑1WFV卫星遥感反射率数据及GF‑1WFV赤潮指数和伪色度角指数;GF‑1WFV四个波段16米空间分辨率的遥感反射率经超分辨率重建生成8米的遥感反射率,指数通过线性插值上采样到8米分辨率;超分辨率重建后的4波段遥感反射率经过侧窗卷积模块生成增强后的遥感反射率,增强后的遥感反射率与线性插值后的GF‑1WFV赤潮指数和伪色度角指数拼接输入至语义分割模型进行特征提取和分类。本发明通过融合GF‑1WFV超分辨率模型和侧窗卷积,提升赤潮边缘探测效果,解决传统赤潮探测算法阈值依赖性强的不足。
Description
技术领域
本发明属于赤潮监测技术领域,尤其涉及GF-1 WFV卫星赤潮深度学习探测模型、构建方法及设备。
背景技术
赤潮是主要的海洋生态灾害之一,其发生会破坏海洋生态系统平衡,对水产养殖业和滨海旅游业等构成较大影响。赤潮灾害防治的前提是灾害的精准监测,但赤潮发生具有分布范围广、周期短和变化快的特点,现场观测难以完全满足业务监测要求。卫星遥感具有实时、大面积、连续观测优势,是赤潮监测的重要手段。一直以来水色卫星是赤潮监测的主要技术手段,但是水色卫星空间分辨率低(<250米),由于混合像元效应,其对条带状分布的赤潮易误识别,对于频发的小规模赤潮存在监控盲区。因此,亟需开展基于中高空间分辨率卫星的赤潮监测。
GF-1卫星作为高分专项天基系统中的首发星,于2013年成功发射,其上搭载了4台中等分辨率宽视场角的多光谱成像仪(Multispectral Wide Field of View,WFV),空间分辨率16米,幅宽800千米,重访周期2天。之后,我国又于2018年发射了GF-1的后继星GF-1B、GF-1C和GF-1D,三颗星传感器设置与GF-1完全一致。通过四颗星组网协同观测,可以实现11天全球覆盖、1天重访,大幅提高了数据的时空覆盖度,可实现海洋过程的大范围、快速监测,在海洋和海岸带的精细化遥感监测方面具有较大潜力,被广泛应用于近海环境监测。
与水色卫星传感器相比,GF-1 WFV传感器虽然具有高空间分辨率的优势,但是其主要面向陆地应用,光谱分辨率低(>50纳米),只配置了蓝、绿、红和近红外四个宽光谱波段。目前面向GF-1 WFV等中高分辨率卫星传感器的赤潮探测算法主要有两类,一类是通过反演叶绿素浓度来探测赤潮,一类是通过赤潮水体与正常水体的光谱差异进行赤潮探测。但是,由于GF-1 WFV等中高分辨率卫星传感器波段少、波段宽度大,赤潮探测易受水体环境要素的影响,结果还存在很大不确定性。而赤潮发生具有生物量分布不均的特点,分布边缘区赤潮生物量明显低于集中分布区,进而导致边缘区赤潮响应特征弱。同时,赤潮多呈条带状分布,赤潮分布边缘区混合像元现象普遍。在混合像元和生物量降低双重影响下,赤潮分布边缘区受探测模型阈值影响大,探测精度低。因此,如何消除混合像元和生物量降低的影响,建立无需探测阈值的赤潮探测算法是需要研究的问题。
深度学习作为机器学习领域新的发展方向,具有特征学习智能化、泛化能力强、精度高等特点。相关人员也已开展了赤潮深度学习探测模型的研究,面向HY-1D CZI、Landsat8 OLI和PlanetScope等中高分辨率卫星传感器发展了相应的赤潮探测模型,证明了深度学习方法在赤潮中高分辨率卫星遥感探测中应用的可行性,无需阈值即可实现赤潮的提取。但是,上述深度学习探测模型仍未解决赤潮分布边缘区赤潮提取难题,模型适用性有待提高。
通过上述分析,现有技术存在的问题及缺陷为:
(1)由于GF-1 WFV卫星传感器波段少、波段宽度大,赤潮探测易受水体环境要素的影响,目前的赤潮探测结果还存在很大不确定性;
(2)在混合像元和生物量降低双重影响下,赤潮分布边缘区受探测模型阈值影响大,探测精度低,阈值依赖性强;
(3)现有的赤潮深度学习探测模型仍未解决边缘区赤潮提取难题,且深度学习探测模型的适用性有待提高。
发明内容
为克服相关技术中存在的问题,本发明公开实施例提供了GF-1 WFV卫星赤潮深度学习探测模型、构建方法及设备。所述技术方案如下:本发明是这样实现的,一种GF-1 WFV卫星赤潮深度学习探测模型构建方法,包括:输入GF-1 WFV遥感影像的四个波段的遥感反射率数据及GF-1 WFV赤潮指数和伪色度角指数两个特征参量;其中,GF-1 WFV四个波段16米空间分辨率的遥感反射率经过超分辨率重建生成8米的遥感反射率,两个特征参量通过线性插值上采样到8米分辨率;超分辨率重建后的4波段遥感反射率经过侧窗卷积模块以生成增强后的遥感反射率,增强后的遥感反射率与线性插值后的GF-1 WFV赤潮指数和伪色度角指数拼接输入到语义分割模型中进行特征提取和分类。
在一个实施例中,所述GF-1 WFV卫星赤潮深度学习探测模型构建方法具体包括以下步骤:
步骤一,引入超分辨率模型,对输入GF-1 WFV遥感反射率进行超分辨率,将GF-1WFV遥感反射率空间分辨率从16米提升到8米;
步骤二,引入侧窗卷积,对输入遥感反射率进行边缘填充,对超分辨率后的4个波段遥感反射率进行侧窗卷积,强化边缘特征;
步骤三,采用二元交叉熵作为网络的损失函数,利用特征提取模块进行赤潮特征提取与分类。
步骤二中,所述侧窗卷积包括:左侧窗、右侧窗、上侧窗、下侧窗和四角侧窗;其中,左侧窗和右侧窗的卷积核大小为(2r+1)×(r+1),上侧窗和下侧窗的卷积核大小为(r+1)×(2r+1),四角侧窗卷积核大小为(r+1)×(r+1);像素i处的左侧窗卷积如下:
在一个实施例中,所述侧窗卷积具有8个不同的卷积窗口,根据卷积窗口类型针对性的对输入数据进行边缘填充;对于大小为H×W的输入数据,当侧窗类型为左右侧窗时,填充后数据大小为(2r+H)×(r+W);当侧窗类型上下侧窗时,填充后数据大小为(r+H)×(2r+W);当侧窗类型为西北、东北、西南、东南时,填充后数据大小为(r+H)×(r+W);侧窗卷积时,每个侧窗卷积窗口有w个卷积核,进而生成w个大小为H×W的特征图,其中w为32;将8个不同侧窗生成的w个特征图进行拼接,获得8w个大小为H×W的特征图。
在一个实施例中,将拼接之后8个窗口的特征图减去输入数据计算梯度,以表征影像局部几何特征;对获取的梯度特征图进行非线性映射,通过d个大小为1×1×8w卷积核将特征图数量扩展到d维,其中d为1024;通过卷积将d维特征重新映射回8w维特征空间,经过Softmax函数生成每个像素的加权系数;将获取的权重系数与特征图相乘,再与输入图像相加得到保留边缘的卷积结果;
步骤三中,采用二元交叉熵作为网络的损失函数的表达式为:
其中,yi是第i个像元的标签,取值为0或1;p(yi)是标签yi的概率,N是像元的总个数。
本发明的另一目的在于提供一种应用所述的GF-1 WFV卫星赤潮深度学习探测模型构建方法构建得到的GF-1 WFV卫星赤潮深度学习探测模型,所述GF-1 WFV卫星赤潮深度学习探测模型包括:超分辨率模块,用于将输入GF-1 WFV卫星遥感反射率空间分辨率从16米提升到8米;侧窗卷积模块,用于对超分辨率后的4个波段遥感反射率进行侧窗卷积,增强赤潮边缘特征;特征提取模块,采用编解码器网络结构,用于赤潮特征的提取与分类。
在一个实施例中,所述侧窗卷积由侧窗核卷积和特征融合与回归两部分组成;其中,侧窗核卷积部分用于计算8种不同侧窗的卷积,侧窗卷积将卷积窗口边缘或角点与目标像元对齐以保持地物边缘;特征融合与回归部分用于计算各侧窗卷积得到的特征权重,通过两次卷积过程实现。
在一个实施例中,所述特征提取模块采用编解码器网络结构,编码器由五个卷积组构成;前两个卷积组由两个卷积层构成,后三个卷积组由三个卷积层构成,除最后一个外,每个卷积层有一个最大池化层;卷积核大小为3×3,采用ReLU激活函数;解码器部分由四个卷积组构成,每个卷积组由上采样层以及卷积层构成,除第一个卷积组由一个上采样层和一个卷积层构成外,其余均为三个卷积层一个上采样层;通过拼接操作融合来自编码器的特征图,上采样层采用线性插值的方法放大特征图。
本发明的另一目的在于提供一种计算机设备,所述计算机设备包括存储器和处理器,所述存储器存储有计算机程序,所述计算机程序被所述处理器执行时,使得所述处理器执行所述的GF-1 WFV赤潮深度学习探测模型构建方法的步骤。
结合上述的所有技术方案,本发明所具备的优点及积极效果为:
第一、针对上述现有技术存在的技术问题以及解决该问题的难度,紧密结合本发明的所要保护的技术方案以及研发过程中结果和数据等,详细、深刻地分析本发明技术方案如何解决的技术问题,解决问题之后带来的一些具备创造性的技术效果。具体描述如下:针对赤潮生物量降低和混合像元导致的边缘提取难题,本发明构建了一个融合影像超分辨率和侧窗卷积的面向GF-1 WFV的赤潮深度学习探测模型,该模型融合了影像超分辨率模型,将GF-1 WFV影像分辨率从16米提升到8米,以减少混合像元的影响。在此基础上,本发明引入了侧窗卷积,减少影像椒盐噪声的影响,强化赤潮边缘特征,以提升赤潮边缘检测能力,并融合了本发明所构建的GF-1 WFV赤潮探测指数和伪色度角参量,以提升模型的探测精度。实验结果表明,本发明的GF-1 WFV的赤潮深度学习探测模型可有效探测赤潮,减少赤潮生物量降低和混合像元的影响,提升赤潮边缘检测的精度,而且模型具有较好的适用性,可应用于不同生长过程、不同赤潮事件的探测。
第二、把技术方案看作一个整体或者从产品的角度,本发明所要保护的技术方案具备的技术效果和优点,具体描述如下:围绕赤潮GF-1 WFV的高精度探测,本发明构建了一种基于编解码网络结构的赤潮GF-1 WFV深度学习探测模型,该模型通过融合GF-1 WFV超分辨率模型和侧窗卷积,提升了赤潮边缘探测效果;通过引入GF-1 WFV赤潮指数和伪色度角指数,提升了模型的训练效率和精度。
本发明通过开展具有高边缘提取精度赤潮深度学习探测模型分析,探讨融合超分辨率和侧窗卷积的GF-1 WFV赤潮深度学习模型,通过超分辨率提升赤潮分布边缘区检测效果,同时引入侧窗卷积,突出边缘特征,进一步提升了赤潮在边缘分布区的探测精度。在此基础上,本发明通过融合GF-1 WFV的赤潮探测指数和伪色度指数,提高了模型的精度和适用性。
第三、作为本发明创造性辅助证据,还体现在以下几个重要方面:
(1)赤潮发生具有优势种多样、生长状态不一、水体环境复杂等特点,“同谱异物、同物异谱”现象普遍,给赤潮自动化识别与探测带来极大挑战。因此,一直以来我国赤潮灾害业务化监测主要通过人工目视解译进行,费时费力,且受人工经验影响比较大。本发明构建的赤潮深度学习探测模型具有较高的赤潮探测精度,较好的适用性,可应用于不同水体环境、不同赤潮事件的识别与探测,具有较好的应用前景和商业前景。
(2)赤潮的防治离不开精准的监测,一直以来水色卫星在赤潮监测中发挥了重要作用,但其空间分辨率低,对条带状分布的赤潮易误识别,对于频发的小规模赤潮存在监控盲区,难以实现赤潮精细化监测。因此,亟需开展基于中高空间分辨率卫星遥感的赤潮监测。高分一号(GF-1)卫星是我国高分对地观测系统中的首颗卫星,其上搭载了4台中等分辨率宽视场角的多光谱成像仪(Multispectral Wide Field of View,WFV),具有大幅宽、高分辨率和短重访周期的优势。但GF-1 WFV只配置了蓝、绿、红和近红外四个宽光谱波段(>50纳米),光谱分辨率低。受赤潮分布特性影响和传感器限制,赤潮GF-1 WFV探测应用面临着挑战:a、赤潮影像混合像元现象普遍;b、不同优势种、不同水体环境赤潮卫星影像响应差异大,赤潮探测易受水体环境影响;c、赤潮分布边缘区生物量低、卫星影像响应弱。而现有赤潮中高分辨率卫星探测方法受水体环境影响大,赤潮探测阈值依赖性强,边缘探测能力差。
本发明针对赤潮高分卫星探测面临的挑战,构建了面向GF-1 WFV的赤潮深度学习探测模型。该模型融合了超分辨率模型,减少了混合像元影响,引入了侧窗卷积,强化赤潮边缘特征,减少赤潮生物量降低导致的边缘响应弱的问题,提升赤潮边缘检测能力。同时,该模型还融入了GF-1 WFV赤潮指数和伪色度角参量,以提高模型赤潮探测精度和泛化能力。该模型弥补了现有赤潮探测方法的不足,提高了赤潮高分卫星探测精度。
(3)赤潮发生具有优势种多样、生长状态不一、水体环境复杂等特点,“同谱异物、同物异谱”现象普遍。传统的赤潮探测方法受水体环境影响大,算法适用性差。因此,一直以来我国赤潮灾害业务化监测主要通过人工目视解译进行。但人工目视解译费时费力,且受人工经验影响比较大。因此,赤潮高分卫星高精度自动识别需求迫切。本发明针对赤潮高分卫星探测难点,引入了深度学习、超分辨率、侧窗卷积等新技术,构建了基于深度学习的赤潮高分卫星探测模型,提升了赤潮探测能力,且具有较好的适用性,有望解决赤潮高分卫星自动识别难题。
(4)本发明不同于水色卫星,GF-1 WFV卫星传感器面向陆地应用,只配置了蓝、绿、红和近红外4个宽波段,地物可分性差,赤潮探测易受水体环境影响。本发明构建的面向GF-1 WFV的赤潮探测模型克服了高分卫星传感器设置的不足,可实现赤潮的高精度探测。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本公开的实施例,并与说明书一起用于解释本公开的原理;
图1是本发明实施例提供的GF-1 WFV赤潮深度学习探测模型构建方法的流程图;
图2是本发明实施例提供的赤潮深度学习探测模型网络结构示意图;
图3是本发明实施例提供的影像超分辨率模型网络结构示意图;
图4是本发明实施例提供的侧窗卷积网络结构示意图;
图5是本发明实施例提供的特征提取模块网络结构示意图;
图6A是本发明实施例提供的GF-1 WFV赤潮原始影像;
图6B是本发明实施例提供的GF-1 WFV赤潮影像对应的伪色度角示意图;
图6C是本发明实施例提供的GF-1 WFV赤潮探测指数示意图;
图7A是本发明实施例提供的GF-1 WFV赤潮影像;其中黑色部分为非赤潮区域,白色部分为赤潮区域;
图7B是本发明实施例提供的GF-1 WFV赤潮影像对应的真值示意图;其中黑色部分为非赤潮区域,白色部分为赤潮区域;
图8是本发明实施例提供的GF-1 WFV测试影像及测试区划分示意图;
图9A是本发明实施例提供的测试区一的探测结果示意图;
图9B是本发明实施例提供的测试区二的探测结果示意图;
图9C是本发明实施例提供的测试区三的探测结果示意图;
图10是本发明实施例提供的不同赤潮探测算法局部探测结果示意图;
图11A是本发明实施例提供的不同生长期赤潮GF-1 WFV影像;
图11B是本发明实施例提供的不同生长期赤潮GF-1 WFV影像的探测结果示意图;
图12A是本发明实施例提供的不同赤潮事件GF-1 WFV影像;
图12B是本发明实施例提供的不同赤潮事件GF-1 WFV影像的探测结果图。
具体实施方式
为使本发明的上述目的、特征和优点能够更加明显易懂,下面结合附图对本发明的具体实施方式做详细的说明。在下面的描述中阐述了很多具体细节以便于充分理解本发明。但是本发明能够以很多不同于在此描述的其他方式来实施,本领域技术人员可以在不违背本发明内涵的情况下做类似改进,因此本发明不受下面公开的具体实施的限制。
一、解释说明实施例:
如图1所示,本发明实施例提供的GF-1 WFV赤潮深度学习探测模型构建方法包括以下步骤:
S101,引入超分辨率模型,对输入GF-1 WFV数据进行超分辨率,将GF-1 WFV影像从16米提升到8米;
S102,引入侧窗卷积,对输入数据进行边缘填充,对超分辨率后的4个波段遥感反射率进行侧窗卷积,强化边缘特征;
S103,采用二元交叉熵作为网络的损失函数,利用特征提取模块进行赤潮特征的提取与分类。
本发明实施例提供的面向GF-1 WFV影像的赤潮深度学习模型主要由三部分组成:超分辨率模块、侧窗卷积模块和特征提取模块。其中,超分辨率模块负责将输入GF-1 WFV影像分辨率从16米提升到8米。侧窗卷积模块负责对超分辨率后的4个波段遥感反射率进行侧窗卷积,强化边缘特征,减少噪声干扰。语义分割模块采用编解码器结构,负责赤潮特征的提取与分类(见图2)。
本发明实施例提供的面向GF-1 WFV影像的赤潮深度学习模型的输入为GF-1WFV遥感影像的四个波段的遥感反射率数据以及GF-1 WFV赤潮指数和伪色度角指数。其中,GF-1WFV四个波段的遥感反射率经过GFRCAN超分辨率重建生成8米的遥感反射率影像,两个指数通过线性插值上采样到8米分辨率。GFRCAN重建后的4波段遥感反射率经过侧窗卷积(SWC)模块以生成滤波后的遥感反射率,滤波后的遥感反射率数据与线性插值后的赤潮指数和伪色度角指数拼接输入到语义分割模型中,进行特征提取和分类。
(1)影像超分辨率模块(GFRCAN);赤潮探测分布边缘易受混合像元影响,为了减少赤潮分布边缘混合像元影响,本发明在模型中引入了超分辨率模型,先对输入GF-1 WFV数据进行超分辨率,将GF-1 WFV影像从16米提升到8米。通过影像分辨率的提升,减少赤潮分布边缘混合像元对赤潮探测的影响。影像超分辨率模型网络结构见图3。
(2)侧窗卷积模块;赤潮分布边缘受混合像元和生物量降低双重影响,赤潮特征不明显,易与周边水体误分,提取困难。为此,本发明引入了侧窗卷积,通过侧窗卷积强化边缘特征,以提升模型赤潮边缘的探测能力。侧窗卷积主要由侧窗核卷积和特征融合与回归两部分组成,网络结构如图4所示。其中,侧窗核卷积部分主要计算各种侧窗的卷积,不同于传统的卷积操作,侧窗卷积将卷积窗口边缘或者角点与目标像元对齐以保持地物边缘。特征融合与回归部分主要用于计算各侧窗卷积得到的特征权重,该操作通过两次卷积过程实现。
不同侧窗卷积核大小不一样,其中左、右侧窗卷积核大小为(2r+1)×(r+1),上、下侧窗卷积核大小为(r+1)×(2r+1),四角侧窗卷积核大小为(r+1)×(r+1);像元i处的左侧窗卷积如下:
为了保证侧窗卷积后特征大小与输入图像一致,需要对输入数据进行边缘填充。与传统的卷积方法采用固定大小卷积窗口不同,侧窗卷积具有8个不同的卷积窗口,需根据卷积窗口类型有针对性的进行边缘填充。对于大小为H×W的输入数据,当侧窗类型为左右侧窗时(卷积核大小为(2r+1)×(r+1)),填充后数据大小为(2r+H)×(r+W)。当侧窗类型上下侧窗时(卷积核大小为(r+1)×(2r+1)),填充后数据大小为(r+H)×(2r+W)。当侧窗类型为西北、东北、西南、东南(卷积核大小为(r+1)×(r+1)),填充后数据大小为(r+H)×(r+W)。侧窗卷积时,每个侧窗卷积窗口有w(32)个卷积核,进而生成w个大小为H×W的特征图。将8个不同侧窗生成的w个特征图进行拼接,即可获得8w个大小为H×W的特征图。
在此基础上,将拼接之后8个窗口的特征图减去输入数据来计算梯度,以表征影像局部几何特征。之后,对获取的梯度特征图进行非线性映射,通过d(1024)个大小为1×1×8w卷积核将特征图数量扩展到d维,在这个维数更高的d维特征空间中,不同的特征更容易区分。然后,通过卷积将d维特征重新映射回8w维特征空间,经过Softmax函数生成每个像素的加权系数。最后,将获取的权重系数与特征图相乘,再与输入数据相加得到保留边缘的卷积结果。
(3)特征提取模块;特征提取模块采用编解码器网络结构(见图5),编码器由五个卷积组构成。前两个卷积组由两个卷积层构成,后三个卷积组由三个卷积层构成,除最后一个外,每个卷积层有一个最大池化层。卷积核大小为3×3,采用ReLU激活函数。解码器部分由四个卷积组构成,每个卷积组由上采样层以及卷积层构成,除第一个卷积组由一个上采样层和一个卷积层构成外,其余都为三个卷积层一个上采样层。最后,通过拼接操作融合来自编码器的特征图,上采样层采用线性插值的方法放大特征图。模型具体参数见表1。
表1特征提取模块参数
(4)损失函数;模型采用二元交叉熵作为网络的损失函数,详细如下:
其中,yi是第i个像元的标签(0或1),p(yi)是标签yi的概率,N是像元的总个数。
针对传统的赤潮探测算法GF-1 WFV赤潮边缘提取能力差、阈值敏感性强的不足,本发明实施例融合了影像超分辨率和侧窗卷积,构建了面向GF-1 WFV的赤潮深度学习探测模型。该模型在影像超分辨率的基础上,引入了侧窗卷积,强化赤潮边缘特征,减少赤潮生物量降低导致的边缘模糊的问题,提升赤潮边缘检测能力。针对传统赤潮探测算法阈值敏感性强的问题,本发明实施例构建了基于编解码卷积神经网络的赤潮探测模型,可在无阈值的情况下实现赤潮的探测。同时,该模型还融入了GF-1 WFV赤潮探测指数和伪色度角参量,以提高模型赤潮探测精度和适用性。实验结果表明,本发明实施例构建的面向GF-1 WFV的赤潮深度学习探测模型可有效探测赤潮,在赤潮分布边缘区具有较好的探测效果,减少了赤潮生物量降低和混合像元的影响。
在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述或记载的部分,可以参见其它实施例的相关描述。
上述装置/单元之间的信息交互、执行过程等内容,由于与本发明方法实施例基于同一构思,其具体功能及带来的技术效果,具体可参见方法实施例部分,此处不再赘述。
所属领域的技术人员可以清楚地了解到,为了描述的方便和简洁,仅以上述各功能单元、模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能单元、模块完成,即将所述装置的内部结构划分成不同的功能单元或模块,以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中,上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。另外,各功能单元、模块的具体名称也只是为了便于相互区分,并不用于限制本发明的保护范围。上述系统中单元、模块的具体工作过程,可以参考前述方法实施例中的对应过程。
二、应用实施例:本发明实施例还提供了一种计算机设备,该计算机设备包括:至少一个处理器、存储器以及存储在所述存储器中并可在所述至少一个处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现上述任意各个方法实施例中的步骤。
本发明实施例还提供了一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器执行时可实现上述各个方法实施例中的步骤。
本发明实施例还提供了一种信息数据处理终端,所述信息数据处理终端用于实现于电子装置上执行时,提供用户输入接口以实施如上述各方法实施例中的步骤,所述信息数据处理终端不限于手机、电脑、交换机。
本发明实施例还提供了一种服务器,所述服务器用于实现于电子装置上执行时,提供用户输入接口以实施如上述各方法实施例中的步骤。
本发明实施例提供了一种计算机程序产品,当计算机程序产品在电子设备上运行时,使得电子设备执行时可实现上述各个方法实施例中的步骤。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请实现上述实施例方法中的全部或部分流程,可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一计算机可读存储介质中,该计算机程序在被处理器执行时,可实现上述各个方法实施例的步骤。其中,所述计算机程序包括计算机程序代码,所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质至少可以包括:能够将计算机程序代码携带到拍照装置/终端设备的任何实体或装置、记录介质、计算机存储器、只读存储器(Read-Only Memory,ROM)、随机存取存储器(Random AccessMemory,RAM)、电载波信号、电信信号以及软件分发介质。例如U盘、移动硬盘、磁碟或者光盘等。
在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述或记载的部分,可以参见其它实施例的相关描述。
三、实施例相关效果的证据。
1、实验结果与分析。
1.1数据及数据处理;
(1)数据:
本发明所用的实验数据包括2014年11月22日-26日广东阳江夜光藻赤潮期间的2景WFV 2和1景WFV 3,以及该海域2020年4月28日赤潮GF-1 WFV 2影像。同时,本发明还获取2022年4月12日广东大鹏湾赤潮GF-1 WFV1影像。其中,2014年11月22日WFV3影像和2020年4月28日赤潮影像作为训练影像,11月22日WFV2影像作为测试影像。2014年11月26日WFV2影像和2022年4月12日WFV1影像作为适用性分析影像。
首先利用从资源卫星中心获取的绝对辐射定标系数对获取的GF-1Level-1数据进行辐射定标,将卫星影像DN值转换为辐亮度。在此基础上,利用ENVI FLAASH大气校正模块进行大气校正,将辐亮度转换成遥感反射率。在此基础上,利用公式(5)计算GF-1 WFV赤潮探测指数GF1-RI。
其中,L2、L3和L4分别为GF-1 WFV绿光、红光和近红外波段的辐亮度值;利用公式(6)-(11)计算伪色度角a(见图6A-图6C);
X=2.7689×NIR+1.7517×R+1.1302×G (6)
Y=1.0000×NIR+4.5907×R+0.0601×G (7)
Z=0.0000×NIR+0.0565×R+5.5934×G (8)
其中,X、Y、Z为三原色,R、G、NIR分别代表红光、绿光和近红外波段的遥感反射率,x和y为色度图二维坐标,α是色度角,arctan(x′,y′)函数表示双变量反正切函数,值域为[0°-360°]。
为了提高模型的学习效率和能力,本发明将GF-1 WFV四个波段的遥感反射率、GF-1 WFV赤潮探测指数GF1-RI和伪色度角作为深度学习模型的输入。
(2)数据处理;
考虑到深度学习模型的输入数据量级大小不一,为了避免出现不同类型数据取值范围差异过大而导致小数值数据价值被忽略的情况,提升模型的收敛速度,需要对输入数据进行归一化处理。本发明采用最大、最小归一化方法对数据进行归一化,将数据统一到[0,1]区间,最大最小归一化方法详细如下:
(3)样本制作;
赤潮探测深度学习模型的训练需要真值,为了获取GF-1 WFV赤潮影像对应的真值,本发明对影像进行了人工目视解译,标注了赤潮发生区域,并基于标注生成赤潮二值图像(1表示赤潮,0表示水体)(见图7A-图7B),作为赤潮深度学习探测模型训练和评估的真值。
完成真值提取后,开展样本制作。将GF-1 WFV遥感影像和对应的真值图像裁切为64×64大小的图像,作为模型的训练和检验样本。为了增加训练样本量,本发明对所有训练样本进行了数据扩充,包括样本镜像以及旋转。通过样本扩增,共生成623个样本。
1.2实验结果;
赤潮深度学习探测模型基于Keras框架实现,使用NVIDIA GeForce RTX2080Ti显卡迭代训练100次,利用Adam作为优化器,其中几个关键初始参数设置如下:初始学习率为0.0001,批处理大小(batch size)为2。其中,576个样本被用于网络训练,其余的用于网络模型验证。
模型训练完成后,利用广东阳江海域2014年11月22日夜光藻赤潮GF-1WFV2影像开展了赤潮探测实验。为了检验模型的精度,本发明根据赤潮分布形态在影像上选取了三个测试区,并分别针对这三个测试区开展了结果评估(见图8)。三个测试区覆盖了测试影像大部分赤潮分布区域,既包括赤潮集中分布区,又包括赤潮窄条带分布区。实验结果表明,本发明提出的融合影像超分辨率和多特征参量的赤潮深度学习探测算法能够有效探测赤潮,赤潮提取结果与真值基本一致,提取结果椒盐噪声较少(见图9A-图9C)。
针对三个测试区,本发明对算法的赤潮探测精度进行定量评估(见表2)。评估结果显示融合影像超分辨率和多特征参量的赤潮深度学习探测算法具有较高的识别精度,3个区域赤潮识别平均Precision为89.2%,平均Recall值为87.13%。3个区域对比来看,算法在不同区域的赤潮探测精度具有较好的一致性,3个区域赤潮探测精度相当。
表2不同赤潮探测算法探测精度对比
1.3方法对比;为了检验本发明所构建的赤潮深度学习探测算法的有效性,本发明将该算法与面向GF-1 WFV的光谱指数算法(GF1-RI)、伪色度角算法(PHA-RI)和DeepLab V3+、HRNet、RDU-Net深度学习方法进行了对比。从赤潮探测结果来看,本发明所构建的融合影像超分辨率和多特征参量的赤潮深度学习探测算法较其他算法具有更好的探测效果,特别是在赤潮窄条带分布区(见图10)。基于深度学习的赤潮探测方法赤潮探测结果椒盐噪声较基于光谱指数的赤潮探测算法少。定量评估结果显示,本发明所构建的赤潮探测算法具有较高的识别精度,在三个区域赤潮探测精度总体上都优于其他算法,平均F1分数为0.88。GF1-RI、DeepLab V3+、RDU-Net 3个算法平均F1分数为0.84,HRNet平均F1分数最低(0.80)。
1.4消融实验;为了检验多特征参量(RI)、SWC(侧窗卷积)、超分辨率模型(SR)对模型的有效性,本发明基于测试数据开展了消融实验,评估了上述模块的有效性(见表3)。
表3消融实验结果
由消融实验结果可知,侧窗卷积、多特征参量和超分辨率模块各自对模型均有一定程度的提高,但模型性能提升较小。两两组合后,模型性能会有明显的提升。通过三个模块组合,模型在3个测试区域均具有最高的精度,在测试区三精度提升最显著,F1分数提高了8.4%,充分说明了模型各个模块的有效性。
2、模型适用性分析
为了检验模型的适用性,本发明利用2014年11月26日广东阳江赤潮消亡期的GF-1WFV影像和2022年4月12日广东大鹏湾的GF-1 WFV影像开展了不同生长期、不同赤潮事件的探测实验。结果表明,能准确识别2014年广东阳江赤潮和2022年广东大鹏湾赤潮,获取赤潮的分布信息。这说明本发明所构建的模型具有较好的适用能力,既可应用于不同生长期赤潮的探测(见图11A-图11B),又可应用于不同时间、不同水体环境赤潮事件的探测(见图12A-图12B)。
以上所述,仅为本发明较优的具体的实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等,都应涵盖在本发明的保护范围之内。
Claims (10)
1.一种GF-1 WFV卫星赤潮深度学习探测模型构建方法,其特征在于,该方法输入GF-1WFV遥感影像四个波段的遥感反射率数据及GF-1 WFV赤潮指数和伪色度角指数两个特征参量,超分辨率重建后的四波段遥感反射率经过侧窗卷积模块以生成增强后的遥感反射率,将增强后的遥感反射率与线性插值后的GF-1 WFV赤潮指数和伪色度角指数拼接输入到语义分割模型中进行特征提取和分类;具体包括以下步骤:
步骤一,引入超分辨率模型,输入GF-1 WFV遥感反射率进行超分辨率,将GF-1 WFV遥感反射率空间分辨率从16米提升到8米;
步骤二,引入侧窗卷积,对输入遥感反射率进行边缘填充,对超分辨率后的四个波段遥感反射率进行侧窗卷积,强化边缘特征;
步骤三,采用二元交叉熵作为网络的损失函数,利用特征提取模块进行赤潮特征提取与分类。
3.根据权利要求2所述的GF-1 WFV卫星赤潮深度学习探测模型构建方法,其特征在于,侧窗卷积具有八个不同的卷积窗口,根据卷积窗口类型针对性的对输入数据进行边缘填充;对于大小为H×W的输入数据,当侧窗类型为左右侧窗时,填充后数据大小为(2r+H)×(r+W);当侧窗类型上下侧窗时,填充后数据大小为(r+H)×(2r+W);当侧窗类型为西北、东北、西南、东南时,填充后数据大小为(r+H)×(r+W)。
4.根据权利要求3所述的GF-1 WFV卫星赤潮深度学习探测模型构建方法,其特征在于,每个侧窗卷积窗口有w个卷积核,进而生成w个大小为H×W的特征图,将8个不同侧窗生成的w个特征图进行拼接,获得8w个大小为H×W的特征图。
5.根据权利要求4所述的GF-1 WFV卫星赤潮深度学习探测模型构建方法,其特征在于,将特征图减去输入数据计算梯度,以表征影像局部几何特征;对获取的梯度特征图进行非线性映射,通过d个大小为1×1×8w卷积核将特征图数量扩展到d维;通过卷积将d维特征重新映射回8w维特征空间,经过Softmax函数生成每个像素的加权系数;将获取的权重系数与特征图相乘,再与输入图像相加得到保留边缘的卷积结果;
7.一种应用如权利要求1-6任意一项所述的GF-1 WFV卫星赤潮深度学习探测模型构建方法构建得到的GF-1 WFV卫星赤潮深度学习探测模型,其特征在于,包括:
超分辨率模块,用于将输入GF-1 WFV卫星遥感反射率空间分辨率从16米提升到8米;
侧窗卷积模块,用于对超分辨率后的4个波段遥感反射率进行侧窗卷积,增强赤潮边缘特征;
特征提取模块,采用编解码器网络结构,用于赤潮特征的提取与分类。
8.根据权利要求7所述的GF-1 WFV卫星赤潮深度学习探测模型,其特征在于,所述侧窗卷积由侧窗核卷积和特征融合与回归两部分组成;其中,侧窗核卷积部分用于计算8种不同侧窗的卷积,侧窗卷积将卷积窗口边缘或角点与目标像元对齐以保持地物边缘;特征融合与回归部分用于计算各侧窗卷积得到的特征权重,通过两次卷积过程实现。
9.根据权利要求7所述的GF-1 WFV卫星赤潮深度学习探测模型,其特征在于,所述特征提取模块采用编解码器网络结构,编码器由五个卷积组构成;前两个卷积组由两个卷积层构成,后三个卷积组由三个卷积层构成,除最后一个外,每个卷积层有一个最大池化层;卷积核大小为3×3,采用ReLU激活函数;解码器部分由四个卷积组构成,每个卷积组由上采样层以及卷积层构成,除第一个卷积组由一个上采样层和一个卷积层构成外,其余均为三个卷积层一个上采样层;通过拼接操作融合来自编码器的特征图,上采样层采用线性插值的方法放大特征图。
10.一种计算机设备,其特征在于,所述计算机设备包括存储器和处理器,所述存储器存储有计算机程序,所述计算机程序被所述处理器执行时,使得所述处理器执行如权利要求1-6任意一项所述的GF-1 WFV卫星赤潮深度学习探测模型构建方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310242678.XA CN116310543B (zh) | 2023-03-14 | 2023-03-14 | Gf-1 wfv卫星赤潮深度学习探测模型、构建方法及设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310242678.XA CN116310543B (zh) | 2023-03-14 | 2023-03-14 | Gf-1 wfv卫星赤潮深度学习探测模型、构建方法及设备 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN116310543A true CN116310543A (zh) | 2023-06-23 |
CN116310543B CN116310543B (zh) | 2023-09-22 |
Family
ID=86781065
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310242678.XA Active CN116310543B (zh) | 2023-03-14 | 2023-03-14 | Gf-1 wfv卫星赤潮深度学习探测模型、构建方法及设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116310543B (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN118072182A (zh) * | 2024-04-22 | 2024-05-24 | 国家海洋局北海预报中心((国家海洋局青岛海洋预报台)(国家海洋局青岛海洋环境监测中心站)) | 一种基于遥感影像的赤潮识别方法、介质及系统 |
Citations (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102914505A (zh) * | 2012-09-27 | 2013-02-06 | 国家海洋局第二海洋研究所 | 利用modis水色遥感数据的海洋赤潮藻种判别方法 |
CN105403680A (zh) * | 2015-12-02 | 2016-03-16 | 浙江省海洋监测预报中心 | 一种基于浮标在线监测数据的赤潮短期预警方法及用途 |
CN110796250A (zh) * | 2019-10-11 | 2020-02-14 | 浪潮电子信息产业股份有限公司 | 应用于卷积神经网络的卷积处理方法、系统及相关组件 |
CN110889423A (zh) * | 2018-09-11 | 2020-03-17 | 中国海洋大学 | 一种基于极限学习机的高分一号黄东海绿潮遥感探测方法 |
WO2020213614A1 (ja) * | 2019-04-15 | 2020-10-22 | 国立研究開発法人理化学研究所 | 環境因子予測装置、方法、プログラム、学習済モデルおよび記憶媒体 |
CN112183360A (zh) * | 2020-09-29 | 2021-01-05 | 上海交通大学 | 高分辨率遥感影像的轻量化语义分割方法 |
CN112288829A (zh) * | 2020-11-03 | 2021-01-29 | 中山大学 | 一种针对图像复原卷积神经网络的压缩方法及装置 |
CN112507276A (zh) * | 2020-11-05 | 2021-03-16 | 南京信息工程大学 | 一种无需大气校正的近海浒苔绿潮遥感监测方法 |
CN112966580A (zh) * | 2021-02-25 | 2021-06-15 | 山东科技大学 | 基于深度学习和超分辨率的遥感图像绿潮信息提取方法 |
CN113092383A (zh) * | 2021-04-06 | 2021-07-09 | 宁波市测绘和遥感技术研究院 | 一种近海岸海洋赤潮识别方法 |
CN113298086A (zh) * | 2021-04-26 | 2021-08-24 | 自然资源部第一海洋研究所 | 基于U-Net网络的赤潮多光谱检测方法 |
CN114384015A (zh) * | 2022-01-12 | 2022-04-22 | 中国环境科学研究院 | 一种基于多源遥感和机器学习的水环境监测方法 |
US20220129674A1 (en) * | 2020-10-23 | 2022-04-28 | The Second Institute of Oceanography (SIO), MNR | Method and device for determining extraction model of green tide coverage ratio based on mixed pixels |
CN114923867A (zh) * | 2022-07-19 | 2022-08-19 | 中国海洋大学 | 基于fy-3d mersi-ii数据的赤潮监测方法及装置 |
-
2023
- 2023-03-14 CN CN202310242678.XA patent/CN116310543B/zh active Active
Patent Citations (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102914505A (zh) * | 2012-09-27 | 2013-02-06 | 国家海洋局第二海洋研究所 | 利用modis水色遥感数据的海洋赤潮藻种判别方法 |
CN105403680A (zh) * | 2015-12-02 | 2016-03-16 | 浙江省海洋监测预报中心 | 一种基于浮标在线监测数据的赤潮短期预警方法及用途 |
CN110889423A (zh) * | 2018-09-11 | 2020-03-17 | 中国海洋大学 | 一种基于极限学习机的高分一号黄东海绿潮遥感探测方法 |
WO2020213614A1 (ja) * | 2019-04-15 | 2020-10-22 | 国立研究開発法人理化学研究所 | 環境因子予測装置、方法、プログラム、学習済モデルおよび記憶媒体 |
CN110796250A (zh) * | 2019-10-11 | 2020-02-14 | 浪潮电子信息产业股份有限公司 | 应用于卷积神经网络的卷积处理方法、系统及相关组件 |
CN112183360A (zh) * | 2020-09-29 | 2021-01-05 | 上海交通大学 | 高分辨率遥感影像的轻量化语义分割方法 |
US20220129674A1 (en) * | 2020-10-23 | 2022-04-28 | The Second Institute of Oceanography (SIO), MNR | Method and device for determining extraction model of green tide coverage ratio based on mixed pixels |
CN112288829A (zh) * | 2020-11-03 | 2021-01-29 | 中山大学 | 一种针对图像复原卷积神经网络的压缩方法及装置 |
CN112507276A (zh) * | 2020-11-05 | 2021-03-16 | 南京信息工程大学 | 一种无需大气校正的近海浒苔绿潮遥感监测方法 |
CN112966580A (zh) * | 2021-02-25 | 2021-06-15 | 山东科技大学 | 基于深度学习和超分辨率的遥感图像绿潮信息提取方法 |
CN113092383A (zh) * | 2021-04-06 | 2021-07-09 | 宁波市测绘和遥感技术研究院 | 一种近海岸海洋赤潮识别方法 |
CN113298086A (zh) * | 2021-04-26 | 2021-08-24 | 自然资源部第一海洋研究所 | 基于U-Net网络的赤潮多光谱检测方法 |
CN114384015A (zh) * | 2022-01-12 | 2022-04-22 | 中国环境科学研究院 | 一种基于多源遥感和机器学习的水环境监测方法 |
CN114923867A (zh) * | 2022-07-19 | 2022-08-19 | 中国海洋大学 | 基于fy-3d mersi-ii数据的赤潮监测方法及装置 |
Non-Patent Citations (3)
Title |
---|
JI FENGYUN: "Early warning of red tides using bacterial and eukaryotic communities in nearshore waters", 《ENVIRONMENTAL RESEARCH》 * |
孙丰霖: "中国沿海赤潮灾害时间序列特征的模拟与预测", 《海洋通报》 * |
滕越: "基于海洋一号D卫星海岸带成像仪的赤潮遥感监测特征", 《海洋开发与管理》 * |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN118072182A (zh) * | 2024-04-22 | 2024-05-24 | 国家海洋局北海预报中心((国家海洋局青岛海洋预报台)(国家海洋局青岛海洋环境监测中心站)) | 一种基于遥感影像的赤潮识别方法、介质及系统 |
Also Published As
Publication number | Publication date |
---|---|
CN116310543B (zh) | 2023-09-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Zhang et al. | Thick cloud and cloud shadow removal in multitemporal imagery using progressively spatio-temporal patch group deep learning | |
Nichol et al. | Satellite remote sensing for detailed landslide inventories using change detection and image fusion | |
Cablk et al. | Detecting and discriminating impervious cover with high-resolution IKONOS data using principal component analysis and morphological operators | |
Renza et al. | Unsupervised change detection in a particular vegetation land cover type using spectral angle mapper | |
Wicaksono et al. | Analysis of reflectance spectra of tropical seagrass species and their value for mapping using multispectral satellite images | |
Lasaponara et al. | Image enhancement, feature extraction and geospatial analysis in an archaeological perspective | |
Pu et al. | A protocol for improving mapping and assessing of seagrass abundance along the West Central Coast of Florida using Landsat TM and EO-1 ALI/Hyperion images | |
CN102750701A (zh) | 针对Landsat TM和ETM图像的厚云及其阴影检测方法 | |
CN110991430B (zh) | 基于遥感图像的地物识别及覆盖率计算方法及系统 | |
CN116310543B (zh) | Gf-1 wfv卫星赤潮深度学习探测模型、构建方法及设备 | |
Sameen et al. | A refined classification approach by integrating Landsat Operational Land Imager (OLI) and RADARSAT-2 imagery for land-use and land-cover mapping in a tropical area | |
Chang et al. | Collaborative coupled hyperspectral unmixing based subpixel change detection for analyzing coastal wetlands | |
CN113887472A (zh) | 基于级联颜色及纹理特征注意力的遥感图像云检测方法 | |
Chen et al. | Spectral unmixing using a sparse multiple-endmember spectral mixture model | |
Wang et al. | The effect of the point spread function on downscaling continua | |
Mostafa et al. | Corresponding regions for shadow restoration in satellite high-resolution images | |
Oguslu et al. | Detection of seagrass scars using sparse coding and morphological filter | |
Albanwan et al. | A novel spectrum enhancement technique for multi-temporal, multi-spectral data using spatial-temporal filtering | |
Mohebzadeh et al. | Spatial downscaling of MODIS Chlorophyll-a with machine learning techniques over the west coast of the Yellow Sea in South Korea | |
Coliban et al. | Linear and non-linear models for remotely-sensed hyperspectral image visualization | |
Basso et al. | Combining morphological filtering, anisotropic diffusion and block-based data replication for automatically detecting and recovering unscanned gaps in remote sensing images | |
Teodoro et al. | Identification of beach hydromorphological patterns/forms through image classification techniques applied to remotely sensed data | |
Zhao et al. | A robust and adaptive spatial-spectral fusion model for PlanetScope and Sentinel-2 imagery | |
da Silva et al. | A machine learning approach for monitoring Brazilian optical water types using Sentinel-2 MSI | |
Sihvonen et al. | Spectral profile partial least-squares (SP-PLS): Local multivariate pansharpening on spectral profiles |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |