CN117237256B - 一种浅海珊瑚礁监测数据采集方法、装置及设备 - Google Patents
一种浅海珊瑚礁监测数据采集方法、装置及设备 Download PDFInfo
- Publication number
- CN117237256B CN117237256B CN202311263808.4A CN202311263808A CN117237256B CN 117237256 B CN117237256 B CN 117237256B CN 202311263808 A CN202311263808 A CN 202311263808A CN 117237256 B CN117237256 B CN 117237256B
- Authority
- CN
- China
- Prior art keywords
- resolution
- data
- coral reef
- network
- low
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 235000014653 Carica parviflora Nutrition 0.000 title claims abstract description 105
- 241000243321 Cnidaria Species 0.000 title claims abstract description 105
- 238000000034 method Methods 0.000 title claims abstract description 72
- 238000012544 monitoring process Methods 0.000 title claims abstract description 34
- 230000004927 fusion Effects 0.000 claims abstract description 74
- 238000000354 decomposition reaction Methods 0.000 claims abstract description 61
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 16
- 238000007781 pre-processing Methods 0.000 claims abstract description 12
- 238000013528 artificial neural network Methods 0.000 claims abstract description 10
- 239000000758 substrate Substances 0.000 claims description 33
- 238000001228 spectrum Methods 0.000 claims description 31
- 238000012545 processing Methods 0.000 claims description 30
- 238000012952 Resampling Methods 0.000 claims description 29
- 230000008569 process Effects 0.000 claims description 22
- 238000000605 extraction Methods 0.000 claims description 18
- 238000001914 filtration Methods 0.000 claims description 18
- 238000004422 calculation algorithm Methods 0.000 claims description 13
- 238000005070 sampling Methods 0.000 claims description 11
- 238000004891 communication Methods 0.000 claims description 8
- 230000004913 activation Effects 0.000 claims description 7
- 238000010276 construction Methods 0.000 claims description 7
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 claims description 7
- 208000037516 chromosome inversion disease Diseases 0.000 claims description 6
- 238000013480 data collection Methods 0.000 claims description 6
- 230000008030 elimination Effects 0.000 claims description 6
- 238000003379 elimination reaction Methods 0.000 claims description 6
- 238000010606 normalization Methods 0.000 claims description 6
- 238000004590 computer program Methods 0.000 claims description 3
- 230000006870 function Effects 0.000 description 32
- 238000010586 diagram Methods 0.000 description 9
- 238000005516 engineering process Methods 0.000 description 8
- 230000008901 benefit Effects 0.000 description 7
- 230000000694 effects Effects 0.000 description 5
- 238000012549 training Methods 0.000 description 5
- 238000013461 design Methods 0.000 description 4
- 238000012986 modification Methods 0.000 description 4
- 230000004048 modification Effects 0.000 description 4
- 238000001514 detection method Methods 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 230000001419 dependent effect Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 230000004075 alteration Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000013145 classification model Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000003066 decision tree Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000005684 electric field Effects 0.000 description 1
- 238000007499 fusion processing Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000011835 investigation Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000007500 overflow downdraw method Methods 0.000 description 1
- 230000037361 pathway Effects 0.000 description 1
- 238000002203 pretreatment Methods 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 238000007637 random forest analysis Methods 0.000 description 1
- 241000894007 species Species 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
- 238000012706 support-vector machine Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Landscapes
- Image Processing (AREA)
Abstract
本发明公开一种浅海珊瑚礁监测数据采集方法、装置及设备，涉及遥感监测技术领域，以解决现有技术无法获得具有高分辨率的高光谱数据的问题。一种浅海珊瑚礁监测数据采集方法包括：获取珊瑚礁的初始遥感影像，对初始遥感影像进行预处理操作，得到珊瑚礁的遥感影像中的高分辨率数据和高光谱数据；将高光谱数据输入非线性混合像元分解网络中，得到珊瑚礁的低分辨率丰度结果；在非线性混合像元分解网络的基础上结合卷积神经网络以及动态滤波网络，构建得到具有孪生神经网络结构的空间信息融合网络；将高分辨率数据和低分辨率丰度结果输入空间信息融合网络中，得到高分辨率高光谱数据。本发明用于获得高分辨率高光谱数据。
Description
技术领域
本发明涉及遥感监测技术领域，尤其涉及一种浅海珊瑚礁监测数据采集方法、装置及设备。
背景技术
浅海生长的珊瑚礁在空间分布上具有零散、细碎的特点，因此在进行遥感监测时对数据源的空间分辨率要求较高，以避免混合像元对底质分类精度的影响。在对浅海珊瑚礁进行数据采集时，应采用基于混合像元分解的空谱融合技术。
但是现有的空谱融合技术无法保持高分辨率数据的空间结构信息，并且不适用于空间分辨率倍数差异过大的两种数据源，即无法获得具有高分辨率的高光谱数据，导致浅海珊瑚礁监测数据集不完整。
因此，需要合适的空谱融合技术来实现高光谱数据和高分辨率数据的融合，进而获得具有高分辨率的高光谱数据，提高浅海珊瑚礁监测数据的完整性。
发明内容
本发明的目的在于提供一种浅海珊瑚礁监测数据采集方法、装置及设备，用于解决现有技术无法获得具有高分辨率的高光谱数据的问题。
为了实现上述目的，本发明提供如下技术方案：
第一方面，本发明提供一种浅海珊瑚礁监测数据采集方法，包括：
获取珊瑚礁的初始遥感影像，对所述初始遥感影像进行预处理操作，得到所述珊瑚礁的遥感影像中的高分辨率数据和高光谱数据；
将所述高光谱数据输入非线性混合像元分解网络中，得到所述珊瑚礁的低分辨率丰度结果；
在所述非线性混合像元分解网络的基础上结合卷积神经网络以及动态滤波网络，构建得到具有孪生神经网络结构的空间信息融合网络；
将所述高分辨率数据和所述低分辨率丰度结果输入所述空间信息融合网络中，得到高分辨率高光谱数据。
与现有技术相比，本发明提供的一种浅海珊瑚礁监测数据采集方法，首先获取珊瑚礁的初始遥感影像，对所述初始遥感影像进行预处理操作，得到珊瑚礁的遥感影像，分析珊瑚礁的遥感影像，得到所述珊瑚礁的遥感影像中的高分辨率数据和高光谱数据；将所述高光谱数据输入非线性混合像元分解网络中，基于非线性混合像元分解网络对高光谱数据进行混合像元分解，得到所述珊瑚礁的低分辨率丰度结果；在所述非线性混合像元分解网络的基础上结合卷积神经网络以及动态滤波网络，构建得到空间信息融合网络；将所述高分辨率数据和所述低分辨率丰度结果输入所述空间信息融合网络中，利用所述空间信息融合网络对所述高分辨率数据和所述低分辨率丰度结果进行处理，得到高分辨率高光谱数据。本发明基于珊瑚礁的高分辨率数据和低分辨率丰度结果，通过本发明构建的空间信息融合网络对二者进行融合，降低高分辨率数据和低分辨率丰度结果之间的空间分辨率差异，使其完成在空间结构层面的深度融合，从而获得了具有高分辨率的高分辨率高光谱数据。
第二方面，本发明还提供一种浅海珊瑚礁监测数据采集装置，包括：
高分辨率数据和高光谱数据获取模块，用于获取珊瑚礁的初始遥感影像，对所述初始遥感影像进行预处理操作，得到所述珊瑚礁的遥感影像中的高分辨率数据和高光谱数据；
低分辨率丰度结果获取模块，用于将所述高光谱数据输入非线性混合像元分解网络中，得到所述珊瑚礁的低分辨率丰度结果；
空间信息融合网络构建模块，用于在所述非线性混合像元分解网络的基础上结合卷积神经网络以及动态滤波网络，构建得到具有孪生神经网络结构的空间信息融合网络；
高分辨率的高光谱数据获取模块，用于将所述高分辨率数据和所述低分辨率丰度结果输入所述空间信息融合网络中，得到高分辨率高光谱数据。
第三方面，本发明还提供一种浅海珊瑚礁监测数据采集设备，包括：
处理器以及与处理器耦合的通信接口；所述处理器用于运行计算机程序或指令，以实现上述一种浅海珊瑚礁监测数据采集方法。
第二方面提供的装置类方案以及第三方面提供的设备类方案所实现的技术效果与第一方面提供的方法类方案相同，此处不再赘述。
附图说明
此处所说明的附图用来提供对本发明的进一步理解，构成本发明的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
图1为本发明提供的一种浅海珊瑚礁监测数据采集方法流程图；
图2为本发明实施例中的空间信息融合网络构建示意图；
图3为本发明实施例中的底质样本集构建示意图；
图4为本发明实施例中的非线性混合像元分解网络结构示意图；
图5为本发明实施例中的空间结构滤波网络结构示意图；
图6为本发明实施例中的空间信息融合网络结构示意图；
图7为本发明实施例中浅海珊瑚礁底质分类流程示意图；
图8为本发明提供的一种浅海珊瑚礁监测数据采集装置示意图；
图9为本发明提供的一种浅海珊瑚礁监测数据采集设备示意图。
具体实施方式
为了便于清楚描述本发明实施例的技术方案，在本发明的实施例中，采用了“第一”、“第二”等字样对功能和作用基本相同的相同项或相似项进行区分。例如，第一阈值和第二阈值仅仅是为了区分不同的阈值，并不对其先后顺序进行限定。本领域技术人员可以理解“第一”、“第二”等字样并不对数量和执行次序进行限定，并且“第一”、“第二”等字样也并不限定一定不同。
需要说明的是，本发明中，“示例性的”或者“例如”等词用于表示作例子、例证或说明。本发明中被描述为“示例性的”或者“例如”的任何实施例或设计方案不应被解释为比其他实施例或设计方案更优选或更具优势。确切而言，使用“示例性的”或者“例如”等词旨在以具体方式呈现相关概念。
本发明中，“至少一个”是指一个或者多个，“多个”是指两个或两个以上。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B的情况，其中A，B可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。“以下至少一项(个)”或其类似表达，是指的这些项中的任意组合，包括单项(个)或复数项(个)的任意组合。例如，a，b或c中的至少一项(个)，可以表示：a，b，c，a和b的结合，a和c的结合，b和c的结合，或a、b和c的结合，其中a，b，c可以是单个，也可以是多个。
本发明提供了一种浅海珊瑚礁监测数据采集方法、装置及设备，接下来结合附图对本申请的技术方案进行说明：
图1为本发明提供的一种浅海珊瑚礁监测数据采集方法流程图，该方法包括以下步骤：
步骤101：获取珊瑚礁的初始遥感影像，对所述初始遥感影像进行预处理操作，得到所述珊瑚礁的遥感影像中的高分辨率数据和高光谱数据；
其中，遥感(remote sensing)是指非接触的，远距离的探测技术。一般指运用传感器/遥感器对物体的电磁波的辐射、反射特性的探测。遥感是通过遥感器这类对电磁波敏感的仪器，在远离目标和非接触目标物体条件下探测目标地物，获取其反射、辐射或散射的电磁波信息(如电场、磁场、电磁波、地震波等信息)，并进行提取、判定、加工处理、分析与应用的技术。遥感影像是通过遥感技术获取的地球表面的图像或照片，这些图像通常是由卫星、飞机、无人机或其他遥感平台拍摄或记录的，高分辨率的机载高光谱数据能够获得有关珊瑚礁的丰富的信息。
步骤102：将所述高光谱数据输入非线性混合像元分解网络中，得到所述珊瑚礁的低分辨率丰度结果；
其中，由于浅海生长的珊瑚礁在空间分布上具有零散、细碎的特点，在进行遥感监测时对数据源的空间分辨率要求较高，以避免混合像元对底质分类精度的影响。一般来说，混合像元的存在，使亚像元级目标的快速精确探测与分类变得非常困难，极大地限制了高光谱数据定量化应用的发展。目前解决高光谱影像混合像元问题最为有效的方法为混合像元分解。
混合像元分解指从实际光谱数据中提取各种地物成分(端元)以及各成分所占的比例(丰度)的方法。端元提取和丰度估计是混合像元分解的两个重要的过程。端元提取指在混合图像中提取出各种成分。丰度估计指对每种估计出来的端元物质的比例加以估计。进行混合像元分解需要建立合理有效的光谱混合模型，光谱混合模型一般可以分为线性光谱混合模型和非线性光谱混合模型。线性模型能够满足较低空间分辨率的遥感影像光谱分解需求，但是随着空间分辨率的提高，光子在微观尺度混合成分间多次散射，光谱不再以线性方式叠加，需要使用非线性光谱混合模型进行描述，因此，本发明采用非线性混合像元分解网络(EGU-Net)，将获得的高光谱数据输入非线性混合像元分解网络中，进而准确得到珊瑚礁的低分辨率丰度结果。
步骤103：在所述非线性混合像元分解网络的基础上结合卷积神经网络以及动态滤波网络，构建得到具有孪生神经网络结构的空间信息融合网络；
其中，卷积神经网络(Convolutional Neural Networks，CNN)是一类包含卷积计算且具有深度结构的前馈神经网络(Feedforward Neural Networks)，依据遥感图像的来源和目的，卷积神经网络被用于土地利用和土地覆被变化(land use/land cover change)研究，还用于遥感图像的物体识别和图像语义分割。动态滤波网络由滤波生成网络和动态过滤层组成，在动态输入信息的过程中不断的生成滤波，具有适应性和灵活性，可以实现局部空间转换和自适应特征提取等操作。此外，孪生神经网络结构能够有效的衡量两种输入之间的相似性。
本发明在非线性混合像元分解网络(EGU-Net)的基础上结合卷积神经网络(CNN)的空间信息提取优势以及动态滤波网络(DFN)的灵活性构建空间信息融合网络(SIF-Net)，通过其空间结构滤波(SSF)、孪生神经网络结构和多尺度的网络结构保证了在两种数据源的空间分辨率差异较大时，也能进行有效融合。
步骤104：将所述高分辨率数据和所述低分辨率丰度结果输入所述空间信息融合网络中，得到高分辨率高光谱数据。
其中，将高分辨率数据和低分辨率丰度结果分别输入所述空间信息融合网络中，利用空间信息融合网络(SIF-Net)对二者进行融合，降低高分辨率数据和低分辨率丰度结果之间的空间分辨率差异，使其完成深度融合，从而获得了具有高分辨率的高光谱数据。
作为一种可选的实施方式，所述将所述高分辨率数据和所述低分辨率丰度结果输入所述空间信息融合网络中，得到高分辨率高光谱数据，包括：
将所述高分辨率数据和所述低分辨率丰度结果输入所述空间信息融合网络中，利用所述空间信息融合网络中的重采样模块和空间结构滤波对所述高分辨率数据和所述低分辨率丰度结果进行重采样处理，得到高分辨率高光谱数据；所述重采样模块包括卷积层、归一层、激活函数层以及上采样层。
其中，重采样是指根据一类象元的信息内插出另一类象元信息的过程，在遥感中，重采样包括上采样和降采样过程。如图6所示，本发明的重采样模块由卷积层、归一层(Batch Normalization层)、激活函数层(ReLU激活函数层)以及上采样层(Upsample层)构成，利用所述空间信息融合网络中的重采样模块对所述高分辨率数据和所述低分辨率丰度结果进行重采样处理，得到高分辨率高光谱数据。采用高分辨率高光谱数据可为其他浅海珊瑚礁相关研究提供新的数据集，丰富浅海珊瑚礁底质信息遥感监测的数据集。
同时，如图2所示，本发明在得到珊瑚礁遥感影像中的高分辨率数据和高光谱数据后，构建了底质样本集；通过非线性混合像元分解网络的非线性混合像元分解方法保证了光谱信息不被破坏，通过具有空间结构滤波(SSF)的空间信息融合网络(SIF-Net)保证了高分辨率丰度结果与高分辨率数据空间结构一致，使得重建后的高分辨率高光谱数据兼具光谱和空间信息优势，其中，空间结构滤波(SSF)的示意图如图5所示。
作为一种可选的实施方式，所述利用所述空间信息融合网络中的重采样模块对所述高分辨率数据和所述低分辨率丰度结果进行重采样处理，包括：
利用所述空间信息融合网络对所述高分辨率数据进行降采样处理，对所述低分辨率丰度结果进行上采样处理。
其中，利用所述空间信息融合网络对所述高分辨率数据进行降采样处理，对所述低分辨率丰度结果进行上采样处理。以资源一号02D(ZY1-02D)卫星和高分二号卫星(GF2)为例：由于ZY1-02D高光谱数据空间分辨率与GF2高分辨率数据相差15倍，因此本发明设计了四次重采样来逐渐达到高分数据同样的空间分辨率。上采样过程中四个“block”中的卷积核大小分别为77、55、33、11；采样倍数为2倍。下采样过程中四个“block”中的卷积核大小分别为11、33、55、77；采样倍数为2倍。因此在重采样过程中逐一通过输入2m、4m、8m、16m的高分辨率数据结合动态滤波网络生成空间结构滤波，引导对应同一分辨率的低分辨率丰度进行上采样，不断修正空间结构直至与高分辨率一致。其网络结构如图6所示，由3个“block”和一个卷积层组成；其中“block”由卷积层、BatchNormalization层、ReLU激活函数层组成，卷积核的大小均为11，经过最后一个卷积层并变形为55大小，与低分辨率丰度进行卷积操作优化空间结构，完成对所述高分辨率数据和所述低分辨率丰度结果的重采样处理，保持了高分辨率数据的空间结构信息。
作为一种可选的实施方式，所述对所述低分辨率丰度结果进行空间结构滤波和上采样处理之后，还包括：
基于所述高分辨率数据的空间结构，修正所述低分辨率丰度结果的空间结构，得到高分辨率丰度结果；
将所述高分辨率丰度结果输入softmax层，经过编码处理，得到所述珊瑚礁的底质分类结果。
其中，在对浅海珊瑚礁底质分类时，现有技术方案主要针对具有高分辨率的数据源来建立相应的分类模型，通常以星载和机载的高分辨率多光谱数据或高光谱数据为数据源。为充分利用高分辨率多光谱数据的空间信息，通常结合语义分割相关方法(如SegNet、FCN、DeeplabV3+等)或机器学习分类器(如支持向量机、随机森林、决策树等)进行底质分类；并且，为充分利用高光谱数据的光谱信息，还会结合混合像元分解方法(VCA、FCLS、PCOMMEND等)进行底质分类。
但是无人机获取高分辨率高光谱数据存在难度大、经济效益低等问题；高分辨率卫星遥感数据缺乏光谱信息导致浅海珊瑚礁底质分类精度不如无人机数据，因此，需要合适的空谱融合技术来实现高分辨率数据和高光谱数据的融合，而现有技术中的空谱融合方法无法同时兼顾光谱和空间信息，存在以下缺点：基于非线性混合像元分解的空谱融合技术虽然在融合过程中有效保证高光谱数据光谱信息不被破坏，但对于保持高分辨率数据的空间结构信息仍存在局限。并且不适用于空间分辨率倍数差异过大的两种数据源。此外，类似珊瑚礁底质区域这样的复杂且难以到达的场景还没有公开的混合像元分解训练样本集，需要相对合理的方法来构建底质样本集。
其中，本发明底质样本集的构建方法如图3所示，本发明构建的空间信息融合网络如图7所示。空间信息融合网络中高分辨率的丰度结果经过one-hot编码后可直接用做最后的底质分类结果，进而可以对浅海珊瑚礁的底质进行分类：获取珊瑚礁的初始遥感影像后，对所述初始遥感影像进行预处理操作得到所述珊瑚礁的遥感影像；将所述高光谱数据输入非线性混合像元分解网络(EGU-Net)中，得到所述珊瑚礁的低分辨率丰度结果；在所述非线性混合像元分解网络(EGU-Net)的基础上结合卷积神经网络以及动态滤波网络，构建得到空间信息融合网络(SIF-Net)，形成空谱信息融合(Multiscale-EGUNet)；将所述高分辨率数据和所述低分辨率丰度结果输入所述空间信息融合网络中，利用重采样模块对所述低分辨率丰度结果进行空间结构滤波和上采样处理之后，利用空间信息融合网络，基于所述高分辨率数据的空间结构对所述低分辨率丰度结果的空间结构进行修正，就可以得到高分辨率丰度结果，将所述高分辨率丰度结果输入softmax层后可直接得到所述珊瑚礁的底质分类结果，实现浅海珊瑚礁的底质分类。
并且，采用星载高光谱和高分辨率数据进行珊瑚礁底质分类，相比于机载获得的高分辨率高光谱数据操作上更便捷、经济效益更高。
作为一种可选的实施方式，所述将所述高光谱数据输入非线性混合像元分解网络中，对所述高光谱数据进行混合像元分解，得到所述珊瑚礁的低分辨率丰度结果，包括：
利用所述非线性混合像元分解网络，基于逐段凸函数端元提取算法对所述高光谱数据进行端元提取，得到多组端元；
基于混合像元分解算法将所述高光谱数据扩展到多组端元，完成对所述高光谱数据的无监督混合像元分解，得到所述珊瑚礁的低分辨率丰度结果。
其中，本发明采用逐段凸函数端元提取及混合像元分解算法(PCOMMEND)获取纯净端元和丰度结果，即，基于本发明提供的PCOMMEND解混方法先对高光谱数据进行混合像元分解，如图3所示，采用逐段凸函数端元提取及混合像元分解算法(PCOMMEND)获取纯净端元和丰度结果，实现了无监督的浅海珊瑚礁底质端元样本提取，极大优化EGU-Net的训练过程，同时还得到珊瑚礁的端元和丰度作为样本，进而指导非线性解混网络(EGU-Net)进行非线性混合像元分解，以构建无监督的浅海珊瑚礁底质样本集，使用该PCOMMEND算法能够对多种珊瑚底质端元进行精准提取。
并且，基于PCOMMAND算法能将线性混合模型扩展到多组端元，如珊瑚礁环境下包含多个拥有不同底质的不同区域，如珊瑚区和礁灰岩区，此场景中的每个区域都由一组不同的端元的线性混合像元构成，并且每一个端元都定义了一各小类，如活珊瑚和白化珊瑚。然后，所有图像光谱的集合将由所有小类别的并集组成。这个并集并不一定是一个单一的凸函数，而PCOMMAND相对于其他的端元提取方法更加适用于这种情况。相比于原始EGU-Net中顶点成分分析(VCA)以及线性混合模型(LMM)方法，PCOMMAND对于浅海珊瑚礁底质区域这样的复杂场景更具有优势，进行无监督混合像元分解且端元分组提取更加合理，采用更适合珊瑚礁底质这类复杂场景的PCOMMEND方法，提升了原始模型的样本质量，并且构建训练集和验证集进行网络训练效果更好，实现非线性混合像元分解网络的训练。
因此，本发明提出的空间信息融合网络(SIF-Net)以改进后的非线性混合像元分解网络(EGU-Net)作为基础，结合了卷积神经网络(CNN)空间信息提取优势以及动态滤波网络(DFN)的灵活性，使空间信息融合网络(SIF-Net)进行降采样和上采样后，空间结构滤波(SSF)和多尺度的网络结构能够保证两种数据源的空间分辨率差异较大时，两种数据源的融合仍能获得较好的结果。其中，空间信息融合网络(SIF-Net)的基础为改进后的非线性混合像元分解网络(EGU-Net)，其获得纯净端元和丰度结果的技术不同于现有技术。现有技术中一般采用顶点成分分析(VCA)以及线性混合模型(LMM)获得纯净端元和丰度结果，这些方法对于一幅影像都只选取一个端元集，也就是一个凸函数区域进行提取，因此它们通常无法为非凸数据集找到合适的端成员。本发明改进后的非线性混合像元分解网络(EGU-Net)如图4所示，将高光谱数据输入非线性混合像元分解网络中，得到珊瑚礁的低分辨率丰度结果，其中，图3中的BN和图4中的BN共享权重，图3中的Softmax和图4中的Softmax共享权重。
并且，在珊瑚礁底质分类中，不同种类的底质往往在特定的波段有更好的区分效果，而在其他波段又有几乎相同的波谱特征，因此需要寻找最合适的波谱曲线；且珊瑚礁本身尺度较小，因此在中高分辨率遥感影像中仍包含较多混合像元，因此使用本发明提供的逐段凸函数端元提取及混合像元分解算法进行混合像元分解和端元提取，能够有效的提取出多组端元，多组端元均具有更准确的单一信息，能够对多种珊瑚底质端元进行精准提取。
作为一种可选的实施方式，所述对所述初始遥感影像进行预处理操作，得到所述珊瑚礁的遥感影像，包括：对所述初始遥感影像进行海面波浪消除处理、强反射光消除处理和水深反演处理，得到所述珊瑚礁的所述遥感影像。
其中，如图7所示，除了对高分辨率和高光谱遥感数据进行大气校正、图像融合，去云等基本预处理工作，本发明采用Hochberg等针对近岸浅珊瑚礁环境的高分辨率遥感调查提出了一种去除海面波浪和强反射的方法—Deglint，来消除波浪造成的强反射；同时采用水深反演方法消除水深造成的误差，与现有技术流程的区别在于，本发明在预处理过程中进行了强反射去除和水深反演，采用Deglint方法和水深反演相结合的预处理方法，消除了数据中的误差，使获得的高分辨率高光谱数据和高分辨率丰度结果更为精准，可以更好的反映浅海珊瑚礁底质的特征。
作为一种可选的实施方式，所述降采样处理和所述上采样处理的采样次数为预设次数，所述预设次数满足所述高分辨率数据和所述低分辨率丰度结果之间的空间分辨率差异的预设倍数。
其中，降采样处理和所述上采样处理的采样次数为预设次数，为2的指数倍，预设次数满足所述高分辨率数据和所述低分辨率丰度结果之间的空间分辨率差异的预设倍数，预设次数应大于或等于预设倍数，例如，如图6所示，在ZY1-02D高光谱数据空间分辨率与GF2高分辨率数据相差15倍时，设计了四次重采样，其中，上采样过程中四个“block”中的卷积核大小分别为77、55、33、11；采样倍数为2倍；下采样过程中四个“block”中的卷积核大小分别为11、33、55、77；采样倍数为2倍，保证降采样处理和所述上采样处理后的两种数据源逐渐达到同样的空间分辨率，使两种数据源的融合效果更好，其中，图6中空间结构滤波SSF4的形成方式参见图5。
作为一种可选的实施方式，所述空间信息融合网络的目标函数为：
L＝α1*Ltrain+α2*Lunmixing+α3*LSSIM
其中，Ltrain由权重交叉熵损失函数构成；Lunmixing由均方误差损失函数构成；LSSIM由空间结构相似性损失函数构成；α1、α2和α3分别是Ltrain、Lunmixing和LSSIM的比例系数，α1、α2和α3之和为1。
其中，EGU-Net进行高光谱数据的非线性混合像元分解，SIF-Net结合高分辨率数据引导低分辨率丰度结果进行上采样，获得高分辨率丰度结果。整体网络的目标函数如下所示：
L＝α1*Ltrain+α2*Lunmixing+α3*LSSIM
其中，Ltrain是由权重交叉熵损失函数构成，用于衡量经PCOMMAND算法获得的丰度与非线性解混网络的丰度结果之间的损失；Lunmixing是由均方误差损失函数构成，用于衡量自编码器输入和输出数据间的相似性；LSSIM是由空间结构相似性损失函数构成，用于衡量低分辨率丰度的上采样过程结果(不同分辨率)和高分辨率数据下采样过程结果间的空间结构相似性。α1，α2，α3为超参数，是三个损失函数的比例系数，满足和为1的条件。
基于同样的思路，本发明提供一种浅海珊瑚礁监测数据采集装置，如图8所示，该装置包括：
高分辨率数据和高光谱数据获取模块401，用于获取珊瑚礁的初始遥感影像，对所述初始遥感影像进行预处理操作，得到所述珊瑚礁的遥感影像中的高分辨率数据和高光谱数据；
低分辨率丰度结果获取模块402，用于将所述高光谱数据输入非线性混合像元分解网络中，得到所述珊瑚礁的低分辨率丰度结果；
空间信息融合网络构建模块403，用于在所述非线性混合像元分解网络的基础上结合卷积神经网络以及动态滤波网络，构建得到具有孪生神经网络结构的空间信息融合网络；
高分辨率高光谱数据获取模块404，用于将所述高分辨率数据和所述低分辨率丰度结果输入所述空间信息融合网络中，得到高分辨率高光谱数据。
可选的，高分辨率高光谱数据获取模块404，包括：
重采样处理单元，用于将所述高分辨率数据和所述低分辨率丰度结果输入所述空间信息融合网络中，利用所述空间信息融合网络中的重采样模块和空间结构滤波对所述高分辨率数据和所述低分辨率丰度结果进行重采样处理，得到高分辨率高光谱数据；所述重采样模块包括卷积层、归一层、激活函数层以及上采样层。
可选的，高分辨率高光谱数据获取模块404，包括：
降采样和上采样处理单元，用于利用所述空间信息融合网络对所述高分辨率数据进行降采样处理，对所述低分辨率丰度结果进行上采样处理。
可选的，高分辨率高光谱数据获取模块404，还包括：
高分辨率丰度结果获得单元，用于基于所述高分辨率数据的空间结构，修正所述低分辨率丰度结果的空间结构，得到高分辨率丰度结果；
底质分类单元，用于将所述高分辨率丰度结果输入softmax层，经过编码处理，得到所述珊瑚礁的底质分类结果。
可选的，低分辨率丰度结果获取模块402，包括：
端元提取单元，用于利用所述非线性混合像元分解网络，基于逐段凸函数端元提取算法对所述高光谱数据进行端元提取，得到多组端元；
无监督混合像元分解单元，用于基于混合像元分解算法将所述高分辨率数据扩展到多组端元，完成对所述高光谱数据的无监督混合像元分解，得到所述珊瑚礁的低分辨率丰度结果。
可选的，高分辨率数据和高光谱数据获取模块401，包括：
预处理单元，用于对所述初始遥感影像进行海面波浪消除处理、强反射光消除处理和水深反演处理，得到所述珊瑚礁的所述遥感影像。
可选的，所述降采样处理和所述上采样处理的采样次数为预设次数；所述预设次数满足所述高分辨率数据和所述低分辨率丰度结果之间的空间分辨率差异的预设倍数。
可选的，空间信息融合网络构建模块403，包括：
目标函数构建单元，用于构建所述空间信息融合网络的目标函数，所述空间信息融合网络的目标函数为：
L＝α1*Ltrain+α2*Lunmixing+α3*LSSIM
其中，Ltrain由权重交叉熵损失函数构成；Lunmixing由均方误差损失函数构成；LSSIM由空间结构相似性损失函数构成；α1、α2和α3分别是Ltrain、Lunmixing和LSSIM的比例系数，α1、α2和α3之和为1。
基于同样的思路，本发明提供一种浅海珊瑚礁监测数据采集设备，如图9所示，该设备包括：
处理器以及与处理器耦合的通信接口；所述处理器用于运行计算机程序或指令，以实现上述一种浅海珊瑚礁监测数据采集方法。
如图9所示，上述处理器可以是一个通用中央处理器(central processing unit，CPU)，微处理器，专用集成电路(application-specific integrated circuit，ASIC)，或一个或多个用于控制本发明方案程序执行的集成电路。上述通信接口可以为一个或多个。通信接口可使用任何收发器一类的装置，用于与其他设备或通信网络通信。
如图9所示，上述终端设备还可以包括通信线路。通信线路可包括一通路，在上述组件之间传送信息。
可选的，如图9所示，该终端设备还可以包括存储器。存储器用于存储执行本发明方案的计算机执行指令，并由处理器来控制执行。处理器用于执行存储器中存储的计算机执行指令，从而实现本发明实施例提供的方法。
在具体实现中，作为一种实施例，如图9所示，处理器可以包括一个或多个CPU，如图9中的CPU0和CPU1。
在具体实现中，作为一种实施例，如图9所示，终端设备可以包括多个处理器，如图9中的处理器。这些处理器中的每一个可以是一个单核处理器，也可以是一个多核处理器。
处理器可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器可以是通用处理器、数字信号处理器(digital signal processing，DSP)、ASIC、现成可编程门阵列(field-programmable gate array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本发明实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器，处理器读取存储器中的信息，结合其硬件完成上述方法的步骤。
上述主要从各个模块交互的角度对本发明实施例提供的方案进行了介绍。可以理解的是，为了实现上述功能，其包含了执行各个功能相应的硬件结构和/或软件模块。本领域技术人员应该很容易意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，本发明能够以硬件或硬件和计算机软件的结合形式来实现。某个功能究竟以硬件还是计算机软件驱动硬件的方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
尽管在此结合各实施例对本发明进行了描述，然而，在实施所要求保护的本发明过程中，本领域技术人员通过查看附图、公开内容、以及所附权利要求书，可理解并实现公开实施例的其他变化。在权利要求中，“包括”(comprising)一词不排除其他组成部分或步骤，“一”或“一个”不排除多个的情况。单个处理器或其他单元可以实现权利要求中列举的若干项功能。相互不同的从属权利要求中记载了某些措施，但这并不表示这些措施不能组合起来产生良好的效果。
尽管结合具体特征及其实施例对本发明进行了描述，显而易见的，在不脱离本发明的精神和范围的情况下，可对其进行各种修改和组合。相应地，本说明书和附图仅仅是所附权利要求所界定的本发明的示例性说明，且视为已覆盖本发明范围内的任意和所有修改、变化、组合或等同物。显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包括这些改动和变型在内。
Claims (7)
1.一种浅海珊瑚礁监测数据采集方法，其特征在于，包括：
获取珊瑚礁的初始遥感影像，对所述初始遥感影像进行预处理操作，得到所述珊瑚礁的遥感影像中的高分辨率数据和高光谱数据；
将所述高光谱数据输入非线性混合像元分解网络中，得到所述珊瑚礁的低分辨率丰度结果；
在所述非线性混合像元分解网络的基础上结合卷积神经网络以及动态滤波网络，构建得到具有孪生神经网络结构的空间信息融合网络；
将所述高分辨率数据和所述低分辨率丰度结果输入所述空间信息融合网络中，得到高分辨率高光谱数据；
所述将所述高分辨率数据和所述低分辨率丰度结果输入所述空间信息融合网络中，得到高分辨率高光谱数据，包括：
将所述高分辨率数据和所述低分辨率丰度结果输入所述空间信息融合网络中，利用所述空间信息融合网络中的重采样模块和空间结构滤波对所述高分辨率数据和所述低分辨率丰度结果进行重采样处理，得到高分辨率高光谱数据；所述重采样模块包括卷积层、归一化层、激活函数层以及上采样层；
所述利用所述空间信息融合网络中的重采样模块对所述高分辨率数据和所述低分辨率丰度结果进行重采样处理，包括：
利用所述空间信息融合网络对所述高分辨率数据进行降采样处理，对所述低分辨率丰度结果进行上采样处理；
对所述低分辨率丰度结果进行空间结构滤波和上采样处理之后，还包括：
基于所述高分辨率数据的空间结构，修正所述低分辨率丰度结果的空间结构，得到高分辨率丰度结果；
将所述高分辨率丰度结果输入softmax层，经过编码处理，得到所述珊瑚礁的底质分类结果。
2.根据权利要求1所述的一种浅海珊瑚礁监测数据采集方法，其特征在于，所述将所述高光谱数据输入非线性混合像元分解网络中，对所述高光谱数据进行混合像元分解，得到所述珊瑚礁的低分辨率丰度结果，包括：
利用所述非线性混合像元分解网络，基于逐段凸函数端元提取算法对所述高光谱数据进行端元提取，得到多组端元；
基于混合像元分解算法将所述高光谱数据扩展到多组端元，完成对所述高光谱数据的无监督混合像元分解，得到所述珊瑚礁的低分辨率丰度结果。
3.根据权利要求1所述的一种浅海珊瑚礁监测数据采集方法，其特征在于，所述对所述初始遥感影像进行预处理操作，得到所述珊瑚礁的遥感影像，包括：对所述初始遥感影像进行海面波浪消除处理、强反射光消除处理和水深反演处理，得到所述珊瑚礁的所述遥感影像。
4.根据权利要求1所述的一种浅海珊瑚礁监测数据采集方法，其特征在于，所述降采样处理和所述上采样处理的采样次数为预设次数，所述预设次数满足所述高分辨率数据和所述低分辨率丰度结果之间的空间分辨率差异的预设倍数。
5.根据权利要求1所述的一种浅海珊瑚礁监测数据采集方法，其特征在于，所述空间信息融合网络的目标函数为：
L＝α1*Ltrain+α2*Lunmixing+α3*LSSIM
其中，Ltrain由权重交叉熵损失函数构成；Lunmixing由均方误差损失函数构成；LSSIM由空间结构相似性损失函数构成；α1、α2和α3分别是Ltrain、Lunmixing和LSSIM的比例系数，α1、α2和α3之和为1。
6.一种浅海珊瑚礁监测数据采集装置，其特征在于，包括：
高分辨率数据和高光谱数据获取模块，用于获取珊瑚礁的初始遥感影像，对所述初始遥感影像进行预处理操作，得到所述珊瑚礁的遥感影像中的高分辨率数据和高光谱数据；
低分辨率丰度结果获取模块，用于将所述高光谱数据输入非线性混合像元分解网络中，得到所述珊瑚礁的低分辨率丰度结果；
空间信息融合网络构建模块，用于在所述非线性混合像元分解网络的基础上结合卷积神经网络以及动态滤波网络，构建得到空间信息融合网络；
高分辨率高光谱数据获取模块，用于将所述高分辨率数据和所述低分辨率丰度结果输入所述空间信息融合网络中，得到高分辨率高光谱数据；
所述高分辨率高光谱数据获取模块，用于：
将所述高分辨率数据和所述低分辨率丰度结果输入所述空间信息融合网络中，利用所述空间信息融合网络中的重采样模块和空间结构滤波对所述高分辨率数据和所述低分辨率丰度结果进行重采样处理，得到高分辨率高光谱数据；所述重采样模块包括卷积层、归一层、激活函数层以及上采样层；
所述利用所述空间信息融合网络中的重采样模块对所述高分辨率数据和所述低分辨率丰度结果进行重采样处理，包括：
利用所述空间信息融合网络对所述高分辨率数据进行降采样处理，对所述低分辨率丰度结果进行上采样处理；
对所述低分辨率丰度结果进行空间结构滤波和上采样处理之后，还包括：
基于所述高分辨率数据的空间结构，修正所述低分辨率丰度结果的空间结构，得到高分辨率丰度结果；
将所述高分辨率丰度结果输入softmax层，经过编码处理，得到所述珊瑚礁的底质分类结果。
7.一种浅海珊瑚礁监测数据采集设备，其特征在于，包括：
处理器以及与处理器耦合的通信接口；所述处理器用于运行计算机程序或指令，以实现如权利要求1-5任一项所述一种浅海珊瑚礁监测数据采集方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311263808.4A CN117237256B (zh) | 2023-09-27 | 2023-09-27 | 一种浅海珊瑚礁监测数据采集方法、装置及设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311263808.4A CN117237256B (zh) | 2023-09-27 | 2023-09-27 | 一种浅海珊瑚礁监测数据采集方法、装置及设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117237256A CN117237256A (zh) | 2023-12-15 |
| CN117237256B true CN117237256B (zh) | 2024-08-20 |
Family
ID=89090910
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311263808.4A Active CN117237256B (zh) | 2023-09-27 | 2023-09-27 | 一种浅海珊瑚礁监测数据采集方法、装置及设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117237256B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117975255B (zh) * | 2024-04-02 | 2024-06-21 | 国家海洋信息中心 | 一种多光谱遥感影像浅海底质类型识别方法 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112184554A (zh) * | 2020-10-13 | 2021-01-05 | 重庆邮电大学 | 一种基于残差混合膨胀卷积的遥感图像融合方法 |
| CN112699838A (zh) * | 2021-01-13 | 2021-04-23 | 武汉大学 | 基于光谱诊断特征加权的高光谱混合像元非线性盲分解方法 |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111742329B (zh) * | 2020-05-15 | 2023-09-12 | 安徽中科智能感知科技股份有限公司 | 一种基于多源遥感数据融合和深度神经网络的矿山开采典型地物动态监测方法及平台 |
| CN112991288B (zh) * | 2021-03-09 | 2022-11-18 | 东南大学 | 基于丰度图像锐化重构的高光谱遥感图像融合方法 |
| CN113628289B (zh) * | 2021-07-21 | 2023-10-27 | 武汉大学 | 基于图卷积自编码器的高光谱影像非线性解混方法及系统 |
| CN115471437B (zh) * | 2022-11-14 | 2023-03-10 | 中国测绘科学研究院 | 一种基于卷积神经网络的影像融合方法以及遥感影像融合方法 |
-
2023
- 2023-09-27 CN CN202311263808.4A patent/CN117237256B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112184554A (zh) * | 2020-10-13 | 2021-01-05 | 重庆邮电大学 | 一种基于残差混合膨胀卷积的遥感图像融合方法 |
| CN112699838A (zh) * | 2021-01-13 | 2021-04-23 | 武汉大学 | 基于光谱诊断特征加权的高光谱混合像元非线性盲分解方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117237256A (zh) | 2023-12-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108921799B (zh) | 基于多尺度协同学习卷积神经网络的遥感图像薄云去除方法 | |
| Li et al. | YOLOSR-IST: A deep learning method for small target detection in infrared remote sensing images based on super-resolution and YOLO | |
| CN111028327B (zh) | 一种三维点云的处理方法、装置及设备 | |
| CN111079685A (zh) | 一种3d目标检测方法 | |
| CN115410050B (zh) | 基于机器视觉的肿瘤细胞检测设备及其方法 | |
| Uss et al. | Maximum likelihood estimation of spatially correlated signal-dependent noise in hyperspectral images | |
| CN113901900A (zh) | 一种同源或异源遥感图像用无监督变化检测方法及系统 | |
| CN110570440A (zh) | 一种基于深度学习边缘检测的图像自动分割方法及装置 | |
| CN117237256B (zh) | 一种浅海珊瑚礁监测数据采集方法、装置及设备 | |
| CN111932577B (zh) | 文本检测方法、电子设备及计算机可读介质 | |
| Long et al. | Dual self-attention Swin transformer for hyperspectral image super-resolution | |
| CN112926548A (zh) | 一种车道线检测方法、装置、电子设备及存储介质 | |
| CN110633640A (zh) | 优化PointNet对于复杂场景的识别方法 | |
| Li et al. | MF-SRCDNet: Multi-feature fusion super-resolution building change detection framework for multi-sensor high-resolution remote sensing imagery | |
| Wang et al. | An ensemble multi-scale residual attention network (EMRA-net) for image Dehazing | |
| CN116645595A (zh) | 遥感影像建筑物屋顶轮廓识别方法、装置、设备和介质 | |
| CN118196640A (zh) | 一种改进rt-detr算法的遥感图像目标检测方法及系统 | |
| Shit et al. | An encoder‐decoder based CNN architecture using end to end dehaze and detection network for proper image visualization and detection | |
| Babu et al. | An efficient image dahazing using Googlenet based convolution neural networks | |
| CN117115666B (zh) | 基于多源数据的高原湖泊提取方法、装置、设备及介质 | |
| CN116309612B (zh) | 基于频率解耦监督的半导体硅晶圆检测方法、装置及介质 | |
| CN110866552B (zh) | 基于全卷积空间传播网络的高光谱图像分类方法 | |
| Ansari et al. | GPU based building footprint identification utilising self-attention multiresolution analysis | |
| Bian et al. | Swin transformer UNet for very high resolution image dehazing | |
| Zheng et al. | Dehaze-TGGAN: Transformer-Guide Generative Adversarial Networks with Spatial-Spectrum Attention for Unpaired Remote Sensing Dehazing |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |