CN116109829B - 一种基于融合网络的珊瑚礁水域图像分割方法 - Google Patents

一种基于融合网络的珊瑚礁水域图像分割方法 Download PDF

Info

Publication number
CN116109829B
CN116109829B CN202310378938.6A CN202310378938A CN116109829B CN 116109829 B CN116109829 B CN 116109829B CN 202310378938 A CN202310378938 A CN 202310378938A CN 116109829 B CN116109829 B CN 116109829B
Authority
CN
China
Prior art keywords
representing
coral reef
aperture radar
image
optical
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310378938.6A
Other languages
English (en)
Other versions
CN116109829A (zh
Inventor
李冠群
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Genyu Muxing Beijing Space Technology Co ltd
Original Assignee
Genyu Muxing Beijing Space Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Genyu Muxing Beijing Space Technology Co ltd filed Critical Genyu Muxing Beijing Space Technology Co ltd
Priority to CN202310378938.6A priority Critical patent/CN116109829B/zh
Publication of CN116109829A publication Critical patent/CN116109829A/zh
Application granted granted Critical
Publication of CN116109829B publication Critical patent/CN116109829B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Image Processing (AREA)

Abstract

本发明涉及图像处理技术领域，公开了一种基于融合网络的珊瑚礁水域图像分割方法，包括：获取珊瑚礁水域的光学遥感图像和合成孔径雷达图像；将珊瑚礁水域光学遥感图像通过光学处理分支得到光学特征；将珊瑚礁水域合成孔径雷达图像通过合成孔径雷达处理分支得到孔径雷达特征；融合光学特征和孔径雷达特征后得到融合特征；将融合特征输入至珊瑚礁水域遥感分割网络，得到珊瑚礁水域分割图像。本发明可同时兼备光学遥感图像获取颜色、纹理等信息和SAR图像在全天时全天候观测的优势；通过使用融合网络，分别提取两种不同图像的特征，并进行融合，再对融合特征分割，得到高精度的珊瑚礁水域分割图像。

Description

一种基于融合网络的珊瑚礁水域图像分割方法
技术领域
本发明属于图像处理技术领域，尤其涉及一种基于融合网络的珊瑚礁水域图像分割方法。
背景技术
珊瑚礁是地球上生物多样性和生产力最高的生态系统之一。这些重要的栖息地提供重要的生态和经济效益，包括粮食安全、海岸保护和旅游业。然而，珊瑚礁正受到一系列压力因素的威胁，包括过度捕捞、气候变化和水质差。监测珊瑚礁水域对于了解这些生态系统的健康状况和识别潜在威胁至关重要。遥感技术可以在高空间分辨率大面积监测珊瑚礁水域。光学遥感图像和合成孔径雷达（Synthetic Aperture Radar，SAR）图像是两种有前途的珊瑚礁水体监测遥感技术。光学遥感图像可以提供有关颜色、纹理的详细信息，而SAR图像可以穿透云层并提供有关信息。图像分割涉及将图像划分为有意义的区域或对象，是遥感图像分析中的关键步骤。深度学习技术的最新进展通过实现大型数据集的自动分割彻底改变了遥感图像分析。深度学习算法旨在从复杂和嘈杂的数据中学习特征，并且可以在分割遥感图像时实现高精度。将光学遥感图像和SAR图像与深度学习技术相结合，可以更全面地了解珊瑚礁生态系统的健康状况。
发明内容
本发明的目的在于克服上述一种或多种现有的技术问题，提供一种基于融合网络的珊瑚礁水域图像分割方法。
为实现上述目的，本发明提供的一种基于融合网络的珊瑚礁水域图像分割方法，包括：
获取珊瑚礁水域的光学遥感图像和合成孔径雷达图像；
将所述珊瑚礁水域光学遥感图像通过光学处理分支得到光学特征；
将所述珊瑚礁水域合成孔径雷达图像通过合成孔径雷达处理分支得到孔径雷达特征；
融合所述光学特征和所述孔径雷达特征后得到融合特征；
将所述融合特征输入至珊瑚礁水域遥感分割网络，得到珊瑚礁水域分割图像。
根据本发明的一个方面，所述光学处理分支包含5个光学处理模块，将所述珊瑚礁水域的光学遥感图像输入至所述光学处理分支，通过卷积、批规范化、修正线性单元和离散小波变换对所述珊瑚礁水域的光学遥感图像处理，得到输出特征，公式为，
Figure SMS_1
；
其中，
Figure SMS_2
表示通过第/>
Figure SMS_3
个光学处理模块后的输出特征；
Figure SMS_4
表示核尺寸为3×3的卷积；
Figure SMS_5
表示批规范化；
Figure SMS_6
表示修正线性单元；
Figure SMS_7
表示离散小波变换；
Figure SMS_8
表示所述珊瑚礁水域光学的遥感图像；
对通过光学处理模块后的输出进行卷积处理后得到所述光学特征，公式为，
Figure SMS_9
；
Figure SMS_10
；
其中，
Figure SMS_11
表示根据第一个光学处理模块后得到的光学特征；
Figure SMS_12
表示核尺寸为3×3的卷积；
Figure SMS_13
表示通过第一个光学处理模块后的输出特征。
根据本发明的一个方面，所述合成孔径雷达处理分支包括五个合成孔径雷达处理模块，将所述珊瑚礁水域的合成孔径雷达图像输入至所述合成孔径雷达处理分支，通过卷积、批规范化、修正线性单元和离散小波变换对所述珊瑚礁水域的合成孔径雷达图像处理，得到中间特征，公式为，
Figure SMS_14
；
其中，
Figure SMS_15
表示通过第/>
Figure SMS_16
个合成孔径雷达处理模块后的中间特征；
Figure SMS_17
表示核尺寸为3×3的卷积；
Figure SMS_18
表示批规范化；
Figure SMS_19
表示修正线性单元；
Figure SMS_20
表示离散小波变换；
Figure SMS_21
表示所述珊瑚礁水域的合成孔径雷达图像；
对通过合成孔径雷达处理模块后的输出进行卷积处理后得到所述孔径雷达特征，公式为，
Figure SMS_22
；
Figure SMS_23
；
其中，
Figure SMS_24
表示根据第一个合成孔径雷达处理模块后得到的孔径雷达特征；
Figure SMS_25
表示通过第/>
Figure SMS_26
个合成孔径雷达处理模块后的输出；
Figure SMS_27
表示核尺寸为1×1的卷积；
Figure SMS_28
表示通过第一个合成孔径雷达处理模块后的中间特征。
根据本发明的一个方面，通过四个融合模块融合所述光学特征和所述孔径雷达特征得到所述融合特征，公式为，
Figure SMS_29
；
Figure SMS_30
；
Figure SMS_31
；
其中，
Figure SMS_32
表示通过第/>
Figure SMS_33
个融合模块后的输出；
Figure SMS_34
表示核尺寸为3×3的卷积；
Figure SMS_35
表示批规范化；
Figure SMS_36
表示修正线性单元；
Figure SMS_37
表示离散小波变换；
Figure SMS_38
表示根据第/>
Figure SMS_39
个融合模块输出的融合特征。
根据本发明的一个方面，所述珊瑚礁水域遥感分割网络包含四个分割模块，将所述融合特征输入至所述珊瑚礁水域遥感分割网络，得到所述珊瑚礁水域分割图像，公式为，
Figure SMS_40
；
Figure SMS_41
；
其中，
Figure SMS_42
表示通过第/>
Figure SMS_43
个分割模块后的输出；
Figure SMS_44
表示根据第/>
Figure SMS_45
个融合模块输出的融合特征；
Figure SMS_46
表示根据第/>
Figure SMS_47
个分割模块后得到的中间图像；
Figure SMS_48
表示逆离散小波变换；
Figure SMS_49
表示核尺寸为3×3的卷积；
Figure SMS_50
表示批规范化；
Figure SMS_51
表示修正线性单元；
Figure SMS_52
表示离散小波变换；
Figure SMS_53
表示所述珊瑚礁水域分割图像。
根据本发明的一个方面，使用交叉熵损失和骰子损失构成的总体损失对所述珊瑚礁水域遥感分割网络进行训练，公式为，
Figure SMS_54
；
其中，
Figure SMS_55
表示与所述珊瑚礁水域分割图像对应的珊瑚礁水域分割标签图像；
Figure SMS_56
表示所述珊瑚礁水域分割图像；
Figure SMS_57
表示总体损失；
Figure SMS_58
表示交叉熵计算操作；
Figure SMS_59
表示骰子系数计算操作。
为实现上述目的，本发明提供的一种基于融合网络的珊瑚礁水域图像分割系统，系统包括：
图像获取模块，获取珊瑚礁水域光学遥感图像和珊瑚礁水域合成孔径雷达图像；
光学特征获取模块，将所述珊瑚礁水域光学遥感图像通过光学处理分支得到光学特征；
孔径雷达特征获取模块，将所述珊瑚礁水域合成孔径雷达图像通过合成孔径雷达处理分支得到孔径雷达特征；
融合特征获取模块，融合所述光学特征和所述孔径雷达特征后得到融合特征；
珊瑚礁水域分割图像获取模块，将所述融合特征输入至珊瑚礁水域遥感分割网络，得到珊瑚礁水域分割图像。
为实现上述目的，本发明提供一种电子设备，包括处理器、存储器及存储在存储器上并可在处理器上运行的计算机程序，计算机程序被处理器执行时实现上述针对一种基于融合网络的珊瑚礁水域图像分割方法。
为实现上述目的，本发明提供一种计算机可读存储介质，计算机可读存储介质上存储计算机程序，计算机程序被处理器执行时实现上述针对一种基于融合网络的珊瑚礁水域图像分割方法。
本发明的有益效果在于：（1）通过联合使用光学遥感图像和SAR图像进行珊瑚礁水域图像分割，可同时兼备光学遥感图像获取颜色、纹理等信息和SAR图像在全天时全天候观测的优势；
（2）通过使用融合网络，可分别提取两种不同图像的特征，并在不同特征尺度上进行融合，再将融合特征进行分割，从而得到高精度的珊瑚礁水域图像分割结果。
附图说明
图1示意性表示根据本发明的一种基于融合网络的珊瑚礁水域图像分割方法的流程示意图；
图2示意性表示本发明的一种基于融合网络的珊瑚礁水域图像分割方法的光学处理分支示意图；
图3示意性表示本发明的一种基于融合网络的珊瑚礁水域图像分割方法融合示意图；
图4示意性表示本发明的一种基于融合网络的珊瑚礁水域图像分割方法的分割网络示意图；
图5示意性表示本发明的一种基于融合网络的珊瑚礁水域图像分割方法的整体结构示意图；
图6示意性表示根据本发明的一种基于融合网络的珊瑚礁水域图像分割系统的结构示意图。
具体实施方式
现在将参照示例性实施例来论述本发明的内容，应当理解，论述的实施例仅是为了使得本领域普通技术人员能够更好地理解且因此实现本发明的内容，而不是暗示对本发明的范围的任何限制。
如本文中所使用的，术语“包括”及其变体要被解读为意味着“包括但不限于”的开放式术语。术语“基于”要被解读为“至少部分地基于”，术语“一个实施例”和“一种实施例”要被解读为“至少一个实施例”。
图1示意性表示根据本发明的一种基于融合网络的珊瑚礁水域图像分割方法的流程示意图，图5示意性表示本发明的一种基于融合网络的珊瑚礁水域图像分割方法的整体结构示意图；如图1和图5所示，本发明的一种基于融合网络的珊瑚礁水域图像分割方法，包括：
获取珊瑚礁水域的光学遥感图像和合成孔径雷达图像；
将珊瑚礁水域光学遥感图像通过光学处理分支得到光学特征；
将珊瑚礁水域合成孔径雷达图像通过合成孔径雷达处理分支得到孔径雷达特征；
融合光学特征和孔径雷达特征后得到融合特征；
将融合特征输入至珊瑚礁水域遥感分割网络，得到珊瑚礁水域分割图像。
根据本发明的一个实施方式，图2示意性表示本发明的一种基于融合网络的珊瑚礁水域图像分割方法的光学处理分支示意图，如图2所示，光学处理分支包含5个光学处理模块，将珊瑚礁水域的光学遥感图像输入至光学处理分支，通过卷积、批规范化、修正线性单元和离散小波变换对珊瑚礁水域的光学遥感图像处理，得到输出特征，公式为，
Figure SMS_60
；
其中，
Figure SMS_61
表示通过第/>
Figure SMS_62
个光学处理模块后的输出特征；
Figure SMS_63
表示核尺寸为3×3的卷积；
Figure SMS_64
表示批规范化；
Figure SMS_65
表示修正线性单元；
Figure SMS_66
表示离散小波变换；
Figure SMS_67
表示珊瑚礁水域光学的遥感图像；
对通过光学处理模块后的输出进行卷积处理后得到光学特征，公式为，
Figure SMS_68
；
Figure SMS_69
；
其中，
Figure SMS_70
表示根据第一个光学处理模块后得到的光学特征；
Figure SMS_71
表示核尺寸为3×3的卷积；
Figure SMS_72
表示通过第一个光学处理模块后的输出特征。
根据本发明的一个实施方式，图3示意性表示本发明的一种基于融合网络的珊瑚礁水域图像分割方法融合示意图，如图3所示，合成孔径雷达处理分支包括五个合成孔径雷达处理模块，将珊瑚礁水域的合成孔径雷达图像输入至合成孔径雷达处理分支，通过卷积、批规范化、修正线性单元和离散小波变换对珊瑚礁水域的合成孔径雷达图像处理，得到中间特征，公式为，
Figure SMS_73
；
其中，
Figure SMS_74
表示通过第/>
Figure SMS_75
个合成孔径雷达处理模块后的中间特征；
Figure SMS_76
表示核尺寸为3×3的卷积；
Figure SMS_77
表示批规范化；
Figure SMS_78
表示修正线性单元；
Figure SMS_79
表示离散小波变换；
Figure SMS_80
表示珊瑚礁水域的合成孔径雷达图像；
对通过合成孔径雷达处理模块后的输出进行卷积处理后得到孔径雷达特征，公式为，
Figure SMS_81
；
Figure SMS_82
；
其中，
Figure SMS_83
表示根据第一个合成孔径雷达处理模块后得到的孔径雷达特征；
Figure SMS_84
表示通过第/>
Figure SMS_85
个合成孔径雷达处理模块后的输出；
Figure SMS_86
表示核尺寸为1×1的卷积；
Figure SMS_87
表示通过第一个合成孔径雷达处理模块后的中间特征。
根据本发明的一个实施方式，通过四个融合模块融合光学特征和孔径雷达特征得到融合特征，公式为，
Figure SMS_88
；
Figure SMS_89
；
Figure SMS_90
；
其中，
Figure SMS_91
表示通过第/>
Figure SMS_92
个融合模块后的输出；
Figure SMS_93
表示核尺寸为3×3的卷积；
Figure SMS_94
表示批规范化；
Figure SMS_95
表示修正线性单元；
Figure SMS_96
表示离散小波变换；
Figure SMS_97
表示根据第/>
Figure SMS_98
个融合模块输出的融合特征。
根据本发明的一个实施方式，图4示意性表示本发明的一种基于融合网络的珊瑚礁水域图像分割方法的分割网络示意图，如图4所示，珊瑚礁水域遥感分割网络包含四个分割模块，将融合特征输入至珊瑚礁水域遥感分割网络，得到珊瑚礁水域分割图像，公式为，
Figure SMS_99
；
Figure SMS_100
；
其中，
Figure SMS_101
表示通过第/>
Figure SMS_102
个分割模块后的输出；
Figure SMS_103
表示根据第/>
Figure SMS_104
个融合模块输出的融合特征；
Figure SMS_105
表示根据第/>
Figure SMS_106
个分割模块后得到的中间图像；
Figure SMS_107
表示逆离散小波变换；
Figure SMS_108
表示核尺寸为3×3的卷积；
Figure SMS_109
表示批规范化；
Figure SMS_110
表示修正线性单元；
Figure SMS_111
表示离散小波变换；
Figure SMS_112
表示珊瑚礁水域分割图像。
根据本发明的一个实施方式，使用交叉熵损失和骰子损失构成的总体损失对珊瑚礁水域遥感分割网络进行训练，公式为，
Figure SMS_113
；
其中，
Figure SMS_114
表示与珊瑚礁水域分割图像对应的珊瑚礁水域分割标签图像；
Figure SMS_115
表示珊瑚礁水域分割图像；
Figure SMS_116
表示总体损失；
Figure SMS_117
表示交叉熵计算操作；
Figure SMS_118
表示骰子系数计算操作。
不仅如此，为实现上述发明目的，本发明还提供一种基于融合网络的珊瑚礁水域图像分割系统，图6示意性表示根据本发明的一种基于融合网络的珊瑚礁水域图像分割系统的流程图，如图6所示，根据本发明的一种基于融合网络的珊瑚礁水域图像分割系统，该系统包括：
图像获取模块，获取珊瑚礁水域光学遥感图像和珊瑚礁水域合成孔径雷达图像；
光学特征获取模块，将珊瑚礁水域光学遥感图像通过光学处理分支得到光学特征；
孔径雷达特征获取模块，将珊瑚礁水域合成孔径雷达图像通过合成孔径雷达处理分支得到孔径雷达特征；
融合特征获取模块，融合光学特征和孔径雷达特征后得到融合特征；
珊瑚礁水域分割图像获取模块，将融合特征输入至珊瑚礁水域遥感分割网络，得到珊瑚礁水域分割图像。
根据本发明的一个实施方式，图2示意性表示本发明的一种基于融合网络的珊瑚礁水域图像分割方法的光学处理分支示意图，如图2所示，光学特征获取模块中的光学处理分支包含5个光学处理模块，将珊瑚礁水域的光学遥感图像输入至光学处理分支，通过卷积、批规范化、修正线性单元和离散小波变换对珊瑚礁水域的光学遥感图像处理，得到输出特征，公式为，
Figure SMS_119
；
其中，
Figure SMS_120
表示通过第/>
Figure SMS_121
个光学处理模块后的输出特征；
Figure SMS_122
表示核尺寸为3×3的卷积；
Figure SMS_123
表示批规范化；
Figure SMS_124
表示修正线性单元；
Figure SMS_125
表示离散小波变换；
Figure SMS_126
表示珊瑚礁水域光学的遥感图像；
对通过光学处理模块后的输出进行卷积处理后得到光学特征，公式为，
Figure SMS_127
；
Figure SMS_128
；
其中，
Figure SMS_129
表示根据第一个光学处理模块后得到的光学特征；
Figure SMS_130
表示核尺寸为3×3的卷积；
Figure SMS_131
表示通过第一个光学处理模块后的输出特征。
根据本发明的一个实施方式，图3示意性表示本发明的一种基于融合网络的珊瑚礁水域图像分割方法融合示意图，如图3所示，孔径雷达特征获取模块中合成孔径雷达处理分支包括五个合成孔径雷达处理模块，将珊瑚礁水域的合成孔径雷达图像输入至合成孔径雷达处理分支，通过卷积、批规范化、修正线性单元和离散小波变换对珊瑚礁水域的合成孔径雷达图像处理，得到中间特征，公式为，
Figure SMS_132
；
其中，
Figure SMS_133
表示通过第/>
Figure SMS_134
个合成孔径雷达处理模块后的中间特征；
Figure SMS_135
表示核尺寸为3×3的卷积；
Figure SMS_136
表示批规范化；
Figure SMS_137
表示修正线性单元；
Figure SMS_138
表示离散小波变换；
Figure SMS_139
表示珊瑚礁水域的合成孔径雷达图像；
对通过合成孔径雷达处理模块后的输出进行卷积处理后得到孔径雷达特征，公式为，
Figure SMS_140
；
Figure SMS_141
；
其中，
Figure SMS_142
表示根据第一个合成孔径雷达处理处理模块后得到的孔径雷达特征；
Figure SMS_143
表示通过第/>
Figure SMS_144
个合成孔径雷达处理处理模块后的输出；
Figure SMS_145
表示核尺寸为1×1的卷积；
Figure SMS_146
表示通过第一个合成孔径雷达处理模块后的中间特征。
根据本发明的一个实施方式，通过四个融合模块融合光学特征和孔径雷达特征得到融合特征，公式为，
Figure SMS_147
；
Figure SMS_148
；
Figure SMS_149
；
其中，
Figure SMS_150
表示通过第/>
Figure SMS_151
个融合模块后的输出；
Figure SMS_152
表示核尺寸为3×3的卷积；
Figure SMS_153
表示批规范化；
Figure SMS_154
表示修正线性单元；
Figure SMS_155
表示离散小波变换；
Figure SMS_156
表示根据第/>
Figure SMS_157
个融合模块输出的融合特征。
根据本发明的一个实施方式，图4示意性表示本发明的一种基于融合网络的珊瑚礁水域图像分割方法的分割网络示意图，如图4所示，珊瑚礁水域分割图像获取模块中的珊瑚礁水域遥感分割网络包含四个分割模块，将融合特征输入至珊瑚礁水域遥感分割网络，得到珊瑚礁水域分割图像，公式为，
Figure SMS_158
；
Figure SMS_159
；
其中，
Figure SMS_160
表示通过第/>
Figure SMS_161
个分割模块后的输出；
Figure SMS_162
表示根据第/>
Figure SMS_163
个融合模块输出的融合特征；
Figure SMS_164
表示根据第/>
Figure SMS_165
个分割模块后得到的中间图像；
Figure SMS_166
表示逆离散小波变换；
Figure SMS_167
表示核尺寸为3×3的卷积；
Figure SMS_168
表示批规范化；
Figure SMS_169
表示修正线性单元；
Figure SMS_170
表示离散小波变换；
Figure SMS_171
表示珊瑚礁水域分割图像。
根据本发明的一个实施方式，使用交叉熵损失和骰子损失构成的总体损失对珊瑚礁水域遥感分割网络进行训练，公式为，
Figure SMS_172
；
其中，
Figure SMS_173
表示与珊瑚礁水域分割图像对应的珊瑚礁水域分割标签图像；
Figure SMS_174
表示珊瑚礁水域分割图像；
Figure SMS_175
表示总体损失；
Figure SMS_176
表示交叉熵计算操作；
Figure SMS_177
表示骰子系数计算操作。
为实现上述发明目的，本发明还提供一种电子设备，该电子设备包括：处理器、存储器及存储在存储器上并可在处理器上运行的计算机程序，计算机程序被处理器执行时实现上述一种基于融合网络的珊瑚礁水域图像分割方法。
为实现上述发明目的，本发明还提供一种计算机可读存储介质，计算机可读存储介质上存储计算机程序，计算机程序被处理器执行时实现上述一种基于融合网络的珊瑚礁水域图像分割方法。
基于此，本发明的有益效果在于，（1）通过联合使用光学遥感图像和SAR图像进行珊瑚礁水域图像分割，可同时兼备光学遥感图像获取颜色、纹理等信息和SAR图像在全天时全天候观测的优势；
（2）通过使用融合网络，可分别提取两种不同图像的特征，并在不同特征尺度上进行融合，再将融合特征进行分割，从而得到高精度的珊瑚礁水域图像分割结果。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的模块及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的装置和设备的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本申请所提供的实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个模块或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或模块的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理模块，即可以位于一个地方，或者也可以分布到多个网络模块上。可以根据实际的需要选择其中的部分或者全部模块来实现本发明实施例方案的目的。
另外，在本发明实施例中的各功能模块可以集成在一个处理模块中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个模块中。
所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例节能信号发送/接收的方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
以上描述仅为本申请的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本申请中所涉及的发明范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离所述发明构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本申请中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。
应理解，本发明的发明内容及实施例中各步骤的序号的大小并不绝对意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。

Claims (5)

1.一种基于融合网络的珊瑚礁水域图像分割方法，其特征在于，所述方法包括：
获取珊瑚礁水域的光学遥感图像和合成孔径雷达图像；
将所述珊瑚礁水域光学遥感图像通过光学处理分支得到光学特征；
所述光学处理分支包含5个光学处理模块，将所述珊瑚礁水域的光学遥感图像输入至所述光学处理模块，通过卷积、批规范化、修正线性单元和离散小波变换对所述珊瑚礁水域的光学遥感图像处理，得到输出特征，公式为，
Figure QLYQS_1
；
其中，
Figure QLYQS_2
表示通过第/>
Figure QLYQS_3
个光学处理模块后的输出特征；
Figure QLYQS_4
表示核尺寸为3×3的卷积；
Figure QLYQS_5
表示批规范化；
Figure QLYQS_6
表示修正线性单元；
Figure QLYQS_7
表示离散小波变换；
Figure QLYQS_8
表示所述珊瑚礁水域光学的遥感图像；
对通过光学处理模块后的输出特征进行卷积处理后得到所述光学特征，公式为，
Figure QLYQS_9
；
Figure QLYQS_10
；
其中，
Figure QLYQS_11
表示根据第一个光学处理模块后得到的光学特征；
Figure QLYQS_12
表示核尺寸为3×3的卷积；
Figure QLYQS_13
表示通过第一个光学处理模块后的输出特征；
所述合成孔径雷达处理分支包括五个合成孔径雷达处理模块，将所述珊瑚礁水域的合成孔径雷达图像输入至所述合成孔径雷达处理分支，通过卷积、批规范化、修正线性单元和离散小波变换对所述珊瑚礁水域的合成孔径雷达图像处理，得到中间特征，公式为，
Figure QLYQS_14
；
其中，
Figure QLYQS_15
表示通过第/>
Figure QLYQS_16
个合成孔径雷达处理模块后的中间特征；
Figure QLYQS_17
表示核尺寸为3×3的卷积；
Figure QLYQS_18
表示批规范化；
Figure QLYQS_19
表示修正线性单元；
Figure QLYQS_20
表示离散小波变换；
Figure QLYQS_21
表示所述珊瑚礁水域的合成孔径雷达图像；
对通过合成孔径雷达处理模块后的输出进行卷积处理后得到孔径雷达特征，公式为，
Figure QLYQS_22
；
Figure QLYQS_23
；
其中，
Figure QLYQS_24
表示根据第一个合成孔径雷达处理模块后得到的孔径雷达特征；
Figure QLYQS_25
表示通过第/>
Figure QLYQS_26
个合成孔径雷达处理模块后的输出；
Figure QLYQS_27
表示核尺寸为1×1的卷积；
Figure QLYQS_28
表示通过第一个合成孔径雷达处理模块后的中间特征；
通过四个融合模块融合所述光学特征和所述孔径雷达特征得到融合特征，公式为，
Figure QLYQS_29
；
Figure QLYQS_30
；
Figure QLYQS_31
；
其中，
Figure QLYQS_32
表示通过第/>
Figure QLYQS_33
个融合模块后的输出；
Figure QLYQS_34
表示核尺寸为3×3的卷积；
Figure QLYQS_35
表示批规范化；
Figure QLYQS_36
表示修正线性单元；
Figure QLYQS_37
表示离散小波变换；
Figure QLYQS_38
表示根据第/>
Figure QLYQS_39
个融合模块输出的融合特征；
所述珊瑚礁水域遥感分割网络包含四个分割模块，将所述融合特征输入至所述珊瑚礁水域遥感分割网络，得到所述珊瑚礁水域分割图像，公式为，
Figure QLYQS_40
；
Figure QLYQS_41
；
其中，
Figure QLYQS_42
表示通过第/>
Figure QLYQS_43
个分割模块后的输出；
Figure QLYQS_44
表示根据第/>
Figure QLYQS_45
个融合模块输出的融合特征；
Figure QLYQS_46
表示根据第/>
Figure QLYQS_47
个分割模块后得到的中间图像；
Figure QLYQS_48
表示逆离散小波变换；
Figure QLYQS_49
表示核尺寸为3×3的卷积；
Figure QLYQS_50
表示批规范化；
Figure QLYQS_51
表示修正线性单元；
Figure QLYQS_52
表示离散小波变换；
Figure QLYQS_53
表示所述珊瑚礁水域分割图像；
将所述珊瑚礁水域合成孔径雷达图像通过合成孔径雷达处理分支得到孔径雷达特征；
融合所述光学特征和所述孔径雷达特征后得到融合特征；
将所述融合特征输入至珊瑚礁水域遥感分割网络，得到珊瑚礁水域分割图像。
2.根据权利要求1所述的方法，其特征在于，使用交叉熵损失和骰子损失构成的总体损失对所述珊瑚礁水域遥感分割网络进行训练，公式为，
Figure QLYQS_54
；
其中，
Figure QLYQS_55
表示与所述珊瑚礁水域分割图像对应的珊瑚礁水域分割标签图像；
Figure QLYQS_56
表示所述珊瑚礁水域分割图像；
Figure QLYQS_57
表示总体损失；
Figure QLYQS_58
表示交叉熵计算操作；
Figure QLYQS_59
表示骰子系数计算操作。
3.一种基于融合网络的珊瑚礁水域图像分割系统，其特征在于，所述系统包括：
图像获取模块，获取珊瑚礁水域光学遥感图像和珊瑚礁水域合成孔径雷达图像；
光学特征获取模块，将所述珊瑚礁水域光学遥感图像通过光学处理分支得到光学特征；
所述光学处理分支包含5个光学处理模块，将所述珊瑚礁水域的光学遥感图像输入至所述光学处理模块，通过卷积、批规范化、修正线性单元和离散小波变换对所述珊瑚礁水域的光学遥感图像处理，得到输出特征，公式为，
Figure QLYQS_60
；
其中，
Figure QLYQS_61
表示通过第/>
Figure QLYQS_62
个光学处理模块后的输出特征；
Figure QLYQS_63
表示核尺寸为3×3的卷积；
Figure QLYQS_64
表示批规范化；
Figure QLYQS_65
表示修正线性单元；
Figure QLYQS_66
表示离散小波变换；
Figure QLYQS_67
表示所述珊瑚礁水域光学的遥感图像；
对通过光学处理模块后的输出特征进行卷积处理后得到所述光学特征，公式为，
Figure QLYQS_68
；
Figure QLYQS_69
；
其中，
Figure QLYQS_70
表示根据第一个光学处理模块后得到的光学特征；
Figure QLYQS_71
表示核尺寸为3×3的卷积；
Figure QLYQS_72
表示通过第一个光学处理模块后的输出特征；
所述合成孔径雷达处理分支包括五个合成孔径雷达处理模块，将所述珊瑚礁水域的合成孔径雷达图像输入至所述合成孔径雷达处理分支，通过卷积、批规范化、修正线性单元和离散小波变换对所述珊瑚礁水域的合成孔径雷达图像处理，得到中间特征，公式为，
Figure QLYQS_73
；
其中，
Figure QLYQS_74
表示通过第/>
Figure QLYQS_75
个合成孔径雷达处理模块后的中间特征；
Figure QLYQS_76
表示核尺寸为3×3的卷积；
Figure QLYQS_77
表示批规范化；
Figure QLYQS_78
表示修正线性单元；
Figure QLYQS_79
表示离散小波变换；
Figure QLYQS_80
表示所述珊瑚礁水域的合成孔径雷达图像；
对通过合成孔径雷达处理模块后的输出进行卷积处理后得到孔径雷达特征，公式为，
Figure QLYQS_81
；
Figure QLYQS_82
；
其中，
Figure QLYQS_83
表示根据第一个合成孔径雷达处理模块后得到的孔径雷达特征；
Figure QLYQS_84
表示通过第/>
Figure QLYQS_85
个合成孔径雷达处理模块后的输出；
Figure QLYQS_86
表示核尺寸为1×1的卷积；
Figure QLYQS_87
表示通过第一个合成孔径雷达处理模块后的中间特征；
通过四个融合模块融合所述光学特征和所述孔径雷达特征得到融合特征，公式为，
Figure QLYQS_88
；
Figure QLYQS_89
；
Figure QLYQS_90
；
其中，
Figure QLYQS_91
表示通过第/>
Figure QLYQS_92
个融合模块后的输出；
Figure QLYQS_93
表示核尺寸为3×3的卷积；
Figure QLYQS_94
表示批规范化；
Figure QLYQS_95
表示修正线性单元；
Figure QLYQS_96
表示离散小波变换；
Figure QLYQS_97
表示根据第/>
Figure QLYQS_98
个融合模块输出的融合特征；
所述珊瑚礁水域遥感分割网络包含四个分割模块，将所述融合特征输入至所述珊瑚礁水域遥感分割网络，得到所述珊瑚礁水域分割图像，公式为，
Figure QLYQS_99
；
Figure QLYQS_100
；
其中，
Figure QLYQS_101
表示通过第/>
Figure QLYQS_102
个分割模块后的输出；
Figure QLYQS_103
表示根据第/>
Figure QLYQS_104
个融合模块输出的融合特征；
Figure QLYQS_105
表示根据第/>
Figure QLYQS_106
个分割模块后得到的中间图像；
Figure QLYQS_107
表示逆离散小波变换；
Figure QLYQS_108
表示核尺寸为3×3的卷积；
Figure QLYQS_109
表示批规范化；
Figure QLYQS_110
表示修正线性单元；
Figure QLYQS_111
表示离散小波变换；
Figure QLYQS_112
表示所述珊瑚礁水域分割图像；
孔径雷达特征获取模块，将所述珊瑚礁水域合成孔径雷达图像通过合成孔径雷达处理分支得到孔径雷达特征；
融合特征获取模块，融合所述光学特征和所述孔径雷达特征后得到融合特征；
珊瑚礁水域分割图像获取模块，将所述融合特征输入至珊瑚礁水域遥感分割网络，得到珊瑚礁水域分割图像。
4.一种电子设备，其特征在于，包括处理器、存储器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如权利要求1至2中任一项所述的一种基于融合网络的珊瑚礁水域图像分割方法。
5.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储计算机程序，所述计算机程序被处理器执行时实现如权利要求1至2中任一项所述的一种基于融合网络的珊瑚礁水域图像分割方法。
CN202310378938.6A 2023-04-11 2023-04-11 一种基于融合网络的珊瑚礁水域图像分割方法 Active CN116109829B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310378938.6A CN116109829B (zh) 2023-04-11 2023-04-11 一种基于融合网络的珊瑚礁水域图像分割方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310378938.6A CN116109829B (zh) 2023-04-11 2023-04-11 一种基于融合网络的珊瑚礁水域图像分割方法

Publications (2)

Publication Number Publication Date
CN116109829A CN116109829A (zh) 2023-05-12
CN116109829B true CN116109829B (zh) 2023-06-16

Family

ID=86256461

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310378938.6A Active CN116109829B (zh) 2023-04-11 2023-04-11 一种基于融合网络的珊瑚礁水域图像分割方法

Country Status (1)

Country Link
CN (1) CN116109829B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117392539B (zh) * 2023-10-13 2024-04-09 哈尔滨师范大学 一种基于深度学习的河流水体识别方法、电子设备及存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112489108A (zh) * 2020-12-24 2021-03-12 中国科学院南海海洋研究所 一种远海珊瑚礁水下表面积反演重建的方法及装置
CN115546076A (zh) * 2022-12-05 2022-12-30 耕宇牧星(北京)空间科技有限公司 一种基于卷积网络的遥感图像薄云去除方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102170260B1 (ko) * 2019-05-03 2020-10-26 건국대학교 산학협력단 합성 개구 레이더 영상 및 다중분광영상의 융합 장치, 방법 및 그를 이용한 변화 검출 방법
CN115546351B (zh) * 2022-12-02 2023-04-07 耕宇牧星(北京)空间科技有限公司 一种基于卷积网络的合成孔径雷达图像着色方法
CN115641442B (zh) * 2022-12-02 2023-04-18 耕宇牧星(北京)空间科技有限公司 一种基于融合网络的山体图像山脊线分割方法
CN115620149B (zh) * 2022-12-05 2023-07-11 耕宇牧星(北京)空间科技有限公司 一种基于遥感图像的道路检测方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112489108A (zh) * 2020-12-24 2021-03-12 中国科学院南海海洋研究所 一种远海珊瑚礁水下表面积反演重建的方法及装置
CN115546076A (zh) * 2022-12-05 2022-12-30 耕宇牧星(北京)空间科技有限公司 一种基于卷积网络的遥感图像薄云去除方法

Also Published As

Publication number Publication date
CN116109829A (zh) 2023-05-12

Similar Documents

Publication Publication Date Title
CN112184577B (zh) 基于多尺度自注意生成对抗网络的单幅图像去雾方法
CN110765912B (zh) 一种基于统计约束和Mask R-CNN的SAR图片船舶目标检测方法
Xiao et al. Segmentation of multispectral high-resolution satellite imagery using log Gabor filters
CN116109829B (zh) 一种基于融合网络的珊瑚礁水域图像分割方法
Touati et al. A reliable mixed-norm-based multiresolution change detector in heterogeneous remote sensing images
Xiao et al. Deep learning-based spatiotemporal fusion of unmanned aerial vehicle and satellite reflectance images for crop monitoring
CN114972378A (zh) 一种基于掩码注意力机制的脑肿瘤mri图像分割方法
Singh et al. A review of image fusion: Methods, applications and performance metrics
Topouzelis et al. The use of Sentinel-2 imagery for seagrass mapping: Kalloni Gulf (Lesvos Island, Greece) case study
CN113553973A (zh) 一种基于双向注意力的伪装物体检测方法
Wang et al. Application of mixture regression for improved polarimetric SAR speckle filtering
Han et al. Edge-preserving filtering-based dehazing for remote sensing images
CN113887472A (zh) 基于级联颜色及纹理特征注意力的遥感图像云检测方法
Wang et al. An ensemble multi-scale residual attention network (EMRA-net) for image Dehazing
CN116543165B (zh) 一种基于双通道复合深度网络的遥感图像果树分割方法
Pande-Chhetri et al. Filtering high-resolution hyperspectral imagery in a maximum noise fraction transform domain using wavelet-based de-striping
Lei et al. Convolution neural network with edge structure loss for spatiotemporal remote sensing image fusion
CN115546351A (zh) 一种基于卷积网络的合成孔径雷达图像着色方法
CN112016441B (zh) 基于Radon变换多特征融合的Sentinel-1图像海岸带养殖池提取方法
Gladkova et al. SST pattern test in ACSPO clear-sky mask for VIIRS
CN109949383B (zh) 一种高动态光学投影层析成像方法及装置
Sharma DSP in image processing
CN116168302B (zh) 一种基于多尺度残差融合网络的遥感图像岩脉提取方法
Cao et al. Single-frame remote sensing image defogging network based on attention residual blocks and contrast learning
Zhang et al. Segmentation of typhoon cloud image by combining a discrete stationary wavelet transform with a continuous wavelet transform

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
PE01 Entry into force of the registration of the contract for pledge of patent right
PE01 Entry into force of the registration of the contract for pledge of patent right

Denomination of invention: A Method of Coral Reef Waters Image Segmentation Based on Fusion Networks

Effective date of registration: 20230911

Granted publication date: 20230616

Pledgee: Bank of Nanjing Limited by Share Ltd. Beijing branch

Pledgor: Genyu muxing (Beijing) Space Technology Co.,Ltd.

Registration number: Y2023110000385