CN118097155B - 基于全局与局部特征协作的遥感图像分割方法及系统 - Google Patents
基于全局与局部特征协作的遥感图像分割方法及系统 Download PDFInfo
- Publication number
- CN118097155B CN118097155B CN202410486740.4A CN202410486740A CN118097155B CN 118097155 B CN118097155 B CN 118097155B CN 202410486740 A CN202410486740 A CN 202410486740A CN 118097155 B CN118097155 B CN 118097155B
- Authority
- CN
- China
- Prior art keywords
- global
- feature
- remote sensing
- sensing image
- local
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003709 image segmentation Methods 0.000 title claims abstract description 58
- 238000000034 method Methods 0.000 title claims abstract description 36
- 230000011218 segmentation Effects 0.000 claims abstract description 25
- 230000004927 fusion Effects 0.000 claims abstract description 20
- 238000007781 pre-processing Methods 0.000 claims abstract description 12
- 230000002708 enhancing effect Effects 0.000 claims abstract description 9
- 238000000605 extraction Methods 0.000 claims description 23
- 238000012549 training Methods 0.000 claims description 20
- 230000007246 mechanism Effects 0.000 claims description 19
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 claims description 15
- 230000008569 process Effects 0.000 claims description 15
- 238000005070 sampling Methods 0.000 claims description 14
- 238000012360 testing method Methods 0.000 claims description 11
- 238000010586 diagram Methods 0.000 claims description 10
- 238000012795 verification Methods 0.000 claims description 7
- 238000012545 processing Methods 0.000 claims description 6
- 239000011159 matrix material Substances 0.000 claims description 2
- 230000006870 function Effects 0.000 description 9
- 238000013527 convolutional neural network Methods 0.000 description 4
- 230000007547 defect Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000014509 gene expression Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 239000002689 soil Substances 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/42—Global feature extraction by analysis of the whole pattern, e.g. using frequency domain transformations or autocorrelation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
- G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Databases & Information Systems (AREA)
- Medical Informatics (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- General Engineering & Computer Science (AREA)
- Molecular Biology (AREA)
- Data Mining & Analysis (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及图像分割技术领域，公开了基于全局与局部特征协作的遥感图像分割方法及系统；其中方法，包括：获取待分割的遥感图像；对待分割的遥感图像进行预处理；将预处理后的遥感图像输入到训练后的遥感图像分割模型中，模型对待分割的遥感图像进行特征提取，得到不同分辨率的全局特征和每一种分辨率对应的局部特征；同一分辨率下，基于全局特征对局部特征进行增强，得到增强后的局部特征；同一分辨率下，基于增强后的局部特征对全局特征进行增强，得到增强后的全局特征；对不同分辨率下增强后的全局特征进行特征融合，得到最终的特征图，将最终的特征图输入到预测器中，得到分割结果。本发明提高了分割模型的精度。
Description
技术领域
本发明涉及图像分割技术领域，特别是涉及基于全局与局部特征协作的遥感图像分割方法及系统。
背景技术
语义分割是计算机视觉中的一项基本任务，它为每个像素分配一个标签，也称为像素级分类。随着语义分割技术的不断进步，它被用来解决数据多样化且丰富的遥感图像。目前，语义分割技术广泛应用于环境监测、智能农业、土地覆盖检测和城市规划等领域。
高分辨率遥感(high resolution remote sensing，HRRS)图像包含了丰富的各种地面物体信息，如道路、建筑物、车辆等。与自然图像相比，高分辨率遥感图像包含更加复杂的空间布局和各种类型的物体。地物多尺度和相对复杂的纹理信息的存在往往会导致类间相似性和类内多样性较高，使得准确分离这些物体的边界变得困难。此外，不同物体的边界有时会重叠，导致一些小尺寸物体的特征不容易区分。
面对高分辨率遥感图像分割需求日益增长，深度卷积神经网络(ConvolutionalNeural Networks, CNN)的发展取得了显着进展。然而，当前的方法要么对超高分辨率图像进行下采样，要么将其裁剪成小块以进行单独处理。无论哪种方式，局部精细细节或全局上下文信息的丢失都会限制分割精度。
发明内容
为了解决现有技术的不足，本发明提供了基于全局与局部特征协作的遥感图像分割方法及系统；针对高分辨率遥感图像，具体是通过卷积神经网络提取遥感图像的全局、局部多尺度信息，并基于交叉注意力机制Cross-Attention使全局-局部特征进行协作增强，最后综合多尺度的信息逐步解码获得最后的分割结果。
一方面，提供了基于全局与局部特征协作的遥感图像分割方法，包括：获取待分割的遥感图像；对待分割的遥感图像进行预处理；将预处理后的遥感图像输入到训练后的遥感图像分割模型中，得到分割后的遥感图像；其中，训练后的遥感图像分割模型，用于对待分割的遥感图像进行特征提取，得到不同分辨率的全局特征和每一种分辨率对应的局部特征；同一分辨率下，基于全局特征对局部特征进行增强，得到增强后的局部特征；同一分辨率下，基于增强后的局部特征对全局特征进行增强，得到增强后的全局特征；对不同分辨率下增强后的全局特征进行特征融合，得到最终的特征图，将最终的特征图输入到预测器中，得到分割结果。
另一方面，提供了基于全局与局部特征协作的遥感图像分割系统，包括：获取模块，其被配置为：获取待分割的遥感图像；预处理模块，其被配置为：对待分割的遥感图像进行预处理；分割模块，其被配置为：将预处理后的遥感图像输入到训练后的遥感图像分割模型中，得到分割后的遥感图像；其中，训练后的遥感图像分割模型，用于对待分割的遥感图像进行特征提取，得到不同分辨率的全局特征和每一种分辨率对应的局部特征；同一分辨率下，基于全局特征对局部特征进行增强，得到增强后的局部特征；同一分辨率下，基于增强后的局部特征对全局特征进行增强，得到增强后的全局特征；对不同分辨率下增强后的全局特征进行特征融合，得到最终的特征图，将最终的特征图输入到预测器中，得到分割结果。
上述技术方案具有如下优点或有益效果：提供了一种全局-局部协作的高分辨率遥感图像分割方法，克服了现有分割算法在遥感图像分割领域的不足，进一步提高了分割模型的精度；本发明通过引入交叉注意力机制，使得全局特征和局部特征的融合更加有效，同时在训练过程中加入了辅助损失函数，并融合多尺度的信息逐步解码得到最后的分割图，最终得到了分割性能更好的分割模型。
附图说明
构成本发明的一部分的说明书附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。
图1为实施例一的方法流程图。
图2为实施例一的训练后图像分割模型的内部结构示意图。
图3为实施例一的第一特征提取网络内部结构图。
具体实施方式
应该指出，以下详细说明都是示例性的，旨在对本发明提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本发明所属技术领域的普通技术人员通常理解的相同含义。
实施例一：如图1所示，本实施例提供了基于全局与局部特征协作的遥感图像分割方法，包括：S101：获取待分割的遥感图像；S102：对待分割的遥感图像进行预处理；S103：将预处理后的遥感图像输入到训练后的遥感图像分割模型中，得到分割后的遥感图像；其中，训练后的遥感图像分割模型，用于对待分割的遥感图像进行特征提取，得到不同分辨率的全局特征和每一种分辨率对应的局部特征；同一分辨率下，基于全局特征对局部特征进行增强，得到增强后的局部特征；同一分辨率下，基于增强后的局部特征对全局特征进行增强，得到增强后的全局特征；对不同分辨率下增强后的全局特征进行特征融合，得到最终的特征图，将最终的特征图输入到预测器中，得到分割结果。
进一步地，所述S101：获取待分割的遥感图像，是通过遥感传感器获取的。
进一步地，所述S102：对待分割的遥感图像进行预处理，包括：对待分割的遥感图像分别进行降采样处理和裁剪处理；降采样处理后的图像用于提取全局特征，裁剪处理后的图像用于提取局部特征。
进一步地，所述裁剪处理，是使用滑动窗口的方式将待分割的遥感图像裁剪为若干个图像区域，每个图像区域为一个局部图像。
高分辨率的遥感图像具有很大的尺寸，受限于计算资源，需要将原始图像进行降采样和裁剪后再送入模型。
首先从含有个高分辨率的数据集，其中，进行降采样得到低分辨率图像作为全局分支，其中。
随后采用滑动窗口的方式对中原始图像裁剪为多个局部图像块作为局部分支，其中，每张原始图像裁剪为K个局部图像块。
设置、具有相同的分辨率，即，且、。此外在裁剪过程中保证相邻的局部图像块具有大于50像素的公共区域，并且记录每张图片裁剪比例、裁剪坐标等信息，这将作用于全局-局部协作过程中。
随后对标签文件进行掩模(mask)处理，将包含大量干扰项的背景像素点类别设置为-1，便于后续计算损失函数时忽略此类别。
应理解地，在本发明中高分辨率图像为2448像素乘以2448像素；低分辨率像素为508乘以508像素。
进一步地，所述S103：将预处理后的遥感图像输入到训练后的遥感图像分割模型中，得到分割后的遥感图像，所述训练后的遥感图像分割模型，训练过程包括：构建数据集；将数据集，按照设定比例进行划分，得到训练集、验证集和测试集；将训练集输入到遥感图像分割模型中，对模型进行训练，当模型的总损失函数值不再下降，或者，迭代次数超过设定次数时，停止训练，得到初步训练后的遥感图像分割模型；将验证集输入到初步训练后的遥感图像分割模型中，对模型进行验证；将测试集，输入到初步训练后的遥感图像分割模型中，对模型进行测试，如果测试准确率高于设定阈值，则将当前初步训练后的遥感图像分割模型，作为最终训练后的遥感图像分割模型。
示例性地，将原始遥感图像数据集，按照6:2:2的比例划分为训练集和验证集和测试集，在训练集、验证集上进行模型的训练，在测试集上评估模型效果。
模型的总损失函数，表达式为：；其中，为主要损失函数，表示全局分支的辅助损失函数，表示局部分支的辅助损失函数，和表示权重；权重设置为。
其中，主要损失函数，其表达式为：；其中，为模型预测出来的经过softmax后的概率值，为调节因子，设置为3，为类别权重系数，对数量少的类别赋予高权重，以此平衡类别不均衡问题。
其中，在特征提取网络中对全局分支、局部分支分别设置辅助交叉熵损失函数，其表达式为：；其中，N为像素总数，K为类别数，表示分割的真实值，表示第个像素对第个类别的预测值。
本发明使用 Adam 优化器()对网络进行优化，在训练全局分支时设置学习率为1×10−4，训练局部分支时设置学习率为2×10−5，在训练过程中学习率以多项式方式进行衰减，每轮学习率都乘以，其中iter代表着当前迭代数，total_iter表示总的迭代数。本发明将批训练大小设置为8，设置100个epoch，sub_batchsize设置为6。本发明在训练过程中同时进行验证，最后选取在测试集上效果最好的模型作为最终的网络模型。所有实验均在一张NVIDIA 3090 GPU上进行。
进一步地，如图2所示，所述S103：将预处理后的遥感图像输入到训练后的遥感图像分割模型中，得到分割后的遥感图像；其中，训练后的遥感图像分割模型，包括：依次连接的编码器和解码器；所述编码器，包括：两个并列的分支，所述两个并列的分支为第一分支和第二分支；所述第一分支是通过第一特征提取网络来实现的；所述第二分支是通过第二特征提取网络来实现的；第一分支被称为全局分支，第二分支被称为局部分支；所述解码器，包括：全局对局部特征增强模块和局部对全局特征增强模块；第一特征提取网络的输出端和第二特征提取网络的输出端，均与全局对局部特征增强模块的输入端连接；第一特征提取网络的输出端，与局部对全局特征增强模块的输入端连接；全局对局部特征增强模块的输出端，与局部对全局特征增强模块的输入端连接；局部对全局特征增强模块的输出端，与预测器的输入端连接；所述预测器的输出端用于输出最终分割结果。
进一步地，所述第一特征提取网络采用ResNet50来实现；所述第二特征提取网络采用ResNet18来实现。
进一步地，所述对待分割的遥感图像进行特征提取，得到不同分辨率的全局特征和局部特征，具体包括：第一特征提取网络用于提取四种分辨率的全局特征；第二特征提取网络用于提取四种分辨率的局部特征；每一种分辨率的全局特征均有对应相同分辨率的局部特征。
首先，本发明选择基于ResNet的特征金字塔网络 (Feature Pyramid Network，FPN)作为骨干网络提取全局-局部的特征。对于全局图像，需要提取更加复杂、抽象的特征，本发明使用ResNet50提取特征；而对于局部图像，更关注于浅层的特征例如地物边缘信息等，因此使用ResNet18提取特征。
进一步地，如图3所示，第一特征提取网络的特征提取过程与第二特征提取网络的特征提取过程是一致的，所述第一特征提取网络的特征提取过程，具体包括：假设输入图像块为，、分别代表着高度和宽度，最后数字代表通道数；输入图像首先经过ResNet50的第一阶段得到的特征图，随后经过ResNet50的第二、第三、第四和第五阶段，使用第二、第三、第四和第五阶段的最后一个残差块输出的特征，得到四个不同尺寸的特征图，将其记作；随后分别经过的卷积层得到通道数为256的；经过的卷积层，得到第一分辨率特征图；经过上采样再与进行逐元素加得到，然后经过的卷积层得到第二分辨率特征图；经过上采样再与进行逐元素加得到，然后经过的卷积层得到第三分辨率特征图；经过上采样再与进行逐元素加得到，然后经过的卷积层得到第四分辨率特征图；由此，得到四个不同尺寸的特征图，尺寸大小分别为：、、以及。
应理解地，所述ResNet50的第一阶段，包括依次连接的的卷积层、批归一化层、ReLU激活层和最大池化层。第二阶段包括三个依次连接的残差块；第三阶段包括四个依次连接的残差块；第四阶段包括六个依次连接的残差块；第五阶段包括三个依次连接的残差块；ResNet50的残差块，包括：依次连接的卷积层、卷积层、卷积层和加法器；第一个卷积层的输入端与加法器的输入端连接；第一个卷积层的输入端是残差块的输入端；所述加法器的输出端是残差块的输出端。
进一步地，所述第二特征提取网络ResNet18的第二阶段包括两个依次连接的残差块；第三阶段包括两个依次连接的残差块；第四阶段包括两个依次连接的残差块；第五阶段包括两个依次连接的残差块；ResNet18的残差块，包括：依次连接的卷积层、卷积层和加法器；第一个卷积层的输入端与加法器的输入端连接；第一个卷积层的输入端是残差块的输入端；所述加法器的输出端是残差块的输出端。
进一步地，所述全局对局部特征增强模块，同一分辨率下，基于全局特征对局部特征进行增强，得到增强后的局部特征；局部对全局特征增强模块，同一分辨率下，基于增强后的局部特征对全局特征进行增强，得到增强后的全局特征。
进一步地，所述同一分辨率下，基于全局特征对局部特征进行增强，得到增强后的局部特征，具体包括：首先，根据预存的裁剪比例和裁剪坐标信息，通过滑动窗口的方式将全局特征图裁剪成若干个全局特征块；然后，以线性插值的方式，对每个全局特征块进行上采样，以匹配局部特征的尺寸；随后，将匹配的全局特征和局部特征展平(flatten)为一维的序列，并经过三个并行的全连接层，来计算查询(query)、键(key)和值(key)；将全局特征作为查询，将局部特征作为键和值，将每个全局特征块和局部特征，均输入至对应的第一交叉注意力机制模块进行增强，得到若干个增强后的局部特征。
进一步地，所述第一交叉注意力机制模块，工作过程包括：首先，从一维的序列生成对应的查询、键和值：；；；其中，为全局特征生成的序列，为对应局部特征生成的序列，为可学习的参数矩阵。计算单头交叉注意力：；其中，是第 i 个多头中的查询、键和值，为序列的长度；计算多头交叉注意力：；其中，是拼接(concatenation)操作；多头交叉注意力是Multi-head CrossAttention,MCA；最后，将多头注意力的输出序列进行变形(reshape)，使之恢复到与原先特征图相同的尺寸，并进行残差连接。
多头交叉注意力的输出，也就是增强后的局部特征，增强后的局部特征表示为：；其中，表示输入第一交叉注意力机制模块的局部特征。
进一步地，同一分辨率下，基于增强后的局部特征对全局特征进行增强，得到增强后的全局特征，具体包括：首先，对每个增强后的局部特征图进行下采样；然后，将所有增强后的局部特征{}按照预设的裁剪比例和裁剪坐标信息合并(merge)在一起，形成一个与全局特征尺寸相同的完整局部特征；将完整局部特征作为第二交叉注意力机制模块的查询，全局特征作为第二交叉注意力机制模块的键、值；将完整局部特征和全局特征，均输入至第二交叉注意力机制模块进行增强，得到增强后的全局特征。
进一步地，第二交叉注意力机制模块的输出，表示为：；其中，表示增强后的全局特征，表示输入第二交叉注意力机制模块的全局特征。
进一步地，所述对不同分辨率下增强后的全局特征进行特征融合，得到最终的特征图，具体包括：假设不同分辨率下增强后的全局特征，分别是：第一、第二、第三和第四分辨率增强后的全局特征；第一、第二、第三和第四分辨率的大小是由低到高；对第一分辨率增强后的全局特征，进行上采样处理，得到处理后的第一分辨率特征；将处理后的第一分辨率特征，与第二分辨率增强后的全局特征进行逐像素相加，得到第一融合特征图；对第一融合特征图，进行上采样处理，得到处理后的第二分辨率特征；将处理后的第二分辨率特征，与第三分辨率增强后的全局特征进行逐像素相加，得到第二融合特征图；对第二融合特征图，进行上采样处理，得到处理后的第三分辨率特征；将处理后的第三分辨率特征，与第四分辨率增强后的全局特征进行逐像素相加，得到第三融合特征图；第三融合特征图是最终的特征图。
应理解地，首先对低分辨率的特征图以双线性插值的方式进行上采样，与高分辨率的特征图尺寸匹配，随后逐元素相加进行融合，融合后的特征图具有更丰富的不同尺度上的语义信息和更精细的空间分辨率。重复此步骤得到与原图像大小相等的特征图F。
进一步地，所述将最终的特征图输入到预测器中，输出分割结果，具体包括：
随后将最终的特征图F送入预测器，预测器使用卷积将特征通道数变为类别数，并使用双线性插值上采样到与输入图像相同的尺寸，获得各像素属于各类别的概率，将每个像素的类别判定为概率最大的类别，从而得到最终的预测结果。
预测结果共包含七个通道，分别对应背景、城市用地、农田、牧场、森林、水面和裸土七类。
实施例二：本实施例提供了基于全局与局部特征协作的遥感图像分割系统，包括：获取模块，其被配置为：获取待分割的遥感图像；预处理模块，其被配置为：对待分割的遥感图像进行预处理；分割模块，其被配置为：将预处理后的遥感图像输入到训练后的遥感图像分割模型中，得到分割后的遥感图像；其中，训练后的遥感图像分割模型，用于对待分割的遥感图像进行特征提取，得到不同分辨率的全局特征和每一种分辨率对应的局部特征；同一分辨率下，基于全局特征对局部特征进行增强，得到增强后的局部特征；同一分辨率下，基于增强后的局部特征对全局特征进行增强，得到增强后的全局特征；对不同分辨率下增强后的全局特征进行特征融合，得到最终的特征图，将最终的特征图输入到预测器中，得到分割结果。需要说明的是，实施例二中各个模块的对应步骤细节与实施例一对应的步骤细节是一致的。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (9)
1.基于全局与局部特征协作的遥感图像分割方法，其特征是，包括：
获取待分割的遥感图像；
对待分割的遥感图像进行预处理；
将预处理后的遥感图像输入到训练后的遥感图像分割模型中，得到分割后的遥感图像；其中，训练后的遥感图像分割模型，用于对待分割的遥感图像进行特征提取，得到不同分辨率的全局特征和每一种分辨率对应的局部特征；同一分辨率下，基于全局特征对局部特征进行增强，得到增强后的局部特征；同一分辨率下，基于增强后的局部特征对全局特征进行增强，首先，对每个增强后的局部特征图进行下采样，然后，将所有增强后的局部特征{}按照预设的裁剪比例和裁剪坐标信息合并在一起，形成一个与全局特征尺寸相同的完整局部特征，将完整局部特征作为第二交叉注意力机制模块的查询，全局特征作为第二交叉注意力机制模块的键、值，将完整局部特征和全局特征，均输入至第二交叉注意力机制模块进行增强，得到增强后的全局特征；对不同分辨率下增强后的全局特征进行特征融合，得到最终的特征图，将最终的特征图输入到预测器中，得到分割结果。
2.如权利要求1所述的基于全局与局部特征协作的遥感图像分割方法，其特征是，对待分割的遥感图像进行预处理，包括：对待分割的遥感图像分别进行降采样处理和裁剪处理；降采样处理后的图像用于提取全局特征，裁剪处理后的图像用于提取局部特征。
3.如权利要求1所述的基于全局与局部特征协作的遥感图像分割方法，其特征是，将预处理后的遥感图像输入到训练后的遥感图像分割模型中，得到分割后的遥感图像，所述训练后的遥感图像分割模型，训练过程包括：
构建数据集；将数据集，按照设定比例进行划分，得到训练集、验证集和测试集；
将训练集输入到遥感图像分割模型中，对模型进行训练，当模型的总损失函数值不再下降，或者，迭代次数超过设定次数时，停止训练，得到初步训练后的遥感图像分割模型；
将验证集输入到初步训练后的遥感图像分割模型中，对模型进行验证；
将测试集，输入到初步训练后的遥感图像分割模型中，对模型进行测试，如果测试准确率高于设定阈值，则将当前初步训练后的遥感图像分割模型，作为最终训练后的遥感图像分割模型。
4.如权利要求1所述的基于全局与局部特征协作的遥感图像分割方法，其特征是，将预处理后的遥感图像输入到训练后的遥感图像分割模型中，得到分割后的遥感图像；其中，训练后的遥感图像分割模型，包括：
依次连接的编码器和解码器；
所述编码器，包括：两个并列的分支，所述两个并列的分支为第一分支和第二分支；所述第一分支是通过第一特征提取网络来实现的；所述第二分支是通过第二特征提取网络来实现的；第一分支被称为全局分支，第二分支被称为局部分支；
所述解码器，包括：全局对局部特征增强模块和局部对全局特征增强模块；第一特征提取网络的输出端和第二特征提取网络的输出端，均与全局对局部特征增强模块的输入端连接；第一特征提取网络的输出端，与局部对全局特征增强模块的输入端连接；全局对局部特征增强模块的输出端，与局部对全局特征增强模块的输入端连接；
局部对全局特征增强模块的输出端，与预测器的输入端连接；所述预测器的输出端用于输出最终分割结果。
5.如权利要求4所述的基于全局与局部特征协作的遥感图像分割方法，其特征是，所述第一特征提取网络，用于：
假设输入图像块为，、分别代表着高度和宽度，最后数字代表通道数；输入图像首先经过ResNet50的第一阶段得到的特征图，随后经过ResNet50的第二、第三、第四和第五阶段，使用第二、第三、第四和第五阶段的最后一个残差块输出的特征，得到四个不同尺寸的特征图，将其记作；随后分别经过的卷积层得到通道数为256的；
经过的卷积层，得到第一分辨率特征图；经过上采样再与进行逐元素加得到，然后经过的卷积层得到第二分辨率特征图；经过上采样再与进行逐元素加得到，然后经过的卷积层得到第三分辨率特征图；经过上采样再与进行逐元素加得到，然后经过的卷积层得到第四分辨率特征图；
由此，得到四个不同尺寸的特征图，尺寸大小分别为：、、以及。
6.如权利要求1所述的基于全局与局部特征协作的遥感图像分割方法，其特征是，所述同一分辨率下，基于全局特征对局部特征进行增强，得到增强后的局部特征，具体包括：
首先，根据预存的裁剪比例和裁剪坐标信息，通过滑动窗口的方式将全局特征图裁剪成若干个全局特征块；
然后，以线性插值的方式，对每个全局特征块进行上采样，以匹配局部特征的尺寸；
随后，将匹配的全局特征和局部特征展平为一维的序列，并经过三个并行的全连接层，来计算查询、键和值；
将全局特征作为查询，将局部特征作为键和值，将每个全局特征块和局部特征，均输入至对应的第一交叉注意力机制模块进行增强，得到若干个增强后的局部特征。
7.如权利要求6所述的基于全局与局部特征协作的遥感图像分割方法，其特征是，所述第一交叉注意力机制模块，工作过程包括：
首先，从一维的序列生成对应的查询、键和值：
；；；
其中，为全局特征生成的序列，为对应局部特征生成的序列，为可学习的参数矩阵；
计算单头交叉注意力：
；
其中，是第 个多头中的查询、键和值，为序列的长度；
计算多头交叉注意力：
；
其中，是拼接操作；
最后，将多头注意力的输出序列进行变形，使之恢复到与原始特征图相同的尺寸，并进行残差连接；
多头交叉注意力的输出，也就是增强后的局部特征，增强后的局部特征表示为：
；
其中，表示输入第一交叉注意力机制模块的局部特征。
8.如权利要求1所述的基于全局与局部特征协作的遥感图像分割方法，其特征是，所述对不同分辨率下增强后的全局特征进行特征融合，得到最终的特征图，具体包括：
假设不同分辨率下增强后的全局特征，分别是：第一、第二、第三和第四分辨率增强后的全局特征；第一、第二、第三和第四分辨率的大小是由低到高；
对第一分辨率增强后的全局特征，进行上采样处理，得到处理后的第一分辨率特征；将处理后的第一分辨率特征，与第二分辨率增强后的全局特征进行逐像素相加，得到第一融合特征图；
对第一融合特征图，进行上采样处理，得到处理后的第二分辨率特征；将处理后的第二分辨率特征，与第三分辨率增强后的全局特征进行逐像素相加，得到第二融合特征图；
对第二融合特征图，进行上采样处理，得到处理后的第三分辨率特征；将处理后的第三分辨率特征，与第四分辨率增强后的全局特征进行逐像素相加，得到第三融合特征图；第三融合特征图是最终的特征图。
9.基于全局与局部特征协作的遥感图像分割系统，其特征是，包括：
获取模块，其被配置为：获取待分割的遥感图像；
预处理模块，其被配置为：对待分割的遥感图像进行预处理；
分割模块，其被配置为：将预处理后的遥感图像输入到训练后的遥感图像分割模型中，得到分割后的遥感图像；其中，训练后的遥感图像分割模型，用于对待分割的遥感图像进行特征提取，得到不同分辨率的全局特征和每一种分辨率对应的局部特征；同一分辨率下，基于全局特征对局部特征进行增强，得到增强后的局部特征；同一分辨率下，基于增强后的局部特征对全局特征进行增强，首先，对每个增强后的局部特征图进行下采样，然后，将所有增强后的局部特征{}按照预设的裁剪比例和裁剪坐标信息合并在一起，形成一个与全局特征尺寸相同的完整局部特征，将完整局部特征作为第二交叉注意力机制模块的查询，全局特征作为第二交叉注意力机制模块的键、值，将完整局部特征和全局特征，均输入至第二交叉注意力机制模块进行增强，得到增强后的全局特征；对不同分辨率下增强后的全局特征进行特征融合，得到最终的特征图，将最终的特征图输入到预测器中，得到分割结果。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410486740.4A CN118097155B (zh) | 2024-04-23 | 2024-04-23 | 基于全局与局部特征协作的遥感图像分割方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410486740.4A CN118097155B (zh) | 2024-04-23 | 2024-04-23 | 基于全局与局部特征协作的遥感图像分割方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN118097155A CN118097155A (zh) | 2024-05-28 |
| CN118097155B true CN118097155B (zh) | 2024-08-02 |
Family
ID=91142342
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202410486740.4A Active CN118097155B (zh) | 2024-04-23 | 2024-04-23 | 基于全局与局部特征协作的遥感图像分割方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN118097155B (zh) |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115797931A (zh) * | 2023-02-13 | 2023-03-14 | 山东锋士信息技术有限公司 | 一种基于双分支特征融合的遥感图像语义分割方法 |
| CN116523740A (zh) * | 2023-03-13 | 2023-08-01 | 武汉大学 | 一种基于光场的红外图像超分辨率方法 |
| CN117253043A (zh) * | 2023-10-12 | 2023-12-19 | 上海交通大学内蒙古研究院 | 基于空间信息增强transformer的遥感图像语义分割方法 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113408651B (zh) * | 2021-07-12 | 2024-01-23 | 厦门大学 | 基于局部判别性增强的无监督三维物体分类方法 |
| CN116310339A (zh) * | 2023-03-23 | 2023-06-23 | 长沙理工大学 | 基于矩阵分解增强全局特征的遥感图像分割方法 |
| CN117333669A (zh) * | 2023-09-28 | 2024-01-02 | 武汉大学 | 基于有用信息引导的遥感影像语义分割方法、系统及设备 |
-
2024
- 2024-04-23 CN CN202410486740.4A patent/CN118097155B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115797931A (zh) * | 2023-02-13 | 2023-03-14 | 山东锋士信息技术有限公司 | 一种基于双分支特征融合的遥感图像语义分割方法 |
| CN116523740A (zh) * | 2023-03-13 | 2023-08-01 | 武汉大学 | 一种基于光场的红外图像超分辨率方法 |
| CN117253043A (zh) * | 2023-10-12 | 2023-12-19 | 上海交通大学内蒙古研究院 | 基于空间信息增强transformer的遥感图像语义分割方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN118097155A (zh) | 2024-05-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN114120102A (zh) | 边界优化的遥感图像语义分割方法、装置、设备及介质 | |
| CN110070091B (zh) | 用于街景理解的基于动态插值重建的语义分割方法及系统 | |
| CN113807355A (zh) | 一种基于编解码结构的图像语义分割方法 | |
| CN110059768A (zh) | 用于街景理解的融合点与区域特征的语义分割方法及系统 | |
| CN114359130A (zh) | 一种基于无人机影像的道路裂缝检测方法 | |
| CN110599502B (zh) | 一种基于深度学习的皮肤病变分割方法 | |
| CN113192076B (zh) | 联合分类预测和多尺度特征提取的mri脑肿瘤图像分割方法 | |
| CN112233129A (zh) | 基于深度学习的并行多尺度注意力机制语义分割方法及装置 | |
| CN116665053B (zh) | 顾及阴影信息的高分辨遥感影像建筑物识别方法及系统 | |
| CN114037640A (zh) | 图像生成方法及装置 | |
| CN117058367A (zh) | 高分辨率遥感影像建筑物语义分割方法及装置 | |
| CN114937148B (zh) | 一种小目标特征增强图像分割方法及系统 | |
| CN116385454A (zh) | 一种基于多阶段聚合的医学图像分割方法 | |
| CN117115177A (zh) | 基于动态通道图卷积与多尺度注意力的闪电通道分割方法 | |
| CN115937693A (zh) | 一种基于遥感图像的道路识别方法及系统 | |
| CN115965789A (zh) | 一种基于场景感知类注意力的遥感图像语义分割方法 | |
| CN113554655B (zh) | 基于多特征增强的光学遥感图像分割方法及装置 | |
| CN112800851B (zh) | 基于全卷积神经元网络的水体轮廓自动提取方法及系统 | |
| CN117746130A (zh) | 一种基于遥感影像点状语义标签的弱监督深度学习分类方法 | |
| CN111274936B (zh) | 多光谱图像地物分类方法、系统、介质及终端 | |
| CN118097155B (zh) | 基于全局与局部特征协作的遥感图像分割方法及系统 | |
| CN116563691A (zh) | 一种基于TransUnet模型的道路病害检测方法 | |
| CN114332496A (zh) | 一种静态目标分割方法和系统 | |
| CN114331894A (zh) | 一种基于潜在特征重构和掩模感知的人脸图像修复方法 | |
| CN116778294B (zh) | 一种联合图像内和图像间上下文的遥感变化检测方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |