CN117809029A - 基于边缘感知的多分支高分辨率遥感图像语义分割方法及系统 - Google Patents
基于边缘感知的多分支高分辨率遥感图像语义分割方法及系统 Download PDFInfo
- Publication number
- CN117809029A CN117809029A CN202311710410.0A CN202311710410A CN117809029A CN 117809029 A CN117809029 A CN 117809029A CN 202311710410 A CN202311710410 A CN 202311710410A CN 117809029 A CN117809029 A CN 117809029A
- Authority
- CN
- China
- Prior art keywords
- remote sensing
- semantic segmentation
- image
- sensing image
- resolution remote
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000011218 segmentation Effects 0.000 title claims abstract description 118
- 238000000034 method Methods 0.000 title claims abstract description 65
- 230000008447 perception Effects 0.000 title claims abstract description 32
- 238000012549 training Methods 0.000 claims abstract description 41
- 230000002776 aggregation Effects 0.000 claims abstract description 32
- 238000004220 aggregation Methods 0.000 claims abstract description 32
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 16
- 238000012795 verification Methods 0.000 claims abstract description 11
- 238000000605 extraction Methods 0.000 claims abstract description 8
- 230000004927 fusion Effects 0.000 claims description 17
- 230000008569 process Effects 0.000 claims description 17
- 238000009499 grossing Methods 0.000 claims description 10
- 230000007246 mechanism Effects 0.000 claims description 8
- 238000012545 processing Methods 0.000 claims description 8
- 238000004040 coloring Methods 0.000 claims description 5
- 238000005520 cutting process Methods 0.000 claims description 4
- 239000000284 extract Substances 0.000 claims description 3
- 238000013507 mapping Methods 0.000 claims description 3
- 238000012216 screening Methods 0.000 claims description 3
- 238000004590 computer program Methods 0.000 claims description 2
- 238000004364 calculation method Methods 0.000 description 29
- 230000006870 function Effects 0.000 description 15
- 238000010586 diagram Methods 0.000 description 8
- 238000005070 sampling Methods 0.000 description 8
- 230000004913 activation Effects 0.000 description 4
- 239000004568 cement Substances 0.000 description 3
- 238000009826 distribution Methods 0.000 description 3
- 238000003709 image segmentation Methods 0.000 description 3
- 238000012544 monitoring process Methods 0.000 description 3
- 230000004931 aggregating effect Effects 0.000 description 2
- 238000009435 building construction Methods 0.000 description 2
- 238000013136 deep learning model Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000002708 enhancing effect Effects 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- 238000005192 partition Methods 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 235000006679 Mentha X verticillata Nutrition 0.000 description 1
- 235000002899 Mentha suaveolens Nutrition 0.000 description 1
- 235000001636 Mentha x rotundifolia Nutrition 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012876 topography Methods 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Landscapes
- Image Analysis (AREA)
Abstract
本发明公开一种基于边缘感知的多分支高分辨率遥感图像语义分割方法及系统，对高分辨率遥感图像进行裁剪后进行数据平衡，将总样本按照8:2划分为训练样本和验证样本，并对训练样本进行了数据增强，设计了多分支并行的高分辨率遥感语义分割算法，其中包括特征提取漏斗模块、信息聚合模块和特征细化模块，通过将多头自注意力与SE注意力融合，减少细节信息丢失，同时将提出的边缘感知损失与带标签平滑的交叉熵损失和Generalised Dice Loss结合，确保网络高精度和轻量化地提取遥感图像多类别的特征。本发明有效缓解了遥感图像由于分辨率高带来的诸多问题，具有适用性广且准确率高的优点。
Description
技术领域
本发明涉及图像处理技术领域，特别是一种基于边缘感知的多分支高分辨率遥感图像语义分割方法及系统。
背景技术
语义分割是将图像中的每个像素分类到特定类别的任务。与对象检测或图像分类不同，语义分割提供了更详细的理解，即图像中每个像素属于哪个类别。由于通过卫星或航空器拍摄得到的高分辨率遥感图像具有成像高，覆盖面积广等特点，捕捉了丰富的地面细节，因此通过语义分割得到的地物信息被广泛用于地块分类、城市规划、环境监测等领域。
传统对遥感图像分割通常采用边缘分割、阈值分割、区域分割等方法。但近年来遥感图像分辨率提高，传统算法对特征复杂多样的图像分割逐渐呈现较差的效果。因此，为获得高精度的遥感图像分割结果，目前常用基于神经卷积网络的街景语义分割算法以及基于Transforemer的街景语义分割算法。例如，U-Net、FCN(全卷积网络)和DeepLab系列和VIT都是流行的模型。然而，由于高分辨率遥感图像同一类别的对象在不同的地理环境中通常会显示出在尺度和形状上的显著差异，这使得很难拟合数据的分布。
此外，复杂的背景环境会导致不同类别的物体外观相似，从而导致大量的物体被误分类为背景。同时针对高分辨率遥感图像的语义分割模型往往需要更多的算力。这些问题使得现有的遥感语义分割算法效果较差。
因此，需要一种针对高分辨率遥感图像的语义分割方法。
发明内容
有鉴于此，本发明的目的在于提供基于边缘感知的多分支高分辨率遥感图像语义分割方法及系统，该方法利用基础卷积操作并融合注意力机制来实现高分辨遥感图像的语义分割。
为达到上述目的，本发明提供如下技术方案：
本发明提供的基于边缘感知的多分支高分辨率遥感图像语义分割方法，包括以下步骤：
步骤S1、将高分辨率遥感图像按照固定值进行剪裁，获得预设大小的图片作为样本，针对样本中所占像素较少的类别进行数据平衡；
步骤S2、对步骤S1中获取的样本按照预设比例划分训练样本和验证样本，并对训练样本进行数据增强处理；
步骤S3、构建语义分割模型，所述语义分割模型包括特征提取漏斗模块、信息聚合模块和特征细化模块；
步骤S4、将训练样本输入模型中，根据输出的粗分割和细分割结果计算带标签平滑的交叉熵损失、Generalised Dice Loss以及边缘感知损失并反向传播、更新参数，直到网络收敛，得到最佳语义分割算法模型；
步骤S5、将高分辨率遥感图像输入至步骤S3获取到的最佳语义分割模型中得到预测结果，并将结果中的灰度值映射为相应RGB值，得到最终语义分割结果图像。
进一步，步骤S1中进行数据平衡的具体操作如下：
步骤S11、从样本中筛选出包含物体类别为汽车的图像；
步骤S12、将筛选到的图像进行垂直翻转；
步骤S13、将筛选到的图像进行随机旋转。
进一步，所述步骤S1中进行数据平衡具体如下：
步骤S11选择物体类别为汽车所占像素点大于整个图像像素点百分之十的图像作为需要做数据平衡的样本；
步骤S12中将每一张图像都进行垂直翻转，并加入总样本；
步骤S13中将每一张图像都随机旋转90度，并加入总样本。
进一步，步骤S2中具体操作如下：
步骤S21、将总样本划分为训练样本和验证样本；
步骤S22、对训练样本进行图像增强操作。
进一步，步骤S2中具体操作如下：
步骤S21中将总样本随机选取百分之八十作为网络的训练样本，百分之二十作为验证样本；
步骤S22遍历全部训练样本，随机选取三种增强方法中的一种对图片进行处理并加入总训练样本中。
进一步，步骤S3中的语义分割模型包括漏斗模块、信息聚合模块和特征细化模块；
所述漏斗模块将输入图像进行下采样，接着通过将三个核大小不同的卷积单元块堆叠多次来提取图像高分辨率信息；
所述信息聚合模块由多个基础卷积融合多头自注意力机制和SE注意力的单元块以及特征融合操作组成，它在网络的每一层后生成一个新的分支，同时保留原始分支，在每层结束后依次将分支与其他分支进行特征融合操作；
所述特征细化模块将信息聚合模块的输出作为粗分割结果，对其进行特征聚合得到算法的细分割结果，最终该算法输出粗分割和细分割两个结果。
进一步，步骤S4的具体过程为：
将模型输出的粗分割结果和细分割结果分别进行计算带标签平滑的交叉熵损失、Generalised Dice Loss以及边缘感知损失，将这得到的损失结果相加作为模型训练的总损失进行反向传播并更新梯度，直至网络收敛，从而得到最佳的语义分割网络模型。
进一步，步骤S5的具体过程为：
将所需预测的原始高分辨率遥感图像输入语义分割模型并取输出的细分割结果作为预测结果，根据灰度值分配该物体类别的RGB值并进行上色处理，得到最终语义分割结果图像。
进一步，步骤S1中，获取共33张分辨率为2,494×2,064的原始遥感图像，包括6种物类目标。
本发明提供的基于边缘感知的多分支高分辨率遥感图像语义分割系统，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述方法。
本发明的有益效果在于：
本发明提供的基于边缘感知的多分支高分辨率遥感图像语义分割方法，
该方法能够有效解决现存的高分辨率遥感图像语义分割难题，是一种高效且精准的基于边缘感知的多分支高分辨率遥感图像语义分割方法。
本发明针对高分辨率遥感图像中同一类别的物体由于位于不同的地理景观，而导致这些物体在规模、形状和分布上出现较大差异的问题，提出了漏斗模块和信息聚合模块，漏斗模块能够通过适宜的基础卷积获得可靠的高分辨率信息。在信息聚合模块中，通过多分支并行结构获得多个尺度信息，在每个特征提取结束时，将来自上一个分支的特征信息与新生成的分支信息依据分辨率大小进行特征融合操作，该算法输出粗分割和细分割两个结果。通过多尺度信息交互，整个语义分割网络能够在保持高分辨率的同时，获得足够完整可靠的低分辨率信息。
本方法为缓解类分布差异的问题，在信息聚合模块中融入多头自注意力机制以及SE注意力，其中多头自注意对特征图的通道维度进行滑动操作以捕获全局上下文信息，SE注意力为网络提供更丰富的位置信息；通过带标签平滑的交叉熵损失、Generalised DiceLoss与边缘感知损失的结合，提高了模型对边界和形状的感知，增强了其捕获准确的物体边缘的能力。
本方法不需要先验条件以及遥感图像的预训练，且有效解决了高分辨率遥感图像语义分割的难题，针对遥感图像语义分割问题具有普适性。并且本方法基于卷积神经网络，能够更加高效地处理遥感图像，为城市规划、土地利用和环境监测提供丰富地物信息。
本方法提供的基于边缘感知的多分支高分辨率遥感图像语义分割方法，对高分辨率遥感图像进行裁剪后进行数据平衡，将总样本按照8:2划分为训练样本和验证样本，并对训练样本进行了数据增强，设计了多分支并行的高分辨率遥感语义分割算法，其中包括特征提取漏斗模块、信息聚合模块和特征细化模块，通过将多头自注意力与SE注意力融合，减少细节信息丢失，同时将提出的边缘感知损失与带标签平滑的交叉熵损失和GeneralisedDice Loss结合，确保网络高精度和轻量化地提取遥感图像多类别的特征。本方法有效缓解了遥感图像由于分辨率高带来的诸多问题，具有适用性广且准确率高的优点。
本发明的其他优点、目标和特征在某种程度上将在随后的说明书中进行阐述，并且在某种程度上，基于对下文的考察研究对本领域技术人员而言将是显而易见的，或者可以从本发明的实践中得到教导。本发明的目标和其他优点可以通过下面的说明书来实现和获得。
附图说明
为了使本发明的目的、技术方案和有益效果更加清楚，本发明提供如下附图进行说明：
图1为基于边缘感知的多分支高分辨率遥感图像语义分割方法流程图。
图2(a)为原始遥感图像和对应的上色标签类别图像。
图2(b)为经过数据增强后的遥感图像和对应的上色标签类别图像。
图3为基于边缘感知的多分支高分辨率遥感图像语义分割方法的结构图。
图4为本发明中漏斗模块的单元块示意图。
图5为本发明中信息聚合模块的单元块示意图。
图6为本发明中信息聚合模块中特征融合操作示意图。
图7为本发明输入高分辨率遥感图像进入网络后的预测结果上色图。
具体实施方式
下面结合附图和具体实施例对本发明作进一步说明，以使本领域的技术人员可以更好的理解本发明并能予以实施，但所举实施例不作为对本发明的限定。
本实施例提供的基于边缘感知的多分支高分辨率遥感图像语义分割方法，该方法是一个复杂的计算过程，涉及从数据准备到深度学习模型训练的多个阶段。在初始阶段，遥感图像数据首先经历一系列预处理步骤，包括裁剪、数据平衡，以确保数据的质量和一致性，从而适应于深度学习模型的要求。这些高分辨率图像通常来源于卫星或航空摄影，包含丰富的地表信息。随后，这些图像被用于创建训练数据集，其中每个像素点都需要被标注为特定的类别，如水体、林地或城市区域，以训练模型进行有效的学习和分类。本方法利用有效的数据平衡以及数据增强处理，提高了后续语义分割模型训练的泛化性和稳定性。
常见的遥感图像语义分割方法包括U-Net、SegNet、DeepLab系列等。然而高分辨率遥感图像往往具有非常大的尺寸，处理这些大图像要求模型具有提取多尺度特征信息的能力，并且遥感图像中不同种类的地物类别间存在类间差异小，类内差异大，小目标语义特征损失的问题。因此，为了克服高分辨率遥感图像语义分割方法中存在的诸多难点，本实施例提供的基于边缘感知的多分支高分辨率遥感图像语义分割算法，包括特征提取漏斗模块、信息聚合模块和特征细化模块。
本实施例运用图像处理方法及深度学习技术实现高分辨率遥感图像的语义分割，采用随机裁剪、水平旋转、垂直旋转、随机亮度等数据增强方式，生成数据样本，基于边缘感知的多分支高分辨率遥感图像语义分割方法进行特征提取、特征融合与类别预测，将预测结果图按照对应RBG值进行映射得到最终的结果图。该方法具有高效性、准确性和泛化性，能够在地势复杂的高分辨率遥感图上达到较优的语义分割准确率。
如图1所示，本实例公开了一种基于边缘感知的多分支高分辨率遥感图像语义分割方法，步骤如下：
步骤S1、将高分辨率遥感图像按照固定值进行剪裁，获得大小为512×512的图片作为样本，针对样本中所占像素较少的类别进行数据平衡；
步骤S2、对步骤S1中获取的样本按照8:2的比例进行训练样本和验证样本的划分，并对训练样本进行数据增强处理；
步骤S3、设计基于边缘感知的多分支高分辨率遥感图像的语义分割模型，所述语义分割模型包括特征提取漏斗模块、信息聚合模块和特征细化模块；
步骤S4、将训练样本输入模型中，得到输出的粗分割和细分割结果，并进行损失计算，所述损失计算用于计算带标签平滑的交叉熵损失、Generalised Dice Loss以及边缘感知损失，并反向传播、更新参数，直到网络收敛，得到最佳语义分割算法模型；
步骤S5、将高分辨率遥感图像输入至步骤S3获取到的最佳语义分割模型中得到预测结果，并将结果中的灰度值映射为相应RGB值，得到最终语义分割结果图像。
在本实施例中，针对步骤S1中获取到的数据样本进行的数据平衡过程如下：
步骤S11、从样本中筛选出包含物体类别为汽车的图像；
步骤S12、将筛选到的图像进行垂直翻转；
步骤S13、将筛选到的图像进行随机旋转；
所述步骤S11具体为：
选择物体类别为汽车所占像素点大于整个图像像素点百分之十的图像作为需要做数据平衡的样本；
所述步骤S12具体为：
将每一张图像都进行垂直翻转，并加入总样本；
所述步骤S13具体为：
将每一张图像都随机旋转90度，并加入总样本；
在本实施例中，针对步骤S2中对训练样本进行数据增强处理过程如下：
步骤S21、将总样本按照8:2的比例随机分为训练样本和验证样本；
步骤S22、利用随机拼接、随机亮度、随机裁剪对样本进行图像增强操作所述步骤S21具体操作为：
将总样本随机选取百分之八十作为网络的训练样本，百分之二十作为验证样本；
所述步骤S22具体操作为：
遍历全部训练样本，随机选取三种增强方法中的一种对图片进行处理并加入总训练样本中；
如图2所示，图2中的(a)为原始遥感图像以及所对应的上色标签类别图像；图2中的(b)为经过数据增强的遥感图像以及所对应的上色标签类别图像；步骤S2前后对比，为方便观察，在图2中对图像对应标签进行上色处理；
如图3、图4、图5、图6所示，图3为基于边缘感知的多分支高分辨率遥感图像语义分割方法的结构图，图4为本发明中漏斗模块的单元块示意图，图5为本发明中信息聚合模块的单元块示意图，图6为本发明中信息聚合模块中特征融合操作示意图。在本实施例中，步骤S3中语义分割模型包括漏斗模块、信息聚合模块和特征细化模块；
所述漏斗模块，用于图像的下采样，获取低层语义信息；本实施例中下采样操作后堆叠的漏斗模块单元块用于提取丰富可靠的低层语义信息；
所述信息聚合模块，用于并行地提取多分辨率且包含目标位置的高层语义特征，并通过特征融合操作避免特征丢失；
所述特征细化模块，用于增强模型输出粗分割结果中每个像素的表示，通过加权特征表示作为模型的精细化分割结果；
所述漏斗模块包括一个下采样阶段和多个漏斗模块单元块；本实施例采用四个漏斗模块单元块构建漏斗模块；
所述漏斗模块单元块包括若干个卷积层，在前两个卷积层之后分别使用批标准化(BN)和GELU激活函数，通过将该单元块堆叠四次来提取图像高分辨率信息；本实施例中的所述漏斗模块单元块中前面的一个卷积层为一个步长为2，大小为3×3的卷积层接下来的两个卷积层为步长为1，大小为1×1的卷积层，并在前两个卷积层之后分别使用了批标准化(BN)和GELU激活函数，通过将该单元块堆叠四次来提取图像高分辨率信息；
所述信息聚合模块包括多个信息聚合模块单元块；
从所述漏斗模块单元块的输出数据分别通过多个信息聚合模块单元块多次堆叠进行特征融合后输出到特征细化模块中；
所述信息聚合模块设置多个基础卷积融合多头自注意力机制、SE注意力的单元块、特征融合操作；所述信息聚合模块通过多头自注意力和SE注意力，深度可分离卷积(DW-Conv)以及一个步长为1，大小为1×1的卷积组成。
所述漏斗模块获得的特征图经过BN层后通过SE注意力机制被赋予更丰富的位置信息；
SE注意力机制的计算公式可表示为：
式中，表示输入特征图X经过SE注意力机制计算得到的特征；
表示对输入特征图的每个通道执行全局平均池化，得到通道描述符，其中H和W分别为输入特征图的高和宽；
W2和W1表示模型训练过程中可学习的参数；
ReLU函数表示激活函数；
Sigmoid函数表示将将输出压缩到0和1之间；
·表示按元素将输入特征与经过sigmoid函数求得的特征相乘；
随后这些特征图将在每个多头注意力中分别进行独立的线性变换，从而生成Query、Key和Value；
对于每个头，使用Query与Key之间的点积来计算注意力分数，并应用GELU激活函数以及缩放处理得到计算结果；
将计算结果与相对位置偏置相加，并应用Softmax函数，得到最终的注意力权重；
使用得到的注意力权重对重塑后的Value进行加权求和；
所述多头注意力的计算过程可表示为：
MwltiHead(Q,K,V)＝Concat(head1,head2,...,headh)WO
其中，每个头(headi)的计算公式是：
而单头注意力(Attention)的计算公式是：
以上公式中，Q,K,V分别表示Query、Key和Value；
Wii Q,Wi V,WO表示模型训练过程中可学习的参数矩阵；
Concat表示将多个头的计算结果拼接起来；
h表示头的数量；
dk表示Key向量的维度；
softmax函数表示应用于每一行的标准化指数函数。
将得到的结果与只经过SE注意力的特征相加，经过一个大小为3×3的深度可分离卷积以及大小为1×1的卷积后，将结果与输入结果进行残差连接，得到该单元块的输出。
所述信息聚合模块在网络的每一层后生成一个新的分支(保留原始分支)，所述新的分支的分辨率为原分支分辨率的1/2，由于本实施例中的网络包含两层，因此最终三个分支分别为原始分辨率的1，1/2,1/4，在每层结束后依次将分支与其他分支进行特征融合。
所述特征融合的操作如图6所示，其中输入由三个不同分辨率的图像组成，根据输入和输出的分辨率，使用了不同的采样方法，上采样阶段包括双线性上采样、BN层和步长为1，大小为1×1的卷积，而下采样阶段包括BN层和步长为2，大小为3×3卷积，对以相同分辨率采样的图像进行求和，从而得到该分辨率的最终输出。
所述特征细化模块包括粗分割模块、细分割模块；
所述粗分割模块将信息聚合模块的输出(NxC维特征)作为粗分割结果；
所述细分割模块对粗分割结果进行特征聚合得到细分割结果；
所述细分割模块，首先将粗分割结果中的一个类别视为一个区域，并通过聚合每个像素的表示来估计该区域内的综合特征表示，然后计算像素与区域关系，得到相应的权值，通过加权所有区域来增强每个像素的表示，加权特征表示作为模型的精细化分割结果。
最终该算法输出粗分割和细分割两个结果。
如图7所示，图7为本实施例中输入高分辨率遥感图像进入网络后的预测结果上色图，本实施例获取共33张分辨率为2,494×2,064的原始遥感图像，包括6种物类目标。输入由三个不同分辨率的图像组成。根据输入和输出的分辨率，使用了不同的采样方法。上采样阶段包括双线性上采样、BN层和步长为1，大小为1×1的卷积，而下采样阶段包括BN层和步长为2，大小为3×3卷积。对以相同分辨率采样的图像进行求和，从而得到该分辨率的最终输出。
本实施例中经过信息聚合模块特征图通过双线性上采样被合并到相同的大小，作为网络的粗分割。
在特征细化模块中，首先将粗分割结果中的一个类别视为一个区域，并通过聚合每个像素的表示来估计该区域内的综合特征表示。然后，计算像素与区域关系，得到相应的权值，通过加权所有区域来增强每个像素的表示。加权特征表示作为模型的精细化分割结果。
上述步骤S4中的损失计算包括第一损失计算和第二损失计算，具体如下：
所述第一损失计算，用于计算带标签平滑的交叉熵损失和Generalised DiceLoss；可以在模型训练过程中改善类别不平衡问题，提高模型泛化性，加快模型收敛；
所述第二损失计算，用于计算边缘感知损失；可以改善分割边界的准确性，使模型在处理具有复杂背景和细节的图像更精确地识别和处理物体的边缘；
图3中的损失计算1为第一损失计算，损失计算2为第二损失计算。
所述损失计算具体如下：
将模型输出的粗分割结果和细分割结果分别计算带标签平滑的交叉熵损失、Generalised Dice Loss以及边缘感知损失。
其中，标签平滑技术作为一种训练策略，通过结合交叉熵损失，可以调整损失的极值，提高模型的泛化能力，其计算公式为：
在上方程中，Llsce表示带标签平滑的交叉熵损失；
表示标签平滑操作后的样本标签；
表示标签平滑操作后的样本标签属于类别k的softmax输出；
N表示像素值；
K表示类别的总数；
∈为平滑因子；
当像素表示类别n与输入类别k相同时，/>等于1-ε，否则，/>等于ε/(K-1)；
Generalised Dice Loss的计算可表示为：
式中，LGF表示Generalised Dice Loss；
rln表示l类的参考前景分割中每个像素点的标签；
pln表示在N个图像类别pn上的前景标签中属于l类的概率映射；
wl表示加权因子，用于提供对不同标签属性的不变性；
其计算方法表示为：
其中，rin表示l类的参考前景分割中每个像素点的标签；
在计算过程中将重叠的rln和pln按照权重相加，再除以并集部分的加权和。
带标签平滑的交叉熵损失和Generalised Dice Loss组成了图3中的损失计算1。
图3中的损失计算2为边缘感知损失计算，其计算公式为：
P＝Softmax(Sθ(p))
T＝Onehot(t)
Lcea＝∫Ω(T-P)2(DG(T)β+Ds(P)βdP
该损失函数将豪斯多夫损失扩展到多类，并采用级联卷积运算来近似图像的曼哈顿距离变换。
式中，Softmax表示应用于每一行的标准化指数函数；
Sθ表示本发明提出的模型；
Onehot表示将每个类别都表示为一个仅在该类别对应位置为1，其余位置为0的二进制向量；
Lcea表示该发明所述边缘感知损失函数；
p表示模型Sθ的输入；
P表示模型输出结果；
t表示真实的标签；
T表示经过独热编码后的真实标签；
Ω为训练图像的空间域，距离预测边界S的距离函数用Ds表示；
距离真实标签边界G的距离函数用DG表示；
超参数β被设置为2。
将这六个损失结果相加作为模型训练的总损失进行反向传播并更新梯度，直至网络收敛从而得到最佳的语义分割网络模型。
上述步骤S5的具体操作为：
将所需预测的原始高分辨率遥感图像输入语义分割模型并取输出的细分割结果作为预测结果，查找每种物体类别灰度值与RBG值的匹配关系，根据灰度值分配该物体类别的RGB值并进行上色处理，最终得到语义分割结果图像。
其中本实施例中每种物体类别分配的灰度值和RGB值如表1所示：
表1
| 物体类别 | R | G | B | 灰度值 |
| 不透明水泥地 | 255 | 255 | 255 | 0 |
| 建筑 | 0 | 0 | 255 | 1 |
| 灌木 | 0 | 255 | 255 | 2 |
| 树林 | 0 | 255 | 0 | 3 |
| 汽车 | 255 | 255 | 0 | 4 |
| 背景 | 0 | 0 | 0 | 5 |
如图7所示，本实施例输入大小为2048×2048的高分辨率遥感图像进入网络后的预测结果上色图，由表1所知，具体如下：
当物类目标为不透明水泥地时，为其分配RGB值分别为255、255、255，为其分配的灰度值为0，颜色为白色；
当物类目标为建筑时，为其分配RGB值分别为0、0、255，为其分配的灰度值为1，颜色为蓝色；
当物类目标为灌木时，为其分配RGB值分别为0、255、255，为其分配的灰度值为2，颜色为薄荷色；
当物类目标为树林时，为其分配RGB值分别为0、255、0，为其分配的灰度值为3，颜色为绿色；
当物类目标为汽车时，为其分配RGB值分别为255、255、0，为其分配的灰度值为4，颜色为黄色；
当物类目标为背景时，为其分配RGB值分别为0、0、0，为其分配的灰度值为5，颜色为黑色。
本实施例预测结果的Intersection Over Union(IoU)精度和mean IoU如表2所示，IoU表示给定的一组图像中预测区域与真实区域的相似程度。
表2
| 水泥地 | 建筑 | 灌木 | 树林 | 汽车 | 背景 | MIoU |
| 87.9 | 88.6 | 96.1 | 92.4 | 92.1 | 87.6 | 90.8 |
从实验结果和表2可以看出，本方法对高分辨率遥感图像的语义分割具有较高的精度，能够为城市规划、土地利用和环境监测提供丰富地物信息。
以上所述实施例仅是为充分说明本发明而所举的较佳的实施例，本发明的保护范围不限于此。本技术领域的技术人员在本发明基础上所作的等同替代或变换，均在本发明的保护范围之内。本发明的保护范围以权利要求书为准。
Claims (10)
1.基于边缘感知的多分支高分辨率遥感图像语义分割方法，其特征在于：包括以下步骤：
步骤S1、将高分辨率遥感图像按照固定值进行剪裁，获得预设大小的图片作为样本，针对样本中所占像素较少的类别进行数据平衡；
步骤S2、对步骤S1中获取的样本按照预设比例划分训练样本和验证样本，并对训练样本进行数据增强处理；
步骤S3、构建语义分割模型，所述语义分割模型包括特征提取漏斗模块、信息聚合模块和特征细化模块；
步骤S4、将训练样本输入模型中，根据输出的粗分割和细分割结果计算带标签平滑的交叉熵损失、Generalised Dice Loss以及边缘感知损失并反向传播、更新参数，直到网络收敛，得到最佳语义分割算法模型；
步骤S5、将高分辨率遥感图像输入至步骤S3获取到的最佳语义分割模型中得到预测结果，并将结果中的灰度值映射为相应RGB值，得到最终语义分割结果图像。
2.根据权利要求1所述的基于边缘感知的多分支高分辨率遥感图像语义分割方法，其特征在于，步骤S1中进行数据平衡的具体操作如下：
步骤S11、从样本中筛选出包含物体类别为汽车的图像；
步骤S12、将筛选到的图像进行垂直翻转；
步骤S13、将筛选到的图像进行随机旋转。
3.根据权利要求2所述的基于边缘感知的多分支高分辨率遥感图像语义分割方法，其特征在于，所述步骤S1中进行数据平衡具体如下：
步骤S11选择物体类别为汽车所占像素点大于整个图像像素点百分之十的图像作为需要做数据平衡的样本；
步骤S12中将每一张图像都进行垂直翻转，并加入总样本；
步骤S13中将每一张图像都随机旋转九十度，并加入总样本。
4.根据权利要求1所述的基于边缘感知的多分支高分辨率遥感图像语义分割方法，其特征在于，步骤S2中具体操作如下：
步骤S21、将总样本划分为训练样本和验证样本；
步骤S22、对训练样本进行图像增强操作。
5.根据权利要求4所述的基于边缘感知的多分支高分辨率遥感图像语义分割方法，其特征在于，步骤S2中具体操作如下：
步骤S21中将总样本随机选取百分之八十作为网络的训练样本，百分之二十作为验证样本；
步骤S22遍历全部训练样本，随机选取三种增强方法中的一种对图片进行处理并加入总训练样本中。
6.根据权利要求1所述的基于边缘感知的多分支高分辨率遥感图像语义分割方法，其特征在于，步骤S3中的语义分割模型包括漏斗模块、信息聚合模块和特征细化模块；
所述漏斗模块将输入图像进行下采样，接着通过将三个核大小不同的卷积单元块堆叠多次来提取图像高分辨率信息；
所述信息聚合模块由多个基础卷积融合多头自注意力机制和SE注意力的单元块以及特征融合操作组成，它在网络的每一层后生成一个新的分支，同时保留原始分支，在每层结束后依次将分支与其他分支进行特征融合操作；
所述特征细化模块将信息聚合模块的输出作为粗分割结果，对其进行特征聚合得到算法的细分割结果，最终该算法输出粗分割和细分割两个结果。
7.根据权利要求1所述的基于边缘感知的多分支高分辨率遥感图像语义分割方法，其特征在于，步骤S4的具体过程为：
将模型输出的粗分割结果和细分割结果分别进行计算带标签平滑的交叉熵损失、Generalised Dice Loss以及边缘感知损失，将这得到的损失结果相加作为模型训练的总损失进行反向传播并更新梯度，直至网络收敛，从而得到最佳的语义分割网络模型。
8.根据权利要求1所述的基于边缘感知的多分支高分辨率遥感图像语义分割方法，其特征在于，步骤S5的具体过程为：
将所需预测的原始高分辨率遥感图像输入语义分割模型并取输出的细分割结果作为预测结果，根据灰度值分配该物体类别的RGB值并进行上色处理，得到最终语义分割结果图像。
9.根据权利要求1至8中任一项所述的基于边缘感知的多分支高分辨率遥感图像语义分割方法，其特征在于，步骤S1中，获取共33张分辨率为2,494×2,064的原始遥感图像，包括6种物类目标。
10.基于边缘感知的多分支高分辨率遥感图像语义分割系统，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现上述权利要求1至9任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311710410.0A CN117809029A (zh) | 2023-12-13 | 2023-12-13 | 基于边缘感知的多分支高分辨率遥感图像语义分割方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311710410.0A CN117809029A (zh) | 2023-12-13 | 2023-12-13 | 基于边缘感知的多分支高分辨率遥感图像语义分割方法及系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117809029A true CN117809029A (zh) | 2024-04-02 |
Family
ID=90431114
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311710410.0A Pending CN117809029A (zh) | 2023-12-13 | 2023-12-13 | 基于边缘感知的多分支高分辨率遥感图像语义分割方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117809029A (zh) |
-
2023
- 2023-12-13 CN CN202311710410.0A patent/CN117809029A/zh active Pending
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11568639B2 (en) | Systems and methods for analyzing remote sensing imagery | |
| CN108052966B (zh) | 基于卷积神经网络的遥感图像场景自动提取和分类方法 | |
| Costea et al. | Creating roadmaps in aerial images with generative adversarial networks and smoothing-based optimization | |
| CN109934154B (zh) | 一种遥感影像变化检测方法及检测装置 | |
| CN108428220B (zh) | 静止轨道卫星序列遥感影像海岛礁区域自动几何校正方法 | |
| CN111476170A (zh) | 一种结合深度学习和随机森林的遥感影像语义分割方法 | |
| CN110728197B (zh) | 基于深度学习的单木级树种识别方法 | |
| CN110598564B (zh) | 基于OpenStreetMap的高空间分辨率遥感影像迁移学习分类方法 | |
| CN105894030B (zh) | 基于分层多特征融合的高分辨率遥感图像场景分类方法 | |
| CN111738113A (zh) | 基于双注意力机制与语义约束的高分辨遥感图像的道路提取方法 | |
| Ostankovich et al. | Illegal buildings detection from satellite images using googlenet and cadastral map | |
| Liu et al. | CT-UNet: Context-transfer-UNet for building segmentation in remote sensing images | |
| CN112419333A (zh) | 一种遥感影像自适应特征选择分割方法及系统 | |
| CN111028244B (zh) | 基于超像素的已知样本不均衡情况下的遥感图像语义分割的方法 | |
| Li et al. | CNN-based tree species classification using airborne lidar data and high-resolution satellite image | |
| Tejeswari et al. | Building footprint extraction from space-borne imagery using deep neural networks | |
| CN116543325A (zh) | 基于无人机影像的农作物人工智能自动识别方法和系统 | |
| CN117809029A (zh) | 基于边缘感知的多分支高分辨率遥感图像语义分割方法及系统 | |
| CN109934292B (zh) | 基于代价敏感性辅助学习的不平衡极化sar地物分类方法 | |
| CN108053406B (zh) | 基于多分辨率遥感影像的地表覆盖制图方法及装置 | |
| Wang et al. | Aerial-DEM geolocalization for GPS-denied UAS navigation | |
| CN113591614B (zh) | 一种基于紧邻空间特征学习的遥感影像道路提取方法 | |
| Huang et al. | Robust and efficient urban scene classification using relative features | |
| Wang et al. | Research on pavement segmentation algorithm of high resolution remote sensing image | |
| Krawiec et al. | Evolving cascades of voting feature detectors for vehicle detection in satellite imagery |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |