CN115049936A - 一种面向高分遥感影像的边界增强型语义分割方法 - Google Patents

一种面向高分遥感影像的边界增强型语义分割方法 Download PDF

Info

Publication number
CN115049936A
CN115049936A CN202210965865.6A CN202210965865A CN115049936A CN 115049936 A CN115049936 A CN 115049936A CN 202210965865 A CN202210965865 A CN 202210965865A CN 115049936 A CN115049936 A CN 115049936A
Authority
CN
China
Prior art keywords
semantic segmentation
boundary
convolution
remote sensing
layer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210965865.6A
Other languages
English (en)
Other versions
CN115049936B (zh
Inventor
李星华
王彩凤
李爽
郑晓云
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Planning And Natural Resources Data Management Center
Wuhan University WHU
Original Assignee
Shenzhen Planning And Natural Resources Data Management Center
Wuhan University WHU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Planning And Natural Resources Data Management Center, Wuhan University WHU filed Critical Shenzhen Planning And Natural Resources Data Management Center
Priority to CN202210965865.6A priority Critical patent/CN115049936B/zh
Publication of CN115049936A publication Critical patent/CN115049936A/zh
Application granted granted Critical
Publication of CN115049936B publication Critical patent/CN115049936B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/70—Labelling scene content, e.g. deriving syntactic or semantic representations

Abstract

本发明涉及遥感影像语义分割技术领域，公开一种面向高分遥感影像的边界增强型语义分割方法，该方法包括：预处理高分辨率遥感影像数据，获取边界标签数据和相应训练数据集；搭建面向高分遥感影像语义分割的边界增强型双流网络模型，包括含有多尺度特征提取模块、混合空洞卷积模块的语义分割分流网络与边缘检测分流网络，通过复用编码器特征和多级信息融合模块实现特征深度耦合；基于训练数据集和复合损失函数完成双流网络语义分割模型的双任务监督训练；利用双流网络模型重叠推理测试样本集中高分遥感影像，并通过着色处理完成语义分割。本发明有效地改善了语义分割边界模糊、类内不连续、类间不可分等问题，显著地提高了语义分割性能。

Description

一种面向高分遥感影像的边界增强型语义分割方法
技术领域
本发明属于遥感影像语义分割技术领域，具体涉及一种面向高分遥感影像的边界增强型语义分割方法。
背景技术
随着遥感技术的蓬勃发展，高分辨率遥感影像的获取越来越容易，其因具有分辨率高、地物细节信息丰富及目视效果直观等优点，在诸多领域中得到广泛应用，如灾害评估与预测、城市管理与规划、精细农业、军事安全、交通导航等。语义分割是遥感影像解译的重要手段，旨在实现像素级空间密集分类，为后续场景理解与信息提取奠定基础。因此提高语义分割精度对于提升高分遥感影像利用效率有着重要意义。
传统的图像语义分割方法包括阈值分割、区域分割等非监督分割方法以及支持向量机、随机森林等监督分割方法。该类方法主要依据颜色、形状、纹理等低中级信息，人为设计相应特征完成分割，存在人工经验依赖、无法捕获高级抽象语义特征等缺点，难以达到理想分割精度，推广性较差。目前，深度学习的研究热潮促使图像语义分割技术取得显著突破，形成了以深度卷积神经网络(DCNN)为代表的语义分割方法，如全卷积神经网络(FCN)、编解码语义分割网络UNet与SegNet、特征金字塔网络(FPN)、金字塔场景解析网络(PSPNet)、DeepLab系列网络等。特殊的网络层次结构赋予该类方法较强的多层次特征学习与表达能力、端到端自动化学习等优势，使其得以有效提升高分遥感影像的语义分割性能、富有较好的应用前景。
虽然深度卷积神经网络方法有力地推动了高分遥感影像语义分割技术的发展，但是影像分辨率与精度需求的同步提高使其依然面临一些挑战：一方面，受限于高分辨率遥感影像地物尺度差异大、目标结构复杂、“同物异谱”、“同谱异物”等固有特点，语义分割结果中同类物体内部不连续、非同类物体间不可区分问题广泛存在；另一方面，常见语义分割网络中池化等下采样策略在增大感受野、集成上下文语境信息的同时会降低特征分辨率、损失大量高频边界细节信息，从而导致语义分割结果中边界模糊问题较为突出。
针对上述问题，许多研究工作已被展开，如：a)引入多尺度特征提取模块，增强网络对不同地物的感知能力；b)引入注意力机制，强化网络鉴别性特征学习能力；c)利用空洞卷积代替普通卷积，减少空间信息损失；d)构建全分辨率语义分割网络如HRNet，在整个工作流中保持全分辨率特征表达，以维持细节信息。然而大多改进工作以更高模型复杂度为代价，造成信息冗余，性能提升效果不理想，高效精确地实现高分遥感影像语义分割亟待进一步探究。
发明内容
鉴于上述相关技术中存在的问题，本发明提出一种面向高分遥感影像的边界增强型语义分割方法，通过在同一深度学习框架下耦合语义分割分流网络与边缘检测分流网络，改善边界分割不准确、语义分割结果类内不一致与类间不可分问题，提高语义分割精度。
为实现上述目的，本发明所采用的技术方案是：
一种面向高分遥感影像的边界增强型语义分割方法，包括以下步骤：
步骤1，获取高分辨率遥感影像原始数据集，并将其划分为训练样本集与测试样本集；
步骤2，预处理上述高分辨率遥感影像训练样本集，构建训练数据集，具体包括：高分遥感影像数据归一化、地物类别标注数据类序转换、边界标签数据获取、数据增强；
步骤3，搭建面向高分遥感影像语义分割的边界增强型双流网络模型，包括语义分割分流网络与边缘检测分流网络，它们通过编码器复用以及多级信息融合模块实现特征深度耦合；
步骤4，利用上述训练数据集对所述面向高分遥感影像语义分割的边界增强型双流网络模型进行双任务监督训练，获得相应语义分割模型；
步骤5，利用步骤4所获语义分割模型对测试样本集中的高分遥感影像进行推理预测，具体包括：遥感影像归一化处理、重叠推理、语义分割结果着色处理。
进一步的，所述步骤2包含以下步骤：
步骤2.1，对训练样本集中的高分遥感影像进行归一化处理：具体地，采用最大最小归一化方法将像素值线性变换至0-1范围内，形式如下：
Figure 277096DEST_PATH_IMAGE001
其中
Figure 741706DEST_PATH_IMAGE002
为高分遥感影像位置(i,j)处的像素值，
Figure 380498DEST_PATH_IMAGE003
与
Figure 244549DEST_PATH_IMAGE004
分别为 影像中的最大像素值与最小像素值；
步骤2.2，对训练样本集中的地物类别标注数据进行类序转换：具体地，首先构建地物类颜色与类序号之间的映射关系，然后按照该映射关系将RGB三通道地物类别标注数据转换为单通道地物类别标签数据，类别标签属于{0，1，2，．．．，k-1}，其中k为地物类别总数；
步骤2.3，利用步骤2.2所得单通道地物类别标签数据获取边界类别标签数据：具 体地，针对地物类别标签图GT中每个像素
Figure 606391DEST_PATH_IMAGE005
，利用其四邻域像素
Figure 22329DEST_PATH_IMAGE006
辅助判断其是否属于边界像素，所遵循规则 为：如果像素
Figure 23783DEST_PATH_IMAGE007
与其四邻域像素不全部相等，则
Figure 566891DEST_PATH_IMAGE008
是边界像素；如果像素
Figure 704611DEST_PATH_IMAGE008
与其 四邻域像素全部相等，则
Figure 494713DEST_PATH_IMAGE009
不是边界像素；
步骤2.4，对训练样本集经上述处理所获得的高分遥感影像数据、地物类别标签数据以及边界类别标签数据同步进行数据增强：具体地，首先利用固定大小为H×W的滑动窗口进行批量随机裁剪，然后对所获裁剪切片进行随机旋转90°、随机旋转180°、随机旋转270°、水平翻转、垂直翻转等处理，完成训练数据集的构建。
进一步的，步骤3中语义分割分流网络采用编码-解码范式架构，具体搭建流程为：
步骤3.1.1，搭建含五级网络结构的特征编码器：前三级分别包括连续的n 1、n 2、n 3个卷积单元与2×2最大池化层，所述卷积单元为依次连接的3×3卷积层、批归一化层、线性整流激活函数层；第四级包括连续的n 4个多尺度特征提取模块与2×2最大池化层；第五级为依次连接的n 5个空洞卷积构成的混合空洞卷积模块；
步骤3.1.2，搭建含四级网络结构的特征解码器：第一级包括连续的上采样层、多级信息融合模块与n 4-1个多尺度特征提取模块；第二、三、四级分别包括连续的上采样层、多级信息融合模块与n 3-1、n 2-1、n 1-1个卷积单元；所述上采样层为4×4转置卷积单元，包括连续的4×4转置卷积、批归一化层、线性整流激活函数层；
步骤3.1.3，搭建分类模块：所述分类模块包括连续的通道数为k的1×1卷积层与softmax层，用于将语义分割结果表示为地物类别标签空间上的概率分布，形式如下：
Figure 593250DEST_PATH_IMAGE010
其中a n 对应于所述1×1卷积层输出结果的第n维值，k为上述语义分割地物类别数，y n 为第n类地物的预测概率。
进一步的，所述多尺度特征提取模块由四个平行的卷积块构成：第一个卷积块包 括一个1×1卷积单元；其余三个卷积块包括依次连接的1×1卷积单元和K i ×K i 卷积单元，
Figure 64683DEST_PATH_IMAGE011
；所述1×1卷积单元包括连续的1×1卷积层、批归一化层和线性整流激活函数 层，所述K i ×K i 卷积单元包括连续的K i ×K i 卷积层、批归一化层和线性整流激活函数层，K i 表 示卷积层的卷积核大小；
所述混合空洞卷积模块由N个不同空洞率[r 1,…, r i ,…r N ]的空洞卷积单元组成，所述空洞卷积单元包括连续的K d ×K d 空洞卷积层、批归一化层和线性整流激活函数层，所述混合空洞卷积模块的设计原则如下：
将第i个空洞卷积单元对应感受野中非零值之间的最大距离记作M i ，则
Figure 384806DEST_PATH_IMAGE012
设计目标为M 2 ≤K d ，其中M N = r N ，K d 表示空洞卷积的卷积核大小。
进一步的，步骤3中边缘检测分流网络的具体构建流程为：
步骤3.2.1，编码端卷积特征提取：从步骤3.1.1所述五级特征编码器中提取所有的卷积特征，并将其作为边缘检测分流网络的编码端特征；
步骤3.2.2，各级边界融合特征集成：首先将步骤3.2.1所得第一级的n 1个卷积特征分别进行通道数为k的1×1卷积，得到n 1个二通道卷积特征F 1~ Fn 1，其中k为语义分割地物类别总数；然后对F 1~ Fn 1进行通道维度拼接，并进行通道数为2的1×1卷积，得到第一级的边界融合特征E 1；同样处理第二、三、四、五级的卷积特征，得到相应的边界融合特征F E2~ F E5；
步骤3.2.3，边界特征分辨率恢复：采用转置卷积操作将特征F E2~ F E5分别上采样至原始影像分辨率，得到特征E 2~E 5；
步骤3.2.4，多尺度边界融合特征集成：对特征E 1~E 5进行通道维度拼接，得到多尺度边界融合特征F MS ；
步骤3.2.5，边界分类：将F MS 输入边界分类模块，所述边界分类模块包括连续的通道数为2的1×1卷积层与softmax层，用于将边缘检测结果转换为边界类别标签空间上的概率分布。
进一步的，所述边缘检测分流网络与所构建语义分割分流网络共享编码端所有卷积特征，并通过多级信息融合模块将同分辨率的语义分割编码特征与边缘检测特征引入语义分割解码端，实现深、浅层特征的高效融合与边界信息监督，所述多级信息融合模块的核心思想是：基于通道注意力机制实施特征重新校正，其具体流程为：
首先，在解码端将具有相同空间分辨率的语义分割分流网络编码层特征
Figure 176436DEST_PATH_IMAGE013
、语义分割分流网络解码层特征
Figure 152482DEST_PATH_IMAGE014
以及 边缘检测分流网络解码层特征
Figure 224343DEST_PATH_IMAGE015
进行通道维度拼接，得到初步融合 特征
Figure 477601DEST_PATH_IMAGE016
，
Figure 609505DEST_PATH_IMAGE017
；然后将融合特征F M 分别在空间维度 上进行全局最大池化和全局平均池化，获得两个空间上下文特征描述符
Figure 72848DEST_PATH_IMAGE018
与
Figure 699132DEST_PATH_IMAGE019
；然后将F Max 与F Avg 输入连续的两层共享 感知机和sigmoid激活函数层，通过学习获得通道注意力特征
Figure 56164DEST_PATH_IMAGE020
；然后 将通道注意力特征F Att 与初步融合特征F M 进行逐像素相乘，实现权重分配，得到注意力校正 特征
Figure 296653DEST_PATH_IMAGE021
；最后利用残差结构连接初步融合特征F M 与注意力校正特征F ' ，实现两特征之间的像素相加，获得最终的多级信息融合特征
Figure 794761DEST_PATH_IMAGE022
；其 中H与W表示特征的空间高度与宽度；C、C 1 、C 2 为相应特征的通道维度。
进一步的，所述步骤4包含以下步骤：
步骤4.1，批量输入训练集数据至上述边界增强型双流网络，通过自动化特征提取与端到端预测，得到相应的语义分割预测结果和边缘检测预测结果；所述批量大小为m；
步骤4.2，根据地物类别标签真值与边界标签真值，利用复合损失函数计算步骤4.1批训练下的损失，所述复合损失函数如下：
Figure 536321DEST_PATH_IMAGE023
其中L SS 与L ED 分别为语义分割分流与边缘检测分流的损失函数，
Figure 357647DEST_PATH_IMAGE024
为损失函数调节 因子，L SS 与L ED 的具体定义如下：
Figure 847665DEST_PATH_IMAGE025
Figure 144654DEST_PATH_IMAGE026
其中，N批输入下的所有像素总数，
Figure 34113DEST_PATH_IMAGE027
为像素n对应于第c类的独热码值，
Figure 54152DEST_PATH_IMAGE028
为像 素n的预测结果属于类别c的softmax概率；
Figure 26657DEST_PATH_IMAGE029
为像素n的边界标签真值，
Figure 420729DEST_PATH_IMAGE030
为边缘检测分 流将像素n预测为边界的softmax概率， E +为边界像素总数，
Figure 192507DEST_PATH_IMAGE031
为非边界像素总数；
步骤4.3，采用Adam优化算法，最小化步骤4.2所述复合损失函数，通过反向传播实现模型参数迭代更新；
步骤4.4，重复上述步骤4.1~4.3，直至模型收敛，获得最终语义分割模型。
进一步的，步骤4.3的具体实现流程如下；
步骤4.3.1，计算迭代次数t下的梯度：
Figure 113058DEST_PATH_IMAGE032
，其中θ表示模型参数，
Figure 944879DEST_PATH_IMAGE033
表示梯度算子符号；
步骤4.3.2，计算梯度的一阶矩估计m t 与二阶矩估计v t ：
Figure 826248DEST_PATH_IMAGE034
，
Figure 447722DEST_PATH_IMAGE035
，其中β 1与β 2分别为一阶矩和二阶矩 的指数衰减率；
步骤4.3.3，对梯度的一阶矩估计m t 与二阶矩估计v t 进行偏置修正，得到
Figure 363725DEST_PATH_IMAGE036
与
Figure 95009DEST_PATH_IMAGE037
：
Figure 588307DEST_PATH_IMAGE038
，
Figure 888838DEST_PATH_IMAGE039
；
步骤4.3.4，模型参数更新：
Figure 737977DEST_PATH_IMAGE040
，其中η为学习 率，ε是为了维持数值稳定而添加的常数。
进一步的，所述步骤5包含以下步骤：
步骤5.1，对测试样本集待语义分割遥感影像进行归一化处理，所述归一化操作同步骤2.1所述；
步骤5.2，利用步骤4.4所获语义分割模型对步骤5.1处理后的高分遥感影像进行 重叠推理：具体地，首先利用大小为H1×W1的滑动窗口以横向
Figure 692026DEST_PATH_IMAGE041
、纵向
Figure 157774DEST_PATH_IMAGE042
的 步幅遍历整张影像；然后裁剪滑动窗口内影像，将其输入网络，获得语义分割分流网络的softmax概率输出结果R；然后将R中每个像素概率最大值对应的地物类别标签作为其语义 分割结果；重复上述操作，直至整张影像遍历结束；最后将所有裁片的语义分割结果按原位 置关系拼接，其中针对重叠区域仅保留距离像素中心较近的一半，最终得到整张影像的语 义分割结果；
步骤5.3，利用步骤2.2所述地物类颜色与类序号之间的映射关系对上述语义分割结果进行着色，得到最终的彩色语义分割结果图。
本发明与现有技术对比，具有如下有益效果：
(1)本发明针对高分辨率遥感影像语义分割任务，提出一种边界增强型双流网络方法，通过联合语义分割与边缘检测两项任务，强化边界特征学习能力，弥补现有语义分割方法中边界细节特征大大损失的缺陷，从而改善语义分割结果边界模糊问题；同时通过采用语义分割分流网络与边缘检测分流网络编码层特征共享复用策略，实现特征间的强耦合、降低模型复杂度，有效提高模型效率；
(2)本发明通过构建多尺度特征提取模块与混合空洞卷积模块，丰富网络的多尺度特征感知能力和上下文信息集成能力，明显提升了网络的语义分割性能，促使语义分割结果呈现出更好的类内一致性与类间可区分性；此外，本发明通过构建多级信息融合模块，削弱语义鸿沟的影响，从而高效融合不同任务、不同级别下的特征，促进网络特征的充分利用。
附图说明
为更加清晰地理解本发明的技术方案，下面将针对具体实施示例中所涉及的附图进行展示与简易介绍，它们构成本说明书的一部分，并不用于限定本发明的权利要求范围。
图1为本发明一种面向高分遥感影像的边界增强型语义分割方法的流程示意图；
图2为本发明具体实施中边界增强型双流网络的结构示意图；
图3为本发明具体实施中多尺度特征提取模块的结构示意图；
图4为本发明具体实施中多级信息融合模块的结构示意图。
具体实施方式
下面将结合附图和具体实施示例对本发明的技术方案进行详细阐述。
具体地，如图1和图2所示，本发明提供的一种面向高分遥感影像的边界增强型语义分割方法，包括如下步骤：
步骤1，获取高分辨率遥感影像原始数据集，并将其划分为训练样本集与测试样本集。
步骤2，预处理上述高分辨率遥感影像训练样本集，构建训练数据集，具体包括：高分遥感影像数据归一化、地物类别标注数据类序转换、边界标签数据获取、数据增强。
在本实施例中，步骤2包括如下步骤：
步骤2.1，对训练样本集中的高分遥感影像进行归一化处理：具体地，采用最大最小归一化方法将像素值线性变换至0-1范围内，其形式如下：
Figure 996417DEST_PATH_IMAGE043
其中
Figure 683750DEST_PATH_IMAGE044
为高分遥感影像位置(i,j)处的像素值，
Figure 825013DEST_PATH_IMAGE045
与
Figure 168269DEST_PATH_IMAGE046
分别为影像中的最大像素值与最小像素值。
高分辨率遥感影像幅度广阔，像素值分布差异较大，上述步骤有助于消除量纲的影响，同时有助于加快网络收敛、提高语义分割性能。
步骤2.2，对训练样本集中的地物类别标注数据进行类序转换：具体地，首先构建地物类颜色与类序号之间的映射关系，然后按照该映射关系将RGB三通道地物类别标注数据转换为单通道地物类别标签数据，类别标签属于{0，1，2，．．．，k-1}，其中k为地物类别总数。
步骤2.3，利用步骤2.2所得单通道地物类别标签数据获取边界类别标签数据：具 体地，针对地物类别标签图GT中每个像素
Figure 935237DEST_PATH_IMAGE047
，利用其四邻域像素
Figure 414760DEST_PATH_IMAGE048
辅助判断其是否属于边界像素，所遵循规则 为：如果像素
Figure 930186DEST_PATH_IMAGE047
与其四邻域像素不全部相等，则
Figure 885372DEST_PATH_IMAGE049
是边界像素；如果像素
Figure 65818DEST_PATH_IMAGE047
与其 四邻域像素全部相等，则
Figure 478476DEST_PATH_IMAGE047
不是边界像素。
高分辨率遥感影像数据集一般不提供相应的边界类别标签数据，通过上述步骤可以在不增加人工标注负担的前提下获得边界类别标签数据，从而实现边缘检测分流网络的监督训练。
步骤2.4，对训练样本集经上述处理所获得的高分遥感影像数据、地物类别标签数 据以及边界类别标签数据同步进行数据增强，以丰富训练样本，增强网络的泛化能力：具体 地，首先，受GPU限制，高分遥感影像太大而无法直接输入网络，故利用固定大小为
Figure 476388DEST_PATH_IMAGE050
像 素的滑动窗口进行批量随机裁剪，然后对所获裁剪切片进行随机旋转90°、随机旋转180°、 随机旋转270°、水平翻转、垂直翻转等处理，完成训练数据集的构建。
步骤3，如图1所示，搭建面向高分遥感影像语义分割的边界增强型双流网络模型，包括语义分割分流网络与边缘检测分流网络，它们通过编码器复用以及多级信息融合模块实现特征深度耦合。
在本实施例中，步骤3包括如下步骤：
步骤3.1，构建语义分割分流网络：具体地，如图2所示语义分割分流网络采用编码-解码范式架构，且包含多尺度特征提取模块与混合空洞卷积模块。
如图2所示，本实施例中，所述步骤3.1的具体搭建流程为：
步骤3.1.1，搭建含五级网络结构的特征编码器：前三级分别包括连续的2、2、3个卷积单元与2×2最大池化层，所述卷积单元为依次连接的3×3卷积层、批归一化层、线性整流激活函数层；第四级包括连续的3个多尺度特征提取模块与2×2最大池化层，所述多尺度特征提取模块如图3所示；第五级为依次连接的3个空洞卷积构成的混合空洞卷积模块。
步骤3.1.2，搭建含四级网络结构的特征解码器：第一级包括连续的上采样层、多级信息融合模块与2个多尺度特征提取模块；第二、三、四级分别包括连续的上采样层、多级信息融合模块与2、1、1个卷积单元；所述上采样层为4×4转置卷积单元，包括连续的4×4转置卷积、批归一化层、线性整流激活函数层；所述多级信息融合模块如图3所示，所述卷积单元同步骤3.1.1所述。
步骤3.1.3，搭建分类模块：所述分类模块包括连续的通道数为k的1×1卷积层与softmax层，用于将语义分割结果表示为地物类别标签空间上的概率分布，形式如下：
Figure 528657DEST_PATH_IMAGE051
其中a n 对应于所述1×1卷积层输出结果的第n维值，k为上述语义分割地物类别数，y n 为第n类地物的预测概率。
本实施例中，如图3所示，所采用多尺度特征提取模块由四个平行的卷积块构成： 第一个卷积块包括一个1×1卷积单元；第二个卷积块包括依次连接的1×1卷积单元和3×3 卷积单元；第三个卷积块包括依次连接的1×1卷积单元和5×5卷积单元；第四个卷积块包 括依次连接的1×1卷积单元和7×7卷积单元，所述
Figure 325843DEST_PATH_IMAGE052
卷积单元包括连续的i ×i卷积层、批归一化层和线性整流激活函数层。通过采用不同大小的卷积核提取特征，可 以丰富网络对多尺度特征的感知能力，从而增强网络对不同地物的鉴别能力；同时该模块 中的1×1卷积操作用于执行通道维度特征衰减，有助于降低网络参数，减小模型复杂度。
本实施例中，所采用混合空洞卷积模块由3个空洞率为1，2，3的空洞卷积单元依次连接构成，所述空洞卷积单元包括连续的空洞卷积层、批归一化层和线性整流激活函数层。通过巧妙设计不同的空洞率，该模块可以有效增大感受野，提高网络的上下文特征集成能力，同时可以避免常见的网格效应问题。
步骤3.2，构建边缘检测分流网络：如图2所示，所述边缘检测分流网络与步骤3.1所构建语义分割分流网络共享编码端所有卷积特征；并通过多级信息融合模块将同分辨率的语义分割编码特征与边缘检测特征引入语义分割解码端，实现深、浅层特征的高效融合与边界信息监督。
如图2所示，本实施例中，所述步骤3.2边缘检测分流网络的具体构建流程为：
步骤3.2.1，编码端卷积特征提取：从步骤3.1.1所述五级特征编码器中提取所有的卷积特征，并将其作为边缘检测分流网络的编码端特征。
步骤3.2.2，各级边界融合特征集成：首先将步骤3.2.1所得第一级的2个卷积特征分别进行通道数为k的1×1卷积，得到2个二通道卷积特征F 1、F 2，其中k为语义分割地物类别总数；然后对F 1、F 2进行通道维度拼接，并进行通道数为2的1×1卷积，得到第一级的边界融合特征E 1；同样处理第二、三、四、五级的卷积特征，得到相应的边界融合特征F E2~ F E5。
步骤3.2.3，边界特征分辨率恢复：采用转置卷积操作将特征F E2~ F E5分别上采样至原始影像分辨率，得到特征E 2~E 5。
步骤3.2.4，多尺度边界融合特征集成：对特征E 1~E 5进行通道维度拼接，得到多尺度边界融合特征F MS 。
步骤3.2.5，边界分类：将F MS 输入边界分类模块，所述边界分类模块包括连续的通道数为2的1×1卷积层与softmax层，用于将边缘检测结果转换为边界类别标签空间上的概率分布。
本实施例中，如图4所示，所构建多级信息融合模块的核心思想是：基于通道注意 力机制实施特征重新校正，其具体流程为：首先，在解码端将具有相同空间分辨率的语义分 割分流网络编码层特征
Figure 904592DEST_PATH_IMAGE053
、语义分割分流网络解码层特征
Figure 948772DEST_PATH_IMAGE054
以及边缘检测分流网络解码层特征
Figure 363704DEST_PATH_IMAGE055
进行通道维度拼接，得到初步融合特征
Figure 213848DEST_PATH_IMAGE056
，
Figure 522469DEST_PATH_IMAGE057
；然 后将融合特征F M 分别在空间维度上进行全局最大池化和全局平均池化，获得两个空间上下 文特征描述符
Figure 341478DEST_PATH_IMAGE058
与
Figure 368340DEST_PATH_IMAGE059
；然后将F Max 与F Avg 输入连续 的两层共享感知机和sigmoid激活函数层，通过学习获得通道注意力特征
Figure 818913DEST_PATH_IMAGE060
；然后将通道注意力特征F Att 与初步融合特征F M 进行逐像素相乘，实 现权重分配，得到注意力校正特征
Figure 60669DEST_PATH_IMAGE061
；最后利用残差结构连接初步融 合特征F M 与注意力校正特征F ' ，实现两特征之间的像素相加，获得最终的多级信息融合特征
Figure 446651DEST_PATH_IMAGE062
；其中H与W表示特征的空间高度与宽度；C、C 1 、C 2 为相应特征的通道 维度。
步骤4，利用训练数据集对所述面向高分遥感影像语义分割的边界增强型双流网络模型进行双任务监督训练，获得相应的语义分割模型。
本实施方式中，步骤4包括如下具体步骤：
步骤4.1，批量输入训练集数据至上述边界增强型双流网络，通过自动化特征提取与端到端预测，得到相应的语义分割预测结果和边缘检测预测结果。本实例中，批量大小为16。
步骤4.2，根据地物类别标签真值与边界标签真值，利用复合损失函数计算步骤4.1批训练下的损失，本实施中，所述复合损失函数如下：
Figure 85443DEST_PATH_IMAGE063
其中L SS 与L ED 分别为语义分割分流与边缘检测分流的损失函数，其定义如下：
Figure 28122DEST_PATH_IMAGE064
Figure 45757DEST_PATH_IMAGE065
其中，N批输入下的所有像素总数，
Figure 727274DEST_PATH_IMAGE066
为像素n对应于第c类的独热码值，
Figure 728728DEST_PATH_IMAGE067
为像素n的预测结果属于类别c的softmax概率；
Figure 475098DEST_PATH_IMAGE068
为像素n的边界标签真值，
Figure 471873DEST_PATH_IMAGE069
为边 缘检测分流将像素n预测为边界的softmax概率， E +为边界像素总数，
Figure 465237DEST_PATH_IMAGE070
为非边界像素总 数；
步骤4.3，采用Adam优化算法最小化步骤4.2所述复合损失函数，并通过反向传播实现模型参数迭代更新，具体实现流程如下：
步骤4.3.1，计算迭代次数t下的梯度：
Figure 563774DEST_PATH_IMAGE071
，其中θ表示模型 参数，
Figure 97523DEST_PATH_IMAGE072
表示梯度算子符号；
步骤4.3.2，计算梯度的一阶矩估计m t 与二阶矩估计v t ：
Figure 89750DEST_PATH_IMAGE073
，
Figure 863802DEST_PATH_IMAGE074
，其中β 1与β 2分别为一阶矩和二阶矩的指数衰减率。本实例中，
Figure 574269DEST_PATH_IMAGE075
分别为0.9、0.99。
步骤4.3.3，对梯度的一阶矩估计m t 与二阶矩估计v t 进行偏置修正，得到
Figure 708447DEST_PATH_IMAGE076
与
Figure 899388DEST_PATH_IMAGE077
：
Figure 703396DEST_PATH_IMAGE078
，
Figure 838843DEST_PATH_IMAGE079
；
步骤4.3.4，模型参数更新：
Figure 386499DEST_PATH_IMAGE080
，其中η为学 习率，ε是为了维持数值稳定而添加的常数。本实例中，η为0.003，ε为1e-8。
步骤4.4，重复上述步骤4.1~4.3，直至模型收敛，获得最终语义分割模型。
步骤5，利用图2所示语义分割模型对测试样本集中的高分遥感影像进行推理预测，具体包括：遥感影像归一化处理、重叠推理、语义分割结果着色处理。
本实施方式中，步骤5包括如下具体步骤：
步骤5.1，对测试样本集待语义分割遥感影像进行归一化处理，所述归一化操作同步骤2.1所述。
步骤5.2，利用步骤4.4所获语义分割模型对步骤5.1处理后的高分遥感影像进行重叠推理：具体地，首先利用大小为1024×1024的滑动窗口以横向512像素、纵向512像素的步幅遍历整张影像；然后裁剪滑动窗口内影像，将其输入网络，获得语义分割分流网络的softmax概率输出结果R；然后将R中每个像素概率最大值对应的地物类别标签作为其语义分割结果；重复上述操作，直至整张影像遍历结束；最后将所有裁片的语义分割结果按原位置关系拼接，得到整张影像的语义分割结果，其中针对重叠推理区域，进行语义分割结果拼接时，仅保留距离像素中心近的一半。
受GPU性能限制，高分遥感影像往往因太大而无法直接输入网络，通过上述裁剪-推理-拼接流程可解决此问题，同时重叠推理策略有助于缓解边界效应，提高裁片边界预测准确率。
步骤5.3，利用步骤2.2所述地物类颜色与类序号之间的映射关系对步骤5.2所得语义分割结果进行着色，得到最终的彩色语义分割结果图。
上述附图与阐述公布了本发明的一个具体实施示例，但本发明并不局限于此。应当可以理解，基于上述示例，在不脱离本发明核心思想的的范围内，本领域普通技术人员可以以各种形式对本发明进行简易变形与改动，这些由本发明所衍生的非创造性改进也应属于本发明权利要求及其等同技术的范围之内。

Claims (9)

1.一种面向高分遥感影像的边界增强型语义分割方法，其特征在于，包括以下步骤：
步骤1，获取高分辨率遥感影像原始数据集，并将其划分为训练样本集与测试样本集；
步骤2，预处理上述高分辨率遥感影像训练样本集，构建训练数据集；
步骤3，搭建面向高分遥感影像语义分割的边界增强型双流网络模型，包括语义分割分流网络与边缘检测分流网络，它们通过编码器复用以及多级信息融合模块实现特征深度耦合；
步骤4，利用上述训练数据集对所述面向高分遥感影像语义分割的边界增强型双流网络模型进行双任务监督训练，获得相应语义分割模型；
步骤5，利用步骤4所获语义分割模型对测试样本集中的高分遥感影像进行推理预测，得到最终的分割结果。
2.根据权利要求1所述的一种面向高分遥感影像的边界增强型语义分割方法，其特征在于：步骤2中所述预处理包括：高分遥感影像数据归一化、地物类别标注数据类序转换、边界标签数据获取、数据增强，具体流程如下：
步骤2.1，对训练样本集中的高分遥感影像进行归一化处理：具体地，采用最大最小归一化方法将像素值线性变换至0-1范围内，形式如下：
Figure 187119DEST_PATH_IMAGE001
其中
Figure 427607DEST_PATH_IMAGE002
为高分遥感影像位置(i,j)处的像素值，
Figure 440563DEST_PATH_IMAGE003
与
Figure 661417DEST_PATH_IMAGE004
分 别为影像中的最大像素值与最小像素值；
步骤2.2，对训练样本集中的地物类别标注数据进行类序转换：具体地，首先构建地物类颜色与类序号之间的映射关系，然后按照该映射关系将RGB三通道地物类别标注数据转换为单通道地物类别标签数据，类别标签属于{0，1，2，．．．，k-1}，其中k为地物类别总数；
步骤2.3，利用步骤2.2所得单通道地物类别标签数据获取边界类别标签数据：具体地， 针对地物类别标签图GT中每个像素
Figure 748321DEST_PATH_IMAGE005
，利用其四邻域像素
Figure 487607DEST_PATH_IMAGE006
辅助判断其是否属于边界像素，所遵循规 则为：如果像素
Figure 535329DEST_PATH_IMAGE007
与其四邻域像素不全部相等，则
Figure 424787DEST_PATH_IMAGE005
是边界像素；如果像素
Figure 694095DEST_PATH_IMAGE008
与 其四邻域像素全部相等，则
Figure 151752DEST_PATH_IMAGE008
不是边界像素；
步骤2.4，对训练样本集经上述处理所获得的高分遥感影像数据、地物类别标签数据以 及边界类别标签数据同步进行数据增强；具体地，首先利用固定大小为
Figure 545824DEST_PATH_IMAGE009
的滑动窗口进 行批量随机裁剪，然后对所获裁剪切片进行随机旋转90°、随机旋转180°、随机旋转270°、水 平翻转、垂直翻转，完成训练数据集的构建。
3.根据权利要求1所述的一种面向高分遥感影像的边界增强型语义分割方法，其特征在于：步骤3中语义分割分流网络采用编码-解码范式架构，具体搭建流程为：
步骤3.1.1，搭建含五级网络结构的特征编码器：前三级分别包括连续的n 1、n 2、n 3个卷积单元与2×2最大池化层，所述卷积单元为依次连接的3×3卷积层、批归一化层、线性整流激活函数层；第四级包括连续的n 4个多尺度特征提取模块与2×2最大池化层；第五级为依次连接的n 5个空洞卷积构成的混合空洞卷积模块；
步骤3.1.2，搭建含四级网络结构的特征解码器：第一级包括连续的上采样层、多级信息融合模块与n 4-1个多尺度特征提取模块；第二、三、四级分别包括连续的上采样层、多级信息融合模块与n 3-1、n 2-1、n 1-1个卷积单元；所述上采样层为4×4转置卷积单元，包括连续的4×4转置卷积、批归一化层、线性整流激活函数层；
步骤3.1.3，搭建分类模块：所述分类模块包括连续的通道数为k的1×1卷积层与softmax层，用于将语义分割结果表示为地物类别标签空间上的概率分布，形式如下：
Figure 832449DEST_PATH_IMAGE010
其中a n 对应于所述1×1卷积层输出结果的第n维值，k为上述语义分割地物类别数，y n 为第n类地物的预测概率。
4.根据权利要求3所述的一种面向高分遥感影像的边界增强型语义分割方法，其特征在于：
所述多尺度特征提取模块由四个平行的卷积块构成：第一个卷积块包括一个1×1卷积 单元；其余三个卷积块包括依次连接的1×1卷积单元和K i ×K i 卷积单元，
Figure 503733DEST_PATH_IMAGE011
；所述1 ×1卷积单元包括连续的1×1卷积层、批归一化层和线性整流激活函数层，所述K i ×K i 卷积 单元包括连续的K i ×K i 卷积层、批归一化层和线性整流激活函数层，K i 表示卷积层的卷积核 大小；
所述混合空洞卷积模块由N个不同空洞率[r 1,…, r i ,…r N ]的空洞卷积单元组成，所述空洞卷积单元包括连续的K d ×K d 空洞卷积层、批归一化层和线性整流激活函数层，所述混合空洞卷积模块的设计原则如下：
将第i个空洞卷积单元对应感受野中非零值之间的最大距离记作M i ，则
Figure 850401DEST_PATH_IMAGE012
设计目标为M 2 ≤K d ，其中M N = r N ，K d 表示空洞卷积的卷积核大小。
5.根据权利要求3所述的一种面向高分遥感影像的边界增强型语义分割方法，其特征在于：步骤3中边缘检测分流网络的具体构建流程为：
步骤3.2.1，编码端卷积特征提取：从步骤3.1.1所述五级特征编码器中提取所有的卷积特征，并将其作为边缘检测分流网络的编码端特征；
步骤3.2.2，各级边界融合特征集成：首先将步骤3.2.1所得第一级的n 1个卷积特征分别进行通道数为k的1×1卷积，得到n 1个二通道卷积特征F 1~ Fn 1，其中k为语义分割地物类别总数；然后对F 1~ Fn 1进行通道维度拼接，并进行通道数为2的1×1卷积，得到第一级的边界融合特征E 1；同样处理第二、三、四、五级的卷积特征，得到相应的边界融合特征F E2~ F E5；
步骤3.2.3，边界特征分辨率恢复：采用转置卷积操作将特征F E2~ F E5分别上采样至原始影像分辨率，得到特征E 2~E 5；
步骤3.2.4，多尺度边界融合特征集成：对特征E 1~E 5进行通道维度拼接，得到多尺度边界融合特征F MS ；
步骤3.2.5，边界分类：将F MS 输入边界分类模块，所述边界分类模块包括连续的通道数为2的1×1卷积层与softmax层，用于将边缘检测结果转换为边界类别标签空间上的概率分布。
6.根据权利要求3所述的一种面向高分遥感影像的边界增强型语义分割方法，其特征在于：所述边缘检测分流网络与所构建语义分割分流网络共享编码端所有卷积特征，并通过多级信息融合模块将同分辨率的语义分割编码特征与边缘检测特征引入语义分割解码端，实现深、浅层特征的高效融合与边界信息监督，所述多级信息融合模块的核心思想是：基于通道注意力机制实施特征重新校正，其具体流程为：
首先，在解码端将具有相同空间分辨率的语义分割分流网络编码层特征
Figure 731769DEST_PATH_IMAGE013
、语义分割分流网络解码层特征
Figure 41659DEST_PATH_IMAGE014
以及边缘检测分流网络解码层特征
Figure 82296DEST_PATH_IMAGE015
进行通道维度拼接，得到 初步融合特征
Figure 85018DEST_PATH_IMAGE016
，
Figure 453682DEST_PATH_IMAGE017
；然后将融合特征F M 分别在 空间维度上进行全局最大池化和全局平均池化，获得两个空间上下文特征描述符
Figure 878848DEST_PATH_IMAGE018
与
Figure 383778DEST_PATH_IMAGE019
；然后将F Max 与F Avg 输入连续的两层共享 感知机和sigmoid激活函数层，通过学习获得通道注意力特征
Figure 557402DEST_PATH_IMAGE020
；然后 将通道注意力特征F Att 与初步融合特征F M 进行逐像素相乘，实现权重分配，得到注意力校正 特征
Figure 537996DEST_PATH_IMAGE021
；最后利用残差结构连接初步融合特征F M 与注意力校正特征F ' ，实现两特征之间的像素相加，获得最终的多级信息融合特征
Figure 376639DEST_PATH_IMAGE022
； 其中H与W表示特征的空间高度与宽度；C、C 1 、C 2 为相应特征的通道维度。
7.根据权利要求1所述的一种面向高分遥感影像的边界增强型语义分割方法，其特征在于：所述步骤4的具体流程为：
步骤4.1，批量输入训练集数据至上述边界增强型双流网络，通过自动化特征提取与端到端预测，得到相应的语义分割预测结果和边缘检测预测结果；所述批量大小为m；
步骤4.2，根据地物类别标签真值与边界标签真值，利用复合损失函数计算步骤4.1批训练下的损失，所述复合损失函数如下：
Figure 877022DEST_PATH_IMAGE023
其中L SS 与L ED 分别为语义分割分流与边缘检测分流的损失函数，
Figure 470814DEST_PATH_IMAGE024
为损失函数调节因子，L SS 与L ED 的具体定义如下：
Figure 548492DEST_PATH_IMAGE025
Figure 325912DEST_PATH_IMAGE026
其中，N批输入下的所有像素总数，
Figure 133331DEST_PATH_IMAGE027
为像素n对应于第c类的独热码值，
Figure 570128DEST_PATH_IMAGE028
为像素n的预测结果属于类别c的softmax概率；
Figure 276047DEST_PATH_IMAGE029
为像素n的边界标签真值，
Figure 518810DEST_PATH_IMAGE030
为边缘检测 分流将像素n预测为边界的softmax概率， E +为边界像素总数，
Figure 118418DEST_PATH_IMAGE031
为非边界像素总数；
步骤4.3，采用Adam优化算法，最小化步骤4.2所述复合损失函数，通过反向传播实现模型参数迭代更新；
步骤4.4，重复上述步骤4.1~4.3，直至模型收敛，获得最终语义分割模型。
8.根据权利要求7所述的一种面向高分遥感影像的边界增强型语义分割方法，其特征在于：步骤4.3的具体实现流程如下；
步骤4.3.1，计算迭代次数t下的梯度：
Figure 601483DEST_PATH_IMAGE032
，其中θ表示模型参数，
Figure 919332DEST_PATH_IMAGE033
表示梯度算子符号；
步骤4.3.2，计算梯度的一阶矩估计m t 与二阶矩估计v t ：
Figure 762523DEST_PATH_IMAGE034
，
Figure 216638DEST_PATH_IMAGE035
，其中β 1与β 2分别为一阶矩和二阶矩的指数衰减率；
步骤4.3.3，对梯度的一阶矩估计m t 与二阶矩估计v t 进行偏置修正，得到
Figure 73867DEST_PATH_IMAGE036
与
Figure 738066DEST_PATH_IMAGE037
：
Figure 525894DEST_PATH_IMAGE038
，
Figure 913144DEST_PATH_IMAGE039
；
步骤4.3.4，模型参数更新：
Figure 987279DEST_PATH_IMAGE040
，其中η为学 习率，ε是为了维持数值稳定而添加的常数。
9.根据权利要求1所述一种面向高分遥感影像的边界增强型语义分割方法，其特征在于：步骤5具体流程如下：
步骤5.1，对测试样本集待语义分割遥感影像进行归一化处理；
步骤5.2，利用步骤4所获语义分割模型对步骤5.1处理后的高分遥感影像进行重叠推 理：具体地，首先利用大小为H1×W1的滑动窗口以横向S w 、纵向S h 的步幅遍历整张影像，其中
Figure 748562DEST_PATH_IMAGE041
；然后裁剪滑动窗口内影像，将其输入语义分割模型，获得语义分割模 型的softmax概率输出结果R；然后将R中每个像素概率最大值对应的地物类别标签作为其 语义分割结果；重复上述操作，直至整张影像遍历结束；最后将所有裁片的语义分割结果按 原位置关系拼接，其中针对重叠区域仅保留距离像素中心较近的一半，最终得到整张影像 的语义分割结果；
步骤5.3，对步骤5.2中语义分割结果进行着色，得到最终的彩色语义分割结果图。
CN202210965865.6A 2022-08-12 2022-08-12 一种面向高分遥感影像的边界增强型语义分割方法 Active CN115049936B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210965865.6A CN115049936B (zh) 2022-08-12 2022-08-12 一种面向高分遥感影像的边界增强型语义分割方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210965865.6A CN115049936B (zh) 2022-08-12 2022-08-12 一种面向高分遥感影像的边界增强型语义分割方法

Publications (2)

Publication Number Publication Date
CN115049936A true CN115049936A (zh) 2022-09-13
CN115049936B CN115049936B (zh) 2022-11-22

Family

ID=83167785

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210965865.6A Active CN115049936B (zh) 2022-08-12 2022-08-12 一种面向高分遥感影像的边界增强型语义分割方法

Country Status (1)

Country Link
CN (1) CN115049936B (zh)

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115272681A (zh) * 2022-09-22 2022-11-01 中国海洋大学 基于高阶特征类解耦的海洋遥感图像语义分割方法及系统
CN115393725A (zh) * 2022-10-26 2022-11-25 西南科技大学 一种特征增强和语义分割的桥梁裂缝识别方法
CN115408498A (zh) * 2022-11-02 2022-11-29 中孚安全技术有限公司 一种基于自然语言的数据动态识别方法
CN115861824A (zh) * 2023-02-23 2023-03-28 汕头大学 基于改进Transformer的遥感图像识别方法
CN115861826A (zh) * 2023-02-27 2023-03-28 武汉天际航信息科技股份有限公司 面向模型交叠区域的配置方法、计算设备和存储介质
CN116012953A (zh) * 2023-03-22 2023-04-25 南京邮电大学 一种基于csi的轻量级双任务感知方法
CN116630824A (zh) * 2023-06-06 2023-08-22 北京星视域科技有限公司 一种面向电力巡检机制的卫星遥感图像边界感知语义分割模型
CN116644205A (zh) * 2023-07-27 2023-08-25 北京元图科技发展有限公司 一种地理信息数据处理系统及方法
CN116797787A (zh) * 2023-05-22 2023-09-22 中国地质大学（武汉） 基于跨模态融合与图神经网络的遥感影像语义分割方法
CN116824139A (zh) * 2023-06-14 2023-09-29 合肥综合性国家科学中心人工智能研究院(安徽省人工智能实验室) 一种基于边界监督和时序关联的内窥镜息肉分割方法
CN117036984A (zh) * 2023-10-09 2023-11-10 武汉大学 一种融合注意力机制的级联u型网络云检测方法及系统
CN117115563A (zh) * 2023-10-19 2023-11-24 武汉大学 基于区域语义感知的遥感土地覆盖分类方法及系统
CN117237645A (zh) * 2023-11-15 2023-12-15 中国农业科学院农业资源与农业区划研究所 基于边界增强的语义分割模型的训练方法、装置和设备
CN117689960A (zh) * 2024-01-31 2024-03-12 中国地质大学（武汉） 一种岩性场景分类模型构建方法及分类方法

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107680113A (zh) * 2017-10-27 2018-02-09 武汉大学 基于贝叶斯框架边缘先验的多层分割网络的图像分割方法
CN109409240A (zh) * 2018-09-28 2019-03-01 北京航空航天大学 一种结合随机游走的SegNet遥感图像语义分割方法
CN112084872A (zh) * 2020-08-10 2020-12-15 浙江工业大学 一种融合语义分割与边缘的高分遥感目标精准检测方法
CN112183360A (zh) * 2020-09-29 2021-01-05 上海交通大学 高分辨率遥感影像的轻量化语义分割方法
CN112883948A (zh) * 2021-05-06 2021-06-01 深圳市城市交通规划设计研究中心股份有限公司 一种语义分割与边缘检测模型建立及护栏异常监测方法
CN112991354A (zh) * 2021-03-11 2021-06-18 东北大学 一种基于深度学习的高分辨率遥感影像语义分割方法
US20210201023A1 (en) * 2019-12-26 2021-07-01 Ping An Technology (Shenzhen) Co., Ltd. Cultivated land recognition method in satellite image and computing device
CN113609889A (zh) * 2021-05-18 2021-11-05 武汉大学 基于敏感特征聚焦感知的高分辨遥感影像植被提取方法
CN113689445A (zh) * 2021-07-13 2021-11-23 浙江工业大学 结合语义分割与边缘检测的高分辨率遥感建筑物提取方法
CN114092832A (zh) * 2022-01-20 2022-02-25 武汉大学 一种基于并联混合卷积网络的高分辨率遥感影像分类方法
CN114187311A (zh) * 2021-12-14 2022-03-15 京东鲲鹏(江苏)科技有限公司 一种图像语义分割方法、装置、设备及存储介质
CN114332458A (zh) * 2021-11-25 2022-04-12 北京达佳互联信息技术有限公司 图像处理方法、装置、电子设备及存储介质

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107680113A (zh) * 2017-10-27 2018-02-09 武汉大学 基于贝叶斯框架边缘先验的多层分割网络的图像分割方法
CN109409240A (zh) * 2018-09-28 2019-03-01 北京航空航天大学 一种结合随机游走的SegNet遥感图像语义分割方法
US20210201023A1 (en) * 2019-12-26 2021-07-01 Ping An Technology (Shenzhen) Co., Ltd. Cultivated land recognition method in satellite image and computing device
CN112084872A (zh) * 2020-08-10 2020-12-15 浙江工业大学 一种融合语义分割与边缘的高分遥感目标精准检测方法
CN112183360A (zh) * 2020-09-29 2021-01-05 上海交通大学 高分辨率遥感影像的轻量化语义分割方法
CN112991354A (zh) * 2021-03-11 2021-06-18 东北大学 一种基于深度学习的高分辨率遥感影像语义分割方法
CN112883948A (zh) * 2021-05-06 2021-06-01 深圳市城市交通规划设计研究中心股份有限公司 一种语义分割与边缘检测模型建立及护栏异常监测方法
CN113609889A (zh) * 2021-05-18 2021-11-05 武汉大学 基于敏感特征聚焦感知的高分辨遥感影像植被提取方法
CN113689445A (zh) * 2021-07-13 2021-11-23 浙江工业大学 结合语义分割与边缘检测的高分辨率遥感建筑物提取方法
CN114332458A (zh) * 2021-11-25 2022-04-12 北京达佳互联信息技术有限公司 图像处理方法、装置、电子设备及存储介质
CN114187311A (zh) * 2021-12-14 2022-03-15 京东鲲鹏(江苏)科技有限公司 一种图像语义分割方法、装置、设备及存储介质
CN114092832A (zh) * 2022-01-20 2022-02-25 武汉大学 一种基于并联混合卷积网络的高分辨率遥感影像分类方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
HOIN JUNG 等: "Boundary Enhancement Semantic Segmentation for Building Extraction From Remote Sensed Image", 《IEEE TRANSACTIONS ON GEOSCIENCE AND REMOTE SENSING》 *
杨运龙 等: "一种双路网络语义分割模型", 《广东工业大学学报》 *

Cited By (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115272681A (zh) * 2022-09-22 2022-11-01 中国海洋大学 基于高阶特征类解耦的海洋遥感图像语义分割方法及系统
CN115272681B (zh) * 2022-09-22 2022-12-20 中国海洋大学 基于高阶特征类解耦的海洋遥感图像语义分割方法及系统
CN115393725A (zh) * 2022-10-26 2022-11-25 西南科技大学 一种特征增强和语义分割的桥梁裂缝识别方法
CN115393725B (zh) * 2022-10-26 2023-03-07 西南科技大学 一种特征增强和语义分割的桥梁裂缝识别方法
CN115408498A (zh) * 2022-11-02 2022-11-29 中孚安全技术有限公司 一种基于自然语言的数据动态识别方法
CN115408498B (zh) * 2022-11-02 2023-03-24 中孚安全技术有限公司 一种基于自然语言的数据动态识别方法
CN115861824A (zh) * 2023-02-23 2023-03-28 汕头大学 基于改进Transformer的遥感图像识别方法
CN115861824B (zh) * 2023-02-23 2023-06-06 汕头大学 基于改进Transformer的遥感图像识别方法
CN115861826A (zh) * 2023-02-27 2023-03-28 武汉天际航信息科技股份有限公司 面向模型交叠区域的配置方法、计算设备和存储介质
CN116012953A (zh) * 2023-03-22 2023-04-25 南京邮电大学 一种基于csi的轻量级双任务感知方法
CN116797787A (zh) * 2023-05-22 2023-09-22 中国地质大学（武汉） 基于跨模态融合与图神经网络的遥感影像语义分割方法
CN116797787B (zh) * 2023-05-22 2024-01-02 中国地质大学（武汉） 基于跨模态融合与图神经网络的遥感影像语义分割方法
CN116630824A (zh) * 2023-06-06 2023-08-22 北京星视域科技有限公司 一种面向电力巡检机制的卫星遥感图像边界感知语义分割模型
CN116824139B (zh) * 2023-06-14 2024-03-22 合肥综合性国家科学中心人工智能研究院(安徽省人工智能实验室) 一种基于边界监督和时序关联的内窥镜息肉分割方法
CN116824139A (zh) * 2023-06-14 2023-09-29 合肥综合性国家科学中心人工智能研究院(安徽省人工智能实验室) 一种基于边界监督和时序关联的内窥镜息肉分割方法
CN116644205B (zh) * 2023-07-27 2023-10-31 北京元图科技发展有限公司 一种地理信息数据处理系统及方法
CN116644205A (zh) * 2023-07-27 2023-08-25 北京元图科技发展有限公司 一种地理信息数据处理系统及方法
CN117036984A (zh) * 2023-10-09 2023-11-10 武汉大学 一种融合注意力机制的级联u型网络云检测方法及系统
CN117036984B (zh) * 2023-10-09 2024-01-09 武汉大学 一种融合注意力机制的级联u型网络云检测方法及系统
CN117115563A (zh) * 2023-10-19 2023-11-24 武汉大学 基于区域语义感知的遥感土地覆盖分类方法及系统
CN117237645A (zh) * 2023-11-15 2023-12-15 中国农业科学院农业资源与农业区划研究所 基于边界增强的语义分割模型的训练方法、装置和设备
CN117237645B (zh) * 2023-11-15 2024-02-06 中国农业科学院农业资源与农业区划研究所 基于边界增强的语义分割模型的训练方法、装置和设备
CN117689960A (zh) * 2024-01-31 2024-03-12 中国地质大学（武汉） 一种岩性场景分类模型构建方法及分类方法
CN117689960B (zh) * 2024-01-31 2024-04-26 中国地质大学（武汉） 一种岩性场景分类模型构建方法及分类方法

Also Published As

Publication number Publication date
CN115049936B (zh) 2022-11-22

Similar Documents

Publication Publication Date Title
CN115049936B (zh) 一种面向高分遥感影像的边界增强型语义分割方法
CN109871798B (zh) 一种基于卷积神经网络的遥感影像建筑物提取方法
CN111369563B (zh) 一种基于金字塔空洞卷积网络的语义分割方法
CN115797931A (zh) 一种基于双分支特征融合的遥感图像语义分割方法
CN112183258A (zh) 一种基于上下文信息和注意力机制的遥感图像道路分割方法
CN112597985B (zh) 一种基于多尺度特征融合的人群计数方法
CN110109060A (zh) 一种基于深度学习网络的雷达辐射源信号分选方法及系统
CN110675421B (zh) 基于少量标注框的深度图像协同分割方法
CN114820579A (zh) 一种基于语义分割的图像复合缺陷的检测方法及系统
CN115512103A (zh) 多尺度融合遥感图像语义分割方法及系统
CN115620010A (zh) 一种rgb-t双模态特征融合的语义分割方法
CN114943876A (zh) 一种多级语义融合的云和云影检测方法、设备及存储介质
CN114612664A (zh) 一种基于双边分割网络的细胞核分割方法
CN114463340B (zh) 一种边缘信息引导的敏捷型遥感图像语义分割方法
CN116958827A (zh) 一种基于深度学习的撂荒区域提取方法
CN114445442B (zh) 基于非对称交叉融合的多光谱图像语义分割方法
CN116485867A (zh) 一种面向自动驾驶的结构化场景深度估计方法
CN115049921A (zh) 基于Transformer边界感知的光学遥感图像显著目标检测方法
Zhang et al. Dense haze removal based on dynamic collaborative inference learning for remote sensing images
CN113888505A (zh) 一种基于语义分割的自然场景文本检测方法
CN114937154B (zh) 一种基于递归解码器的显著性检测方法
CN113343861B (zh) 一种基于神经网络模型的遥感图像水体区域提取方法
CN113409321B (zh) 一种基于像素分类和距离回归的细胞核图像分割方法
CN114998587A (zh) 一种遥感影像建筑物语义分割方法及系统
CN111008986B (zh) 一种基于多任务半卷积的遥感图像分割方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: 430072 no.299 Bayi Road, Luojiashan street, Wuchang District, Wuhan City, Hubei Province

Applicant after: WUHAN University

Applicant after: Shenzhen Planning and Natural Resources Data Management Center (Shenzhen Spatial Geographic Information Center)

Address before: 430072 no.299 Bayi Road, Luojiashan street, Wuchang District, Wuhan City, Hubei Province

Applicant before: WUHAN University

Applicant before: Shenzhen planning and natural resources data management center

Address after: 518034 floor 1, No. 69, Xinwen Road, Futian District, Shenzhen, Guangdong

Applicant after: Shenzhen Planning and Natural Resources Data Management Center (Shenzhen Spatial Geographic Information Center)

Applicant after: WUHAN University

Address before: 430072 no.299 Bayi Road, Luojiashan street, Wuchang District, Wuhan City, Hubei Province

Applicant before: WUHAN University

Applicant before: Shenzhen Planning and Natural Resources Data Management Center (Shenzhen Spatial Geographic Information Center)

CB02 Change of applicant information
GR01 Patent grant
GR01 Patent grant