CN115564988A - 基于标签平滑的遥感图像场景分类和语义分割任务的方法 - Google Patents

基于标签平滑的遥感图像场景分类和语义分割任务的方法 Download PDF

Info

Publication number
CN115564988A
CN115564988A CN202211142455.8A CN202211142455A CN115564988A CN 115564988 A CN115564988 A CN 115564988A CN 202211142455 A CN202211142455 A CN 202211142455A CN 115564988 A CN115564988 A CN 115564988A
Authority
CN
China
Prior art keywords
remote sensing
label
smoothing
training
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211142455.8A
Other languages
English (en)
Inventor
程建
白海伟
曹玮
王琪
夏子瀛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Electronic Science and Technology of China
Original Assignee
University of Electronic Science and Technology of China
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Electronic Science and Technology of China filed Critical University of Electronic Science and Technology of China
Priority to CN202211142455.8A priority Critical patent/CN115564988A/zh
Publication of CN115564988A publication Critical patent/CN115564988A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及遥感图像处理领域，尤其涉及一种基于标签平滑的遥感图像场景分类和语义分割任务的方法，包括以下步骤：预处理遥感图像场景分类和语义分割数据集；对训练数据标签进行基于先验统计信息的标签平滑，引入类别分布信息指导网络的训练；构造深度神经网络并在大型数据集上进行预训练，然后将经标签平滑处理的遥感图像训练数据集送入网络进行微调。本发明通过对数据标签进行基于先验统计信息的标签平滑，将类别统计分布先验知识加入网络训练，降低正样本在计算网络损失时的权重，从而缓解样本类别分布不均的问题；本发明可以有效提高遥感图像场景分类和语义分割网络模型的分类性能和泛化性。

Description

基于标签平滑的遥感图像场景分类和语义分割任务的方法
技术领域
本发明涉及遥感图像处理领域，尤其涉及一种基于标签平滑的遥感图像场景分类和语义分割任务的方法。
背景技术
标签平滑是一种在深度学习网络训练时常用的正则化策略，已被验证是分类任务与中有效防止过拟合的方法，从而可以提高图像分类和分割的准确率。在训练神经网络时，神经网络会促使自身往正确标签和错误标签差值最大的方向学习，在训练数据较少，不足以表征所有样本特征的情况下，会导致网络过拟合。标签平滑方法通过平滑one-hot标签的方法加入噪声，减少了真实样本标签的类别在计算损失函数时的权重，最终起到抑制过拟合的效果。
遥感是指非接触的，远距离的探测技术。一般指运用传感器/遥感器对物体的电磁波的辐射、反射特性的探测。遥感是通过遥感器这类对电磁波敏感的仪器，在远离目标和非接触目标物体条件下探测目标地物，获取其反射、辐射或散射的电磁波信息(如电场、磁场、电磁波、地震波等信息)，并进行提取、判定、加工处理、分析与应用的一门科学和技术。随着遥感技术的不断发展，遥感图像的获取变得更加容易，至今已出现越来越多的公开遥感图像数据集。遥感图像是指记录各种地物电磁波大小的胶片或照片，主要分为航空图像和卫星图像。与自然图像相比，遥感图像包含更多的颜色、纹理和形状等特征，同时存在背景复杂、类型繁多等问题。在这些公开数据集中，大部分都存在着同类差异大、不同类相似程度高的问题，使得现有的对于遥感图像进行场景分类和语义分割的方法的类别区分度低，存在着一定的挑战。
遥感图像场景分类指的是根据给定遥感图像所含信息将该图像划分入一系列预定义的语义类别中；遥感图像语义分割指的是根据遥感图像所含信息将该图像中的每个像素划分入一系列预定义的语义类别中。近年来，由于城市规划、自然灾害检测、环境调节、地理制图、地理空间目标检测等实际应用的需要，遥感图像场景分类和语义分割日渐成为研究热点。
不同于自然图像的分类和分割任务，遥感图像的纹理和颜色特征信息丰富度更高，同时也存在背景复杂、类型繁多等问题，因此对于遥感图像的分类与分割存在一定挑战，现有技术中还没有很好的基于标签平滑的遥感图像场景分类和语义分割任务的方法。
发明内容
为了解决上述现有技术中存在的问题，本发明一种基于标签平滑的遥感图像场景分类和语义分割任务的方法，从遥感图像自身类内差异大、类间差异小等特点出发，提出基于先验统计信息的遥感图像场景分类和语义分割标签平滑方法，提高网络模型的分类性能。
基于标签平滑的遥感图像场景分类和语义分割任务的方法，包括以下步骤：
划分训练集和测试集：构建各类场景的高分辨率遥感场景图像样本数据集，并按照预设的比例将高分辨率遥感场景图像样本数据集划分为训练集和测试集；
数据预处理：对训练集和测试集中的数据分别进行预处理；
标签平滑：基于先验统计信息对经过预处理后的训练集数据进行标签平滑，分别对训练集中的遥感图像场景分类训练数据和遥感图像语义分割数据进行标签平滑；
神经网络模型：建立神经网络模型，并基于进行标签平滑后的数据对神经网络模型进行训练；
模型测试：将测试集中的样本数据输入训练好的神经网络模型中，获得测试集图像的预测类别。
本发明通过先验统计的标签平滑方法充分考虑了遥感图像自身类内差异大、类间差异小的特点，对训练样本标签进行平滑处理，从而提升模型的泛化能力。
优选的，所述划分训练集和测试集包括以下步骤：
构建遥感场景图像样本数据集，并制作相应的样本标签；
将遥感场景图像样本数据集分为训练集和测试集，针对遥感场景图像样本数据集中的每类遥感影像，设遥感影像的总数为n，从中随机抽取出m张图像构建训练，其余的n-m张图像构建测试集。
优选的，所述数据预处理包括：对训练集和测试集样本进行降噪、随机擦除以及随机旋转处理；并对训练集样本进行缩放处理。
优选的，所述缩放处理的计算方法如下所述：
对于尺度为s×s的输入图像x，在每次训练迭代初始，将其缩放至尺度d×d，d关于s的计算公式如下：
Figure BDA0003854055050000021
式中：t为当前的训练迭代周期，iters为一轮训练过程中总计经历的迭代次数。
优选的，对遥感图像场景分类训练数据进行标签平滑的计算方法如下所述：计算训练集中每个批次遥感图像场景分类训练数据的类别先验统计结果，将类别先验统计结果与标签平滑因子相乘，再与对应的原始标签进行相加，得到经类别先验统计信息平滑后的分类标签。
优选的，对所述遥感场景分类训练数据进行标签平滑的计算步骤如下所述：
A.统计小批量遥感图像场景分类训练数据标签的类别先验统计结果：
Figure BDA0003854055050000031
式中：c为整个数据集上所有类别总数；batch_size为该批输入数据的数据个数；
Figure BDA0003854055050000032
为该批数据中类i的数据个数，其中1≤i≤c；
B.定义平滑因子α，其中0≤α≤1；将类别先验统计结果加入平滑因子，得到加入类别先验统计结果的平滑因子α′：
Figure BDA0003854055050000033
对遥感场景分类训练数据的原始标签ln进行标签平滑，其中1≤n≤batchsize；得到平滑标签
Figure BDA0003854055050000034
Figure BDA0003854055050000035
C.将平滑因子α′引入平滑标签
Figure BDA0003854055050000036
得到分类标签：
Figure BDA0003854055050000037
式中：l′n中的n大于或等于1，小于或等于batch_size；
Figure BDA0003854055050000038
为该小批量数据中第n个数据的初步平滑标签。
优选的，对遥感图像语义分割数据进行标签平滑的方法：对遥感图像语义分割数据中的每个训练图像数据设计一个标签平滑的动窗口，在动窗口滑动的每个位置上计算对应标签图像窗口内类别的先验统计类别分布向量，使用平滑因子对包含先验分布信息的标签进行平滑，得到经过平滑后的分类标签。
优选的，对遥感图像语义分割数据进行标签平滑的计算步骤如下：
A.设置方形滑窗的边长为sindow_size，每滑动一次则统计一次滑窗内标签的统计分布，得到先验统计类别分布向量，表示对于有c个语义类别标注的语义分割训练数据，在当前窗口内属于各类别的统计分布：
Figure BDA0003854055050000039
式中：
Figure BDA00038540550500000310
表示当前窗口内属于类i的像素个数，其中i大于或等于1，且小于或等于c；window_size2表示矩形窗口所包含像素点的总数量；
B.定义平滑因子α，其中α大于或等于0且小于或等于1；对包含有先验统计类别分布向量的标签进行平滑，计算平滑因子α′；
Figure BDA00038540550500000311
对训练集中数据的原始标签ln进行标签平滑，其中ln中的n大于或等于1且小于或等于window_size2；得到每个像素点对应的平滑标签
Figure BDA0003854055050000041
Figure BDA0003854055050000042
式中：epq为窗口内空间坐标为[p,q]的像素所对应的标签分量。
C.将平滑因子α′映入平滑标签
Figure BDA0003854055050000043
得到每个像素点基于先验统计标签平滑的分类标签l′n：
Figure BDA0003854055050000044
式中：
Figure BDA0003854055050000045
为对应窗口中第n个像素的初步平滑语义标签，l′n中的n大于或等于1且小于或等于window_size2。
优选的，建立所述神经网络模型还包括设置神经网络模型的超参数，所述的超参数包括参数初始化、训练批次、缩放倍数、学习率、优化方法、迭代次数以及滑窗的窗口大小。
优选的，基于ImageNet数据集对所构建的神经网络模型进行预训练，通过最小化衡量样本标签和网络预测值的损失函数训练模型，更新申请网络模型的参数，直到网络参数取值收敛，收敛的条件为当前损失函数的值相较上一次训练所计算的值不再减小，得到经过预训练的神经网络模型，再通过所述训练集对经过预训练的神经网络模型进行训练，得到训练好的神经网络模型。
本发明的有益效果包括：
1.与传统标签平滑方法相比，基于先验统计的标签平滑方法充分考虑遥感图像类内差异大、类间差异小的特点，对训练样本标签进行平滑处理，从而提升模型的泛化能力。
2.本发明改进了传统分类方法手工提取图像特征的方法，采用深度神经网络自动提取深度特征；由于遥感图像数据采集相对困难，因此需要对骨干网络进行预训练处理以增强骨干网络的特征提取能力。为抑制深度神经网络的过拟合现象，设计了一种基于先验统计的标签平滑方法以提升分类和分割精度。
3.本发明通过对数据标签进行基于先验统计信息的标签平滑，将类别统计分布先验知识加入网络训练，降低正样本在计算网络损失时的权重，从而缓解样本类别分布不均的问题；可以有效提高遥感图像场景分类和语义分割网络模型的分类性能和泛化性。
附图说明
图1为本发明的训练流程图。
图2为本发明的测试流程图。
图3为本发明的遥感图像场景分类标签平滑计算方法示意图。
图4为本发明的遥感图像语义分割标签平滑计算方法示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以各种不同的配置来布置和设计。因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。
下面结合附图1到附图4对本发明的实施例做详细的描述；
基于标签平滑的遥感图像场景分类和语义分割任务的方法，包括以下步骤：
划分训练集和测试集：构建各类场景的高分辨率遥感场景图像样本数据集，并按照预设的比例将高分辨率遥感场景图像样本数据集划分为训练集和测试集；所述训练集和测试集按照4:1和1:1的两种比例进行划分。
所述划分训练集和测试集包括以下步骤：
构建遥感场景图像样本数据集，并制作相应的样本标签；
将遥感场景图像样本数据集分为训练集和测试集，针对遥感场景图像样本数据集中的每类遥感影像，设遥感影像的总数为n，从中随机抽取出m张图像构建训练，其余的n-m张图像构建测试集。
数据预处理：对训练集和测试集中的数据分别进行预处理；
所述数据预处理包括：对训练集和测试集样本进行降噪以及旋转处理；并对训练集样本进行缩放处理。
所述缩放处理的计算方法如下所述：
由于遥感成像角度、角度、设备等因素的存在，遥感图像往往具有尺度变化剧烈的特性。为增强遥感场景分类网络对地面目标尺度变化的鲁棒性，提取尺度不变性特征，采用动态尺度网络训练策略，在送入网络之前对图像按一定规则进行尺度缩放：对于尺度为s×s的输入图像x，在每次训练迭代初始，将其缩放至尺度d×d，d关于s的计算公式如下：
Figure BDA0003854055050000051
式中：t为当前的训练迭代周期，iters为一轮训练过程中总计经历的迭代次数。
标签平滑：基于先验统计信息对经过预处理后的训练集数据进行标签平滑，分别对训练集中的遥感图像场景分类训练数据和遥感图像语义分割数据进行标签平滑；
根据得到的预训练模型，在遥感图像数据集上训练微调22个epoch。10个epoch后将学习率降低到原始的0.1倍，20个epoch后再降低0.1倍，直至训练结束，保存网络。
本发明通过设置基于先验统计的标签平滑方法，对训练集数据的标签进行基于先验统计的标签平滑；具体来说，通过划分小批量训练提高计算效率，通过将先验信息引入监督信息指导神经网络学习，将得到的监督信息用于迁移学习。
对遥感图像场景分类训练数据进行标签平滑的计算方法如下所述：计算训练集中每个批次遥感图像场景分类训练数据的类别先验统计结果，将类别先验统计结果与标签平滑因子相乘，再与对应的原始标签进行相加，得到经类别先验统计信息平滑后的分类标签。
对所述遥感场景分类训练数据进行标签平滑的计算步骤如下所述：
A.统计小批量遥感图像场景分类训练数据标签的类别先验统计结果：
Figure BDA0003854055050000061
式中：c为整个数据集上所有类别总数；batch_size为该批输入数据的数据个数；
Figure BDA0003854055050000062
为该批数据中类i的数据个数，其中1≤i≤c；
B.定义平滑因子α，其中0≤α≤1；将类别先验统计结果加入平滑因子，得到加入类别先验统计结果的平滑因子α′：
Figure BDA0003854055050000063
对遥感场景分类训练数据的原始标签ln进行标签平滑，其中1≤n≤batchsize；得到平滑标签
Figure BDA0003854055050000064
Figure BDA0003854055050000065
C.将平滑因子α′引入平滑标签
Figure BDA0003854055050000066
得到分类标签：
Figure BDA0003854055050000067
式中：l′n中的n大于或等于1，小于或等于batch_size；
Figure BDA0003854055050000068
为该小批量数据中第n个数据的初步平滑标签。
对遥感图像语义分割数据进行标签平滑的方法：对遥感图像语义分割数据中的每个训练图像数据设计一个标签平滑的动窗口，在动窗口滑动的每个位置上计算对应标签图像窗口内类别的先验统计类别分布向量，使用平滑因子对包含先验分布信息的标签进行平滑，得到经过平滑后的分类标签。
对遥感图像语义分割数据进行标签平滑的计算步骤如下：
A.设置方形滑窗的边长为window_size，每滑动一次则统计一次滑窗内标签的统计分布，得到先验统计类别分布向量，表示对于有c个语义类别标注的语义分割训练数据，在当前窗口内属于各类别的统计分布：
Figure BDA0003854055050000071
式中：
Figure BDA0003854055050000072
表示当前窗口内属于类i的像素个数，其中i大于或等于1，且小于或等于c；window_size2表示矩形窗口所包含像素点的总数量；
B.定义平滑因子α，其中α大于或等于0且小于或等于1；对包含有先验统计类别分布向量的标签进行平滑，计算平滑因子α′；
Figure BDA0003854055050000073
对训练集中数据的原始标签ln进行标签平滑，其中ln中的n大于或等于1且小于或等于window_size2；得到每个像素点对应的平滑标签
Figure BDA0003854055050000074
Figure BDA0003854055050000075
式中：epq为窗口内空间坐标为[p,q]的像素所对应的标签分量。
C.将平滑因子α′映入平滑标签
Figure BDA0003854055050000076
得到每个像素点基于先验统计标签平滑的分类标签l′n：
Figure BDA0003854055050000077
式中：
Figure BDA0003854055050000078
为对应窗口中第n个像素的初步平滑语义标签，l′n中的n大于或等于1且小于或等于window_size2。
神经网络模型：建立神经网络模型，并基于进行标签平滑后的数据对神经网络模型进行训练；
建立所述神经网络模型还包括设置神经网络模型的超参数，所述的超参数包括参数初始化、训练批次、缩放倍数、学习率、优化方法、迭代次数以及滑窗的窗口大小。
基于ImageNet数据集对所构建的神经网络模型进行预训练，通过最小化衡量样本标签和网络预测值的损失函数训练模型，更新申请网络模型的参数，直到网络参数取值收敛，收敛的条件为当前损失函数的值相较上一次训练所计算的值不再减小，得到经过预训练的神经网络模型，再通过所述训练集对经过预训练的神经网络模型进行训练，得到训练好的神经网络模型。
模型测试：利用训练好的遥感图像场景分类器和分割网络与对应测试样本集中的遥感图像进行场景分类和语义分割，输出场景分类各类的概率和分割结果图，得到分类结果和分割结果。
本发明通过先验统计的标签平滑方法充分考虑了遥感图像自身类内差异大、类间差异小的特点，对训练样本标签进行平滑处理，从而提升模型的泛化能力。
以上所述实施例仅表达了本申请的具体实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请保护范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请技术方案构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。

Claims (10)

1.基于标签平滑的遥感图像场景分类和语义分割任务的方法，其特征在于，包括以下步骤：
划分训练集和测试集：构建各类场景的高分辨率遥感场景图像样本数据集，并按照预设的比例将高分辨率遥感场景图像样本数据集划分为训练集和测试集；
数据预处理：对训练集和测试集中的数据分别进行预处理；
标签平滑：基于先验统计信息对经过预处理后的训练集数据进行标签平滑，分别对训练集中的遥感图像场景分类训练数据和遥感图像语义分割数据进行标签平滑；
神经网络模型：建立神经网络模型，并基于进行标签平滑后的数据对神经网络模型进行训练；
模型测试：将测试集中的样本数据输入训练好的神经网络模型中，获得测试集图像的预测类别。
2.根据权利要求1所述的基于标签平滑的遥感图像场景分类和语义分割任务的方法，其特征在于，所述划分训练集和测试集包括以下步骤：
构建遥感场景图像样本数据集，并制作相应的样本标签；
将遥感场景图像样本数据集分为训练集和测试集，针对遥感场景图像样本数据集中的每类遥感影像，设遥感影像的总数为n，从中随机抽取出m张图像构建训练，其余的n-m张图像构建测试集。
3.根据权利要求1所述的基于标签平滑的遥感图像场景分类和语义分割任务的方法，其特征在于，所述数据预处理包括：对训练集和测试集样本进行降噪、随机擦除以及随机旋转处理；并对训练集样本进行缩放处理。
4.根据权利要求3所述的基于标签平滑的遥感图像场景分类和语义分割任务的方法，其特征在于，所述缩放处理的计算方法如下所述：
对于尺度为s×s的输入图像x，在每次训练迭代初始，将其缩放至尺度d×d，d关于s的计算公式如下：
Figure FDA0003854055040000011
式中：t为当前的训练迭代周期，iters为一轮训练过程中总计经历的迭代次数。
5.根据权利要求1所述的基于标签平滑的遥感图像场景分类和语义分割任务的方法，其特征在于，对遥感图像场景分类训练数据进行标签平滑的计算方法如下所述：计算训练集中每个批次遥感图像场景分类训练数据的类别先验统计结果，将类别先验统计结果与标签平滑因子相乘，再与对应的原始标签进行相加，得到经类别先验统计信息平滑后的分类标签。
6.根据权利要求5所述的基于标签平滑的遥感图像场景分类和语义分割任务的方法，其特征在于，对所述遥感场景分类训练数据进行标签平滑的计算步骤如下所述：
A.统计小批量遥感图像场景分类训练数据标签的类别先验统计结果：
Figure FDA0003854055040000021
式中：c为整个数据集上所有类别总数；batch_size为该批输入数据的数据个数；
Figure FDA0003854055040000022
为该批数据中类i的数据个数，其中1≤i≤c；
B.定义平滑因子α，其中0≤α≤1；将类别先验统计结果加入平滑因子，得到加入类别先验统计结果的平滑因子α′：
Figure FDA0003854055040000023
对遥感场景分类训练数据的原始标签ln进行标签平滑，其中1≤n≤batchsize；得到平滑标签
Figure FDA0003854055040000024
Figure FDA0003854055040000025
C.将平滑因子α′引入平滑标签
Figure FDA0003854055040000026
得到分类标签：
Figure FDA0003854055040000027
式中：l′n中的n大于或等于1，小于或等于batch_size；
Figure FDA0003854055040000028
为该小批量数据中第n个数据的初步平滑标签。
7.根据权利要求1所述的基于标签平滑的遥感图像场景分类和语义分割任务的方法，其特征在于，对遥感图像语义分割数据进行标签平滑的方法：对遥感图像语义分割数据中的每个训练图像数据设计一个标签平滑的动窗口，在动窗口滑动的每个位置上计算对应标签图像窗口内类别的先验统计类别分布向量，使用平滑因子对包含先验分布信息的标签进行平滑，得到经过平滑后的分类标签。
8.根据权利要求7所述的基于标签平滑的遥感图像场景分类和语义分割任务的方法，其特征在于，对遥感图像语义分割数据进行标签平滑的计算步骤如下：
A.设置方形滑窗的边长为sindow_size，每滑动一次则统计一次滑窗内标签的统计分布，得到先验统计类别分布向量，表示对于有c个语义类别标注的语义分割训练数据，在当前窗口内属于各类别的统计分布：
Figure FDA0003854055040000029
式中：
Figure FDA00038540550400000210
表示当前窗口内属于类i的像素个数，其中i大于或等于1，且小于或等于c；window_size2表示矩形窗口所包含像素点的总数量；
B.定义平滑因子α，其中α大于或等于0且小于或等于1；对包含有先验统计类别分布向量的标签进行平滑，计算平滑因子α′；
Figure FDA0003854055040000031
对训练集中数据的原始标签ln进行标签平滑，其中ln中的n大于或等于1且小于或等于window_size2；得到每个像素点对应的平滑标签
Figure FDA0003854055040000032
Figure FDA0003854055040000033
式中：epq为窗口内空间坐标为[p,q]的像素所对应的标签分量。
C.将平滑因子α′映入平滑标签
Figure FDA0003854055040000034
得到每个像素点基于先验统计标签平滑的分类标签l′n：
Figure FDA0003854055040000035
式中：
Figure FDA0003854055040000036
为对应窗口中第n个像素的初步平滑语义标签，l′n中的n大于或等于1且小于或等于window_size2。
9.根据权利要求1所述的基于标签平滑的遥感图像场景分类和语义分割任务的方法，其特征在于，建立所述神经网络模型还包括设置神经网络模型的超参数，所述的超参数包括参数初始化、训练批次、缩放倍数、学习率、优化方法、迭代次数以及滑窗的窗口大小。
10.根据权利要求1到9任意一项权利要求所述的基于标签平滑的遥感图像场景分类和语义分割任务的方法，其特征在于，基于ImageNet数据集对所构建的神经网络模型进行预训练，通过最小化衡量样本标签和网络预测值的损失函数训练模型，更新申请网络模型的参数，直到网络参数取值收敛，收敛的条件为当前损失函数的值相较上一次训练所计算的值不再减小，得到经过预训练的神经网络模型，再通过所述训练集对经过预训练的神经网络模型进行训练，得到训练好的神经网络模型。
CN202211142455.8A 2022-09-20 2022-09-20 基于标签平滑的遥感图像场景分类和语义分割任务的方法 Pending CN115564988A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211142455.8A CN115564988A (zh) 2022-09-20 2022-09-20 基于标签平滑的遥感图像场景分类和语义分割任务的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211142455.8A CN115564988A (zh) 2022-09-20 2022-09-20 基于标签平滑的遥感图像场景分类和语义分割任务的方法

Publications (1)

Publication Number Publication Date
CN115564988A true CN115564988A (zh) 2023-01-03

Family

ID=84740132

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211142455.8A Pending CN115564988A (zh) 2022-09-20 2022-09-20 基于标签平滑的遥感图像场景分类和语义分割任务的方法

Country Status (1)

Country Link
CN (1) CN115564988A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116363362A (zh) * 2023-03-08 2023-06-30 阿里巴巴（中国）有限公司 图像语义分割方法、对象识别方法及计算设备

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116363362A (zh) * 2023-03-08 2023-06-30 阿里巴巴（中国）有限公司 图像语义分割方法、对象识别方法及计算设备
CN116363362B (zh) * 2023-03-08 2024-01-09 阿里巴巴（中国）有限公司 图像语义分割方法、对象识别方法及计算设备

Similar Documents

Publication Publication Date Title
CN110443143B (zh) 多分支卷积神经网络融合的遥感图像场景分类方法
CN110598029B (zh) 基于注意力转移机制的细粒度图像分类方法
CN109977918B (zh) 一种基于无监督域适应的目标检测定位优化方法
CN110414377B (zh) 一种基于尺度注意力网络的遥感图像场景分类方法
CN111753828B (zh) 一种基于深度卷积神经网络的自然场景水平文字检测方法
CN110097101B (zh) 一种基于改进可靠性因子的遥感图像融合与海岸带分类方法
Xiang et al. Superpixel generating algorithm based on pixel intensity and location similarity for SAR image classification
CN109871902B (zh) 一种基于超分辨率对抗生成级联网络的sar小样本识别方法
CN106909902B (zh) 一种基于改进的层次化显著模型的遥感目标检测方法
CN113705371B (zh) 一种水上视觉场景分割方法及装置
CN111612017A (zh) 一种基于信息增强的目标检测方法
CN110543906B (zh) 基于Mask R-CNN模型的肤质自动识别方法
CN112766184B (zh) 基于多层级特征选择卷积神经网络的遥感目标检测方法
CN106557740B (zh) 一种遥感图像中油库目标的识别方法
CN109635726B (zh) 一种基于对称式深度网络结合多尺度池化的滑坡识别方法
CN110609917B (zh) 基于卷积神经网络和显著性检测的图像检索方法及系统
CN113095333B (zh) 无监督特征点检测方法及装置
CN112950780B (zh) 一种基于遥感影像的网络地图智能生成方法及系统
CN112329771B (zh) 一种基于深度学习的建筑材料样本识别方法
CN110334656A (zh) 基于信源概率加权的多源遥感图像水体提取方法及装置
CN112733736A (zh) 基于增强过采样的类别不平衡高光谱图像分类方法
CN110472632B (zh) 基于字符特征的字符分割方法、装置及计算机存储介质
WO2023273337A1 (zh) 一种基于代表特征的遥感图像中的密集目标检测方法
CN115564988A (zh) 基于标签平滑的遥感图像场景分类和语义分割任务的方法
CN115393635A (zh) 一种基于超像素分割以及数据增强的红外小目标检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination