CN111079847B - 一种基于深度学习的遥感影像自动标注方法 - Google Patents
一种基于深度学习的遥感影像自动标注方法 Download PDFInfo
- Publication number
- CN111079847B CN111079847B CN201911332974.9A CN201911332974A CN111079847B CN 111079847 B CN111079847 B CN 111079847B CN 201911332974 A CN201911332974 A CN 201911332974A CN 111079847 B CN111079847 B CN 111079847B
- Authority
- CN
- China
- Prior art keywords
- remote sensing
- tag
- noise
- image
- deep learning
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000013135 deep learning Methods 0.000 title claims abstract description 18
- 238000002372 labelling Methods 0.000 title claims abstract description 16
- 238000012549 training Methods 0.000 claims abstract description 57
- 238000013136 deep learning model Methods 0.000 claims abstract description 26
- 238000013528 artificial neural network Methods 0.000 claims abstract description 22
- 238000012360 testing method Methods 0.000 claims abstract description 11
- 230000006870 function Effects 0.000 claims description 32
- 238000000034 method Methods 0.000 claims description 26
- 238000000605 extraction Methods 0.000 claims description 4
- 238000013507 mapping Methods 0.000 claims description 4
- 230000001537 neural effect Effects 0.000 claims description 4
- 210000002569 neuron Anatomy 0.000 claims description 4
- 230000007704 transition Effects 0.000 claims description 4
- 238000007476 Maximum Likelihood Methods 0.000 claims description 3
- 239000000284 extract Substances 0.000 claims description 3
- 238000011176 pooling Methods 0.000 claims description 3
- 230000000007 visual effect Effects 0.000 claims description 3
- 238000012545 processing Methods 0.000 claims 1
- 238000013527 convolutional neural network Methods 0.000 description 11
- 238000013459 approach Methods 0.000 description 7
- 239000003550 marker Substances 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 230000004913 activation Effects 0.000 description 1
- 239000000654 additive Substances 0.000 description 1
- 230000000996 additive effect Effects 0.000 description 1
- 230000002411 adverse Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 238000013145 classification model Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000007477 logistic regression Methods 0.000 description 1
- 210000005036 nerve Anatomy 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Molecular Biology (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Mathematical Physics (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computing Systems (AREA)
- General Health & Medical Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明涉及一种基于深度学习的遥感影像自动标注方法，包括以下步骤：将从电子地图中获取的遥感影像进行配准，获取对应遥感影像中的建筑物和道路的矢量数据；将获取的矢量数据转化为栅格影像，用于模型训练的含有噪声的数据集；通过滑动窗口将原始数据集进行剪裁，利用剪裁得到的数据集对多任务深度学习模型(MDLF)进行训练，通过对该深度神经网络进行调整，得到最优的训练模型，得到训练好的多任务深度学习模型；将待测试的遥感影像输入至深度神经网络；通过深度神经网络对测试集进行遥感影像分类输出结果，从而得到待测遥感影像的目标识别结果；本发明不需要设置大量的网络训练参数，结构简单，训练速度快。
Description
技术领域
本发明属于遥感影像标记技术领域，具体涉及一种基于深度学习的遥感影像自动标注方法。
背景技术
近年来，在大数据和计算能力的支撑下，深度学习在众多领域均取得了突破性进展。在遥感影像解译领域，深度学习技术也受到了广泛关注和应用，国内外诸多研究者进行了有益的探索，表明了深度学习技术在遥感图像解译领域的应用潜力。
从遥感影像中提取物体是一个非常受欢迎的主题，因为该技术具有广泛的应用，例如城市规划，土地利用分析，救灾和自动地图制作。卷积神经网络(CNNs)被认为是最成功的图像分类模型之一。然而，使用CNN方法的主要缺点是需要大量的标记数据用于训练。繁琐的标记过程阻碍了这些完全监督的方法在遥感影像分类中的应用。直到最近，也没有对遥感影像的大量标记和准确的训练数据被公开。
为了克服这个限制，一些组织提出了使用构建神经网络训练数据集的方法，用于遥感影像分类。这种技术显著降低了标记的成本，由于OpenStreetMap和GoogleMaps等地图的使用，几乎可以无限数量的注释。但是，由于各种类型的噪声，这些数据集的标签极其不可靠，对CNN的分类准确性产生不利影响。
处理噪声标签的一种非常常见的方法是使用噪声数据预先训练网络，然后使用准确的数据集对网络进行微调。然而，当准确标签的数量有限时难以获得良好的性能。噪声标签问题具有挑战性，因为该问题导致分类结果不准确。解决该问题的主要方法是提高模型对标签噪声存在的鲁棒性。目前，已经研究出了通过正则化的许多变异体用来增强CNN的稳健性。Azadi等人利用图像下的非线性流形结构，并为CNN提供了一种新颖的辅助图像正则化器(AIR)来处理标签噪声。在遥感领域，Saito等人使用不同类别的相关性来规范损失，并提出用于训练CNN的信道方式抑制softmax(CIS)损失。魏等人发现了基于道路结构的损失，以改善CNN的噪声稳健性。这些方法通过在损耗中添加额外结构信息来改善模型噪声稳健性。这些研究人员在马萨诸塞州的数据集上进行了实验，并取得了很好的成绩。然而，这些方法不能充分利用CNN获得的高级特征，因此，长时间的训练会导致性能下降。
另一个突出的方法是明确建模标签噪声并减小神经网络训练中的负面影响。Mnih和Hinton以及Mnih将(未知)真实标签视为隐藏变量并构建了用于航空图像分类的噪声模型。这种方法可以增强CNN对抗噪声和配准噪声的鲁棒性。但是，这种方法只能解决二进制分类问题。在类似的情况下，Bekker和Goldberger定义了多标签分类问题的概率模型，而赵等人提出了一种概率转移CNN(PTCNN)来自动分类SAR图像。最近，Sukhbaatar、Sukhbaatar和Fergus等人提出了一种简单有效的噪声模型来处理神经网络背景下的噪声标签。这些研究人员在网络顶部添加了一个softmax层来估计标签切换的概率。已经应用类似的方法来提高逻辑回归对标记噪声的鲁棒性。虽然模拟标签噪声的方法表现出良好的性能，但这些方法认为标签噪声有条件地依赖于真实标签。大多数现有的噪声标签处理方法被设计用于一般计算机视觉应用，并不能直接扩展到遥感影像分类，因为遥感影像太复杂而不能精确分类。
发明内容
本发明的目的是克服现有技术的不足而提供一种实现高精度的语义标记的基于深度学习的遥感影像自动标注方法。
本发明的技术方案如下：
一种基于深度学习的遥感影像自动标注方法，其特征在于，包括以下步骤：
S1、将从电子地图中获取的遥感影像进行配准，获取对应遥感影像中的建筑物和道路的矢量数据；
S2、将步骤S1中获取的矢量数据转化为栅格影像，用于对含有噪声影像的数据集的训练；
S3、通过大小为24*24的滑动窗口将大小为1500*1500的对S2中的含有噪声标签的影像数据集进行裁剪，所有的原始影像裁剪为92*92的影像样本，标签裁剪为24*24的标签样本；
S4、利用S3步骤所得的数据集对多任务深度学习模型(MDLF)进行训练，通过对该深度神经网络进行调整，得到最优的训练模型，得到训练好的多任务深度学习模型(MDLF)；
S5、将待测试的遥感影像输入至深度神经网络；
S6、通过深度神经网络对测试集进行遥感影像分类输出结果，从而得到待测遥感影像的目标识别结果。
进一步，所述数据集包括含有噪声标签的影像数据集和标签数据集，所述标签数据集包括道路标签、建筑物标签和背景标签，所述含有噪声标签的影像数据集和标签数据集的像素均为三通道，所述标签数据集中每个标签的每个像素对应特定的类别，具体的，标签数据集中对应目标像素的元素赋值为1，其余赋值为0；所述标签数据集的每个像素为一特征向量；所述的特征向量根据以下步骤确定各个遥感影像的特征向量：：
首先，判断所述标签数据集中每个标签的每个像素的值，使得每个像素都属于一个类别；
其次，根据遥感影像的类别，对每一个像素进行赋值，将对应维数的元素赋值为1，其余赋值为0，即得到该遥感影像的标签。
进一步，在步骤S4中，多任务深度学习模型(MDLF)是包括噪声估计器和用于图像分类的特征提取器；
所述特征提取器从输入图像中提取抽象和高级特征；
所述噪声估计器对噪声空间中的结构进行建模，并根据所述高级特征来学习从真实标签到噪声标签的映射；
对所述多任务深度学习模型(MDLF)进行训练的具体方式为，将数据集输入到模型的输入层，其中模型前一层输出作为后一层的输入，实现端到端的无监督学习，具体的，首先将遥感影像输入到多任务深度学习模型(MDLF)，从输入图像中提取抽象和高级的特征并进行图像的注释，最后通过对该深度神经网络进行调整，得到最优的训练模型。
进一步，所述特征提取器包含五层，包括三个卷积层(C1，C2和C3)和两个最大池化层(P1和P2)，具体的，所述特征提取的公式描述为：
y＝f(s；θ1)，
其中，s表示模型的输入(即遥感影像)，θ1表示特征提取器的参数；
图像分类器包含完整连接层(F1)，包括4,096个神经单元，以及softmax层(S1)，S1具有1,152/1,728个单元，分别用于两个分类和三个分类；
其中图像分类器将输出特征作为该目标分类层的输入，同时将目标的类别数量作为目标分类层输出，在该目标分类层中，softmax层进行目标分类，其表达式为：
其中，θ1标识分类器中的所有参数，Φj(y)是线性层第j个输出，Φa(y)是线性层第a个输出；
所述图像分类器的输出p(m|y)，是一个K*w1维度向量，用于编码标签图像中每个像素的视觉呈现的可能性，其中K是标签类别的数量。
进一步，所述噪声估计器包含三个完整的连接层(F2，F3和F4)，F2有2,034/5,184个神经单位，描述了从真实标签到噪声标签的转换概率，F3和F4分别具有4,096和1,152/1,728个神经元；
噪声估计模型由噪声估计器转换的真正标签与噪声标签
匹配，噪声估计顶部
用于捕捉真实标签、高级特征和噪声标签之间的依赖关系；
噪声估计模型包括基于真实标签的估计p(m|m)和基于特征的估计p(m|y)；
采用基于真实标签的估计器捕获真实标签和嘈杂标签之间的依赖关系；
采用基于特征的估计器描述高级特征和噪声标签之间的统计依赖性；
所述噪声估计模型的公式描述为，
其中，μja和υj是权重和偏置；
对上式进行简化，采用θ3，
标识基于特征的估计器中的所有参数，θ3，
的表达式为，
采用基于真正的标签的估计器描述真实标签和噪声标签之间的关系，基于特征的估计器估计高级特征对噪声标签的重要性；
采用噪声估计器末端的隐藏线性层组合
和
将真实标签转换为噪声标签，其公式描述为，
进一步，还包括，对具有目标分类层的多任务深度学习模型(MDLF)进行参数调整，得到最优的多任务深度学习模型(MDLF)。
进一步，在进行所述参数调整时，将训练遥感影像输入至所述深度神经网络，得到相应的预测值，计算所述预测值与所述训练遥感影像的真实值之间的差值，得到差值函数，根据所述差值函数确定优化目标函数，接着，计算优化目标函数对于参数的梯度值，根据所述梯度值，利用梯度下降算法进行参数调整，得到优化的多任务深度学习模型(MDLF)参数。
进一步，通过组合交叉熵函数和图像的高级特征来提出新的损失函数以学习参数θ＝{θ1，θ2，θ3}；
首先，得出m，m和y的联合分布条件：
概率分布p(y|s)高级特征y在s上的概率分布p(m|y)的语义意义表示真实标签与高级特征之间的关系；
噪声标签的条件概率可以从m，m和y的联合分布条件得到：
根据最大似然原理，定义基于交叉熵和高级特征(CE-HF)的损失函数，其公式描述为，
其中，D表示训练数据集，N代表训练样本的数量，sn和n是第n张训练图像和相应标签图中的训练样本；
其中，高级特征(CE-HF)包括两个部分，即p(m|y)和
具体的，p(m|y)将真实标签信息贡献给损失函数，
有助于获得嘈杂标签信息的损失功能；
当训练数据的risk指最小时，定义最优分类器函数，其公式描述为，
当
达到训练数据集的最小值时，得到最优参数θ；
在计算优化目标函数对于参数的梯度值时，使用随机梯度下降(SGD)来更新参数θ，高级特征(CE-HF)对参数υka梯度值的公式描述为，
其中，
相应的，高级特征(CE-HF)对参数υka，gk和gk梯度值的公式描述为，
对上式进行多次迭代计算即可得到最优的网络模型。
进一步，还包括，将测试数据输入至所述最优的网络模型中，进行目标分类测试。
与现有技术相比，本发明的有益效果是：
本发明的高级特征(CE-HF)通过反向传播传递框架的所有部分，增强噪声估计器以捕获噪声分布，同时促进图像分类器很好地对像素进行分类，基于高级特征提出的损失函数用于模型学习的图像特征，同时减少了噪声附加激活；本发明，从电子地图中获取的遥感影像进行配准，获取对应遥感影像中的建筑物和道路的矢量数据，利用矢量数据与影像的配准获得好友训练的数据集；利用训练数据集进行影像的高级特征提取，之后通过噪声估计模型捕获高级特征和噪声标签之间的依赖性，减小噪声对训练的影像，模型训练结束后，通过目标分类层进行目标的分类，最后通过对该深度神经网络进行调整，得到最优的训练模型，最后利用最优的模型对大规模的遥感影像进行目标自动标记，从而实现利用含有噪声的数据集得到大规模没有噪声的数据集。
具体实施方式
下面将结合本发明实施例，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
一种基于深度学习的遥感影像自动标注方法，其特征在于，包括以下步骤：
S1、将从电子地图中获取的遥感影像进行配准，获取对应遥感影像中的建筑物和道路的矢量数据；
S2、将步骤S1中获取的矢量数据转化为栅格影像，用于对含有噪声影像的数据集的训练；
S3、通过大小为24*24的滑动窗口将大小为1500*1500的对S2中的含有噪声标签的影像数据集进行裁剪，所有的原始影像裁剪为92*92的影像样本，标签裁剪为24*24的标签样本；
S4、利用S3所得到的数据集对多任务深度学习模型(MDLF)进行训练，通过对该深度神经网络进行调整，得到最优的训练模型，得到训练好的多任务深度学习模型(MDLF)；
S5、将待测试的遥感影像输入至深度神经网络；
S6、通过深度神经网络对测试集进行遥感影像分类输出结果，从而得到待测遥感影像的目标识别结果。
所述电子地图为OpenstreetMap(OSM)和Bing地图，在进行步骤S1时，首先利用OpenStreentMap获得大量影像的矢量数据，然后从Bing地图中下载高精度的遥感影像，利用矢量数据与影像的配准获得好友训练的数据集。
本实施例中，所述数据集包括含有噪声标签的影像数据集和标签数据集，所述标签数据集包括道路标签、建筑物标签和背景标签，所述含有噪声标签的影像数据集和标签数据集的像素均为三通道，所述标签数据集中每个标签的每个像素对应特定的类别，具体的，标签数据集中对应目标像素的元素赋值为1，其余赋值为0；所述标签数据集的每个像素为一特征向量；所述的特征向量根据以下步骤确定各个遥感影像的特征向量：：
首先，判断所述标签数据集中每个标签的每个像素的值，对每个像素值找到对应的类别进行分类；
其次，根据遥感影像的类别，对每一个像素进行赋值，将对应维数的元素赋值为1，其余赋值为0，即得到该遥感影像的标签。
本实施例中，在步骤S4中，多任务深度学习模型(MDLF)是包括噪声估计器和用于图像分类的特征提取器；
所述特征提取器从输入图像中提取抽象和高级特征；
所述噪声估计器对噪声空间中的结构进行建模，并根据所述高级特征来学习从真实标签到噪声标签的映射；
对所述多任务深度学习模型(MDLF)进行训练的具体方式为，将数据集输入到模型的输入层，其中模型前一层输出作为后一层的输入，实现端到端的无监督学习，具体的，首先将遥感影像输入到多任务深度学习模型(MDLF)，从输入图像中提取抽象和高级的特征并进行图像的注释，最后通过对该深度神经网络进行调整，得到最优的训练模型。
本实施例中，所述特征提取器包含五层，包括三个卷积层(C1，C2和C3)和两个最大池化层(P1和P2)，具体的，所述特征提取的公式描述为：
y＝f(s；θ1)，
其中，s表示模型的输入(即遥感影像)，θ1表示特征提取器的参数；
图像分类器包含完整连接层(F1)，包括4,096个神经单元，以及softmax层(S1)，S1具有1,152/1,728个单元，分别用于两个分类和三个分类；
其中图像分类器将输出特征作为该目标分类层的输入，同时将目标的类别数量作为目标分类层输出，在该目标分类层中，softmax层进行目标分类，其表达式为：
其中，θ1标识分类器中的所有参数，Φj(y)是线性层第j个输出，Φa(y)是线性层第a个输出；
所述图像分类器的输出p(m|y)，是一个K*w1维度向量，用于编码标签图像中每个像素的视觉呈现的可能性，其中K是标签类别的数量。
本实施中，所述噪声估计器包含三个完整的连接层(F2，F3和F4)，F2有2,034/5,184个神经单位，描述了从真实标签到噪声标签的转换概率，F3和F4分别具有4,096和1,152/1,728个神经元；
噪声估计模型由噪声估计器转换的真正标签与噪声标签
匹配，噪声估计顶部
用于捕捉真实标签、高级特征和噪声标签之间的依赖关系；
噪声估计模型包括基于真实标签的估计p(m|m)和基于特征的估计p(m|y)；
采用基于真实标签的估计器捕获真实标签和嘈杂标签之间的依赖关系；
采用基于特征的估计器描述高级特征和噪声标签之间的统计依赖性；
所述噪声估计模型的公式描述为，
其中，μja和υj是权重和偏置；
对上式进行简化，采用θ3，
标识基于特征的估计器中的所有参数，θ3，
的表达式为，
采用基于真正的标签的估计器描述真实标签和噪声标签之间的关系，基于特征的估计器估计高级特征对噪声标签的重要性；
采用噪声估计器末端的隐藏线性层组合
和
将真实标签转换为噪声标签，其公式描述为，
本实施中，还包括，对具有目标分类层的多任务深度学习模型(MDLF)进行参数调整，得到最优的多任务深度学习模型(MDLF)。
本实施例中，在进行所述参数调整时，将训练遥感影像输入至所述深度神经网络，得到相应的预测值，计算所述预测值与所述训练遥感影像的真实值之间的差值，得到差值函数，根据所述差值函数确定优化目标函数，接着，计算优化目标函数对于参数的梯度值，根据所述梯度值，利用梯度下降算法进行参数调整，得到优化的多任务深度学习模型(MDLF)参数。
本实施例中，通过组合交叉熵函数和图像的高级特征来提出新的损失函数以学习参数θ＝{θ1，θ2，θ3}；
首先，得出m，m和y的联合分布条件：
概率分布p(y|s)高级特征y在s上的概率分布p(m|y)的语义意义表示真实标签与高级特征之间的关系；
噪声标签的条件概率可以从m，m和y的联合分布条件得到：
根据最大似然原理，定义基于交叉熵和高级特征(CE-HF)的损失函数，其公式描述为，
其中，D表示训练数据集，N代表训练样本的数量，sn和n是第n张训练图像和相应标签图中的训练样本；
其中，高级特征(CE-HF)包括两个部分，即p(m|y)和
具体的，p(m|y)将真实标签信息贡献给损失函数，
有助于获得嘈杂标签信息的损失功能；
当训练数据的risk指最小时，定义最优分类器函数，其公式描述为，
当
达到训练数据集的最小值时，得到最优参数θ；
在计算优化目标函数对于参数的梯度值时，使用随机梯度下降(SGD)来更新参数θ，高级特征(CE-HF)对参数υka梯度值的公式描述为，
其中，
相应的，高级特征(CE-HF)对参数υka，gk和gk梯度值的公式描述为，
对上式进行多次迭代计算即可得到最优的网络模型。
进一步，还包括，将测试数据输入至所述最优的网络模型中，进行目标分类测试。
在测试阶段，所有特征图都被重新整形为24×24×K堆叠在一起，每个像素具有类似于多类分类中的类分布的预测向量；通过softmax函数对其进行归一化；归一化矢量的每个元素指示像素被分类的概率；在训练中，使用包含相对噪声的标记数据来进行损失函数的最优化；
模型以端到端的方式进行培训，不使用预处理或后处理，使用stochas-tic梯度下降训练网络，其中2个图像作为小批量，权重以学习率0.0001更新，每200k次迭代将学习率降低0.1，动量初始化为0.9，并且在200次迭代后除以100，。所有滤波器的权重都用均匀的随机数初始化，所有的偏差都用零初始化。
尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (8)
1.一种基于深度学习的遥感影像自动标注方法，其特征在于，包括以下步骤：
S1、将从电子地图中获取的遥感影像进行配准，获取对应遥感影像中的建筑物和道路的矢量数据；
S2、将步骤S1中获取的矢量数据转化为栅格影像，用于对含有噪声影像的数据集的训练；
S3、通过大小为24*24的滑动窗口将大小为1500*1500的对S2中的含有噪声标签的影像数据集进行裁剪，所有的原始影像裁剪为92*92的影像样本，标签裁剪为24*24的标签样本；
S4、利用经过步骤S3剪裁处理后得到的数据集对多任务深度学习模型(MDLF)进行训练，通过对该深度神经网络进行调整，得到最优的训练模型，得到训练好的多任务深度学习模型(MDLF)；
S5、将待测试的遥感影像输入至深度神经网络；
S6、通过深度神经网络对测试集进行遥感影像分类输出结果，从而得到待测遥感影像的目标识别结果；
在步骤S4中，多任务深度学习模型(MDLF)是包括噪声估计器和用于图像分类的特征提取器；
所述特征提取器从输入图像中提取抽象和高级特征；
所述噪声估计器对噪声空间中的结构进行建模，并根据所述高级特征来学习从真实标签到噪声标签的映射；
对所述多任务深度学习模型(MDLF)进行训练的具体方式为，将数据集输入到模型的输入层，其中模型前一层输出作为后一层的输入，实现端到端的无监督学习，具体的，首先将遥感影像输入到多任务深度学习模型(MDLF)，从输入图像中提取抽象和高级的特征并进行图像的注释，最后通过对该深度神经网络进行调整，得到最优的训练模型。
2.根据权利要求1所述的基于深度学习的遥感影像自动标注方法，其特征在于：所述数据集包括含有噪声标签的影像数据集和标签数据集，所述标签数据集包括道路标签、建筑物标签和背景标签，所述含有噪声标签的影像数据集和标签数据集的像素均为三通道，所述标签数据集的每个像素为一特征向量；所述的特征向量根据以下步骤确定各个遥感影像的特征向量：
首先，判断所述标签数据集中每个标签的每个像素的值，对每个像素值找到对应的类别进行分类；
其次，根据遥感影像的类别，对每一个像素进行赋值，将对应维数的元素赋值为1，其余赋值为0，即得到该遥感影像的标签。
3.根据权利要求1所述的基于深度学习的遥感影像自动标注方法，其特征在于：所述特征提取器包含五层，包括三个卷积层C1,C2和C3和两个最大池化层P1和P2，具体的，所述特征提取的公式描述为：
y＝f(s；θ1)，
其中，s表示模型的输入，即遥感影像，θ1表示特征提取器的参数；
图像分类器包含完整连接层F1，包括4,096个神经单元，以及softmax层S1，S1具有1,152或1,728个单元，分别用于两个分类和三个分类；
其中图像分类器将输出特征作为该目标分类层的输入,同时将目标的类别数量作为目标分类层输出,在该目标分类层中,softmax层进行目标分类,其表达式为：
其中，θ1标识分类器中的所有参数，Φj(y)是线性层第j个输出，Φa(y)是线性层第a个输出；
所述图像分类器的输出p(m|y)，是一个K*w1维度向量，用于编码标签图像中每个像素的视觉呈现的可能性，其中K是标签类别的数量。
4.根据权利要求1所述的基于深度学习的遥感影像自动标注方法，其特征在于：
所述噪声估计器包含三个完整的连接层F2，F3和F4，F2有2,034或5,184个神经单位，描述了从真实标签到噪声标签的转换概率，F3和F4分别具有4,096和1,152或1,728个神经元；
噪声估计模型由噪声估计器转换的真正标签与噪声标签
匹配，噪声估计顶部
用于捕捉真实标签、高级特征和噪声标签之间的依赖关系；
噪声估计模型包括基于真实标签的估计p(m|m)和基于特征的估计p(m|y)；
采用基于真实标签的估计器捕获真实标签和嘈杂标签之间的依赖关系；
采用基于特征的估计器描述高级特征和噪声标签之间的统计依赖性；
所述噪声估计模型的公式描述为，
其中，μja和υj是权重和偏置；
对上式进行简化，采用θ3，
标识基于特征的估计器中的所有参数，θ3，
的表达式为，
采用基于真正的标签的估计器描述真实标签和噪声标签之间的关系，基于特征的估计器估计高级特征对噪声标签的重要性；
采用噪声估计器末端的隐藏线性层组合
和
将真实标签转换为噪声标签，其公式描述为，
5.根据权利要求1所述的基于深度学习的遥感影像自动标注方法，其特征在于，还包括，对具有目标分类层的多任务深度学习模型(MDLF)进行参数调整,得到最优的多任务深度学习模型(MDLF)。
6.根据权利要求5所述的基于深度学习的遥感影像自动标注方法，其特征在于，在进行所述参数调整时：
将训练遥感影像输入至所述深度神经网络,得到相应的预测值,计算所述预测值与所述训练遥感影像的真实值之间的差值,得到差值函数,根据所述差值函数确定优化目标函数,接着,计算优化目标函数对于参数的梯度值,根据所述梯度值,利用梯度下降算法进行参数调整,得到优化的多任务深度学习模型(MDLF)参数。
7.根据权利要求6所述的基于深度学习的遥感影像自动标注方法，其特征在于：
根据最大似然原理，定义基于交叉熵和高级特征的损失函数，其公式描述为，
其中，D表示训练数据集，N代表训练样本的数量，sn和n是第n张训练图像和相应标签图中的训练样本；
当训练数据的risk指最小时，定义最优分类器函数，其公式描述为，
当
达到训练数据集的最小值时，得到最优参数θ；
在计算优化目标函数对于参数的梯度值时,使用随机梯度下降(SGD)来更新参数θ，高级特征对参数υka梯度值的公式描述为，
其中，
相应的，高级特征对参数υka，gk和gk梯度值的公式描述为，
对上式进行多次迭代计算即可得到最优的网络模型。
8.根据权利要求7所述的基于深度学习的遥感影像自动标注方法，其特征在于，还包括，将测试数据输入至所述最优的网络模型中，进行目标分类测试。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911332974.9A CN111079847B (zh) | 2019-12-20 | 2019-12-20 | 一种基于深度学习的遥感影像自动标注方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911332974.9A CN111079847B (zh) | 2019-12-20 | 2019-12-20 | 一种基于深度学习的遥感影像自动标注方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111079847A CN111079847A (zh) | 2020-04-28 |
| CN111079847B true CN111079847B (zh) | 2023-05-02 |
Family
ID=70316702
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911332974.9A Active CN111079847B (zh) | 2019-12-20 | 2019-12-20 | 一种基于深度学习的遥感影像自动标注方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111079847B (zh) |
Families Citing this family (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112001422B (zh) * | 2020-07-28 | 2024-04-02 | 南京航空航天大学 | 一种基于深度贝叶斯学习的图像标记估计方法 |
| CN112348823A (zh) * | 2020-09-22 | 2021-02-09 | 陕西土豆数据科技有限公司 | 一种面向对象的高分辨率遥感影像分割算法 |
| US11836223B2 (en) * | 2020-11-13 | 2023-12-05 | Meta Platforms, Inc. | Systems and methods for automated detection of building footprints |
| CN112861814A (zh) * | 2021-03-29 | 2021-05-28 | 中信银行股份有限公司 | 遥感图像分类方法、装置、电子设备及可读存储介质 |
| CN113191271A (zh) * | 2021-04-30 | 2021-07-30 | 水利部长江勘测技术研究所 | 一种基于深度学习的堰塞坝表层颗粒物质检测方法 |
| CN113139076B (zh) * | 2021-05-20 | 2024-03-29 | 广东工业大学 | 一种深度特征学习多标签的神经网络影像自动标记方法 |
| CN113762070A (zh) * | 2021-07-26 | 2021-12-07 | 中国测绘科学研究院 | 用于深度学习的地表覆盖分类样本采集方法 |
| CN113947126A (zh) * | 2021-09-07 | 2022-01-18 | 广东工业大学 | 基于迁移学习的瓷砖颜色分类方法及装置 |
| CN114202679A (zh) * | 2021-12-01 | 2022-03-18 | 昆明理工大学 | 一种基于gan网络的异源遥感图像自动化标注方法 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105654136A (zh) * | 2015-12-31 | 2016-06-08 | 中国科学院电子学研究所 | 一种基于深度学习的大规模遥感影像目标自动识别方法 |
| CN110097101A (zh) * | 2019-04-19 | 2019-08-06 | 大连海事大学 | 一种基于改进可靠性因子的遥感图像融合与海岸带分类方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9704068B2 (en) * | 2012-06-22 | 2017-07-11 | Google Inc. | System and method for labelling aerial images |
-
2019
- 2019-12-20 CN CN201911332974.9A patent/CN111079847B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105654136A (zh) * | 2015-12-31 | 2016-06-08 | 中国科学院电子学研究所 | 一种基于深度学习的大规模遥感影像目标自动识别方法 |
| CN110097101A (zh) * | 2019-04-19 | 2019-08-06 | 大连海事大学 | 一种基于改进可靠性因子的遥感图像融合与海岸带分类方法 |
Non-Patent Citations (1)
| Title |
|---|
| 基于深度卷积神经网络的遥感影像目标检测;孙梓超等;《上海航天》(第05期);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111079847A (zh) | 2020-04-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111079847B (zh) | 一种基于深度学习的遥感影像自动标注方法 | |
| CN110443143B (zh) | 多分支卷积神经网络融合的遥感图像场景分类方法 | |
| CN113378632B (zh) | 一种基于伪标签优化的无监督域适应行人重识别方法 | |
| CN111583263B (zh) | 一种基于联合动态图卷积的点云分割方法 | |
| CN108399428B (zh) | 一种基于迹比准则的三元组损失函数设计方法 | |
| CN110909820A (zh) | 基于自监督学习的图像分类方法及系统 | |
| CN110728694B (zh) | 一种基于持续学习的长时视觉目标跟踪方法 | |
| CN110175615B (zh) | 模型训练方法、域自适应的视觉位置识别方法及装置 | |
| CN111950453A (zh) | 一种基于选择性注意力机制的任意形状文本识别方法 | |
| CN114492574A (zh) | 基于高斯均匀混合模型的伪标签损失无监督对抗域适应图片分类方法 | |
| WO2022218396A1 (zh) | 图像处理方法、装置和计算机可读存储介质 | |
| CN111274958A (zh) | 一种网络参数自纠正的行人重识别方法及系统 | |
| CN115410088A (zh) | 一种基于虚拟分类器的高光谱图像领域自适应方法 | |
| CN112132257A (zh) | 基于金字塔池化及长期记忆结构的神经网络模型训练方法 | |
| CN111695531A (zh) | 一种基于异构卷积网络的跨域行人再识别方法 | |
| CN113313179B (zh) | 一种基于l2p范数鲁棒最小二乘法的噪声图像分类方法 | |
| CN113449676B (zh) | 一种基于双路互促进解纠缠学习的行人重识别方法 | |
| CN113657473A (zh) | 一种基于迁移学习的Web服务分类方法 | |
| CN114708645A (zh) | 物件辨识装置及物件辨识方法 | |
| CN109255794B (zh) | 一种标准件深度全卷积特征边缘检测方法 | |
| CN116433909A (zh) | 基于相似度加权多教师网络模型的半监督图像语义分割方法 | |
| CN116630694A (zh) | 一种偏多标记图像的目标分类方法、系统及电子设备 | |
| CN112487927B (zh) | 一种基于物体关联注意力的室内场景识别实现方法及系统 | |
| CN114417938A (zh) | 一种利用知识向量嵌入的电磁目标分类方法 | |
| CN117237984B (zh) | 基于标签一致性的mt腿部识别方法、系统、介质和设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |