CN113392845A - 一种基于u-net的深度学习遥感图像语义分割方法及系统 - Google Patents
一种基于u-net的深度学习遥感图像语义分割方法及系统 Download PDFInfo
- Publication number
- CN113392845A CN113392845A CN202110662122.7A CN202110662122A CN113392845A CN 113392845 A CN113392845 A CN 113392845A CN 202110662122 A CN202110662122 A CN 202110662122A CN 113392845 A CN113392845 A CN 113392845A
- Authority
- CN
- China
- Prior art keywords
- remote sensing
- network model
- segmentation
- image
- neural network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000011218 segmentation Effects 0.000 title claims abstract description 163
- 238000000034 method Methods 0.000 title claims abstract description 51
- 238000013135 deep learning Methods 0.000 title claims abstract description 33
- 238000012549 training Methods 0.000 claims abstract description 111
- 238000012937 correction Methods 0.000 claims abstract description 30
- 238000012545 processing Methods 0.000 claims abstract description 25
- 230000005855 radiation Effects 0.000 claims abstract description 22
- 238000013527 convolutional neural network Methods 0.000 claims description 76
- 238000012795 verification Methods 0.000 claims description 35
- 238000013528 artificial neural network Methods 0.000 claims description 21
- 230000006870 function Effects 0.000 claims description 20
- 238000013145 classification model Methods 0.000 claims description 13
- 238000003709 image segmentation Methods 0.000 claims description 12
- 238000002790 cross-validation Methods 0.000 claims description 9
- 238000001228 spectrum Methods 0.000 claims description 9
- 238000010200 validation analysis Methods 0.000 claims description 9
- 238000005070 sampling Methods 0.000 claims description 8
- 238000013507 mapping Methods 0.000 claims description 6
- 238000000605 extraction Methods 0.000 claims description 5
- 238000010276 construction Methods 0.000 claims description 3
- 230000003595 spectral effect Effects 0.000 claims description 3
- 238000004590 computer program Methods 0.000 description 9
- 238000012360 testing method Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 230000000007 visual effect Effects 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 238000010521 absorption reaction Methods 0.000 description 2
- 230000003321 amplification Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 230000004927 fusion Effects 0.000 description 2
- 238000003199 nucleic acid amplification method Methods 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 238000002310 reflectometry Methods 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 208000011580 syndromic disease Diseases 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Molecular Biology (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种基于U‑NET的深度学习遥感图像语义分割方法及系统，该方法包括：对初始遥感数据进行校正重建，并分类预处理构造遥感样本库，基于分割网络模型做预测分类得到基础训练数据集，并增强处理后为目标训练数据集；以训练完成的分割网络模型处理遥感图像，得到目标分割结果。本发明采用大气校正与辐射校正消除辐射量误差，剔除干扰数据，再对遥感图像进行超分辨率重建，有效避免了外界因素的干扰，降低了对遥感图像的分辨率要求；且分割网络模型可自适应学习不同目标的特征，并在同一遥感影像中实现多目标分割，因而在改变分割目标时，仅需采用相应的数据集重新训练分割网络模型即可，无需手动重构特征与算法，大幅减少了工作量。
Description
技术领域
本发明涉及遥感图像分割技术领域，尤其涉及一种基于U-NET的深度学习遥感图像语义分割方法及系统。
背景技术
遥感图像通常是指通过航空或航天平台所拍摄得到的数字图像，传统上对遥感数据的分析工作依赖于大量的人工作业，并辅以部分较为简单的统计图像处理方法。随着技术的进步，目前多采用基于边缘的多光谱法、基于相位一致的分割方法、基于标记分水岭的算法等图像分割算法对遥感图像进行分割处理，然而，遥感图像易受大气、温度及等压面等外界因素干扰，当地质条件、生态环境与监测目标存在显著差异时，上述图像分割算法难以在不同遥感场景下获得具有鲁棒性的结果；另外，当所需分割的目标发生变换时，以上图像分割算法需要手动选择新的分割目标特征，进而产生大量的工作量；
此外，高分辨率遥感卫星存在研制耗时长、运营成本高、作业流程复杂等限制，因而难以获取到其拍摄的高分辨率遥感图像，时常需要基于给定的低分辨率的遥感图像进行超分辨率重建，将其处理恢复为相应的高分辨率图像，从而在不改变探测系统的前提下提高观测图像的分辨率。
可见，现有常见的图像分割算法难以符合当前在多目标精确分割中对分割精度与分割目标类别的要求，无法直接应用于超分辨率重建领域。
发明内容
本发明实施例公开一种基于U-NET的深度学习遥感图像语义分割方法及系统，采用大气校正与辐射校正消除辐射量误差，剔除干扰数据，再对遥感图像进行超分辨率重建，有效避免了外界因素的干扰，降低了对遥感图像的分辨率要求；且分割网络模型可自适应学习不同目标的特征，并在同一遥感影像中实现多目标分割，因而在改变分割目标时，仅需采用相应的数据集重新训练分割网络模型即可，无需手动重构特征与算法，大幅减少了工作量。
本发明实施例第一方面公开一种基于U-NET的深度学习遥感图像语义分割方法，所述方法包括：
对初始遥感数据进行校正与超分辨率重建，得到重建遥感数据；
对所述重建遥感数据进行分类预处理，构造遥感样本库；
建立基于U-NET的分割网络模型，以Keras人工神经网络库为学习框架，对所述遥感样本库进行预测分类，得到基础训练数据集；
对所述基础训练数据集进行数据增强处理，得到目标训练数据集；
基于所述目标训练数据集调整训练参数，训练所述分割网络模型；
采用所述分割网络模型处理遥感图像，得到目标分割结果。
优选的，所述对初始遥感数据进行校正与超分辨率重建，得到重建遥感数据，包括：
对所述初始遥感数据进行大气校正与辐射校正，得到校正图像；
对所述校正图像进行去噪及上采样处理，得到特征图像；
对所述特征图像中包含的非线性特征进行拟合，提取得到对应于图像细节的高频信息；
搭建重建卷积神经网络模型，并基于先验知识确定损失函数；
基于所述高频信息确定优化器与学习参数，并采用反向传播算法更新网络参数，通过最小化损失函数训练所述重建卷积神经网络模型；
通过验证集验证所述重建卷积神经网络模型，基于验证结果调整所述重建卷积神经网络模型；
采用所述重建卷积神经网络模型对所述特征图像进行超分辨率重建，得到所述重建遥感数据。
优选的，所述重建卷积神经网络模型基于SRCNN卷积神经网络，采用双立方插值放大所述特征图像，通过三层卷积层对所述特征图像与所述重建遥感数据之间的非线性映射进行拟合；
或者，所述重建卷积神经网络模型基于ESPCN卷积神经网络所引入的亚像素卷积层处理所述特征图像；
或者，所述重建卷积神经网络模型基于SRGAN卷积神经网络，采用鉴别器对所述特征图像及生成器构造的合成图像进行鉴别，以二元零和博弈方式处理所述特征图像。
优选的，所述建立基于U-NET的分割网络模型，以Keras人工神经网络库为学习框架，对所述遥感样本库进行预测分类，得到基础训练数据集，包括：
基于U-NET建立用于图像分割的多通道的分割网络模型，所述网络分割模型采用多光谱输入方式，对人类视觉之外的光谱特征进行学习；
基于所述网络分割模型训练二分类模型；
采用所述二分类模型对所述遥感样本库中每一样本所包含的物体进行预测，得到若干预测图；
对所述若干预测图进行叠加及合并，得到预测结果作为所述基础训练数据集。
优选的，所述基于所述目标训练数据集调整训练参数，训练所述分割网络模型，包括：
采用SGD算法更新所述分割网络模型的神经网络权重；
利用所述目标训练数据集及验证集进行交叉验证，调整所述分割网络模型的训练参数；
在每一迭代周期结束时，检测所述分割网络模型是否收敛；
若检测到所述分割网络模型未收敛，则执行所述采用SGD算法更新所述分割网络模型的神经网络权重，以及利用所述目标训练数据集及验证集进行交叉验证，调整所述分割网络模型的训练参数的方法，进行下一周期的迭代；若检测到所述分割网络模型收敛，则所述分割网络模型完成迭代训练。
本发明实施例第二方面公开一种基于U-NET的深度学习遥感图像语义分割系统，所述系统包括：
数据重建单元，用于对初始遥感数据进行校正与超分辨率重建，得到重建遥感数据；
样本库构造单元，用于对所述重建遥感数据进行分类预处理，构造遥感样本库；
模型建立单元，用于建立基于U-NET的分割网络模型，以Keras人工神经网络库为学习框架，对所述遥感样本库进行预测分类，得到基础训练数据集；
增强处理单元，用于对所述基础训练数据集进行数据增强处理，得到目标训练数据集；
模型训练单元，用于基于所述目标训练数据集调整训练参数，训练所述分割网络模型；
图像处理单元，用于采用所述分割网络模型处理遥感图像，得到目标分割结果。
优选的，所述数据重建单元包括：
校正子单元，用于对所述初始遥感数据进行大气校正与辐射校正，得到校正图像；
去噪采样子单元，用于对所述校正图像进行去噪及上采样处理，得到特征图像；
拟合提取单元，用于对所述特征图像中包含的非线性特征进行拟合，提取得到对应于图像细节的高频信息；
函数确定子单元，用于搭建重建卷积神经网络模型，并基于先验知识确定损失函数；
更新训练子单元，用于基于所述高频信息确定优化器与学习参数，并采用反向传播算法更新网络参数，通过最小化损失函数训练所述重建卷积神经网络模型；
验证调整子单元，用于通过验证集验证所述重建卷积神经网络模型，基于验证结果调整所述重建卷积神经网络模型；
图像重建子单元，用于采用所述重建卷积神经网络模型对所述特征图像进行超分辨率重建，得到所述重建遥感数据。
优选的，所述重建卷积神经网络模型基于SRCNN卷积神经网络，采用双立方插值放大所述特征图像，通过三层卷积层对所述特征图像与所述重建遥感数据之间的非线性映射进行拟合；
或者，所述重建卷积神经网络模型基于ESPCN卷积神经网络所引入的亚像素卷积层处理所述特征图像；
或者，所述重建卷积神经网络模型基于SRGAN卷积神经网络，采用鉴别器对所述特征图像及生成器构造的合成图像进行鉴别，以二元零和博弈方式处理所述特征图像。
优选的，所述模型建立单元包括：
光谱学习子单元，用于基于U-NET建立用于图像分割的多通道的分割网络模型，所述网络分割模型采用多光谱输入方式，对人类视觉之外的光谱特征进行学习；
二分类子单元，用于基于所述网络分割模型训练二分类模型；
预测子单元，用于采用所述二分类模型对所述遥感样本库中每一样本所包含的物体进行预测，得到若干预测图；
合并子单元，用于对所述若干预测图进行叠加及合并，得到预测结果作为所述基础训练数据集。
优选的，所述模型训练单元包括：
权重更新子单元，用于采用SGD算法更新所述分割网络模型的神经网络权重；
验证调整子单元，用于利用所述目标训练数据集及验证集进行交叉验证，调整所述分割网络模型的训练参数；
收敛判断子单元，用于在每一迭代周期结束时，检测所述分割网络模型是否收敛；
迭代子单元，用于在检测到所述分割网络模型未收敛时，转向所述权重更新子单元及所述验证调整子单元，进行下一周期的迭代；以及，在检测到所述分割网络模型收敛时，则所述分割网络模型完成迭代训练。
本发明实施例第三方面公开一种基于U-NET的深度学习遥感图像语义分割系统，包括：
存储有可执行程序代码的存储器；
与所述存储器耦合的处理器；
所述处理器调用所述存储器中存储的所述可执行程序代码，执行本发明实施例第一方面公开的一种基于U-NET的深度学习遥感图像语义分割方法。
本发明实施例第四方面公开一种计算机可读存储介质，其存储计算机程序，其中，所述计算机程序使得计算机执行本发明实施例第一方面公开的一种基于U-NET的深度学习遥感图像语义分割方法。
本发明实施例第五方面公开一种计算机程序产品，当所述计算机程序产品在计算机上运行时，使得所述计算机执行第一方面的任意一种方法的部分或全部步骤。
本发明实施例第六方面公开一种应用发布平台，所述应用发布平台用于发布计算机程序产品，其中，当所述计算机程序产品在计算机上运行时，使得所述计算机执行第一方面的任意一种方法的部分或全部步骤。
与现有技术相比，本发明实施例具有以下有益效果：
采用大气校正与辐射校正消除辐射量误差，剔除干扰数据，再对遥感图像进行超分辨率重建，有效避免了外界因素的干扰，降低了对遥感图像的分辨率要求；且分割网络模型可自适应学习不同目标的特征，并在同一遥感影像中实现多目标分割，因而在改变分割目标时，仅需采用相应的数据集重新训练分割网络模型即可，无需手动重构特征与算法，大幅减少了工作量。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例公开的一种基于U-NET的深度学习遥感图像语义分割方法的流程示意图；
图2是本发明实施例公开的一种基于U-NET的深度学习遥感图像语义分割系统的结构示意图；
图3是本发明实施例公开的另一种基于U-NET的深度学习遥感图像语义分割系统的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
需要说明的是，本发明的说明书和权利要求书中的术语“第一”、“第二”、“第三”“第四”等是用于区别不同的对象，而不是用于描述特定顺序。本发明实施例的术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
本发明实施例公开了一种基于U-NET的深度学习遥感图像语义分割方法及系统，采用大气校正与辐射校正消除辐射量误差，剔除干扰数据，再对遥感图像进行超分辨率重建，有效避免了外界因素的干扰，降低了对遥感图像的分辨率要求；且分割网络模型可自适应学习不同目标的特征，并在同一遥感影像中实现多目标分割，因而在改变分割目标时，仅需采用相应的数据集重新训练分割网络模型即可，无需手动重构特征与算法，大幅减少了工作量。
实施例一
请参阅图1，图1是本发明实施例公开的一种基于U-NET的深度学习遥感图像语义分割方法的流程示意图。如图1所示，该基于U-NET的深度学习遥感图像语义分割方法可以包括以下步骤。
101、对初始遥感数据进行校正与超分辨率重建，得到重建遥感数据。
本实施例中，对低分辨率的初始遥感数据进行校正与重建，为后续分割提供标准化的高分辨率遥感数据。
作为一种可选的实施方式，对初始遥感数据进行大气校正与辐射校正，得到校正图像；对校正图像进行去噪及上采样处理，得到特征图像；对特征图像中包含的非线性特征进行拟合，提取得到对应于图像细节的高频信息；搭建重建卷积神经网络模型，并基于先验知识确定损失函数；基于高频信息确定优化器与学习参数，并采用反向传播算法更新网络参数，通过最小化损失函数训练重建卷积神经网络模型；通过验证集验证重建卷积神经网络模型，基于验证结果调整重建卷积神经网络模型；采用重建卷积神经网络模型对特征图像进行超分辨率重建，得到重建遥感数据。具体地，采用大气校正与辐射校正消除因大气吸收、散射作用而产生的辐射量误差，使初始遥感数据中各物体的表面反射率回归正常数值，再通过去噪与上采样处理，剔除干扰数据并使特征图像的分辨率与初始遥感图像同步；在神经网络中对特征图像中包含的非线性特征进行拟合，从而提取出不同于视觉识别的高频信息；据此搭建重建卷积神经网络，在确定出损失函数、优化器与学习参数之后，采用反向传播算法训练重建卷积神经网络模型，并通过验证集调整迭代，最终，采用重建卷积神经网络模型对特征图像进行超分辨率重建，得到数据有效性高、图像规格一致的重建遥感数据。
作为另一种可选的实施方式，在面对不同类型的遥感数据，或者重建需求不同时，重建卷积神经网络所采用的技术亦需基于实际情况进行调整，例如，可基于SRCNN卷积神经网络，采用双立方插值放大所述特征图像，通过三层卷积层对特征图像与重建遥感数据之间的非线性映射进行拟合，从而通过重建卷积神经网络的网络输出结果获取重建遥感数据；或者，可基于ESPCN卷积神经网络所引入的亚像素卷积层处理特征图像，此时无需对校正图像进行上采样，通过亚像素卷积层间接实现图像放大，有效降低了计算量，提高重建效率；此外，还可基于SRGAN卷积神经网络，采用鉴别器对特征图像及生成器构造的合成图像进行鉴别，以二元零和博弈方式处理特征图像，可生成符合视觉习惯的逼真图像，且处理过程不存在高频信息丢失的问题。
102、对重建遥感数据进行分类预处理，构造遥感样本库。
本实施例中，按照重建遥感数据的匀色标准，对不同类别的重建遥感数据进行切割、编码、标记、分类等初步的分类预处理，根据分类预处理结果构造遥感样本库。
103、建立基于U-NET的分割网络模型，以Keras人工神经网络库为学习框架，对遥感样本库进行预测分类，得到基础训练数据集。
本实施例中，构建并采用标准数据训练基于U-NET的分割网络模型，对遥感样本库进行精细化的预测分类，得到基础训练数据集。
作为一种可选的实施方式，基于U-NET建立用于图像分割的多通道的分割网络模型，网络分割模型采用多光谱输入方式，对人类视觉之外的光谱特征进行学习；基于网络分割模型训练二分类模型；采用二分类模型对遥感样本库中每一样本所包含的物体进行预测，得到若干预测图；对若干预测图进行叠加及合并，得到预测结果作为基础训练数据集。可见，二分类模型确保了预测分类结果中各类别数据分别具备显著的特征，有利于后续训练，避免过拟合。
应当理解的是，U-NET属于全卷积神经网络(Fuly convolutional networks，FCN)的一种变体，其基于“编码器(Encoder)-解码器(Decoder)”结构，通过拼接的方式实现特征融合。其中，编码器通过若干卷积层与池化层进行下采样，负责特征提取；解码器则进行上采样，恢复特征图像的原始分辨率，并对图像上每一像素给出预测结果。相比FCN或者DeepLab等模型，U-NET供进行4次上采样，并跳跃链接机制，并不直接在高级语义特征上进行监督和反向传播，从而确保了恢复得到的特征图像融合有更多的低尺度特征，促进不同尺度的特征进行融合，实现多尺度预测与深监督。
104、对基础训练数据集进行数据增强处理，得到目标训练数据集。
本实施例中，对于基础数据集进行数据增强处理，增强其模型泛化能力，从而目标训练数据集可为分割网络模型提供游离于基础训练数据集之外的数据学习能力，确保分割网络模型面对各类遥感图像均能给出合适的输出。
105、基于目标训练数据集调整训练参数，训练分割网络模型。
本实施例中，基础的分割网络模型与特征显著的目标训练数据集已齐备，可进行学习训练。
作为一种可选的实施方式，采用SGD算法更新分割网络模型的神经网络权重；利用目标训练数据集及验证集进行交叉验证，调整分割网络模型的训练参数；在每一迭代周期结束时，检测分割网络模型是否收敛；若检测到分割网络模型未收敛，则执行采用SGD算法更新分割网络模型的神经网络权重，以及利用目标训练数据集及验证集进行交叉验证，调整分割网络模型的训练参数的方法，进行下一周期的迭代；若检测到分割网络模型收敛，则分割网络模型完成迭代训练。可见，通过目标训练数据集与验证集的交叉验证与反复调整迭代，有效训练出针对遥感图像进行目标识别与分割的分割网络模型。
106、采用分割网络模型处理遥感图像，得到目标分割结果。
本实施例中，构造测试数据集对训练完成的分割网络模型进行预测测试，分割网络模型基于投票法对测试数据集中多类别的测试数据进行目标分割。若预测测试结果良好，则表明分割网络模型训练达标，且参数调整合适，可实际应用于处理遥感图像，得到目标分割结果，从而遥感图像上的地形地貌、建筑、物体等可被精准分割识别，并便捷地进行分析判读。
综上，采用大气校正与辐射校正消除辐射量误差，剔除干扰数据，再对遥感图像进行超分辨率重建，有效避免了外界因素的干扰，降低了对遥感图像的分辨率要求；且分割网络模型可自适应学习不同目标的特征，并在同一遥感影像中实现多目标分割，因而在改变分割目标时，仅需采用相应的数据集重新训练分割网络模型即可，无需手动重构特征与算法，大幅减少了工作量。
实施例二
请参阅图2，图2是本发明实施例公开的一种基于U-NET的深度学习遥感图像语义分割系统的结构示意图。如图2所示，该基于U-NET的深度学习遥感图像语义分割系统可以包括以下内容。
数据重建单元201，用于对初始遥感数据进行校正与超分辨率重建，得到重建遥感数据；
样本库构造单元202，用于对重建遥感数据进行分类预处理，构造遥感样本库；
模型建立单元203，用于建立基于U-NET的分割网络模型，以Keras人工神经网络库为学习框架，对遥感样本库进行预测分类，得到基础训练数据集；
增强处理单元204，用于对基础训练数据集进行数据增强处理，得到目标训练数据集；
模型训练单元205，用于基于目标训练数据集调整训练参数，训练分割网络模型；
图像处理单元206，用于采用分割网络模型处理遥感图像，得到目标分割结果。
其中，数据重建单元201包括：
校正子单元2011，用于对初始遥感数据进行大气校正与辐射校正，得到校正图像；
去噪采样子单元2012，用于对校正图像进行去噪及上采样处理，得到特征图像；
拟合提取单元2013，用于对特征图像中包含的非线性特征进行拟合，提取得到对应于图像细节的高频信息；
函数确定子单元2014，用于搭建重建卷积神经网络模型，并基于先验知识确定损失函数；
更新训练子单元2015，用于基于高频信息确定优化器与学习参数，并采用反向传播算法更新网络参数，通过最小化损失函数训练所述重建卷积神经网络模型；
验证调整子单元2016，用于通过验证集验证重建卷积神经网络模型，基于验证结果调整重建卷积神经网络模型；
图像重建子单元2017，用于采用重建卷积神经网络模型对所述特征图像进行超分辨率重建，得到所述重建遥感数据。
以及，模型建立单元203包括：
光谱学习子单元2031，用于基于U-NET建立用于图像分割的多通道的分割网络模型，网络分割模型采用多光谱输入方式，对人类视觉之外的光谱特征进行学习；
二分类子单元2032，用于基于网络分割模型训练二分类模型；
预测子单元2033，用于采用二分类模型对所述遥感样本库中每一样本所包含的物体进行预测，得到若干预测图；
合并子单元2034，用于对若干预测图进行叠加及合并，得到预测结果作为基础训练数据集。
此外，模型训练单元205包括：
权重更新子单元2051，用于采用SGD算法更新分割网络模型的神经网络权重；
验证调整子单元2052，用于利用目标训练数据集及验证集进行交叉验证，调整分割网络模型的训练参数；
收敛判断子单元2053，用于在每一迭代周期结束时，检测分割网络模型是否收敛；
迭代子单元2054，用于在检测到分割网络模型未收敛时，转向权重更新子单元及验证调整子单元，进行下一周期的迭代；以及，在检测到分割网络模型收敛时，则分割网络模型完成迭代训练。
作为一种可选的实施方式，校正子单元2011对初始遥感数据进行大气校正与辐射校正，得到校正图像；去噪采样子单元2012对校正图像进行去噪及上采样处理，得到特征图像；拟合提取单元2013对特征图像中包含的非线性特征进行拟合，提取得到对应于图像细节的高频信息；函数确定子单元2014搭建重建卷积神经网络模型，并基于先验知识确定损失函数；更新训练子单元2015基于高频信息确定优化器与学习参数，并采用反向传播算法更新网络参数，通过最小化损失函数训练重建卷积神经网络模型；验证调整子单元2016通过验证集验证重建卷积神经网络模型，基于验证结果调整重建卷积神经网络模型；图像重建子单元2017采用重建卷积神经网络模型对特征图像进行超分辨率重建，得到重建遥感数据。具体地，采用大气校正与辐射校正消除因大气吸收、散射作用而产生的辐射量误差，使初始遥感数据中各物体的表面反射率回归正常数值，再通过去噪与上采样处理，剔除干扰数据并使特征图像的分辨率与初始遥感图像同步；在神经网络中对特征图像中包含的非线性特征进行拟合，从而提取出不同于视觉识别的高频信息；据此搭建重建卷积神经网络，在确定出损失函数、优化器与学习参数之后，采用反向传播算法训练重建卷积神经网络模型，并通过验证集调整迭代，最终，采用重建卷积神经网络模型对特征图像进行超分辨率重建，得到数据有效性高、图像规格一致的重建遥感数据。
作为另一种可选的实施方式，在面对不同类型的遥感数据，或者重建需求不同时，重建卷积神经网络所采用的技术亦需基于实际情况进行调整，例如，可基于SRCNN卷积神经网络，采用双立方插值放大所述特征图像，通过三层卷积层对特征图像与重建遥感数据之间的非线性映射进行拟合，从而通过重建卷积神经网络的网络输出结果获取重建遥感数据；或者，可基于ESPCN卷积神经网络所引入的亚像素卷积层处理特征图像，此时无需对校正图像进行上采样，通过亚像素卷积层间接实现图像放大，有效降低了计算量，提高重建效率；此外，还可基于SRGAN卷积神经网络，采用鉴别器对特征图像及生成器构造的合成图像进行鉴别，以二元零和博弈方式处理特征图像，可生成符合视觉习惯的逼真图像，且处理过程不存在高频信息丢失的问题。
作为一种可选的实施方式，光谱学习子单元2031基于U-NET建立用于图像分割的多通道的分割网络模型，网络分割模型采用多光谱输入方式，对人类视觉之外的光谱特征进行学习；二分类子单元2032基于网络分割模型训练二分类模型；预测子单元2033采用二分类模型对遥感样本库中每一样本所包含的物体进行预测，得到若干预测图；合并子单元2034对若干预测图进行叠加及合并，得到预测结果作为基础训练数据集。可见，二分类模型确保了预测分类结果中各类别数据分别具备显著的特征，有利于后续训练，避免过拟合。
作为一种可选的实施方式，权重更新子单元2051采用SGD算法更新分割网络模型的神经网络权重；验证调整子单元2052利用目标训练数据集及验证集进行交叉验证，调整分割网络模型的训练参数；收敛判断子单元2053在每一迭代周期结束时，检测分割网络模型是否收敛；若迭代子单元2054检测到分割网络模型未收敛，则执行采用SGD算法更新分割网络模型的神经网络权重，以及利用目标训练数据集及验证集进行交叉验证，调整分割网络模型的训练参数的方法，进行下一周期的迭代；若检测到分割网络模型收敛，则分割网络模型完成迭代训练。可见，通过目标训练数据集与验证集的交叉验证与反复调整迭代，有效训练出针对遥感图像进行目标识别与分割的分割网络模型。
综上，采用大气校正与辐射校正消除辐射量误差，剔除干扰数据，再对遥感图像进行超分辨率重建，有效避免了外界因素的干扰，降低了对遥感图像的分辨率要求；且分割网络模型可自适应学习不同目标的特征，并在同一遥感影像中实现多目标分割，因而在改变分割目标时，仅需采用相应的数据集重新训练分割网络模型即可，无需手动重构特征与算法，大幅减少了工作量。
实施例三
请参阅图3，图3是本发明实施例公开的另一种基于U-NET的深度学习遥感图像语义分割系统的结构示意图。如图3所示，该基于U-NET的深度学习遥感图像语义分割系统可以包括：
存储有可执行程序代码的存储器301；
与存储器301耦合的处理器302；
其中，处理器302调用存储器301中存储的可执行程序代码，执行图1的一种基于U-NET的深度学习遥感图像语义分割方法。
本发明实施例公开一种计算机可读存储介质，其存储计算机程序，其中，该计算机程序使得计算机执行图1的一种基于U-NET的深度学习遥感图像语义分割方法。
本发明实施例还公开一种计算机程序产品，其中，当计算机程序产品在计算机上运行时，使得计算机执行如以上各方法实施例中的方法的部分或全部步骤。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质包括只读存储器(Read-Only Memory，ROM)、随机存储器(Random Access Memory，RAM)、可编程只读存储器(Programmable Read-only Memory，PROM)、可擦除可编程只读存储器(Erasable Programmable Read Only Memory，EPROM)、一次可编程只读存储器(One-time Programmable Read-Only Memory，OTPROM)、电子抹除式可复写只读存储器(Electrically-Erasable Programmable Read-Only Memory，EEPROM)、只读光盘(CompactDisc Read-Only Memory，CD-ROM)或其他光盘存储器、磁盘存储器、磁带存储器、或者能够用于携带或存储数据的计算机可读的任何其他介质。
以上对本发明实施例公开的一种基于U-NET的深度学习遥感图像语义分割方法及系统进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。
Claims (10)
1.一种基于U-NET的深度学习遥感图像语义分割方法，其特征在于，所述方法包括：
对初始遥感数据进行校正与超分辨率重建，得到重建遥感数据；
对所述重建遥感数据进行分类预处理，构造遥感样本库；
建立基于U-NET的分割网络模型，以Keras人工神经网络库为学习框架，对所述遥感样本库进行预测分类，得到基础训练数据集；
对所述基础训练数据集进行数据增强处理，得到目标训练数据集；
基于所述目标训练数据集调整训练参数，训练所述分割网络模型；
采用所述分割网络模型处理遥感图像，得到目标分割结果。
2.根据权利要求1所述的基于U-NET的深度学习遥感图像语义分割方法，其特征在于，所述对初始遥感数据进行校正与超分辨率重建，得到重建遥感数据，包括：
对所述初始遥感数据进行大气校正与辐射校正，得到校正图像；
对所述校正图像进行去噪及上采样处理，得到特征图像；
对所述特征图像中包含的非线性特征进行拟合，提取得到对应于图像细节的高频信息；
搭建重建卷积神经网络模型，并基于先验知识确定损失函数；
基于所述高频信息确定优化器与学习参数，并采用反向传播算法更新网络参数，通过最小化损失函数训练所述重建卷积神经网络模型；
通过验证集验证所述重建卷积神经网络模型，基于验证结果调整所述重建卷积神经网络模型；
采用所述重建卷积神经网络模型对所述特征图像进行超分辨率重建，得到所述重建遥感数据。
3.根据权利要求2所述的基于U-NET的深度学习遥感图像语义分割方法，其特征在于，所述重建卷积神经网络模型基于SRCNN卷积神经网络，采用双立方插值放大所述特征图像，通过三层卷积层对所述特征图像与所述重建遥感数据之间的非线性映射进行拟合；
或者，所述重建卷积神经网络模型基于ESPCN卷积神经网络所引入的亚像素卷积层处理所述特征图像；
或者，所述重建卷积神经网络模型基于SRGAN卷积神经网络，采用鉴别器对所述特征图像及生成器构造的合成图像进行鉴别，以二元零和博弈方式处理所述特征图像。
4.根据权利要求1所述的基于U-NET的深度学习遥感图像语义分割方法，其特征在于，所述建立基于U-NET的分割网络模型，以Keras人工神经网络库为学习框架，对所述遥感样本库进行预测分类，得到基础训练数据集，包括：
基于U-NET建立用于图像分割的多通道的分割网络模型，所述网络分割模型采用多光谱输入方式，对人类视觉之外的光谱特征进行学习；
基于所述网络分割模型训练二分类模型；
采用所述二分类模型对所述遥感样本库中每一样本所包含的物体进行预测，得到若干预测图；
对所述若干预测图进行叠加及合并，得到预测结果作为所述基础训练数据集。
5.根据权利要求4所述的基于U-NET的深度学习遥感图像语义分割方法，其特征在于，所述基于所述目标训练数据集调整训练参数，训练所述分割网络模型，包括：
采用SGD算法更新所述分割网络模型的神经网络权重；
利用所述目标训练数据集及验证集进行交叉验证，调整所述分割网络模型的训练参数；
在每一迭代周期结束时，检测所述分割网络模型是否收敛；
若检测到所述分割网络模型未收敛，则执行所述采用SGD算法更新所述分割网络模型的神经网络权重，以及利用所述目标训练数据集及验证集进行交叉验证，调整所述分割网络模型的训练参数的方法，进行下一周期的迭代；若检测到所述分割网络模型收敛，则所述分割网络模型完成迭代训练。
6.一种基于U-NET的深度学习遥感图像语义分割系统，其特征在于，所述系统包括：
数据重建单元，用于对初始遥感数据进行校正与超分辨率重建，得到重建遥感数据；
样本库构造单元，用于对所述重建遥感数据进行分类预处理，构造遥感样本库；
模型建立单元，用于建立基于U-NET的分割网络模型，以Keras人工神经网络库为学习框架，对所述遥感样本库进行预测分类，得到基础训练数据集；
增强处理单元，用于对所述基础训练数据集进行数据增强处理，得到目标训练数据集；
模型训练单元，用于基于所述目标训练数据集调整训练参数，训练所述分割网络模型；
图像处理单元，用于采用所述分割网络模型处理遥感图像，得到目标分割结果。
7.根据权利要求6所述的基于U-NET的深度学习遥感图像语义分割系统，其特征在于，所述数据重建单元包括：
校正子单元，用于对所述初始遥感数据进行大气校正与辐射校正，得到校正图像；
去噪采样子单元，用于对所述校正图像进行去噪及上采样处理，得到特征图像；
拟合提取单元，用于对所述特征图像中包含的非线性特征进行拟合，提取得到对应于图像细节的高频信息；
函数确定子单元，用于搭建重建卷积神经网络模型，并基于先验知识确定损失函数；
更新训练子单元，用于基于所述高频信息确定优化器与学习参数，并采用反向传播算法更新网络参数，通过最小化损失函数训练所述重建卷积神经网络模型；
验证调整子单元，用于通过验证集验证所述重建卷积神经网络模型，基于验证结果调整所述重建卷积神经网络模型；
图像重建子单元，用于采用所述重建卷积神经网络模型对所述特征图像进行超分辨率重建，得到所述重建遥感数据。
8.根据权利要求7所述的基于U-NET的深度学习遥感图像语义分割系统，其特征在于，所述重建卷积神经网络模型基于SRCNN卷积神经网络，采用双立方插值放大所述特征图像，通过三层卷积层对所述特征图像与所述重建遥感数据之间的非线性映射进行拟合；
或者，所述重建卷积神经网络模型基于ESPCN卷积神经网络所引入的亚像素卷积层处理所述特征图像；
或者，所述重建卷积神经网络模型基于SRGAN卷积神经网络，采用鉴别器对所述特征图像及生成器构造的合成图像进行鉴别，以二元零和博弈方式处理所述特征图像。
9.根据权利要求6所述的基于U-NET的深度学习遥感图像语义分割系统，其特征在于，所述模型建立单元包括：
光谱学习子单元，用于基于U-NET建立用于图像分割的多通道的分割网络模型，所述网络分割模型采用多光谱输入方式，对人类视觉之外的光谱特征进行学习；
二分类子单元，用于基于所述网络分割模型训练二分类模型；
预测子单元，用于采用所述二分类模型对所述遥感样本库中每一样本所包含的物体进行预测，得到若干预测图；
合并子单元，用于对所述若干预测图进行叠加及合并，得到预测结果作为所述基础训练数据集。
10.根据权利要求9所述的基于U-NET的深度学习遥感图像语义分割系统，其特征在于，所述模型训练单元包括：
权重更新子单元，用于采用SGD算法更新所述分割网络模型的神经网络权重；
验证调整子单元，用于利用所述目标训练数据集及验证集进行交叉验证，调整所述分割网络模型的训练参数；
收敛判断子单元，用于在每一迭代周期结束时，检测所述分割网络模型是否收敛；
迭代子单元，用于在检测到所述分割网络模型未收敛时，转向所述权重更新子单元及所述验证调整子单元，进行下一周期的迭代；以及，在检测到所述分割网络模型收敛时，则所述分割网络模型完成迭代训练。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110662122.7A CN113392845A (zh) | 2021-06-15 | 2021-06-15 | 一种基于u-net的深度学习遥感图像语义分割方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110662122.7A CN113392845A (zh) | 2021-06-15 | 2021-06-15 | 一种基于u-net的深度学习遥感图像语义分割方法及系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113392845A true CN113392845A (zh) | 2021-09-14 |
Family
ID=77621268
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110662122.7A Pending CN113392845A (zh) | 2021-06-15 | 2021-06-15 | 一种基于u-net的深度学习遥感图像语义分割方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113392845A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113780444A (zh) * | 2021-09-16 | 2021-12-10 | 平安科技（深圳）有限公司 | 基于渐进式学习的舌苔图像分类模型的训练方法 |
| CN114399637A (zh) * | 2021-12-02 | 2022-04-26 | 北京航空航天大学 | 一种基于模型相似性衡量的联邦学习影像分割方法 |
-
2021
- 2021-06-15 CN CN202110662122.7A patent/CN113392845A/zh active Pending
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113780444A (zh) * | 2021-09-16 | 2021-12-10 | 平安科技（深圳）有限公司 | 基于渐进式学习的舌苔图像分类模型的训练方法 |
| CN113780444B (zh) * | 2021-09-16 | 2023-07-25 | 平安科技（深圳）有限公司 | 基于渐进式学习的舌苔图像分类模型的训练方法 |
| CN114399637A (zh) * | 2021-12-02 | 2022-04-26 | 北京航空航天大学 | 一种基于模型相似性衡量的联邦学习影像分割方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110598600A (zh) | 一种基于unet神经网络的遥感图像云检测方法 | |
| CN111860235B (zh) | 高低层特征融合的注意力遥感图像描述的生成方法及系统 | |
| CN111738165B (zh) | 一种从高分辨率无人机可见光遥感影像中提取单株植物冠层的方法 | |
| CN113850916A (zh) | 模型训练、点云缺失补全方法、装置、设备及介质 | |
| US8345962B2 (en) | Transfer learning methods and systems for feed-forward visual recognition systems | |
| CN110569696A (zh) | 用于车辆部件识别的神经网络系统、方法和装置 | |
| US11308714B1 (en) | Artificial intelligence system for identifying and assessing attributes of a property shown in aerial imagery | |
| CN110516541B (zh) | 文本定位方法、装置、计算机可读存储介质和计算机设备 | |
| CN110796619A (zh) | 一种图像处理模型训练方法、装置、电子设备及存储介质 | |
| CN110163213B (zh) | 基于视差图和多尺度深度网络模型的遥感图像分割方法 | |
| CN110781756A (zh) | 基于遥感图像的城市道路提取方法及装置 | |
| CN111079683A (zh) | 基于卷积神经网络的遥感图像云雪检测方法 | |
| CN112541508A (zh) | 果实分割识别方法及系统、果实采摘机器人 | |
| CN113392845A (zh) | 一种基于u-net的深度学习遥感图像语义分割方法及系统 | |
| CN112906662B (zh) | 一种遥感图像变化检测方法、装置、设备及存储介质 | |
| CN116071650A (zh) | 一种融合卷积神经网络与Transformer的遥感影像建筑物提取方法 | |
| CN115830471A (zh) | 一种多尺度特征融合和对齐的域自适应云检测方法 | |
| CN111626379B (zh) | 肺炎x光图像检测方法 | |
| CN115546640A (zh) | 遥感影像的云检测方法、装置、电子设备及存储介质 | |
| Oehmcke et al. | Creating cloud-free satellite imagery from image time series with deep learning | |
| CN115439654A (zh) | 动态约束下的弱监督农田地块精细化分割方法及系统 | |
| CN116934780A (zh) | 一种基于深度学习的电成像测井图像裂缝分割方法及系统 | |
| CN114092803A (zh) | 基于遥感图像的云检测方法、装置、电子设备及介质 | |
| CN111027508A (zh) | 一种基于深层神经网络的遥感图像覆被变化检测方法 | |
| CN113591608A (zh) | 一种基于深度学习的高分辨率遥感影像不透水面提取方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20210914 |