CN109948517A - 一种基于密集全卷积网络的高分辨率遥感图像语义分割方法 - Google Patents
一种基于密集全卷积网络的高分辨率遥感图像语义分割方法 Download PDFInfo
- Publication number
- CN109948517A CN109948517A CN201910201445.9A CN201910201445A CN109948517A CN 109948517 A CN109948517 A CN 109948517A CN 201910201445 A CN201910201445 A CN 201910201445A CN 109948517 A CN109948517 A CN 109948517A
- Authority
- CN
- China
- Prior art keywords
- network
- remote sensing
- full convolutional
- semantic segmentation
- sensing image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000011218 segmentation Effects 0.000 title claims abstract description 25
- 238000000034 method Methods 0.000 title claims abstract description 17
- 238000012549 training Methods 0.000 claims abstract description 17
- 238000000605 extraction Methods 0.000 claims abstract description 9
- 238000005070 sampling Methods 0.000 abstract description 9
- 238000013527 convolutional neural network Methods 0.000 abstract description 7
- 238000011084 recovery Methods 0.000 abstract description 2
- 238000013461 design Methods 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 4
- 230000007704 transition Effects 0.000 description 4
- 238000011161 development Methods 0.000 description 3
- 230000018109 developmental process Effects 0.000 description 3
- 239000000203 mixture Substances 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000003672 processing method Methods 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 230000004913 activation Effects 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013145 classification model Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 210000004218 nerve net Anatomy 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- VMXUWOKSQNHOCA-UKTHLTGXSA-N ranitidine Chemical compound [O-][N+](=O)\C=C(/NC)NCCSCC1=CC=C(CN(C)C)O1 VMXUWOKSQNHOCA-UKTHLTGXSA-N 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 239000002689 soil Substances 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 230000017105 transposition Effects 0.000 description 1
Landscapes
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种基于密集全卷积网络的高分辨率遥感图像语义分割方法。该方法首先结合近些年在图像分类领域取得优异成绩的深度卷积神经网络，利用密集网络对全卷积神经网络模型的特征提取部分进行改进，有效地利用了各个网络层产生的特征图信息；接着对上采样部分进行了优化，先通过两次2倍上采样的合并，再通过8倍上采样实现图像分辨率大小的恢复；最后采用预训练模型进行密集全卷积网络的参数初始化，从而有效地提升了网络的训练效率，最终有效提高了在高分辨率遥感图像上的语义分割精度。
Description
技术领域
本发明属于遥感图像语义分割领域，具体涉及一种基于密集全卷积网络的高分辨率遥感图像语义分割方法。
背景技术
随着航天遥感技术的发展，遥感卫星在光谱分辨率、空间分辨率、时间分辨率等方面都有巨大的进步。高分辨率遥感就是遥感数据的质量和数量要求很高的遥感技术，如遥感卫星影像的地面分辨率由10m、5m、2m、1m、甚至0.6m逐步提高。高分辨率遥感图像具有高空间分辨率、高清晰度、地物纹理信息丰富等优点。它的产生使得林地分类、土地利用、城市规划等民用领域有了更便利、更详细的数据来源，并且在军用领域也有十分重要的意义。
图像语义分割是计算机视觉领域中图像处理的重要方法，与传统的图像分割相比，语义分割需要将图像中的每个像素划分开来并指定其属于哪一类。在深度学习的网络模型还未应用到语义分割领域时，Shotten等人提出了使用决策基元森林的方法作为分类器来进行语义分割任务。2012年，AlexNet赢得了ImageNet大赛后，卷积神经网络的潜力和性能开始为人们不断发掘与提升。随着深度学习技术的发展，新的语义分割方法也在不断产生。2014年，Long等人提出了全卷积神经网络模型用于图像的语义分割。该网络模型的提出，创造性地实现了深度卷积神经网络从图像分类领域到像素级别分类的跨越。
随着深度学习的发展，传统的图像处理方法已经不能满足人们对高分辨遥感图像信息提取的需求。因此，结合深度学习技术对高分辨率遥感图像进行处理，具有十分重要的研究意义。
经检索，类似发明有，专利申请号2012800302640，申请日为2012年6月12日，发明创造名称为:图像分类方法。该申请案提供了一种通过形容词对图像进行分类的图像分类方法。
发明内容
本发明的目的是：结合深度学习技术，对高分辨率遥感图像进行信息提取，克服传统图像处理方法中人工设计提取图像特征的局限性，并在此基础上利用改进的深度神经网络模型对高分辨率遥感图像进行语义分割，通过提高语义分割的精度，为实际应用中土地规划、林地分类等工作提供更为高效的框架。
本发明的基本原理是：本发明是一种基于密集全卷积网络的高分辨率遥感图像语义分割方法，首先结合近些年在图像分类领域取得优异成绩的深度卷积神经网络，利用密集网络对全卷积神经网络模型的特征提取部分进行改进，有效地利用了各个网络层产生的特征图信息；接着对上采样部分进行了优化，先通过两次2倍上采样的特征图合并，再通过8倍上采样实现图像分辨率大小的恢复；最后采用预训练模型进行密集全卷积网络的参数初始化，从而有效的提升了网络的训练效率，提高了最终语义分割的精度。
本发明的有益效果如下：本发明是一种基于密集全卷积网络的高分辨率遥感图像语义分割方法，结合到密集网络有效加强特征图复用的特性，并且优化了上采样部分的模块，设计了基于密集全卷积网络的语义分割框架，通过预训练模型对网络结构进行参数初始化，最终有效提高了在高分辨率遥感图像上的语义分割精度。
附图说明
图1为密集全卷积网络框架示意图；
图2为transition layer示意图；
图3为密集全卷积网络具体参数配置信息示意图。
具体实施方式
下面参照附图对本发明作进一步分详细描述。
(1)高分辨率遥感图像数据集的准备：根据采集到的高分二号卫星高分辨率遥感图像，通过随机划窗采样；随机gamma变换；旋转90°，180°，270°，模糊处理，加入白噪声，左右翻转，上下翻转等数据增强操作，制作出可供深度神经网络训练的数据集。其中，训练集中总共包含10000张高分辨率遥感图片，测试集中则由2000张完全未经过训练的遥感图像组成，其中每张高分辨率遥感图像尺寸大小为256*256。
(2)密集全卷积网络的设计：在原始的全卷积网络的特征提取部分上使用密集网络来代替VGG-16结构，设计的密集全卷积网络框架示意图如图1所示，密集网络主要由密集单元和transition layer组成，密集单元与普通的卷积模块和残差学习模块的对比如下：
对于普通的卷积模块，通常第L层的输出是第L+1层的输入，假设第L层输入为xL，则第L+1层对应的输入为：
xL+1＝H(xL) (1)
其中，H(·)表示映射操作，通常为进行卷积操作后再通过激活函数ReLU进行激活。
而对于残差学习模块，第L+1层对应的输入为：
xL+1＝xL+F(xL) (2)
其中，F(·)表示残差学习函数，残差学习模块的提出，有效地缓解了由于网络层数加深所带来的退化问题，并且使得深层的网络可以较好的进行训练优化。
密集网络由于其具有密集连接形式的特点，其第L+1层的输入为：
xL+1＝H(xL，xl-1，…，x1) (3)
其中，H(·)表示映射操作，(…)表示特征拼接操作。在密集单元中，通常通过设置增长率k，即设置每层H(·)可以产生k个特征图谱，来控制特征图数量的增长。对于第L+1层的输入用增长率表示为：
xL+1＝x1+(L)×k (4)
通过以上比较可以看出，密集网络第L+1层的输入，充分利用了之前所有层产生的特征图，在对高分辨率遥感图像进行特征提取时，为了充分利用遥感图像通过深层网络每一层所产生的特征信息，对此本发明将密集网络替代原始的VGG-16作为特征提取模块。另外，图1中的Transition layer主要对密集单元产生的特征图进行降维操作。在本发明中，它的主要组成如图2所示：
由图2所示，经过了密集单元后产生的特征图往往数量增多，为了避免特征图数量过多导致的训练困难，首先通过Transition layer中的1*1的卷积核使得特征图在尺寸大小不变的情况下，进行特征图数量的降维操作，之后再通过平均池化层，从而有效减少了网络训练中的参数数量。
本发明中设计的密集全卷积网络具体参数配置，如图3所示，主要应用了4个密集单元的结构，主要考虑是为了与图像分类当中的密集网络架构结构相似，以便使用ImageNet预训练的图像分类模型的参数，来进行密集全卷积网络模型的初始化和微调。
(3)训练及测试：本发明使用ImageNet预训练后的DenseNet网络的参数，来进行DenseNet-Fcn模型的特征提取模块的参数初始化，对于上采样模块本发明设计模型使用双线性插值进行转置卷积的参数初始化，训练过程选择NLLLoss函数作为代价函数，，训练时batchsize大小设置为4，使用带动量的SGD作为优化函数，momentum为0.9，设置学习率为0.01，并在50次epoch之后降低为0.001。模型训练达到收敛后，将测试的高分辨率遥感图像输入训练好的模型能得到预测的语义分割图像。
Claims (3)
1.一种基于密集全卷积网络的高分辨率遥感图像语义分割方法，其特征在于，包括：
在原始的全卷积网络进行语义分割的基础上，改进了原始全卷积网络中的特征提取模块，并采用密集网络代替原有的VGG-16进行高分辨率遥感图像的信息提取；
使用预训练模型进行密集全卷积网络的权重参数初始化，提高网络的收敛稳定性和语义分割的精度。
2.根据权利要求1所述的高分辨率遥感图像语义分割方法，其特征在于，利用密集网络进行高分辨率遥感图像的信息提取，构建基于密集网络全卷积网络模型应用于高分辨率遥感图像的语义分割。
3.根据权利要求1所述的高分辨率遥感图像语义分割方法，其特征在于，采用预训练模型，进行密集全卷积网络的参数初始化，从而有效的提升了网络的训练效率，提高了语义分割的精度。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910201445.9A CN109948517A (zh) | 2019-03-18 | 2019-03-18 | 一种基于密集全卷积网络的高分辨率遥感图像语义分割方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910201445.9A CN109948517A (zh) | 2019-03-18 | 2019-03-18 | 一种基于密集全卷积网络的高分辨率遥感图像语义分割方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN109948517A true CN109948517A (zh) | 2019-06-28 |
Family
ID=67010065
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910201445.9A Pending CN109948517A (zh) | 2019-03-18 | 2019-03-18 | 一种基于密集全卷积网络的高分辨率遥感图像语义分割方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109948517A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113111835A (zh) * | 2021-04-23 | 2021-07-13 | 长沙理工大学 | 卫星遥感图像语义分割方法、装置、电子设备和存储介质 |
| CN113326847A (zh) * | 2021-06-04 | 2021-08-31 | 天津大学 | 一种基于全卷积神经网络的遥感图像语义分割方法及装置 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9953236B1 (en) * | 2017-03-10 | 2018-04-24 | TuSimple | System and method for semantic segmentation using dense upsampling convolution (DUC) |
| CN108830855A (zh) * | 2018-04-02 | 2018-11-16 | 华南理工大学 | 一种基于多尺度低层特征融合的全卷积网络语义分割方法 |
| CN108921196A (zh) * | 2018-06-01 | 2018-11-30 | 南京邮电大学 | 一种改进全卷积神经网络的语义分割方法 |
| CN109214985A (zh) * | 2018-05-16 | 2019-01-15 | 长沙理工大学 | 用于图像超分辨率重构的递归密集残差网络 |
| CN109255334A (zh) * | 2018-09-27 | 2019-01-22 | 中国电子科技集团公司第五十四研究所 | 基于深度学习语义分割网络的遥感影像地物分类方法 |
-
2019
- 2019-03-18 CN CN201910201445.9A patent/CN109948517A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9953236B1 (en) * | 2017-03-10 | 2018-04-24 | TuSimple | System and method for semantic segmentation using dense upsampling convolution (DUC) |
| CN108830855A (zh) * | 2018-04-02 | 2018-11-16 | 华南理工大学 | 一种基于多尺度低层特征融合的全卷积网络语义分割方法 |
| CN109214985A (zh) * | 2018-05-16 | 2019-01-15 | 长沙理工大学 | 用于图像超分辨率重构的递归密集残差网络 |
| CN108921196A (zh) * | 2018-06-01 | 2018-11-30 | 南京邮电大学 | 一种改进全卷积神经网络的语义分割方法 |
| CN109255334A (zh) * | 2018-09-27 | 2019-01-22 | 中国电子科技集团公司第五十四研究所 | 基于深度学习语义分割网络的遥感影像地物分类方法 |
Non-Patent Citations (5)
| Title |
|---|
| EVAN SHELHAMER等: "Fully Convolutional Networks for Semantic Segmentation", 《IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE》 * |
| GAO HUANG等: "Densely Connected Convolutional Networks", 《2017 IEEE CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION》 * |
| SIMON J´EGOU等: "The One Hundred Layers Tiramisu:Fully Convolutional DenseNets for Semantic Segmentation", 《ARXIV:1611.09326V3》 * |
| 方正等: "融合深度模型和传统模型的显著性检测", 《中国图象图形学报》 * |
| 王小小小草: "论文解读_【Densenet】密集连接的卷积网络（附Pytorch代码讲解）", 《CSDN博客》 * |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113111835A (zh) * | 2021-04-23 | 2021-07-13 | 长沙理工大学 | 卫星遥感图像语义分割方法、装置、电子设备和存储介质 |
| CN113111835B (zh) * | 2021-04-23 | 2022-08-02 | 长沙理工大学 | 卫星遥感图像语义分割方法、装置、电子设备和存储介质 |
| CN113326847A (zh) * | 2021-06-04 | 2021-08-31 | 天津大学 | 一种基于全卷积神经网络的遥感图像语义分割方法及装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110119780A (zh) | 基于生成对抗网络的高光谱图像超分辨重建方法 | |
| CN108537742A (zh) | 一种基于生成对抗网络的遥感图像全色锐化方法 | |
| CN109241972A (zh) | 基于深度学习的图像语义分割方法 | |
| CN113780149A (zh) | 一种基于注意力机制的遥感图像建筑物目标高效提取方法 | |
| CN109087375B (zh) | 基于深度学习的图像空洞填充方法 | |
| CN109903373A (zh) | 一种基于多尺度残差网络的高质量人脸生成方法 | |
| CN114757864A (zh) | 一种基于多尺度特征解耦的多层级细粒度图像生成方法 | |
| CN106022355A (zh) | 基于3dcnn的高光谱图像空谱联合分类方法 | |
| CN110473267A (zh) | 基于注意力特征提取网络的社交网络图像描述生成方法 | |
| CN116664782B (zh) | 一种基于融合体素的神经辐射场三维重建方法 | |
| CN109948517A (zh) | 一种基于密集全卷积网络的高分辨率遥感图像语义分割方法 | |
| CN114943902A (zh) | 基于多尺度特征感知网络的城市植被无人机遥感分类方法 | |
| Yang et al. | An explainable spatial-frequency multi-scale transformer for remote sensing scene classification | |
| CN115841438A (zh) | 基于改进gan网络的红外图像与可见光图像融合方法 | |
| Zhao et al. | High resolution remote sensing bitemporal image change detection based on feature interaction and multi-task learning | |
| Jiang et al. | AGD-Linknet: a road semantic segmentation model for high resolution remote sensing images integrating attention mechanism, gated decoding block and dilated convolution | |
| CN117173022A (zh) | 基于多路径融合和注意力的遥感图像超分辨率重建方法 | |
| CN116863347A (zh) | 一种高效率和精度的遥感图像语义分割方法及应用 | |
| Jiao et al. | A Novel Data Augmentation Method to Enhance the Training Dataset for Road Extraction from Historical Maps | |
| CN115731138A (zh) | 一种基于Transformer与卷积神经网络的图像修复方法 | |
| CN115660979A (zh) | 一种基于注意力机制的双判别器图像修复方法 | |
| Gong et al. | Restoration algorithm of blurred UAV aerial image based on generative adversarial network | |
| CN114066744A (zh) | 一种基于风格约束的艺术图像修复方法及系统 | |
| Zheng et al. | Remote Sensing Geological Classification of Sea Islands and Reefs Based on Deeplabv3+ | |
| Ren et al. | Cultivated land segmentation of remote sensing image based on PSPNet of attention mechanism |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20190628 |