CN111489370B - 基于深度学习的遥感图像的分割方法 - Google Patents
基于深度学习的遥感图像的分割方法 Download PDFInfo
- Publication number
- CN111489370B CN111489370B CN202010233059.0A CN202010233059A CN111489370B CN 111489370 B CN111489370 B CN 111489370B CN 202010233059 A CN202010233059 A CN 202010233059A CN 111489370 B CN111489370 B CN 111489370B
- Authority
- CN
- China
- Prior art keywords
- remote sensing
- sensing image
- data
- window
- images
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 33
- 238000013135 deep learning Methods 0.000 title claims abstract description 15
- 238000003709 image segmentation Methods 0.000 title claims abstract description 12
- 238000012360 testing method Methods 0.000 claims abstract description 38
- 238000012549 training Methods 0.000 claims abstract description 35
- 230000011218 segmentation Effects 0.000 claims abstract description 29
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 12
- 238000013526 transfer learning Methods 0.000 claims abstract description 9
- 238000012545 processing Methods 0.000 claims abstract description 4
- 230000003287 optical effect Effects 0.000 claims description 19
- 239000003086 colorant Substances 0.000 claims description 10
- 238000012795 verification Methods 0.000 claims description 9
- 238000004040 coloring Methods 0.000 claims description 5
- 238000012805 post-processing Methods 0.000 claims description 5
- 230000006870 function Effects 0.000 claims description 4
- 230000000717 retained effect Effects 0.000 claims description 4
- 238000002790 cross-validation Methods 0.000 claims description 3
- 238000011176 pooling Methods 0.000 claims description 3
- 238000003384 imaging method Methods 0.000 claims description 2
- 238000010845 search algorithm Methods 0.000 claims 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 238000010276 construction Methods 0.000 description 4
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 230000004927 fusion Effects 0.000 description 2
- 238000002372 labelling Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 244000025254 Cannabis sativa Species 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 230000002950 deficient Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 238000010200 validation analysis Methods 0.000 description 1
- 239000003643 water by type Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/136—Segmentation; Edge detection involving thresholding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/40—Filling a planar surface by adding surface attributes, e.g. colour or texture
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10032—Satellite or aerial image; Remote sensing
- G06T2207/10044—Radar image
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明属于图像处理技术领域，具体为基于深度学习的遥感图像的分割方法。本发明方法包括：选取包含若干种地物类别的遥感图像，制作图像分割标签；将大图像裁剪成若干较小的遥感图像，统计每张较小图像中各种类别比例，定义选取规则，保留部分图像，并将其定义为特定类别；利用迁移学习调取大型公开数据集的训练参数，用卷积神经网络训练制作好的分类数据集，训练得到模型参数；对测试图像的所有像素点周围选取多种测试窗口，基于多尺度对像素点进行类别分类；最后去除独立的类别噪声点，将测试结果优化。本发明实用性强，可以将大规模遥感图像快速生成多类别的分割图像，为国土资源规划部门提供参考，减少了人工操作的成本。
Description
发明领域
本发明属于图像处理技术领域，具体涉及一种针对大场景遥感图像的分割方法。
技术背景
改革开放42年来，我国城镇化进程大大加速，快速的发展给国土资源规划以及城市建设相关部门带来极大的挑战，如果能够从卫星遥感数据中获取地物地貌分类图，可以给相关部门带来参考，帮助他们更好的制定相关政策，随着卫星遥感技术的高速发展，我们可以获取海量的来自不同传感器、不同时段、不同地域拍摄的海量的大规模大场景遥感图像数据。然而，对卫星遥感图像的标注需要较高的人力和时间成本。我们亟需一种自动化标注方法。
深度学习时近十年来人工智能领域取得的重大突破之一，它在语音识别、自然语言处理、计算机视觉、图像与视频分析、多媒体等领域都取得了巨大的成功，深度学习与传统模式识别方式的最大不同在于它是从大数据中自动学习特征，而非采用手动设计的特征，因而模型的表达能力更强，更具效率。
目前的图像分割方法主要是基于深度学习模型，但是在遥感图像上，由于遥感图像场景复杂、来源多样，现有模型在遥感图像分割上的泛化能力都有所欠缺。本发明将迁移学习、基于像素块的深度学习分类网络、以及多尺度特征的融合结合起来，形成一个表达能力、泛化能力更强的模型结构，综合性能比目前研究成果有了很大的提升。同时在识别速度方面也有提高。
发明内容
本发明的目的在于提供一种针对大规模大场景遥感图像的分割方法。
本发明提出的针对遥感图像的分割方法，具体步骤如下：
(1)对多种传感器多时段多地域得到的遥感图像制作分割标签；
(2)裁剪遥感图像及其分割标签，舍弃部分数据，将保留数据修改为分类数据；
(3)基于迁移学习获取大规模开源数据集的训练参数，利用卷积神经网络训练数据；
(4)调取训练好的参数，利用多尺度测试大规模遥感图像，在大范围遥感图像中得出合适尺度参数；
(5)测试任意遥感图像，后期处理，剔除噪声并对测试结果上色，得到输出结果。
步骤(1)中，所述的对遥感图像制作分割标签，是利用不同卫星传感器、不同时间、不同地区拍摄的图像，获取遥感图像分割数据集，定义每一张大规模遥感图像中多类地物类别，并对其进行精细到像素点的手动分割从而制作分割真值。
步骤(2)中，所述的裁剪遥感图像及其分割标签，舍弃部分数据，将保留数据修改为分类数据，是选取一定的裁剪窗口大小，将大规模遥感图像裁剪为小窗口数据，统计每张小窗口数据的类别比例信息，舍弃最高占比小的小窗口数据，将最高占比大的小窗口数据变为分类数据，并按照比例选取不同类别的数据，并划分训练集和验证集。
步骤(3)中，所述的基于迁移学习获取大规模开源数据的训练参数，利用卷积神经网络训练数据，是调取大规模开源数据的训练参数，去除最后的全连接层，以此给模型训练初始化参数，减少训练时间和训练成本。然后修改网络的输出层，多次调整训练超参数设置，调整训练子模块的结构，来获得一个具有更高效率和准确率的卷积神经网络模型。
步骤(4)中，所述的调取训练好的参数，通过调整测试窗口的尺度选择，利用多尺度测试大规模遥感图像并在大范围遥感图像中得到合适尺度参数，是将训练好的参数带入到不同尺度大小的图像上，将不同尺度得到的测试概率融合起来，以不同的视野观测像素点的类别，以获得遥感图像测试的最佳视野。
步骤(5)中，所述的测试任意遥感图像，后期处理，剔除噪声并对测试结果上色，得到输出结果，即为得到所有像素点的预测类别后，去除“孤岛现象”，即若干被其他类别像素包围的较小的像素块，来消除测试过程中的误处理现象(参见图4)，然后将不同的类别按照不同的颜色上色，以得到一张大规模大场景遥感图像的分割图。
步骤(1)中所述对多种传感器多时段多地域得到的遥感图像制作分割标签，具体步骤为：
(1a)选取开源的来自不同传感器图像的，不同季节(时段)，不同地域(城市)的遥感图像，将图像打上特有的传感器、拍摄时间、拍摄地点编号；
(1b)对于雷达成像(比如合成孔径雷达)，进行地理信息编码；
(1c)利用matlab打开合成孔径雷达的SAR遥感图像和对应的光学遥感图像，手动在两副对应图像上标注若干对应点，将两幅图配准到一起；
(1d)利用matlab分割标注工具，将不同类别的区域按照像素级别分为不同的颜色。
步骤(2)中所述裁剪遥感图像及其分割标签，舍弃部分数据，将保留数据修改为分类数据，具体步骤为：
(2a)将步骤(1d)中得到的遥感图像真值和对应的光学/合成孔径雷达遥感图像对应起来；
(2b)将得到的遥感图像真值从给定范围(64-128)之间选取一定窗口大小，可以选择有重叠滑动/无重叠滑动，并自行选择滑动步长，裁剪成若干小窗口的真值数据；
(2c)统计(2b)中每一张小窗口真值数据中所有颜色的比例，得到占比最高的那一类的类别和对应占比；
(2d)设定一个阈值，可从(0.7-0.99)中选取，如果最高类别占比大于这一个阈值，则根据真值窗口的位置定位到对应遥感图像上，裁剪对应的小窗口遥感图像，并认为该窗口图像完全属于最高占比类别，并将该窗口图像保存在该最高类别的文件夹下。若最高类别占比小于这一阈值，则舍弃。如图2所示；
(2e)对(2d)得到的结果，如果存在明显的类别不均衡，则通过参照窗口图像最少的类别，进行初步的类别均衡操作，即将数量极多的类别的图像做一些舍弃，不过可适当将数量最少的那一类外的其他类别多取一些样本数据，重复(2b)、(2c)、(2d)操作。
步骤(3)中所述基于迁移学习获取大规模开源数据集的训练参数，利用卷积神经网络训练数据，具体步骤如下：
(3a)对(2e)得到的结果，按照8:2的比例，划分训练集、验证集；
(3b)选取若干基于CNN(卷积神经网络)的分类网路，调取网络在ImageNet公开数据集上的模型参数；
(3c)将(3b)选取的网络的最后一层去除，修改为全局池化模块和1*1的卷积核结构，利用softmax计算出分类概率，取最大概率对应类别为结论类别，利用随机梯度下降策略和交叉熵损失函数更新模型参数；
设一共有n个用数值表示的分类Sk k∈(0,n]，其中n表示分类的个数，则softmax结果为：
i表示k中的某个分类，gi表示该分类的值；
(3d)计算(3c)操作的验证集上的准确率以及模型训练速度；
(3e)调整网络超参数，并使用交叉验证，重复(3a)、(3b)、(3c)、(3d)操作，选取一个最佳的网络模型及相应超参数并记录，并保存对应模型参数。
步骤(4)中所述调取训练好的参数，利用多尺度测试大规模遥感图像，具体步骤如下：
(4a)选取没有训练过且没有参与验证的有真值的遥感图像大图；
(4b)从[1-16]范围内选取滑动步长，滑动步长大即为将像素块看作像素点；
(4c)选取多个(一般为2-5个，图3中为3种)窗口大小，要分类的像素点或像素块位于窗口中央；
(4d)按照3种窗口大小，采用(4c)选取的滑动步长分别计算中心像素点(像素块)属于多种类别的概率，加权相加，计算最高分类概率并记录所属类别即为该中心像素点(像素块)所属类别，滑动完整幅遥感大图。
最终分类概率如下：
j表示第j个测试窗口，wj表示第j个测试窗口的结果所占比重。
(4e)对于(4a)中的图像，将(4d)得到的结果与真值做对比，计算出准确率OA。
N是像素点总数，r是像素类别数量，xii是划分正确的像素。
(4f)选取不同于(4c)的窗口大小，重复(4d)、(4e)，选择在多源遥感图像上OA系数表现较好的多尺度窗口大小并记录。
步骤(5)中所述测试任意遥感图像，后期处理，剔除噪声并对测试结果上色，得到输出结果，具体步骤如下：
(5a)利用步骤(3e)得到的模型参数，以及步骤(4f)得到的多尺度的窗口大小来测试任意遥感图像；
(5b)利用广度优先搜索(BFS)算法，将被其他类别包围的孤立类别像素点或者较小的(一般为1-4)个像素点修改为周围环绕的最多像素类别，以去除孤立噪声点；
(5c)对(5b)得到的结果的不同类别赋上不同的颜色，即为最终分割结果。
本发明是首个将迁移学习、基于像素块的深度学习分类、以及多尺度特征融合结合起来的并应用在大规模遥感图像上，可以自动获取卫星遥感数据的地物分类即分割结果，为国土资源规划部门提供参考，减少了人工操作的成本；另外综合性能比目前研究成果有很大的提升，同时在识别速度方面也有提高。
附图说明
图1是本发明总示意图。
图2是本发明中取舍训练分类数据示意图。如果最高类别占比小，就舍弃，否则归为相应类别。
图3是本发明中多窗口测试示意图，以SAR遥感图像举例，三种颜色的方框即为对中心像素点选取3种窗口数据进入网络。
图4是本发明中去除孤岛现象示意图。将被其他颜色环绕的极小像素块或像素点更换。
图5-图8是本发明中测试结果示意图。其中：
图5为光学遥感图像。
图6为对应图5的分割结果图：蓝色为水域、青色为林地、黄色为草地、红色为建筑、绿色为田地。
图7为SAR遥感图像。
图8为对应图7的分割结果图：红色为建筑、蓝色为水域、绿色为绿地。
图9是本发明中总流程图。按照箭头方向，五个红色虚线方框代表流程的五个步骤。
具体实现方式
本发明方法的具体流程参见图9所示。
(一)首先对多种传感器多时段多地域得到的遥感图像制作分割标签，具体步骤为：
步骤1:选取开源的来自不同传感器、不同时段、不同地域的遥感图像，将图像打上特有的传感器、拍摄时间、拍摄地点编号，如：
GF3_MYN_UFS_000086_E115.9_N29.1_20160815_L1A_DH_L10002010540
步骤2:利用PIE软件对遥感图像进行地理信息编码。
步骤3:利用matlab打开合成孔径雷达的SAR遥感图像和对应的光学遥感图像，手动在两幅对应图像上标注若干对应点，将两幅图配准到一起。
步骤4:利用matlab分割标注工具，将不同类别的区域按照像素级别分为不同的颜色，例如：水域_蓝色,草地_黄色,建筑_红色,林地_绿色,其他_黑色。
(二)然后裁剪遥感图像及其分割标签，舍弃部分数据，将保留数据修改为分类数据，具体步骤为：
步骤1:以64*64作为窗口大小，64为滑动步长，在光学遥感图像上滑动，裁剪小窗口数据。以128*128作为窗口大小，32作为滑动步长，在SAR遥感图像上滑动，裁剪小窗口数据。
步骤2:统计64*64的窗口中属于各个类别的像素占64*64的比例，统计128*128的窗口中属于各个类别的像素占128*128的比例。
步骤3:如果光学遥感图像小窗口中占比最高的像素占64*64的比例超过0.95，则认为这个小窗口都属于这一类别，将该窗口图像保存到相应类别文件夹下。如果SAR遥感图像小窗口中占比最高的像素占128*128的比例超过0.7，则认为这个小窗口都属于这个类别，将该窗口图像保存到相应类别文件夹下。
步骤4:根据步骤3得到的结果，对光学遥感图像，各类别存在明显的样本不均衡，因此按照样本数量最少的类别的5倍作为上限，减少样本数量过多的类别的图像。对于SAR遥感图像同理。
| 农田 | 建筑 | 水域 | 林地 | 草地 |
| 18887 | 15514 | 12448 | 19702 | 15510 |
表1:光学分类数据数量
| 水域 | 建筑 | 绿地 |
| 37636 | 11036 | 43319 |
表2:SAR分类数据数量
(三)随后基于迁移学习获取大规模开源数据集的训练参数，利用卷积神经网络训练数据，具体步骤为：
步骤1:根据上述得到的结果，分别将光学遥感数据和SAR遥感数据按照8:2的比例划分训练集验证集。
步骤2:使用keras深度学习架构，分别调取ResNet和DenseNet在ImageNet上训练得到的模型参数。
步骤3:将步骤2选取的网络的最后一层去除，修改为全局平均池化globalaverage pooling模块和1*1的卷积核结构，然后利用softmax计算出分类概率，损失函数采用交叉熵损失函数，利用随机梯度下降策略更新模型参数。并反复调整网络超参数。
步骤4:使用交叉验证，并记录上述采用方法的模型准确率和训练速度，择优选取DenseNet网络结构作为最终模型。其模型在光学数据集上准确率为98％，在SAR图像上准确率为85％。拟合epoch均为3个。记录保存训练出来的相应模型参数。
表3:训练超参数
(四)然后调取训练好的参数，利用多尺度测试大规模遥感图像，具体步骤如下：
步骤1:选取没有训练过且没有参与验证过的带有真值的类别分布较广的光学遥感图像和SAR遥感图像。
步骤2:选取4为滑动步长，分别选取3个窗口大小作为光学遥感图像的多尺度测试窗口和SAR遥感图像的多尺度测试窗口。将每个窗口通过最后softmax计算得到的概率按照1:1:1的权重相加，取最高概率对应类别作为4*4的小块的归属类别，统计正确/错误分类的像素比例，计算平均准确率OA。
步骤3:更换测试窗口大小，计算平均准确率OA，最后按照OA最大原则选定适用于光学图像的测试窗口大小为56、64、128，适用于SAR遥感图像的测试窗口大小为64、144、160选定的测试窗口大小即可作为此后所有光学图像/SAR遥感图像的测试窗口大小。选定尺度下光学数据集OA为0.958，SAR数据集OA为0.86。
(五)最后，对新获取的全新光学/SAR遥感图像进行分割，并去除噪点然后对分割结果上色，具体步骤为：
步骤1:按照前述所得模型参数和测试窗口大小对新的遥感图像进行分割。
步骤2:利用广度优先搜索策略，如果存在4个以内的某类像素点被其他某一类别包围，则可认为该4个以内的像素点属于类别孤岛，将对应类别修改为包围的那一类别。
步骤3:对上述结果按照对应颜色进行上色。
本发明中测试结果示意图见图5-图8。
图5为光学遥感图像。
图6为对应的分割结果图：蓝色为水域、青色为林地、黄色为草地、红色为建筑、绿色为田地。
图7为SAR遥感图像。
图8为对应的分割结果图：红色为建筑、蓝色为水域、绿色为绿地。
Claims (6)
1.一种基于深度学习的遥感图像的分割方法，其特征在于，具体步骤如下：
(1)对多种传感器多时段多地域得到的遥感图像制作分割标签，即利用不同卫星传感器、不同时间、不同地区拍摄的图像，获取遥感图像分割数据集，定义每一张大规模遥感图像中多类地物类别，并对其进行精细到像素点的手动分割从而制作图像真值；
(2)裁剪遥感图像及其分割标签，舍弃部分数据，将保留数据修改为分类数据；具体是选取一定的裁剪窗口大小，将大规模遥感图像裁剪为小窗口数据，统计每张小窗口数据的类别比例信息，舍弃最高占比小的小窗口数据，将最高占比大的小窗口数据变为分类数据，并按照比例选取不同类别的数据，并划分训练集和验证集；
(3)基于迁移学习获取大规模开源数据集的训练参数，利用卷积神经网络训练数据；包括调取大规模开源数据的训练参数，去除最后的全连接层，以此给模型训练初始化参数，减少训练时间和训练成本；然后修改网络的输出层，多次调整训练超参数设置，调整训练子模块的结构，来获得一个具有更高效率和准确率的卷积神经网络模型；
(4)调取训练好的参数，利用多尺度测试大规模遥感图像，在大范围遥感图像中得出合适尺度参数；包括将训练好的参数带入到不同尺度大小的图像上，将不同尺度得到的测试概率融合起来，以不同的视野观测像素点的类别，以获得遥感图像测试的最佳视野；
(5)测试任意遥感图像，后期处理，剔除噪声并对测试结果上色，得到输出结果；包括得到所有像素点的预测类别后，去除“孤岛现象”，即若干被其他类别像素包围的较小的像素块，来消除测试过程中的误处理现象，然后将不同的类别按照不同的颜色上色，以得到一张大规模大场景遥感图像的分割图。
2.根据权利要求1所述的基于深度学习的遥感图像的分割方法，其特征在于，步骤(1)中所述对多种传感器多时段多地域得到的遥感图像制作分割标签，具体步骤为：
(1a)选取开源的来自不同传感器图像的不同季节、不同地域的遥感图像，将图像打上特有的传感器、拍摄时间、拍摄地点编号；
(1b)对于合成孔径雷达成像，进行地理信息编码；
(1c)利用matlab打开合成孔径雷达的SAR遥感图像和对应的光学遥感图像，手动在两副对应图像上标注若干对应点，将两幅图配准到一起；
(1d)利用matlab分割标注工具，将不同类别的区域按照像素级别分为不同的颜色。
3.根据权利要求2所述的基于深度学习的遥感图像的分割方法，其特征在于，步骤(2)中所述裁剪遥感图像及其分割标签，舍弃部分数据，将保留数据修改为分类数据，具体步骤为：
(2a)将步骤(1d)中得到的遥感图像真值和对应的光学/合成孔径雷达遥感图像对应起来；
(2b)将得到的遥感图像真值从给定范围(64-128)之间选取一定窗口大小，选择有重叠滑动或无重叠滑动，并自行选择滑动步长，裁剪成若干小窗口的真值数据；
(2c)统计步骤(2b)中每一张小窗口真值数据中所有颜色的比例，得到占比最高的那一类的类别和对应占比；
(2d)设定一个阈值，如果最高类别占比大于这一个阈值，则根据真值窗口的位置定位到对应遥感图像上，裁剪对应的小窗口遥感图像，并认为该小窗口遥感图像完全属于最高占比类别，并将该小窗口遥感图像保存在该最高类别的文件夹下；若最高类别占比小于这一阈值，则舍弃；阈值选取范围为0.7-0.99；
(2e)对步骤(2d)得到的结果，如果存在明显的类别不均衡，则通过参照窗口图像最少的类别，进行初步的类别均衡操作，即将数量极多的类别的图像做一些舍弃；重复步骤(2b)、(2c)、(2d)操作。
4.根据权利要求3所述的基于深度学习的遥感图像的分割方法，其特征在于，步骤(3)中所述基于迁移学习获取大规模开源数据集的训练参数，利用卷积神经网络训练数据，具体步骤如下：
(3a)对步骤(2e)得到的结果，按照8:2的比例，划分训练集、验证集；
(3b)选取若干基于卷积神经网络的分类网路，调取网络在ImageNet公开数据集上的模型参数；
(3c)将步骤(3b)选取的网络的最后一层去除，修改为全局池化模块和1*1的卷积核结构，利用softmax计算出分类概率，取最大概率对应类别为结论类别，利用随机梯度下降策略和交叉熵损失函数更新模型参数；
设一共有n个用数值表示的分类Sk k∈(0,n]，其中n表示分类的个数，则softmax结果为：
i表示k中的某个分类，gi表示该分类的值；
(3d)计算步骤(3c)操作的验证集上的准确率以及模型训练速度；
(3e)调整网络超参数，并使用交叉验证，重复步骤(3a)、(3b)、(3c)、(3d)操作，选取一个最佳的网络模型及相应超参数并记录，并保存对应模型参数。
5.根据权利要求4所述的基于深度学习的遥感图像的分割方法，其特征在于，步骤(4)中所述调取训练好的参数，利用多尺度测试大规模遥感图像，具体步骤如下：
(4a)选取没有训练过且没有参与验证的有真值的遥感图像大图；
(4b)从[1-16]范围内选取滑动步长，滑动步长大即为将像素块看作像素点；
(4c)选取多个不同大小的窗口，使分类的像素点或像素块位于窗口中央；
(4d)按照窗口大小，采用步骤(4c)选取的滑动步长分别计算中心像素点或像素块属于多种类别的概率，加权相加，计算最高分类概率并记录所属类别即为该中心像素点或像素块所属类别，滑动完整幅遥感大图；
最终分类概率如下：
j表示第j个测试窗口，wj表示第j个测试窗口的结果所占比重；
(4e)对于步骤(4a)中的图像，将(4d)得到的结果与真值做对比，计算出准确率OA：
N是像素点总数，r是像素类别数量，xii是划分正确的像素；
(4f)选取不同于步骤(4c)中的窗口大小，重复步骤(4d)、(4e)，选择在多源遥感图像上OA系数表现较好的多尺度窗口大小并记录。
6.根据权利要求5所述的基于深度学习的遥感图像的分割方法，其特征在于，步骤(5)中所述测试任意遥感图像，后期处理，剔除噪声并对测试结果上色，得到输出结果，具体步骤如下：
(5a)利用步骤(3e)得到的模型参数，以及步骤(4f)得到的多尺度的窗口大小来测试任意遥感图像；
(5b)利用广度优先搜索算法，将被其他类别包围的孤立类别像素点或者较小的个像素点修改为周围环绕的最多像素类别，以去除孤立噪声点；
(5c)对步骤(5b)得到的结果的不同类别赋上不同的颜色，即为最终分割结果。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010233059.0A CN111489370B (zh) | 2020-03-29 | 2020-03-29 | 基于深度学习的遥感图像的分割方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010233059.0A CN111489370B (zh) | 2020-03-29 | 2020-03-29 | 基于深度学习的遥感图像的分割方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111489370A CN111489370A (zh) | 2020-08-04 |
| CN111489370B true CN111489370B (zh) | 2022-09-16 |
Family
ID=71791338
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010233059.0A Active CN111489370B (zh) | 2020-03-29 | 2020-03-29 | 基于深度学习的遥感图像的分割方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111489370B (zh) |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112419333B (zh) * | 2020-11-17 | 2022-04-29 | 武汉大学 | 一种遥感影像自适应特征选择分割方法及系统 |
| CN112766146B (zh) * | 2021-01-14 | 2022-11-29 | 黄河勘测规划设计研究院有限公司 | 一种基于多源数据的水库动态监控系统及方法 |
| CN112906648A (zh) * | 2021-03-24 | 2021-06-04 | 深圳前海微众银行股份有限公司 | 一种地块中对象的分类方法、装置及电子设备 |
| CN113838107B (zh) * | 2021-09-23 | 2023-12-22 | 哈尔滨工程大学 | 一种基于稠密连接的异源图像自动配准方法 |
| CN114140637B (zh) * | 2021-10-21 | 2023-09-12 | 阿里巴巴达摩院(杭州)科技有限公司 | 图像分类方法、存储介质和电子设备 |
| CN114898203B (zh) * | 2022-03-03 | 2023-10-17 | 中国铁路设计集团有限公司 | 一种基于深度学习的轨道交通周边危险源变化检测方法 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP0892286A1 (en) * | 1997-07-18 | 1999-01-20 | Deutsches Zentrum für Luft- und Raumfahrt e.V. | Method of adaptive and combined thresholding for daytime aerocosmic remote detection of hot targets on the earth surface |
| CN109141403A (zh) * | 2018-08-01 | 2019-01-04 | 上海航天控制技术研究所 | 一种星敏感器小窗口访问的图像处理系统及其方法 |
| CN110796105A (zh) * | 2019-11-04 | 2020-02-14 | 中国矿业大学 | 一种基于多模态数据融合的遥感图像语义分割方法 |
-
2020
- 2020-03-29 CN CN202010233059.0A patent/CN111489370B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP0892286A1 (en) * | 1997-07-18 | 1999-01-20 | Deutsches Zentrum für Luft- und Raumfahrt e.V. | Method of adaptive and combined thresholding for daytime aerocosmic remote detection of hot targets on the earth surface |
| CN109141403A (zh) * | 2018-08-01 | 2019-01-04 | 上海航天控制技术研究所 | 一种星敏感器小窗口访问的图像处理系统及其方法 |
| CN110796105A (zh) * | 2019-11-04 | 2020-02-14 | 中国矿业大学 | 一种基于多模态数据融合的遥感图像语义分割方法 |
Non-Patent Citations (2)
| Title |
|---|
| Multi-Scale Dense Networks for Hyperspectral Remote Sensing Image Classification;Chunju Zhang;《IEEE》;20191115;第9201-9222页 * |
| 基于深度迁移学习的无人机高分影像树种分类与制图;滕文秀;《激光与光电子学进展》;20190415;第1-10页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111489370A (zh) | 2020-08-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111489370B (zh) | 基于深度学习的遥感图像的分割方法 | |
| CN111310862B (zh) | 复杂环境下基于图像增强的深度神经网络车牌定位方法 | |
| CN109614985B (zh) | 一种基于密集连接特征金字塔网络的目标检测方法 | |
| CN109829399A (zh) | 一种基于深度学习的车载道路场景点云自动分类方法 | |
| CN112347970B (zh) | 一种基于图卷积神经网络的遥感影像地物识别方法 | |
| CN109214308A (zh) | 一种基于焦点损失函数的交通异常图片识别方法 | |
| CN111310756B (zh) | 一种基于深度学习的损伤玉米颗粒检测和分类方法 | |
| CN107832797B (zh) | 基于深度融合残差网的多光谱图像分类方法 | |
| CN108052966A (zh) | 基于卷积神经网络的遥感图像场景自动提取和分类方法 | |
| CN114092389A (zh) | 一种基于小样本学习的玻璃面板表面缺陷检测方法 | |
| CN109409240A (zh) | 一种结合随机游走的SegNet遥感图像语义分割方法 | |
| CN110807485B (zh) | 基于高分遥感影像二分类语义分割图融合成多分类语义图的方法 | |
| CN105955708A (zh) | 一种基于深度卷积神经网络的体育视频镜头分类方法 | |
| CN111191628B (zh) | 基于决策树与特征优化的遥感影像震害建筑物识别方法 | |
| CN106340016A (zh) | 一种基于细胞显微镜图像的dna定量分析方法 | |
| CN109741341A (zh) | 一种基于超像素和长短时记忆网络的图像分割方法 | |
| CN112950780B (zh) | 一种基于遥感影像的网络地图智能生成方法及系统 | |
| CN105718932A (zh) | 一种基于果蝇优化算法和光滑孪生支持向量机的彩色图像分类方法与系统 | |
| CN110222767A (zh) | 基于嵌套神经网络和栅格地图的三维点云分类方法 | |
| CN111627080A (zh) | 基于卷积神经与条件生成对抗性网络的灰度图像上色方法 | |
| Ayhan et al. | Analysis of image classification methods for remote sensing | |
| CN111291818B (zh) | 一种面向云掩膜的非均匀类别的样本均衡化方法 | |
| CN111738052A (zh) | 基于深度学习的多特征融合高光谱遥感地物分类方法 | |
| CN110288041A (zh) | 基于深度学习的中草药分类建模方法及系统 | |
| CN106570514A (zh) | 一种基于词袋模型和支持向量机的汽车轮毂分类方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |