CN113221997A - 一种基于深度学习算法的高分影像油菜提取方法 - Google Patents
一种基于深度学习算法的高分影像油菜提取方法 Download PDFInfo
- Publication number
- CN113221997A CN113221997A CN202110491010.XA CN202110491010A CN113221997A CN 113221997 A CN113221997 A CN 113221997A CN 202110491010 A CN202110491010 A CN 202110491010A CN 113221997 A CN113221997 A CN 113221997A
- Authority
- CN
- China
- Prior art keywords
- image
- model
- rape
- resolution
- height
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10032—Satellite or aerial image; Remote sensing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20092—Interactive image processing based on input by user
- G06T2207/20104—Interactive definition of region of interest [ROI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20112—Image segmentation details
- G06T2207/20132—Image cropping
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30181—Earth observation
- G06T2207/30188—Vegetation; Agriculture
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Computational Linguistics (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
本发明提供了一种基于深度学习算法的高分影像油菜提取方法,该模型融合了DRN和改进的U‑Net语义分割模型,包含Encoder和Decoder的两个核心模块,实现了高分二号影像空间特征和光谱特征的自主学习以及油菜像元级的自动化提取。模型以油菜开花期(2月底‑4月中旬)高分二号影像为数据源,通过标注的油菜样本进行训练和测试,并通过数据增强算法增加油菜样本和通过调整模型参数得到最优化的油菜提取模型。在进行模型应用时,提出数据输入裁剪策略和结果输出裁剪策略实现对任意大小输入影像的油菜提取。与传统基于像元和统计理论的分类分析法以及面向对象的分类算法相比,该方法充分利用了高分二号影像的空间和光谱特征,实现了用于油菜提取的语义特征的自主学习,提高了油菜提取的精度和模型泛化能力。
Description
技术领域
本发明属遥感影像处理的技术领域,更具体涉及一种基于深度学习算法的高分影像油菜提取方法。
背景技术
油菜是我国五大油料作物(包括油菜、大豆、花生、向日葵和芝麻)之首,是唯一的冬季油料作物,同时也是重要的食用油源和蛋白质饲料,及时有效的获取冬油菜空间分布信息对种植业结构调整、粮食安全、国民经济和社会发展具有重要意义。
中国油菜生产受地理环境和农户种植行为等的影响,表现为破碎化种植的特点,常规调查方法费时费力,很难满足大范围油菜空间分布的常态化监测需求;而中低空间分辨率的遥感影像又很难满足破碎化油菜提取的分辨率要求;高分二号卫星的成功发射,为农作物空间分布的快速精准监测和面积估算提供了基础的数据支撑,但是“同物异谱”和“异物同谱”现象的普遍存在,限制了传统基于像元和统计理论的分类分析法的提取精度,而面向对象的分类算法虽然能有效提高遥感影像分类精度,但是其利用的纹理和形状等空间特征有限,且具有明显的地域差异性,限制了单一模型的推广性和泛化能力。
发明内容
针对上述存在的问题,本发明提供了一种基于深度学习算法的高分影像油菜提取方法,方法精度高,泛化能力强。该方法的核心模块为基于深度学习的语义分割模型,模型以数据为基础,通过训练自学习不同区域油菜特征,以实现大范围油菜空间分布的常态化监测。
本发明解决上述技术问题的具体步骤为:
A、数据收集和预处理:
(1)高分二号影像获取:获取油菜花期(2月底-4月中旬)高分二号影像;
(2)高分二号影像数据预处理:将获取的高分二号影像依次进行辐射定标、正射校正、影像配准、大气校正和影像融合等预处理;
B、深度学习模型训练与测试:
(1)模型训练和测试样本库建设:在经过预处理后的高分二号影像进行油菜标注,并裁剪为600×600大小的油菜样本库,随机抽取样本库中3/4的样本数据作为训练样本,1/4的样本数据作为测试样本;
(2)深度学习模型搭建:基于Pytorch开源深度学习框架,利用Python 语言编程实现融合DRN和改进的U-Net的深度学习语义分割模型的搭建;
(3)深度学习模型训练:使用He权重初始值,Adam参数优化算法,并设置批量处理文件大小(Batch Size)、学习速率(Learning Rate)、遍历样本次数(Epoch)等超参数,通过将训练样本输入模型,进行模型的自主学习;
(4)深度学习模型测试:以F1-Score作为模型精度评定指标,若步骤(3) 训练得到的模型对于测试样本的平均F1-Score≥90%,则跳过步骤(5)并保存模型;若步骤(3)训练得到的模型对于测试样本的平均F1-Score<90%,则执行步骤(5);
(5)深度学习模型优化:模型优化通过增加训练样本和调整模型超参数两种方法实现:a.增加训练样本:收集更多高分二号影像,并重复步骤(1) -(5);若收集的高分二号影像难以满足模型应用精度要求,通过数据增强方式增加训练样本,并重复步骤(3)-(5);b.调整模型超参数:调整包括批量处理文件大小(Batch Size)、学习速率(LearningRate)、遍历样本次数(Epoch) 在内的超参数,并重复步骤(3)-(5)。
C、模型应用:
(1)收集应用地域3-4月高分二号影像;
(2)对收集的高分二号影像进行数据预处理;
(3)利用感兴趣区矢量图层裁剪步骤(2)得到的高分二号影像;
(4)将步骤(3)中得到的感兴趣区高分二号影像输入步骤B保存的深度学习模型得到油菜提取结果。
更优的,上述步骤A中收集的高分二号影像获取时段需要为油菜花期(2 月底-4月中旬),这一时段的油菜具有明显有别于其它地物的特征,是遥感油菜监测的最佳时段。
更优的,上述步骤A中对收集的高分二号影像数据进行预处理,消除由于地形、传感器成像过程、大气影响等的影响,并实现多光谱影像和全色影像的融合,得到的影像兼具多光谱和高空间分辨率特征,具体分以下步骤实现:
(1)辐射定标:将高分二号影像DN值转换为表观辐亮度(Lλ):
Lλ=Gainλ×DN+Offsetλ
式中,Gainλ和Offsetλ分别表示不同波长(λ)的增益和偏移,由中国资源卫星应用中心提供。
(2)正射校正:利用数字高程模型(Digital Elevation Model,DEM),采用ENVI软件自带的RPC(Rational Polynomial Coefficient)有理多项式系数正射校正模型,消除由地面高程引起的视差(坐标偏移)。
(3)影像配准:高分二号影像配准用于消除(a)高分二号影像多光谱和全色影像、(b)高分二号影像与基准影像,重叠区的相同地物可能不重叠问题。影像配准通过ENVI自带的图像自动配准工具(Image RegistrationWorkflow) 实现,包含连接点生成(Tie PointsGeneration)和重采样(Resampling)两个过程。特别的,通过自动连接点生成算法有时难以满足精度要求,需要剔除自动生成的连接点中误差较大的点并手动添加连接点以满足两幅影像重叠区有足够的连接点随机分布的要求。
(4)大气校正:利用FLASSH大气校正模型对高分二号多光谱影像进行大气校正,消除大气中水蒸汽、气溶胶等散射对地表反射率的影响,得到高分二号影像的地表反射率数据。
(5)影像融合:利用ENVI自带的Gram-Schmidt Pan Sharpening影像融合算法,以高分二号多光谱影像和全色影像作为输入,得到具有高空间分辨率的多光谱影像数据。
更优的,上述步骤B中建立的深度学习模型融合了DRN和改进的U-Net 语义分割模型,实现多层语义特征的自动化提取,并输出与输入影像大小一致的油菜提取结果。模型包含编码(Encoder)和解码(Decoder)两个模块:
(1)Encoder模块参照DRN-C-26模型实现多层语义特征的提取,该模型通过改进ResNet-18模型实现,以步长为2的卷积层代替原模型的Layer 0-4 中池化层(Pooling)达到下采样效果,同时剔除Layer 5和Layer 6中的池化层,并引入膨胀卷积(DilationConvolution)达到扩大感受野的效果;此外,为消除由于膨胀卷积可能产生的条纹特征误差,增加了Layer 7和Layer 8两层神经网络,每层神经网络包含两个Conv-BN-Relu组合运算,其中Conv (Convolution)表示卷积运算;BN(Batch Normalization)表示批归一化处理; Relu表示Relu激活函数。
(2)Decoder模块通过改进的U-Net模型实现,将Encoder模块Layer 8 输出的特征图谱进行一次上采样,并与Layer 3输出的特征图谱在通道 (Channel)维度融合,经过两次卷积后,再重复两次上采样-融合-卷积过程,最终通过2层64维3×3卷积,1层2维1×1卷积输出2个通道的预测结果 (分别表示油菜和背景的预测概率),并求通道维度最大值所在的维度实现油菜空间分布的提取(1表示油菜;0表示背景)。
更优的,上述步骤B中深度学习模型训练使用Adam参数优化算法。Adam 优化算法是随机梯度下降算法的扩展式,使用动量和自适应学习率加快模型收敛速度。
更优的,上述步骤B中模型使用F1-Score进行精度评定。F1-Score是精确率(P,Precision)和召回率(R,Recall)的调和平均数:
式中精确率P表示预测为油菜的像元中真正为油菜的像元所占比例;召回率R表示所有正确油菜像元中被正确预测为油菜的比例。P和R根据混淆矩阵计算得到:
式中TP(True Positive)为混淆矩阵中实际为油菜,预测为油菜的像元数; FP(False Positive)表示实际为背景,预测为油菜的像元数;FN(False Negative) 表示实际为油菜,预测为背景的像元数。
更优的,上述步骤B中在深度学习模型优化过程过,若收集的高分二号影像难以满足模型应用精度要求,采用数据增强方法增加训练样本,如翻转、旋转、相邻样本设置重叠区域等。
更优的,上述步骤C中在进行深度学习模型应用时,由于深度学习模型输入需要600×600大小,需根据感兴趣区高分二号影像的大小(Width×Height) 分别进行讨论:
(1)若Width<600,Height<600,将原高分二号影像用0填充为600× 600大小影像作为深度学习模型的输入,并将模型输出结果裁剪为Width× Height大小;
(2)若Width<600,Height=600,将原高分二号影像用0填充为600× 600大小影像作为深度学习模型的输入,并将模型输出结果裁剪为Width×600 大小;
(3)若Width<600,Height>600:
a.将原高分二号影像用0填充为600×(Height+40)大小影像;
b.使用数据输入裁剪策略(增加重叠区)将影像裁剪为600×600大小的小样本作为深度学习模型的输入;
c.将裁剪后的小样本输入模型,采用结果输出裁剪策略并将输出结果合并得到与感兴趣大小一致(Width×Height)的油菜提取结果。
(4)若Width=600,Height<600,将原高分二号影像用0填充为600× 600大小影像作为深度学习模型的输入,并将模型输出结果裁剪为600×Height 大小;
(5)若Width=600,Height=600,将高分二号影像直接输入模型得到油菜提取结果;
(6)若Width=600,Height>600,方法同(3);
(7)若Width>600,Height<600:
a.将原高分二号影像用0填充为(Width+40)×600大小影像;
b.使用数据输入裁剪策略(增加重叠区)将影像裁剪为600×600大小的小样本作为深度学习模型的输入;
c.将裁剪后的小样本输入模型,采用结果输出裁剪策略并将输出结果合并得到与感兴趣大小一致(Width×Height)的油菜提取结果。
(8)若Width>600,Height=600,方法同(7);
(9)若Width>600,Height>600:
a.将原高分二号影像用0填充为(Width+40)×(Height+40)大小影像;
b.使用数据输入裁剪策略(增加重叠区)将影像裁剪为600×600大小的小样本作为深度学习模型的输入;
c.将裁剪后的小样本输入模型,采用结果输出裁剪策略并将输出结果合并得到与感兴趣大小一致(Width×Height)的油菜提取结果。
更优的,上述步骤C中在进行深度学习模型应用时,对于任意输入影像,若其Width或Height小于600,采用填充方式满足模型输入要求;
更优的,上述步骤C中在进行深度学习模型应用时,对于任意输入影像,若其Width或Height大于600,则采用数据输入裁剪策略和结果输出裁剪策略满足模型输入要求并输出与原始输入影像大小一样的油菜提取结果,并消除了提取结果在相邻样本边界的突变性。下面以Width×Height大小的输入影像 (Width>600,Height>600)为例(记作image_ori),说明数据输入裁剪策略和结果输出裁剪策略:
(1)数据输入裁剪策略:裁剪后相邻小样本之间采用重叠40行或列策略,具体步骤为:
a.首先将输入影像四周同时增加20行或列,并用0填充,则影像大小变为(Width+40)×(Height+40),得到的影像记作image_expand;
b.计算决定裁剪后小样本个数及最后一行及最后一列小样本采样范围的四个重要参数:
m_rem=Width\560
n_rem=Height\560
c.根据m、n、m_rem和n_rem的值确定每个小样本的采样范围:
①确定第i列样本(i=1,2,3,……,m)在image_expand中列的采样范围(range_x_min,range_x_max):
若i=1,2,3,……,m-1,则range_x_min=600×(i-1)+1, range_x_max=600×(i-1)+600;
若i=m,则range_x_min=Width+40-599,range_x_max=Width+40。
②确定第j行样本(j=1,2,3,……,n)在image_expand中行的采样范围(range_y_min,range_y_max):
若j=1,2,3,……,n-1,则range_y_min=600×(j-1)+1, range_y_max=600×(j-1)+600;
若j=n,则range_y_min=Height+40-599,range_y_max=Height+40。
(2)结果输出裁剪策略:根据m、n、m_rem和n_rem的值确定模型对每个小样本输出结果的采样范围:
①确定模型对第i列小样本(i=1,2,3,……,m)输出结果的采样范围 (out_x_min,out_x_max):
若i=1,2,3,……,m-1,则out_x_min=21,out_x_max=580;
若i=m且m_rem=0,则out_x_min=21,out_x_max=580;
若i=m且m_rem≠0,则out_x_min=580-m_rem+1,out_x_max=580。
②确定模型对第j行小样本(j=1,2,3,……,n)输出结果的采样范围 (out_y_min,out_y_max):
若j=1,2,3,……,n-1,则out_y_min=21,out_y_max=580;
若j=m且n_rem=0,则out_y_min=21,out_y_max=580;
若j=m且n_rem≠0,则out_y_min=580-n_rem+1,out_y_max=580。
本发明的有益效果是:
本发明提供了一种基于深度学习算法的高分影像油菜提取方法,该模型融合了DRN和改进的U-Net语义分割模型,以CNN为基础的语义分割模型实现了影像空间特征和光谱特征的自主学习,包含了Encoder和Decoder的两个核心模块的深度学习模型实现了油菜像元级的自动化提取。模型以油菜开花期 (2月底-4月中旬)高分二号影像为数据源,通过标注的油菜样本进行训练和测试,并通过数据增强算法增加油菜样本和通过调整超参数得到最优化的油菜提取模型。在进行模型应用时,提出数据输入裁剪策略和结果输出裁剪策略实现对任意大小输入影像的油菜提取。与传统基于像元和统计理论的分类分析法以及面向对象的分类算法相比,该方法充分利用了高分二号影像的空间和光谱特征,实现了利于油菜提取的语义特征的自主学习,提高了油菜提取的精度和模型泛化能力。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案,下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍。
图1为本发明整体技术流程图;
图2为本发明中深度学习模型图;
图3为本发明中的深度学习模型应用时采用的数据输入裁剪策略和结果输出裁剪策略。
具体实施方式
下面将结合附图对本发明技术方案的实施例进行详细的描述。以下实施例仅用于更加清楚地说明本发明的技术方案,因此只作为示例,而不能以此来限制本发明的保护范围。
本案的实施如下:
第一步:数据收集和预处理:
(1)高分二号影像获取:获取油菜花期(2月底-4月中旬)高分二号影像;
(2)高分二号影像数据预处理:将获取的高分二号影像依次进行辐射定标、正射校正、影像配准、大气校正和影像融合等预处理,具体步骤为:
a.辐射定标:将高分二号影像DN值转换为表观辐亮度(Lλ):
Lλ=Gainλ×DN+Offsetλ
式中,Gainλ和Offsetλ分别表示不同波长(λ)的增益和偏移,由中国资源卫星应用中心提供。
b.正射校正:利用数字高程模型(Digital Elevation Model,DEM),采用 ENVI软件自带的RPC(Rational Polynomial Coefficient)有理多项式系数正射校正模型,消除由地面高程引起的视差(坐标偏移)。
c.影像配准:高分二号影像配准用于消除(a)高分二号影像多光谱和全色影像、(b)高分二号影像与基准影像,重叠区的相同地物可能不重叠问题。影像配准通过ENVI自带的图像自动配准工具(Image Registration Workflow)实现,包含连接点生成(Tie PointsGeneration)和重采样(Resampling)两个过程。特别的,通过自动连接点生成算法有时难以满足精度要求,需要剔除自动生成的连接点中误差较大的点并手动添加连接点以满足两幅影像重叠区有足够的连接点随机分布的要求。
d.大气校正:利用FLASSH大气校正模型对高分二号多光谱影像进行大气校正,消除大气中水蒸汽、气溶胶等散射对地表反射率的影响,得到高分二号影像的地表反射率数据。
e.影像融合:利用ENVI自带的Gram-Schmidt Pan Sharpening影像融合算法,以高分二号多光谱影像和全色影像作为输入,得到具有高空间分辨率的多光谱影像数据。
第二步:深度学习模型训练与测试:
(1)模型训练和测试样本库建设:在经过预处理后的高分二号影像进行油菜标注,并裁剪为600×600大小的油菜样本库,随机抽取样本库中3/4的样本数据作为训练样本,1/4的样本数据作为测试样本;
(2)深度学习模型搭建:基于Pytorch开源深度学习框架,利用Python 语言编程实现融合DRN和改进的U-Net的深度学习语义分割模型的搭建,模型包含编码(Encoder)和解码(Decoder)两个模块:
a.Encoder模块参照DRN-C-26模型实现多层语义特征的提取,该模型通过改进ResNet-18模型实现,以步长为2的卷积层代替原模型的Layer 0-4中池化层(Pooling)达到下采样效果,同时剔除Layer 5和Layer 6中的池化层,并引入膨胀卷积(DilationConvolution)达到扩大感受野的效果;此外,为消除由于膨胀卷积可能产生的条纹特征误差,增加了Layer 7和Layer 8两层神经网络,每层神经网络包含两个Conv-BN-Relu组合运算,其中Conv (Convolution)表示卷积运算;BN(Batch Normalization)表示批归一化处理; Relu表示Relu激活函数。
b.Decoder模块通过改进的U-Net模型实现,将Encoder模块Layer 8输出的特征图谱进行一次上采样,并与Layer 3输出的特征图谱在通道(Channel) 维度融合,经过两次卷积后,再重复两次上采样-融合-卷积过程,最终通过2 层64维3×3卷积,1层2维1×1卷积输出2个通道的预测结果(分别表示油菜和背景的预测概率),并求通道维度最大值所在的维度实现油菜空间分布的提取(1表示油菜;0表示背景)。
(3)深度学习模型训练:使用He权重初始值,Adam参数优化算法,并设置批量处理文件大小(Batch Size)、学习速率(Learning Rate)、遍历样本次数(Epoch)等超参数,通过将训练样本输入模型,进行模型的自主学习;
(4)深度学习模型测试:以F1-Score作为模型精度评定指标,若步骤(3) 训练得到的模型对于测试样本的平均F1-Score≥90%,则跳过步骤(5)并保存模型;若步骤(3)训练得到的模型对于测试样本的平均F1-Score<90%,则执行步骤(5)。F1-Score是精确率(P,Precision)和召回率(R,Recall)的调和平均数:
式中精确率P表示预测为油菜的像元中真正为油菜的像元所占比例;召回率R表示所有正确油菜像元中被正确预测为油菜的比例。P和R根据混淆矩阵计算得到:
式中TP为混淆矩阵中实际为油菜,预测为油菜的像元数;FP为实际为背景,预测为油菜的像元数;FN为实际为油菜,预测为背景的像元数。
(5)深度学习模型优化:模型优化通过增加训练样本和调整模型超参数两种方法实现:a.增加训练样本:收集更多高分二号影像,并重复步骤(1) -(5);若收集的高分二号影像难以满足模型应用精度要求,通过数据增强方式(如翻转、旋转、相邻样本设置重叠区域等)增加训练样本,并重复步骤(3) -(5);b.调整模型超参数:调整包括批量处理文件大小(Batch Size)、学习速率(Learning Rate)、遍历样本次数(Epoch)在内的超参数,并重复步骤(3) -(5)。
第三步:模型应用:
(1)收集应用地域3-4月高分二号影像;
(2)对收集的高分二号影像进行数据预处理;
(3)利用感兴趣区矢量图层裁剪步骤(2)得到的高分二号影像;
(4)将步骤(3)中得到的感兴趣区高分二号影像输入步骤B保存的深度学习模型得到油菜提取结果。由于深度学习模型输入需要600×600大小,需根据感兴趣区高分二号影像的大小(Width×Height)分别进行讨论:
a.若Width<600,Height<600,将原高分二号影像用0填充为600×600 大小影像作为深度学习模型的输入,并将模型输出结果裁剪为Width×Height 大小;
b.若Width<600,Height=600,将原高分二号影像用0填充为600×600 大小影像作为深度学习模型的输入,并将模型输出结果裁剪为Width×600大小;
c.若Width<600,Height>600:
①将原高分二号影像用0填充为600×(Height+40)大小影像;
②使用数据输入裁剪策略(增加重叠区)将影像裁剪为600×600大小的小样本作为深度学习模型的输入;
③将裁剪后的小样本输入模型,采用结果输出裁剪策略并将输出结果合并得到与感兴趣大小一致(Width×Height)的油菜提取结果。
d.若Width=600,Height<600,将原高分二号影像用0填充为600×600 大小影像作为深度学习模型的输入,并将模型输出结果裁剪为600×Height大小;
e.若Width=600,Height=600,将高分二号影像直接输入模型得到油菜提取结果;
f.若Width=600,Height>600,方法同c.;
g.若Width>600,Height<600:
①将原高分二号影像用0填充为(Width+40)×600大小影像;
②使用数据输入裁剪策略(增加重叠区)将影像裁剪为600×600大小的小样本作为深度学习模型的输入;
③将裁剪后的小样本输入模型,采用结果输出裁剪策略并将输出结果合并得到与感兴趣大小一致(Width×Height)的油菜提取结果。
h.若Width>600,Height=600,方法同g.;
i.若Width>600,Height>600:
①.将原高分二号影像用0填充为(Width+40)×(Height+40)大小影像;
②.使用数据输入裁剪策略(增加重叠区)将影像裁剪为600×600大小的小样本作为深度学习模型的输入;
③.将裁剪后的小样本输入模型,采用结果输出裁剪策略并将输出结果合并得到与感兴趣大小一致(Width×Height)的油菜提取结果。
上述讨论中,对于Width×Height大小的影像(Width或Height大于600),采用数据输入裁剪策略和结果输出裁剪策略满足模型输入要求并输出与原始输入影像大小一样的油菜提取结果,并消除了提取结果在相邻样本边界的突变性。下面以Width×Height大小的输入影像(Width>600,Height>600)为例(记作image_ori),说明数据输入裁剪策略和结果输出裁剪策略:
·数据输入裁剪策略:裁剪后相邻小样本之间采用重叠40行或列策略,具体步骤为:
a.首先将输入影像四周同时增加20行或列,并用0填充,则影像大小变为(Width+40)×(Height+40),得到的影像记作image_expand;
b.计算决定裁剪后小样本个数及最后一行及最后一列小样本采样范围的四个重要参数:
m_rem=Width\560
n_rem=Height\560
c.根据m、n、m_rem和n_rem的值确定每个小样本的采样范围:
①确定第i列样本(i=1,2,3,……,m)在image_expand中列的采样范围(range_x_min,range_x_max):
若i=1,2,3,……,m-1,则range_x_min=600×(i-1)+1, range_x_max=600×(i-1)+600;
若i=m,则range_x_min=Width+40-599,range_x_max=Width+40。
②确定第j行样本(j=1,2,3,……,n)在image_expand中行的采样范围(range_y_min,range_y_max):
若j=1,2,3,……,n-1,则range_y_min=600×(j-1)+1, range_y_max=600×(j-1)+600;
若j=n,则range_y_min=Height+40-599,range_y_max=Height+40。
·结果输出裁剪策略:根据m、n、m_rem和n_rem的值确定模型对每个小样本输出结果的采样范围:
①确定模型对第i列小样本(i=1,2,3,……,m)输出结果的采样范围 (out_x_min,out_x_max):
若i=1,2,3,……,m-1,则out_x_min=21,out_x_max=580;
若i=m且m_rem=0,则out_x_min=21,out_x_max=580;
若i=m且m_rem≠0,则out_x_min=580-m_rem+1,out_x_max=580。
②确定模型对第j行小样本(j=1,2,3,……,n)输出结果的采样范围(out_y_min,out_y_max):
若j=1,2,3,……,n-1,则out_y_min=21,out_y_max=580;
若j=m且n_rem=0,则out_y_min=21,out_y_max=580;
若j=m且n_rem≠0,则out_y_min=580-n_rem+1,out_y_max=580。
参考文献
1.Fisher Yu,Vladlen Koltun,Thomas Funkhouser.Dilated residualnetworks. IEEE Conference on Computer Vision and Pattern Recognition,2017.
2.Olaf Ronneberger,Philipp Fischer,Thomas Brox.U-net:Convolutionalnetworks for biomedical image segmentation.International Conference onMedical Image Computing and Computer Assisted Intervention,2015.
Claims (11)
1.一种基于深度学习算法的高分影像油菜提取方法,以语义分割模型为核心,融合DRN和改进的U-Net模型,包含编码(Encoder)和解码(Decoder)两个模块,其特征在于,包括以下步骤:
A、数据收集和预处理:
(1)高分二号影像获取:获取油菜花期(2月底-4月中旬)高分二号影像;
(2)高分二号影像数据预处理:将获取的高分二号影像依次进行辐射定标、正射校正、影像配准、大气校正和影像融合等预处理;
B、深度学习模型训练与测试:
(1)模型训练和测试样本库建设:在经过预处理后的高分二号影像进行油菜标注,并裁剪为600×600大小的油菜样本库,随机抽取样本库中3/4的样本数据作为训练样本,1/4的样本数据作为测试样本;
(2)深度学习模型搭建:基于Pytorch开源深度学习框架,利用Python语言编程实现融合DRN和改进的U-Net的深度学习语义分割模型的搭建;
(3)深度学习模型训练:使用He权重初始值,Adam参数优化算法,并设置批量处理文件大小(Batch Size)、学习速率(Learning Rate)、遍历样本次数(Epoch)等超参数,通过将训练样本输入模型,进行模型的自主学习;
(4)深度学习模型测试:以F1-Score作为模型精度评定指标,若步骤(3)训练得到的模型对于测试样本的平均F1-Score≥90%,则跳过步骤(5)并保存模型;若步骤(3)训练得到的模型对于测试样本的平均F1-Score<90%,则执行步骤(5);
(5)深度学习模型优化:模型优化通过增加训练样本和调整模型超参数两种方法实现:a.增加训练样本:收集更多高分二号影像,并重复步骤(1)-(5);若收集的高分二号影像难以满足模型应用精度要求,通过数据增强方式增加训练样本,并重复步骤(3)-(5);b.调整模型超参数:调整包括批量处理文件大小(Batch Size)、学习速率(Learning Rate)、遍历样本次数(Epoch)在内的超参数,并重复步骤(3)-(5)。
C、模型应用:
(1)收集应用地域3-4月高分二号影像;
(2)对收集的高分二号影像进行数据预处理;
(3)利用感兴趣区矢量图层裁剪步骤(2)得到的高分二号影像;
(4)将步骤(3)中得到的感兴趣区高分二号影像输入步骤B保存的深度学习模型得到油菜提取结果。
2.根据权利要求1所述的一种基于深度学习算法的高分影像油菜提取方法,其特征在于在上述步骤A中的高分二号影像获取时段为油菜花期(2月底-4月中旬),这一时段的油菜具有明显有别于其它地物的特征,是遥感油菜监测的最佳时段。
3.根据权利要求1所述的一种基于深度学习算法的高分影像油菜提取方法,其特征在于在上述步骤A中的高分二号影像数据预处理,消除了由于地形、传感器成像过程、大气影响等的影响,并实现多光谱影像和全色影像的融合,得到的影像兼具多光谱和高空间分辨率特征,具体分以下步骤实现:
(1)辐射定标:将高分二号影像DN值转换为表观辐亮度(Lλ):
Lλ=Gainλ×DN+Offsetλ
式中,Gainλ和Offsetλ分别表示不同波长(λ)的增益和偏移,由中国资源卫星应用中心提供。
(2)正射校正:利用数字高程模型(Digital Elevation Model,DEM),采用ENVI软件自带的RPC(Rational Polynomial Coefficient)有理多项式系数正射校正模型,消除由地面高程引起的视差(坐标偏移)。
(3)影像配准:高分二号影像配准用于消除(a)高分二号影像多光谱和全色影像、(b)高分二号影像与基准影像,重叠区的相同地物可能不重叠问题。影像配准通过ENVI自带的图像自动配准工具(Image Registration Workflow)实现,包含连接点生成(Tie PointsGeneration)和重采样(Resampling)两个过程。特别的,通过自动连接点生成算法有时难以满足精度要求,需要剔除自动生成的连接点中误差较大的点并手动添加连接点以满足两幅影像重叠区有足够的连接点随机分布的要求。
(4)大气校正:利用FLASSH大气校正模型对高分二号多光谱影像进行大气校正,消除大气中水蒸汽、气溶胶等散射对地表反射率的影响,得到高分二号影像的地表反射率数据。
(5)影像融合:利用ENVI自带的Gram-Schmidt Pan Sharpening影像融合算法,以高分二号多光谱影像和全色影像作为输入,得到具有高空间分辨率的多光谱影像数据。
4.根据权利要求1所述的一种基于深度学习算法的高分影像油菜提取方法,其特征在于在上述步骤B中的深度学习模型融合了DRN和改进的U-Net语义分割模型,实现多层语义特征的自动化提取并输出与输入影像大小一致的油菜提取结果。模型包含编码(Encoder)和解码(Decoder)两个模块:
(1)Encoder模块参照DRN-C-26模型实现多层语义特征的提取,该模型通过改进ResNet-18模型实现,以步长为2的卷积层代替原模型的Layer 0-4中池化层(Pooling)达到下采样效果,同时剔除Layer 5和Layer 6中的池化层,并引入膨胀卷积(DilationConvolution)达到扩大感受野的效果;此外,为消除由于膨胀卷积可能产生的条纹特征误差,增加了Layer 7和Layer 8两层神经网络,每层神经网络包含两个Conv-BN-Relu组合运算,其中Conv(Convolution)表示卷积运算;BN(Batch Normalization)表示批归一化处理;Relu表示Relu激活函数。
(2)Decoder模块通过改进的U-Net模型实现,将Encoder模块Layer 8输出的特征图谱进行一次上采样,并与Layer 3输出的特征图谱在通道(Channel)维度融合,经过两次卷积后,再重复两次上采样-融合-卷积过程,最终通过2层64维3×3卷积,1层2维1×1卷积输出2个通道的预测结果(分别表示油菜和背景的预测概率),并求通道维度最大值所在的维度实现油菜空间分布的提取(1表示油菜;0表示背景)。
6.根据权利要求1所述的一种基于深度学习算法的高分影像油菜提取方法,其特征在于在上述步骤B中深度学习模型训练使用Adam参数优化算法。Adam优化算法是随机梯度下降算法的扩展式,使用动量和自适应学习率加快模型收敛速度。
8.根据权利要求1所述的一种基于深度学习算法的高分影像油菜提取方法,其特征在于在上述步骤B中深度学习模型优化过程过,若收集的高分二号影像难以满足模型应用精度要求,采用数据增强方法增加训练样本,如翻转、旋转、相邻样本设置重叠区域等。
9.根据权利要求1所述的一种基于深度学习算法的高分影像油菜提取方法,其特征在于在上述步骤C中模型应用时,由于深度学习模型输入需要600×600大小,需根据感兴趣区高分二号影像的大小(Width×Height)分别进行讨论:
(1)若Width<600,Height<600,将原高分二号影像用0填充为600×600大小影像作为深度学习模型的输入,并将模型输出结果裁剪为Width×Height大小;
(2)若Width<600,Height=600,将原高分二号影像用0填充为600×600大小影像作为深度学习模型的输入,并将模型输出结果裁剪为Width×600大小;
(3)若Width<600,Height>600:
a.将原高分二号影像用0填充为600×(Height+40)大小影像;
b.使用数据输入裁剪策略(增加重叠区)将影像裁剪为600×600大小的小样本作为深度学习模型的输入;
c.将裁剪后的小样本输入模型,采用结果输出裁剪策略并将输出结果合并得到与感兴趣大小一致(Width×Height)的油菜提取结果。
(4)若Width=600,Height<600,将原高分二号影像用0填充为600×600大小影像作为深度学习模型的输入,并将模型输出结果裁剪为600×Height大小;
(5)若Width=600,Height=600,将高分二号影像直接输入模型得到油菜提取结果;
(6)若Width=600,Height>600,方法同(3);
(7)若Width>600,Height<600:
a.将原高分二号影像用0填充为(Width+40)×600大小影像;
b.使用数据输入裁剪策略(增加重叠区)将影像裁剪为600×600大小的小样本作为深度学习模型的输入;
c.将裁剪后的小样本输入模型,采用结果输出裁剪策略并将输出结果合并得到与感兴趣大小一致(Width×Height)的油菜提取结果。
(8)若Width>600,Height=600,方法同(7);
(9)若Width>600,Height>600:
a.将原高分二号影像用0填充为(Width+40)×(Height+40)大小影像;
b.使用数据输入裁剪策略(增加重叠区)将影像裁剪为600×600大小的小样本作为深度学习模型的输入;
c.将裁剪后的小样本输入模型,采用结果输出裁剪策略并将输出结果合并得到与感兴趣大小一致(Width×Height)的油菜提取结果。
10.根据权利要求9所述的一种基于深度学习算法的高分影像油菜提取方法,其特征在于对于任意输入影像,若其Width或Height小于600,采用填充方式满足模型输入要求。
11.根据权利要求9所述的一种基于深度学习算法的高分影像油菜提取方法,其特征在于对于任意输入影像,若其Width或Height大于600,则采用数据输入裁剪策略和结果输出裁剪策略满足模型输入要求并输出与原始输入影像大小一致的油菜提取结果,并消除了提取结果在相邻样本边界的突变性。下面以Width×Height大小的输入影像(Width>600,Height>600)为例(记作image_ori),说明数据输入裁剪策略和结果输出裁剪策略:
(1)数据输入裁剪策略:裁剪后相邻小样本之间采用重叠40行或列策略,具体步骤为:
a.首先将输入影像四周同时增加20行或列,并用0填充,则影像大小变为(Width+40)×(Height+40),得到的影像记作image_expand;
b.计算决定裁剪后小样本个数及每个小样本采样范围的四个重要参数:
m_rem=Width\560
n_rem=Height\560
c.根据m、n、m_rem和n_rem的值确定每个小样本的采样范围:
①确定第i列样本(i=1,2,3,……,m)在image_expand中列的采样范围(range_x_min,range_x_max):
若i=1,2,3,……,m-1,则range_x_min=600×(i-1)+1,range_x_max=600×(i-1)+600;
若i=m,则range_x_min=Width+40-599,range_x_max=Width+40。
②确定第j行样本(j=1,2,3,……,n)在image_expand中行的采样范围(range_y_min,range_y_max):
若j=1,2,3,……,n-1,则range_y_min=600×(j-1)+1,range_y_max=600×(j-1)+600;
若j=n,则range_y_min=Height+40-599,range_y_max=Height+40。
(2)结果输出裁剪策略:根据m、n、m_rem和n_rem的值确定模型对每个小样本输出结果的采样范围:
①确定模型对第i列小样本(i=1,2,3,……,m)输出结果的采样范围(out_x_min,out_x_max):
若i=1,2,3,……,m-1,则out_x_min=21,out_x_max=580;
若i=m且m_rem=0,则out_x_min=21,out_x_max=580;
若i=m且m_rem≠0,则out_x_min=580-m_rem+1,out_x_max=580。
②确定模型对第j行小样本(j=1,2,3,……,n)输出结果的采样范围(out_y_min,out_y_max):
若j=1,2,3,……,n-1,则out_y_min=21,out_y_max=580;
若j=m且n_rem=0,则out_y_min=21,out_y_max=580;
若j=m且n_rem≠0,则out_y_min=580-n_rem+1,out_y_max=580。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110491010.XA CN113221997A (zh) | 2021-05-06 | 2021-05-06 | 一种基于深度学习算法的高分影像油菜提取方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110491010.XA CN113221997A (zh) | 2021-05-06 | 2021-05-06 | 一种基于深度学习算法的高分影像油菜提取方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN113221997A true CN113221997A (zh) | 2021-08-06 |
Family
ID=77091321
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110491010.XA Pending CN113221997A (zh) | 2021-05-06 | 2021-05-06 | 一种基于深度学习算法的高分影像油菜提取方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113221997A (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113920441A (zh) * | 2021-08-30 | 2022-01-11 | 广东海洋大学 | 一种高精度的农田植被信息提取方法 |
CN115019186A (zh) * | 2022-08-08 | 2022-09-06 | 中科星图测控技术(合肥)有限公司 | 一种用于遥感变化检测的算法和系统 |
-
2021
- 2021-05-06 CN CN202110491010.XA patent/CN113221997A/zh active Pending
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113920441A (zh) * | 2021-08-30 | 2022-01-11 | 广东海洋大学 | 一种高精度的农田植被信息提取方法 |
WO2023029373A1 (zh) * | 2021-08-30 | 2023-03-09 | 广东海洋大学 | 一种高精度的农田植被信息提取方法 |
CN115019186A (zh) * | 2022-08-08 | 2022-09-06 | 中科星图测控技术(合肥)有限公司 | 一种用于遥感变化检测的算法和系统 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108961235B (zh) | 一种基于YOLOv3网络和粒子滤波算法的缺陷绝缘子识别方法 | |
CN111738165B (zh) | 一种从高分辨率无人机可见光遥感影像中提取单株植物冠层的方法 | |
CN113128134B (zh) | 一种矿区生态环境演变驱动因子权重量化分析方法 | |
WO2023000159A1 (zh) | 高分辨率遥感影像半监督分类方法、装置、设备及介质 | |
CN113221997A (zh) | 一种基于深度学习算法的高分影像油菜提取方法 | |
CN112464745B (zh) | 一种基于语义分割的地物识别与分类方法和装置 | |
CN115471437B (zh) | 一种基于卷积神经网络的影像融合方法以及遥感影像融合方法 | |
CN111178438A (zh) | 一种基于ResNet101的天气类型识别方法 | |
CN114841961A (zh) | 基于图像增强和改进YOLOv5的小麦赤霉病检测方法 | |
CN117197668A (zh) | 基于深度学习的作物倒伏级别的预测方法及系统 | |
CN116883650A (zh) | 一种基于注意力和局部拼接的图像级弱监督语义分割方法 | |
CN111242028A (zh) | 基于U-Net的遥感图像地物分割方法 | |
CN114120359A (zh) | 一种基于堆叠沙漏网络的群养猪体尺测量方法 | |
CN117392382A (zh) | 一种基于多尺度密集实例检测的单木果树分割方法与系统 | |
CN116758411A (zh) | 一种基于遥感图像逐像素处理的舰船小目标检测方法 | |
CN116563844A (zh) | 圣女果成熟度检测方法、装置、设备及存储介质 | |
CN116206210A (zh) | 一种基于NAS-Swin的遥感影像农业大棚提取方法 | |
CN112288694B (zh) | 基于掩膜区域卷积神经网络的变电设备缺陷识别的方法 | |
CN115170987A (zh) | 一种基于图像分割和配准融合对葡萄进行病害检测的方法 | |
CN114971041A (zh) | 一种基于残差网络的海冰面积预测方法及系统 | |
CN115049926A (zh) | 一种基于深度学习的小麦倒伏损失评估方法和装置 | |
Narayanan et al. | Understanding Cloud Structures from Satellite Images using Deep Learning | |
CN114842300B (zh) | 一种适应雨天环境的农作物病虫害检测方法 | |
CN117422677A (zh) | 一种机载端用电力线路图像缺陷检测方法、装置及系统 | |
CN117011721A (zh) | 一种可迁移的农田覆盖信息精准提取方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |