CN114842339A - 一种联合GF-6和Sentinel-2的冬小麦种植区影像提取方法 - Google Patents
一种联合GF-6和Sentinel-2的冬小麦种植区影像提取方法 Download PDFInfo
- Publication number
- CN114842339A CN114842339A CN202210517294.XA CN202210517294A CN114842339A CN 114842339 A CN114842339 A CN 114842339A CN 202210517294 A CN202210517294 A CN 202210517294A CN 114842339 A CN114842339 A CN 114842339A
- Authority
- CN
- China
- Prior art keywords
- image
- winter wheat
- planting area
- remote sensing
- wheat planting
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 241000209140 Triticum Species 0.000 title claims abstract description 84
- 235000021307 Triticum Nutrition 0.000 title claims abstract description 84
- 238000000605 extraction Methods 0.000 title claims abstract description 58
- 238000000034 method Methods 0.000 claims abstract description 29
- 238000012549 training Methods 0.000 claims abstract description 23
- 238000011176 pooling Methods 0.000 claims description 14
- 230000006870 function Effects 0.000 claims description 9
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 claims description 6
- 238000010586 diagram Methods 0.000 claims description 6
- 238000007781 pre-processing Methods 0.000 claims description 6
- 238000005070 sampling Methods 0.000 claims description 6
- 230000007246 mechanism Effects 0.000 claims description 5
- 230000004913 activation Effects 0.000 claims description 3
- 238000004364 calculation method Methods 0.000 claims description 3
- 230000009467 reduction Effects 0.000 claims description 3
- 230000008569 process Effects 0.000 claims description 2
- 230000000694 effects Effects 0.000 abstract description 5
- 230000007547 defect Effects 0.000 abstract description 4
- 239000000284 extract Substances 0.000 abstract description 4
- 238000013461 design Methods 0.000 abstract description 2
- 238000013527 convolutional neural network Methods 0.000 description 14
- 238000011160 research Methods 0.000 description 6
- 230000011218 segmentation Effects 0.000 description 6
- 238000004422 calculation algorithm Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 238000011156 evaluation Methods 0.000 description 4
- 239000011159 matrix material Substances 0.000 description 4
- 238000012360 testing method Methods 0.000 description 4
- 238000012545 processing Methods 0.000 description 3
- 240000007594 Oryza sativa Species 0.000 description 2
- 235000007164 Oryza sativa Nutrition 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 238000007637 random forest analysis Methods 0.000 description 2
- 235000009566 rice Nutrition 0.000 description 2
- 238000004088 simulation Methods 0.000 description 2
- 238000001228 spectrum Methods 0.000 description 2
- 238000012706 support-vector machine Methods 0.000 description 2
- HPTJABJPZMULFH-UHFFFAOYSA-N 12-[(Cyclohexylcarbamoyl)amino]dodecanoic acid Chemical compound OC(=O)CCCCCCCCCCCNC(=O)NC1CCCCC1 HPTJABJPZMULFH-UHFFFAOYSA-N 0.000 description 1
- 206010070245 Foreign body Diseases 0.000 description 1
- 241000244355 Ligusticum Species 0.000 description 1
- 240000008042 Zea mays Species 0.000 description 1
- 235000005824 Zea mays ssp. parviglumis Nutrition 0.000 description 1
- 235000002017 Zea mays subsp mays Nutrition 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 230000000739 chaotic effect Effects 0.000 description 1
- 238000007635 classification algorithm Methods 0.000 description 1
- 239000000571 coke Substances 0.000 description 1
- 230000000052 comparative effect Effects 0.000 description 1
- 235000005822 corn Nutrition 0.000 description 1
- 238000003066 decision tree Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- PCHJSUWPFVWCPO-UHFFFAOYSA-N gold Chemical compound [Au] PCHJSUWPFVWCPO-UHFFFAOYSA-N 0.000 description 1
- 239000010931 gold Substances 0.000 description 1
- 229910052737 gold Inorganic materials 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 238000013508 migration Methods 0.000 description 1
- 230000005012 migration Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000035772 mutation Effects 0.000 description 1
- 238000000638 solvent extraction Methods 0.000 description 1
- 241000894007 species Species 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A40/00—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production
- Y02A40/10—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production in agriculture
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及一种联合GF‑6和Sentinel‑2的冬小麦种植区影像提取方法，与现有技术相比解决了冬小麦种植区遥感影像提取技术难以满足实际使用需要的缺陷。本发明包括以下步骤：遥感影像数据集的创建；构建冬小麦种植区影像提取网络；冬小麦种植区影像提取网络的训练；待提取遥感影像的获取；冬小麦种植区影像结果的提取。本发明能够更为准确的从遥感图像中提取出冬小麦种植区，通过针对作物空间分布信息提取任务与高分辨率遥感数据特点设计和改进了模型结构，在效率、速度、适用性和准确性方面取得较好效果。
Description
技术领域
本发明涉及遥感影像处理领域，具体来说是一种联合GF-6和Sentinel-2的冬小麦种植区影像提取方法。
背景技术
由于我国作物种植结构和耕种方式的影响，如作物种类的复杂性，地域间的差异性造成的“同物异谱”和“异物同谱”现象的存在，为作物识别及种植区提取带来了很多困难。传统的基于抽样和统计部门逐级上报农情的调查方法，存在耗时耗力且往往缺乏空间信息的缺点。卫星遥感技术具有宽覆盖、多波段、多时相及多级分辨率等特点，在获取作物种植区动态信息的同时，能够极大地提高工作效率，弥补传统农情监测的不足，是获取冬小麦空间分布数据的良好数据源。
随着遥感技术的发展，遥感影像逐渐成为提取农作物空间分布信息的主要数据源。逐像素分类技术是从遥感图像中获取农作物空间分布数据的主要手段，为了提高逐像素分类结果的精度，许多学者进行了大量的研究工作。
张佳华等(2013)利用MODIS–EVI时间序列数据和作物物候信息，使用EVI阈值模型提取了中国东北地区的玉米种植面积。葛广秀等(2014)以HJ-1A遥感影像为数据源，使用归一化植被指数NDVI密度分割方法提取了江苏省沭阳县的冬小麦面积。王利民等(2015)以GF-1卫星为主要数据源，使用分层决策树分类的方法对冬小麦进行提取。游炯等(2016)以高分一号遥感影像为数据源，利用SVM进行冬小麦信息提取。张莎等(2018)利用MODIS-EVI数据结合光谱突变法提取了黄淮海平原冬小麦面积。
以上研究均成功地提取了冬小麦等农作物的种植面积和空间分布数据，但主要使用传统的监督分类方法和非监督分类方法，仅能提取图像的颜色、形状、纹理等低层特征，不能提取更高层语义特征，应用于高空间分辨率影像进行特征提取时，所得特征的区分能力较差，往往导致最后分类结果不理想。
深度卷积神经网络在许多领域取得了巨大成功，并在许多应用中证明了其优异的性能。这一趋势也吸引了许多研究人员将深度卷积神经网络应用于遥感图像语义分割领域。
张猛等(2018)基于多时相Landsat 8数据，使用影像分块的方式训练卷积神经网络，从而实现水稻空间分布信息的提取。焦计晗等(2018)提出一种改进的AlexNet模型用于油菜种植面积提取。刘湘南等(2018)利用卷积神经网络提取水稻种植面积，并利用迁移学习策略对预先训练好的卷积神经网络模型进行微调，实验结果表明该方法分割精度优于支持向量机。李前景等(2021)提出一种适用于GF-6WFV红边波段的卷积神经网络RE-CNN遥感影像作物提取方法，并取得较好的结果。Kussul等(2017)使用Landsat 8和Sentinel-1A多时相影像数据，利用卷积神经网络模型进行农作物提取，与多层感知器与随机森林方法相比，该方法能够更好的区分作物类型。Zhong等(2019)使用Landsat增强植被指数时间序列数据，利用卷积神经网络对夏季作物进行分类，结果表明该方法优于随机森林、支持向量机的提取结果。
卷积神经网络在作物空间分布信息提取任务中取得了较大的进展，证明了卷积神经网络在作物空间分布信息提取任务上的有效性。但同时也存在一些问题，目前的研究大多是基于标准卷积神经网络结构进行作物提取，较少针对作物空间分布信息提取任务与高分辨率遥感数据特点设计和改进模型结构，并且当前的提取方法在效率、速度、适用性和准确性方面存在局限性。
因此，如何基于卷积神经网络技术，实现冬小麦种植区遥感影像提取方法已经成为急需解决的技术问题。
发明内容
本发明的目的是为了解决现有技术中冬小麦种植区遥感影像提取技术难以满足实际使用需要的缺陷，提供一种联合GF-6和Sentinel-2的冬小麦种植区影像提取方法来解决上述问题。
为了实现上述目的，本发明的技术方案如下：
一种联合GF-6和Sentinel-2的冬小麦种植区影像提取方法，包括以下步骤：
11)遥感影像数据集的创建：获取8m分辨率的高分六号和10m分辨率的哨兵二号遥感影像并进行预处理，构成遥感影像数据集；
12)构建冬小麦种植区影像提取网络：以UNet网络作为基础网络，在其编码层和解码层的基本卷积单元中嵌入CBAM注意力模块，构建改进UNet网络结构作为冬小麦种植区影像提取网络；
13)冬小麦种植区影像提取网络的训练：将预处理后的遥感影像数据集输入改进UNet网络结构进行训练，得到训练后的冬小麦种植区影像提取网络；
14)待提取遥感影像的获取：获取待提取的遥感影像并进行预处理；
15)冬小麦种植区影像结果的提取：将预处理后的待提取的遥感影像输入训练后的冬小麦种植区影像提取网络，得到冬小麦种植区影像提取结果。
所述的构建冬小麦种植区影像提取网络包括以下步骤：
21)基于UNet网络作为基本框架来提取特征，设定Unet模型包括编码器、解码器和跳跃连接部分；
22)设定编码器通过卷积层提取的图像特征信息由3×3卷积层、ReLU函数和2×2最大池化层组成；进行四次下采样；在每次池化操作后，特征图像变小，通道数加倍；
解码器通过2×2转置卷积进行上采样，解码器部分完成四次上采样；每次上采样后，特征图像的大小增加，通道数减少一半，再通过跳跃连接操作将特征图的低级细节与高级语义结合起来；
23)设定利用UNet结构中卷积和最大池化所提取的特征，输入嵌入的注意力机制CBAM模块；
24)设定CBAM注意力模块：
利用CBAM注意力模块对UNet网络生成的特征图F∈RC×H×W计算通道注意力MC∈RC ×1×1；
将F和MC(F)逐元素相乘获得F’，然后对F'计算空间注意力MS∈R1×H×W,将F'和MS(F)逐元素相乘获得CBAM模块输出结果F”；
其中，MC(F)公式表示包括：
其中，C、H和W分别为特征图通道数，高和宽，δ为Sigmoid函数，W0∈RC/r×C,W1∈RC ×C/r，r为参数减少率，W0后使用Relu作为激活函数；
和
分别表示在空间维度上对F使用平均和最大池化，MC(F)是通道注意图；
空间注意力MS(F)计算公式包括：
其中，f7×7表示7×7的卷积层，
和
分别表示在通道维度上对F使用最大和平均池化。
所述的改进UNet网络结构的训练包括以下步骤：
31)确定训练过程中的超参数，并初始化CBAM-UNet模型的参数，Batch size为4，学习率为0.0001，Adam优化器的参数Beta1为0.5，Beta2为0.999，Epochs为100；
32)分别将高分六号影像数据集和哨兵二号影像数据集中的图像、标签作为训练数据集输入冬小麦种植区影像提取网络；
33)使用冬小麦种植区影像提取网络对当前训练数据执行前向传播；
34)计算损失并反向传播到冬小麦种植区影像提取网络；
35)使用Adam优化器根据loss值更新冬小麦种植区影像提取网络的参数，重复32)步-34)步，直到loss小于预定阈值。
有益效果
本发明的一种联合GF-6和Sentinel-2的冬小麦种植区影像提取方法，与现有技术相比能够更为准确的从遥感图像中提取出冬小麦种植区，通过针对作物空间分布信息提取任务与高分辨率遥感数据特点设计和改进了模型结构，在效率、速度、适用性和准确性方面取得较好效果。
本发明基于对UNet的改进，在其编码层和解码层的基本卷积单元中嵌入注意力模块，其可扩展性好且提取精度高，可调整参数应用于不同传感器的遥感卫星影像。通过验证，本发明得到的高分辨率多源遥感影像分类结果在评价指标优上优于对比分类算法，并且产生的分类结果能够更好的保持了边缘的平滑和完整性。
附图说明
图1为本发明的方法顺序图；
图2a为高分六号数据集图像；
图2b为图2a所对应的标签图；
图3a为哨兵2号数据集图像；
图3b为图3a所对应的标签图；
图4为高分六号数据集作为训练集得到的预测结果图；
图5为哨兵二号数据集作为训练集得到的预测结果图。
具体实施方式
为使对本发明的结构特征及所达成的功效有更进一步的了解与认识，用以较佳的实施例及附图配合详细的说明，说明如下：
如图1所示，本发明所述的一种联合GF-6和Sentinel-2的冬小麦种植区影像提取方法，包括以下步骤：
第一步，遥感影像数据集的创建。获取8m分辨率的高分六号和10m分辨率的哨兵二号遥感影像并进行预处理，构成遥感影像数据集。
在实际应用中，先将高分六号2m的全色影像和8m多光谱数据影像融合得到2m的多光谱数据，作为人工标注的参考依据。例如，可以选取石家庄市正定县作为训练集，藁城市增村镇作为测试集。利用地理信息系统类软件，分别在研究区内的高分六号(GF-6)和哨兵二号(Sentinel-2)遥感影像上手工勾画出冬小麦种植区域边界；利用ENVI软件中的ROI(Region of Interesting)工具，以上面得到边界为基础，获取ROI区域内的像素编号，进行逐像素标记。利用PhotoShop软件分别对遥感图像和标记结果按从左到右，从上到下的顺序进行分块，每块的大小为256×256像素，图像块及其相应的标签文件形成一个图像-标记对。
第二步，构建冬小麦种植区影像提取网络：以UNet网络作为基础网络，在其编码层和解码层的基本卷积单元中嵌入CBAM注意力模块，构建改进UNet网络结构作为冬小麦种植区影像提取网络。
目前的研究大多是基于标准卷积神经网络结构进行作物提取，较少针对作物种植区提取任务与高分辨率遥感数据特点设计和改进的模型结构。
本发明在卷积神经网络提取作物空间分布信息研究的基础上，针对冬小麦种植区提取任务，分析冬小麦在高分辨率遥感图像上的特点：1)遥感图像不同于分辨率高、细节丰富的自然图像，图像中冬小麦斑块的细节信息远远低于自然图像；2)冬小麦种植区域大小不同，当种植区域较大时，冬小麦图斑所占的像素较多，而种植区域较小时，冬小麦斑块只包含几十个像素甚至更少，遥感图像中存在冬小麦斑块大小不相同的情况。因此在UNet网络中引入注意力机制，通过将更多注意力放在信息性特征上，减少从隐藏层提取的大量中间特征，有效提高冬小麦种植区提取精度，为其它作物种植区提取提供了理论和技术方法。
其具体步骤如下：
(1)基于UNet网络作为基本框架来提取特征，设定Unet模型包括编码器、解码器和跳跃连接部分。
(2)设定编码器通过卷积层提取的图像特征信息由3×3卷积层、ReLU函数和2×2最大池化层组成；进行四次下采样；在每次池化操作后，特征图像变小，通道数加倍；
解码器通过2×2转置卷积进行上采样，解码器部分完成四次上采样；每次上采样后，特征图像的大小增加，通道数减少一半，再通过跳跃连接操作将特征图的低级细节与高级语义结合起来。浅层网络可以更有效地保存详细的位置信息，通过级联编码器和解码器的相应特征模式来辅助分割。
(3)设定利用UNet结构中编码器或者解码器中的卷积层和上采样、下采样所提取的特征，输入嵌入的注意力机制CBAM模块。
(4)设定CBAM注意力模块：
利用CBAM注意力模块对UNet网络生成的特征图F∈RC×H×W计算通道注意力MC∈RC ×1×1；
将F和MC(F)逐元素相乘获得F’，然后对F'计算空间注意力MS∈R1×H×W,将F'和MS(F)逐元素相乘获得CBAM模块输出结果F”；
其中，MC(F)公式表示包括：
其中，C、H和W分别为特征图通道数，高和宽，δ为Sigmoid函数，W0∈RC/r×C,W1∈RC ×C/r，r为参数减少率，W0后使用Relu作为激活函数；
和
分别表示在空间维度上对F使用平均和最大池化，MC(F)是通道注意图；
空间注意力MS(F)计算公式包括：
其中，f7×7表示7×7的卷积层，
和
分别表示在通道维度上对F使用最大和平均池化。
第三步，冬小麦种植区影像提取网络的训练：将预处理后的遥感影像数据集输入改进UNet网络结构进行训练，得到训练后的冬小麦种植区影像提取网络。
所述的改进UNet网络结构的训练包括以下步骤：
(1)确定训练过程中的超参数，并初始化CBAM-UNet模型的参数，Batch size为4，学习率为0.0001，Adam优化器的参数Beta1为0.5，Beta2为0.999，Epochs为100。
(2)分别将高分六号影像数据集和哨兵二号影像数据集中的图像、标签作为训练数据集输入冬小麦种植区影像提取网络。
(3)使用冬小麦种植区影像提取网络对当前训练数据执行前向传播。
(4)计算损失并反向传播到冬小麦种植区影像提取网络。
(5)使用Adam优化器根据loss值更新冬小麦种植区影像提取网络的参数，重复(2)步-(4)步，直到loss小于预定阈值。
第四步，待提取遥感影像的获取：获取待提取的遥感影像并进行预处理。
利用PhotoShop软件分别对石家庄市藁城市的遥感图像和标记结果按从左到右，从上到下的顺序进行分块，每块的大小为256×256像素，图像块及其相应的标签文件形成一个图像-标记对。在两个数据集中各随机选一个图像-标签对，如图2a、2b、3a、3b。
第五步，冬小麦种植区影像结果的提取：将预处理后的待提取的遥感影像输入训练后的冬小麦种植区影像提取网络，得到冬小麦种植区影像提取结果。
下面结合仿真实验对本发明的效果做进一步的说明：
本发明实验的计算机硬件环境为Intel Xeon Gold 6248R处理器，192Gb内存，NVIDIA Quadro P4000显卡，GPU加速库采用CUDA 10.0，深度学习框架使用Pytorch。后续所有的训练和测试实验都基于该平台。
为了验证所提出的用于小麦种植区遥感影像分类的CBAM-UNet方法的有效性，使用了高分六号影像数据集和哨兵二号影像数据集。本发明使用了五个流行的标准，即准确率、平均交并比、召回率、总体精度、F1值来评估所提出模型的性能。
仿真实验内容及结果分析：
SegNet和DeepLabv3+是图像的经典语义分割模型，在相机图像处理中取得了良好的效果。此外，这两个模型的工作原理与本文研究相似，因此选择这两个模型作为比较模型，以更好地反映UNet-CBAM模型在分类方面的优势。SegNet、DeepLabv3+、UNet和UNet-CBAM模型分别使用高分六号影像数据集和哨兵二号影像数据集进行训练。
模型训练好后，将哨兵二号测试集影像输入到模型中,模型自动对影像提取特征，并对每个像素进行预测，判断其类型，最终得到分类结果。
为了能够对SegNet、DeepLabv3+、UNet和UNet-CBAM这4个模型的性能进行比较，选择了两个有代表性的小区域的实验结果进行对比，其中一个小区域以农田为主，另一个区域混杂有设施农业和建筑物，这两个区域能够代表实验区的土地利用结构。
图4和图5显示了从测试图像中选择的两幅图像和使用四种方法的对应结果。可以看出UNet-CBAM模型只对冬小麦种植区角落的少量像素进行了错误分类。在SegNet结果、Deeplabv3+结果、UNet结果及UNet-CBAM结果中，误分类像素主要分布在冬小麦和非冬小麦区域的交界处，包括边缘和拐角位置，UNet-CBAM模型结果中的误分类像素数量少于DeepLabv3+。
SegNet结果的误差最大，大多数错误分类的像素位于边缘、角落和种植区域。其中，在冬小麦生长量较大的区域，UNet-CBAM算法提取的形状与实际区域吻合良好，其他算法的边缘错误更多(c、d、e三列中的区域)。UNet-CBAM算法在处理图像时比其他算法表现出更好的性能。
表1显示了分别用高分六号影像数据集和哨兵二号影像数据集训练好的模型分割结果的混淆矩阵。混淆矩阵的每一行表示实际类别所占的比例，每一列表示预测类别所占的比例。UNet-CBAM在高分六号影像数据集和哨兵二号影像数据集上都取得了更好的分类结果。“冬小麦”被错误归类为“非冬小麦”的比例平均分别为0.052和0.031，“非冬小麦”被错误归类为“冬小麦”的比例平均分别为0.029和0.028。
在四个模型的混淆矩阵中，冬小麦和城市地区之间几乎没有混淆，这可能是由于两种土地利用类型的特征不同。然而，冬小麦和农田之间的混淆是严重的，这是因为大多数被错误归类为农田的冬小麦地区生长条件较差。在这些地区，它们的特征与冬季的农田相似，这导致了一个巨大的变化错误分类的概率。冬小麦和林地地区也存在一定程度的混乱。这是因为某些树木在冬天仍然是绿色的，类似于冬小麦地区的特征。然而，在这种情况下，由于使用了纹理和高级语义信息，混淆程度明显低于农田。
表1：冬小麦分类的混淆矩阵对比表
在本发明中，使用了五个流行的标准，即准确率、平均交并比、召回率、总体精度、F_1值来评估所提出模型的性能。表2分别显示了四个模型在高分六号影像数据集和哨兵二号影像数据集图像数据集上的评估标准值。
表2：实验结果评价表
通过对实验结果的统计分析，我们可以直观地观察到，改进模型(UNet-CBAM)的五项评价指标均优于原模型。召回率和平均交并比有所提高，F1值和准确率有一定程度的提高，总体精度略有提高。与SegNet、DeepLabv3+和UNet相比，UNet-CBAM在准确率、MioU、总体精度和F1值上表现最好。此外，UNet-CBAM的准确率和平均交并比显著高于UNet，在高分六号数据集上分别为4.21％和2.94％，在哨兵二号数据集上分别为4.07％和2.9％。这意味着引入注意力机制在UNet网络改进中是有效的。
以上显示和描述了本发明的基本原理、主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是本发明的原理，在不脱离本发明精神和范围的前提下本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明的范围内。本发明要求的保护范围由所附的权利要求书及其等同物界定。
Claims (3)
1.一种联合GF-6和Sentinel-2的冬小麦种植区影像提取方法，其特征在于，包括以下步骤：
11)遥感影像数据集的创建：获取8m分辨率的高分六号和10m分辨率的哨兵二号遥感影像并进行预处理，构成遥感影像数据集；
12)构建冬小麦种植区影像提取网络：以UNet网络作为基础网络，在其编码层和解码层的基本卷积单元中嵌入CBAM注意力模块，构建改进UNet网络结构作为冬小麦种植区影像提取网络；
13)冬小麦种植区影像提取网络的训练：将预处理后的遥感影像数据集输入改进UNet网络结构进行训练，得到训练后的冬小麦种植区影像提取网络；
14)待提取遥感影像的获取：获取待提取的遥感影像并进行预处理；
15)冬小麦种植区影像结果的提取：将预处理后的待提取的遥感影像输入训练后的冬小麦种植区影像提取网络，得到冬小麦种植区影像提取结果。
2.根据权利要求1所述的一种联合GF-6和Sentinel-2的冬小麦种植区影像提取方法，其特征在于，所述的构建冬小麦种植区影像提取网络包括以下步骤：
21)基于UNet网络作为基本框架来提取特征，设定Unet模型包括编码器、解码器和跳跃连接部分；
22)设定编码器通过卷积层提取的图像特征信息由3×3卷积层、ReLU函数和2×2最大池化层组成；进行四次下采样；在每次池化操作后，特征图像变小，通道数加倍；
解码器通过2×2转置卷积进行上采样，解码器部分完成四次上采样；每次上采样后，特征图像的大小增加，通道数减少一半，再通过跳跃连接操作将特征图的低级细节与高级语义结合起来；
23)设定利用UNet结构中卷积和最大池化所提取的特征，输入嵌入的注意力机制CBAM模块；
24)设定CBAM注意力模块：
利用CBAM注意力模块对UNet网络生成的特征图F∈RC×H×W计算通道注意力MC∈RC×1×1；
将F和MC(F)逐元素相乘获得F’，然后对F'计算空间注意力MS∈R1×H×W,将F'和MS(F)逐元素相乘获得CBAM模块输出结果F”；
其中，MC(F)公式表示包括：
其中，C、H和W分别为特征图通道数，高和宽，δ为Sigmoid函数，W0∈RC/r×C,W1∈RC×C/r，r为参数减少率，W0后使用Relu作为激活函数；
和
分别表示在空间维度上对F使用平均和最大池化，MC(F)是通道注意图；
空间注意力MS(F)计算公式包括：
其中，f7×7表示7×7的卷积层，
和
分别表示在通道维度上对F使用最大和平均池化。
3.根据权利要求1所述的一种联合GF-6和Sentinel-2的冬小麦种植区影像提取方法，其特征在于，所述的改进UNet网络结构的训练包括以下步骤：
31)确定训练过程中的超参数，并初始化CBAM-UNet模型的参数，Batch size为4，学习率为0.0001，Adam优化器的参数Beta1为0.5，Beta2为0.999，Epochs为100；
32)分别将高分六号影像数据集和哨兵二号影像数据集中的图像、标签作为训练数据集输入冬小麦种植区影像提取网络；
33)使用冬小麦种植区影像提取网络对当前训练数据执行前向传播；
34)计算损失并反向传播到冬小麦种植区影像提取网络；
35)使用Adam优化器根据loss值更新冬小麦种植区影像提取网络的参数，重复32)步-34)步，直到loss小于预定阈值。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210517294.XA CN114842339A (zh) | 2022-05-13 | 2022-05-13 | 一种联合GF-6和Sentinel-2的冬小麦种植区影像提取方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210517294.XA CN114842339A (zh) | 2022-05-13 | 2022-05-13 | 一种联合GF-6和Sentinel-2的冬小麦种植区影像提取方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114842339A true CN114842339A (zh) | 2022-08-02 |
Family
ID=82570742
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210517294.XA Pending CN114842339A (zh) | 2022-05-13 | 2022-05-13 | 一种联合GF-6和Sentinel-2的冬小麦种植区影像提取方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114842339A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116912685A (zh) * | 2023-07-17 | 2023-10-20 | 北京师范大学 | 一种水体识别方法、系统及电子设备 |
-
2022
- 2022-05-13 CN CN202210517294.XA patent/CN114842339A/zh active Pending
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116912685A (zh) * | 2023-07-17 | 2023-10-20 | 北京师范大学 | 一种水体识别方法、系统及电子设备 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Hosseinpour et al. | CMGFNet: A deep cross-modal gated fusion network for building extraction from very high-resolution remote sensing images | |
| da Silva et al. | Estimating soybean leaf defoliation using convolutional neural networks and synthetic images | |
| Van Coillie et al. | Feature selection by genetic algorithms in object-based classification of IKONOS imagery for forest mapping in Flanders, Belgium | |
| CN108596248A (zh) | 一种基于改进深度卷积神经网络的遥感影像分类模型 | |
| CN112446388A (zh) | 一种基于轻量化二阶段检测模型的多类别蔬菜幼苗识别方法及系统 | |
| CN111476170A (zh) | 一种结合深度学习和随机森林的遥感影像语义分割方法 | |
| CN107229904A (zh) | 一种基于深度学习的目标检测与识别方法 | |
| Li et al. | Breaking the resolution barrier: A low-to-high network for large-scale high-resolution land-cover mapping using low-resolution labels | |
| CN110796038B (zh) | 结合快速区域生长超像素分割的高光谱遥感图像分类方法 | |
| Bhagat et al. | Eff-UNet++: A novel architecture for plant leaf segmentation and counting | |
| CN109284741A (zh) | 一种基于深度哈希网络的大规模遥感影像检索方法和系统 | |
| CN106683102A (zh) | 基于脊波滤波器和卷积结构模型的sar图像分割方法 | |
| CN111524140B (zh) | 基于cnn和随机森林法的医学图像语义分割方法 | |
| CN114581451A (zh) | 一种基于散射图神经网络的大脑磁共振图像分割方法 | |
| Lin et al. | A novel convolutional neural network architecture of multispectral remote sensing images for automatic material classification | |
| Liu et al. | Image retrieval using CNN and low-level feature fusion for crime scene investigation image database | |
| Trujillo-Jiménez et al. | SatRed: New classification land use/land cover model based on multi-spectral satellite images and neural networks applied to a semiarid valley of Patagonia | |
| CN114842339A (zh) | 一种联合GF-6和Sentinel-2的冬小麦种植区影像提取方法 | |
| CN111310820A (zh) | 基于交叉验证深度cnn特征集成的地基气象云图分类方法 | |
| Chen et al. | Mapping urban form and land use with deep learning techniques: a case study of Dongguan City, China | |
| CN110853052A (zh) | 一种基于深度学习的土家织锦图案图元的分割方法 | |
| CN113591614B (zh) | 一种基于紧邻空间特征学习的遥感影像道路提取方法 | |
| Dehkordi et al. | Performance Evaluation of Temporal and Spatial-Temporal Convolutional Neural Networks for Land-Cover Classification (A Case Study in Shahrekord, Iran) | |
| CN116486275A (zh) | 一种多模型融合的遥感影像分类方法 | |
| Argudo et al. | Segmentation of aerial images for plausible detail synthesis |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |