CN112836614B - 一种基于残差网络和迁移学习的高分遥感图像分类方法 - Google Patents

一种基于残差网络和迁移学习的高分遥感图像分类方法 Download PDF

Info

Publication number
CN112836614B
CN112836614B CN202110113122.1A CN202110113122A CN112836614B CN 112836614 B CN112836614 B CN 112836614B CN 202110113122 A CN202110113122 A CN 202110113122A CN 112836614 B CN112836614 B CN 112836614B
Authority
CN
China
Prior art keywords
remote sensing
resolution remote
residual error
data set
training
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110113122.1A
Other languages
English (en)
Other versions
CN112836614A (zh
Inventor
姚军
常颢
翁蓓蓓
杨乐
鞠玲
冯伟
卜鑫链
李欣
赵祥伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
State Grid Jiangsu Electric Power Co Ltd
Taizhou Power Supply Co of State Grid Jiangsu Electric Power Co Ltd
China Energy Engineering Group Jiangsu Power Design Institute Co Ltd
Original Assignee
State Grid Jiangsu Electric Power Co Ltd
Taizhou Power Supply Co of State Grid Jiangsu Electric Power Co Ltd
China Energy Engineering Group Jiangsu Power Design Institute Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by State Grid Jiangsu Electric Power Co Ltd, Taizhou Power Supply Co of State Grid Jiangsu Electric Power Co Ltd, China Energy Engineering Group Jiangsu Power Design Institute Co Ltd filed Critical State Grid Jiangsu Electric Power Co Ltd
Priority to CN202110113122.1A priority Critical patent/CN112836614B/zh
Publication of CN112836614A publication Critical patent/CN112836614A/zh
Application granted granted Critical
Publication of CN112836614B publication Critical patent/CN112836614B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/13—Satellite images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/254—Fusion techniques of classification results, e.g. of results related to same input data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/259—Fusion by voting

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Evolutionary Biology (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Multimedia (AREA)
  • Remote Sensing (AREA)
  • Astronomy & Astrophysics (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明属于图像处理和分析技术领域，具体涉及一种基于残差网络和迁移学习的高分遥感图像分类方法。包括如下步骤：建立目标数据集，进行基于其地物类别进行标签标注；构建仅含有确定类别的高分遥感图像的重构数据集和测试集；改进Resnet101深度残差网络；确定深度残差网络训练模型和参数；获取目标数据集多尺度场景分类及投票结果；获取多个尺度的目标数据集场景分类结果；完成预训练模型，得到目标数据集多尺度场景分类结果；对所有高分遥感图像进行投票再生成，完成分类任务。本发明提供的方法利用改进的Resnet101深度残差网络进行特征提取与源域数据集的预训练，进行有多尺度的场景分类，总体精度可达到95％以上。

Description

一种基于残差网络和迁移学习的高分遥感图像分类方法
技术领域
本发明属于图像处理和分析技术领域，具体涉及一种基于残差网络和迁移学习的高分遥感图像分类方法。
背景技术
高分遥感图像(或高分辨率遥感图像)能够从米级甚至亚米级的空间分辨率精细观测地球，清楚地表达地物目标的空间结构与表层纹理特征，从而分辨出地物内部更为精细的组成，为有效的地学分析提供思路。与自然图像相比，高分辨率遥感图像不仅具有丰富的空间、形状和纹理特征。因此，利用高分辨率遥感图像进行场景分类对于影像的解译和现实世界的理解具有举足轻重的意义。随着高分辨率遥感技术的飞速发展，高分辨率遥感影像场景分类在测绘制图、城市规划、交通、水利、农业、林业、环境资源监测等领域都得到了广泛应用。但现阶段，高分辨率遥感图像场景分类任务仍然存在以下挑战：
1)高分辨率遥感图像具有丰富的空间信息，现有方法通常只提取深层的高级语义特征而忽略了底层的细节特征，使得高分辨率遥感图像里地物精细的空间信息难以被充分利用，小尺度地物场景分类效果欠佳。
2)高分辨率遥感图像标注困难，现有方法一般采用公开数据集UC Merced LandUse Dataset(图像像素大小为256x256，总包含21类场景图像，每一类有100张，共2100张)、WHU-RS19 Data Set(图像像素大小为600x600，总包含19类场景图像，每一类大概50张，共1005张)以及AID dataset(图像像素大小为600x600，总包含30类场景图像，每一类有200-400张，共10000张)等作为原始训练数据集进行迁移学习。然而，上述数据集标注类别过于精细、各类别图像标注样本少、场景分类结果冗杂，难以满足实际生产和生活对于场景分类的需求。因此，需要一种场景分类方法，更好地实现不同分辨率特征的有效融合以及数据集迁移的效果，从而满足高精度地物目标识别的需求。
发明内容
为了解决上述技术问题，本发明提供了一种基于残差网络和迁移学习的高分辨率遥感图像多尺度场景分类方法。
本申请的基于残差网络和迁移学习的高分遥感图像分类方法，包括如下步骤：
步骤1、基于待分类高分遥感图像建立目标数据集；包括：
A1、剔除高分遥感图像数据库中无法使用或无意义的高分遥感图像后，以剩余高分遥感图像作为源域数据集；
A2、在源域数据集中以随机抽样的方式选取测试样本，进行基于其地物类别进行标签标注；
A3、基于步骤A2中确定的类别，指定或者剔除源域数据集中不需要的、无法识别的高分遥感图像，构建仅含有确定类别的高分遥感图像的重构数据集；
A4、在重构数据集中，以随机抽取的方式分别从各类别内抽取相同数量的高分遥感图像构建测试集；
步骤2、基于Resnet101深度残差网络对重构源域数据集中的高分遥感图像特征提取，包括：
B1、改进Resnet101深度残差网络
Resnet101深度残差网络采用逐层提取特征的方式，具体而言：利用最初的卷积层通过卷积计算提取高分遥感图像的边缘信息；在前述边缘信息的基础上，利用中间的卷积层继续采用卷积操作提取高分遥感图像的局部信息；利用卷积层提取地面场景高级语义特征，基于前述高级语义特征，保存具有上述特征的预训练网络权重参数，得到预训练网络，并将带有权重参数的预训练网络迁移到数据集上进行场景分类；
将Resnet101深度残差网络的全连接层连接数量替换为前述步骤A2中确定的类别数；在全连接层中构建包含底层边缘信息到高级语义特征的映射；具体而言：
记网络输入特征为x，学习到的特征为H(x)，残差单元为yl＝h(xl)+F(xl,Wl)xl+1＝f(yl)；其中，xl和xl+1分别表示的是第l个残差单元的输入和输出；F是残差函数，表示学习到的残差，W是卷积核，h(x1)＝x1表示恒等映射，f是ReLU激活函数；从浅层l到深层L的学习特征为
Figure BDA0002919734080000021
B2、确定改进的Resnet101深度残差网络训练模型和参数
将测试集中的高分遥感图像按照多个尺度进行裁剪，将相同尺度的高分遥感图像为一组放在Resnet101深度残差网络上进行测试完成预训练模型迁移，得到不同尺度的场景标签分类结果及总体精度；基于Resnet101深度残差网络在测试集上进行训练，训练过程保存模型权重参数，形成预训练模型；
步骤3、获取目标数据集多尺度场景分类及投票结果
C1、基于待分类高分遥感图像建立目标数据集，将目标数据集中的高分遥感图像按照不同尺度裁剪成对应尺寸，构成不同尺度下的分尺度目标数据集；
C2、获取多个尺度的目标数据集场景分类结果；
基于前述步骤B2中Resnet101深度残差网络训练模型和参数，每次将分尺度目标数据集中的高分遥感图像在Resnet101深度残差网络上进行测试；直至所有分尺度目标数据集中的高分遥感图像均完成测试，完成预训练模型从测试集到目标数据集的迁移过程，得到目标数据集多尺度场景分类结果；
C3、多尺度场景分类结果投票
基于C1中每个高分遥感图像的分割数据，遍历每个分割块，针对每一个分割块统计不同分类标签出现的次数，并确定出现次数最多标签，并将该标签作为分类结果赋值给该分割块内部所有像素，完成概率投票过程；对所有高分遥感图像进行投票再生成，完成分类任务。
对前述基于残差网络和迁移学习的高分遥感图像分类方法的进一步改进和优化，
A2中，所选取样本中的高分遥感图像数量应当不少于待分类高分遥感图像总数量的 5％；标签参考的可选地物类别至少包括：农田、林地、水系、居民用地、建筑用地、道路；
A4中，当无法保证测试集中各类别中抽取的高分遥感图像数量相同时，应保证不同类别中，高分遥感图像最大数目：高分遥感图像最少数目≤120％；
对前述基于残差网络和迁移学习的高分遥感图像分类方法的进一步改进和优化，
A2中，可选地物类别通过人工目视或者识别程序对各高分遥感图像样本地进行地物类别的识别，具体而言，均匀绿色块状区域及深褐色裸地为农田，不均匀深绿色无规则状区域为林地，深蓝色或黑褐色湖泊及河流为水体，建筑群为居民用地，荒芜的土地和正在建设的裸地为建筑用地，灰色的狭长条带形地物为道路；
对前述基于残差网络和迁移学习的高分遥感图像分类方法的进一步改进和优化，B1中，
边缘信息具体包括：农田与水系之间的界限、居民用地建筑物的边界以及道路的轮廓；
局部信息具体包括：农田具体轮廓、居民用地建筑楼群轮廓以及湖泊占地范围；
高级语义特征具体包括：水系的环境特征，指水系的语义描述或与其他地物类别的差异信息，包括占地面积、形状与其他类别的差异描述；居民用地典型特点，指居民用地的描述或与其他地物类别的差异信息。
对前述基于残差网络和迁移学习的高分遥感图像分类方法的进一步改进和优化，B2中，裁剪具体是指：导入Python包的PIL库里的Image函数，采用Image内置的open方法读取高分遥感图像，同时查看高分遥感图像宽度和高度；给定box参数后调用Image内置的crop方法来对图片进行裁剪，最后运用内置的save方法保存裁剪后高分遥感图像，得到不同尺寸的高分遥感图像。
对前述基于残差网络和迁移学习的高分遥感图像分类方法的进一步改进和优化，在进行步骤A1前，对高分遥感图像数据进行标准化处理，具体采用将原始像素值除以图像中最高像素值的方法，让所有像素值统一映射到[0,1]区间，提高模型收敛速度，让各个特征对结果做出的贡献相同。
对前述基于残差网络和迁移学习的高分遥感图像分类方法的进一步改进和优化，Resnet101网络第一层为卷积层，其后与4个残差块相连，卷积层和残差块的卷积核尺寸和通道数为：
1*1,、3*3、1*1、64、64、256；
1*1,、3*3、1*1、128、128、512；
1*1,、3*3、1*1、256、256、1024；
1*1,、3*3、1*1、512、512、2048。
对前述基于残差网络和迁移学习的高分遥感图像分类方法的进一步改进和优化，Resnet101深度残差网络训练过程的代码实现语言为Python，实现框架为PyTorch，迭代次数为50次。
对前述基于残差网络和迁移学习的高分遥感图像分类方法的进一步改进和优化，训练过程中，只保存模型的权重之后直接载入模型与训练数据开始训练,以减少空间占用，节约内存。
本发明的有益效果为：
本发明提供的方法建立包含图像特征提取、迁移场景分类与多尺度结果投票三部分。在图像特征提取部分，利用改进的Resnet101深度残差网络进行特征提取与源域数据集的预训练；在迁移场景分类部分，保留源域数据集的预训练模型权重信息等并将其迁移到目标域数据集，进行有多尺度的场景分类，总体精度可达到95％以上；在多尺度结果投票部分，利用不同尺度的分类结果根据概率进行投票，得到更高精度场景分类结果。
本方法方法综合考虑了全局特征提取、局部细节保留与迁移场景训练，通过多尺度结果的投票，在有效保留局部细节信息的同时，加快模型收敛，增强方法的稳健性。由于整个过程中，测试以及训练采用目标数据中的高相似性数据集进行迁移学习，保证在分类是能够实现覆盖范围广、冗余少，进而满足工程项目的实际需要，有针对性地提高场景分类效果，解决小样本数据训练模型易产生的过拟合问题，同时也能够大大缩减模型训练的时间。因此，本发明技术方案能够更好的实现高分辨率遥感图像的场景分类，实现更高精度的场景识别。
附图说明
图1为本发明实施例采用的Resnet101深度残差网络结构示意图。
图2为是基于残差网络和迁移学习的高分遥感图像分类方法的流程示意图。
具体实施方式
为了便于本领域普通技术人员理解和实施本发明，下面结合附图及实施例对本发明作进一步的详细描述，应当理解，此处所描述的实施示例仅用于说明和解释本发明，并不用于限定本发明。本申请的基于残差网络和迁移学习的高分遥感图像分类方法包含图像特征提取、迁移场景分类与多尺度结果投票等内容。
如图2所示，本申请在图像特征提取部分以及分类过程中采用图1所示的，经过改进的Resnet101深度残差网络进行特征提取与源域数据集的预训练；其基本步骤包括：
步骤1、基于高分遥感图像数据库建立源域数据集以及测试集；包括：
A1、剔除高分遥感图像数据库中无法使用或无意义的高分遥感图像后，以剩余高分遥感图像作为源域数据集；
A2、在源域数据集中以随机抽样的方式选取测试样本，进行基于其地物类别进行标签标注；
标签参考的可选地物类别包括：农田、林地、水系、居民用地、建筑用地、道路；
在具体实施过程中，首先通过人工目视或者识别程序对各遥感图像样本地进行地物类别的识别，具体而言，均匀绿色块状区域及深褐色裸地为农田，不均匀深绿色无规则状区域为林地，深蓝色或黑褐色湖泊及河流为水体，建筑群为居民用地，荒芜的土地和正在建设的裸地为建筑用地，灰色的狭长条带形地物为道路；
所选取样本中的遥感图像数量应当不少于待分类遥感图像总数量的5％；
A3、基于步骤A2中确定的类别，指定或者剔除源域数据集中不需要的、无法识别的遥感图像，构建仅含有确定类别的遥感图像的重构数据集；
A4、以随机抽取的方式分别从各类别内抽取相同数量的遥感图像构建测试集；当无法保证测试集中各类别中抽取的遥感图像数量相同时，应保证不同类别中，遥感图像最大数目：遥感图像最少数目≤120％；
步骤2、基于Resnet101深度残差网络进行遥感图像特征提取，包括：
B1、改进Resnet101深度残差网络，
将Resnet101深度残差网络的全连接层连接数量替换为前述步骤A2中确定的类别数；
比如需要分类类别包括农田、林地、水系、居民用地、建筑用地、道路共六种，则设置全连接层连接数量为6；全连接层中包含底层边缘信息到高级语义特征的映射；具体而言：
记网络输入特征为x，学习到的特征为H(x)，残差单元为yl＝h(xl)+F(xl,Wl)xl+1＝f(yl)；其中，xl和xl+1分别表示的是第l个残差单元的输入和输出；F是残差函数，表示学习到的残差，W是卷积核，h(x1)＝x1表示恒等映射，f是ReLU激活函数；从浅层l到深层L的学习特征为
Figure BDA0002919734080000061
B2、确定改进的Resnet101深度残差网络训练模型和参数
将测试集中的遥感图像按照多个尺度进行裁剪，将相同尺度的遥感图像为一组放在 Resnet101深度残差网络上进行测试完成预训练模型迁移，得到不同尺度的场景标签分类结果及总体精度；基于Resnet101深度残差网络在测试集上进行训练，训练过程保存模型权重参数，形成预训练模型；
训练内容包括采用Resnet101深度残差网络从的测试集里逐层提取特征，具体而言：
利用最初的卷积层通过卷积计算提取遥感图像的边缘信息；在前述边缘信息的基础上，利用中间的卷积层继续采用卷积操作提取遥感图像的局部信息；利用卷积层提取地面场景高级语义特征，基于前述高级语义特征，保存具有上述特征的预训练网络权重参数，得到预训练网络，并将带有权重参数的预训练网络迁移到目标域数据集上进行场景分类；
边缘信息具体包括：农田与水系之间的界限、居民用地建筑物的边界以及道路的轮廓；
局部信息具体包括：农田具体轮廓、居民用地建筑楼群轮廓以及湖泊占地范围；
高级语义特征具体包括：
水系的环境特征，特指水系的语义描述或与其他地物类别的差异信息，包括占地面积、形状与其他类别的差异描述，比如：水系占地面积远比农田小、水系形状为不规则封闭图形；居民用地典型特点，特指居民用地的描述或与其他地物类别的差异信息，例如所包含建筑楼的边缘信息量远超农田；
在得到高级语义特征后，保存具有上述特征的网络(预训练网络)权重参数，并将带有权重参数的预训练网络迁移到高分摇杆图像上进行场景分类，通过在高相似度数据集上的迁移学习，能够在大尺度场景数据集仅有极少数标注样本的情况下实现场景级别的分类。该方法充分利用了大尺度数据集的样本相似性，克服了传统遥感影像分类方法的局限性，极大地减小了数据标注而产生的人力、物力、财力的资源浪费，从而能够更有效地应用于社会生产和经济发展。
本实施例中，对高分遥感图像进行裁剪具体是指：导入Python包的PIL库里的Image 函数，采用Image内置的open方法读取遥感图像，同时查看遥感图像宽度和高度；给定 box参数后调用Image内置的crop方法来对图片进行裁剪，最后运用内置的save方法保存裁剪后遥感图像，得到不同尺寸的遥感图像；
为便于前述Resnet101深度残差网络的构建和实施，考虑到本申请中源域数据集以及测试集之间的数据具有高度相似性，为简化设计过程，提高效率，优选在构建网络和训练过程的使用Python语言实现代码化，并基于PyTorch框架来构建，最大化程度利用PyTorch 框架对高相似性数据的高效处理能力，提高效率降低对设备软硬件的需求，优选的，经过测试，在该语言以及框架基础上，迭代次数为50次即可保证90％以上的准确率，完全满足规划设计作业的需求。
步骤3、获取目标数据集多尺度场景分类及投票结果
C1、将目标数据集中的遥感图像按照不同尺度裁剪成对应尺寸，构成不同尺度下的分尺度目标数据集；
C2、获取多个尺度的目标数据集场景分类结果；
基于前述步骤B2中Resnet101深度残差网络训练模型和参数，每次将分尺度目标数据集中的遥感图像在Resnet101深度残差网络上进行测试；直至所有分尺度目标数据集中的遥感图像均完成测试，完成预训练模型从测试集到目标数据集的迁移过程，得到目标数据集多尺度场景分类结果；
C3、多尺度场景分类结果投票
基于C1中每个遥感图像的分割数据，遍历每个分割块，针对每一个分割块统计不同分类标签出现的次数，并确定出现次数最多标签，并将该标签作为分类结果赋值给该分割块内部所有像素，完成概率投票过程；基于概率投票结果，使得每个图像具有唯一的标签结果，对所有遥感图像进行投票再生成之后，即可获得所有图像的分类结果，完成分类任务。
本发明深入挖掘了高分辨率遥感图像丰富的空间信息，有效结合不同层次、不同分辨率的特征，提出了一种基于残差网络的高分辨率遥感图像场景分类方法，有效保留局部细节信息，加快模型收敛，增强方法的稳健性。
应当理解的是，本说明书未详细阐述的部分包括图像数据的基本处理(获取、筛选以及数据化处理等)以及Resnet101深度残差网络的基本训练内容。以及图像分割的处理方法或使用的软件，均属于公开的现有成熟的技术或本领域技术人员熟知的常规技术手段，本文不再赘述。以上实施例仅用以说明本申请的技术方案，而非对本申请保护范围的限制，尽管参照较佳实施例对本申请作了详细地说明，本领域的普通技术人员应当理解，可以对本申请的技术方案进行修改或者等同替换，而不脱离本申请技术方案的实质和范围。

Claims (8)

1.一种基于残差网络和迁移学习的高分遥感图像分类方法，其特征在于，包括如下步骤：
步骤1、基于高分遥感图像数据库建立源域数据集以及测试集，包括：
A1、剔除高分遥感图像数据库中无法使用或无意义的高分遥感图像后，以剩余高分遥感图像作为源域数据集；
A2、在源域数据集中以随机抽样的方式选取测试样本，基于其地物类别进行标签标注；标签参考的可选地物类别包括：农田、林地、水系、居民用地、建筑用地、道路；
在具体实施过程中，首先通过人工目视或者识别程序对各遥感图像样本地进行地物类别的识别，具体而言，均匀绿色块状区域及深褐色裸地为农田，不均匀深绿色无规则状区域为林地，深蓝色或黑褐色湖泊及河流为水体，建筑群为居民用地，荒芜的土地和正在建设的裸地为建筑用地，灰色的狭长条带形地物为道路；
所选取样本中的遥感图像数量应当不少于待分类遥感图像总数量的5％；
A3、基于步骤A2中确定的类别，指定或者剔除源域数据集中不需要的、无法识别的高分遥感图像，构建仅含有确定类别的高分遥感图像的重构数据集；
A4、在重构数据集中，以随机抽取的方式分别从各类别内抽取相同数量的高分遥感图像构建测试集；
步骤2、基于Resnet101深度残差网络对重构源域数据集中的高分遥感图像特征提取，利用改进Resnet101深度残差网络，将带有权重参数的预训练网络迁移到数据集上进行场景分类；将全连接层连接数量替换为待分类类别数；在全连接层中构建包含底层边缘信息到高级语义特征的映射；在Resnet101深度残差网络上进行测试，得到场景标签分类结果及总体精度；在测试集上进行训练并保存模型权重参数，形成预训练模型；具体步骤包括：
B1、改进Resnet101深度残差网络
所述Resnet101深度残差网络采用逐层提取特征的方式，具体而言：利用最初的卷积层通过卷积计算提取高分遥感图像的边缘信息；在前述边缘信息的基础上，利用中间的卷积层继续采用卷积操作提取高分遥感图像的局部信息；利用卷积层提取地面场景高级语义特征，基于前述高级语义特征，保存具有上述特征的预训练网络权重参数，得到预训练网络，并将带有权重参数的预训练网络迁移到数据集上进行场景分类；将Resnet101深度残差网络的全连接层连接数量替换为前述步骤A2中确定的类别数；在全连接层中构建包含底层边缘信息到高级语义特征的映射；具体而言：记网络输入特征为x，学习到的特征为H(x)，残差单元为yl＝h(xl)+F(xl,Wl)xl+1＝f(yl)；其中，xl和xl+1分别表示的是第l个残差单元的输入和输出；F是残差函数，表示学习到的残差，W是卷积核，h(x1)＝x1表示恒等映射，f是ReLU激活函数；从浅层l到深层L的学习特征为
Figure FDA0003689841020000021
B2、确定改进的Resnet101深度残差网络训练模型和参数
将测试集中的高分遥感图像按照多个尺度进行切割，将相同尺度的高分遥感图像为一组放在Resnet101深度残差网络上进行测试完成预训练模型迁移，得到不同尺度的场景标签分类结果及总体精度；基于Resnet101深度残差网络在测试集上进行训练，训练过程保存模型权重参数，形成预训练模型；
训练内容包括采用Resnet101深度残差网络从测试集里逐层提取特征，具体而言：利用最初的卷积层通过卷积计算提取遥感图像的边缘信息；在前述边缘信息的基础上，利用中间的卷积层继续采用卷积操作提取遥感图像的局部信息；利用卷积层提取地面场景高级语义特征，基于前述高级语义特征，保存具有上述特征的预训练网络权重参数，得到预训练网络，并将带有权重参数的预训练网络迁移到目标域数据集上进行场景分类；
步骤3、获取目标数据集多尺度场景分类及投票结果
将目标数据集中的高分遥感图像按照不同尺度切割成对应尺寸，构成不同尺度下的分尺度目标数据集；基于Resnet101深度残差网络训练模型和参数完成测试，得到目标数据集多尺度场景分类结果；基于高分遥感图像的分割数据遍历分割块，统计分类结果，完成分类任务。
2.根据权利要求1所述一种基于残差网络和迁移学习的高分遥感图像分类方法，其特征在于，所述步骤3具体包括：
C1、基于待分类高分遥感图像建立目标数据集，将目标数据集中的高分遥感图像按照不同尺度切割成对应尺寸，构成不同尺度下的分尺度目标数据集；
C2、获取多个尺度的目标数据集场景分类结果；
基于前述步骤B2中Resnet101深度残差网络训练模型和参数，每次将分尺度目标数据集中的高分遥感图像在Resnet101深度残差网络上进行测试；直至所有分尺度目标数据集中的高分遥感图像均完成测试，完成预训练模型从测试集到目标数据集的迁移过程，得到目标数据集多尺度场景分类结果；
C3、多尺度场景分类结果投票
基于C1中每个高分遥感图像的分割数据，遍历每个分割块，针对每一个分割块统计不同分类标签出现的次数，并确定出现次数最多标签，并将该标签作为分类结果赋值给该分割块内部所有像素，完成概率投票过程；对所有高分遥感图像进行投票再生成，完成分类任务。
3.根据权利要求1所述一种基于残差网络和迁移学习的高分遥感图像分类方法，其特征在于，B1中，边缘信息具体包括：农田与水系之间的界限、居民用地建筑物的边界以及道路的轮廓；
局部信息具体包括：农田具体轮廓、居民用地建筑楼群轮廓以及湖泊占地范围；
高级语义特征具体包括：水系的环境特征，指水系的语义描述或与其他地物类别的差异信息，包括占地面积、形状与其他类别的差异描述；居民用地典型特点，指居民用地的描述或与其他地物类别的差异信息。
4.根据权利要求1所述一种基于残差网络和迁移学习的高分遥感图像分类方法，其特征在于，B2中，所述切割具体是指：导入Python包的PIL库里的Image函数，采用Image内置的open方法读取高分遥感图像，同时查看高分遥感图像宽度和高度；给定box参数后调用Image内置的crop方法来对图片进行裁剪，最后运用内置的save方法保存裁剪后高分遥感图像，得到不同尺寸的高分遥感图像。
5.根据权利要求1所述一种基于残差网络和迁移学习的高分遥感图像分类方法，其特征在于，在进行步骤A1前，对高分遥感图像数据进行标准化处理，具体采用将原始像素值除以图像中最高像素值的方法，让所有像素值统一映射到[0,1]区间，提高模型收敛速度，让各个特征对结果做出的贡献相同。
6.根据权利要求1所述一种基于残差网络和迁移学习的高分遥感图像分类方法，其特征在于，所述Resnet101网络第一层为卷积层，其后与4个残差块相连，所述卷积层和残差块的卷积核尺寸和通道数为：
1*1、3*3、1*1、64、64、256；
1*1、3*3、1*1、128、128、512；
1*1、3*3、1*1、256、256、1024；
1*1、3*3、1*1、512、512、2048。
7.根据权利要求1所述一种基于残差网络和迁移学习的高分遥感图像分类方法，其特征在于，所述Resnet101深度残差网络训练过程的代码实现语言为Python，实现框架为PyTorch，迭代次数为50次。
8.根据权利要求6所述一种基于残差网络和迁移学习的高分遥感图像分类方法，其特征在于，训练过程中，只保存模型的权重之后直接载入模型与训练数据开始训练,以减少空间占用，节约内存。
CN202110113122.1A 2021-01-27 2021-01-27 一种基于残差网络和迁移学习的高分遥感图像分类方法 Active CN112836614B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110113122.1A CN112836614B (zh) 2021-01-27 2021-01-27 一种基于残差网络和迁移学习的高分遥感图像分类方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110113122.1A CN112836614B (zh) 2021-01-27 2021-01-27 一种基于残差网络和迁移学习的高分遥感图像分类方法

Publications (2)

Publication Number Publication Date
CN112836614A CN112836614A (zh) 2021-05-25
CN112836614B true CN112836614B (zh) 2022-07-12

Family

ID=75932002

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110113122.1A Active CN112836614B (zh) 2021-01-27 2021-01-27 一种基于残差网络和迁移学习的高分遥感图像分类方法

Country Status (1)

Country Link
CN (1) CN112836614B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113657276A (zh) * 2021-08-18 2021-11-16 江苏天汇空间信息研究院有限公司 一种遥感影像语义分割的模型迁移训练方法
CN114612787B (zh) * 2022-03-21 2024-05-10 南京市测绘勘察研究院股份有限公司 一种尺度变化策略支持的城市绿地深度学习提取方法
CN115035406B (zh) * 2022-06-08 2023-08-04 中国科学院空间应用工程与技术中心 遥感场景数据集的标注方法、系统、存储介质及电子设备
CN118313431A (zh) * 2024-04-24 2024-07-09 广东省科技基础条件平台中心 预训练模型微调方法、农作物监测方法、装置及设备

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110046575A (zh) * 2019-04-16 2019-07-23 浙江农林大学 基于改进残差网络的遥感图像场景分类方法
CN110555446A (zh) * 2019-08-19 2019-12-10 北京工业大学 基于多尺度深度特征融合和迁移学习的遥感影像场景分类方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110046575A (zh) * 2019-04-16 2019-07-23 浙江农林大学 基于改进残差网络的遥感图像场景分类方法
CN110555446A (zh) * 2019-08-19 2019-12-10 北京工业大学 基于多尺度深度特征融合和迁移学习的遥感影像场景分类方法

Also Published As

Publication number Publication date
CN112836614A (zh) 2021-05-25

Similar Documents

Publication Publication Date Title
CN112836614B (zh) 一种基于残差网络和迁移学习的高分遥感图像分类方法
CN111986099B (zh) 基于融合残差修正的卷积神经网络的耕地监测方法及系统
CN109800736B (zh) 一种基于遥感影像和深度学习的道路提取方法
CN109446992B (zh) 基于深度学习的遥感影像建筑物提取方法及系统、存储介质、电子设备
Shi et al. Road detection from remote sensing images by generative adversarial networks
CN110889449A (zh) 一种增强边缘的、多尺度的遥感影像建筑物语义特征提取方法
CN112287807B (zh) 一种基于多分支金字塔神经网络的遥感影像道路提取方法
CN114092832B (zh) 一种基于并联混合卷积网络的高分辨率遥感影像分类方法
CN107067405B (zh) 基于尺度优选的遥感影像分割方法
Mboga et al. Fully convolutional networks for land cover classification from historical panchromatic aerial photographs
CN111639587B (zh) 基于多尺度谱空卷积神经网络的高光谱图像分类方法
CN111028255A (zh) 基于先验信息与深度学习的农田区域预筛选方法及装置
CN112560719B (zh) 基于多尺度卷积-多核池化的高分辨率影像水体提取方法
CN112906662A (zh) 一种遥感图像变化检测方法、装置、设备及存储介质
CN114283285A (zh) 交叉一致性自训练遥感图像语义分割网络训练方法及装置
CN112001293A (zh) 结合多尺度信息和编解码网络的遥感影像地物分类方法
CN117455868A (zh) 基于显著融合差异图和深度学习的sar图像变化检测方法
CN114882380A (zh) 一种基于改进hrnet模型的湿地资源遥感识别算法
CN116310628A (zh) 一种基于令牌掩码机制的大尺度城中村提取方法
CN113378642B (zh) 一种对农村违法占地建筑物进行检测的方法
CN114612315A (zh) 一种基于多任务学习的高分辨率影像缺失区域重建方法
Chen et al. Mapping urban form and land use with deep learning techniques: a case study of Dongguan City, China
CN113592829B (zh) 基于分割重组的深度学习泥沙颗粒识别方法及装置
CN113591740B (zh) 基于深度学习的复杂河流环境下泥沙颗粒识别方法及装置
CN114549534B (zh) 矿区土地利用识别方法、装置、设备及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB03 Change of inventor or designer information

Inventor after: Yao Jun

Inventor after: Chang Hao

Inventor after: Weng Beibei

Inventor after: Yang Le

Inventor after: Ju Ling

Inventor after: Feng Wei

Inventor after: Bu Xinlian

Inventor after: Li Xin

Inventor after: Zhao Xiangwei

Inventor before: Chang Hao

Inventor before: Bu Xinlian

Inventor before: Yang Le

Inventor before: Feng Wei

Inventor before: Li Xin

Inventor before: Zhao Xiangwei

Inventor before: Yang Jiaqi

Inventor before: Wu Chen

CB03 Change of inventor or designer information
TA01 Transfer of patent application right

Effective date of registration: 20210825

Address after: No.2, Fenghuang West Road, Taizhou City, Jiangsu Province

Applicant after: STATE GRID JIANGSU ELECTRIC POWER Co.,Ltd. TAIZHOU POWER SUPPLY BRANCH

Applicant after: STATE GRID JIANGSU ELECTRIC POWER Co.,Ltd.

Applicant after: CHINA ENERGY ENGINEERING GROUP JIANGSU POWER DESIGN INSTITUTE CO.,LTD.

Address before: No.2, Fenghuang West Road, Taizhou City, Jiangsu Province

Applicant before: STATE GRID JIANGSU ELECTRIC POWER Co.,Ltd. TAIZHOU POWER SUPPLY BRANCH

Applicant before: STATE GRID JIANGSU ELECTRIC POWER Co.,Ltd.

Applicant before: CHINA ENERGY ENGINEERING GROUP JIANGSU POWER DESIGN INSTITUTE CO.,LTD.

Applicant before: WUHAN University

TA01 Transfer of patent application right
GR01 Patent grant
GR01 Patent grant