CN110210419A - 高分辨率遥感图像的场景识别系统及模型生成方法 - Google Patents

高分辨率遥感图像的场景识别系统及模型生成方法 Download PDF

Info

Publication number
CN110210419A
CN110210419A CN201910486641.5A CN201910486641A CN110210419A CN 110210419 A CN110210419 A CN 110210419A CN 201910486641 A CN201910486641 A CN 201910486641A CN 110210419 A CN110210419 A CN 110210419A
Authority
CN
China
Prior art keywords
remote sensing
rfpnet
layer
pond
resolution remote
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910486641.5A
Other languages
English (en)
Inventor
王永成
张欣
张宁
徐东东
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Changchun Institute of Optics Fine Mechanics and Physics of CAS
Original Assignee
Changchun Institute of Optics Fine Mechanics and Physics of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Changchun Institute of Optics Fine Mechanics and Physics of CAS filed Critical Changchun Institute of Optics Fine Mechanics and Physics of CAS
Priority to CN201910486641.5A priority Critical patent/CN110210419A/zh
Publication of CN110210419A publication Critical patent/CN110210419A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/044Recurrent networks, e.g. Hopfield networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • G06N3/084Backpropagation, e.g. using gradient descent
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/10Terrestrial scenes
    • G06V20/13Satellite images

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Astronomy & Astrophysics (AREA)
  • Remote Sensing (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明实施例公开了一种高分辨率遥感图像的场景识别系统及用于识别高分辨率遥感图像场景的模型生成方法。其中,系统包括用于对遥感图像场景识别的RFPNet网络模型,该模型包括卷积层组件、池化层组件及全连接层组件;每个池化层与全连接层相连,以将各池化层的特征向量维度降为一维;卷积层组件中包含多个卷积层和多个残差模块,各残差模块均包括多个卷积层;全连接层组件中与各池化层相连的全连接层通过级联方式将池化层组件的特征向量输入至不与池化层相连的全连接层中。本申请采用残差块使得当网络层数增加时,准确率不会下降;基于池化特征融合解决了池化过程中信息丢失的问题,保证了信息的完整性,有效提高了高分辨遥感图像场景识别的准确率。

Description

高分辨率遥感图像的场景识别系统及模型生成方法
技术领域
本发明实施例涉及遥感图像分类技术领域,特别是涉及一种高分辨率遥感图像的场景识别系统及用于识别高分辨率遥感图像场景的模型生成方法。
背景技术
随着获取遥感图像数据能力的不断提高以及遥感数据成像方式的多样化发展,遥感图像数据呈现海量化和多元化的发展趋势,对遥感图像数据进行智能化、自动化的分析是大数据时代发展下的要求,在遥感图像数据分析过程中对遥感图像数据的分类是一个不可避免的环节。
在对遥感图像进行分类时,通常采用训练好的卷积神经网络模型进行图像分类。传统的卷积神经网络通常采用平均池化或最大池化方法对池化层进行池化处理,虽然池化过程降低了计算量,但是损失了细节信息,从而对分类的准确率有一定的影响。
针对上述问题,相关技术通过加深卷积神经网络深度来提高分类准确率。但是,随着卷积神经网络模型深度的不断加深,会出现梯度消失或者梯度爆炸的问题,致使网络无法收敛,持续加深深度甚至会出现退化的现象。
发明内容
本公开实施例提供了一种高分辨率遥感图像的场景识别系统及用于识别高分辨率遥感图像场景的模型生成方法,有效提高了高分辨遥感图像场景识别的准确率。
为解决上述技术问题,本发明实施例提供以下技术方案:
本发明实施例一方面提供了一种高分辨率遥感图像的场景识别系统,包括:
包括用于对遥感图像场景识别的RFPNet网络模型,所述RFPNet网络模型包括卷积层组件、池化层组件及全连接层组件;
所述池化层组件中的每个池化层与所述全连接层组件中的全连接层相连,以用于将各池化层的特征向量维度降为一维;
所述卷积层组件中包含多个卷积层和多个残差模块,各残差模块均包括多个卷积层;
所述全连接层组件中与各池化层相连的全连接层通过级联方式将所述池化层组件的特征向量输入至不与池化层相连的全连接层中。
可选的,各残差模块均由三个卷积层构成,且其中两个卷积层的卷积核尺寸为1*1。
可选的,所述RFPNet网络模型的输入层组件还包括训练样本集主动读取模块,所述训练样本集主动读取模块用于采用队列或多线程方式从训练样本集中读取样本数据。
可选的,所述RFPNet网络模型还包括数据集扩增模块,所述数据集扩增模块用于对包含多张共享的高分辨遥感图像的训练样本集进行样本图像扩增操作,所述数据集扩增模块包括:
标注框标注子模块,用于在样本图像上生成预设个数的标注框;
图像截取子模块,用于随机裁剪所述样本图像上各标注框中的图像部分,以生成多个包含图像内容不完全相同的子图像;
图像调整子模块,用于采用尺寸调整算法将各子图像的图像尺寸调整为所述RFPNet网络模型输入图像的尺寸。
可选的,所述图像调整子模块还包括翻转单元和归一化单元;
所述翻转单元用于按照预设角度对每幅子图像进行翻转。
所述归一化单元用于对每幅子图像的亮度进行归一化处理。
可选的,所述卷积层组件中不用于构建残差模块的卷积层构成集合为单卷积层集;所述单卷积层集中的各卷积层的卷积核尺寸值沿输入图像的处理方向减小。
可选的,所述全连接层组件还包括模型优化模块,所述模型优化模块设置在不与池化层相连的全连接层中,用于采用Dropout算法随机删除所述RFPNet网络模型中的多个隐藏单元。
可选的,所述RFPNet网络模型的输出层组件还包括参数更新频率控制模块,所述参数更新频率控制模块用于利用预先构建的滑动平均模型通过不断更新衰减率来控制所述RFPNet网络模型变量更新的幅度。
可选的,所述RFPNet网络模型的输出层组件包括Softmax分类器和损失函数模块;
所述损失函数模块用于利用参数范数正则化方法为损失函数增加参数范数惩罚项。
本发明实施例另一方面提供了一种用于识别高分辨率遥感图像场景的模型生成方法,包括:
在预先搭建训练环境中构建用于对遥感图像场景识别的RFPNet网络模型的框架结构;所述RFPNet网络模型包括多个由卷积层构成的残差模块,各池化层分别与预设个数的全连接层相连,且与各池化层相连的全连接层通过级联方式将池化层的特征向量输入至不与池化层相连的全连接层中;
利用训练样本集的高分辨率遥感图像训练所述RFPNet网络模型直至满足预设结束条件,得到训练好的RFPNet网络模型。
本申请提供的技术方案的优点在于,RFPNet网络模型包括多个残差模块,在未增加参数或计算复杂度的前提下允许网络跳跃多层进行传递,使得网络学习目标变为极小化残差,从而提升网络对于微小的变化都有很强的敏感性,即使网络层数增加时,整个网络模型的准确率不会下降;RFPNet网络模型的每个池化层通过全连接层展成一维向量,并将特征向量通过全连接层进行级联,使得不同的池化层所包含的信息相互补充并且将细节信息保留,解决了相关技术中池化过程中信息丢失的问题,保证了信息的完整性,从而提高了RFPNet网络模型识别高分辨率遥感图像场景的准确度。
此外,本发明实施例还针对高分辨率遥感图像的场景识别系统提供了相应的用于识别高分辨率遥感图像的场景的模型生成方法,进一步使得所述系统更具有可行性,所述模型生成方法具有相应的优点。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性的,并不能限制本公开。
附图说明
为了更清楚的说明本发明实施例或相关技术的技术方案,下面将对实施例或相关技术描述中所需要使用的附图作简单的介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本公开根据一示例性实施例示出的高分辨率遥感图像的场景识别系统的结构框图;
图2为本公开根据一示例性实施例示出的残差模块的结构示意图;
图3为本公开根据一示例性实施例示出的池化特征融合方法的原理示意图;
图4为本公开根据另一示例性实施例示出的高分辨率遥感图像的场景识别系统的结构图;
图5为本公开提供的对国际通用的UC Merced数据集进行训练测试的结构示意图;
图6为本公开提供的对国际通用的SIRI-WHU数据集进行训练测试的结构示意图;
图7为本公开提供的一种用于识别高分辨率遥感图像场景的模型生成方法的流程示意图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案,下面结合附图和具体实施方式对本发明作进一步的详细说明。显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”“第四”等是用于区别不同的对象,而不是用于描述特定的顺序。此外术语“包括”和“具有”以及他们任何变形,意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元,而是可包括没有列出的步骤或单元。
本申请的发明人经过研究发现,在遥感图像场景分类领域中,卷积神经网络作为一个非常重要的学习框架,起有着十分重要的作用。然而目前共享的高分辨率遥感图像十分有限,不能满足重新设计一个理想的卷积神经网络的需求。另外,重新训练基于高分辨率遥感图像场景分类的卷积神经网络具有一定的难度,需要丰富网络设计经验、高性能的计算设备以及较长的训练时间。因此,大部分方法均利用已有的卷积神经网络预训练模型通过迁移学习进行遥感图像的分类,使用共享的高分辨率遥感图像重新训练卷积神经网络方法的相关研究较少。为了解决高分辨率遥感图像场景分类中存在的问题,本申请提出了基于RFPNet网络模型的高分辨率遥感图像场景识别系统。
在介绍了本发明实施例的技术方案后,下面详细的说明本申请的各种非限制性实施方式。
首先请参见图1,图1为本发明实施例提供的高分辨率遥感图像的场景识别系统在一种具体实施方式下的结构框图,该系统可包括用于对遥感图像场景识别的RFPNet网络模型1,RFPNet网络模型1可包括输入层组件11、卷积层组件12、池化层组件13、全连接层组件14以及输出层组件15。
本申请中,卷积层组件12中可包含多个单独的卷积层和多个残差模块,各残差模块均包括多个卷积层。此处,单独的卷积层是为了区别用于构建残差模块中的卷积层,卷积层组件12中不用于构建残差模块的卷积层构成集合可称为单卷积层集。单卷积层集中的各卷积层在RFPNet网络模型中的功能与传统卷积神经网络模型中卷积层的功能相同,每个单独的卷积层的卷积核大小和卷积核个数,可根据实际应用场景和用户需求进行确定,本申请对此不做任何限定。残差模块通过引入跳跃连接,在未增加参数或计算复杂度的前提下允许卷积神经网络跳跃多层进行传递,从而使得网络学习目标变为极小化残差,从而使得网络对于微小的变化都有很强的敏感性。可选的,各残差模块可均由三个卷积层构成,且其中两个卷积层的卷积核尺寸为1*1。如图2所示为三层结构的残差块,ReLU(RectifiedLinear Unit线性整流函数)为激活函数,通过使用2个1×1卷积核从而实现特征图的降维或升维操作。残差块的引入使得不仅能够提高训练效果,并且当模型的层数加深时,这个简单的结构能够很好的解决退化问题。
在本实施例中,池化层组件13可采用池化特征融合方法解决池化过程中有用信息或细节信息丢失的问题,请参阅图3所示,图中的FC表示全连接层,FC1、FC2…FC7为对全连接层组件14中各全连接层的命名。具体来说,池化层组件13中的每个池化层与全连接层组件14中的全连接层相连,以用于将各池化层的特征向量维度降为一维。也就是说,池化层组件13中的每个池化层例如可通过一个全连接层展成一维向量,并将特征向量通过不与其相连的全连接层进行级联,最终通过输出层组件15进行分类。池化特征融合方法能够使得不同的池化层所包含的信息相互补充并且将细节信息保留,通过池化层的语义信息的互补来提高高分辨率遥感图像场景识别的准确率。
可以理解的是,全连接层组件14中包含两类全连接层,一类为与池化层组件13中各池化层相连的全连接层,另一类为与输出层组件15相连、且不与池化层相连的全连接层。全连接层组件14中与各池化层相连的全连接层通过级联方式将池化层组件的特征向量输入至不与池化层相连的全连接层中。
在该实施例中,RFPNet网络模型的输入层组件11和输出层组件15的结构功能可参阅相关技术中卷积神经网络模型的输入层和输出层的相关描述,此处,便不再赘述。可选的,RFPNet网络模型1的输入层组件11还可包括训练样本集主动读取模块,训练样本集主动读取模块用于采用队列或多线程方式从训练样本集中读取样本数据。
在本发明实施例提供的技术方案中,RFPNet网络模型包括多个残差模块,在未增加参数或计算复杂度的前提下允许网络跳跃多层进行传递,使得网络学习目标变为极小化残差,从而提升网络对于微小的变化都有很强的敏感性,即使网络层数增加时,整个网络模型的准确率不会下降;RFPNet网络模型的每个池化层通过全连接层展成一维向量,并将特征向量通过全连接层进行级联,使得不同的池化层所包含的信息相互补充并且将细节信息保留,解决了相关技术中池化过程中信息丢失的问题,保证了信息的完整性,从而提高了RFPNet网络模型识别高分辨率遥感图像场景的准确度。
目前,基于卷积神经网络的高分辨率遥感图像的场景识别的方法以迁移学习为主,即将基于大规模数据(如ImageNet)训练的预训练模型通过直接应用或微调的方式应用在遥感图像领域。但是为了深度学习的方法在遥感场景分类中的进一步发展,使用共享的高分辨率遥感图像数据集构建新的卷积神经网络模型具有一定的必要性。尽管遥感图像的数据量日益增长,但是目前具有标签信息的国际共享遥感图像数据集的数据量依然很少,而训练一个新的卷积神经网络模型通常需要大量的数据,由于高分辨率遥感图像中的物体随机分布在图像中,本申请提供在有限样本基础上可进行多视角多尺度拉伸的策略,从而实现了训练样本数据集的扩增,解决了目前共享的高分辨率遥感图像数据集中数据量的限制。RFPNet网络模型可包括数据集扩增模块,数据集扩增模块用于对包含多张共享的高分辨遥感图像的训练样本集进行样本图像扩增操作,数据集扩增模块包括:
标注框标注子模块,用于在样本图像上生成预设个数的标注框。举例来说,例如可采用两个不同大小的标注框在图像上进行标注,从而实现提取不同视角不同尺寸的图像信息。
图像截取子模块,用于随机裁剪样本图像上各标注框中的图像部分,以生成多个包含图像内容不完全相同的子图像。举例来说,对于每个标注框中的图像,可随机裁剪任意部分的图像,例如裁剪40%的信息内容。
图像调整子模块,用于采用尺寸调整算法将各子图像的图像尺寸调整为RFPNet网络模型输入图像的尺寸。尺寸调整算法例如可为插值算法,如双线性插值法、最近邻插值法、双三次插值法、面积插值法等。举例来说,输入图像的尺寸可为256*256*3,可利用不同的插值算法或同时使用多种插值算法将各子图像的尺寸拉伸为256*256*3。
在另外一种实施方式中,图像调整子模块例如还可包括翻转单元和归一化单元。
其中,翻转单可用于按照预设角度对每幅子图像进行翻转。图像翻转不会影响模型识别的结果,但是,不同角度描述同一张图像,尽可能多的保留图像的细节信息,有利于提升模型训练精度。故可以以50%概率左右翻转得到的各个子图像,使得训练样本集中的样本图像更具有多样性。为了便于后续图像数据处理,还可通过归一化单元用于对每幅子图像的亮度进行归一化处理。例如可对图像进行标准化操作,将图像的亮度均值变为0,方差变为1,如公式(1)及公式(2)所示:
式中,X为图像矩阵,μ为图像均值,σ为标准方差,N为X图像的像素数目。
需要说明的是,本申请提供的多视角多尺度拉伸训练样本集与裁剪图像的四角及中心并进行旋转从而扩增数据集的方法不同,本申请随机裁剪标注框的不同部位,并且随机采用了尺寸调整算法,如插值方法将裁剪的图像拉伸为网络的输入大小,然后进行左右翻转。不仅能够扩大数据集的数量,采用插值算法对裁剪得到各子图像进行拉伸,插值的过程相当于加入噪声,提高了模型的鲁棒性,从而提高构建的卷积神经网络模型的泛化能力。
由上可知,本发明实施例依次对训练样本集中的每个样本图像进行标注框标注、随机裁剪、随机拉伸、随机翻转、图像归一化操作,一方面扩增了数据集,使网络能够学习到不同视角的遥感图像;另一方面在拉伸操作中通过引入噪声,从而提高模型的鲁棒性。
在一种实施方式中,RFPNet网络模型1可包括第一部分结构和第二部分结构,第一部分结构在沿输入图像处理方向上位于第二部分结构之前,也可称为前半部分结构和后半部分结构。RFPNet网络模型1构建的基本原则为模型的第一部分,例如前半部分可采用较大的卷积核提取浅层特征,模型的第二部分,例如后半部分可采用较小的卷积核提取深层特征。相应的,单卷积层集中的各卷积层的卷积核尺寸值沿输入图像的处理方向减小,举例来说,RFPNet网络模型1与输入层组件11相连的卷积层的卷积核可为7*7用于提取输入图像的较大特征,沿输入图像处理方向位于RFPNet网络模型1的最后一个卷积层的卷积核大小可为3*3。为了便于本领域技术人员更加清楚明白本申请提供的技术方案,本申请还提供了一种示意性的RFPNet网络模型1结构,请参阅图4,可包括:
RFPNet网络模型1可包括一个输入层、21个卷积层、6池化层、7个全连接层以及1个输出层;每三个卷积层构成一个残差模块,共5个残差模块。该RFPNet网络模型1的前半部分采用较大的卷积核提取浅层特征,模型的后半部分采用较小的卷积核提取深层特征。网络模型的输入为256×256×3的高分辨遥感图像,首先采用7×7的卷积核进行较大特征的提取,接着采用5×5的卷积核提取特征,通过一个残差模块,再次采用池化进行特征降维,通过若干个卷积、残差模块以及池化操作,最后经过全连接组件的最后一个全连接层(全连接层7)进行连接。为了解决池化操作导致信息丢失的问题,每个池化层均采用一个全连接层将其展成一维特征向量,并通过特征级联的方式同时作为全连接层7的输入,从而在一定程度上保证了信息的完整性。模型的输出层可采用Softmax分类器进行分类,输出的大小取决于待分类遥感场景的类别数。
在另外一种实施方式中,全连接层组件14还可包括模型优化模块,模型优化模块设置在不与池化层相连的全连接层中,例如图4中的全连接层7,模型优化模块可用于采用Dropout算法随机删除RFPNet网络模型中的多个隐藏单元。Dropout策略通过随机删除一部分隐藏单元,提高了RFPNet网络模型1的泛化能力,从而降低了过拟合的现象。
可选的,RFPNet网络模型1的输出层组件15还可包括参数更新频率控制模块,参数更新频率控制模块可用于利用预先构建的滑动平均模型通过不断更新衰减率来控制RFPNet网络模型变量更新的幅度。滑动平均模型通过不断更新衰减率来控制变量更新的幅度,从而使得训练初期模型更新较快,在训练后期模型也就是接近最优值时更新较慢,有利于提高RFPNet网络模型1的健壮性。滑动平均模型的衰减率和参数更新可如公式(3)和公式(4):
shadow_var=decay×shadow_var+(1-decay)×var。(4)
式中,init_decay为设置的初始衰减率,num_update为更新次数,var为待更新变量,shadow_var为变量更新后的数值,也可称为影子变量。
需要说明的是,滑动平均模型可在模型训练过程以及模型验证评估过程均有应用。在模型训练阶段,可为每个可训练的权重维护影子变量,并随着迭代的进行更新;在模型验证评估阶段,可使用影子变量替代真实变量值,进行分类预测。
在其他一些实施方式中,RFPNet网络模型1的输出层组件15还可包括Softmax分类器和损失函数模块。损失函数模块可用于利用参数范数正则化方法为损失函数增加参数范数惩罚项,可采用任何一种损失函数,例如交叉熵损失函数,本申请对此不做任何限定。参数范数正则化通过向目标函数中加入参数范数惩罚项来限制权重的大小,使得模型不能任意拟合训练数据中的随机噪声,进一步地优化模型,提高RFPNet网络模型的目标识别准确率。
此外,RFPNet网络模型1的输出层组件15还可包括参数优化模块,参数优化模块用于采用Adam算法优化RFPNet网络模型1的参数权重。基于mini-batch的Adam优化算法(adaptive moment estimatio,适应性矩估计)进行梯度下降操作,采用反向传播算法实现迭代过程,例如可设置迭代次数为100000次,有利于进一步提升RFPNet网络模型的目标识别准确率。
可选的,可将已有的高分辨遥感样本图像按照4:1分为训练样本和测试样本,从而生成训练样本集和测试样本集。可利用训练样本集的二进制文件来对RFPNet网络模型进行训练,并使用测试样本集对训练好的RFPNet网络模型进行测试,在测试过程中可采用测试集在训练好的模型上每隔10s加载一次测试结果,从而完成高分辨率遥感图像的场景识别分类任务。
在一种实施方式中,可在两个国际通用的高分辨率遥感图像数据集,如UC Merced数据集以及SIRI-WHU数据集上进行模型训练及验证评价,UC Merced数据集中每幅图像的像素为256×256,空间分辨率为30cm,共21类图像,每类图像100幅。SIRI-WHU数据集中每幅图像的像素为200×200,空间分辨率为2m,共12类图像,每类图像200幅。最后采用准确率、精确度、召回率及F1值评价指标对RFPNet网络模型的识别结果进行评价。对于一组个数为M,正例样本为P个,负例样本为N个的样本分类识别问题,可以将样例根据真实类别与学习器预测类别的组合划分为真正例(TP)、假正例(FP)、真负例(TN)、假负例(FN)四种情形,如表1所示。
表1 分类问题的四种情形
其中,真正例为判断为正例的正例,假负例为判断为负例的正例,则正例P的个数为:
P=TP+FN;
同理,真负例为判断为负例的负例,假正例为判断为正例的负例,则负例N的个数为:
N=TN+FP;
准确率为判断正确的例子的比例,计算公式为:
accuracy=TP/(P+N);
精确度为所有判断为正例的例子中,真正为正例所占的比例,计算公式为:
precision=TP/(TP+FP);
召回率为所有正例中,被判断为正例的比例,计算公式为:
recall=TP/(TP+FN);
F1值为精确率与召回率的综合评价指标,计算公式为:
F1=2×precison×recall/(precision+recall)。
图5为本发明实施方案中对国际通用的UC Merced数据集进行训练测试,所得测试集中每个类别及平均的准确率、精确度、召回率、F1值。图中,每个类别的准确率、精确度、召回率、F1值均超过80%。平均的准确率、精确度、召回率、F1值分别为93.3%、94%、93%、93%。从而证明了提出的方法具有综合性的优势。图6为本发明实施方案中对国际通用的SIRI-WHU数据集进行训练测试,所得测试集中每个类别及平均的准确率、精确度、召回率、F1值。图中,每个类别的准确率、精确度、召回率、F1值均超过80%。平均的准确率、精确度、召回率、F1值分别为91.5%、92%、91%、91%。从而证明了提出的方法具有综合性的优势。
本发明实施例还针对高分辨率遥感图像的场景识别系统提供了相应的识别场景模型生成方法,进一步使得系统更具有可行性。下面对本发明实施例提供的用于识别高分辨率遥感图像场景的模型生成方法进行介绍,下文描述的用于识别高分辨率遥感图像场景的模型生成方法与上文描述的高分辨率遥感图像的场景识别系统可相互对应参照。
请参见图7,图7为本发明实施例提供的一种用于识别高分辨率遥感图像场景的模型生成方法的流程示意图,本发明实施例可包括以下内容:
S701:在预先搭建训练环境中构建用于对遥感图像场景识别的RFPNet网络模型的框架结构。
RFPNet网络模型包括多个由卷积层构成的残差模块,各池化层分别与预设个数的全连接层相连,且与各池化层相连的全连接层通过级联方式将池化层的特征向量输入至不与池化层相连的全连接层中。
S702:利用训练样本集的高分辨率遥感图像训练RFPNet网络模型直至满足预设结束条件,得到训练好的RFPNet网络模型。
可以理解的是,在训练RFPNet网络模型之前,需要预先搭建软硬件环境。一种实施方式中,本实施例中的硬件平台可为基于Intel E5-2690V3处理器,TITAN V GPU,64G内存。软件平台可为基于Ubantu16.04版本,采用CUDA 9.0、CUDNN 7以及TensorFlow1.12.0环境。其中,TensorFlow为开放源代码软件库,用于进行高性能数值计算,可将复杂的数据结构传输至人工智能神经网中进行分析和处理。凭借其灵活的架构,可轻松地将计算工作部署到多种平台(如CPU、GPU、TPU)和设备(桌面设备、服务器等),被广泛用于语音识别或图像识别等机器深度学习领域。
还需要说明的是,训练样本集或测试样本集中的图像格式要与所搭建的软件环境中使用的计算软件保持一致。例如采用TensorFlow软件时,需要将训练样本集或测试样本集中的图像格式转化为TFRecord格式,然后可通过队列以及多线程方式对该二进制文件进行读取。
本发明实施例所述用于识别高分辨率遥感图像场景的模型生成方法的各步骤的具体实现过程可参阅上述系统实施例中的各功能模块的相关描述,此处不再赘述。
由上可知,本发明实施例采用残差块使得当网络层数增加时,准确率不会下降;基于池化特征融合解决了池化过程中信息丢失的问题,保证了信息的完整性,有效提高了高分辨遥感图像场景识别的准确率。
本发明实施例还提供了一种用于识别高分辨率遥感图像场景的模型生成设备,具体可包括:
存储器,用于存储计算机程序;
处理器,用于执行计算机程序以实现如上任意一实施例所述用于识别高分辨率遥感图像场景的模型生成方法的步骤。
本发明实施例所述用于识别高分辨率遥感图像场景的模型生成设备的各功能模块的功能可根据上述方法实施例中的方法具体实现,其具体实现过程可以参照上述方法实施例的相关描述,此处不再赘述。
由上可知,本发明实施例采用残差块使得当网络层数增加时,准确率不会下降;基于池化特征融合解决了池化过程中信息丢失的问题,保证了信息的完整性,有效提高了高分辨遥感图像场景识别的准确率。
本发明实施例还提供了一种计算机可读存储介质,存储有用于识别高分辨率遥感图像场景的模型生成程序,所述用于识别高分辨率遥感图像场景的模型生成程序被处理器执行时如上任意一实施例所述用于识别高分辨率遥感图像场景的模型生成方法的步骤。
本发明实施例所述计算机可读存储介质的各功能模块的功能可根据上述方法实施例中的方法具体实现,其具体实现过程可以参照上述方法实施例的相关描述,此处不再赘述。
由上可知,本发明实施例采用残差块使得当网络层数增加时,准确率不会下降;基于池化特征融合解决了池化过程中信息丢失的问题,保证了信息的完整性,有效提高了高分辨遥感图像场景识别的准确率。
本说明书中各个实施例采用递进的方式描述,每个实施例重点说明的都是与其它实施例的不同之处,各个实施例之间相同或相似部分互相参见即可。对于实施例公开的装置而言,由于其与实施例公开的方法相对应,所以描述的比较简单,相关之处参见方法部分说明即可。
专业人员还可以进一步意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、计算机软件或者二者的结合来实现,为了清楚地说明硬件和软件的可互换性,在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本发明的范围。
结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块,或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。
以上对本发明所提供的一种高分辨率遥感图像的场景识别系统及用于识别高分辨率遥感图像场景的模型生成方法进行了详细介绍。本文中应用了具体个例对本发明的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本发明的方法及其核心思想。应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以对本发明进行若干改进和修饰,这些改进和修饰也落入本发明权利要求的保护范围内。

Claims (10)

1.一种高分辨率遥感图像的场景识别系统,其特征在于,包括用于对遥感图像场景识别的RFPNet网络模型,所述RFPNet网络模型包括卷积层组件、池化层组件及全连接层组件;
所述池化层组件中的每个池化层与所述全连接层组件中的全连接层相连,以用于将各池化层的特征向量维度降为一维;
所述卷积层组件中包含多个卷积层和多个残差模块,各残差模块均包括多个卷积层;
所述全连接层组件中与各池化层相连的全连接层通过级联方式将所述池化层组件的特征向量输入至不与池化层相连的全连接层中。
2.根据权利要求1所述的高分辨率遥感图像的场景识别系统,其特征在于,各残差模块均由三个卷积层构成,且其中两个卷积层的卷积核尺寸为1*1。
3.根据权利要求2所述的高分辨率遥感图像的场景识别系统,其特征在于,所述RFPNet网络模型的输入层组件还包括训练样本集主动读取模块,所述训练样本集主动读取模块用于采用队列或多线程方式从训练样本集中读取样本数据。
4.根据权利要求1至3任意一项所述的高分辨率遥感图像的场景识别系统,其特征在于,所述RFPNet网络模型还包括数据集扩增模块,所述数据集扩增模块用于对包含多张共享的高分辨遥感图像的训练样本集进行样本图像扩增操作,所述数据集扩增模块包括:
标注框标注子模块,用于在样本图像上生成预设个数的标注框;
图像截取子模块,用于随机裁剪所述样本图像上各标注框中的图像部分,以生成多个包含图像内容不完全相同的子图像;
图像调整子模块,用于采用尺寸调整算法将各子图像的图像尺寸调整为所述RFPNet网络模型输入图像的尺寸。
5.根据权利要求4所述的高分辨率遥感图像的场景识别系统,其特征在于,所述图像调整子模块还包括翻转单元和归一化单元;
所述翻转单元用于按照预设角度对每幅子图像进行翻转;
所述归一化单元用于对每幅子图像的亮度进行归一化处理。
6.根据权利要求1至3任意一项所述的高分辨率遥感图像的场景识别系统,其特征在于,所述卷积层组件中不用于构建残差模块的卷积层构成集合为单卷积层集;所述单卷积层集中的各卷积层的卷积核尺寸值沿输入图像的处理方向减小。
7.根据权利要求6所述的高分辨率遥感图像的场景识别系统,其特征在于,所述全连接层组件还包括模型优化模块,所述模型优化模块设置在不与池化层相连的全连接层中,用于采用Dropout算法随机删除所述RFPNet网络模型中的多个隐藏单元。
8.根据权利要求7所述的高分辨率遥感图像的场景识别系统,其特征在于,所述RFPNet网络模型的输出层组件还包括参数更新频率控制模块,所述参数更新频率控制模块用于利用预先构建的滑动平均模型通过不断更新衰减率来控制所述RFPNet网络模型变量更新的幅度。
9.根据权利要求8所述的高分辨率遥感图像的场景识别系统,其特征在于,所述RFPNet网络模型的输出层组件包括Softmax分类器和损失函数模块;
所述损失函数模块用于利用参数范数正则化方法为损失函数增加参数范数惩罚项。
10.一种用于识别高分辨率遥感图像的场景的模型生成方法,其特征在于,包括:
在预先搭建训练环境中构建用于对遥感图像场景识别的RFPNet网络模型的框架结构;所述RFPNet网络模型包括多个由卷积层构成的残差模块,各池化层分别与预设个数的全连接层相连,且与各池化层相连的全连接层通过级联方式将池化层的特征向量输入至不与池化层相连的全连接层中;
利用训练样本集的高分辨率遥感图像训练所述RFPNet网络模型直至满足预设结束条件,得到训练好的RFPNet网络模型。
CN201910486641.5A 2019-06-05 2019-06-05 高分辨率遥感图像的场景识别系统及模型生成方法 Pending CN110210419A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910486641.5A CN110210419A (zh) 2019-06-05 2019-06-05 高分辨率遥感图像的场景识别系统及模型生成方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910486641.5A CN110210419A (zh) 2019-06-05 2019-06-05 高分辨率遥感图像的场景识别系统及模型生成方法

Publications (1)

Publication Number Publication Date
CN110210419A true CN110210419A (zh) 2019-09-06

Family

ID=67790991

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910486641.5A Pending CN110210419A (zh) 2019-06-05 2019-06-05 高分辨率遥感图像的场景识别系统及模型生成方法

Country Status (1)

Country Link
CN (1) CN110210419A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111709903A (zh) * 2020-05-26 2020-09-25 中国科学院长春光学精密机械与物理研究所 一种红外与可见光图像融合方法
CN114550109A (zh) * 2022-04-28 2022-05-27 中国科学院微电子研究所 一种行人流量检测方法和系统
CN114882442A (zh) * 2022-05-31 2022-08-09 广州信诚信息科技有限公司 一种基于电力作业现场的人员装备态势识别方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160092790A1 (en) * 2014-09-25 2016-03-31 Samsung Eletrônica da Amazônia Ltda. Method for multiclass classification in open-set scenarios and uses thereof
CN106203354A (zh) * 2016-07-14 2016-12-07 南京信息工程大学 基于混合深度结构的场景识别方法
CN106250931A (zh) * 2016-08-03 2016-12-21 武汉大学 一种基于随机卷积神经网络的高分辨率图像场景分类方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160092790A1 (en) * 2014-09-25 2016-03-31 Samsung Eletrônica da Amazônia Ltda. Method for multiclass classification in open-set scenarios and uses thereof
CN106203354A (zh) * 2016-07-14 2016-12-07 南京信息工程大学 基于混合深度结构的场景识别方法
CN106250931A (zh) * 2016-08-03 2016-12-21 武汉大学 一种基于随机卷积神经网络的高分辨率图像场景分类方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
XIN ZHANG ET.AL: "Research on Scene Classification Method of High-Resolution Remote Sensing Images Based on RFPNet", 《APPLIED SCIENCES》 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111709903A (zh) * 2020-05-26 2020-09-25 中国科学院长春光学精密机械与物理研究所 一种红外与可见光图像融合方法
CN111709903B (zh) * 2020-05-26 2022-08-19 中国科学院长春光学精密机械与物理研究所 一种红外与可见光图像融合方法
CN114550109A (zh) * 2022-04-28 2022-05-27 中国科学院微电子研究所 一种行人流量检测方法和系统
CN114882442A (zh) * 2022-05-31 2022-08-09 广州信诚信息科技有限公司 一种基于电力作业现场的人员装备态势识别方法

Similar Documents

Publication Publication Date Title
CN110188725A (zh) 高分辨率遥感图像的场景识别系统及模型生成方法
Liu et al. Very deep convolutional neural network based image classification using small training sample size
Jeon et al. T-gd: Transferable gan-generated images detection framework
CN109934293A (zh) 图像识别方法、装置、介质及混淆感知卷积神经网络
CN108710906B (zh) 基于轻量级网络LightPointNet的实时点云模型分类方法
CN109558862A (zh) 基于空间感知的注意力细化框架的人群计数方法及系统
CN112529146B (zh) 神经网络模型训练的方法和装置
CN110210419A (zh) 高分辨率遥感图像的场景识别系统及模型生成方法
Zhu et al. Efficient action detection in untrimmed videos via multi-task learning
CN109978021A (zh) 一种基于文本不同特征空间的双流式视频生成方法
CN113159067A (zh) 一种基于多粒度局部特征软关联聚合的细粒度图像辨识方法及装置
Chen et al. Automated design of neural network architectures with reinforcement learning for detection of global manipulations
CN113378949A (zh) 一种基于胶囊网络和混合注意力的双重生成对抗学习方法
CN109376787A (zh) 流形学习网络及基于其的计算机视觉图像集分类方法
Dong et al. A combined deep learning model for the scene classification of high-resolution remote sensing image
CN117690178B (zh) 一种基于计算机视觉的人脸图像识别方法与系统
CN109978074A (zh) 基于深度多任务学习的图像美感和情感联合分类方法及系统
CN117057408A (zh) 一种基于gan的黑盒可迁移性对抗攻击方法
CN113111906A (zh) 一种基于单对图像训练的条件生成对抗网络模型的方法
CN114398485B (zh) 基于多视角融合的专家画像构建方法及装置
CN109948589A (zh) 基于量子深度信念网络的人脸表情识别方法
CN116797681A (zh) 渐进式多粒度语义信息融合的文本到图像生成方法及系统
CN113313039A (zh) 基于动作知识库与集成学习的视频行为识别方法及系统
Liu et al. Building holistic descriptors for scene recognition: A multi-objective genetic programming approach
Wang et al. Research on knowledge distillation algorithm of object detection

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20190906

RJ01 Rejection of invention patent application after publication