CN111860293A - 遥感场景分类方法、装置、终端设备及存储介质 - Google Patents
遥感场景分类方法、装置、终端设备及存储介质 Download PDFInfo
- Publication number
- CN111860293A CN111860293A CN202010689557.6A CN202010689557A CN111860293A CN 111860293 A CN111860293 A CN 111860293A CN 202010689557 A CN202010689557 A CN 202010689557A CN 111860293 A CN111860293 A CN 111860293A
- Authority
- CN
- China
- Prior art keywords
- feature
- convolution
- remote sensing
- sensing scene
- shallow
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 50
- 230000002776 aggregation Effects 0.000 claims abstract description 76
- 238000004220 aggregation Methods 0.000 claims abstract description 76
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 30
- 238000000605 extraction Methods 0.000 claims abstract description 20
- 230000002457 bidirectional effect Effects 0.000 claims abstract description 16
- 230000006870 function Effects 0.000 claims description 24
- 230000004913 activation Effects 0.000 claims description 14
- 238000003062 neural network model Methods 0.000 claims description 9
- 238000003475 lamination Methods 0.000 claims description 4
- 238000012545 processing Methods 0.000 claims description 4
- 238000011176 pooling Methods 0.000 description 18
- 230000008569 process Effects 0.000 description 11
- 238000010586 diagram Methods 0.000 description 8
- 230000007246 mechanism Effects 0.000 description 8
- 230000000295 complement effect Effects 0.000 description 6
- 238000010606 normalization Methods 0.000 description 6
- 238000004891 communication Methods 0.000 description 5
- 230000000750 progressive effect Effects 0.000 description 5
- 238000006116 polymerization reaction Methods 0.000 description 4
- 230000004931 aggregating effect Effects 0.000 description 3
- 230000003993 interaction Effects 0.000 description 3
- 230000000694 effects Effects 0.000 description 2
- 238000004880 explosion Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 238000004445 quantitative analysis Methods 0.000 description 2
- 239000000126 substance Substances 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
- G06V20/13—Satellite images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Biophysics (AREA)
- Remote Sensing (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Astronomy & Astrophysics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Computational Linguistics (AREA)
- Multimedia (AREA)
- Biomedical Technology (AREA)
- Health & Medical Sciences (AREA)
- Image Analysis (AREA)
Abstract
本发明属于遥感图像技术领域,公开了一种遥感场景分类方法、装置、终端设备及存储介质。所述方法包括:获取遥感场景图像集,并将遥感场景图像集输入预设卷积神经网络模型进行特征提取,以获得顶层语义特征集及浅层外观特征集;将顶层语义特征集通过密集连接进行特征聚合,以获取第一卷积特征;对浅层外观特征集进行特征聚合,以获取第二卷积特征;将第一卷积特征与第二卷积特征通过双向门控连接进行特征补偿,以获取目标卷积特征;根据目标卷积特征对遥感场景图像集中的遥感场景图像进行分类。利用特征聚合,通过浅层外观特征与顶层语义特征进行互补,防止了分类特征聚合阶段中的浅层卷积特征信息丢失。
Description
技术领域
本发明涉及遥感图像技术领域,尤其涉及一种遥感场景分类方法、装置、终端设备及存储介质。
背景技术
由于RS(Remote Sensing,遥感)场景包含复杂的不同类型的土地覆盖物,因此对RS场景分类是一项艰巨的任务,侧重于使用大量的工程技能和领域专业知识来设计各种人类工程特征,例如:颜色、纹理、形状、空间、光谱信息或它们的组合。RS场景分类往往存在通过光谱、形状或纹理才能更好区分不同场景的情况。目前,大多数工作都采用微调的预训练的CNN(Convolutional Neural Networks,卷积神经网络)与聚合不同层的卷积特征来对复杂的遥感场景进行分类。在聚合不同层卷积特征时,却很少关注由于需要将各层的卷积特征统一成一个尺寸,导致在聚合不同层的卷积特征时浅层卷积特征丢失了太多信息,而浅层卷积特征中是遥感场景外观特征较丰富的一部分。
发明内容
本发明的主要目的在于提供一种遥感场景分类方法、装置、终端设备及存储介质,旨在解决如何减少遥感场景分类时浅层卷积特征信息丢失的技术问题。
为实现上述目的,本发明提供一种遥感场景分类方法,所述方法包括:
获取遥感场景图像集,并将所述遥感场景图像集输入预设卷积神经网络模型进行特征提取,以获得顶层语义特征集及浅层外观特征集;
通过密集连接对所述顶层语义特征集进行特征聚合,以获取第一卷积特征;
对所述浅层外观特征集进行特征聚合,以获取第二卷积特征;
通过双向门控连接对所述第一卷积特征与所述第二卷积特征进行特征补偿,以获取目标卷积特征;
根据所述目标卷积特征对所述遥感场景图像集中的遥感场景图像进行分类。
可选地,所述获取遥感场景图像集,并将所述遥感场景图像集输入预设卷积神经网络模型进行特征提取,以获得顶层语义特征集及浅层外观特征集的步骤,具体包括:
获取遥感场景图像集,并将所述遥感场景图像集输入预设卷积神经网络模型进行场景特征提取,以获取场景特征集;
从所述场景特征集选取第一预设数量的顶层语义特征,并根据所述顶层语义特征生成顶层语义特征集;
从所述场景特征集选取第二预设数量的浅层外观特征,并根据所述浅层外观特征生成浅层外观特征集。
可选地,所述通过密集连接对所述顶层语义特征集进行特征聚合,以获取第一卷积特征的步骤,具体包括:
对所述顶层语义特征集对应的卷积层进行遍历,获取遍历到的当前卷积层对应的当前补偿特征;
将所述当前补偿特征与下一卷积层对应的顶层语义特征通过密集连接进行特征聚合,获得次级补偿特征;
判断所述下一卷积层是否为聚合终止卷积层,若是,则将所述次级补偿特征作为第一卷积特征。
可选地,所述对所述浅层外观特征集进行特征聚合,以获取第二卷积特征的步骤,具体包括:
根据ReLU激活函数对所述浅层外观特征集进行处理;
对处理后的浅层外观特征集所包含的浅层外观特征进行算数聚合,以获取第二卷积特征。
可选地,所述对处理后的浅层外观特征集所包含的浅层外观特征进行算数聚合,以获取第二卷积特征的步骤,具体包括:
获取处理后的浅层外观特征集所包含的浅层外观特征的通道大小;
对所述通道大小进行统一化处理,获得通道大小相同的目标浅层外观特征;
对所述目标浅层外观特征进行算数聚合,以获取第二卷积特征。
可选地,所述通过双向门控连接对所述第一卷积特征与所述第二卷积特征进行特征补偿,以获取目标卷积特征的步骤,具体包括:
通过双向门控连接获取所述第二卷积特征的目标补偿特征,并根据所述目标补偿特征对所述第一卷积特征进行特征补偿,以获取目标卷积特征。
可选地,所述根据所述目标卷积特征对所述遥感场景图像集中的遥感场景图像进行分类的步骤,具体包括:
将所述目标卷积特征与所述预设卷积神经网络模型输出的全局特征进行特征合并,以获取目标分类特征;
获取所述目标分类特征的特征向量,根据所述特征向量获取目标类别数;
根据所述目标类别数对所述遥感场景图像集中的遥感场景图像进行分类。
此外,为实现上述目的,本发明还提出一种遥感场景分类装置,所述装置包括:
提取模块,用于获取遥感场景图像集,并将所述遥感场景图像集输入预设卷积神经网络模型进行特征提取,以获得顶层语义特征集及浅层外观特征集;
密集连接模块,用于通过密集连接对所述顶层语义特征集进行特征聚合,以获取第一卷积特征;
浅层补偿模块,用于对所述浅层外观特征集进行特征聚合,以获取第二卷积特征;
门控模块,用于通过双向门控连接对所述第一卷积特征与所述第二卷积特征进行特征补偿,以获取目标卷积特征;
分类模块,用于根据所述目标卷积特征对所述遥感场景图像集中的遥感场景图像进行分类。
此外,为实现上述目的,本发明还提出一种终端设备,所述终端设备包括:存储器、处理器及存储在所述存储器上并可在所述处理器上运行的遥感场景分类程序,所述遥感场景分类程序配置为实现如上文所述的遥感场景分类方法的步骤。
此外,为实现上述目的,本发明还提出一种存储介质所述存储介质上存储有遥感场景分类程序,所述遥感场景分类程序被处理器执行时实现如上文所述的遥感场景分类方法的步骤。
本发明通过获取遥感场景图像集,并将所述遥感场景图像集输入预设卷积神经网络模型进行特征提取,以获得顶层语义特征集及浅层外观特征集;通过密集连接对所述顶层语义特征集进行特征聚合,以获取第一卷积特征;对所述浅层外观特征集进行特征聚合,以获取第二卷积特征;通过双向门控连接对所述第一卷积特征与所述第二卷积特征进行特征补偿,以获取目标卷积特征;根据所述目标卷积特征对所述遥感场景图像集中的遥感场景图像进行分类。实现了具有特征信息补偿的特征聚合补偿网络模型(FAC-CNN)。利用特征聚合的方式,通过浅层特征编码模块的浅层外观卷积特征与密集连接层提取到的顶层高级语义特征进行互补,避免了了分类特征聚合阶段中,由于特征聚合而导致的浅层卷积特征信息丢失。
附图说明
图1是本发明实施例方案涉及的硬件运行环境的终端设备的结构示意图;
图2为本发明遥感场景分类方法第一实施例的流程示意图;
图3为本发明遥感场景分类方法一实施例的门控函数示意图;
图4为本发明遥感场景分类方法第二实施例的流程示意图;
图5为本发明遥感场景分类装置第一实施例的结构框图。
本发明目的的实现、功能特点及优点将结合实施例,参照附图做进一步说明。
具体实施方式
应当理解,此处所描述的具体实施例仅用以解释本发明,并不用于限定本发明。
参照图1,图1为本发明实施例方案涉及的硬件运行环境的终端设备结构示意图。
如图1所示,该终端设备可以包括:处理器1001,例如中央处理器(CentralProcessing Unit,CPU),通信总线1002、用户接口1003,网络接口1004,存储器1005。其中,通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏(Display)、输入单元比如键盘(Keyboard),可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如无线保真(WIreless-FIdelity,WI-FI)接口)。存储器1005可以是高速的随机存取存储器(RandomAccess Memory,RAM)存储器,也可以是稳定的非易失性存储器(Non-Volatile Memory,NVM),例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。
本领域技术人员可以理解,图1中示出的结构并不构成对终端设备的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。
如图1所示,作为一种存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及遥感场景分类程序。
在图1所示的终端设备中,网络接口1004主要用于与网络服务器进行数据通信;用户接口1003主要用于与用户进行数据交互;本发明终端设备中的处理器1001、存储器1005可以设置在终端设备中,所述终端设备通过处理器1001调用存储器1005中存储的遥感场景分类程序,并执行本发明实施例提供的遥感场景分类方法。
本发明实施例提供了一种遥感场景分类方法,参照图2,图2为本发明一种遥感场景分类方法第一实施例的流程示意图。
本实施例中,所述遥感场景分类方法包括以下步骤:
步骤S10:获取遥感场景图像集,并将所述遥感场景图像集输入预设卷积神经网络模型进行特征提取,以获得顶层语义特征集及浅层外观特征集。
需要说明的是,本实施例中所述卷积神经网络模型包含密集连接、双向门控连接等功能,是一种端到端的利用渐进特征聚合与密集连接分别作为辅助外观特征与辅助高级语义特征的特征聚合补偿卷积神经网络(FAC-CNN,Feature Aggregation CompensationConvolutional Neural Networks)。所述辅助外观特征即本实施例中所述第二卷积特征,所述辅助高级语义特征即第一卷积特征。
需要说明的是,RS场景分类可以理解为通过提取场景特征,再以不同的特征区分为不同的类别的过程。本实施例中以VGG-16(Visual Geometry Group Network,视觉几何群网络)模型作为所述预设卷积神经网络模型,所述VGG-16模型中包含13个卷积层和3个全链接层,架构为卷积层、卷积层、卷积层、池化层。需要说明的是,所述预设卷积神经网络模型包括但不限于VGG-16模型,也可以为VGG-19模型等卷积神经网络模型。
步骤S10具体包括:获取遥感场景图像集,并将所述遥感场景图像集输入预设卷积神经网络模型进行场景特征提取,以获取场景特征集;从所述场景特征集选取第一预设数量的顶层语义特征,并根据所述顶层语义特征生成顶层语义特征集;从所述场景特征集选取第二预设数量的浅层外观特征,并根据所述浅层外观特征生成浅层外观特征集。
易于理解的是,将所述遥感场景图像集合输入预设卷积神经网络模型进行场景特征提取,所述预设卷积神经网络模型中包含多个卷积层,每个卷积层提取对应的场景特征,所有卷积层对应的场景特征形成场景特征集。本实施例中,所述VGG-16模型中包含13个卷积层和3个全链接层,所述第一预设数量为3,所述第二预设数量为3。在所述13个卷积层的顶层中获取3个顶层卷积层。3个所述顶层卷积层中包含的顶层语义特征生成了顶层语义特征集。在所述13个卷积层的浅层中获取3个浅层卷积层。3个所述浅层卷积层中包含的浅层外观特征生成了浅层外观特征集。
在具体实施中,对于所述浅层外观特征的选取,可根据浅层卷积层的数量拟定不同的方案,在所述不同方案中选取最优方案对应的浅层卷积层。例如:13个卷积层中有6层为浅层卷积层,存在20种不同的选取方案,验证不同组合对场景分类的结果影响,选取分类效果最优的选取方案对应的4个浅层卷积层。
步骤S20:通过密集连接对所述顶层语义特征集进行特征聚合,以获取第一卷积特征。
步骤S20具体包括:对所述顶层语义特征集对应的卷积层进行遍历,获取遍历到的当前卷积层对应的当前补偿特征;将所述当前补偿特征与下一卷积层对应的顶层语义特征通过密集连接进行特征聚合,获得次级补偿特征;判断所述下一卷积层是否为聚合终止卷积层,若是,则将所述次级补偿特征作为第一卷积特征。
需要说明的是,串联的层次网络在深度增加时,当输入或者梯度的信息通过很多层之后,它可能会出现梯度消失或梯度爆炸。可以通过利用残差网络与密集网络等跳跃连接的机制,解决此问题,同时,由于不需要重新学习冗余特征图,这种密集连接相对于传统连接方式只需要更少的参数,也更易于训练。本实施例的密集连接部分基于此思想,在端到端的FAC-CNN中,提取顶层高级语义卷积表示的过程时,采用密集连接机制。将上一卷积层作为当前卷积层的输入,上一卷积层和当前卷积层作为下一卷积层的输入,以此类推,最后得到的卷积特征表示作为我们的顶层高级语义卷积特征,即,所述第一卷积特征。
具体实施中,例如:选取了3个顶层卷积层,设为x1、x2、x3;将其中的x1通过两步卷积核大小为2×2,步长为2的最大池化操作将其的尺寸调整为14×14。然后,通过1×1的卷积操作将x1的通道数调整为C,在经过1x1的卷积操作后,转换为数。其中,1×1卷积操作过程中使用了C个卷积核x1与每个卷积核卷积得到然后通过堆叠不同通道的卷积结果得到如下所示
其中[·]表示堆积的通道和σ(·)代表修正线性单元(ReLU)激活函数。为方便起见,将卷积层的公式简化为:
步骤S30:对所述浅层外观特征集进行特征聚合,以获取第二卷积特征。
步骤S30具体包括:根据ReLU激活函数对所述浅层外观特征集进行处理;对处理后的浅层外观特征集所包含的浅层外观特征进行算数聚合,以获取第二卷积特征。
所述对处理后的浅层外观特征集所包含的浅层外观特征进行算数聚合,以获取第二卷积特征的步骤,具体包括:
获取处理后的浅层外观特征集所包含的浅层外观特征的通道大小;对所述通道大小进行统一化处理,获得通道大小相同的目标浅层外观特征;对所述目标浅层外观特征进行算数聚合,以获取第二卷积特征。
具体实施中,通过池化操作将不同卷积特征大小都统一成一个尺寸。通过1×1卷积操作将不同通道数的卷积特征统一成同一通道数,再利用ReLU激活函数,增加通道上卷积特征之间的互补性。1×1卷积后紧跟ReLU激活函数进行运算是一种简单有效的增加跨通道特征非线性相互作用操作。最后利用算术聚合的方式,将各卷积特征聚合。
易于理解的是,经典和有效的特征聚合操作可以分为两类:级联聚合和算术聚合。级联聚合是指在特征通道上堆叠卷积特征图。算术聚合是指在相同的空间位置和通道上计算卷积特征的和、乘或平均等运算。
需要说明的是,通过外观补偿特征选取的定量分析中,假设:得出conv1-2,conv2-2和conv3-1的组合对于所述遥感场景图像集的结果精确度影响最高。选取的conv1-2,conv2-2,conv3-1尺寸分别为224×224×64,112×112×128和56×56×256。Conv1-2经过两步2×2的最大池化,conv2-2经过一步2×2的最大池化,conv1-2与conv2-2的尺寸都变为56×56×256,三个卷积特征再经过1×1的卷积,将通道数统一成1024,以便于与密集连接层提取到的顶层卷积特征进行互补。经过ReLU操作后,再利用算术聚合,将不同的卷积特征合并,得到56×56×1024的卷积特征,并利用4×4的最大池化操作将卷积特征大小调整14×14。最终得到编码好的大小为14×14,通道数为1024的浅层外观卷积特征,即,所述第二卷积特征。
应当理解的是,所述第一、第二并不影响所述卷积特征的实质内容,仅为方便解释说明而进行的命名。
易于理解的是,采用l2归一化对通道间的卷积特征进行归一化。不同卷积特征的值的大小是完全不同的,采用l2归一化可以有效地避免过拟合问题。通道l2归一化的公式表示为:
需要说明的是,具体实施中,假设聚合特征x^由每个卷积特征xi的元素算术运算来计算。在算法聚合之前,通过池化运算和1×1卷积运算,将每个卷积特征xi的通道大小和数目分别统一到[H,W,C]。H和W分别表示特征的宽度和高度,C表示特征通道的数量。如下所示:
x^=arith(x1,x2,x3) (7)
步骤S40:通过双向门控连接对所述第一卷积特征与所述第二卷积特征进行特征补偿,以获取目标卷积特征。
步骤S40具体包括:通过双向门控连接获取所述第二卷积特征的目标补偿特征,并根据所述目标补偿特征对所述第一卷积特征进行特征补偿,以获取目标卷积特征。
易于理解的是,通过门控机制,可以有效的利用浅层外观卷积特征与顶层高级语义卷积特征的互补性以提高RS场景分类的精度。本实施例采用了门控机制,以更好的提升浅层外观卷积特征与顶层高级语义卷积特征的互补性。参考图3,图3为本发明遥感场景分类方法一实施例的门控函数示意图。
需要说明的是,具体实施中利用门控函数控制浅层外观卷积特征xs互补信息向传递。激励门控函数的结构,生成C维门控向量gs∈R1×C(C为xs的通道数),每个元素取值0-1。xs的第i个通道乘以gs的第i个元素,消除干扰信息。将xs馈送到一个全局平均池化层,生成一个1×1×C的向量,将这个1×1×C的向量馈送到一个与ReLU激活函数(RectifiedLinear Unit,线性整流函数又称修正线性单元)相结合的全连通层,以及一个与sigmoid激活函数相结合的全连通层,生成gs。gs可以表示为:
gs=sig(fc(σ(fc(pool(xs))))) (8)
步骤S50:根据所述目标卷积特征对所述遥感场景图像集中的遥感场景图像进行分类。
易于理解的是,所述预设卷积神经网络模型根据输入的所述遥感场景图像集输出全局特征,根据所述全局特征和所述目标卷积特征进行合并,以获取最终的目标卷积特征。将最终的目标卷积特征输入到所述预设卷积神经网络模型的softmax层进行场景分类,最终获取到分类后的所述遥感场景。
本发明实施例提出了具有特征信息补偿的特征聚合补偿网络模型(FAC-CNN)。利用渐进特征聚合的方式,通过浅层特征编码模块的浅层外观卷积特征与密集连接层提取到的顶层高级语义特征进行互补,避免了分类特征聚合阶段中,由于特征聚合而导致的浅层卷积特征信息丢失。
参考图4,图4为本发明一种遥感场景分类方法第三实施例的流程示意图。基于上述第一实施例,本实施例遥感场景分类方法在步骤S50具体包括:
步骤S51:将所述目标卷积特征与所述预设卷积神经网络模型输出的全局特征进行特征合并,以获取目标分类特征。
易于理解的是,将所述遥感图像集输入所述预设卷积神经网络模型,从而获取输出的全局特征。将所述全局特征与所述目标卷积特征合并,即,通过所述目标卷积特征对所述全局特征进行了补偿。
步骤S52:获取所述目标分类特征的特征向量,根据所述特征向量获取目标类别数。
具体实施中,将浅层外观卷积特征xs与顶层高级语义卷积特征通过全局平均池化操作,将两个特征池化为1×1×C1的特征向量,合并后与全局特征合并,得到1×1×C2的特征向量,其中C1为通道数,C2为我们最终想要分类的类别数。拟议的FAC-CNN采用交叉熵损失函数。如下所示:
其中,xcon是浅层外观卷积特征与高级语义特征连接后的特征,y是分类场景标签,θ是线性分类器的参数,K是RS场景类别的数量,N是训练批次的大小,1{·}是一个指标函数(如果yn等于j,则1{yn=j}=1否则,1{yn=j}=0。
步骤S53:根据所述目标类别数对所述遥感场景图像集中的遥感场景图像进行分类。
易于理解的是,所述预设卷积神经网络模型包含softmax层,所述softmax层可根据所述目标类别数对所述遥感场景图像集中的遥感场景图像进行分类。
本发明实施例提出了具有特征信息补偿的特征聚合补偿网络模型(FAC-CNN)。利用渐进特征聚合的方式,通过浅层特征编码模块的浅层外观卷积特征与密集连接层提取到的顶层高级语义特征进行互补,避免了分类特征聚合阶段中,由于特征聚合而导致的浅层卷积特征信息丢失。同时将全局特征和处理后的顶层高级语义特征与浅层外观卷积特征进行合并,提升了分类的精确度。
参照图5,图5为本发明遥感场景分类装置第一实施例的结构框图。
如图5所示,本发明实施例,所述装置包括:
提取模块10,用于获取遥感场景图像集,并将所述遥感场景图像集输入预设卷积神经网络模型进行特征提取,以获得顶层语义特征集及浅层外观特征集。
需要说明的是,本实施例中所述卷积神经网络模型包含密集连接、双向门控连接等功能,是一种端到端的利用渐进特征聚合与密集连接分别作为辅助外观特征与辅助高级语义特征的特征聚合补偿卷积神经网络(FAC-CNN,Feature Aggregation CompensationConvolutional Neural Networks)。所述辅助外观特征即本实施例中所述第二卷积特征,所述辅助高级语义特征即第一卷积特征。
需要说明的是,RS场景分类可以理解为通过提取场景特征,再以不同的特征区分为不同的类别的过程。本实施例中以VGG-16(Visual Geometry Group Network,视觉几何群网络)模型作为所述预设卷积神经网络模型,所述VGG-16模型中包含13个卷积层和3个全链接层,架构为卷积层、卷积层、卷积层、池化层。需要说明的是,所述预设卷积神经网络模型包括但不限于VGG-16模型,也可以为VGG-19模型等卷积神经网络模型。
提取模块10具体用于获取遥感场景图像集,并将所述遥感场景图像集输入预设卷积神经网络模型进行场景特征提取,以获取场景特征集;从所述场景特征集选取第一预设数量的顶层语义特征,并根据所述顶层语义特征生成顶层语义特征集;从所述场景特征集选取第二预设数量的浅层外观特征,并根据所述浅层外观特征生成浅层外观特征集。
易于理解的是,将所述遥感场景图像集合输入预设卷积神经网络模型进行场景特征提取,所述预设卷积神经网络模型中包含多个卷积层,每个卷积层提取对应的场景特征,所有卷积层对应的场景特征形成场景特征集。本实施例中,所述VGG-16模型中包含13个卷积层和3个全链接层,所述第一预设数量为3,所述第二预设数量为3。在所述13个卷积层的顶层中获取3个顶层卷积层。3个所述顶层卷积层中包含的顶层语义特征生成了顶层语义特征集。在所述13个卷积层的浅层中获取3个浅层卷积层。3个所述浅层卷积层中包含的浅层外观特征生成了浅层外观特征集。
在具体实施中,对于所述浅层外观特征的选取,可根据浅层卷积层的数量拟定不同的方案,在所述不同方案中选取最优方案对应的浅层卷积层。例如:13个卷积层中有6层为浅层卷积层,存在20种不同的选取方案,验证不同组合对场景分类的结果影响,选取分类效果最优的选取方案对应的4个浅层卷积层。
密集连接模块20,用于通过密集连接对所述顶层语义特征集进行特征聚合,以获取第一卷积特征。
密集连接模块20具体用于对所述顶层语义特征集对应的卷积层进行遍历,获取遍历到的当前卷积层对应的当前补偿特征;将所述当前补偿特征与下一卷积层对应的顶层语义特征通过密集连接进行特征聚合,获得次级补偿特征;判断所述下一卷积层是否为聚合终止卷积层,若是,则将所述次级补偿特征作为第一卷积特征。
需要说明的是,串联的层次网络在深度增加时,当输入或者梯度的信息通过很多层之后,它可能会出现梯度消失或梯度爆炸。可以通过利用残差网络与密集网络等跳跃连接的机制,解决此问题,同时,由于不需要重新学习冗余特征图,这种密集连接相对于传统连接方式只需要更少的参数,也更易于训练。本实施例的密集连接部分基于此思想,在端到端的FAC-CNN中,提取顶层高级语义卷积表示的过程时,采用密集连接机制。将上一卷积层作为当前卷积层的输入,上一卷积层和当前卷积层作为下一卷积层的输入,以此类推,最后得到的卷积特征表示作为我们的顶层高级语义卷积特征,即,所述第一卷积特征。
具体实施中,例如:选取了3个顶层卷积层,设为x1、x2、x3;将其中的x1通过两步卷积核大小为2×2,步长为2的最大池化操作将其的尺寸调整为14×14。然后,通过1×1的卷积操作将x1的通道数调整为C,在经过1x1的卷积操作后,转换为数。其中,1×1卷积操作过程中使用了C个卷积核x1与每个卷积核卷积得到然后通过堆叠不同通道的卷积结果得到如下所示
其中[·]表示堆积的通道和σ(·)代表修正线性单元(ReLU)激活函数。为方便起见,将卷积层的公式简化为:
浅层补偿模块30,用于对所述浅层外观特征集进行特征聚合,以获取第二卷积特征。
浅层补偿模块30具体用于根据ReLU激活函数对所述浅层外观特征集进行处理;对处理后的浅层外观特征集所包含的浅层外观特征进行算数聚合,以获取第二卷积特征。
所述对处理后的浅层外观特征集所包含的浅层外观特征进行算数聚合,以获取第二卷积特征的步骤,具体包括:
获取处理后的浅层外观特征集所包含的浅层外观特征的通道大小;对所述通道大小进行统一化处理,获得通道大小相同的目标浅层外观特征;对所述目标浅层外观特征进行算数聚合,以获取第二卷积特征。
具体实施中,通过池化操作将不同卷积特征大小都统一成一个尺寸。通过1×1卷积操作将不同通道数的卷积特征统一成同一通道数,再利用ReLU激活函数,增加通道上卷积特征之间的互补性。1×1卷积后紧跟ReLU激活函数进行运算是一种简单有效的增加跨通道特征非线性相互作用操作。最后利用算术聚合的方式,将各卷积特征聚合。
易于理解的是,经典和有效的特征聚合操作可以分为两类:级联聚合和算术聚合。级联聚合是指在特征通道上堆叠卷积特征图。算术聚合是指在相同的空间位置和通道上计算卷积特征的和、乘或平均等运算。
需要说明的是,通过外观补偿特征选取的定量分析中,假设:得出conv1-2,conv2-2和conv3-1的组合对于所述遥感场景图像集的结果精确度影响最高。选取的conv1-2,conv2-2,conv3-1尺寸分别为224×224×64,112×112×128和56×56×256。Conv1-2经过两步2×2的最大池化,conv2-2经过一步2×2的最大池化,conv1-2与conv2-2的尺寸都变为56×56×256,三个卷积特征再经过1×1的卷积,将通道数统一成1024,以便于与密集连接层提取到的顶层卷积特征进行互补。经过ReLU操作后,再利用算术聚合,将不同的卷积特征合并,得到56×56×1024的卷积特征,并利用4×4的最大池化操作将卷积特征大小调整14×14。最终得到编码好的大小为14×14,通道数为1024的浅层外观卷积特征,即,所述第二卷积特征。
应当理解的是,所述第一、第二并不影响所述卷积特征的实质内容,仅为方便解释说明而进行的命名。
易于理解的是,采用l2归一化对通道间的卷积特征进行归一化。不同卷积特征的值的大小是完全不同的,采用l2归一化可以有效地避免过拟合问题。通道l2归一化的公式表示为:
需要说明的是,具体实施中,假设聚合特征x^由每个卷积特征xi的元素算术运算来计算。在算法聚合之前,通过池化运算和1×1卷积运算,将每个卷积特征xi的通道大小和数目分别统一到[H,W,C]。H和W分别表示特征的宽度和高度,C表示特征通道的数量。如下所示:
x^=arith(x1,x2,x3) (7)
门控模块40,用于通过双向门控连接对所述第一卷积特征与所述第二卷积特征进行特征补偿,以获取目标卷积特征。
门控模块40还用于通过双向门控连接获取所述第二卷积特征的目标补偿特征,并根据所述目标补偿特征对所述第一卷积特征进行特征补偿,以获取目标卷积特征。
易于理解的是,通过门控机制,可以有效的利用浅层外观卷积特征与顶层高级语义卷积特征的互补性以提高RS场景分类的精度。本实施例采用了门控机制,以更好的提升浅层外观卷积特征与顶层高级语义卷积特征的互补性。参考图3,图3为本发明遥感场景分类方法一实施例的门控函数示意图。
需要说明的是,具体实施中利用门控函数控制浅层外观卷积特征xs互补信息向传递。激励门控函数的结构,生成C维门控向量gs∈R1×C(C为xs的通道数),每个元素取值0-1。xs的第i个通道乘以gs的第i个元素,消除干扰信息。将xs馈送到一个全局平均池化层,生成一个1×1×C的向量,将这个1×1×C的向量馈送到一个与ReLU激活函数(RectifiedLinear Unit,线性整流函数又称修正线性单元)相结合的全连通层,以及一个与sigmoid激活函数相结合的全连通层,生成gs。gs可以表示为:
gs=sig(fc(σ(fc(pool(xs))))) (8)
分类模块50,用于根据所述目标卷积特征对所述遥感场景图像集中的遥感场景图像进行分类。
易于理解的是,所述预设卷积神经网络模型根据输入的所述遥感场景图像集输出全局特征,根据所述全局特征和所述目标卷积特征进行合并,以获取最终的目标卷积特征。将最终的目标卷积特征输入到所述预设卷积神经网络模型的softmax层进行场景分类,最终获取到分类后的所述遥感场景。
本发明实施例提出了具有特征信息补偿的特征聚合补偿网络模型(FAC-CNN)。利用渐进特征聚合的方式,通过浅层特征编码模块的浅层外观卷积特征与密集连接层提取到的顶层高级语义特征进行互补,避免了分类特征聚合阶段中,由于特征聚合而导致的浅层卷积特征信息丢失。
此外,本发明实施例还提出一种存储介质,所述存储介质上存储有遥感场景分类程序,所述遥感场景分类程序被处理器执行如上文所述的遥感场景分类方法的步骤。
由于本存储介质采用了上述所有实施例的全部技术方案,因此至少具有上述实施例的技术方案所带来的所有有益效果,在此不再一一赘述。
应当理解的是,以上仅为举例说明,对本发明的技术方案并不构成任何限定,在具体应用中,本领域的技术人员可以根据需要进行设置,本发明对此不做限制。
需要说明的是,以上所描述的工作流程仅仅是示意性的,并不对本发明的保护范围构成限定,在实际应用中,本领域的技术人员可以根据实际的需要选择其中的部分或者全部来实现本实施例方案的目的,此处不做限制。
另外,未在本实施例中详尽描述的技术细节,可参见本发明任意实施例所提供的遥感场景分类方法,此处不再赘述。
此外,需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。
上述本发明实施例序号仅仅为了描述,不代表实施例的优劣。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质(如只读存储器(Read Only Memory,ROM)/RAM、磁碟、光盘)中,包括若干指令用以使得一台终端设备(可以是手机,计算机,服务器,或者网络终端设备等)执行本发明各个实施例所述的方法。
以上仅为本发明的优选实施例,并非因此限制本发明的专利范围,凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其他相关的技术领域,均同理包括在本发明的专利保护范围内。
Claims (10)
1.一种遥感场景分类方法,其特征在于,所述方法包括:
获取遥感场景图像集,并将所述遥感场景图像集输入预设卷积神经网络模型进行特征提取,以获得顶层语义特征集及浅层外观特征集;
通过密集连接对所述顶层语义特征集进行特征聚合,以获取第一卷积特征;
对所述浅层外观特征集进行特征聚合,以获取第二卷积特征;
通过双向门控连接对所述第一卷积特征与所述第二卷积特征进行特征补偿,以获取目标卷积特征;
根据所述目标卷积特征对所述遥感场景图像集中的遥感场景图像进行分类。
2.如权利要求1所述的遥感场景分类方法,其特征在于,所述获取遥感场景图像集,并将所述遥感场景图像集输入预设卷积神经网络模型进行特征提取,以获得顶层语义特征集及浅层外观特征集的步骤,具体包括:
获取遥感场景图像集,并将所述遥感场景图像集输入预设卷积神经网络模型进行场景特征提取,以获取场景特征集;
从所述场景特征集选取第一预设数量的顶层语义特征,并根据所述顶层语义特征生成顶层语义特征集;
从所述场景特征集选取第二预设数量的浅层外观特征,并根据所述浅层外观特征生成浅层外观特征集。
3.如权利要求2所述的遥感场景分类方法,其特征在于,所述通过密集连接对所述顶层语义特征集进行特征聚合,以获取第一卷积特征的步骤,具体包括:
对所述顶层语义特征集对应的卷积层进行遍历,获取遍历到的当前卷积层对应的当前补偿特征;
将所述当前补偿特征与下一卷积层对应的顶层语义特征通过密集连接进行特征聚合,获得次级补偿特征;
判断所述下一卷积层是否为聚合终止卷积层,若是,则将所述次级补偿特征作为第一卷积特征。
4.如权利要求3所述的遥感场景分类方法,其特征在于,所述对所述浅层外观特征集进行特征聚合,以获取第二卷积特征的步骤,具体包括:
根据ReLU激活函数对所述浅层外观特征集进行处理;
对处理后的浅层外观特征集所包含的浅层外观特征进行算数聚合,以获取第二卷积特征。
5.如权利要求4所述的遥感场景分类方法,其特征在于,所述对处理后的浅层外观特征集所包含的浅层外观特征进行算数聚合,以获取第二卷积特征的步骤,具体包括:
获取处理后的浅层外观特征集所包含的浅层外观特征的通道大小;
对所述通道大小进行统一化处理,获得通道大小相同的目标浅层外观特征;
对所述目标浅层外观特征进行算数聚合,以获取第二卷积特征。
6.如权利要求5所述的遥感场景分类方法,其特征在于,所述通过双向门控连接对所述第一卷积特征与所述第二卷积特征进行特征补偿,以获取目标卷积特征的步骤,具体包括:
通过双向门控连接获取所述第二卷积特征的目标补偿特征,并根据所述目标补偿特征对所述第一卷积特征进行特征补偿,以获取目标卷积特征。
7.如权利要求1至6任一项所述的遥感场景分类方法,其特征在于,所述根据所述目标卷积特征对所述遥感场景图像集中的遥感场景图像进行分类的步骤,具体包括:
将所述目标卷积特征与所述预设卷积神经网络模型输出的全局特征进行特征合并,以获取目标分类特征;
获取所述目标分类特征的特征向量,根据所述特征向量获取目标类别数;
根据所述目标类别数对所述遥感场景图像集中的遥感场景图像进行分类。
8.一种遥感场景分类装置,其特征在于,所述装置包括:
提取模块,用于获取遥感场景图像集,并将所述遥感场景图像集输入预设卷积神经网络模型进行特征提取,以获得顶层语义特征集及浅层外观特征集;
密集连接模块,用于通过密集连接对所述顶层语义特征集进行特征聚合,以获取第一卷积特征;
浅层补偿模块,用于对所述浅层外观特征集进行特征聚合,以获取第二卷积特征;
门控模块,用于通过双向门控连接对所述第一卷积特征与所述第二卷积特征进行特征补偿,以获取目标卷积特征;
分类模块,用于根据所述目标卷积特征对所述遥感场景图像集中的遥感场景图像进行分类。
9.一种终端设备,其特征在于,所述终端设备包括:存储器、处理器及存储在所述存储器上并可在所述处理器上运行的遥感场景分类程序,所述遥感场景分类程序配置为实现如权利要求1至7中任一项所述的遥感场景分类方法的步骤。
10.一种存储介质,其特征在于,所述存储介质上存储有遥感场景分类程序,所述遥感场景分类程序被处理器执行时实现如权利要求1至7任一项所述的遥感场景分类方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010689557.6A CN111860293B (zh) | 2020-07-16 | 2020-07-16 | 遥感场景分类方法、装置、终端设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010689557.6A CN111860293B (zh) | 2020-07-16 | 2020-07-16 | 遥感场景分类方法、装置、终端设备及存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111860293A true CN111860293A (zh) | 2020-10-30 |
CN111860293B CN111860293B (zh) | 2023-12-22 |
Family
ID=72983758
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010689557.6A Active CN111860293B (zh) | 2020-07-16 | 2020-07-16 | 遥感场景分类方法、装置、终端设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111860293B (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112396026A (zh) * | 2020-11-30 | 2021-02-23 | 北京华正明天信息技术股份有限公司 | 基于特征聚合与密集连接的火灾图像特征提取方法 |
CN112766083A (zh) * | 2020-12-30 | 2021-05-07 | 中南民族大学 | 基于多尺度特征融合的遥感场景分类方法及系统 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107194319A (zh) * | 2017-04-24 | 2017-09-22 | 天津大学 | 基于支持向量机排序的有丝分裂定位和识别的方法 |
CN109993096A (zh) * | 2019-03-26 | 2019-07-09 | 东北大学 | 一种面向视频目标检测的光流多层帧特征传播及聚合方法 |
CN110096948A (zh) * | 2019-03-15 | 2019-08-06 | 中国科学院西安光学精密机械研究所 | 基于特征聚合卷积网络的遥感影像识别方法 |
CN110263786A (zh) * | 2019-06-24 | 2019-09-20 | 东北大学 | 一种基于特征维度融合的道路多目标识别系统及方法 |
CN110298232A (zh) * | 2019-05-13 | 2019-10-01 | 中国科学院西安光学精密机械研究所 | 一种基于双向特征筛选网络的遥感场景识别方法 |
CN110555446A (zh) * | 2019-08-19 | 2019-12-10 | 北京工业大学 | 基于多尺度深度特征融合和迁移学习的遥感影像场景分类方法 |
-
2020
- 2020-07-16 CN CN202010689557.6A patent/CN111860293B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107194319A (zh) * | 2017-04-24 | 2017-09-22 | 天津大学 | 基于支持向量机排序的有丝分裂定位和识别的方法 |
CN110096948A (zh) * | 2019-03-15 | 2019-08-06 | 中国科学院西安光学精密机械研究所 | 基于特征聚合卷积网络的遥感影像识别方法 |
CN109993096A (zh) * | 2019-03-26 | 2019-07-09 | 东北大学 | 一种面向视频目标检测的光流多层帧特征传播及聚合方法 |
CN110298232A (zh) * | 2019-05-13 | 2019-10-01 | 中国科学院西安光学精密机械研究所 | 一种基于双向特征筛选网络的遥感场景识别方法 |
CN110263786A (zh) * | 2019-06-24 | 2019-09-20 | 东北大学 | 一种基于特征维度融合的道路多目标识别系统及方法 |
CN110555446A (zh) * | 2019-08-19 | 2019-12-10 | 北京工业大学 | 基于多尺度深度特征融合和迁移学习的遥感影像场景分类方法 |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112396026A (zh) * | 2020-11-30 | 2021-02-23 | 北京华正明天信息技术股份有限公司 | 基于特征聚合与密集连接的火灾图像特征提取方法 |
CN112766083A (zh) * | 2020-12-30 | 2021-05-07 | 中南民族大学 | 基于多尺度特征融合的遥感场景分类方法及系统 |
CN112766083B (zh) * | 2020-12-30 | 2023-10-27 | 中南民族大学 | 基于多尺度特征融合的遥感场景分类方法及系统 |
Also Published As
Publication number | Publication date |
---|---|
CN111860293B (zh) | 2023-12-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10437878B2 (en) | Identification of a salient portion of an image | |
CN109086722B (zh) | 混合车牌识别方法、装置、电子设备 | |
US10296846B2 (en) | Adapted domain specific class means classifier | |
CN110322416B (zh) | 图像数据处理方法、装置以及计算机可读存储介质 | |
Kao et al. | Visual aesthetic quality assessment with a regression model | |
EP3029606A2 (en) | Method and apparatus for image classification with joint feature adaptation and classifier learning | |
WO2021129181A1 (en) | Portrait segmentation method, model training method and electronic device | |
CN109117781B (zh) | 多属性识别模型的建立方法、装置及多属性识别方法 | |
CN112651438A (zh) | 多类别图像的分类方法、装置、终端设备和存储介质 | |
Bianco et al. | Predicting image aesthetics with deep learning | |
US11887217B2 (en) | Text editing of digital images | |
Juefei-Xu et al. | Rankgan: a maximum margin ranking gan for generating faces | |
US20230162477A1 (en) | Method for training model based on knowledge distillation, and electronic device | |
CN111860293A (zh) | 遥感场景分类方法、装置、终端设备及存储介质 | |
WO2023206944A1 (zh) | 一种语义分割方法、装置、计算机设备和存储介质 | |
CN113761359B (zh) | 数据包推荐方法、装置、电子设备和存储介质 | |
CN115565043A (zh) | 结合多表征特征以及目标预测法进行目标检测的方法 | |
Guo et al. | Blind detection of glow-based facial forgery | |
CN115482141A (zh) | 图像处理方法、装置、电子设备和存储介质 | |
CN110852351A (zh) | 基于图像的垃圾分类方法、装置、终端设备和存储介质 | |
CN111898544B (zh) | 文字图像匹配方法、装置和设备及计算机存储介质 | |
CN110210572B (zh) | 图像分类方法、装置、存储介质及设备 | |
CN111639537A (zh) | 人脸动作单元识别方法、装置、电子设备及存储介质 | |
Lahrache et al. | Rules of photography for image memorability analysis | |
CN115170876A (zh) | 一种基于因果干涉注意力的图像识别方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |