CN105989336A - 基于带权重的解卷积深度网络学习的场景识别方法 - Google Patents

基于带权重的解卷积深度网络学习的场景识别方法 Download PDF

Info

Publication number
CN105989336A
CN105989336A CN201510080035.5A CN201510080035A CN105989336A CN 105989336 A CN105989336 A CN 105989336A CN 201510080035 A CN201510080035 A CN 201510080035A CN 105989336 A CN105989336 A CN 105989336A
Authority
CN
China
Prior art keywords
weight
image
layer
characteristic pattern
represent
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201510080035.5A
Other languages
English (en)
Other versions
CN105989336B (zh
Inventor
袁媛
卢孝强
付敏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
XiAn Institute of Optics and Precision Mechanics of CAS
Original Assignee
XiAn Institute of Optics and Precision Mechanics of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by XiAn Institute of Optics and Precision Mechanics of CAS filed Critical XiAn Institute of Optics and Precision Mechanics of CAS
Priority to CN201510080035.5A priority Critical patent/CN105989336B/zh
Publication of CN105989336A publication Critical patent/CN105989336A/zh
Application granted granted Critical
Publication of CN105989336B publication Critical patent/CN105989336B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Image Analysis (AREA)

Abstract

一种基于带权重的解卷积深度网络学习的场景识别方法,其包括以下步骤:1)构建带权重的解卷积深度网络模型,对原始输入图像利用带权重的解卷积深度网络模型学习,得到每幅图像不同尺度上的特征图;2)利用空间金字塔模型对步骤1)中学习到的特征图进行特征抽样,形成每幅图像的特征向量表达;3)将原始输入图像分为训练集和测试集,然后将这些图像的特征向量表达分别输入到支持向量机分类器中完成分类训练和测试,最终得到不同场景的识别结果。本发明提供的基于带权重的解卷积深度网络学习的场景识别方法,通过建立不同尺度上的场景的表达,以使场景表达更为精细和充分,从而提高场景分类的精度。

Description

基于带权重的解卷积深度网络学习的场景识别方法
技术领域
本发明属于信息处理技术领域,涉及一种遥感图像的场景识别与理解方法,尤其涉及一种基于带权重的解卷积深度网络学习的场景识别方法。
背景技术
随着我国航天技术的发展,越来越多的高分卫星被发射到太空中以获取地球表面数据,达到灾害监测、农业估产以及军事侦查等目的。通常从卫星传送到地面上的数据画幅巨大,为了充分利用这些大量的大幅高分遥感数据,场景分类是非常重要的预处理手段,它对后续进一步的目标识别、变化检测、图像检索等任务有着重要帮助。
目前,对于遥感影像进行场景分类的方法主要分为四类:
一是自底向上的分层场景建模的方法,该方法首先从图像像素开始分类,对每个像素赋予一个标签,然后通过迭代区域分割的方法得到图像中不同区域的类别标记,最后通过分析各区域之间的空间关系,得到整幅图像的场景类别。具体方法见参考文献“Learning Bayesian Classifiers for Scene Classification With aVisual Grammar,IEEE Transactions on Remote Sensing,43(3):581-589,2005”。
二是基于词包模型(Bag of Words,BOW)的方法,在场景分类中,该方法首先将训练图像打块,提取这些图像块中特征向量;然后对这些特征进行聚类并将聚类中心作为字典,进而计算每幅图像的特征与字典的距离,并统计落入每个字典中的特征点的个数,这样得到每幅图像的特征直方图;最后利用支持向量机(Support Vector Machine,SVM)分类器进行分类得到最终的场景分类结果。具体方法见参考文献“Video Google:a text retrieval approach to objectmatching in videos,in Proc.9th IEEE Int.Conf.Computer Vision,2:1470-1477,2003”。
三是基于主题模型的方法,该方法最初是用于文本分析领域,在场景分类中,将图像特征作为文本分析中的单词,每幅图像即为文档,每幅图像的场景类别即为文档的主题,因此通过主题模型分析,可以得到每幅图像的场景类别。具体方法见参考文献“Latent Dirichlet Allocation for Spatial Analysis of SatelliteImages,IEEE Transactions on Geoscience and Remote Sensing,51(5):2770-2786,2013”。
四是稀疏表达的方法,该方法首先利用稀疏字典学习的方法得到一组基,然后将每幅图像特征通过稀疏编码的方法投影到这一组基上得到图像的稀疏表达,最后利用SVM分类器得到场景分类的结果,具体方法见参考文献“Saliency-Guided Unsupervised Feature Learning for Scene Classification,IEEETransaction on Geoscience and Remote Sensing,53(4):2175-2184,2014”。
上述四种方法虽然取得了较好的结果,但是它们均忽略了遥感图像的地物复杂、不同场景类别相似性很大的特点,从而导致分类精度不高。例如,机场场景中不仅有飞机,还有跑道和候机楼等,其中跑道和道路场景难以区分,而候机楼容易与居民区混淆;再如城市和密集活动房,它们属于不同的场景,但是即便是从人类视觉上看,它们也有很大的相似性,因而阻碍了分类精度的进一步提升;此外,这些现有方法中大多数都采用人为设计好的特征,如:尺度不变特征旋转描述子、颜色直方图等,相比于从数据本身学习到的特征来讲,它们的普适性更差。
发明内容
为了解决背景技术中存在的上述技术问题,本发明提供了一种基于带权重的解卷积深度网络学习的场景识别方法,通过建立不同尺度上的场景的表达,以使场景表达更为精细和充分,从而提高场景分类的精度。
本发明的技术解决方案是:
本发明提供了一种基于带权重的解卷积深度网络学习的场景识别方法,其特殊之处在于:包括以下步骤:
1)构建带权重的解卷积深度网络模型,对原始输入图像利用带权重的解卷积深度网络模型学习,得到每幅图像不同尺度上的特征图;
2)利用空间金字塔模型对步骤1)中学习到的特征图进行特征抽样,形成每幅图像的特征向量表达;
3)将原始输入图像分为训练集和测试集,然后将这些图像的特征向量表达分别输入到支持向量机分类器中完成分类训练和测试,最终得到不同场景的识别结果。
上述基于带权重的解卷积深度网络学习的场景识别方法在步骤3)之后还包括:
4)根据步骤3)所得不同场景的识别结果,分别计算分类精度与混淆矩阵。
上述步骤1)中构建的带权重的解卷积深度网络模型为:
C ( l ) = λ l 2 | | y ^ l - y | | 2 2 + Σ k = 1 K l | z k , l | 1 - - - ( 1 )
其中,C(l)是带权重的解卷积深度网络模型的目标函数,l是带权重的解卷积深度网络结构的层数,λl是正则项参数,y是原始输入图像,是由第l层的特征图向下重构得到的图像,zk,l是第l层第k个特征图,Kl是第l层的特征图总数,||1是对特征图的稀疏约束;
对于带权重的解卷积深度网络结构中的第一层,
y ^ 1 = Σ k = 1 K 1 w k , 1 × z k , 1 * f k , 1 - - - ( 2 )
y ^ 1 = W 1 F 1 z 1 - - - ( 3 )
其中,zk,1表示第1层第k个特征图,fk,1表示第1层第k个滤波器,wk,1表示第1层第k个滤波器的权重,表示由第1层的特征图向下重构得到的图像,*表示卷积;公式(3)是将卷积操作和求和操作综合为矩阵的相乘操作,W1是由wk,1组成的向量,F1是由fk,1组成的滤波器组,z1是由zk,1组成的特征图矩阵;
对于带权重的解卷积深度网络结构中的其他层,
y ^ l = F 1 W 1 U 1 F 2 W 2 U 2 . . . F l W l z l = A l z l - - - ( 4 )
Al=F1W1U1F2W2U2...FlWl (5)
其中,zl表示第l层的特征图,Fl表示第l层的滤波器组,Wl表示第l层滤波器组的权重,Ul表示第l层去融合的过程。
上述步骤1)中对原始输入图像利用带权重的解卷积深度网络模型学习的方法包括以下步骤:
1.1)通过迭代收缩阈值化方法学习特征图z:
1.1.1)对公式(1)求z的偏导,得到特征图z的梯度:其中是Al的逆过程;
1.1.2)利用梯度下降更新zl:zl=zllβlgl,其中βl是梯度下降步长;
1.1.3)利用收敛操作,使zl中值较小的元素变为0,即zl=max(|zl|-βl,0)sign(zl);
1.2)迭代学习滤波器组F:
1.2.1)对公式(1)求Fl的偏导,并令求偏导后的结果等于0,得:
Σ i = 1 N ( z l iT P l - 1 i A l - 1 iT ) y ^ l i = Σ i = 1 N ( z l iT P l - 1 i A l - 1 iT ) y i - - - ( 6 )
其中,i表示第i幅图像,N为图像总数,表示第i幅图像第l层的特征图向量的转置,表示对第i幅图像第l-1层的特征图的融合过程,表示对第i幅图像第l层的特征图进行A的逆操作,表示第i幅图像的特征图从第l层向下重构得到的重构图像,yi表示第i幅原始输入图像;
1.2.2)利用共轭梯度下降方法,结合公式(6)以及求解,得到更新后的Fl
1.3)迭代学习滤波器的权重W:
1.3.1)对公式(1)求Wl的偏导,并令求偏导后的结果等于0,得:
Σ i = 1 N ( z l iT P l - 1 i A l - 1 iT ) y ^ l i = Σ i = 1 N ( z l iT P l - 1 i A l - 1 iT ) y i - - - ( 7 )
其中,i表示第i幅图像,N为图像总数,表示第i幅图像第l层的特征图向量的转置,表示对第i幅图像第l-1层的特征图的融合过程,表示对第i幅图像第l层的特征图进行A的逆操作,表示第i幅图像的特征图从第l层向下重构得到的重构图像,yi表示第i幅原始输入图像;
1.3.2)利用共轭梯度下降方法,结合公式(7)以及求解,得到更新后的Wl
1.4)输入一幅原始图像y以及训练的层数l、迭代次数、正则项参数λl、特征图总数Kl和梯度下降步长βl,初始化该层的特征图z、滤波器组F以及滤波器组的权重W,然后根据步骤1.1)学习特征图z;
所有图像的特征图z学完后,根据步骤1.2)和步骤1.3)分别学习滤波器组F和滤波器组的权重W;
1.5)所有层迭代学习完成后,输出每幅图像的特征图z、滤波器组F以及滤波器组的权重W。
上述步骤2)的具体实现方式是:
2.1)对图像的特征图z用3×3的格网进行打块,设z的大小为m×n,则提取到(m/3+1)×(n/3+1)=Q个块,将每个块的特征拉成特征向量,得到数据矩阵X∈RQ×9K,其中K是当前层特征图的个数,R是实数集;
2.2)对数据矩阵X进行k-means聚类,共聚50类,并将聚类中心作为字典,得到字典矩阵D∈R50×9K
2.3)计算数据矩阵X与字典矩阵D之间的距离,得到距离矩阵dis∈RQ×50
2.4)将每一个特征向量分配给距离其最近的聚类中心,得到图像的字典索引向量index∈RQ,然后将字典索引向量变形为矩阵,得到图像的单词分布图M;
2.5)对步骤2.4)所得的单词分布图M,分别在图像的1×1、2×2、4×4的尺度上统计不同单词出现的频率,得到统计直方图,然后将统计直方图连接成向量作为图像的特征向量表达;
2.6)对于每一层的特征图,均按照步骤2.1)至步骤2.5)的顺序进行处理,得到最终的图像的特征向量表达。
上述步骤4)中分类精度的计算方式为:将步骤3)所得不同场景的识别结果与测试集的真实结果对比,统计分类正确的个数B,则:
分类精度=B/B×100%;其中,B为测试集的总样本个数;
所述步骤4)中混淆矩阵的计算方式为:以待分类图像的所有场景类别分别建立横、纵坐标轴,将每一类分类正确的百分比一一对应作为混淆矩阵的对角线元素,将各当前行的类别错分到当前列的类别的百分比作为混淆矩阵的其他元素。
本发明的优点是:
本发明提供了一种基于带权重的解卷积深度网络学习的场景识别方法,该场景识别方法充分考虑了遥感图像地物复杂、不同类别场景之间相似性很大的情况,利用解卷积深度网络学习到了一系列包含遥感图像场景的细节信息的特征图,然后利用空间金字塔模型(Spatial Pyramid Matching,SPM)对这些特征图进行特征抽样,因此可以在不同尺度上对图像场景进行描述,使得对场景的表达更加细化,同时无监督地学习图像特征,使得学习到的特征更具有泛化性,从而提高了场景分类的精度。
附图说明
图1是本发明提供的基于带权重的解卷积深度网络学习的场景识别方法的流程图;
图2是本发明中带权重的解卷积深度网络结构第一层的框架示意图;
图3是本发明中带权重的解卷积深度网络多层结构的总体示意图;
图4是利用本发明在Sydney数据库上实验所得的混淆矩阵结果。
具体实施方式
参见图1,本发明提供了一种基于带权重的解卷积深度网络学习的场景识别方法,其包括以下步骤:
1)构建带权重的解卷积深度网络模型,对原始输入图像利用带权重的解卷积深度网络模型学习,得到每幅图像不同尺度上的特征图;
1.1)构建带权重的解卷积深度网络模型:
C ( l ) = λ l 2 | | y ^ l - y | | 2 2 + Σ k = 1 K l | z k , l | 1 - - - ( 1 )
其中,C(l)是带权重的解卷积深度网络模型的目标函数,l是带权重的解卷积深度网络结构的层数,λl是正则项参数,y是原始输入图像,是由第l层的特征图向下重构得到的图像,zk,l是第l层第k个特征图,Kl是第l层的特征图总数,||1是对特征图的稀疏约束;
如图2所示,对于带权重的解卷积深度网络结构中的第一层,
y ^ 1 = Σ k = 1 K 1 w k , 1 × z k , 1 * f k , 1 - - - ( 2 )
y ^ 1 = W 1 F 1 z 1 - - - ( 3 )
其中,zk,1表示第1层第k个特征图,fk,1表示第1层第k个滤波器,wk,1表示第1层第k个滤波器的权重,表示由第1层的特征图向下重构得到的图像,*表示卷积;公式(3)是将卷积操作和求和操作综合为矩阵的相乘操作,W1是由wk,1组成的向量,F1是由fk,1组成的滤波器组,z1是由zk,1组成的特征图矩阵;
如图3所示,对于带权重的解卷积深度网络结构中的其他层,在由第l层的特征图向下重构时,首先特征图zl和滤波器组Fl进行卷积后乘以当前层的权重Wl,然后进行一个去融合的过程,之后再与下一层的滤波器组Fl-1以及滤波器组的权重Wl-1进行相乘直至第一层,得到重构后的即:
y ^ l = F 1 W 1 U 1 F 2 W 2 U 2 . . . F l W l z l = A l z l - - - ( 4 )
Al=F1W1U1F2W2U2...FlWl (5)
其中,zl表示第l层的特征图,Fl表示第l层的滤波器组,Wl表示第l层滤波器组的权重,Ul表示第l层去融合的过程。
对原始输入图像利用带权重的解卷积深度网络模型学习的方法包括以下步骤:
1.2)通过迭代收缩阈值化方法学习特征图z:
1.2.1)对公式(1)求z的偏导,得到特征图z的梯度:其中是Al的逆过程;
1.2.2)利用梯度下降更新zl:zl=zllβlgl,其中βl是梯度下降步长;
1.2.3)利用收敛操作,使zl中值较小的元素变为0,即zl=max(|zl|-βl,0)sign(zl);其中sign是一个符号函数:当zl>0,sign(zl)=1;当zl=0,sign(zl)=0;当zl<0,sign(zl)=-1;
1.3)迭代学习滤波器组F:
1.3.1)对公式(1)求Fl的偏导,并令求偏导后的结果等于0,得:
&Sigma; i = 1 N ( z l iT P l - 1 i A l - 1 iT ) y ^ l i = &Sigma; i = 1 N ( z l iT P l - 1 i A l - 1 iT ) y i - - - ( 6 )
其中,i表示第i幅图像,N为图像总数,表示第i幅图像第l层的特征图向量的转置,表示对第i幅图像第l-1层的特征图的融合过程,表示对第i幅图像第l层的特征图进行A的逆操作,表示第i幅图像的特征图从第l层向下重构得到的重构图像,yi表示第i幅原始输入图像;
1.3.2)利用共轭梯度下降方法,结合公式(6)以及求解,得到更新后的Fl
1.4)迭代学习滤波器的权重W:
1.4.1)对公式(1)求Wl的偏导,并令求偏导后的结果等于0,得:
&Sigma; i = 1 N ( z l iT P l - 1 i A l - 1 iT ) y ^ l i = &Sigma; i = 1 N ( z l iT P l - 1 i A l - 1 iT ) y i - - - ( 7 )
其中,i表示第i幅图像,N为图像总数,表示第i幅图像第l层的特征图向量的转置,表示对第i幅图像第l-1层的特征图的融合过程,表示对第i幅图像第l层的特征图进行A的逆操作,表示第i幅图像的特征图从第l层向下重构得到的重构图像,yi表示第i幅原始输入图像;
1.4.2)利用共轭梯度下降方法,结合公式(7)以及求解,得到更新后的Wl
1.5)输入一幅原始图像y以及训练的层数l、迭代次数、正则项参数λl、特征图总数Kl和梯度下降步长βl,初始化该层的特征图z、滤波器组F以及滤波器组的权重W,然后根据步骤1.1)学习特征图z;
所有图像的特征图z学完后,根据步骤1.2)和步骤1.3)分别学习滤波器组F和滤波器组的权重W;
1.6)所有层迭代学习完成后,输出每幅图像的特征图z、滤波器组F以及滤波器组的权重W。
2)利用空间金字塔模型对步骤1)中学习到的特征图进行特征抽样,形成每幅图像的特征向量表达;
2.1)对图像的特征图z用3×3的格网进行打块,设z的大小为m×n,则提取到(m/3+1)×(n/3+1)=Q个块,将每个块的特征拉成特征向量,得到数据矩阵X∈RQ×9K,其中K是当前层特征图的个数,R是实数集;
2.2)对数据矩阵X进行k-means聚类,共聚50类,并将聚类中心作为字典,得到字典矩阵D∈R50×9K
2.3)计算数据矩阵X与字典矩阵D之间的距离,得到距离矩阵dis∈RQ×50
2.4)将每一个特征向量分配给距离其最近的聚类中心,得到图像的字典索引向量index∈RQ,然后将字典索引向量变形为矩阵,得到图像的单词分布图M;
2.5)对步骤2.4)所得的单词分布图M,分别在图像的1×1、2×2、4×4的尺度上统计不同单词出现的频率,得到统计直方图,然后将统计直方图连接成向量作为图像的特征向量表达;
2.6)对于每一层的特征图,均按照步骤2.1)至步骤2.5)的顺序进行处理,得到最终的图像的特征向量表达。
3)将原始输入图像分为训练集和测试集,然后将这些图像的特征向量表达分别输入到支持向量机分类器中完成分类训练和测试,最终得到不同场景的识别结果。
4)根据步骤3)所得不同场景的识别结果,分别计算分类精度与混淆矩阵,即:将步骤3)所得不同场景的识别结果与测试集的真实结果对比,统计分类正确的个数B,则:分类精度=B/B×100%;其中,B为测试集的总样本个数;
步骤4)中混淆矩阵的计算方式为:以待分类图像的所有场景类别分别建立横、纵坐标轴,将每一类分类正确的百分比一一对应作为混淆矩阵的对角线元素,将各当前行的类别错分到当前列的类别的百分比作为混淆矩阵的其他元素。
下面通过以下仿真实验说明本发明的有益效果:
1)仿真条件
在中央处理器为Intel(R)Core i3-2130 3.4GHZ、内存16G、WINDOWS8操作系统上,运用MATLAB软件进行仿真试验;仿真实验数据利用美国地质调查局(the U.S.Geological Survey,USGS)提供的UCM数据库以及武汉大学测绘遥感国家重点实验室公布的Sydney数据库。
2)仿真内容
采用不同分类方法对遥感图像进行场景分类:
2.1)在UCM数据库上,分别采用本发明提供的基于带权重的解卷积深度网络学习的场景识别方法,传统的词包模型方法、主题模型方法以及稀疏编码方法进行场景分类,得到最终的分类精度,实验结果如表1所示。
2.2)在Sydney数据库上,分别采用本发明提供的基于带权重的解卷积深度网络学习的场景识别方法,传统的词包模型方法、主题模型方法以及稀疏编码方法进行场景分类,得到最终的分类精度,实验结果如表2所示。
从表1、表2的分类精度结果以及图4的混淆矩阵结果可知,本发明与传统的词包模型方法、主题模型方法以及稀疏编码方法相比,分类精度有了10%以上的提升。这是因为本发明利用了解卷积深度网络学习以及空间金字塔模型(SPM)进行特征抽样,在不同尺度上对图像进行了更为准确和精细的描述,从而获得了更好的分类精度,进一步验证了本发明的先进性。
表1 UCM数据库上不同分类方法的场景分类精度
表2 Sydney数据库上不同分类方法的场景分类精度
本发明与现有方法相比,充分考虑了遥感图像在不同尺度上的表达,克服了遥感图像地物复杂、类间相似性大的难点,同时也克服了传统方法中利用人为设定的特征的缺陷,极大的提高了识别率,可用于地理国情勘察、军事侦察和环境监测等方面。

Claims (6)

1.一种基于带权重的解卷积深度网络学习的场景识别方法,其特征在于:包括以下步骤:
1)构建带权重的解卷积深度网络模型,对原始输入图像利用带权重的解卷积深度网络模型学习,得到每幅图像不同尺度上的特征图;
2)利用空间金字塔模型对步骤1)中学习到的特征图进行特征抽样,形成每幅图像的特征向量表达;
3)将原始输入图像分为训练集和测试集,然后将这些图像的特征向量表达分别输入到支持向量机分类器中完成分类训练和测试,最终得到不同场景的识别结果。
2.根据权利要求1所述的基于带权重的解卷积深度网络学习的场景识别方法,其特征在于:所述基于带权重的解卷积深度网络学习的场景识别方法在步骤3)之后还包括:
4)根据步骤3)所得不同场景的识别结果,分别计算分类精度与混淆矩阵。
3.根据权利要求2所述的基于带权重的解卷积深度网络学习的场景识别方法,其特征在于:所述步骤1)中构建的带权重的解卷积深度网络模型为:
C ( l ) = &lambda; l 2 | | y ^ l - y | | 2 2 + &Sigma; k = 1 K l | z k , l | 1 - - - ( 1 )
其中,C(l)是带权重的解卷积深度网络模型的目标函数,l是带权重的解卷积深度网络结构的层数,λl是正则项参数,y是原始输入图像,是由第l层的特征图向下重构得到的图像,zk,l是第l层第k个特征图,Kl是第l层的特征图总数,| |1是对特征图的稀疏约束;
对于带权重的解卷积深度网络结构中的第一层,
y ^ 1 = &Sigma; k = 1 K 1 w k , 1 &times; z k , 1 * f k , 1 - - - ( 2 )
y ^ 1 = W 1 F 1 z 1 - - - ( 3 )
其中,zk,1表示第1层第k个特征图,fk,1表示第1层第k个滤波器,wk,1表示第1层第k个滤波器的权重,表示由第1层的特征图向下重构得到的图像,*表示卷积;公式(3)是将卷积操作和求和操作综合为矩阵的相乘操作,W1是由wk,1组成的向量,F1是由fk,1组成的滤波器组,z1是由zk,1组成的特征图矩阵;
对于带权重的解卷积深度网络结构中的其他层,
y ^ l = F 1 W 1 U 1 F 2 W 2 U 2 . . . F l W l z l = A l z l - - - ( 4 )
Al=F1W1U1F2W2U2...FlWl (5)
其中,zl表示第l层的特征图,Fl表示第l层的滤波器组,Wl表示第l层滤波器组的权重,Ul表示第l层去融合的过程。
4.根据权利要求3所述的基于带权重的解卷积深度网络学习的场景识别方法,其特征在于:所述步骤1)中对原始输入图像利用带权重的解卷积深度网络模型学习的方法包括以下步骤:
1.1)通过迭代收缩阈值化方法学习特征图z:
1.1.1)对公式(1)求z的偏导,得到特征图z的梯度:其中是Al的逆过程;
1.1.2)利用梯度下降更新zl:zl=zllβlgl,其中βl是梯度下降步长;
1.1.3)利用收敛操作,使zl中值较小的元素变为0,即zl=max(|zl|-βl,0)sign(zl);
1.2)迭代学习滤波器组F:
1.2.1)对公式(1)求Fl的偏导,并令求偏导后的结果等于0,得:
&Sigma; i = 1 N ( z l iT P l - 1 i A l - 1 iT ) y ^ i = 1 N ( z l iT P l - 1 i A l - 1 iT ) y i - - - ( 6 )
其中,i表示第i幅图像,N为图像总数,表示第i幅图像第l层的特征图向量的转置,表示对第i幅图像第l-1层的特征图的融合过程,表示对第i幅图像第l层的特征图进行A的逆操作,表示第i幅图像的特征图从第l层向下重构得到的重构图像,yi表示第i幅原始输入图像;
1.2.2)利用共轭梯度下降方法,结合公式(6)以及求解,得到更新后的Fl
1.3)迭代学习滤波器的权重W:
1.3.1)对公式(1)求Wl的偏导,并令求偏导后的结果等于0,得:
&Sigma; i = 1 N ( z l iT P l - 1 i A l - 1 iT ) y ^ j i = &Sigma; i = 1 N ( z l iT P l - 1 i A l - 1 iT ) y i - - - ( 7 )
其中,i表示第i幅图像,N为图像总数,表示第i幅图像第l层的特征图向量的转置,表示对第i幅图像第l-1层的特征图的融合过程,表示对第i幅图像第l层的特征图进行A的逆操作,表示第i幅图像的特征图从第l层向下重构得到的重构图像,yi表示第i幅原始输入图像;
1.3.2)利用共轭梯度下降方法,结合公式(7)以及求解,得到更新后的Wl
1.4)输入一幅原始图像y以及训练的层数l、迭代次数、正则项参数λl、特征图总数Kl和梯度下降步长βl,初始化该层的特征图z、滤波器组F以及滤波器组的权重W,然后根据步骤1.1)学习特征图z;
所有图像的特征图z学完后,根据步骤1.2)和步骤1.3)分别学习滤波器组F和滤波器组的权重W;
1.5)所有层迭代学习完成后,输出每幅图像的特征图z、滤波器组F以及滤波器组的权重W。
5.根据权利要求4所述的基于带权重的解卷积深度网络学习的场景识别方法,其特征在于:所述步骤2)的具体实现方式是:
2.1)对图像的特征图z用3×3的格网进行打块,设z的大小为m×n,则提取到(m/3+1)×(n/3+1)=Q个块,将每个块的特征拉成特征向量,得到数据矩阵X∈RQ×9K,其中K是当前层特征图的个数,R是实数集;
2.2)对数据矩阵X进行k-means聚类,共聚50类,并将聚类中心作为字典,得到字典矩阵D∈R50×9K
2.3)计算数据矩阵X与字典矩阵D之间的距离,得到距离矩阵dis∈RQ×50
2.4)将每一个特征向量分配给距离其最近的聚类中心,得到图像的字典索引向量index∈RQ,然后将字典索引向量变形为矩阵,得到图像的单词分布图M;
2.5)对步骤2.4)所得的单词分布图M,分别在图像的1×1、2×2、4×4的尺度上统计不同单词出现的频率,得到统计直方图,然后将统计直方图连接成向量作为图像的特征向量表达;
2.6)对于每一层的特征图,均按照步骤2.1)至步骤2.5)的顺序进行处理,得到最终的图像的特征向量表达。
6.根据权利要求5所述的基于带权重的解卷积深度网络学习的场景识别方法,其特征在于:所述步骤4)中分类精度的计算方式为:将步骤3)所得不同场景的识别结果与测试集的真实结果对比,统计分类正确的个数B,则:
分类精度=B/B×100%;其中,B为测试集的总样本个数;
所述步骤4)中混淆矩阵的计算方式为:以待分类图像的所有场景类别分别建立横、纵坐标轴,将每一类分类正确的百分比一一对应作为混淆矩阵的对角线元素,将各当前行的类别错分到当前列的类别的百分比作为混淆矩阵的其他元素。
CN201510080035.5A 2015-02-13 2015-02-13 基于带权重的解卷积深度网络学习的场景识别方法 Active CN105989336B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510080035.5A CN105989336B (zh) 2015-02-13 2015-02-13 基于带权重的解卷积深度网络学习的场景识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510080035.5A CN105989336B (zh) 2015-02-13 2015-02-13 基于带权重的解卷积深度网络学习的场景识别方法

Publications (2)

Publication Number Publication Date
CN105989336A true CN105989336A (zh) 2016-10-05
CN105989336B CN105989336B (zh) 2020-11-17

Family

ID=57042122

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510080035.5A Active CN105989336B (zh) 2015-02-13 2015-02-13 基于带权重的解卷积深度网络学习的场景识别方法

Country Status (1)

Country Link
CN (1) CN105989336B (zh)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107507198A (zh) * 2017-08-22 2017-12-22 中国民用航空总局第二研究所 飞机图像探测及追踪方法
CN107578055A (zh) * 2017-06-20 2018-01-12 北京陌上花科技有限公司 一种图像预测方法和装置
CN107835364A (zh) * 2017-10-30 2018-03-23 维沃移动通信有限公司 一种拍照辅助方法及移动终端
CN108154153A (zh) * 2016-12-02 2018-06-12 北京市商汤科技开发有限公司 场景分析方法和系统、电子设备
CN108804988A (zh) * 2017-05-04 2018-11-13 上海荆虹电子科技有限公司 一种遥感影像场景分类方法及装置
CN109409276A (zh) * 2018-10-19 2019-03-01 大连理工大学 一种健壮手语特征提取方法
CN109902192A (zh) * 2019-01-15 2019-06-18 华南师范大学 基于无监督深度回归的遥感图像检索方法、系统、设备及介质
CN109934154A (zh) * 2019-03-08 2019-06-25 北京科技大学 一种遥感影像变化检测方法及检测装置
CN112257728A (zh) * 2020-11-12 2021-01-22 腾讯科技(深圳)有限公司 图像处理方法、装置、计算机设备以及存储介质
US11062453B2 (en) 2016-12-02 2021-07-13 Beijing Sensetime Technology Development Co., Ltd. Method and system for scene parsing and storage medium

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103020647A (zh) * 2013-01-08 2013-04-03 西安电子科技大学 基于级联的sift特征和稀疏编码的图像分类方法
CN103049767A (zh) * 2013-01-25 2013-04-17 西安电子科技大学 基于生物激发特征和流形学习的极光图像分类方法
CN103942564A (zh) * 2014-04-08 2014-07-23 武汉大学 基于非监督特征学习的高分辨率遥感影像场景分类方法
US8886283B1 (en) * 2011-06-21 2014-11-11 Stc.Unm 3D and 4D magnetic susceptibility tomography based on complex MR images
CN104143102A (zh) * 2014-08-05 2014-11-12 四川九成信息技术有限公司 在线图像数据处理方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8886283B1 (en) * 2011-06-21 2014-11-11 Stc.Unm 3D and 4D magnetic susceptibility tomography based on complex MR images
CN103020647A (zh) * 2013-01-08 2013-04-03 西安电子科技大学 基于级联的sift特征和稀疏编码的图像分类方法
CN103049767A (zh) * 2013-01-25 2013-04-17 西安电子科技大学 基于生物激发特征和流形学习的极光图像分类方法
CN103942564A (zh) * 2014-04-08 2014-07-23 武汉大学 基于非监督特征学习的高分辨率遥感影像场景分类方法
CN104143102A (zh) * 2014-08-05 2014-11-12 四川九成信息技术有限公司 在线图像数据处理方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
HU F ET AL.: "Unsupervised feature coding on local patch mainfold for satellite imge scene classification", 《IEEE INTERNATIONAL GEOSCIENCE AND REMOTE SENSING SYMPOSIUM》 *
MATTHEW D.ZEILER ET AL.: "Adaptive Deconvolutional Networks for Mid and High Level Feature Learning", 《2011 IEEE INTERNATIONL CONFERENCE ON COMPUTER VISION》 *

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11062453B2 (en) 2016-12-02 2021-07-13 Beijing Sensetime Technology Development Co., Ltd. Method and system for scene parsing and storage medium
CN108154153A (zh) * 2016-12-02 2018-06-12 北京市商汤科技开发有限公司 场景分析方法和系统、电子设备
CN108804988A (zh) * 2017-05-04 2018-11-13 上海荆虹电子科技有限公司 一种遥感影像场景分类方法及装置
CN108804988B (zh) * 2017-05-04 2020-11-20 深圳荆虹科技有限公司 一种遥感影像场景分类方法及装置
CN107578055B (zh) * 2017-06-20 2020-04-14 北京陌上花科技有限公司 一种图像预测方法和装置
CN107578055A (zh) * 2017-06-20 2018-01-12 北京陌上花科技有限公司 一种图像预测方法和装置
CN107507198B (zh) * 2017-08-22 2019-11-19 中国民用航空总局第二研究所 飞机图像探测及追踪方法
CN107507198A (zh) * 2017-08-22 2017-12-22 中国民用航空总局第二研究所 飞机图像探测及追踪方法
CN107835364A (zh) * 2017-10-30 2018-03-23 维沃移动通信有限公司 一种拍照辅助方法及移动终端
CN109409276A (zh) * 2018-10-19 2019-03-01 大连理工大学 一种健壮手语特征提取方法
CN109902192A (zh) * 2019-01-15 2019-06-18 华南师范大学 基于无监督深度回归的遥感图像检索方法、系统、设备及介质
CN109934154A (zh) * 2019-03-08 2019-06-25 北京科技大学 一种遥感影像变化检测方法及检测装置
CN109934154B (zh) * 2019-03-08 2021-06-01 北京科技大学 一种遥感影像变化检测方法及检测装置
CN112257728A (zh) * 2020-11-12 2021-01-22 腾讯科技(深圳)有限公司 图像处理方法、装置、计算机设备以及存储介质
CN112257728B (zh) * 2020-11-12 2021-08-17 腾讯科技(深圳)有限公司 图像处理方法、装置、计算机设备以及存储介质

Also Published As

Publication number Publication date
CN105989336B (zh) 2020-11-17

Similar Documents

Publication Publication Date Title
CN105989336A (zh) 基于带权重的解卷积深度网络学习的场景识别方法
CN108388927B (zh) 基于深度卷积孪生网络的小样本极化sar地物分类方法
CN109344736B (zh) 一种基于联合学习的静态图像人群计数方法
CN108846426B (zh) 基于深度双向lstm孪生网络的极化sar分类方法
Zhang et al. Unsupervised difference representation learning for detecting multiple types of changes in multitemporal remote sensing images
CN108830209B (zh) 基于生成对抗网络的遥感图像道路提取方法
CN110135267A (zh) 一种大场景sar图像细微目标检测方法
CN107194433A (zh) 一种基于深度自编码网络的雷达一维距离像目标识别方法
CN109766858A (zh) 结合双边滤波的三维卷积神经网络高光谱影像分类方法
CN103258210B (zh) 一种基于字典学习的高清图像分类方法
CN104239902B (zh) 基于非局部相似性和稀疏编码的高光谱图像分类方法
CN110309868A (zh) 结合无监督学习的高光谱图像分类方法
CN105760900B (zh) 基于近邻传播聚类和稀疏多核学习的高光谱图像分类方法
CN113705580B (zh) 基于深度迁移学习的高光谱图像分类方法
CN106408030A (zh) 基于中层语义属性和卷积神经网络的sar图像分类方法
CN105205449A (zh) 基于深度学习的手语识别方法
CN108280396A (zh) 基于深度多特征主动迁移网络的高光谱图像分类方法
CN106096506A (zh) 基于子类类间判别双字典的sar目标识别方法
CN108447057A (zh) 基于显著性和深度卷积网络的sar图像变化检测方法
CN104298974A (zh) 一种基于深度视频序列的人体行为识别方法
CN104778482A (zh) 基于张量半监督标度切维数约减的高光谱图像分类方法
CN108932455B (zh) 遥感图像场景识别方法及装置
CN108830130A (zh) 一种偏振高光谱低空侦察图像典型目标检测方法
CN112836637B (zh) 一种基于空间逆向注意网络的行人重识别方法
CN108460400A (zh) 一种结合多种特征信息的高光谱图像分类方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant