CN104462494A - 一种基于无监督特征学习的遥感图像检索方法及系统 - Google Patents

一种基于无监督特征学习的遥感图像检索方法及系统 Download PDF

Info

Publication number
CN104462494A
CN104462494A CN201410802048.4A CN201410802048A CN104462494A CN 104462494 A CN104462494 A CN 104462494A CN 201410802048 A CN201410802048 A CN 201410802048A CN 104462494 A CN104462494 A CN 104462494A
Authority
CN
China
Prior art keywords
image
training
remarkable
remote sensing
images
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201410802048.4A
Other languages
English (en)
Other versions
CN104462494B (zh
Inventor
邵振峰
周维勋
李从敏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan University WHU
Original Assignee
Wuhan University WHU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan University WHU filed Critical Wuhan University WHU
Priority to CN201410802048.4A priority Critical patent/CN104462494B/zh
Publication of CN104462494A publication Critical patent/CN104462494A/zh
Application granted granted Critical
Publication of CN104462494B publication Critical patent/CN104462494B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10Character recognition
    • G06V30/19Recognition using electronic means
    • G06V30/192Recognition using electronic means using simultaneous comparisons or correlations of the image signals with a plurality of references
    • G06V30/194References adjustable by an adaptive method, e.g. learning

Abstract

本发明提供了基于无监督特征学习的遥感图像检索方法及系统,包括对检索图像库中各图像分别提取显著图,并根据显著图的分割阈值获得相应的二值化显著图;对检索图像库中各图像,根据相应的二值化显著图通过掩膜运算分割出显著区域;从图像显著区域提取尺寸相同的图像块构造训练样本,并利用无监督特征学习方法对样本进行训练学习图像的特征;最后,进行图像检索。本发明从图像的显著区域提取尺寸相同的图像块构造用于无监督特征学习的训练样本,弥补了传统的直接在原图像上进行随机取样的缺陷,不仅符合人眼的视觉注意特点而且更能直接反映出人们的检索需求,在保证检索查准率的同时免去了复杂的特征提取过程。

Description

一种基于无监督特征学习的遥感图像检索方法及系统
技术领域
本发明属于图像处理技术领域,涉及一种基于无监督特征学习的遥感图像检索方法及系统。
背景技术
随着遥感技术和传感器技术的日益发展,可获取的遥感影像空间分辨率日益提高,并且数据量正以惊人的速度增长。海量的遥感数据为社会经济发展以及科学研究等提供了丰富的数据源,但另一方面也给人们带来极大的挑战,即如何实现海量影像数据的有效管理和高效利用。由于现阶段影像数据的处理和分析技术仍处于发展阶段,处理和分析能力有限,使得遥感影像数据的有效管理远滞后于数据增长的速度。此外,在针对特定应用时人们往往难以快速地从海量数据中找出满足需求的数据。遥感图像检索技术是解决这一瓶颈问题的有效方法,研究高效的图像检索技术具有重要的意义。
目前的遥感图像检索技术主要是基于图像内容进行的,通过提取图像的颜色、纹理以及形状等低层特征构成特征向量进行检索。相比传统的基于关键字的检索技术,基于图像内容的检索方法不仅省去了繁琐的人工标注过程大大提高了工作效率,而且有效地改善了检索结果。然而,为了取得良好的检索结果,在基于内容的图像检索技术中大部分工作都集中在设计有效的颜色、纹理以及形状等特征描述方法上,而特征对图像内容的描述能力直接影响最终的检索结果。此外,设计一种有效的特征描述方法同样是一项繁琐的工作。
在深度学习领域,无监督特征学习能够从图像中学习出描述图像内容的特征,相比手动设计特征描述方法具有更好的适用性且效率较高,因而受到广泛关注。在无监督特征学习方法中,训练样本即训练图像块的选取直接影响到后续的特征学习过程。现有的方法通常是从原始大图像上随机选取一定数目的图像块构造训练样本,但由于选取位置随机,图像块难以完全包括图像上特定的检索对象。
发明内容
针对现有技术存在的不足,本发明提供了一种基于无监督特征学习的遥感图像检索技术方案。本发明将无监督特征学习策略引入遥感图像检索,根据对象的显著性来选取图像块,进而构造训练样本学习图像的特征,从而实现图像检索。
本发明所采用的技术方案是一种基于无监督特征学习的遥感图像检索方法,包括以下步骤:
步骤1,对检索图像库中各图像分别提取显著图,并根据显著图的分割阈值T获得相应的二值化显著图;所述分割阈值T确定如下,
T = 2 W × H Σ x = 1 W Σ y = 1 H S ( x , y )
其中,W和H分别代表显著图的宽和高,S(x,y)代表显著图中(x,y)处像素的显著值,
步骤2,对检索图像库中各图像,根据相应的二值化显著图通过掩膜运算分割出显著区域;设I代表原始的图像,Sb代表步骤1中得到的二值化显著图,M代表二者掩膜运算结果,掩膜运算如下,
M = I ⊗ S b
步骤3,从检索图像库中随机选取预设数目的原图像作为训练图像,然后再分别从各训练图像相应的显著区域上提取尺寸相同的训练图像块,所有训练图像块一起构成训练样本集X;采用去均值后PCA白化的方式对训练样本集X进行预处理,得到预处理后的训练样本集XPCAwhite,然后基于无监督特征学习方法训练得到网络参数,设从检索图像库中任一图像的显著区域上提取尺寸相同的图像块所构成的矩阵为Xpatch,采用去均值后PCA白化的方式后得到预处理后的矩阵X′patch,利用训练所得网络参数学习得到特征矩阵;
步骤4,计算检索图像库中的查询图像和其他图像的相似性,并根据相似性大小返回查询图像的相似图像;相似性计算如下,
设两幅图像根据步骤3所得特征矩阵为 L f α = l 1 α l 2 α . . . l m α L f β = l 1 β l 2 β . . . l n β , m、n为两幅图像中分别提取的图像块数目,特征矩阵的每一列表示一个图像块的特征向量,的距离矩阵Df计算如下,
Df=[dij;i=1,2,...,m;j=1,2,...,n]
其中,Df是m×n维的距离矩阵,dij表示两个特征矩阵间任意两个特征向量的欧式距离;最终两幅图像的相似性计算如下,
D = | | m f r | | + | | m f c | |
其中,分别表示Df各行最小值和各列最小值构成的向量。
而且,步骤1中,对检索图像库中各图像分别提取显著图根据GBVS模型实现,所述GBVS模型为基于图的显著性检测模型。
而且,步骤3中,无监督特征学习方法采用线性稀疏自编码网络实现。
本发明还相应提供一种基于无监督特征学习的遥感图像检索系统,包括以下模块:
二值化显著图提取模块,用于对检索图像库中各图像分别提取显著图,并根据显著图的分割阈值T获得相应的二值化显著图;所述分割阈值T确定如下,
T = 2 W × H Σ x = 1 W Σ y = 1 H S ( x , y )
其中,W和H分别代表显著图的宽和高,S(x,y)代表显著图中(x,y)处像素的显著值,
显著区域分割模块,用于对检索图像库中各图像,根据相应的二值化显著图通过掩膜运算分割出显著区域;设I代表原始的图像,Sb代表二值化显著图提取模块中得到的二值化显著图,M代表二者掩膜运算结果,掩膜运算如下,
M = I ⊗ S b
网络训练学习模块,用于从检索图像库中随机选取预设数目的原图像作为训练图像,然后再分别从各训练图像相应的显著区域上提取尺寸相同的训练图像块,所有训练图像块一起构成训练样本集X;采用去均值后PCA白化的方式对训练样本集X进行预处理,得到预处理后的训练样本集XPCAwhite,然后基于无监督特征学习方法训练得到网络参数,设从检索图像库中任一图像的显著区域上提取尺寸相同的图像块所构成的矩阵为Xpatch,采用去均值后PCA白化的方式后得到预处理后的矩阵X′patch,利用训练所得网络参数学习得到特征矩阵;
查询模块,用于计算检索图像库中的查询图像和其他图像的相似性,并根据相似性大小返回查询图像的相似图像;相似性计算如下,
设两幅图像根据网络训练学习模块所得特征矩阵为 L f α = l 1 α l 2 α . . . l m α L f β = l 1 β l 2 β . . . l n β , m、n为两幅图像中分别提取的图像块数目,特征矩阵的每一列表示一个图像块的特征向量,的距离矩阵Df计算如下,
Df=[dij;i=1,2,...,m;j=1,2,...,n]
其中,Df是m×n维的距离矩阵,dij表示两个特征矩阵间任意两个特征向量的欧式距离;最终两幅图像的相似性计算如下,
D = | | m f r | | + | | m f c | |
其中,分别表示Df各行最小值和各列最小值构成的向量。
而且,二值化显著图提取模块中,对检索图像库中各图像分别提取显著图根据GBVS模型实现,所述GBVS模型为基于图的显著性检测模型。
而且,网络训练学习模块中,无监督特征学习方法采用线性稀疏自编码网络实现。
考虑到从人眼视觉理论的角度来说,对于一幅图像人们关注的不是整幅图像的内容而是图像的显著区域。对于图像检索而言,基于图像显著区域的检索能得到更好的检索结果。与现有技术相比,本发明具有如下特点和有益效果,
1、采用视觉注意模型获取图像的显著区域,并将原图像和二值显著图进行“掩膜”运算获取图像的显著区域。
2、从图像的显著区域提取尺寸相同的图像块构造用于无监督特征学习的训练样本,弥补了传统的直接在原图像上进行随机取样的缺陷,不仅符合人眼的视觉注意特点而且更能直接反映出人们的检索需求。
3、利用无监督特征学习方法学习图像的特征而非设计特征提取方法,省去了复杂了特征设计过程。
4、扩展性好,用于无监督特征学习的方法包括但不仅限于线性稀疏自编码网络,只要能够进行特征学习的方法均可。
附图说明
图1为本发明实施例的流程图。
具体实施方式
本发明提出的基于无监督特征学习的遥感图像检索技术方案首先计算图像的显著图,并采用自适应阈值方法将得到的显著图二值化,然后将原图像与其相应的二值显著图进行“掩膜”运算分割出图像的显著区域,接着从各图像的显著区域提取大小相同的图像块构造训练样本,并利用无监督特征学习方法对样本进行训练,以得到描述图像内容的特征,最后根据预先定义的相似性度量方法进行图像检索并返回相似图像。
具体实施时,本发明可采用计算机软件技术实现自动运行流程。为详细说明本发明技术方案,参见图1,提供实施例流程具体说明如下:
步骤1,获取检索图像库中各图像的显著图及相应的二值化显著图。
对于检索图像库中的每一幅图像,可采用视觉注意模型提取显著图。具体实施时,本领域技术人员可自行指定具体提取方式,实施例首先采用GBVS(Graph-Based Visual Saliency,基于图的显著性检测)模型计算提取原图像的显著图,GBVS模型是现有技术,本发明不予赘述。然后,依据显著图中各像素的显著性大小,由式(1)确定显著图的分割阈值T,
T = 2 W × H Σ x = 1 W Σ y = 1 H S ( x , y ) - - - ( 1 )
其中,W和H分别代表显著图的宽和高,S(x,y)代表显著图中(x,y)处像素的显著值。根据得到的阈值T将显著图S(x,y)进行阈值分割得到二值化显著图Sb(x,y)。
具体实施时,可以检索图像库中的任一图像为查询图像,以其他图像为候选图像,检索候选图像中与查询图像相似的图像。以其他图像为查询图像时处理方式相同,可以入库后进行处理。
步骤2,通过“掩膜”运算分割出检索图像库中各图像的显著区域。
所谓“掩膜”运算就是遮掩图像中的某些像素以保留感兴趣区域的像素,进行“掩膜”运算时,原图像和相应的二值掩模图大小应相同。
设I代表原始的图像,Sb代表步骤1中得到的二值化显著图,M代表二者“掩膜”运算结果,掩膜运算可用公式(2)表示:
M = I ⊗ S b - - - ( 2 )
其中,
I = i ( 1,1 ) i ( 1,2 ) . . . i ( 1 , W ) i ( 2,1 ) i ( 2,2 ) . . . i ( 2 , W ) . . . . . . . . . . . . i ( H , 1 ) i ( H , 2 ) . . . i ( H , W ) ;
S b = s ( 1,1 ) s ( 1,2 ) . . . s ( 1 , W ) s ( 2,1 ) s ( 2,2 ) . . . s ( 2 , W ) . . . . . . . . . . . . s ( H , 1 ) s ( H , 2 ) . . . s ( H , W ) ;
I中各元素取值为0~255间的任一灰度值,Sb中各元素s(x,y)取值为逻辑值0或1(元素为1的位置对应的像素是显著像素),符号表示两个矩阵对应的元素进行数乘运算,H和W分别代表图像像素的行数和列数。
步骤3,从图像的显著区域提取尺寸大小相同的图像块构造训练样本,并通过无监督特征学习方法学习图像特征。具体实施时,本领域技术人员可自行指定具体无监督特征学习方法实现方式,可以采用线性稀疏自编码网络、卷积神经网络等方式实现。实施例采用线性稀疏自编码网络。
实施例从图像的显著区域提取尺寸相同的图像块构造训练样本集,并采用线性稀疏自编码网络对样本进行训练以学习描述图像内容的特征,提取方式可以是根据预设尺寸对图像的显著区域划分不重叠的图像块,例如图像块的预设尺寸为2×2,某图像中显著区域为4×4,可以提取出4个图像块。对于不规则显著区域的边缘可以扩充像素成为规则矩形以便进行划分,例如采用插值方式或者直接取邻近的像素值进行扩充。具体训练学习实现如下:
首先,从图像显著区域提取图像块,构造训练样本集。
实施例的训练样本是从图像的显著区域而非原图像提取的,实施时先从检索图像库中随机选取预设数目的原图像作为训练图像,然后再分别从各训练图像相应的显著区域上提取尺寸相同的训练图像块,所有训练图像块一起构成训练样本集X。检索图像库的训练样本集X可用式(3)表示:
X = x 11 x 12 . . . x 1 q x 21 x 22 . . . x 2 q . . . . . . . . . . . . x p 1 x p 2 . . . x pq - - - ( 3 )
其中,p和q分别表示训练样本的维数(图像块的像素数)和训练样本的个数(用于构造训练样本集的图像块数目)。例如,设每一个图像块的预设尺寸为2×2,且训练样本集X的第i个样本记为xi,则p=4,i=1,2,...,q。
然后,利用线性稀疏自编码网络对训练样本进行训练得到网络参数。
由于图像块中相邻像素之间相关性较强,直接对训练样本集X进行训练会造成输入冗余,因此采用去均值后PCA(Principal Components Analysis,主成分分析)白化的方式对训练样本集进行预处理,可用式(4)表示预处理后的训练样本集XPCAwhite。为便于实施参考起见,提供说明如下:
XPCAwhite=FUTX′       (4)
其中,
X ′ = X - 1 q Σ i = 1 q x 1 i Σ i = 1 q x 2 i . . . Σ i = 1 q x pi T ;
Σ i = 1 q x 1 i Σ i = 1 q x 2 i . . . Σ i = 1 q x pi 分别为训练样本集X的第1、2…p行的元素之和,X′为训练样本集X的去均值化结果;U是X′的协方差矩阵的特征向量构成的矩阵,λt(t=1,2,...,p)是与U中第t个特征向量对应的特征值,ε是为了防止运算时数据上溢而加的一个很小的正常数。
线性稀疏自编码网络包含输入层、隐含层以及输出层3层网络结构,是一种常用的无监督学习算法,其目标是学习一个函数hW,b(x)≈x以使网络的输出hW,b(x)近似等于网络的输入x。为了使模型容易应用且对参数变化鲁棒,线性稀疏自编码网络采用f(x)=x作为输出层各神经元的激活函数,而其他层的神经元则采用非线性的S型函数作为神经元的激活函数。
给定预处理后的训练样本集XPCAwhite,整个自编码网络的代价函数J(W,b)如式(5)所示:
J ( W , b ) = 1 2 q Σ i = 1 q | | h W , b ( x i ) - x i | | 2 + λ 2 Σ l = 1 n l - 1 Σ c = 1 s l Σ d = 1 s l + 1 ( W dc ( l ) ) 2 + β Σ j = 1 s 2 KL ( ρ | | ρ ^ j ) - - - ( 5 )
式(5)中第一项为均方差项,第二项为权重衰减项,第三项为稀疏惩罚项。
其中,hW,b(xi)是第i个样本xi网络输出值,nl表示网络总层数,sl表示网络第l层的单元数,s2为网络第2层的单元数,KL(.)表示求相对熵,是连接网络第l层c单元和第l+1层d单元的权重,λ和β分别表示权重衰减系数和惩罚项的权重,ρ为稀疏度参数,表示隐含层j单元的平均激活值。稀疏惩罚项是基于相对熵的,可用式(6)表示,
KL ( ρ | | ρ ^ j ) = ρ log ρ ρ ^ j + ( 1 - ρ ) log 1 - ρ 1 - ρ ^ j - - - ( 6 )
整个网络训练结束后,会得到使网络代价函数最小的权重W和偏置项b。
最后,设Xpatch是从检索图像库中任一图像显著区域上提取与训练图像块尺寸相同的图像块构成的矩阵,且每列表示一个图像块,经过去均值和PCA白化预处理后得到预处理后的矩阵X′patch(预处理方法与训练样本集X的预处理方法类似),利用式(7)计算网络隐含层的激活值Lf(即学习所得的图像特征,为矩阵形式)。
Lf=σ(W′X′patch+b′)         (7)
其中W′和b′分别表示连接网络输入层和隐含层的权重和偏置项,表示S型函数(隐含层采用的激活函数),z为其中的函数变量。
步骤4,基于预设的相似度准则计算查询图像和其他图像的相似性,并根据相似性大小以一定顺序返回相似图像。
L f α = l 1 α l 2 α . . . l m α L f β = l 1 β l 2 β . . . l n β 分别表示两幅图像α、β根据步骤3所得的特征矩阵,m、n为两幅图像中分别提取的图像块数目,特征矩阵的每一列表示一个图像块的特征向量,即分别表示图像α中的第i个图像块的特征向量、图像β中的第j个图像块的特征向量,i=1,2,...,m;j=1,2,...,n。的距离矩阵可用式(8)计算,
Df=[dij;i=1,2,...,m;j=1,2,...,n]       (8)
其中,Df是m×n维的距离矩阵,dij表示两个特征矩阵间任意两个特征向量的欧式距离。最终两幅图像的相似性可用式(9)表示。
D = | | m f r | | + | | m f c | | - - - ( 9 )
其中分别表示Df各行最小值和各列最小值构成的向量。
由式(9)计算出两幅图像的相似性后,按一定顺序(相似性从高到低或从低到高)返回一定数目的相似图像。
具体实施时,可设计步骤4进一步包括子步骤:
4.1根据预设的相似性度量准则,计算两幅图像的距离矩阵;
4.2统计距离矩阵中各行和各列的最小值,得到两个距离向量;
4.3计算两个距离向量的2范数并求和,得到两幅图像的相似性;
4.4根据相似性大小,按一定顺序返回检索结果。
本发明还相应提供一种基于无监督特征学习的遥感图像检索系统,包括以下模块:
二值化显著图提取模块,用于对检索图像库中各图像分别提取显著图,并根据显著图的分割阈值T获得相应的二值化显著图;所述分割阈值T确定如下,
T = 2 W × H Σ x = 1 W Σ y = 1 H S ( x , y )
其中,W和H分别代表显著图的宽和高,S(x,y)代表显著图中(x,y)处像素的显著值,
显著区域分割模块,用于对检索图像库中各图像,根据相应的二值化显著图通过掩膜运算分割出显著区域;设I代表原始的图像,Sb代表二值化显著图提取模块中得到的二值化显著图,M代表二者掩膜运算结果,掩膜运算如下,
M = I ⊗ S b
网络训练学习模块,用于从检索图像库中随机选取预设数目的原图像作为训练图像,然后再分别从各训练图像相应的显著区域上提取尺寸相同的训练图像块,所有训练图像块一起构成训练样本集X;采用去均值后PCA白化的方式对训练样本集X进行预处理,得到预处理后的训练样本集XPCAwhite,然后利用线性稀疏自编码网络训练得到网络参数;设从检索图像库中任一图像的显著区域上提取尺寸相同的图像块所构成的矩阵为Xpatch,采用去均值后PCA白化的方式后得到预处理后的矩阵X′patch,利用训练所得网络参数学习得到特征矩阵;
查询模块,用于计算检索图像库中的查询图像和其他图像的相似性,并根据相似性大小返回查询图像的相似图像;相似性计算如下,
设两幅图像根据网络训练学习模块所得特征矩阵为 L f α = l 1 α l 2 α . . . l m α L f β = l 1 β l 2 β . . . l n β , m、n为两幅图像中分别提取的图像块数目,特征矩阵的每一列表示一个图像块的特征向量,的距离矩阵Df计算如下,
Df=[dij;i=1,2,...,m;j=1,2,...,n]
其中,Df是m×n维的距离矩阵,dij表示两个特征矩阵间任意两个特征向量的欧式距离;最终两幅图像的相似性计算如下,
D = | | m f r | | + | | m f c | |
其中,分别表示Df各行最小值和各列最小值构成的向量。
优选地,二值化显著图提取模块中,对检索图像库中各图像分别提取显著图根据GBVS模型实现,所述GBVS模型为基于图的显著性检测模型。网络训练学习模块中,无监督特征学习方法采用线性稀疏自编码网络实现。
具体实施时,各模块实现参见相应步骤,本发明不予赘述。
以上内容是结合最佳实施方案对本发明所做的进一步详细说明,不能认定本发明的具体实施只限于这些说明。本领域的技术人员应能理解,在不脱离由所附权利要求书限定的情况下,可以在细节上进行各种修改,都应当视为本发明的保护范围。

Claims (6)

1.一种基于无监督特征学习的遥感图像检索方法,其特征在于,包括以下步骤:
步骤1,对检索图像库中各图像分别提取显著图,并根据显著图的分割阈值T获得相应的二值化显著图;所述分割阈值T确定如下,
T = 2 W × H Σ x = 1 W Σ y = 1 H S ( x , y )
其中,W和H分别代表显著图的宽和高,S(x,y)代表显著图中(x,y)处像素的显著值,
步骤2,对检索图像库中各图像,根据相应的二值化显著图通过掩膜运算分割出显著区域;设I代表原始的图像,Sb代表步骤1中得到的二值化显著图,M代表二者掩膜运算结果,掩膜运算如下,
M = I ⊗ S b
步骤3,从检索图像库中随机选取预设数目的原图像作为训练图像,然后再分别从各训练图像相应的显著区域上提取尺寸相同的训练图像块,所有训练图像块一起构成训练样本集X;采用去均值后PCA白化的方式对训练样本集X进行预处理,得到预处理后的训练样本集XPCAwhite,然后基于无监督特征学习方法训练得到网络参数,设从检索图像库中任一图像的显著区域上提取尺寸相同的图像块所构成的矩阵为Xpatch,采用去均值后PCA白化的方式后得到预处理后的矩阵X′patch,利用训练所得网络参数学习得到特征矩阵;
步骤4,计算检索图像库中的查询图像和其他图像的相似性,并根据相似性大小返回查询图像的相似图像;相似性计算如下,
设两幅图像根据步骤3所得特征矩阵为 L f α = l 1 α l 2 α . . . l m α L f β = l 1 β l 2 β . . . l n β , m、n为两幅图像中分别提取的图像块数目,特征矩阵的每一列表示一个图像块的特征向量,的距离矩阵Df计算如下,
Df=[dij;i=1,2,...,m;j=1,2,...,n]
其中,Df是m×n维的距离矩阵,dij表示两个特征矩阵间任意两个特征向量的欧式距离;最终两幅图像的相似性计算如下,
D = | | m f r | | + | | m f c | |
其中,分别表示Df各行最小值和各列最小值构成的向量。
2.根据权利要求1所述基于无监督特征学习的遥感图像检索方法,其特征在于:步骤1中,对检索图像库中各图像分别提取显著图根据GBVS模型实现,所述GBVS模型为基于图的显著性检测模型。
3.根据权利要求1或2所述基于无监督特征学习的遥感图像检索方法,其特征在于:步骤3中,无监督特征学习方法采用线性稀疏自编码网络实现。
4.一种基于无监督特征学习的遥感图像检索系统,其特征在于,包括以下模块:
二值化显著图提取模块,用于对检索图像库中各图像分别提取显著图,并根据显著图的分割阈值T获得相应的二值化显著图;所述分割阈值T确定如下,
T = 2 W × H Σ x = 1 W Σ y = 1 H S ( x , y )
其中,W和H分别代表显著图的宽和高,S(x,y)代表显著图中(x,y)处像素的显著值,
显著区域分割模块,用于对检索图像库中各图像,根据相应的二值化显著图通过掩膜运算分割出显著区域;设I代表原始的图像,Sb代表二值化显著图提取模块中得到的二值化显著图,M代表二者掩膜运算结果,掩膜运算如下,
M = I ⊗ S b
网络训练学习模块,用于从检索图像库中随机选取预设数目的原图像作为训练图像,然后再分别从各训练图像相应的显著区域上提取尺寸相同的训练图像块,所有训练图像块一起构成训练样本集X;采用去均值后PCA白化的方式对训练样本集X进行预处理,得到预处理后的训练样本集XPCAwhite,然后基于无监督特征学习方法训练得到网络参数,设从检索图像库中任一图像的显著区域上提取尺寸相同的图像块所构成的矩阵为Xpatch,采用去均值后PCA白化的方式后得到预处理后的矩阵X′patch,利用训练所得网络参数学习得到特征矩阵;
查询模块,用于计算检索图像库中的查询图像和其他图像的相似性,并根据相似性大小返回查询图像的相似图像;相似性计算如下,
设两幅图像根据网络训练学习模块所得特征矩阵为 L f α = l 1 α l 2 α . . . l m α L f β = l 1 β l 2 β . . . l n β , m、n为两幅图像中分别提取的图像块数目,特征矩阵的每一列表示一个图像块的特征向量,的距离矩阵Df计算如下,
Df=[dij;i=1,2,...,m;j=1,2,...,n]
其中,Df是m×n维的距离矩阵,dij表示两个特征矩阵间任意两个特征向量的欧式距离;最终两幅图像的相似性计算如下,
D = | | m f r | | + | | m f c | |
其中,分别表示Df各行最小值和各列最小值构成的向量。
5.根据权利要求4所述基于无监督特征学习的遥感图像检索系统,其特征在于:二值化显著图提取模块中,对检索图像库中各图像分别提取显著图根据GBVS模型实现,所述GBVS模型为基于图的显著性检测模型。
6.根据权利要求4或5所述基于无监督特征学习的遥感图像检索系统,其特征在于:网络训练学习模块中,无监督特征学习方法采用线性稀疏自编码网络实现。
CN201410802048.4A 2014-12-22 2014-12-22 一种基于无监督特征学习的遥感图像检索方法及系统 Active CN104462494B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201410802048.4A CN104462494B (zh) 2014-12-22 2014-12-22 一种基于无监督特征学习的遥感图像检索方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201410802048.4A CN104462494B (zh) 2014-12-22 2014-12-22 一种基于无监督特征学习的遥感图像检索方法及系统

Publications (2)

Publication Number Publication Date
CN104462494A true CN104462494A (zh) 2015-03-25
CN104462494B CN104462494B (zh) 2018-01-12

Family

ID=52908529

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410802048.4A Active CN104462494B (zh) 2014-12-22 2014-12-22 一种基于无监督特征学习的遥感图像检索方法及系统

Country Status (1)

Country Link
CN (1) CN104462494B (zh)

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104899255A (zh) * 2015-05-15 2015-09-09 浙江大学 适用于训练深度卷积神经网络的图像数据库的构建方法
CN105243154A (zh) * 2015-10-27 2016-01-13 武汉大学 基于显著点特征和稀疏自编码的遥感图像检索方法及系统
CN105426919A (zh) * 2015-11-23 2016-03-23 河海大学 基于显著性指导非监督特征学习的图像分类方法
CN105550712A (zh) * 2015-12-23 2016-05-04 西安电子科技大学 基于优化卷积自动编码网络的极光图像分类方法
CN107577758A (zh) * 2017-08-31 2018-01-12 桂林电子科技大学 一种基于多区域交叉权值的图像卷积特征的生成方法
CN107958067A (zh) * 2017-12-05 2018-04-24 焦点科技股份有限公司 一种基于无标注自动特征提取的大规模电商图片检索系统
CN108595596A (zh) * 2018-04-19 2018-09-28 厦门启尚科技有限公司 一种图像相似度检索方法
CN108805986A (zh) * 2017-04-28 2018-11-13 丰田自动车株式会社 图像传送装置、图像传送方法以及非暂态存储介质
CN109902192A (zh) * 2019-01-15 2019-06-18 华南师范大学 基于无监督深度回归的遥感图像检索方法、系统、设备及介质
CN110298211A (zh) * 2018-03-21 2019-10-01 北京大学 一种基于深度学习和高分辨率遥感影像的河网提取方法
CN110347861A (zh) * 2019-07-12 2019-10-18 北京邮电大学 一种基于掩膜的累加显著特征的无监督图像检索系统
CN110569761A (zh) * 2019-08-27 2019-12-13 武汉大学 一种基于对抗学习的手绘草图检索遥感图像的方法
CN111143588A (zh) * 2019-12-27 2020-05-12 中科星图股份有限公司 一种基于机器学习的图像时空索引快速检索方法
CN111507902A (zh) * 2020-04-15 2020-08-07 京东城市(北京)数字科技有限公司 一种高分辨率图像获取方法及装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103678004A (zh) * 2013-12-19 2014-03-26 南京大学 一种基于非监督特征学习的主机负载预测方法
CN103678552A (zh) * 2013-12-05 2014-03-26 武汉大学 基于显著区域特征的遥感影像检索方法及系统
CN104200224A (zh) * 2014-08-28 2014-12-10 西北工业大学 基于深度卷积神经网络的无价值图像去除方法
US20140369626A1 (en) * 2005-05-09 2014-12-18 Google Inc. System and method for providing objectified image renderings using recognition information from images

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140369626A1 (en) * 2005-05-09 2014-12-18 Google Inc. System and method for providing objectified image renderings using recognition information from images
CN103678552A (zh) * 2013-12-05 2014-03-26 武汉大学 基于显著区域特征的遥感影像检索方法及系统
CN103678004A (zh) * 2013-12-19 2014-03-26 南京大学 一种基于非监督特征学习的主机负载预测方法
CN104200224A (zh) * 2014-08-28 2014-12-10 西北工业大学 基于深度卷积神经网络的无价值图像去除方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
姜海洋: "基于形状的商品图像检索", 《中国优秀硕士学位论文全文数据库信息科技辑》 *
王星等: "基于视觉显著点特征的遥感影像检索方法", 《测绘科学》 *

Cited By (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104899255A (zh) * 2015-05-15 2015-09-09 浙江大学 适用于训练深度卷积神经网络的图像数据库的构建方法
CN104899255B (zh) * 2015-05-15 2018-06-26 浙江大学 适用于训练深度卷积神经网络的图像数据库的构建方法
CN105243154A (zh) * 2015-10-27 2016-01-13 武汉大学 基于显著点特征和稀疏自编码的遥感图像检索方法及系统
CN105243154B (zh) * 2015-10-27 2018-08-21 武汉大学 基于显著点特征和稀疏自编码的遥感图像检索方法及系统
CN105426919A (zh) * 2015-11-23 2016-03-23 河海大学 基于显著性指导非监督特征学习的图像分类方法
CN105426919B (zh) * 2015-11-23 2017-11-14 河海大学 基于显著性指导非监督特征学习的图像分类方法
CN105550712A (zh) * 2015-12-23 2016-05-04 西安电子科技大学 基于优化卷积自动编码网络的极光图像分类方法
CN105550712B (zh) * 2015-12-23 2019-01-08 西安电子科技大学 基于优化卷积自动编码网络的极光图像分类方法
CN108805986A (zh) * 2017-04-28 2018-11-13 丰田自动车株式会社 图像传送装置、图像传送方法以及非暂态存储介质
CN107577758A (zh) * 2017-08-31 2018-01-12 桂林电子科技大学 一种基于多区域交叉权值的图像卷积特征的生成方法
CN107577758B (zh) * 2017-08-31 2020-06-16 桂林电子科技大学 一种基于多区域交叉权值的图像卷积特征的生成方法
CN107958067A (zh) * 2017-12-05 2018-04-24 焦点科技股份有限公司 一种基于无标注自动特征提取的大规模电商图片检索系统
CN110298211B (zh) * 2018-03-21 2021-03-23 北京大学 一种基于深度学习和高分辨率遥感影像的河网提取方法
CN110298211A (zh) * 2018-03-21 2019-10-01 北京大学 一种基于深度学习和高分辨率遥感影像的河网提取方法
CN108595596A (zh) * 2018-04-19 2018-09-28 厦门启尚科技有限公司 一种图像相似度检索方法
CN109902192A (zh) * 2019-01-15 2019-06-18 华南师范大学 基于无监督深度回归的遥感图像检索方法、系统、设备及介质
CN110347861A (zh) * 2019-07-12 2019-10-18 北京邮电大学 一种基于掩膜的累加显著特征的无监督图像检索系统
CN110569761A (zh) * 2019-08-27 2019-12-13 武汉大学 一种基于对抗学习的手绘草图检索遥感图像的方法
CN110569761B (zh) * 2019-08-27 2021-04-02 武汉大学 一种基于对抗学习的手绘草图检索遥感图像的方法
CN111143588A (zh) * 2019-12-27 2020-05-12 中科星图股份有限公司 一种基于机器学习的图像时空索引快速检索方法
CN111143588B (zh) * 2019-12-27 2023-08-15 中科星图股份有限公司 一种基于机器学习的图像时空索引快速检索方法
CN111507902A (zh) * 2020-04-15 2020-08-07 京东城市(北京)数字科技有限公司 一种高分辨率图像获取方法及装置
CN111507902B (zh) * 2020-04-15 2023-09-26 京东城市(北京)数字科技有限公司 一种高分辨率图像获取方法及装置

Also Published As

Publication number Publication date
CN104462494B (zh) 2018-01-12

Similar Documents

Publication Publication Date Title
CN104462494A (zh) 一种基于无监督特征学习的遥感图像检索方法及系统
Henderson et al. End-to-end training of object class detectors for mean average precision
Zhang et al. Scene classification via a gradient boosting random convolutional network framework
CN106909924B (zh) 一种基于深度显著性的遥感影像快速检索方法
CN103824050B (zh) 一种基于级联回归的人脸关键点定位方法
CN110866140A (zh) 图像特征提取模型训练方法、图像搜索方法及计算机设备
Xu et al. High-resolution remote sensing image change detection combined with pixel-level and object-level
EP3029606A2 (en) Method and apparatus for image classification with joint feature adaptation and classifier learning
CN108875076B (zh) 一种基于Attention机制和卷积神经网络的快速商标图像检索方法
CN109002755B (zh) 基于人脸图像的年龄估计模型构建方法及估计方法
CN105574534A (zh) 基于稀疏子空间聚类和低秩表示的显著性目标检测方法
CN110309842B (zh) 基于卷积神经网络的物体检测方法及装置
CN104778242A (zh) 基于图像动态分割的手绘草图图像检索方法及系统
CN109033107A (zh) 图像检索方法和装置、计算机设备和存储介质
CN104392231A (zh) 基于分块与稀疏主特征提取的快速协同显著性检测方法
CN104392241A (zh) 一种基于混合回归的头部姿态估计方法
CN105243154A (zh) 基于显著点特征和稀疏自编码的遥感图像检索方法及系统
CN107506792A (zh) 一种半监督的显著对象检测方法
CN103065158A (zh) 基于相对梯度的isa模型的行为识别方法
CN102999615A (zh) 基于径向基函数神经网络的多样化图像标注和检索方法
CN111881716A (zh) 一种基于多视角生成对抗网络的行人重识别方法
CN110991257A (zh) 基于特征融合与svm的极化sar溢油检测方法
CN102163285A (zh) 一种基于主动学习的跨域视频语义概念检测方法
CN113920472A (zh) 一种基于注意力机制的无监督目标重识别方法及系统
CN111242134A (zh) 一种基于特征自适应学习的遥感影像地物分割方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant