CN106951551A - 联合gist特征的多重索引图像检索方法 - Google Patents
联合gist特征的多重索引图像检索方法 Download PDFInfo
- Publication number
- CN106951551A CN106951551A CN201710190761.1A CN201710190761A CN106951551A CN 106951551 A CN106951551 A CN 106951551A CN 201710190761 A CN201710190761 A CN 201710190761A CN 106951551 A CN106951551 A CN 106951551A
- Authority
- CN
- China
- Prior art keywords
- image
- feature
- gist
- features
- bof
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 201000011243 gastrointestinal stromal tumor Diseases 0.000 title claims abstract description 88
- 238000000034 method Methods 0.000 title claims abstract description 72
- 230000001186 cumulative effect Effects 0.000 title claims abstract description 21
- 238000011002 quantification Methods 0.000 claims abstract description 12
- 238000004422 calculation algorithm Methods 0.000 claims description 25
- 239000013598 vector Substances 0.000 claims description 23
- 238000013139 quantization Methods 0.000 claims description 18
- 238000000605 extraction Methods 0.000 claims description 17
- 230000000007 visual effect Effects 0.000 claims description 11
- 239000011159 matrix material Substances 0.000 claims description 10
- 230000006978 adaptation Effects 0.000 claims description 9
- 238000001914 filtration Methods 0.000 claims description 5
- 238000012545 processing Methods 0.000 claims description 5
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 claims description 3
- 241001269238 Data Species 0.000 claims description 3
- 238000004364 calculation method Methods 0.000 claims description 3
- 238000010606 normalization Methods 0.000 claims description 3
- 230000002093 peripheral effect Effects 0.000 claims description 3
- 239000000284 extract Substances 0.000 claims description 2
- 239000012141 concentrate Substances 0.000 claims 1
- 238000005516 engineering process Methods 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 238000000354 decomposition reaction Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000004927 fusion Effects 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000007596 consolidation process Methods 0.000 description 1
- 230000007123 defense Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
- G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
- G06F16/5838—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using colour
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
- G06F18/232—Non-hierarchical techniques
- G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
- G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Library & Information Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Probability & Statistics with Applications (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Databases & Information Systems (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Multimedia (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Image Analysis (AREA)
- Processing Or Creating Images (AREA)
Abstract
本发明公开的联合GIST特征的多重索引图像检索方法:对参考图像库中图像提取局部SIFT特征,根据局部SIFT特征中的坐标信息建立GIST特征;用局部SIFT特征中局部描述信息与GIST特征中局部描述信息建立二维BOF特征模型;根据二维BOF特征模型建立基于二维BOF的投票检索模型;根据SIFT特征与GIST特征结合基于BOF特征的二维倒排表索引,对SIFT特征与GIST进行汉明量化处理,将应用信息融合策略得到的局部SIFT特征汉明量化信息与GIST特征汉明量化信息融合到基于BOF的投票检索模型中,精确检索近似重复图像。本发明的多重索引图像检索方法实现在大规模数据图像中完成对近似重复图像的检索。
Description
技术领域
本发明属于图像分析及检索方法技术领域,具体涉及一种联合GIST特征的多重索引图像检索方法。
背景技术
近年来,通信多媒体技术、计算机网络、大容量存储器及数字化图像设备等技术迅速的发展与应用;其中,数字图像的应用涉及国防军事、工业制造、新闻媒体和大众娱乐等各个方面,由此产生了各式各样的图像数据库,信息量呈指数型增长。
如今,每天都有大量的图像在互联网被上传和下载,网络数据库中会保存大量近似重复的图像。为了有序而严谨地运用这些大量近似重复的图像,许多新的理论及运用应运而生,如:图像分类、图像防伪、图像内容分割、图像标注及图像数据库升级维护等等。例如:一个最普遍的情况是,一个网络用户想要搜索一些与某个关键词或图片样本相关的图像,但最终搜索引擎返回了许多重复或无关的图像;另一种情况涉及图像防伪与版权,图像制作者希望版权保护他们的图像,以避免在互联网上共享;这两种情况与需求都需要近似重复图像检索技术来实现。
近年来,近似重复图像检索成为研究的热点。大量的现有方法是使用如下介绍的图像检索框架(J.Sivic,A.Zisserman,“Video Google:a text retrieval approach toobject matching in videos,”Proceedings Ninth IEEE International Conference onComputer Vision,vol.2,pp.1470-1477,Oct,2003.):首先,通过图像预处理算法对图像进行预处理;其次,对这些图像提取视觉特征,如:尺度不变特征(SIFT)及方向梯度直方图(HOG)等,用若干组视觉特征向量来表示整个图像;最后,系统需要根据视觉特征向量来计算数据库中每幅图像和查询图像之间的相似性,并得到数据库中与查询图像最相似图像名称。在使用这种方法的前提下,通常使用局部特征的描述信息来衡量图像之间的相似程度(Y.W.Wang,H.L.Yu,“Image registration method based on PCA-SIFT featuredetection,”4th International Conference on Manufacturing Science andEngineering,vol.712-715,pp.2395-2398,Mar,2013.)。与之对应,有一些方法是直接对图像整体提取一个全局特征来进行图像检索(H.Jegou,M.Douze,and C.Schmid,“Bag-of-colors for improved image search,”International Conference on Multimedea,pp.1437-1440,Nov,2011.),但这些方法不能实现对尺度不一且背景复杂图像的有效检索。
在最近出现的一些文献中,出现了通过对BOF检索模型进行改良,以此提高图像检索的精度(L.Zheng,S.Wang,Z.Liu,and Q.Tian,“Lp-Norm IDF for Large Scale ImageSearch,”Computer Vision and Pattern Recognition,pp.1626-1633,Jun,2013.A.Babenko,and V.Lempitsky,“The Inverted Multi-Index,”Pattern Analysisand Machine Intelligence,vol.37,no.6,pp.1247-1260,2013.)。然而,就现有技术而言,许多近似重复图像检索方法都是基于局部特征和BOF检索模型的,但这些方法只利用了单一的局部信息,忽略了特征点的全局分布信息,导致图像检索的精确度不高。
发明内容
本发明的目的在于提供一种联合GIST特征的多重索引图像检索方法,能把局部特征描述信息与区域化图像轮廓信息联合于改进的BOF模型中,实现在大规模数据图像中精确完成对近似重复图像的检索。
本发明所采用的技术方案是,联合GIST特征的多重索引图像检索方法,具体按照以下步骤实施:
步骤1、对参考图像库中图像提取局部SIFT特征,根据获取的局部SIFT特征中的坐标信息建立GIST特征;
步骤2、将一维BOF模型升维成二维BOF模型,利用步骤1得到的局部SIFT特征中局部描述信息与GIST特征中局部描述信息建立二维BOF特征模型;
步骤3、根据步骤2中得到的二维BOF特征模型,建立基于二维BOF的投票检索模型;
步骤4、先根据步骤1得到的SIFT特征与GIST特征,结合步骤2得到的基于BOF特征的二维倒排表索引,对SIFT特征与GIST分别进行汉明量化处理;再将应用信息融合策略得到的局部SIFT特征汉明量化信息与GIST特征汉明量化信息融合到经步骤3建立的基于BOF的投票检索模型中,在大规模的数据中精确检索近似重复图像。
本发明的特点还在于:
步骤1具体按照以下步骤实施:
步骤1.1、对参考图像库中的图像进行图像标准化处理,将每幅图像的像素总数控制到固定个数;
步骤1.2、对经步骤1.1处理后的每幅图像均进行SIFT特征提取;
SIFT特征提取是采用基于hessian-affine的仿射不变特征提取方法;
对每幅图像提取SIFT特征,提取的信息包括有:特征点的位置信息、尺度信息、角度信息以及局部描述信息;
步骤1.3、根据获取的局部SIFT特征中特征点的位置信息提取特征点及其周围区域的GIST特征;
GIST特征提取采用的是图像与不同方向和不同尺度的Gabor滤波器组进行滤波,将滤波后得到的图像划分为网格,在每个网格内部取平均值,最后将滤波后得到的所有图像的每个网格均值级联起来得到GIST特征的方法,对每个SIFT特征点的相邻区域提取GIST特征,提取的信息为特征点相邻区域的描述信息。
步骤1.1中,将大图控制到1024*768个像素,小图控制到640*480个像素。
步骤2具体按照以下方法实施:
用大规模数据分级聚类算法对参考图像库中的SIFT特征与GIST特征中的描述符分别进行训练,生成两个类;
进行量化生成每幅图像的BOF特征,具体方法如下:
量化生成每幅图像的BOF特征是指图像的每个特征点的SIFT特征与GIST特征分别进行量化处理;再判断在各自的量化过程中与哪个类中心最近,则放入该类中心;然后将生成一张频数表,即初步的无权BOF;最后通过tf-idf对频数表加上权重,生成最终的加权BOF特征;
其中,对查询图像的特征进行量化方法,具体按照以下算法实施:
在式(1)中:q:表示量化,Rd表示实数空间中的d维数据,k表示类中心的数量,xp,p=1,...,r2为参考图像库中图像的第p个特征;
计算tf-idf权值方法,具体按照以下算法实施:
Wu,v=tfu,v·idfu,v (4);
在式(2)~式(4)中:k1表示SIFT特征类中心的数量,k2表示GIST特征类中心的数量,fu,v是每幅图像中的特征点划分到第u个SIFT类中心并且第v个GIST类中心的频数,tu,v是特征点划分到第u个SIFT类中心并且第v个GIST类中心的参考图像总数,T是总的参考图像数,tfu,v表示词频率因子,idfu,v表示逆词频率因子;
对生成的BOF特征建立二维倒排索引,具体方法为:
二维倒排索引通常是由量化表文件和倒排表文件两部分组成;量化表文件记录了文档集中出现的所有词汇;倒排表文件是将每个词汇在记录文件中的位置、频率和逆词频率信息都记录下来,所有词汇的这些信息就构成倒排表;对于量化表文件中的k1*k2个词汇中的一个wu,v,在x个记录文件,d1…dx中的倒排表能表示为如下形式:
式(5)中:g表示频率、方向及尺度信息,并给出了一个完整的用于查询文本词汇的倒排索引结构;k1*k2条这样的记录能构成一个完整的倒排表。
步骤3具体按照以下步骤实施:
给定一个查询图像,其中所有特征用y表示,局部SIFT特征用y1表示、GIST特征用y2表示,并且图像数据库中图像的特征用xj表示,局部SIFT特征用x1j表示、GIST特征用x2j表示,j=1,...,n。基于BOF投票检索的步骤具体如下:
步骤3.1、对于查询图像的特征yl,l=1,...,r1和图像数据库中所有图像的特征xi,j,i=1,...,r2,j=1,...,s,l、i表示各自图像的特征序号,j表示图像库中的图像序号,计算出两个图像之间的相似性分数sj,其算法具体如下:
式(6)中:f(a,b)是一个匹配函数,它反映了两个特征组a和b之间的相似性程度;
步骤3.2、经步骤3.1后,为了提高运算效率,把特征根据视觉词汇进行量化,并把量化后数据库中图像的特征存储在一个倒排文件中,这个量化过程q采用的是如下算法:
量化后q(xi,j)的结果是与特征xi,j最近的类中心的序号;因此,若两个特征xi,j和yl量化后满足q(xi,j)=q(yl),则这两个特征在高维的特征空间中很接近的概率非常高;根据这个原理,考虑到前述的tf-idf加权方法,匹配函数f则定义为如下算法:
这样能根据量化后的结果高效地比较两个不同的特征;
步骤3.3、经步骤3.2后,最终用来排序的图像相似性分数sf是对sj进行后处理后得到的,具体按如下算法实施:
由步骤3.2中的式(7)和步骤3.3中的式(8)能看出:同时考虑查询图像和数据库中图像的视觉单词的tf-idf权重,并把它们加入到了基于BOF投票检索方法中,这种加权方法实现了对视觉单词直方图的规一化处理。
步骤4具体按照以下步骤实施:
汉明量化处理采用的是随机生成一个128*128符合高斯分布的矩阵,然后对该矩阵做QR分解,取得到的128*128的正交投影矩阵的前64行,得到64*128的矩阵;
使用大量的属于同一个聚类中心的SIFT向量乘以得到的64*128矩阵,即能得到大量64维的SIFT向量,根据这些向量得到一个中值向量,然后将该聚类中心的每个64维的SIFT向量和对应的64维中值向量的每一维比较:若SIFT在该维比中值向量的对应维大则SIFT的汉明信息该维为1,否则为0,依次比较得到汉明量化信息的方法,得到SIFT特征的汉明量化信息Hs与GIST特征的汉明量化信息Hg;
若两个特征x和y量化到同一个类中心上反映了它们描述符的汉明距离dh(x,y)是很小的,则汉明量化信息所描述的网络之间的距离也应该是很小的;在这一点上,一个描述符由q(x)和b1(x)、b2(x),q是一个量化器,b1表示SIFT特征的汉明量化信息Hs、b2表示GIST特征的汉明量化信息Hg;则把SIFT特征的汉明量化信息Hs、GIST特征的汉明量化信息Hg嵌入到BOF检索模型中,重新定义的匹配函数f的功能,具体算法如下:
式(9)中:dh表示汉明距离,与分别表示阈值,并且与最理想的值分别22和40;
在量化时类中心数要取小一些的值,20000为最优,尽量让相近的图像能匹配上,而与也相应的要取合适的值,以便于能根据Hs特征与Hg特征的汉明距离去除误匹配的图像且不影响近似图像的匹配结果。
本发明的有益效果在于:
(1)本发明联合GIST特征的多重索引图像检索方法中提出了一种改进的BOF模型,能明显提高图像检索的鲁棒性。
(2)在本发明联合GIST特征的多重索引图像检索方法中,能根据二维BOF模型的特点,将SIFT特征与GIST特征量化运用到二维BOF模型中,增加了BOF模型的特征多样性,从而提高了系统的稳定性。
(3)本发明联合GIST特征的多重索引图像检索方法使用时,能大幅提高近重复图像检索的精度,并能广泛应用于图像检索领域。
(4)本发明联合GIST特征的多重索引图像检索方法也适合于视频检索领域,能大幅提高视频检索的精度。
附图说明
图1是本发明联合GIST特征的多重索引图像检索方法的框架图。
具体实施方式
下面结合附图和具体实施方式对本发明进行详细说明。
联合GIST特征的多重索引图像检索方法的框架图,如图1所示的,可将其分为两大系统,分别为:离线系统与在线系统;离线系统是对目标图像库的处理,产生在线体统查询时所需要的二维倒排表数据库;在线系统主要是完成对查询图像在目标图像库中的查询过程。
离线系统的处理对象是参考图像库,对参考图像库中的图像进行SIFT特征提取、GIST特征提取、特征聚类、特征矢量到视觉词汇的量化并生成视觉词汇表、特征汉明量化与关于特征的倒排索引表以供在线部分的使用。
在线系统用于完成对查询图像在参考图像库中的查询;能对查询图像进行SIFT特征提取及GIST特征提取,能根据参考图像库生成的视觉词汇表对在线图像中的特征量化成视觉词汇、特征汉明量化,然后应用信息融合策略把全局几何分布信息融合到BOF模型中,进行候选图像的查找和搜索,得出最终检索结果。
本发明联合GIST特征的多重索引图像检索方法,具体按照以下步骤实施:
步骤1、对参考图像库中图像提取局部SIFT特征,根据获取的局部SIFT特征中的坐标信息建立GIST特征,具体按照以下步骤实施:
步骤1.1、对参考图像库中的图像进行图像标准化处理,将每幅图像的像素总数控制到固定个数;
将大图控制到1024*768个像素,小图控制到640*480个像素;
步骤1.2、对经步骤1.1处理后的每幅图像均进行SIFT特征提取;
SIFT特征提取是采用基于hessian-affine的仿射不变特征提取方法;
对每幅图像提取SIFT特征,提取的信息包括有:特征点的位置信息、尺度信息、角度信息以及局部描述信息;
步骤1.3、根据获取的局部SIFT特征中特征点的位置信息提取特征点及其周围区域的GIST特征;
GIST特征提取采用的是图像与不同方向和不同尺度的Gabor滤波器组进行滤波,将滤波后得到的图像划分为网格,在每个网格内部取平均值,最后将滤波后得到的所有图像的每个网格均值级联起来得到GIST特征的方法,对每个SIFT特征点的相邻区域提取GIST特征,提取的信息为特征点相邻区域的描述信息。
步骤2、将一维BOF模型升维成二维BOF模型,利用步骤1得到的局部SIFT特征中局部描述信息与GIST特征中局部描述信息建立二维BOF特征模型,具体按照以下方法实施:
用大规模数据分级聚类算法对参考图像库中的SIFT特征与GIST特征中的描述符分别进行训练,生成两个类;
进行量化生成每幅图像的BOF特征,具体方法如下:
量化生成每幅图像的BOF特征是指图像的每个特征点的SIFT特征与GIST特征分别进行量化处理;再判断在各自的量化过程中与哪个类中心最近,则放入该类中心;然后将生成一张频数表,即初步的无权BOF;最后通过tf-idf对频数表加上权重,生成最终的加权BOF特征;
其中,对查询图像的特征进行量化方法,具体按照以下算法实施:
在式(1)中:q:表示量化,Rd表示实数空间中的d维数据,k表示类中心的数量,xp,p=1,...,r2为参考图像库中图像的第p个特征;
计算tf-idf权值方法,具体按照以下算法实施:
Wu,v=tfu,v·idfu,v (4);
在式(2)~式(4)中:k1表示SIFT特征类中心的数量,k2表示GIST特征类中心的数量,fu,v是每幅图像中的特征点划分到第u个SIFT类中心并且第v个GIST类中心的频数,tu,v是特征点划分到第u个SIFT类中心并且第v个GIST类中心的参考图像总数,T是总的参考图像数,tfu,v表示词频率因子,idfu,v表示逆词频率因子;
对生成的BOF特征建立二维倒排索引,具体方法为:
二维倒排索引通常是由量化表文件和倒排表文件两部分组成;量化表文件记录了文档集(图像、图像帧)中出现的所有词汇;倒排表文件是将每个词汇在记录文件(图像、图像帧)中的位置、频率和逆词频率信息都记录下来,所有词汇的这些信息就构成倒排表;对于量化表文件中的k1*k2个词汇(特征)w1,1…wm,n中的一个wu,v,在x个记录文件(图像、图像帧)d1…dx中的倒排表能表示为如下形式:
式(5)中:g表示频率、方向及尺度信息,并给出了一个完整的用于查询文本词汇的倒排索引结构;k1*k2条这样的记录能构成一个完整的倒排表。
步骤3、根据步骤2中得到的二维BOF特征模型,建立基于二维BOF的投票检索模型,具体按照以下步骤实施:
给定一个查询图像,其中所有特征用y表示(局部SIFT特征用y1表示、GIST特征用y2表示),并且图像数据库中图像的特征用xj表示(局部SIFT特征用x1j表示、GIST特征用x2j表示),j=1,...,n。基于BOF投票检索的步骤具体如下:
步骤3.1、对于查询图像的特征yl,l=1,...,r1和图像数据库中所有图像的特征xi,j,i=1,...,r2,j=1,...,s(l、i表示各自图像的特征序号,j表示图像库中的图像序号),计算出两个图像之间的相似性分数sj,其算法具体如下:
式(6)中:f(a,b)是一个匹配函数,它反映了两个特征组a和b之间的相似性程度;
步骤3.2、经步骤3.1后,为了提高运算效率,把特征根据视觉词汇进行量化,并把量化后数据库中图像的特征存储在一个倒排文件中,这个量化过程q采用的是如下算法:
量化后q(xi,j)的结果是与特征xi,j最近的类中心(视觉词汇)的序号;因此,若两个特征xi,j和yl量化后满足q(xi,j)=q(yl),则这两个特征在高维的特征空间中很接近的概率非常高;根据这个原理,考虑到前述的tf-idf加权方法,匹配函数f则定义为如下算法:
这样能根据量化后的结果高效地比较两个不同的特征;
步骤3.3、经步骤3.2后,最终用来排序的图像相似性分数sf是对sj进行后处理后得到的,具体按如下算法实施:
由步骤3.2中的式(7)和步骤3.3中的式(8)能看出:同时考虑查询图像和数据库中图像的视觉单词的tf-idf权重,并把它们加入到了基于BOF投票检索方法中,这种加权方法实现了对视觉单词直方图的规一化处理。
步骤4、先根据步骤1得到的SIFT特征与GIST特征,结合步骤2得到的基于BOF特征的二维倒排表索引,对SIFT特征与GIST分别进行汉明量化处理;再将应用信息融合策略得到的局部SIFT特征汉明量化信息与GIST特征汉明量化信息融合到经步骤3建立的基于BOF的投票检索模型中,在大规模的数据中精确检索近似重复图像,具体按照以下方法实施:
汉明量化处理采用的是随机生成一个128*128符合高斯分布的矩阵,然后对该矩阵做QR分解,取得到的128*128的正交投影矩阵的前64行,得到64*128的矩阵;
使用大量的属于同一个聚类中心的SIFT向量乘以得到的64*128矩阵,即能得到大量64维的SIFT向量,根据这些向量得到一个中值向量,然后将该聚类中心的每个64维的SIFT向量和对应的64维中值向量的每一维比较:若SIFT在该维比中值向量的对应维大则SIFT的汉明信息该维为1,否则为0,依次比较得到汉明量化信息的方法,得到SIFT特征的汉明量化信息Hs与GIST特征的汉明量化信息Hg;
若两个特征x和y量化到同一个类中心上反映了它们描述符的汉明距离dh(x,y)是很小的,则汉明量化信息所描述的网络之间的距离也应该是很小的;在这一点上,一个描述符由q(x)和b1(x)、b2(x),q是一个量化器,b1表示SIFT特征的汉明量化信息Hs、b2表示GIST特征的汉明量化信息Hg;则把SIFT特征的汉明量化信息Hs、GIST特征的汉明量化信息Hg嵌入到BOF检索模型中,重新定义的匹配函数f的功能,具体算法如下:
式(9)中:dh表示汉明距离,与分别表示阈值,并且与最理想的值分别22和40;
在量化时类中心数要取小一些的值(20000为最优),尽量让相近的图像能匹配上,而与也相应的要取合适的值,以便于能根据Hs特征与Hg特征的汉明距离去除误匹配的图像且不影响近似图像的匹配结果。
本发明联合GIST特征的多重索引图像检索方法,从功能运行上,首先执行对数据库中图像标准化处理,提取局部SIFT特征;其次执行根据获取的局部SIFT特征中的坐标信息建立GIST特征;然后执行利用局部SIFT特征与GIST特征的描述符信息建立二维BOF特征模型;接下来执行根据二维BOF特征模型,建立基于二维BOF的投票检索模型;最后执行应用信息融合策略把汉明量化信息融合到建立的基于二维BOF的投票检索模型中,在大规模的数据库中精确地检索近似重复图像。
本发明联合GIST特征的多重索引图像检索方法,充分利用了局部纹理信息和区域化轮廓信息,并提出了一种特征并行联合的方法,能够把局部纹理信息和区域化轮廓信息联合于二维BOF模型中,并且根据信息融合策略把汉明量化信息融合于二维BOF模型中,实现在大规模的数据中精确地检索近似重复图像。
Claims (6)
1.联合GIST特征的多重索引图像检索方法,其特征在于,具体按照以下步骤实施:
步骤1、对参考图像库中图像提取局部SIFT特征,根据获取的局部SIFT特征中的坐标信息建立GIST特征;
步骤2、将一维BOF模型升维成二维BOF模型,利用步骤1得到的局部SIFT特征中局部描述信息与GIST特征中局部描述信息建立二维BOF特征模型;
步骤3、根据步骤2中得到的二维BOF特征模型,建立基于二维BOF的投票检索模型;
步骤4、先根据步骤1得到的SIFT特征与GIST特征,结合步骤2得到的基于BOF特征的二维倒排表索引,对SIFT特征与GIST分别进行汉明量化处理;再将应用信息融合策略得到的局部SIFT特征汉明量化信息与GIST特征汉明量化信息融合到经步骤3建立的基于BOF的投票检索模型中,在大规模的数据中精确检索近似重复图像。
2.根据权利要求1所述的联合GIST特征的多重索引图像检索方法,其特征在于,所述步骤1具体按照以下步骤实施:
步骤1.1、对参考图像库中的图像进行图像标准化处理,将每幅图像的像素总数控制到固定个数;
步骤1.2、对经步骤1.1处理后的每幅图像均进行SIFT特征提取;
SIFT特征提取是采用基于hessian-affine的仿射不变特征提取方法;
对每幅图像提取SIFT特征,提取的信息包括有:特征点的位置信息、尺度信息、角度信息以及局部描述信息;
步骤1.3、根据获取的局部SIFT特征中特征点的位置信息提取特征点及其周围区域的GIST特征;
GIST特征提取采用的是图像与不同方向和不同尺度的Gabor滤波器组进行滤波,将滤波后得到的图像划分为网格,在每个网格内部取平均值,最后将滤波后得到的所有图像的每个网格均值级联起来得到GIST特征的方法,对每个SIFT特征点的相邻区域提取GIST特征,提取的信息为特征点相邻区域的描述信息。
3.根据权利要求2所述的联合GIST特征的多重索引图像检索方法,其特征在于,所述步骤1.1中,将大图控制到1024*768个像素,小图控制到640*480个像素。
4.根据权利要求1所述的联合GIST特征的多重索引图像检索方法,其特征在于,所述步骤2具体按照以下方法实施:
用大规模数据分级聚类算法对参考图像库中的SIFT特征与GIST特征中的描述符分别进行训练,生成两个类;
进行量化生成每幅图像的BOF特征,具体方法如下:
量化生成每幅图像的BOF特征是指图像的每个特征点的SIFT特征与GIST特征分别进行量化处理;再判断在各自的量化过程中与哪个类中心最近,则放入该类中心;然后将生成一张频数表,即初步的无权BOF;最后通过tf-idf对频数表加上权重,生成最终的加权BOF特征;
其中,对查询图像的特征进行量化方法,具体按照以下算法实施:
在式(1)中:q:表示量化,Rd表示实数空间中的d维数据,k表示类中心的数量,xp,p=1,...,r2为参考图像库中图像的第p个特征;
计算tf-idf权值方法,具体按照以下算法实施:
Wu,v=tfu,v·idfu,v (4);
在式(2)~式(4)中:k1表示SIFT特征类中心的数量,k2表示GIST特征类中心的数量,fu,v是每幅图像中的特征点划分到第u个SIFT类中心并且第v个GIST类中心的频数,tu,v是特征点划分到第u个SIFT类中心并且第v个GIST类中心的参考图像总数,T是总的参考图像数,tfu,v表示词频率因子,idfu,v表示逆词频率因子;
对生成的BOF特征建立二维倒排索引,具体方法为:
二维倒排索引通常是由量化表文件和倒排表文件两部分组成;量化表文件记录了文档集中出现的所有词汇;倒排表文件是将每个词汇在记录文件中的位置、频率和逆词频率信息都记录下来,所有词汇的这些信息就构成倒排表;对于量化表文件中的k1*k2个词汇w1,1…wm,n中的一个wu,v,在x个记录文件,d1…dx中的倒排表能表示为如下形式:
式(5)中:g表示频率、方向及尺度信息,并给出了一个完整的用于查询文本词汇的倒排索引结构;k1*k2条这样的记录能构成一个完整的倒排表。
5.根据权利要求1所述的联合GIST特征的多重索引图像检索方法,其特征在于,所述步骤3具体按照以下步骤实施:
给定一个查询图像,其中所有特征用y表示,局部SIFT特征用y1表示、GIST特征用y2表示,并且图像数据库中图像的特征用xj表示,局部SIFT特征用x1j表示、GIST特征用x2j表示,j=1,...,n。基于BOF投票检索的步骤具体如下:
步骤3.1、对于查询图像的特征yl,l=1,...,r1和图像数据库中所有图像的特征xi,j,i=1,...,r2,j=1,...,s,l、i表示各自图像的特征序号,j表示图像库中的图像序号,计算出两个图像之间的相似性分数sj,其算法具体如下:
式(6)中:f(a,b)是一个匹配函数,它反映了两个特征组a和b之间的相似性程度;
步骤3.2、经步骤3.1后,为了提高运算效率,把特征根据视觉词汇进行量化,并把量化后数据库中图像的特征存储在一个倒排文件中,这个量化过程q采用的是如下算法:
量化后q(xi,j)的结果是与特征xi,j最近的类中心的序号;因此,若两个特征xi,j和yl量化后满足q(xi,j)=q(yl),则这两个特征在高维的特征空间中很接近的概率非常高;根据这个原理,考虑到前述的tf-idf加权方法,匹配函数f则定义为如下算法:
这样能根据量化后的结果高效地比较两个不同的特征;
步骤3.3、经步骤3.2后,最终用来排序的图像相似性分数sf是对sj进行后处理后得到的,具体按如下算法实施:
由步骤3.2中的式(7)和步骤3.3中的式(8)能看出:同时考虑查询图像和数据库中图像的视觉单词的tf-idf权重,并把它们加入到了基于BOF投票检索方法中,这种加权方法实现了对视觉单词直方图的规一化处理。
6.根据权利要求1所述的联合GIST特征的多重索引图像检索方法,其特征在于,所述步骤4具体按照以下步骤实施:
汉明量化处理采用的是随机生成一个128*128符合高斯分布的矩阵,然后对该矩阵做QR分解,取得到的128*128的正交投影矩阵的前64行,得到64*128的矩阵;
使用大量的属于同一个聚类中心的SIFT向量乘以得到的64*128矩阵,即能得到大量64维的SIFT向量,根据这些向量得到一个中值向量,然后将该聚类中心的每个64维的SIFT向量和对应的64维中值向量的每一维比较:若SIFT在该维比中值向量的对应维大则SIFT的汉明信息该维为1,否则为0,依次比较得到汉明量化信息的方法,得到SIFT特征的汉明量化信息Hs与GIST特征的汉明量化信息Hg;
若两个特征x和y量化到同一个类中心上反映了它们描述符的汉明距离dh(x,y)是很小的,则汉明量化信息所描述的网络之间的距离也应该是很小的;在这一点上,一个描述符由q(x)和b1(x)、b2(x),q是一个量化器,b1表示SIFT特征的汉明量化信息Hs、b2表示GIST特征的汉明量化信息Hg;则把SIFT特征的汉明量化信息Hs、GIST特征的汉明量化信息Hg嵌入到BOF检索模型中,重新定义的匹配函数f的功能,具体算法如下:
式(9)中:dh表示汉明距离,与分别表示阈值,并且与最理想的值分别22和40;
在量化时类中心数要取小一些的值,20000为最优,尽量让相近的图像能匹配上,而与也相应的要取合适的值,以便于能根据Hs特征与Hg特征的汉明距离去除误匹配的图像且不影响近似图像的匹配结果。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710190761.1A CN106951551B (zh) | 2017-03-28 | 2017-03-28 | 联合gist特征的多重索引图像检索方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710190761.1A CN106951551B (zh) | 2017-03-28 | 2017-03-28 | 联合gist特征的多重索引图像检索方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN106951551A true CN106951551A (zh) | 2017-07-14 |
CN106951551B CN106951551B (zh) | 2020-03-31 |
Family
ID=59472369
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201710190761.1A Expired - Fee Related CN106951551B (zh) | 2017-03-28 | 2017-03-28 | 联合gist特征的多重索引图像检索方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN106951551B (zh) |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108133745A (zh) * | 2017-12-21 | 2018-06-08 | 成都真实维度科技有限公司 | 一种以医学影像为核心的临床路径完整数据关联方法 |
CN108229358A (zh) * | 2017-12-22 | 2018-06-29 | 北京市商汤科技开发有限公司 | 索引建立方法和装置、电子设备、计算机存储介质、程序 |
CN108647307A (zh) * | 2018-05-09 | 2018-10-12 | 京东方科技集团股份有限公司 | 图像处理方法、装置、电子设备及存储介质 |
CN109753940A (zh) * | 2019-01-11 | 2019-05-14 | 京东方科技集团股份有限公司 | 图像处理方法及装置 |
CN110019907A (zh) * | 2017-12-01 | 2019-07-16 | 北京搜狗科技发展有限公司 | 一种图像检索方法及装置 |
CN110516412A (zh) * | 2019-07-22 | 2019-11-29 | 平安科技(深圳)有限公司 | 图片原创信息获取方法、装置、计算机设备及存储介质 |
CN113918753A (zh) * | 2021-07-23 | 2022-01-11 | 腾讯科技(深圳)有限公司 | 基于人工智能的图像检索方法及相关设备 |
CN116796021A (zh) * | 2023-08-28 | 2023-09-22 | 上海任意门科技有限公司 | 图像检索方法、系统、电子设备和介质 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101710334A (zh) * | 2009-12-04 | 2010-05-19 | 大连理工大学 | 基于图像哈希的大规模图像库检索方法 |
CN103294676A (zh) * | 2012-02-24 | 2013-09-11 | 北京明日时尚信息技术有限公司 | 一种基于gist全局特征和sift局部特征的网络图片内容重复检测方法 |
CN103593677A (zh) * | 2013-12-02 | 2014-02-19 | 中国科学院自动化研究所 | 一种近似重复图像检测方法 |
CN104376052A (zh) * | 2014-11-03 | 2015-02-25 | 杭州淘淘搜科技有限公司 | 一种基于商品图像的同款商品合并方法 |
-
2017
- 2017-03-28 CN CN201710190761.1A patent/CN106951551B/zh not_active Expired - Fee Related
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101710334A (zh) * | 2009-12-04 | 2010-05-19 | 大连理工大学 | 基于图像哈希的大规模图像库检索方法 |
CN103294676A (zh) * | 2012-02-24 | 2013-09-11 | 北京明日时尚信息技术有限公司 | 一种基于gist全局特征和sift局部特征的网络图片内容重复检测方法 |
CN103593677A (zh) * | 2013-12-02 | 2014-02-19 | 中国科学院自动化研究所 | 一种近似重复图像检测方法 |
CN104376052A (zh) * | 2014-11-03 | 2015-02-25 | 杭州淘淘搜科技有限公司 | 一种基于商品图像的同款商品合并方法 |
Non-Patent Citations (2)
Title |
---|
KAIYANG LIAO等: "A New Parallel Hierarchical K-Means Clustering Algorithm for Video Retrieval", 《SPRINGER VERLAG》 * |
ZIWEI TANG等: "Image retrieval based on the multi-index and combination of several features", 《49TH CONFERENCE OF THE INTERNATIONAL CIRCLE OF EDUCATION INSTITUTES FOR GRAPHIC ARTS TECHNOLOGY AND MANAGEMENT (IC) AND 8TH CHINA ACADEMIC CONFERENCE ON PRINTING AND PACKAGING》 * |
Cited By (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110019907A (zh) * | 2017-12-01 | 2019-07-16 | 北京搜狗科技发展有限公司 | 一种图像检索方法及装置 |
CN110019907B (zh) * | 2017-12-01 | 2021-07-16 | 北京搜狗科技发展有限公司 | 一种图像检索方法及装置 |
CN108133745B (zh) * | 2017-12-21 | 2020-08-11 | 成都真实维度科技有限公司 | 一种以医学影像为核心的临床路径完整数据关联方法 |
CN108133745A (zh) * | 2017-12-21 | 2018-06-08 | 成都真实维度科技有限公司 | 一种以医学影像为核心的临床路径完整数据关联方法 |
CN108229358A (zh) * | 2017-12-22 | 2018-06-29 | 北京市商汤科技开发有限公司 | 索引建立方法和装置、电子设备、计算机存储介质、程序 |
CN108647307A (zh) * | 2018-05-09 | 2018-10-12 | 京东方科技集团股份有限公司 | 图像处理方法、装置、电子设备及存储介质 |
CN109753940A (zh) * | 2019-01-11 | 2019-05-14 | 京东方科技集团股份有限公司 | 图像处理方法及装置 |
CN109753940B (zh) * | 2019-01-11 | 2022-02-22 | 京东方科技集团股份有限公司 | 图像处理方法及装置 |
US11288838B2 (en) * | 2019-01-11 | 2022-03-29 | Beijing Boe Optoelectronics Technology Co., Ltd. | Image processing method and apparatus |
CN110516412A (zh) * | 2019-07-22 | 2019-11-29 | 平安科技(深圳)有限公司 | 图片原创信息获取方法、装置、计算机设备及存储介质 |
CN113918753A (zh) * | 2021-07-23 | 2022-01-11 | 腾讯科技(深圳)有限公司 | 基于人工智能的图像检索方法及相关设备 |
CN113918753B (zh) * | 2021-07-23 | 2024-05-28 | 腾讯科技(深圳)有限公司 | 基于人工智能的图像检索方法及相关设备 |
CN116796021A (zh) * | 2023-08-28 | 2023-09-22 | 上海任意门科技有限公司 | 图像检索方法、系统、电子设备和介质 |
CN116796021B (zh) * | 2023-08-28 | 2023-12-05 | 上海任意门科技有限公司 | 图像检索方法、系统、电子设备和介质 |
Also Published As
Publication number | Publication date |
---|---|
CN106951551B (zh) | 2020-03-31 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN106951551A (zh) | 联合gist特征的多重索引图像检索方法 | |
Li et al. | Factorizable net: an efficient subgraph-based framework for scene graph generation | |
Peng et al. | Visda: The visual domain adaptation challenge | |
Peng et al. | An overview of cross-media retrieval: Concepts, methodologies, benchmarks, and challenges | |
Wei et al. | Cross-modal retrieval with CNN visual features: A new baseline | |
Xie et al. | Spatial pooling of heterogeneous features for image classification | |
Chen et al. | Multi-scale adaptive task attention network for few-shot learning | |
Tian et al. | Tvt: Three-way vision transformer through multi-modal hypersphere learning for zero-shot sketch-based image retrieval | |
CN105138672B (zh) | 一种多特征融合的图像检索方法 | |
CN106649440B (zh) | 融合全局r特征的近似重复视频检索方法 | |
Xu et al. | Mental retrieval of remote sensing images via adversarial sketch-image feature learning | |
He et al. | Multi-organ plant identification with multi-column deep convolutional neural networks | |
CN111339343A (zh) | 图像检索方法、装置、存储介质及设备 | |
Zhu et al. | Visual relationship detection with object spatial distribution | |
Lin et al. | Scene recognition using multiple representation network | |
CN104317946A (zh) | 一种基于多张关键图的图像内容检索方法 | |
Yang et al. | Multi-label knowledge distillation | |
CN112182275A (zh) | 一种基于多维度特征融合的商标近似检索系统和方法 | |
Lu et al. | It’s okay to be wrong: Cross-view geo-localization with step-adaptive iterative refinement | |
CN105701501B (zh) | 一种商标图像识别方法 | |
Cheng et al. | Deep attentional fine-grained similarity network with adversarial learning for cross-modal retrieval | |
JP6017277B2 (ja) | 特徴ベクトルの集合で表されるコンテンツ間の類似度を算出するプログラム、装置及び方法 | |
Mithun et al. | Construction of diverse image datasets from web collections with limited labeling | |
CN104331717A (zh) | 一种整合特征字典结构与视觉特征编码的图像分类方法 | |
Chen et al. | DVHN: A deep hashing framework for large-scale vehicle re-identification |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20200331 |
|
CF01 | Termination of patent right due to non-payment of annual fee |