CN106951551B - 联合gist特征的多重索引图像检索方法 - Google Patents
联合gist特征的多重索引图像检索方法 Download PDFInfo
- Publication number
- CN106951551B CN106951551B CN201710190761.1A CN201710190761A CN106951551B CN 106951551 B CN106951551 B CN 106951551B CN 201710190761 A CN201710190761 A CN 201710190761A CN 106951551 B CN106951551 B CN 106951551B
- Authority
- CN
- China
- Prior art keywords
- features
- sift
- image
- gist
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
- G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
- G06F16/5838—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using colour
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
- G06F18/232—Non-hierarchical techniques
- G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
- G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
Abstract
本发明公开的联合GIST特征的多重索引图像检索方法：对参考图像库中图像提取局部SIFT特征，根据局部SIFT特征中的坐标信息建立GIST特征；用局部SIFT特征中局部描述信息与GIST特征中局部描述信息建立二维BOF特征模型；根据二维BOF特征模型建立基于二维BOF的投票检索模型；根据SIFT特征与GIST特征结合基于BOF特征的二维倒排表索引，对SIFT特征与GIST进行汉明量化处理，将应用信息融合策略得到的局部SIFT特征汉明量化信息与GIST特征汉明量化信息融合到基于BOF的投票检索模型中，精确检索近似重复图像。本发明的多重索引图像检索方法实现在大规模数据图像中完成对近似重复图像的检索。
Description
技术领域
本发明属于图像分析及检索方法技术领域，具体涉及一种联合GIST特征的多重索引图像检索方法。
背景技术
近年来，通信多媒体技术、计算机网络、大容量存储器及数字化图像设备等技术迅速的发展与应用；其中，数字图像的应用涉及国防军事、工业制造、新闻媒体和大众娱乐等各个方面，由此产生了各式各样的图像数据库，信息量呈指数型增长。
如今，每天都有大量的图像在互联网被上传和下载，网络数据库中会保存大量近似重复的图像。为了有序而严谨地运用这些大量近似重复的图像，许多新的理论及运用应运而生，如：图像分类、图像防伪、图像内容分割、图像标注及图像数据库升级维护等等。例如：一个最普遍的情况是，一个网络用户想要搜索一些与某个关键词或图片样本相关的图像，但最终搜索引擎返回了许多重复或无关的图像；另一种情况涉及图像防伪与版权，图像制作者希望版权保护他们的图像，以避免在互联网上共享；这两种情况与需求都需要近似重复图像检索技术来实现。
近年来，近似重复图像检索成为研究的热点。大量的现有方法是使用如下介绍的图像检索框架(J.Sivic，A.Zisserman，“Video Google:a text retrieval approach toobject matching in videos，”Proceedings Ninth IEEE International Conference onComputer Vision，vol.2，pp.1470-1477，Oct，2003.)：首先，通过图像预处理算法对图像进行预处理；其次，对这些图像提取视觉特征，如：尺度不变特征(SIFT)及方向梯度直方图(HOG)等，用若干组视觉特征向量来表示整个图像；最后，系统需要根据视觉特征向量来计算数据库中每幅图像和查询图像之间的相似性，并得到数据库中与查询图像最相似图像名称。在使用这种方法的前提下，通常使用局部特征的描述信息来衡量图像之间的相似程度(Y.W.Wang，H.L.Yu，“Image registration method based on PCA-SIFT featuredetection，”4th International Conference on Manufacturing Science andEngineering，vol.712-715，pp.2395-2398，Mar，2013.)。与之对应，有一些方法是直接对图像整体提取一个全局特征来进行图像检索(H.Jegou，M.Douze，and C.Schmid，“Bag-of-colors for improved image search，”International Conference on Multimedea，pp.1437-1440，Nov，2011.)，但这些方法不能实现对尺度不一且背景复杂图像的有效检索。
在最近出现的一些文献中，出现了通过对BOF检索模型进行改良，以此提高图像检索的精度(L.Zheng，S.Wang，Z.Liu，and Q.Tian，“Lp-Norm IDF for Large Scale ImageSearch，”Computer Vision and Pattern Recognition，pp.1626-1633，Jun，2013.A.Babenko，and V.Lempitsky，“The Inverted Multi-Index，”Pattern Analysisand Machine Intelligence，vol.37，no.6，pp.1247-1260，2013.)。然而，就现有技术而言，许多近似重复图像检索方法都是基于局部特征和BOF检索模型的，但这些方法只利用了单一的局部信息，忽略了特征点的全局分布信息，导致图像检索的精确度不高。
发明内容
本发明的目的在于提供一种联合GIST特征的多重索引图像检索方法，能把局部特征描述信息与区域化图像轮廓信息联合于改进的BOF模型中，实现在大规模数据图像中精确完成对近似重复图像的检索。
本发明所采用的技术方案是，联合GIST特征的多重索引图像检索方法，具体按照以下步骤实施：
步骤1、对参考图像库中图像提取局部SIFT特征，根据获取的局部SIFT特征中的坐标信息建立GIST特征；
步骤2、将一维BOF模型升维成二维BOF模型，利用步骤1得到的局部SIFT特征中局部描述信息与GIST特征中局部描述信息建立二维BOF特征模型；
步骤3、根据步骤2中得到的二维BOF特征模型，建立基于二维BOF的投票检索模型；
步骤4、先根据步骤1得到的SIFT特征与GIST特征，结合步骤2得到的基于BOF特征的二维倒排表索引，对SIFT特征与GIST分别进行汉明量化处理；再将应用信息融合策略得到的局部SIFT特征汉明量化信息与GIST特征汉明量化信息融合到经步骤3建立的基于BOF的投票检索模型中，在大规模的数据中精确检索近似重复图像。
本发明的特点还在于：
步骤1具体按照以下步骤实施：
步骤1.1、对参考图像库中的图像进行图像标准化处理，将每幅图像的像素总数控制到固定个数；
步骤1.2、对经步骤1.1处理后的每幅图像均进行SIFT特征提取；
SIFT特征提取是采用基于hessian-affine的仿射不变特征提取方法；
对每幅图像提取SIFT特征，提取的信息包括有：特征点的位置信息、尺度信息、角度信息以及局部描述信息；
步骤1.3、根据获取的局部SIFT特征中特征点的位置信息提取特征点及其周围区域的GIST特征；
GIST特征提取采用的是图像与不同方向和不同尺度的Gabor滤波器组进行滤波，将滤波后得到的图像划分为网格，在每个网格内部取平均值，最后将滤波后得到的所有图像的每个网格均值级联起来得到GIST特征的方法，对每个SIFT特征点的相邻区域提取GIST特征，提取的信息为特征点相邻区域的描述信息。
步骤1.1中，将大图控制到1024*768个像素，小图控制到640*480个像素。
步骤2具体按照以下方法实施：
用大规模数据分级聚类算法对参考图像库中的SIFT特征与GIST特征中的描述符分别进行训练，生成两个类；
进行量化生成每幅图像的BOF特征，具体方法如下：
量化生成每幅图像的BOF特征是指图像的每个特征点的SIFT特征与GIST特征分别进行量化处理；再判断在各自的量化过程中与哪个类中心最近，则放入该类中心；然后将生成一张频数表，即初步的无权BOF；最后通过tf-idf对频数表加上权重，生成最终的加权BOF特征；
其中，对查询图像的特征进行量化方法，具体按照以下算法实施：
在式(1)中：q:表示量化，Rd表示实数空间中的d维数据，k表示类中心的数量，xp,p＝1,...,r2为参考图像库中图像的第p个特征；
计算tf-idf权值方法，具体按照以下算法实施：
Wu,v＝tfu,v·idfu,v (4)；
在式(2)～式(4)中：k1表示SIFT特征类中心的数量，k2表示GIST特征类中心的数量，fu,v是每幅图像中的特征点划分到第u个SIFT类中心并且第v个GIST类中心的频数，tu,v是特征点划分到第u个SIFT类中心并且第v个GIST类中心的参考图像总数，T是总的参考图像数，tfu,v表示词频率因子，idfu,v表示逆词频率因子；
对生成的BOF特征建立二维倒排索引，具体方法为：
二维倒排索引通常是由量化表文件和倒排表文件两部分组成；量化表文件记录了文档集中出现的所有词汇；倒排表文件是将每个词汇在记录文件中的位置、频率和逆词频率信息都记录下来，所有词汇的这些信息就构成倒排表；对于量化表文件中的k1*k2个词汇
中的一个wu,v，在x个记录文件，d1…dx中的倒排表能表示为如下形式：
式(5)中：g表示频率、方向及尺度信息，并给出了一个完整的用于查询文本词汇的倒排索引结构；k1*k2条这样的记录能构成一个完整的倒排表。
步骤3具体按照以下步骤实施：
给定一个查询图像，其中所有特征用y表示，局部SIFT特征用y1表示、GIST特征用y2表示，并且图像数据库中图像的特征用xj表示，局部SIFT特征用x1j表示、GIST特征用x2j表示，j＝1,...,n。基于BOF投票检索的步骤具体如下：
步骤3.1、对于查询图像的特征yl,l＝1,...,r1和图像数据库中所有图像的特征xi,j，i＝1,...,r2，j＝1,...,s，l、i表示各自图像的特征序号，j表示图像库中的图像序号，计算出两个图像之间的相似性分数sj，其算法具体如下：
式(6)中：f(a,b)是一个匹配函数，它反映了两个特征组a和b之间的相似性程度；
步骤3.2、经步骤3.1后，为了提高运算效率，把特征根据视觉词汇进行量化，并把量化后数据库中图像的特征存储在一个倒排文件中，这个量化过程q采用的是如下算法：
量化后q(xi,j)的结果是与特征xi,j最近的类中心的序号；因此，若两个特征xi,j和yl量化后满足q(xi,j)＝q(yl)，则这两个特征在高维的特征空间中很接近的概率非常高；根据这个原理，考虑到前述的tf-idf加权方法，匹配函数f则定义为如下算法：
这样能根据量化后的结果高效地比较两个不同的特征；
步骤3.3、经步骤3.2后，最终用来排序的图像相似性分数sf是对sj进行后处理后得到的，具体按如下算法实施：
由步骤3.2中的式(7)和步骤3.3中的式(8)能看出：同时考虑查询图像和数据库中图像的视觉单词的tf-idf权重，并把它们加入到了基于BOF投票检索方法中，这种加权方法实现了对视觉单词直方图的规一化处理。
步骤4具体按照以下步骤实施：
汉明量化处理采用的是随机生成一个128*128符合高斯分布的矩阵，然后对该矩阵做QR分解，取得到的128*128的正交投影矩阵的前64行，得到64*128的矩阵；
使用大量的属于同一个聚类中心的SIFT向量乘以得到的64*128矩阵，即能得到大量64维的SIFT向量，根据这些向量得到一个中值向量，然后将该聚类中心的每个64维的SIFT向量和对应的64维中值向量的每一维比较：若SIFT在该维比中值向量的对应维大则SIFT的汉明信息该维为1，否则为0，依次比较得到汉明量化信息的方法，得到SIFT特征的汉明量化信息Hs与GIST特征的汉明量化信息Hg；
若两个特征x和y量化到同一个类中心上反映了它们描述符的汉明距离dh(x,y)是很小的，则汉明量化信息所描述的网络之间的距离也应该是很小的；在这一点上，一个描述符由q(x)和b1(x)、b2(x)，q是一个量化器，b1表示SIFT特征的汉明量化信息Hs、b2表示GIST特征的汉明量化信息Hg；则把SIFT特征的汉明量化信息Hs、GIST特征的汉明量化信息Hg嵌入到BOF检索模型中，重新定义的匹配函数f的功能，具体算法如下：
式(9)中：dh表示汉明距离，
与
分别表示阈值，并且
与
最理想的值分别22和40；
在量化时类中心数要取小一些的值，20000为最优，尽量让相近的图像能匹配上，而
与
也相应的要取合适的值，以便于能根据Hs特征与Hg特征的汉明距离去除误匹配的图像且不影响近似图像的匹配结果。
本发明的有益效果在于：
(1)本发明联合GIST特征的多重索引图像检索方法中提出了一种改进的BOF模型，能明显提高图像检索的鲁棒性。
(2)在本发明联合GIST特征的多重索引图像检索方法中，能根据二维BOF模型的特点，将SIFT特征与GIST特征量化运用到二维BOF模型中，增加了BOF模型的特征多样性，从而提高了系统的稳定性。
(3)本发明联合GIST特征的多重索引图像检索方法使用时，能大幅提高近重复图像检索的精度，并能广泛应用于图像检索领域。
(4)本发明联合GIST特征的多重索引图像检索方法也适合于视频检索领域，能大幅提高视频检索的精度。
附图说明
图1是本发明联合GIST特征的多重索引图像检索方法的框架图。
具体实施方式
下面结合附图和具体实施方式对本发明进行详细说明。
联合GIST特征的多重索引图像检索方法的框架图，如图1所示的，可将其分为两大系统，分别为：离线系统与在线系统；离线系统是对目标图像库的处理，产生在线体统查询时所需要的二维倒排表数据库；在线系统主要是完成对查询图像在目标图像库中的查询过程。
离线系统的处理对象是参考图像库，对参考图像库中的图像进行SIFT特征提取、GIST特征提取、特征聚类、特征矢量到视觉词汇的量化并生成视觉词汇表、特征汉明量化与关于特征的倒排索引表以供在线部分的使用。
在线系统用于完成对查询图像在参考图像库中的查询；能对查询图像进行SIFT特征提取及GIST特征提取，能根据参考图像库生成的视觉词汇表对在线图像中的特征量化成视觉词汇、特征汉明量化，然后应用信息融合策略把全局几何分布信息融合到BOF模型中，进行候选图像的查找和搜索，得出最终检索结果。
本发明联合GIST特征的多重索引图像检索方法，具体按照以下步骤实施：
步骤1、对参考图像库中图像提取局部SIFT特征，根据获取的局部SIFT特征中的坐标信息建立GIST特征，具体按照以下步骤实施：
步骤1.1、对参考图像库中的图像进行图像标准化处理，将每幅图像的像素总数控制到固定个数；
将大图控制到1024*768个像素，小图控制到640*480个像素；
步骤1.2、对经步骤1.1处理后的每幅图像均进行SIFT特征提取；
SIFT特征提取是采用基于hessian-affine的仿射不变特征提取方法；
对每幅图像提取SIFT特征，提取的信息包括有：特征点的位置信息、尺度信息、角度信息以及局部描述信息；
步骤1.3、根据获取的局部SIFT特征中特征点的位置信息提取特征点及其周围区域的GIST特征；
GIST特征提取采用的是图像与不同方向和不同尺度的Gabor滤波器组进行滤波，将滤波后得到的图像划分为网格，在每个网格内部取平均值，最后将滤波后得到的所有图像的每个网格均值级联起来得到GIST特征的方法，对每个SIFT特征点的相邻区域提取GIST特征，提取的信息为特征点相邻区域的描述信息。
步骤2、将一维BOF模型升维成二维BOF模型，利用步骤1得到的局部SIFT特征中局部描述信息与GIST特征中局部描述信息建立二维BOF特征模型，具体按照以下方法实施：
用大规模数据分级聚类算法对参考图像库中的SIFT特征与GIST特征中的描述符分别进行训练，生成两个类；
进行量化生成每幅图像的BOF特征，具体方法如下：
量化生成每幅图像的BOF特征是指图像的每个特征点的SIFT特征与GIST特征分别进行量化处理；再判断在各自的量化过程中与哪个类中心最近，则放入该类中心；然后将生成一张频数表，即初步的无权BOF；最后通过tf-idf对频数表加上权重，生成最终的加权BOF特征；
其中，对查询图像的特征进行量化方法，具体按照以下算法实施：
在式(1)中：q:表示量化，Rd表示实数空间中的d维数据，k表示类中心的数量，xp,p＝1,...,r2为参考图像库中图像的第p个特征；
计算tf-idf权值方法，具体按照以下算法实施：
Wu,v＝tfu,v·idfu,v (4)；
在式(2)～式(4)中：k1表示SIFT特征类中心的数量，k2表示GIST特征类中心的数量，fu,v是每幅图像中的特征点划分到第u个SIFT类中心并且第v个GIST类中心的频数，tu,v是特征点划分到第u个SIFT类中心并且第v个GIST类中心的参考图像总数，T是总的参考图像数，tfu,v表示词频率因子，idfu,v表示逆词频率因子；
对生成的BOF特征建立二维倒排索引，具体方法为：
二维倒排索引通常是由量化表文件和倒排表文件两部分组成；量化表文件记录了文档集(图像、图像帧)中出现的所有词汇；倒排表文件是将每个词汇在记录文件(图像、图像帧)中的位置、频率和逆词频率信息都记录下来，所有词汇的这些信息就构成倒排表；对于量化表文件中的k1*k2个词汇(特征)w1,1…wm,n中的一个wu,v，在x个记录文件(图像、图像帧)d1…dx中的倒排表能表示为如下形式：
式(5)中：g表示频率、方向及尺度信息，并给出了一个完整的用于查询文本词汇的倒排索引结构；k1*k2条这样的记录能构成一个完整的倒排表。
步骤3、根据步骤2中得到的二维BOF特征模型，建立基于二维BOF的投票检索模型，具体按照以下步骤实施：
给定一个查询图像，其中所有特征用y表示(局部SIFT特征用y1表示、GIST特征用y2表示)，并且图像数据库中图像的特征用xj表示(局部SIFT特征用x1j表示、GIST特征用x2j表示)，j＝1,...,n。基于BOF投票检索的步骤具体如下：
步骤3.1、对于查询图像的特征yl,l＝1,...,r1和图像数据库中所有图像的特征xi,j，i＝1,...,r2，j＝1,...,s(l、i表示各自图像的特征序号，j表示图像库中的图像序号)，计算出两个图像之间的相似性分数sj，其算法具体如下：
式(6)中：f(a,b)是一个匹配函数，它反映了两个特征组a和b之间的相似性程度；
步骤3.2、经步骤3.1后，为了提高运算效率，把特征根据视觉词汇进行量化，并把量化后数据库中图像的特征存储在一个倒排文件中，这个量化过程q采用的是如下算法：
量化后q(xi,j)的结果是与特征xi,j最近的类中心(视觉词汇)的序号；因此，若两个特征xi,j和yl量化后满足q(xi,j)＝q(yl)，则这两个特征在高维的特征空间中很接近的概率非常高；根据这个原理，考虑到前述的tf-idf加权方法，匹配函数f则定义为如下算法：
这样能根据量化后的结果高效地比较两个不同的特征；
步骤3.3、经步骤3.2后，最终用来排序的图像相似性分数sf是对sj进行后处理后得到的，具体按如下算法实施：
由步骤3.2中的式(7)和步骤3.3中的式(8)能看出：同时考虑查询图像和数据库中图像的视觉单词的tf-idf权重，并把它们加入到了基于BOF投票检索方法中，这种加权方法实现了对视觉单词直方图的规一化处理。
步骤4、先根据步骤1得到的SIFT特征与GIST特征，结合步骤2得到的基于BOF特征的二维倒排表索引，对SIFT特征与GIST分别进行汉明量化处理；再将应用信息融合策略得到的局部SIFT特征汉明量化信息与GIST特征汉明量化信息融合到经步骤3建立的基于BOF的投票检索模型中，在大规模的数据中精确检索近似重复图像，具体按照以下方法实施：
汉明量化处理采用的是随机生成一个128*128符合高斯分布的矩阵，然后对该矩阵做QR分解，取得到的128*128的正交投影矩阵的前64行，得到64*128的矩阵；
使用大量的属于同一个聚类中心的SIFT向量乘以得到的64*128矩阵，即能得到大量64维的SIFT向量，根据这些向量得到一个中值向量，然后将该聚类中心的每个64维的SIFT向量和对应的64维中值向量的每一维比较：若SIFT在该维比中值向量的对应维大则SIFT的汉明信息该维为1，否则为0，依次比较得到汉明量化信息的方法，得到SIFT特征的汉明量化信息Hs与GIST特征的汉明量化信息Hg；
若两个特征x和y量化到同一个类中心上反映了它们描述符的汉明距离dh(x,y)是很小的，则汉明量化信息所描述的网络之间的距离也应该是很小的；在这一点上，一个描述符由q(x)和b1(x)、b2(x)，q是一个量化器，b1表示SIFT特征的汉明量化信息Hs、b2表示GIST特征的汉明量化信息Hg；则把SIFT特征的汉明量化信息Hs、GIST特征的汉明量化信息Hg嵌入到BOF检索模型中，重新定义的匹配函数f的功能，具体算法如下：
式(9)中：dh表示汉明距离，
与
分别表示阈值，并且
与
最理想的值分别22和40；
在量化时类中心数要取小一些的值(20000为最优)，尽量让相近的图像能匹配上，而
与
也相应的要取合适的值，以便于能根据Hs特征与Hg特征的汉明距离去除误匹配的图像且不影响近似图像的匹配结果。
本发明联合GIST特征的多重索引图像检索方法，从功能运行上，首先执行对数据库中图像标准化处理，提取局部SIFT特征；其次执行根据获取的局部SIFT特征中的坐标信息建立GIST特征；然后执行利用局部SIFT特征与GIST特征的描述符信息建立二维BOF特征模型；接下来执行根据二维BOF特征模型，建立基于二维BOF的投票检索模型；最后执行应用信息融合策略把汉明量化信息融合到建立的基于二维BOF的投票检索模型中，在大规模的数据库中精确地检索近似重复图像。
本发明联合GIST特征的多重索引图像检索方法，充分利用了局部纹理信息和区域化轮廓信息，并提出了一种特征并行联合的方法，能够把局部纹理信息和区域化轮廓信息联合于二维BOF模型中，并且根据信息融合策略把汉明量化信息融合于二维BOF模型中，实现在大规模的数据中精确地检索近似重复图像。
Claims (2)
1.联合GIST特征的多重索引图像检索方法，其特征在于，具体按照以下步骤实施：
步骤1、对参考图像库中图像提取局部SIFT特征，根据获取的局部SIFT特征中的坐标信息建立GIST特征；
步骤2、将一维BOF模型升维成二维BOF模型，利用步骤1得到的局部SIFT特征中局部描述信息与GIST特征中局部描述信息建立二维BOF特征模型；
步骤3、根据步骤2中得到的二维BOF特征模型，建立基于二维BOF的投票检索模型；
步骤4、先根据步骤1得到的SIFT特征与GIST特征，结合步骤2得到的基于BOF特征的二维倒排表索引，对SIFT特征与GIST分别进行汉明量化处理；再将应用信息融合策略得到的局部SIFT特征汉明量化信息与GIST特征汉明量化信息融合到经步骤3建立的基于BOF的投票检索模型中，在大规模的数据中精确检索近似重复图像，
所述步骤1具体按照以下步骤实施：
步骤1.1、对参考图像库中的图像进行图像标准化处理，将每幅图像的像素总数控制到固定个数；
步骤1.2、对经步骤1.1处理后的每幅图像均进行SIFT特征提取；
SIFT特征提取是采用基于hessian-affine的仿射不变特征提取方法；
对每幅图像提取SIFT特征，提取的信息包括有：特征点的位置信息、尺度信息、角度信息以及局部描述信息；
步骤1.3、根据获取的局部SIFT特征中特征点的位置信息提取特征点及其周围区域的GIST特征；
GIST特征提取采用的是图像与不同方向和不同尺度的Gabor滤波器组进行滤波，将滤波后得到的图像划分为网格，在每个网格内部取平均值，最后将滤波后得到的所有图像的每个网格均值级联起来得到GIST特征的方法，对每个SIFT特征点的相邻区域提取GIST特征，提取的信息为特征点相邻区域的描述信息，
所述步骤2具体按照以下方法实施：
用大规模数据分级聚类算法对参考图像库中的SIFT特征与GIST特征中的描述符分别进行训练，生成两个类；
进行量化生成每幅图像的BOF特征，具体方法如下：
量化生成每幅图像的BOF特征是指图像的每个特征点的SIFT特征与GIST特征分别进行量化处理；再判断在各自的量化过程中与哪个类中心最近，则放入该类中心；然后将生成一张频数表，即初步的无权BOF；最后通过tf-idf对频数表加上权重，生成最终的加权BOF特征；
其中，对查询图像的特征进行量化方法，具体按照以下算法实施：
在式(1)中：q:表示量化，Rd表示实数空间中的d维数据，k表示类中心的数量，xp,p＝1,...,r2为参考图像库中图像的第p个特征，q(xp)表示把特征xp量化成为[1,k]中的某个数值；
计算tf-idf权值方法，具体按照以下算法实施：
Wu,v＝tfu,v·idfu,v (4)；
在式(2)～式(4)中：k1表示SIFT特征类中心的数量，k2表示GIST特征类中心的数量，fu,v是每幅图像中的特征点划分到第u个SIFT类中心并且第v个GIST类中心的频数，tu,v是特征点划分到第u个SIFT类中心并且第v个GIST类中心的参考图像总数，T是总的参考图像数，tfu,v表示词频率因子，idfu,v表示逆词频率因子；
对生成的BOF特征建立二维倒排索引，具体方法为：
二维倒排索引是由量化表文件和倒排表文件两部分组成；量化表文件记录了文档集中出现的所有词汇；倒排表文件是将每个词汇在记录文件中的位置、频率和逆词频率信息都记录下来，所有词汇的这些信息就构成倒排表；对于量化表文件中的k1*k2个词汇w1,1...wm,n中的一个wu,v，在所有记录文件，
中的倒排表能表示为如下形式：
式(5)中：
表示不同频率下的方向和尺度信息，g表示频率，并给出了一个完整的用于查询文本词汇的倒排索引结构；k1*k2条这样的记录能构成一个完整的倒排表，
所述步骤3具体按照以下步骤实施：
给定一个查询图像，其中所有特征用y表示，局部SIFT特征用y1表示、GIST特征用y2表示，并且图像数据库中图像的特征用xj表示，局部SIFT特征用x1j表示、GIST特征用x2j表示，j＝1,...,n，基于BOF投票检索的步骤具体如下；
步骤3.1、对于查询图像的特征yl,l＝1,...,r1和图像数据库中所有图像的特征xi,j，i＝1,...,r2，j＝1,...,s，l、i表示各自图像的特征序号，j表示图像库中的图像序号，计算出两个图像之间的相似性分数sj，其算法具体如下：
式(6)中：f(a,b)是一个匹配函数，它反映了两个特征组a和b之间的相似性程度；
步骤3.2、经步骤3.1后，为了提高运算效率，把特征根据视觉词汇进行量化，并把量化后数据库中图像的特征存储在一个倒排文件中，这个量化过程q采用的是如下算法：
q(xp)表示把特征xp量化成为[1,k]中的某个数值，根据这个原理，考虑到前述的tf-idf权值方法，匹配函数f则定义为如下算法：
步骤3.3、经步骤3.2后，最终用来排序的图像相似性分数sf是对sj进行后处理后得到的，具体按如下算法实施：
由步骤3.2中的式(7)和步骤3.3中的式(8)能看出：同时考虑查询图像和数据库中图像的视觉单词的tf-idf权重，并把它们加入到了基于BOF投票检索方法中，这种权值方法实现了对视觉单词直方图的规一化处理，
所述步骤4具体按照以下步骤实施：
汉明量化处理采用的是随机生成一个128*128符合高斯分布的矩阵，然后对该矩阵做QR分解，取得到的128*128的正交投影矩阵的前64行，得到64*128的矩阵；
使用大量的属于同一个聚类中心的SIFT向量乘以得到的64*128矩阵，即能得到大量64维的SIFT向量，根据这些向量得到一个中值向量，然后将该聚类中心的每个64维的SIFT向量和对应的64维中值向量的每一维比较：若SIFT在该维比中值向量的对应维大则SIFT的汉明信息该维为1，否则为0，依次比较得到汉明量化信息的方法，得到SIFT特征的汉明量化信息Hs与GIST特征的汉明量化信息Hg；
若两个特征x和y量化到同一个类中心上反映了它们描述符的汉明距离dh(x,y)是很小的，则汉明量化信息所描述的网络之间的距离也应该是很小的；在这一点上，一个描述符由q(x)和b1(x)、b2(x)，q是一个量化器，b1表示SIFT特征的汉明量化信息Hs、b2表示GIST特征的汉明量化信息Hg；则把SIFT特征的汉明量化信息Hs、GIST特征的汉明量化信息Hg嵌入到BOF检索模型中，重新定义的匹配函数f的功能，具体算法如下：
式(9)中：dh表示汉明距离，
与分别表示阈值，tf-idf(q(y))表示给q(y)加tf-idf权重；
在量化时类中心数要取小一些的值，尽量让相近的图像能匹配上，而
与
也相应的要取合适的值，以便于能根据Hs特征与Hg特征的汉明距离去除误匹配的图像且不影响近似图像的匹配结果。
2.根据权利要求1所述的联合GIST特征的多重索引图像检索方法，其特征在于，所述步骤1.1中，将大图控制到1024*768个像素，小图控制到640*480个像素。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710190761.1A CN106951551B (zh) | 2017-03-28 | 2017-03-28 | 联合gist特征的多重索引图像检索方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710190761.1A CN106951551B (zh) | 2017-03-28 | 2017-03-28 | 联合gist特征的多重索引图像检索方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN106951551A CN106951551A (zh) | 2017-07-14 |
| CN106951551B true CN106951551B (zh) | 2020-03-31 |
Family
ID=59472369
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710190761.1A Expired - Fee Related CN106951551B (zh) | 2017-03-28 | 2017-03-28 | 联合gist特征的多重索引图像检索方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN106951551B (zh) |
Families Citing this family (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110019907B (zh) * | 2017-12-01 | 2021-07-16 | 北京搜狗科技发展有限公司 | 一种图像检索方法及装置 |
| CN108133745B (zh) * | 2017-12-21 | 2020-08-11 | 成都真实维度科技有限公司 | 一种以医学影像为核心的临床路径完整数据关联方法 |
| CN108229358B (zh) * | 2017-12-22 | 2020-09-04 | 北京市商汤科技开发有限公司 | 索引建立方法和装置、电子设备、计算机存储介质 |
| CN108647307A (zh) * | 2018-05-09 | 2018-10-12 | 京东方科技集团股份有限公司 | 图像处理方法、装置、电子设备及存储介质 |
| CN109753940B (zh) * | 2019-01-11 | 2022-02-22 | 京东方科技集团股份有限公司 | 图像处理方法及装置 |
| CN110516412A (zh) * | 2019-07-22 | 2019-11-29 | 平安科技（深圳）有限公司 | 图片原创信息获取方法、装置、计算机设备及存储介质 |
| CN113918753A (zh) * | 2021-07-23 | 2022-01-11 | 腾讯科技（深圳）有限公司 | 基于人工智能的图像检索方法及相关设备 |
| CN116796021B (zh) * | 2023-08-28 | 2023-12-05 | 上海任意门科技有限公司 | 图像检索方法、系统、电子设备和介质 |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101710334B (zh) * | 2009-12-04 | 2012-01-25 | 大连理工大学 | 基于图像哈希的大规模图像库检索方法 |
| CN103294676A (zh) * | 2012-02-24 | 2013-09-11 | 北京明日时尚信息技术有限公司 | 一种基于gist全局特征和sift局部特征的网络图片内容重复检测方法 |
| CN103593677A (zh) * | 2013-12-02 | 2014-02-19 | 中国科学院自动化研究所 | 一种近似重复图像检测方法 |
| CN104376052B (zh) * | 2014-11-03 | 2017-07-14 | 杭州淘淘搜科技有限公司 | 一种基于商品图像的同款商品合并方法 |
-
2017
- 2017-03-28 CN CN201710190761.1A patent/CN106951551B/zh not_active Expired - Fee Related
Non-Patent Citations (2)
| Title |
|---|
| A New Parallel Hierarchical K-Means Clustering Algorithm for Video Retrieval;Kaiyang Liao等;《Springer Verlag》;20171231;179-186 * |
| Image retrieval based on the multi-index and combination of several features;Ziwei Tang等;《49th Conference of the International Circle of Education Institutes for Graphic Arts Technology and Management (IC) and 8th China Academic Conference on Printing and Packaging》;20171231;243-249 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN106951551A (zh) | 2017-07-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106951551B (zh) | 联合gist特征的多重索引图像检索方法 | |
| Zheng et al. | SIFT meets CNN: A decade survey of instance retrieval | |
| Zhou et al. | Recent advance in content-based image retrieval: A literature survey | |
| Li et al. | Mid-level deep pattern mining | |
| Xie et al. | Image classification and retrieval are one | |
| Qian et al. | Enhancing sketch-based image retrieval by re-ranking and relevance feedback | |
| Liu et al. | Contextual hashing for large-scale image search | |
| Chatfield et al. | Visor: Towards on-the-fly large-scale object category retrieval | |
| CN103605765A (zh) | 一种基于聚类紧凑特征的海量图像检索系统 | |
| CN106649440B (zh) | 融合全局r特征的近似重复视频检索方法 | |
| Manger | Large-scale tattoo image retrieval | |
| Gao et al. | 3D object retrieval with bag-of-region-words | |
| Li et al. | Exploiting hierarchical activations of neural network for image retrieval | |
| Nie et al. | Convolutional deep learning for 3D object retrieval | |
| Ballas et al. | Irim at TRECVID 2014: Semantic indexing and instance search | |
| Yang et al. | Polar embedding for aurora image retrieval | |
| Wang et al. | Beauty product image retrieval based on multi-feature fusion and feature aggregation | |
| Gao et al. | SHREC’15 Track: 3D object retrieval with multimodal views | |
| Liu | A survey of recent view-based 3d model retrieval methods | |
| Song et al. | Hierarchical deep hashing for image retrieval | |
| Amato et al. | Aggregating binary local descriptors for image retrieval | |
| Sun et al. | Search by detection: Object-level feature for image retrieval | |
| JP6017277B2 (ja) | 特徴ベクトルの集合で表されるコンテンツ間の類似度を算出するプログラム、装置及び方法 | |
| Gao et al. | Efficient view-based 3-D object retrieval via hypergraph learning | |
| JP5833499B2 (ja) | 高次元の特徴ベクトル集合で表現されるコンテンツを高精度で検索する検索装置及びプログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20200331 |
|
| CF01 | Termination of patent right due to non-payment of annual fee |