CN105183746B - 从多相关图片中挖掘显著特征实现图像检索的方法 - Google Patents

从多相关图片中挖掘显著特征实现图像检索的方法 Download PDF

Info

Publication number
CN105183746B
CN105183746B CN201510397208.6A CN201510397208A CN105183746B CN 105183746 B CN105183746 B CN 105183746B CN 201510397208 A CN201510397208 A CN 201510397208A CN 105183746 B CN105183746 B CN 105183746B
Authority
CN
China
Prior art keywords
feature
features
binary
matching
isp
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201510397208.6A
Other languages
English (en)
Other versions
CN105183746A (zh
Inventor
钱学明
杨锡玉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xian Jiaotong University
Original Assignee
Xian Jiaotong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xian Jiaotong University filed Critical Xian Jiaotong University
Priority to CN201510397208.6A priority Critical patent/CN105183746B/zh
Publication of CN105183746A publication Critical patent/CN105183746A/zh
Application granted granted Critical
Publication of CN105183746B publication Critical patent/CN105183746B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/757—Matching configurations of points or features

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Library & Information Science (AREA)
  • Multimedia (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种从多幅相关图片中挖掘显著特征实现图像检索的方法，其特征是，采用灵活二值描述符的生成以及基于二值描述符的特征匹配来完成。灵活二值描述符将原始的浮点型图像特征的每一维通过与二叉平衡树各结点相应参考值的比较而转变为二进制的形式；而特征匹配首先基于二值描述符计算特征间的相似性，然后归一化特征的相似性得分，依次选出最佳匹配的特征对，由最佳匹配特征对可以找到多幅相关图中的显著特征。显著特征数量少，但代表着图片的重要视觉内容，结合其几何信息用于检索可以得到不错的检索结果。

Description

从多相关图片中挖掘显著特征实现图像检索的方法
技术领域
本发明涉及一种图像检索技术，特别涉及一种手机端基于内容的图像检索方法。
背景技术
近年来，手机正在经历爆炸式的发展。据统计，2014年全球手机用户已达到45亿，智能手机用户达到17亿。对于大多数人，尤其是年轻人来说，手机已成为生活中不可或缺的一部分。相比电脑，他们更倾向于使用手机做很多事情，比如分享照片、查询公交车路线，尤其是手机上网。随着智能手机的发展，手机内置摄像头的功能也越来越强大，可以说手机已经改变了人们的拍照方式。根据诺基亚公司2006年的统计，全球42％的人使用手机作为主要的拍照方式；CNTT报告显示2014年中国有78.5％的人使用手机作为主要的拍照方式，并且可以预见，这个比率会不断升高。手机的便携性使得人们希望可以通过手机处理更多的事情，手机端基于内容的图像检索也逐渐受到关注。传统的图像搜索引擎，比如谷歌、百度，要求用户输入文本形式的查询词，然后搜索引擎基于图片的描述成功地返回相关图片给用户。然而，有些时候用户不能用准确的词描述他的搜索意图，还有些时候用户看到了一个不认识的事物想要了解相关信息，这样的情况下，基于内容的图片检索可以解决以上问题，比如用户看到了一栋建筑，他可以拍下这栋建筑物的照片，然后搜索相似图片，那么用户可以通过相似图片的信息和描述了解他拍下的建筑。
针对于手机端的图像检索，大多数人习惯于拍摄多张照片以确保至少一张是满意的或者全面的展示事物，于是可以综合分析利用相关图片以捕捉查询图的重要内容。一般说来，从相关图中挖掘重要的视觉内容需要在相关图片中进行特征匹配，目前已有多种特征匹配方法被提出，通常的做法是计算图像特征间的欧式距离或者cosine距离，由欧式距离和cosine距离表示特征相似性，准确度虽高但效率低，为了提高效率，多种二值描述符被提出，然而大多数二值描述符对长度依赖大，且对原始特征的描述能力不足。
发明内容
本发明的目的是解决从手机端的相关图片中挖掘重要的视觉内容以实现图像检索的问题，而重要视觉内容的挖掘通常通过特征匹配实现，鉴于此，本发明提出了一种基于灵活二值描述符特征匹配的方法来实现图像的检索，灵活二值描述符尽可能多的保留原始特征的信息以准确区分不同的特征。
为达到以上目的，本发明是采取如下技术方案予以实现的：
一种从多相关图片中挖掘显著特征实现图像检索的方法,包括下述步骤:
第一步，多相关图挖掘，在用户的手机相册中搜索与查询图相关的图片，采用经典的BoW模型衡量相似用户相册中的图片与查询图的视觉相似性，由离线、在线两个部分构成，离线部分包括训练集中的图片特征提取、聚类和量化；在线部分包括图片特征提取、量化和相似性计算，其中，离线部分和在线部分的图片特征提取方法相同；
第二步，生成灵活二值描述符，具体操作如下：
2.1、计算特征最大值向量，SIFT特征描述符是128维的向量，首先计算训练集中的所有特征在每个维度上的最大值：
max_d＝{md1,md2,…,mdm}
其中，max_d表示特征最大值向量，mdi表示特征最大值向量max_d的第i维，是训练集中第j个特征的第i维，FN表示训练集中特征的数目；
2.2、定义二叉平衡树，二叉平衡树要求满足以下性质：
2.2.1若左子树不空，则左子树上所有结点的关键字值均小于根结点的关键字值；
2.2.2若右子树不空，则右子树上所有结点的关键字值均大于根结点的关键字值；
2.2.3其根的左、右子树高度之差的绝对值不超过1；
2.2.4其根的左、右子树都是二叉平衡树。
二叉平衡树的每个结点都是一个参考向量，参考向量定义为α·max_d，α为尺度因子，0<α<1；
2.3、生成初始二值描述符，分别将一个SIFT特征的每一维与二叉平衡树结点的对应位进行比较：
其中，di表示SIFT特征的第i维，表示di与二叉平衡树的第l层结点比较的结果，表示第l层某个结点的第i维；于是生成初始二值描述符的方法是分别将每一位表示为二进制形式，对于特征的每一维，首先将其与根结点的对应位进行比较，若结果为1，则继续与右子树比较，否则与左子树进行比较，如此迭代比较直到得到与叶子结点的结果，最终的结果是特征的每一维表示为l位的二进制形式；
第三步，基于二值描述符的特征匹配，包括下述子步骤：
3.1、特征匹配得分计算
3.1.1假设有两幅相关的图片分别定义为图a和图b,我们对图a和图b中量化到相同视觉词汇的特征进行匹配得分计算，根据特征的二值描述符计算两个特征的匹配得分：
其中，L表示二值描述符总的长度，表示和的匹配得分，和分别是图a中的第i个特征和图b中的第j个特征；和是和的第k维的二值表示，对于SIFT特征，k＝1,……,128；表示二进制减法的绝对值；
3.1.2匹配得分归一化
假设图a中的p个特征和图b中的q个特征量化到相同的视觉词汇，则量化到相同视觉词汇的图a中第i个特征与图b中第j个特征的匹配得分归一化表示为：
其中，表示和设定阈值去除相似性太低的特征对中量化到相同词汇的p个特征的相似度平均值，表示和选择最相似的特征对中量化到相同词汇的q个特征的相似度平均值；
3-2、最佳匹配对确定，具体操作如下：
首先设定一个阈值切断相似性太低的特征间的联系，留下的特征对则组成了可能的匹配特征对集合；接着从集合中选出具有最大归一化相似性得分的一对作为最佳匹配对，同时切断构成最佳匹配对的两个特征与其它特征的联系，即从集合中删除关于这两个特征的所有特征对，如此反复循环挑选出具有最高相似度的特征对，直到集合中没有成对的特征；
第四步，由最佳匹配对确定显著特征；
第五步，使用显著特征实现图像检索。
同现有的二值描述符相比，本发明的优点是：
1)引入了二叉树结构提高生成二值描述符的效率；
2)有效地划分特征的值的取值空间，二值描述符表明了特征每个维度所在的取值空间，取值空间的不同可区分特征本身的差异。同现有的特征匹配方法相比，本发明特征匹配得分通过归一化操作使得最佳匹配的特征对的匹配得分相对较大，容易被挖掘到，并且本发明提出的匹配方法能尽可能多的挖掘的潜在的匹配特征对。
3)在找到最佳匹配对后，通过综合分析相关图中的最佳匹配对确定显著特征，从而实现图像检索，准确度高同时也提高了效率。
附图说明
下面结合附图和具体实施方式对本发明做进一步的详细说明。
图1是本发明中基于二叉树生成二值描述符的二叉树结构示意图。图中：各结点的值表示结点所代表的参考向量的尺度因子。
图2为本发明中特征匹配的说明图。假设我们进行特征匹配的两幅图片分别定义为图a和图b,图2中da 1，da 2和da 3表示图a中量化到某视觉词汇的三个特征，则db 1和db 2表示图b中与da 1，da 2和da 3量化到相同视觉词汇的两个个特征。图2(a)是设定阈值去除相似性太低的特征对，图中虚线表示不合格被去除的特征对；图2(b)是选择最相似的特征对，图中双箭头实线连接的是具有最大相似性得分的两个特征；图2(c)是切断其它特征与选出的最佳匹配对中的特征的联系，图中虚线表示去除的特征对。
具体实施方式
本发明基于二值描述符从多幅相关图片中挖掘显著特征以实现图像检索的方法，分五个步骤：多相关图挖掘；生成灵活二值描述符；基于二值描述符的特征匹配；确定显著特征；利用显著特征实现图像检索。
1、多相关图挖掘是在用户的手机相册中找到与查询图相关的图片，我们采用经典的BoW模型衡量相似用户相册中的图片与查询图的相似性。由离线部分和在线部分构成，离线部分包括训练集中的图片特征提取、聚类和量化；在线部分包括图片特征、量化和图片间视觉相似性计算。离线部分和在线部分的特征提取方法是一样的。
首先介绍特征提取，我们使用的是经典的图片局部特征：SIFT特征。SIFT特征的提取可以分为以下三个步骤实现：
(1)特征点的检测。对一幅图像，首先进行如下预处理，转化图像为灰度图像、进行平滑归一化处理以去除高频点、放大为原来的两倍。然后建立差分高斯金字塔(DoG)，在DoG尺度空间上将一个像素点通过与邻近的26个点的比较检测极大值点，去除低对比度极值点，计算Hessian矩阵求主曲率丢弃边缘不稳定点。剩下的极值点就是SIFT(尺度不变特征转换)算法提取出的特征点。
(2)确定主方向。计算特征点梯度方向，建立0度到360度梯度方向直方图，最大的定为主方向。
(3)生成特征向量。旋转坐标轴到主方向，这样保证SIFT特征就具有了旋转不变性。取特征点周围16个种子点(4*4的像素块)，每个种子点含有8个方向的梯度值，得到128维的特征数据，然后进行归一化生成SIFT特征描述符。
离线部分的特征聚类是对训练集中图片的SIFT特征进行采样，然后使用可分级k-means方法进行聚类，结果是将相似的特征聚为一类，并生成聚类中心作为每个类的描述，所有的聚类中心就构成了时间词汇码书。每一个类中心称为一个视觉词汇。
在线部分使用离线部分训练好的词汇码书对特征进行量化，也就是根据相似性以视觉词汇表示每个特征，于是每个图片可以表示为词汇包的形式(BoW)。我们对查询图及相册中的图片都提取SIFT特征，然后进行量化，量化结果是将查询图与相册中的图片都以BoW直方图的形式的表示。
在线部分的图片间相似性计算是计算图片的BoW直方图的相似性。假设查询图和相册中图片的归一化BoW直方图分别表示为hq和hm(i)，那么相册中第i张图片与查询图的相似性(记作Dis(i))，可通过计算BoW直方图的L1距离得到：
Dis(i)＝exp(-||hq-hm(i)||1)
其中，||·||1表示L1范数，i＝1,…,P，P是用户相册中的图片数量。
在计算出相册中所有图片与查询图的BoW直方图相似性得分后，对得分从高到底排序，得分最高的M-1张作为候选相关图。然后我们设置一个相似性阈值，如果某张候选相关图的相似性得分低于此阈值，则被去除，剩下的图片就是查询图的相关图。
2、在有相关图的情况下，我们基于二值描述符挖掘相关图中与查询图匹配的特征，具体操作如下：
2-1.计算特征最大值向量
SIFT特征描述符是128维的向量，首先计算训练集中的所有特征在每个维度上的最大值：
max_d＝{md1,md2,…,mdm}
其中，max_d表示特征最大值向量，mdi表示特征最大值向量max_d的第i维，是训练集中第j个特征的第i维，FN表示训练集中特征的数目。
2-2.定义二叉平衡树
二叉平衡树要求满足以下性质：
1)若左子树不空，则左子树上所有结点的关键字值均小于根结点的关键字值；
2)若右子树不空，则右子树上所有结点的关键字值均大于根结点的关键字值；
3)其根的左、右子树高度之差的绝对值不超过1；
4)其根的左、右子树都是二叉平衡树。
二叉平衡树的每个结点都是一个参考向量，参考向量定义为α·max_d，α为尺度因子，0<α<1。二叉平衡树的结构如图1所示，图1中每个结点的值即α的值。
2-3.生成初始二值描述符
分别将一个SIFT特征的每一维与二叉平衡树结点的对应位进行比较：
其中，di表示SIFT特征的第i维，表示di与二叉平衡树的第l层结点比较的结果，表示第l层某个结点的第i维。于是生成初始二值描述符的方法是分别将每一位表示为二进制形式。对于特征的每一维，首先将其与根结点的对应位进行比较，若结果为1，则继续与右子树比较，否则与左子树进行比较，如此迭代比较直到得到与叶子结点的结果，最终的结果是特征的每一维表示为l位的二进制形式。
3、基于二值描述符的特征匹配方法包括：
3-1特征匹配得分计算；
3-1-1.假设有两幅图片分别定义为图a和图b,我们对图a和图b中量化到相同视觉词汇的特征进行匹配得分计算，我们根据特征的二值描述符计算两个特征的匹配得分：
其中，L表示二值描述符总的长度，表示和的匹配得分，和分别是图a中的第i个特征和图b中的第j个特征。和是和的第k维的二值表示，对于SIFT特征，k＝1,……,128。表示二进制减法的绝对值。
3-1-2.匹配得分归一化
假设图a中的p个特征和图b中的q个特征量化到相同的视觉词汇，则量化到相同视觉词汇的图a中第i个特征与图b中第j个特征的匹配得分归一化表示为：
其中，表示和图a中量化到相同词汇的p个特征的相似度平均值，表示和图b中量化到相同词汇的q个特征的相似度平均值。
3-2最佳匹配对确定
具体操作如下：
如图2所示，首先设定一个阈值切断相似性太低的特征间的联系如图2(a)中虚线所示，留下的特征对则组成了可能的匹配特征对集合。接着从集合中选出具有最大归一化相似性得分的一对作为最佳匹配对如图2(b)双箭头实线连接的特征对所示，同时切断构成最佳匹配对的两个特征与其它特征的联系，即从集合中删除关于这两个特征的所有特征对如图2(c)中虚线所示，去除的特征是用红色虚线圈起来的。如此反复循环挑选出具有最高相似度的特征对，直到集合中没有成对的特征。
4、由最佳匹配对确定显著特征，具体操作如下：
4-1.整理最佳匹配对得到同义语义点(ISP)。我们以ISP表示一组相互最佳匹配的SIFT点：
其中，ISPl表示第l个ISP，X表示相关图的数量，是查询图中的特征，是在第i张图中与ISP中其他特征能够最佳匹配的特征在的第i张图中SIFT ID，如果第i张图中没有特征与ISPl中的其他特征相匹配，则
4-2.ISP重要性排序。用C表示ISP在多相关图中是否出现：
式中：表示ISPl在第i张图在是否出现，也就是第i张图中是否有特征与ISPl中的其他特征相匹配，如果有，即则不然
ISPl的重要性由其在多图中的一致性得分(CS)来衡量：
于是，通过对所有ISP在多图中的一致性得分排序，ISP在大体上做了排序。然而有许多ISP有相同的一致性得分，接下来对有相同一致性得分的ISP根据稳定性做进一步排序。我们将一个ISP包含的特征间的相似性得分加和作为此ISP的稳定性得分：
总的来说，ISP首先按照一致性得分从高到低排序，然后对于具有相同一致性得分的ISP，根据它们的稳定性得分做更为细致的排序。在对ISP排序后，可以选择一定数量排序靠前的显著特征到服务器进行检索。
5、使用显著特征实现图像检索，具体方法如文献X.Yang,X.Qian.Learningsalient visual words for scalable mobile image retrieval.Pattern Recognition,2015.具体操作步骤如下：
5-1对显著特征按照在查询图中的空间位置进行空间编码
式中：xi和xj分别表示第i个和第j个显著特征在图中的横坐标，yi和yj表示纵坐标。
5-2显著特征对应的视觉词汇定义为显著视觉词汇，由显著词汇根据倒排索引表检索到匹配图片，然后对显著词汇在匹配图中的空间位置进行空间编码。
5-3匹配图中和显著视觉词汇一致的词汇的空间编码在匹配图和查询图中的空间编码结果进行相似性计算作为匹配图与查询图的相似性得分：
其中，SPX(i)和SPY(i)分别表示第i个一致的词汇在匹配图和查询图中的Xmap和Ymap的差异。匹配图按照与查询图的相似性得分排序得到检索结果。

Claims (3)

1.一种从多相关图片中挖掘显著特征实现图像检索的方法,其特征在于，包括下述步骤:
第一步，多相关图挖掘，在用户的手机相册中搜索与查询图相关的图片，采用经典的BoW模型衡量相似用户相册中的图片与查询图的视觉相似性，由离线、在线两个部分构成，离线部分包括训练集中的图片特征提取、聚类和量化；在线部分包括图片特征提取、量化和相似性计算，其中，离线部分和在线部分的图片特征提取方法相同；
第二步，生成灵活二值描述符，具体操作如下：
2.1、计算特征最大值向量，SIFT特征描述符是128维的向量，首先计算训练集中的所有特征在每个维度上的最大值：
max_d＝{md1,md2,…,mdm}
<mrow> <msub> <mi>md</mi> <mi>i</mi> </msub> <mo>=</mo> <mi>m</mi> <mi>a</mi> <mi>x</mi> <mo>{</mo> <msubsup> <mi>d</mi> <mi>i</mi> <mi>j</mi> </msubsup> <mo>|</mo> <mi>j</mi> <mo>=</mo> <mn>1</mn> <mo>,</mo> <mn>...</mn> <mo>,</mo> <mi>F</mi> <mi>N</mi> <mo>}</mo> </mrow>
其中，max_d表示特征最大值向量，mdi表示特征最大值向量max_d的第i维，是训练集中第j个特征的第i维，FN表示训练集中特征的数目；
2.2、定义二叉平衡树，二叉平衡树要求满足以下性质：
2.2.1 若左子树不空，则左子树上所有结点的关键字值均小于根结点的关键字值；
2.2.2 若右子树不空，则右子树上所有结点的关键字值均大于根结点的关键字值；
2.2.3 其根的左、右子树高度之差的绝对值不超过1；
2.2.4 其根的左、右子树都是二叉平衡树；
二叉平衡树的每个结点都是一个参考向量，参考向量定义为α·max_d，α为尺度因子，0<α<1；
2.3、生成初始二值描述符，分别将一个SIFT特征的每一维与二叉平衡树结点的对应位进行比较：
<mrow> <msubsup> <mi>bd</mi> <mi>i</mi> <mi>l</mi> </msubsup> <mo>=</mo> <mfenced open = "{" close = ""> <mtable> <mtr> <mtd> <mrow> <mn>1</mn> <mo>,</mo> </mrow> </mtd> <mtd> <mrow> <mi>i</mi> <mi>f</mi> <mi> </mi> <msub> <mi>d</mi> <mi>i</mi> </msub> <mo>&gt;</mo> <msubsup> <mi>reh</mi> <mi>i</mi> <mi>l</mi> </msubsup> </mrow> </mtd> </mtr> <mtr> <mtd> <mrow> <mn>0</mn> <mo>,</mo> </mrow> </mtd> <mtd> <mrow> <mi>o</mi> <mi>t</mi> <mi>h</mi> <mi>e</mi> <mi>r</mi> <mi>w</mi> <mi>i</mi> <mi>s</mi> <mi>e</mi> <mo>.</mo> </mrow> </mtd> </mtr> </mtable> </mfenced> </mrow>
其中，di表示SIFT特征的第i维，表示di与二叉平衡树的第l层结点比较的结果，表示第l层某个结点的第i维；于是生成初始二值描述符的方法是分别将每一位表示为二进制形式，对于特征的每一维，首先将其与根结点的对应位进行比较，若结果为1，则继续与右子树比较，否则与左子树进行比较，如此迭代比较直到得到与叶子结点的结果，最终的结果是特征的每一维表示为l位的二进制形式；
第三步，基于二值描述符的特征匹配，包括下述子步骤：
3.1、特征匹配得分计算
3.1.1 假设有两幅相关的图片分别定义为图a和图b,对图a和图b中量化到相同视觉词汇的特征进行匹配得分计算，根据特征的二值描述符计算两个特征的匹配得分：
<mrow> <mi>M</mi> <mi>S</mi> <mrow> <mo>(</mo> <msubsup> <mi>d</mi> <mi>a</mi> <mi>i</mi> </msubsup> <mo>,</mo> <msubsup> <mi>d</mi> <mi>b</mi> <mi>j</mi> </msubsup> <mo>)</mo> </mrow> <mo>=</mo> <mi>L</mi> <mo>-</mo> <munder> <mo>&amp;Sigma;</mo> <mi>k</mi> </munder> <mo>|</mo> <msup> <msubsup> <mi>sbd</mi> <mi>a</mi> <mi>i</mi> </msubsup> <mi>k</mi> </msup> <mo>-</mo> <msup> <msubsup> <mi>sbd</mi> <mi>b</mi> <mi>j</mi> </msubsup> <mi>k</mi> </msup> <mo>|</mo> </mrow>
其中，L表示二值描述符总的长度，表示和的匹配得分，和分别是设定阈值去除相似性太低的特征对中的第i个特征和选择最相似的特征对中的第j个特征；和是和的第k维的二值表示，对于SIFT特征，k＝1,……,128；表示二进制减法的绝对值；
3.1.2 匹配得分归一化
图a中的p个特征和图b中的q个特征量化到相同的视觉词汇，则量化到相同视觉词汇的图a中第i个特征与图b中第j个特征的匹配得分归一化表示为：
<mrow> <mi>s</mi> <mi>c</mi> <mrow> <mo>(</mo> <msubsup> <mi>d</mi> <mi>a</mi> <mi>i</mi> </msubsup> <mo>,</mo> <msubsup> <mi>d</mi> <mi>b</mi> <mi>j</mi> </msubsup> <mo>)</mo> </mrow> <mo>=</mo> <mfrac> <mrow> <mi>M</mi> <mi>S</mi> <mrow> <mo>(</mo> <msubsup> <mi>d</mi> <mi>a</mi> <mi>i</mi> </msubsup> <mo>,</mo> <msubsup> <mi>d</mi> <mi>b</mi> <mi>j</mi> </msubsup> <mo>)</mo> </mrow> </mrow> <mrow> <mfrac> <mn>1</mn> <mi>p</mi> </mfrac> <msubsup> <mi>&amp;Sigma;</mi> <mrow> <mi>i</mi> <mi>c</mi> <mo>=</mo> <mn>1</mn> </mrow> <mi>p</mi> </msubsup> <mi>M</mi> <mi>S</mi> <mrow> <mo>(</mo> <msubsup> <mi>d</mi> <mi>a</mi> <mrow> <mi>i</mi> <mi>c</mi> </mrow> </msubsup> <mo>,</mo> <msubsup> <mi>d</mi> <mi>b</mi> <mi>j</mi> </msubsup> <mo>)</mo> </mrow> <mo>&amp;CenterDot;</mo> <mfrac> <mn>1</mn> <mi>q</mi> </mfrac> <msubsup> <mi>&amp;Sigma;</mi> <mrow> <mi>j</mi> <mi>c</mi> <mo>=</mo> <mn>1</mn> </mrow> <mi>q</mi> </msubsup> <mi>M</mi> <mi>S</mi> <mrow> <mo>(</mo> <msubsup> <mi>d</mi> <mi>a</mi> <mi>i</mi> </msubsup> <mo>,</mo> <msubsup> <mi>d</mi> <mi>b</mi> <mrow> <mi>j</mi> <mi>c</mi> </mrow> </msubsup> <mo>)</mo> </mrow> </mrow> </mfrac> </mrow>
其中，表示和设定阈值去除相似性太低的特征对中量化到相同词汇的p个特征的相似度平均值，表示和选择最相似的特征对中量化到相同词汇的q个特征的相似度平均值；
3-2、最佳匹配对确定，具体操作如下：
首先设定一个阈值切断相似性太低的特征间的联系，留下的特征对则组成了可能的匹配特征对集合；接着从集合中选出具有最大归一化相似性得分的一对作为最佳匹配对，同时切断构成最佳匹配对的两个特征与其它特征的联系，即从集合中删除关于这两个特征的所有特征对，如此反复循环挑选出具有最高相似度的特征对，直到集合中没有成对的特征；
第四步，由最佳匹配对确定显著特征；
第五步，使用显著特征实现图像检索。
2.如权利要求1所述的从多相关图片中挖掘显著特征实现图像检索的方法,其特征在于，所述由最佳匹配对确定显著特征的具体方法如下：
a、整理最佳匹配对得到同义语义点ISP，以ISP表示一组相互最佳匹配的SIFT点：
<mrow> <msub> <mi>ISP</mi> <mi>l</mi> </msub> <mo>=</mo> <mo>{</mo> <msubsup> <mi>d</mi> <mi>l</mi> <mn>1</mn> </msubsup> <mo>,</mo> <mn>...</mn> <mo>,</mo> <msubsup> <mi>d</mi> <mi>l</mi> <mi>i</mi> </msubsup> <mo>,</mo> <mn>...</mn> <mo>,</mo> <msubsup> <mi>d</mi> <mi>l</mi> <mi>X</mi> </msubsup> <mo>}</mo> </mrow>
其中，ISPl表示第l个ISP，X表示相关图的数量，是查询图中的特征，是在第i张图中与ISP中其他特征能够最佳匹配的特征所在的第i张图中SIFT ID，如果第i张图中没有特征与ISPl中的其他特征相匹配，则
b、ISP重要性排序，用C表示ISP在多相关图中是否出现：
<mrow> <msub> <mi>C</mi> <mi>l</mi> </msub> <mo>=</mo> <mo>{</mo> <msubsup> <mi>c</mi> <mi>l</mi> <mn>1</mn> </msubsup> <mo>,</mo> <mn>...</mn> <mo>,</mo> <msubsup> <mi>c</mi> <mi>l</mi> <mi>i</mi> </msubsup> <mo>,</mo> <mn>...</mn> <mo>,</mo> <msubsup> <mi>c</mi> <mi>l</mi> <mi>X</mi> </msubsup> <mo>}</mo> </mrow>
式中：表示ISPl在第i张图中是否出现，也就是第i张图中是否有特征与ISPl中的其他特征相匹配，如果有，即则不然
ISPl的重要性由其在多图中的一致性得分CS来衡量：
<mrow> <msub> <mi>CS</mi> <mi>l</mi> </msub> <mo>=</mo> <munderover> <mo>&amp;Sigma;</mo> <mrow> <mi>i</mi> <mo>=</mo> <mn>1</mn> </mrow> <mi>X</mi> </munderover> <msubsup> <mi>c</mi> <mi>l</mi> <mi>i</mi> </msubsup> <mo>.</mo> </mrow>
3.如权利要求2所述的从多相关图片中挖掘显著特征实现图像检索的方法,其特征在于，当ISP有相同的一致性得分，将一个ISP包含的特征间的相似性得分加和作为此ISP的稳定性得分：
<mrow> <msub> <mi>Sta</mi> <mi>l</mi> </msub> <mo>=</mo> <munder> <mo>&amp;Sigma;</mo> <mrow> <mi>i</mi> <mo>,</mo> <mi>j</mi> <mo>,</mo> <mi>i</mi> <mo>&amp;NotEqual;</mo> <mi>j</mi> </mrow> </munder> <mi>M</mi> <mi>S</mi> <mrow> <mo>(</mo> <msubsup> <mi>d</mi> <mi>l</mi> <mi>i</mi> </msubsup> <mo>,</mo> <msubsup> <mi>d</mi> <mi>l</mi> <mi>j</mi> </msubsup> <mo>)</mo> </mrow> <mo>.</mo> </mrow>
CN201510397208.6A 2015-07-08 2015-07-08 从多相关图片中挖掘显著特征实现图像检索的方法 Expired - Fee Related CN105183746B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510397208.6A CN105183746B (zh) 2015-07-08 2015-07-08 从多相关图片中挖掘显著特征实现图像检索的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510397208.6A CN105183746B (zh) 2015-07-08 2015-07-08 从多相关图片中挖掘显著特征实现图像检索的方法

Publications (2)

Publication Number Publication Date
CN105183746A CN105183746A (zh) 2015-12-23
CN105183746B true CN105183746B (zh) 2018-04-17

Family

ID=54905830

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510397208.6A Expired - Fee Related CN105183746B (zh) 2015-07-08 2015-07-08 从多相关图片中挖掘显著特征实现图像检索的方法

Country Status (1)

Country Link
CN (1) CN105183746B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107103002A (zh) * 2016-02-22 2017-08-29 南京中兴新软件有限责任公司 图像的检索方法及装置
US10235387B2 (en) * 2016-03-01 2019-03-19 Baidu Usa Llc Method for selecting images for matching with content based on metadata of images and content in real-time in response to search queries
CN106844733B (zh) * 2017-02-13 2020-04-03 哈尔滨理工大学 基于词汇树信息融合与豪斯多夫距离结合的图像检索方法
CN110019876B (zh) * 2017-12-25 2023-07-28 深圳云天励飞技术有限公司 数据查询方法、电子设备及存储介质
CN108764262B (zh) * 2018-05-31 2021-09-28 苏州大学 一种共生图像模式挖掘方法
CN110704575B (zh) * 2019-09-21 2021-12-07 天津大学 一种动态自适应二元层次词汇树图像检索方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103136751A (zh) * 2013-02-05 2013-06-05 电子科技大学 一种改进型sift图像特征匹配算法
CN103324677A (zh) * 2013-05-24 2013-09-25 西安交通大学 一种可分级的快速图像gps位置估计方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9727586B2 (en) * 2012-10-10 2017-08-08 Samsung Electronics Co., Ltd. Incremental visual query processing with holistic feature feedback

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103136751A (zh) * 2013-02-05 2013-06-05 电子科技大学 一种改进型sift图像特征匹配算法
CN103324677A (zh) * 2013-05-24 2013-09-25 西安交通大学 一种可分级的快速图像gps位置估计方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Learning salient visual word for scalable mobile image retrieval;Xiyu Yang et al;《Pattern Recognition》;20150102;第3093-3101页 *
Scalable mobile image retrieval by exploring contextual saliency;Xiyu Yang et al;《IEEE TRANSACTIONS ON IMAGE PROCESSING》;20150630;第24卷(第6期);第1709-1721页 *
基于二叉树量化子图像颜色直方图的图像检索;吴远仁;《计算机与现代化》;20091231(第11期);第139-142页 *

Also Published As

Publication number Publication date
CN105183746A (zh) 2015-12-23

Similar Documents

Publication Publication Date Title
CN105183746B (zh) 从多相关图片中挖掘显著特征实现图像检索的方法
US8781255B2 (en) Methods and apparatus for visual search
Jégou et al. On the burstiness of visual elements
US11048966B2 (en) Method and device for comparing similarities of high dimensional features of images
Yang et al. Scalable mobile image retrieval by exploring contextual saliency
Wang et al. Contextual weighting for vocabulary tree based image retrieval
Aly et al. Indexing in large scale image collections: Scaling properties and benchmark
Liu et al. Contextual hashing for large-scale image search
Zhou et al. Towards codebook-free: Scalable cascaded hashing for mobile image search
Amato et al. Visual recognition of ancient inscriptions using convolutional neural network and fisher vector
Duan et al. Weighted component hashing of binary aggregated descriptors for fast visual search
US20180276244A1 (en) Method and system for searching for similar images that is nearly independent of the scale of the collection of images
CN102890700A (zh) 一种基于体育比赛视频的相似视频片段检索方法
JP6042778B2 (ja) 画像に基づくバイナリ局所特徴ベクトルを用いた検索装置、システム、プログラム及び方法
CN104778272B (zh) 一种基于区域挖掘和空间编码的图像位置估计方法
Sun et al. Search by detection: Object-level feature for image retrieval
Aly et al. Towards automated large scale discovery of image families
JP2014102772A (ja) 特徴ベクトルの集合で表されるコンテンツ間の類似度を算出するプログラム、装置及び方法
Chen et al. Context-aware discriminative vocabulary learning for mobile landmark recognition
Dong et al. Color space quantization-based clustering for image retrieval
JP5959446B2 (ja) コンテンツをバイナリ特徴ベクトルの集合で表現することによって高速に検索する検索装置、プログラム及び方法
Liu et al. Selection of canonical images of travel attractions using image clustering and aesthetics analysis
Chathurani et al. Content-based image (object) retrieval with rotational invariant bag-of-visual words representation
Reddy et al. Spatio-temporal feature based VLAD for efficient video retrieval
Tong et al. A kernel density based approach for large scale image retrieval

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20180417

Termination date: 20210708

CF01 Termination of patent right due to non-payment of annual fee