CN104361104B - 一种高效的图像检索结果质量评价方法 - Google Patents

一种高效的图像检索结果质量评价方法 Download PDF

Info

Publication number
CN104361104B
CN104361104B CN201410685879.8A CN201410685879A CN104361104B CN 104361104 B CN104361104 B CN 104361104B CN 201410685879 A CN201410685879 A CN 201410685879A CN 104361104 B CN104361104 B CN 104361104B
Authority
CN
China
Prior art keywords
mrow
msub
msup
picture
visual
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201410685879.8A
Other languages
English (en)
Other versions
CN104361104A (zh
Inventor
田新梅
贾强槐
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Science and Technology of China USTC
Original Assignee
University of Science and Technology of China USTC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Science and Technology of China USTC filed Critical University of Science and Technology of China USTC
Priority to CN201410685879.8A priority Critical patent/CN104361104B/zh
Publication of CN104361104A publication Critical patent/CN104361104A/zh
Application granted granted Critical
Publication of CN104361104B publication Critical patent/CN104361104B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/56—Information retrieval; Database structures therefor; File system structures therefor of still image data having vectorial format
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Library & Information Science (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种高效的图像检索结果质量评价方法，该方法包括：根据输入的文本查询Q返回的检索图片列表L重建一个视觉查询Q'来表征返回的检索图片列表L所蕴含的视觉主题；将重建的视觉查询Q'输入至一个基于内容的图像检索系统，获得一个对应的检索图片列表L'；分别建立检索图片列表L与L'的语言模型，并计算两个语言模型之间的KL距离，将该距离值作为本次检索结果的质量评价结果。通过采用本发明公开的方法，能够高效、准确的对图像检索性能进行预测。

Description

一种高效的图像检索结果质量评价方法
技术领域
本发明涉及图像检索技术领域，尤其涉及一种高效的图像检索结果质量评价方法。
背景技术
图像检索结果质量评价是图像检索领域研究的前沿问题。该技术试图在没有相关信息(即未知检索返回结果与查询的相关程度)的情况下，评估检索系统对某一查询其返回结果的质量高低程度。检索结果质量评价能够同时对用户和检索系统产生积极的影响。从用户的角度讲，该技术可以起到桥梁的作用，使得用户能够与检索系统互动，以便获得更好地检索结果；对检索系统来说，在理想情况下，如果一个检索系统能够自动预测某一查询的性能，那么它就可以自动地调整其参数或者算法来适应不同的查询，从而提供更好的检索性能。
相对于长期在检索模型上的探索，图像检索查询性能预测的研究还处于初级阶段。最初关于图像检索查询性能预测的研究是基于文本信息的，主要通过研究检索返回图片周围的文本信息(上下文文本，图片URL等)与输入查询文本之间的相互关系，例如词汇的具体性、一般性、歧义性和生动性等，来评估检索结果质量。这些研究主要存在一个重大问题：忽略了图片的视觉内容而仅仅考虑文本信息，然而文本信息往往包含很多“噪声”。
目前大部分研究还是基于检索返回图片之间潜在的视觉统计特性出发的。这类方法的主要做法是先将图片表示成由视觉单词组成的文档，然后借用文本分析方法统计一些有关返回图片之间的潜在特性，例如计算由返回图片构成的语言模型和由整个图片集构成的语言模型两者的概率分布差异性；估计返回图片之间的空间一致性；研究针对检索返回列表排名靠前的图片间视觉一致性；以及研究返回图片的视觉相似性分布等等，最后将这些得到的统计特性值作为图像检索结果质量的评估值。上述方法的研究在一定程度上极大地推动了图像检索查询性能预测技术的发展。但是这些方法仍然存在不足之处，它们缺乏将用户输入文本查询考虑在内，因而也没有对用户输入查询与返回图片之间的潜在关系进行很好得研究。
发明内容
本发明的目的是提供一种高效的图像检索结果质量评价方法，能够高效、准确的对图像检索性能进行预测。
本发明的目的是通过以下技术方案实现的：
一种高效的图像检索结果质量评价方法，该方法包括：
根据输入的文本查询Q返回的检索图片列表L重建一个视觉查询Q'来表征返回的检索图片列表L所蕴含的视觉主题；
将重建的视觉查询Q'输入至一个基于内容的图像检索系统，获得一个对应的检索图片列表L'；
分别建立检索图片列表L与L'的语言模型，并计算两个语言模型之间的KL距离，将该距离值作为本次检索结果的质量评价结果。
进一步的，所述根据输入的文本查询Q返回的检索图片列表L重建一个视觉查询Q'来表征返回的检索图片列表L所传达的视觉主题包括：
首先，采用视觉词袋模型和向量空间模型将检索图片列表L＝{I1,I2,…,IN}中的图片Ii表示成一组向量，包括：采用密集采样尺度不变特征转换技术Dense SIFT提取每一图片Ii的SIFT特征；然后，使用聚类算法K-means将得到的所有SIFT特征聚成包含S个视觉单词的码本；按照最近邻准则将所有SIFT特征量化到对应的视觉单词上；再使用TF权重机制来衡量每个视觉单词在每张图片中的重要性；最后，采用向量空间模型将图片Ii表示一组向量，其表达式为：xi中每维向量通过下式进行计算：
其中，tfj表示视觉单词wj在图片Ii中出现的频率；
然后，构建一个用于表示视觉单词wj在检索图片列表L中的概率分布的语言模型，表示为：
P(wj|L)＝∑P(wj|Ii)P(Ii|L)；
其中，P(wj|Ii)表示视觉单词wj在图片Ii中出现的频率，所述P(wj|Ii)为tfj的归一化表示；P(Ii|L)表示图片Ii在检索图片列表L中的重要性，表示为
再根据构建的语言模型估算每一视觉单词wj在检索图片列表L中的重要性得分，其公式为：
或者，
其中，P(wj|C)表示视觉单词wj在整个数据集C中出现的频率；
最后，按照视觉单词wj在检索图片列表L中的重要性得分从大到小的顺序进行排序，选择排名前K个视觉单词来构建视觉查询Q'，表示为：
Q'＝{w'k,k＝1,2,…,K}。
进一步的，该方法还包括构建一个基于内容的图像检索系统，其包括：
使用查询似然模型来构建基于内容的图像检索，所述查询似然模型用于估计图片Ii与视觉查询Q'之间的相关性概率，该查询似然模型表示为：
进一步的，所述获得一个对应的检索图片列表L'包括：
将重建的视觉查询Q'输入至一个基于内容的图像检索系统中，获得检索图片列表L中图片Ii与视觉查询Q'之间的相关性概率，按照相关性概率从高到低的顺序将检索图片列表L中的N张图片进行排序，获得一个对应的检索图片列表L'，表示为：
L'＝{I'1,I'2,…,I'N}。
进一步的，所述分别建立检索图片列表L与L'的语言模型，并计算两个语言模型之间的KL距离，将该距离值作为本次检索结果的质量评价结果包括：
建立检索图片列表L与L'的语言模型，表示为：
其中，LT与L'T分别对应的表示检索图片列表L与L'中前T张图片的截断列表，P(w'k|I'i)表示视觉单词w'k在图片I'i中出现的频率，P(wj|Ii)表示视觉单词wj在图片Ii中出现的频率，P(Ii|LT)表示图片Ii在检索图片列表LT中的重要性，P(I'i|L'T)表示图片I'i在检索图片列表L'T中的重要性；
P(Ii|LT)与P(I'i|L'T)的估算方法为：
或者，
计算检索图片列表L与L'的语言模型之间的KL距离，并将该距离值作为本次检索结果的质量评价结果，所述KL距离的计算公式为：
d(L,L')@T＝DKL{P(wj|LT)|P(wj|L'T)}。
由上述本发明提供的技术方案可以看出，基于用户输入文本查询和检索返回图片两者之间的相互关系，并利用这种潜在关系来进行评估检索结果质量，实现基于查询重建误差的图像检索结果质量评价，该方法能够高效、准确的对图像检索性能进行预测。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他附图。
图1为本发明实施例提供的一种高效的图像检索结果质量评价方法的流程图；
图2为本发明实施例提供的基于eq-QreCE方法相关性系数随着K值变化的曲线图。
具体实施方式
下面结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明的保护范围。
实施例
图1为本发明实施例提供的一种高效的图像检索结果质量评价方法的流程图。如图1所示，该方法主要包括如下步骤：
步骤11、根据输入的文本查询Q返回的检索图片列表L重建一个视觉查询Q'来表征返回的检索图片列表L所蕴含的视觉主题。
本发明实施例中，基于文本的图像检索系统返回的检索图片列表L可以表示为：L＝{I1,I2,…,IN}，其中，图片Ii表示列表L中第i张图片，i＝[1,N]。
本发明实施例基于返回的检索图片列表L重建一个视觉查询Q'主要包括如下三个步骤：
1)图像视觉单词表示。
本发明实施例中采用视觉词袋模型将每张图片表示成由视觉单词组成的文档，再利用向量空间模型将其表示成一组向量。具体来说，采用Dense SIFT(密集采样尺度不变特征转换技术)提取每一图片Ii的SIFT特征(可以按照16*16的patch大小，步长为6的准则，提取128维的SIFT特征)；然后，使用K-means(聚类算法)将得到的所有SIFT特征聚成包含S个(例如，S可以为1000)视觉单词(visual word)的码本；按照最近邻准则将所有SIFT特征量化到对应的视觉单词上；再使用TF权重机制来衡量每个视觉单词在每张图片中的重要性；最后，采用向量空间模型将图片Ii表示一组向量，其表达式为：xi中每维向量通过下式进行计算：
其中，tf是term frequency的缩写，表示一个视觉单词在一张图片中出现的次数，一般为整数，上式中的tfj表示视觉单词wj在图片Ii中出现的频率。
优选的，在此之前还可以基于重排序方法将返回的检索图片列表L进行重新排序获得增强的检索图片列表。
2)典型视觉单词筛选
随着检索图片列表L中的每张图片被表示成视觉单词组成的向量，本发明试图从检索图片列表L中筛选出一些典型的视觉单词来表征视觉主题。为了选择出这样的视觉单词，我们主要分两步来实现。
首先，本发明从检索图片列表L中识别出具有代表性的视觉单词，比如那些在检索图片列表L中出现频率很高的视觉单词。为了捕捉视觉单词在检索图片列表L中的概率分布，本发明构建了一个语言模型，用公式表示如下：
P(wj|L)＝∑P(wj|Ii)P(Ii|L)；
其中，P(wj|Ii)表示视觉单词wj在图片Ii中出现的频率，此处的P(wj|Ii)为前述tfj的归一化表示，一般为[0,1]之间的小数；P(Ii|L)表示图片Ii在检索图片列表L中的重要性，本发明实施例中，认为排名前v的图片具有相同的重要性表示为：
一般来说，P(wj|L)的值越大，则表示该视觉单词wj在检索图片列表L中更具代表性。
其次，为了防止选择那些太普通的视觉单词，比如说一些停用词，本发明实施例中，进一步识别那些不仅具有代表性并且具有区别性的视觉单词。为了实现这个目的，可以根据构建的语言模型估算每一视觉单词wj在检索图片列表L中的重要性得分；本发明实施例中，可以采用如下任意一种方法：
(1)Doszkocs’variant of CHI-squared(CHI，卡方)方法，其公式为：
(2)Kullback-Leibler distance(KLD，KL散度)方法，其公式为：
上述公式中，P(wj|C)表示视觉单词wj在整个数据集C中出现的频率，所述整个数据集C为当前检索系统针对输入的若干个文本查询请求返回的检索结果集合，也可以使用典型的Web353数据集或典型的MSRA-MM_V1.0数据集等；score(wj)值越大，检索图片列表L中的视觉单词wj越容易从整个数据集C中区分出来。
3)视觉查询Q'生成
本发明实施例中，经过上述步骤1)-2)，已经能够选择出典型的视觉单词；本步骤可按照视觉单词wj在检索图片列表L中的重要性得分从大到小的顺序进行排序，选择排名前K个视觉单词来构建视觉查询Q'，表示为：
Q'＝{w'k,k＝1,2,…,K}
步骤12、将重建的视觉查询Q'输入至一个基于内容的图像检索系统，获得一个对应的检索图片列表L'。
从检索图片列表L重建出视觉查询Q'后，本发明实施例将计算重建误差，即基于用户输入文本查询Q与视觉查询Q'之间的距离，来预测查询性能，这里主要基于如下假设：对于一个容易的查询，Q和Q'之间的距离比较小，反之亦然。
本发明的目的是计算用户输入文本查询Q和视觉查询Q'之间的距离，但是存在一个难题，Q和Q'分别处于文本和视觉领域，不能直接计算两者的差异。为了解决这个问题，本发明将重建查询Q'输入到一个基于内容的图像检索系统，得到一个检索返回图片列表L'。具体来说：本发明实施例使用查询似然模型来构建基于内容的图像检索，所述查询似然模型用于估计图片Ii与视觉查询Q'之间的相关性概率，根据贝叶斯公式，该查询似然模型表示为：
其中，P(Ii)表示图片Ii与视觉查询Q'相关的先验概率，由于P(Q')(视觉查询Q'的先验概率)对所有图片都一样，因此本发明实施例将其忽略。
一般来说，由于没有任何先验信息，整个数据集C中的每张图片都应该含有相同的P(Ii)值。但是在本发明中，通过基于文本的图像检索系统返回的检索图片列表L为我们提供了先验信息，从而本发明不考虑那些没有在检索图片列表L中出现的图片。
本发明实施例中，将重建的视觉查询Q'输入至上述基于内容的图像检索系统中，获得检索图片列表L中图片Ii与视觉查询Q'之间的相关性概率P(Ii|Q')，按照相关性概率从高到低的顺序将检索图片列表L中的N张图片进行排序，获得一个对应的检索图片列表L'，表示为：
L'＝{I'1,I'2,…,I'N}。
其中，I'i表示P(Ii|Q')值第i高的图片。
步骤13、分别建立检索图片列表L与L'的语言模型，并计算两个语言模型之间的KL距离，将该距离值作为本次检索结果的质量评价结果。
本发明实施例中，通过计算检索图片列表L与L'间的距离来近似文本查询Q和视觉查询Q'间的距离；具体来说：
首先，建立检索图片列表L与L'的语言模型，表示为：
其中，LT与L'T分别对应的表示检索图片列表L与L'中前T张图片的截断列表，本发明实施例中，引进截断值T的原因为：1)在不同的截断值T，查询性能值不同；2)检索性能真实值衡量方法，比如说AP(平均准确率)和NDCG(归一化折损累计增益)，都是根据截断值进行定义的，即AP@T和NDCG@T；P(w'k|I'i)表示视觉单词w'k在图片I'i中出现的频率，P(wj|Ii)表示视觉单词wj在图片Ii中出现的频率，P(Ii|LT)表示图片Ii在检索图片列表LT中的重要性，P(I'i|L'T)表示图片I'i在检索图片列表L'T中的重要性；
P(Ii|LT)与P(I'i|L'T)的估算方法可采用下述任意一种：
(1)Equal Weight(权重均衡)方法，其公式为：
(2)Ranking Position Weight(权重随位置排序变化)，其公式为：
然后，计算检索图片列表L与L'的语言模型之间的KL距离，并将该距离值作为本次检索结果的质量评价结果，所述KL距离的计算公式为：
另一方面，还针对本发明实施例的上述方案进行了多次实验，其结果请参见表1-表4，以及附图2；表中与图2标记的含义如下：Kendall’sτ为肯德尔系数，Pearson’s r为皮尔逊系数，Spearman’sρ为斯皮尔曼系数；上面三种相关系数衡量方法，是评价查询性能预测方法的公认标准，它们的取值范围都在[-1,1]之间，1表示最佳正相关，-1表示完全负相关，0表示完全不相关，系数值越大表示相关程度越好，说明两者之间的耦合也越好；P-value为显著性值，Original L表示初始检索结果列表，Improved L*表示重排序的检索结果列表；QReCE表示查询重建误差方法(即本发明的方法)；eq-QReCE表示权重均衡的查询重建误差方法，w-QReCE为权重随排序位置变化的查询重建误差方法(这两个方法对应步骤13中的两个重要性计算公式)；VCS表示视觉清晰度得分，COS表示一致性得分，RS表示代表性得分，ICS表示内部一致性得分。
具体来说：
1)基于相关性系数进行了两次对比实验：基于CHI和基于KL的eq-QReCE方法相关性系数对比结果，其结果请参见表1；以及，基于步骤11中原始图片列表L和基于重排序得到的增强图片列表L*的eq-QReCE方法相关性系数对比结果，其结果请参见表2。从表1的对比结果可以发现，基于CHI的eq-QReCE方法优于基于KL的方法。从表2可以发现，通过对初始排序列表L进行改进，可以得到更好的查询性能预测效果。
表1基于CHI和基于KL的eq-QReCE方法相关性系数对比结果
表2基于原始图片列表和基于重排序得到的增强图片列表的eq-QReCE方法相关性系数对比结果
2)利用本发明的方案与现有技术的方案进行了对比。对比结果如表3-表4。其中，表3为基于典型的Web353数据集进行的对比，表4为基于典型的MSRA-MM_V1.0数据集进行的对比。表3和表4的数据表明，本发明的相关系数高于其它任何对比方法，可以得出本发明方法具有更好的查询性能预测效果。
表3基于典型的Web353数据集的对比结果
表4基于典型的MSRA-MM_V1.0数据集的对比结果
另外，基于eq-QreCE方法相关性系数随着K值变化的曲线图如图2所示。从图2的变化曲线可以看出，为了使本发明方法eq-QReCE具有不错的预测性能，K值得选择不能太大，也不能太小，本发明K值设置为300左右。
本发明实施例的优点和积极效果如下：
(1)本发明提出了一种全新的基于查询重建误差的图像检索结果质量评价的方法；相较于以往的大多数方法，该算法首次尝试研究用户输入文本查询和检索返回图片两者之间的相互关系，然后利用这种潜在关系来进行评估检索结果质量，在典型数据集WEB353和MSRA-MM_V1.0都体现出其有效性。
(2)本发明提出了一种视觉查询重建方法，可以有效地从检索返回图片列表中提炼出视觉主题。
(3)本发明提出了一种查询重建误差计算方法，巧妙地解决了用户输入文本查询和视觉重建查询两者之间存在的语义鸿沟问题。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例可以通过软件实现，也可以借助软件加必要的通用硬件平台的方式来实现。基于这样的理解，上述实施例的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明披露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求书的保护范围为准。

Claims (5)

1.一种高效的图像检索结果质量评价方法，其特征在于，该方法包括：
根据输入的文本查询Q返回的检索图片列表L重建一个视觉查询Q'来表征返回的检索图片列表L所蕴含的视觉主题；
将重建的视觉查询Q'输入至一个基于内容的图像检索系统，获得一个对应的检索图片列表L'；
分别建立检索图片列表L与L'的语言模型，并计算两个语言模型之间的KL距离，将该距离值作为本次检索结果的质量评价结果。
2.根据权利要求1所述的方法，其特征在于，所述根据输入的文本查询Q返回的检索图片列表L重建一个视觉查询Q'来表征返回的检索图片列表L所传达的视觉主题包括：
首先，采用视觉词袋模型和向量空间模型将检索图片列表L＝{I1,I2,...,IN}中的图片Ii表示成一组向量，包括：采用密集采样尺度不变特征转换技术Dense SIFT提取每一图片Ii的SIFT特征；然后，使用聚类算法K-means将得到的所有SIFT特征聚成包含S个视觉单词的码本；按照最近邻准则将所有SIFT特征量化到对应的视觉单词上；再使用TF权重机制来衡量每个视觉单词在每张图片中的重要性；最后，采用向量空间模型将图片Ii表示一组向量，其表达式为：xi中每维向量通过下式进行计算：
<mrow> <msubsup> <mi>x</mi> <mi>j</mi> <mi>i</mi> </msubsup> <mo>=</mo> <msub> <mi>tf</mi> <mi>j</mi> </msub> <mo>,</mo> <mi>j</mi> <mo>=</mo> <mn>1</mn> <mo>,</mo> <mn>2</mn> <mo>,</mo> <mo>...</mo> <mo>,</mo> <mi>S</mi> </mrow>
其中，tfj表示视觉单词wj在图片Ii中出现的频率；
然后，构建一个用于表示视觉单词wj在检索图片列表L中的概率分布的语言模型，表示为：
P(wj|L)＝∑P(wj|Ii)P(Ii|L)；
其中，P(wj|Ii)表示视觉单词wj在图片Ii中出现的频率，所述P(wj|Ii)为tfj的归一化表示；P(Ii|L)表示图片Ii在检索图片列表L中的重要性，排名前v的图片具有相同的重要性表示为
再根据构建的语言模型估算每一视觉单词wj在检索图片列表L中的重要性得分，其公式为：
<mrow> <mi>s</mi> <mi>c</mi> <mi>o</mi> <mi>r</mi> <mi>e</mi> <mrow> <mo>(</mo> <msub> <mi>w</mi> <mi>j</mi> </msub> <mo>)</mo> </mrow> <mo>=</mo> <mfrac> <mrow> <mi>P</mi> <mrow> <mo>(</mo> <mrow> <msub> <mi>w</mi> <mi>j</mi> </msub> <mo>|</mo> <mi>L</mi> </mrow> <mo>)</mo> </mrow> <mo>-</mo> <mi>P</mi> <mrow> <mo>(</mo> <mrow> <msub> <mi>w</mi> <mi>j</mi> </msub> <mo>|</mo> <mi>C</mi> </mrow> <mo>)</mo> </mrow> </mrow> <mrow> <mi>P</mi> <mrow> <mo>(</mo> <mrow> <msub> <mi>w</mi> <mi>j</mi> </msub> <mo>|</mo> <mi>C</mi> </mrow> <mo>)</mo> </mrow> </mrow> </mfrac> <mo>;</mo> </mrow>
或者，
其中，P(wj|C)表示视觉单词wj在整个数据集C中出现的频率；
最后，按照视觉单词wj在检索图片列表L中的重要性得分从大到小的顺序进行排序，选择排名前K个视觉单词来构建视觉查询Q'，表示为：
Q'＝{w'k,k＝1,2,...,K}。
3.根据权利要求1所述的方法，其特征在于，该方法还包括构建一个基于内容的图像检索系统，其包括：
使用查询似然模型来构建基于内容的图像检索，所述查询似然模型用于估计图片Ii与视觉查询Q'之间的相关性概率，该查询似然模型表示为：
<mrow> <mi>P</mi> <mrow> <mo>(</mo> <msub> <mi>I</mi> <mi>i</mi> </msub> <mo>|</mo> <msup> <mi>Q</mi> <mo>&amp;prime;</mo> </msup> <mo>)</mo> </mrow> <mo>=</mo> <mfrac> <mrow> <mi>P</mi> <mrow> <mo>(</mo> <msub> <mi>I</mi> <mi>i</mi> </msub> <mo>)</mo> </mrow> </mrow> <mrow> <mi>P</mi> <mrow> <mo>(</mo> <msup> <mi>Q</mi> <mo>&amp;prime;</mo> </msup> <mo>)</mo> </mrow> </mrow> </mfrac> <mi>P</mi> <mrow> <mo>(</mo> <msup> <mi>Q</mi> <mo>&amp;prime;</mo> </msup> <mo>|</mo> <msub> <mi>I</mi> <mi>i</mi> </msub> <mo>)</mo> </mrow> <mo>=</mo> <mfrac> <mrow> <mi>P</mi> <mrow> <mo>(</mo> <msub> <mi>I</mi> <mi>i</mi> </msub> <mo>)</mo> </mrow> </mrow> <mrow> <mi>P</mi> <mrow> <mo>(</mo> <msup> <mi>Q</mi> <mo>&amp;prime;</mo> </msup> <mo>)</mo> </mrow> </mrow> </mfrac> <munder> <mo>&amp;Sigma;</mo> <mrow> <msub> <msup> <mi>w</mi> <mo>&amp;prime;</mo> </msup> <mi>k</mi> </msub> <mo>&amp;Element;</mo> <msup> <mi>Q</mi> <mo>&amp;prime;</mo> </msup> </mrow> </munder> <mi>P</mi> <mo>(</mo> <mrow> <msub> <msup> <mi>w</mi> <mo>&amp;prime;</mo> </msup> <mi>k</mi> </msub> <mo>|</mo> <msub> <mi>I</mi> <mi>i</mi> </msub> </mrow> <mo>)</mo> <mo>.</mo> </mrow>
4.根据权利要求1或3所述的方法，其特征在于，所述获得一个对应的检索图片列表L'包括：
将重建的视觉查询Q'输入至一个基于内容的图像检索系统中，获得检索图片列表L中图片Ii与视觉查询Q'之间的相关性概率，按照相关性概率从高到低的顺序将检索图片列表L中的N张图片进行排序，获得一个对应的检索图片列表L'，表示为：
L'＝{I'1,I'2,...,I'N}。
5.根据权利要求4所述的方法，其特征在于，所述分别建立检索图片列表L与L'的语言模型，并计算两个语言模型之间的KL距离，将该距离值作为本次检索结果的质量评价结果包括：
建立检索图片列表L与L'的语言模型，表示为：
<mrow> <mi>P</mi> <mrow> <mo>(</mo> <msub> <mi>w</mi> <mi>j</mi> </msub> <mo>|</mo> <msub> <mi>L</mi> <mi>T</mi> </msub> <mo>)</mo> </mrow> <mo>=</mo> <munder> <mo>&amp;Sigma;</mo> <mrow> <msub> <mi>I</mi> <mi>i</mi> </msub> <mo>&amp;Element;</mo> <msub> <mi>L</mi> <mi>T</mi> </msub> </mrow> </munder> <mi>P</mi> <mrow> <mo>(</mo> <msub> <mi>w</mi> <mi>j</mi> </msub> <mo>|</mo> <msub> <mi>I</mi> <mi>i</mi> </msub> <mo>)</mo> </mrow> <mi>P</mi> <mrow> <mo>(</mo> <msub> <mi>I</mi> <mi>i</mi> </msub> <mo>|</mo> <msub> <mi>L</mi> <mi>T</mi> </msub> <mo>)</mo> </mrow> <mo>;</mo> </mrow>
<mrow> <mi>P</mi> <mrow> <mo>(</mo> <msub> <msup> <mi>w</mi> <mo>&amp;prime;</mo> </msup> <mi>k</mi> </msub> <mo>|</mo> <msub> <msup> <mi>L</mi> <mo>&amp;prime;</mo> </msup> <mi>T</mi> </msub> <mo>)</mo> </mrow> <mo>=</mo> <munder> <mo>&amp;Sigma;</mo> <mrow> <msub> <msup> <mi>I</mi> <mo>&amp;prime;</mo> </msup> <mi>i</mi> </msub> <mo>&amp;Element;</mo> <msub> <msup> <mi>L</mi> <mo>&amp;prime;</mo> </msup> <mi>T</mi> </msub> </mrow> </munder> <mi>P</mi> <mrow> <mo>(</mo> <msub> <msup> <mi>w</mi> <mo>&amp;prime;</mo> </msup> <mi>k</mi> </msub> <mo>|</mo> <msub> <msup> <mi>I</mi> <mo>&amp;prime;</mo> </msup> <mi>i</mi> </msub> <mo>)</mo> </mrow> <mi>P</mi> <mrow> <mo>(</mo> <msub> <msup> <mi>I</mi> <mo>&amp;prime;</mo> </msup> <mi>i</mi> </msub> <mo>|</mo> <msub> <msup> <mi>L</mi> <mo>&amp;prime;</mo> </msup> <mi>T</mi> </msub> <mo>)</mo> </mrow> <mo>;</mo> </mrow>
其中，LT与L'T分别对应的表示检索图片列表L与L'中前T张图片的截断列表，P(w'k|I'i)表示视觉单词w'k在图片I'i中出现的频率，P(wj|Ii)表示视觉单词wj在图片Ii中出现的频率，P(Ii|LT)表示图片Ii在检索图片列表LT中的重要性，P(I'i|L'T)表示图片I'i在检索图片列表L'T中的重要性；
P(Ii|LT)与P(I'i|L'T)的估算方法为：
<mrow> <mtable> <mtr> <mtd> <mrow> <mi>P</mi> <mrow> <mo>(</mo> <mrow> <msub> <mi>I</mi> <mi>i</mi> </msub> <mo>|</mo> <msub> <mi>L</mi> <mi>T</mi> </msub> </mrow> <mo>)</mo> </mrow> <mo>=</mo> <mfenced open = "{" close = ""> <mtable> <mtr> <mtd> <mrow> <mn>1</mn> <mo>/</mo> <mi>T</mi> <mo>,</mo> </mrow> </mtd> <mtd> <mrow> <msub> <mi>I</mi> <mi>i</mi> </msub> <mo>&amp;Element;</mo> <msub> <mi>L</mi> <mi>T</mi> </msub> </mrow> </mtd> </mtr> <mtr> <mtd> <mrow> <mn>0</mn> <mo>,</mo> </mrow> </mtd> <mtd> <mrow> <mi>o</mi> <mi>t</mi> <mi>h</mi> <mi>e</mi> <mi>r</mi> <mi>s</mi> </mrow> </mtd> </mtr> </mtable> </mfenced> </mrow> </mtd> </mtr> <mtr> <mtd> <mrow> <mi>P</mi> <mrow> <mo>(</mo> <mrow> <msub> <msup> <mi>I</mi> <mo>&amp;prime;</mo> </msup> <mi>i</mi> </msub> <mo>|</mo> <msub> <msup> <mi>L</mi> <mo>&amp;prime;</mo> </msup> <mi>T</mi> </msub> </mrow> <mo>)</mo> </mrow> <mo>=</mo> <mfenced open = "{" close = ""> <mtable> <mtr> <mtd> <mrow> <mn>1</mn> <mo>/</mo> <mi>T</mi> <mo>,</mo> </mrow> </mtd> <mtd> <mrow> <msub> <msup> <mi>I</mi> <mo>&amp;prime;</mo> </msup> <mi>i</mi> </msub> <mo>&amp;Element;</mo> <msub> <msup> <mi>L</mi> <mo>&amp;prime;</mo> </msup> <mi>T</mi> </msub> </mrow> </mtd> </mtr> <mtr> <mtd> <mrow> <mn>0</mn> <mo>,</mo> </mrow> </mtd> <mtd> <mrow> <mi>o</mi> <mi>t</mi> <mi>h</mi> <mi>e</mi> <mi>r</mi> <mi>s</mi> </mrow> </mtd> </mtr> </mtable> </mfenced> </mrow> </mtd> </mtr> </mtable> <mo>;</mo> </mrow>
或者，
计算检索图片列表L与L'的语言模型之间的KL距离，并将该距离值作为本次检索结果的质量评价结果，所述KL距离的计算公式为：
d(L,L')@T＝DKL{P(wj|LT)|P(wj|L'T)}。
CN201410685879.8A 2014-11-24 2014-11-24 一种高效的图像检索结果质量评价方法 Active CN104361104B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201410685879.8A CN104361104B (zh) 2014-11-24 2014-11-24 一种高效的图像检索结果质量评价方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201410685879.8A CN104361104B (zh) 2014-11-24 2014-11-24 一种高效的图像检索结果质量评价方法

Publications (2)

Publication Number Publication Date
CN104361104A CN104361104A (zh) 2015-02-18
CN104361104B true CN104361104B (zh) 2018-01-30

Family

ID=52528364

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410685879.8A Active CN104361104B (zh) 2014-11-24 2014-11-24 一种高效的图像检索结果质量评价方法

Country Status (1)

Country Link
CN (1) CN104361104B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101388022A (zh) * 2008-08-12 2009-03-18 北京交通大学 一种融合文本语义和视觉内容的Web人像检索方法
JP2009251763A (ja) * 2008-04-02 2009-10-29 Nec Corp 画像検索システム、画像検索方法、及び画象検索装置用プログラム
JP2010250637A (ja) * 2009-04-17 2010-11-04 Seiko Epson Corp 画像サーバー、画像検索システム、画像検索方法および画像管理方法
CN103685923A (zh) * 2012-09-14 2014-03-26 巴法络股份有限公司 图像信息处理系统、图像信息处理装置以及方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009251763A (ja) * 2008-04-02 2009-10-29 Nec Corp 画像検索システム、画像検索方法、及び画象検索装置用プログラム
CN101388022A (zh) * 2008-08-12 2009-03-18 北京交通大学 一种融合文本语义和视觉内容的Web人像检索方法
JP2010250637A (ja) * 2009-04-17 2010-11-04 Seiko Epson Corp 画像サーバー、画像検索システム、画像検索方法および画像管理方法
CN103685923A (zh) * 2012-09-14 2014-03-26 巴法络股份有限公司 图像信息处理系统、图像信息处理装置以及方法

Also Published As

Publication number Publication date
CN104361104A (zh) 2015-02-18

Similar Documents

Publication Publication Date Title
KR101721338B1 (ko) 검색 엔진 및 그의 구현 방법
Nie et al. Oracle in image search: a content-based approach to performance prediction
US8452794B2 (en) Visual and textual query suggestion
US9176988B2 (en) Image relevance model
CN105183833B (zh) 一种基于用户模型的微博文本推荐方法及其推荐装置
Zheng et al. $\mathcal {L} _p $-Norm IDF for Scalable Image Retrieval
CN108334592B (zh) 一种基于内容与协同过滤相结合的个性化推荐方法
US20120191745A1 (en) Synthesized Suggestions for Web-Search Queries
CN107066589B (zh) 一种基于综合知识的实体语义和词频的排序方法及装置
AU2015299050A1 (en) Methods and systems for mapping data items to sparse distributed representations
CN110717038B (zh) 对象分类方法及装置
CN103617157A (zh) 基于语义的文本相似度计算方法
CN102024056A (zh) 利用计算机的基于多媒体分析的新闻人物检索方法
Bailey et al. Mining historic query trails to label long and rare search engine queries
CN110990533B (zh) 确定查询文本所对应标准文本的方法及装置
CN104331513A (zh) 一种高效的图像检索性能预测方法
JP5965260B2 (ja) 文書分類プログラム及び文書分類装置
CN108717407A (zh) 实体向量确定方法及装置，信息检索方法及装置
CN110334356A (zh) 文章质量的确定方法、文章筛选方法、以及相应的装置
US20150169740A1 (en) Similar image retrieval
Harvey et al. Improving social bookmark search using personalised latent variable language models
WO2013107031A1 (zh) 基于评论信息确定视频质量参数的方法、装置和系统
CN114758742A (zh) 病历信息处理方法、装置、电子设备及存储介质
Luan et al. Video summarization based on nonnegative linear reconstruction
CN112417845A (zh) 一种文本评价方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant