CN105426529B - 基于用户搜索意图定位的图像检索方法及系统 - Google Patents

基于用户搜索意图定位的图像检索方法及系统 Download PDF

Info

Publication number
CN105426529B
CN105426529B CN201510933574.9A CN201510933574A CN105426529B CN 105426529 B CN105426529 B CN 105426529B CN 201510933574 A CN201510933574 A CN 201510933574A CN 105426529 B CN105426529 B CN 105426529B
Authority
CN
China
Prior art keywords
image
retrieval
classification
user
text
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201510933574.9A
Other languages
English (en)
Other versions
CN105426529A (zh
Inventor
郭克华
张瑞芳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Central South University
Original Assignee
Central South University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Central South University filed Critical Central South University
Priority to CN201510933574.9A priority Critical patent/CN105426529B/zh
Publication of CN105426529A publication Critical patent/CN105426529A/zh
Application granted granted Critical
Publication of CN105426529B publication Critical patent/CN105426529B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/5846Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using extracted text

Abstract

本发明公开了一种基于用户搜索意图定位的图像检索方法及系统,该方法包括步骤:根据用户输入的检索关键字,使用任意一个图像检索平台进行检索获取图像结果集;根据图像结果集中的图像的文本信息,对图像结果集中的图像进行分类后返回给用户,引导用户在分类后的图像中选取一个类别中的至少一个图像;将被选取的图像及与被选取的图像相关的文本信息作为检索条件,进行二次检索。该系统包括一次检索模块、分类模块、用户交互模块和二次检索模块。本发明通过较小的计算量、消耗更少的时间达到较高精确度的效果,节省了计算资源,提高了计算效率。

Description

基于用户搜索意图定位的图像检索方法及系统
技术领域
本发明涉及数据库检索领域,尤其涉及一种基于用户搜索意图定位的图像检索方法及系统。
背景技术
网络图像的爆炸式增长,衍生了很多图像检索方法。例如,用户可使用如谷歌(Google)和必应(Bing)等搜索引擎来从互联网上检索图像。
目前的图像检索方法主要有以下几种:
①基于关键字的检索方法:将查询关键字与图像数据库中存储的描述关键字来进行匹配,并返回匹配成功的图像。这种方法广泛应用于传统的图像检索中。基于此方法的改进有,找到查询关键字的同义词或者具有与之相关性的文本来检索,或者为用户提供更加详细的文本关键字的选择项。
②基于图像的检索方法:通过提取图像的固有特征(颜色、纹理等图像特征)来进行检索。当用户上传一张图像后,利用基于内容的图像检索(CBIR,Content-based imageretrieval,基于图像内容的检索——改为:基于内容的图像检索),图像搜索引擎可以检索出与之相似的图像。
③基于语义的检索方法:将图像的本体描述作为语义标注,并将这些标注保存到数据库中,搜索引擎将会基于这些标注来进行图像检索。图像的本体描述是指图像作为一个对象,其本身包含的特征和属性。
以上三类检索方法分别存在以下缺陷:
对于方法①,需要监管培训并消耗大量的计算资源,此外,它并不能保证在图像的扩展列表中包含用户的理想的关键字。
对于方法②,基于内容的图像检索方法中,提取图像特征需要消耗计算资源,而寻找图像特征提取的精确度和计算时间之间的一个平衡点尤为重要。此外,这种方法忽略了对用户的意图的理解,导致无法搜索到满足用户意图的相似结果。
对于方法③,在基于语义的方法中,对图像进行标注工作量大,同时,无法保证所有图像都被标注正确,此外,如果图像被复制或移动到其它位置,重建它们的语义信息是一个非常复杂的工作。
发明内容
本发明目的在于提供一种基于用户搜索意图定位的图像检索方法及系统,以解决网络图像搜索技术消耗大且不能准确贴合用户搜索意图的技术问题。
为实现上述目的,本发明提供了一种基于用户搜索意图定位的图像检索方法,包括以下步骤:
S2:根据用户输入的检索关键字,使用任意一个图像检索平台进行检索获取图像结果集;
S4:根据图像结果集中的图像的文本信息,对图像结果集中的图像进行分类;
S6:将分类后的图像返回给用户,并引导用户在分类后的图像中选取一个类别中的至少一个图像;
S8:将被选取的图像及与被选取的图像相关的文本信息作为检索条件,进行二次检索。
作为本发明的方法的进一步改进:
对图像结果集中的图像进行分类,包括以下步骤:
S401:根据图像结果集中的图像的文本信息,将每个图像在维基百科分类索引中所属的二级类目作为图像的类别;
S402:并将图像的类别对应的所有三级类目作为类别的同义词保存到关系型数据库中。
步骤S401,包括以下步骤:
S4011:根据图像结果集中的图像的文本信息,建立如下的信息矩阵:
其中,N表示图像结果集中的图像的图像数目,Ii表示图像结果集中的一张图像,其中0<=i<=N,Ti表示图像的文本信息,其中0<=i<=N,Ci表示与图像相关的类别名,其中0<=i<=N;
S4012:根据维基百科分类索引定义分类图G,遍历图像结果集中的N个图像,将图像中图像的文本信息中包含的每个词语或短语作为一个文本结点,对于每个图像中的每个文本结点,如果文本结点与分类图G中的结点相匹配,则计算该文本结点出现在图像的文本信息Ti中的频率,最后将出现频率最大的文本结点所对应的分类图G中的分类名称作为该图像的分类。
步骤S8中的与被选取的图像相关的文本信息,包括:被选取的图像的类别名称、用户输入的检索关键字和\或HTML中的图像描述信息。
步骤S8中,进行二次检索,包括以下步骤:
S801:根据与被选取的图像相关的文本信息的文本内容,在图像结果集中被选取的图像所在的分类中进行基于文本的图像检索;
S802:提取被选取的图像的视觉特征,采用感知哈希算法计算被选取的图像以及图像结果集中被选取的图像所在的分类中的图像的图像相似度,在图像结果集中被选取的图像所在的分类中进行图像检索。
步骤S802中,采用感知哈希算法计算被选取的图像以及图像结果集中被选取的图像所在的分类中的图像的图像相似度,包括以下步骤:
S8021:将图像转化为灰度图像,转化公式如下:
Gray=R×0.299+G×0.587+B×0.114 (1)
其中,Gray表示灰度值,R、G和B分别表示原始像素中的红、绿和蓝的分量;
S8022:将灰度图像分为8×8块,将每个块的灰度设置为该块的灰度平均值,使用Gray[8,8]矩阵来存储每个块的灰度值,生成一个感知哈希矩阵H[8,8],满足以下条件:
其中,avg是整张灰度图像的灰度平均值,Gray[i,j]是图像被划分后,第i行、第j列个块的灰度值,others是指第i行、第j列个块的灰度值小于avg时的情况,H[i,j]是由第i行、第j列个块的灰度值得到的感知哈希矩阵H[8,8]的第i行、第j列个元素的值,并满足以下条件:
其中,M是指图像划分后的行数且M=8,N是指图像划分后的列数且N=8,将获得的64位的二进制数值作为图像的感知哈希值;
S8023:采用步骤S8021至步骤S8022分别提取被选取的图像以及检索结果所对应的图像的感知哈希值,采用按位异或方式计算两张图像的相似度,图像H1和图像H2的相似度p(H1,H2)可以表示为位0的异或结果的百分比,公式如下:
其中,C0是一个计算0异或结果的函数。
步骤S801完成后,在步骤S801所获得的结果集中,采用步骤S802进行检索排序,将排序后的结果集返回给用户。
作为一个总的技术构思,本发明还提供了一种基于用户搜索意图定位的图像检索系统,包括:
一次检索模块,用于根据用户输入的检索关键字,使用任意一个图像检索平台进行检索获取图像结果集;
分类模块,用于根据图像结果集中的图像的文本信息,对图像结果集中的图像进行分类;
用户交互模块,用于将分类后的图像返回给用户,并引导用户在分类后的图像中选取一个类别中的至少一个图像;
二次检索模块,用于将被选取的图像及与被选取的图像相关的文本信息作为检索条件,进行二次检索。
作为本发明的系统的进一步改进:
二次检索模块包括:
文本检索单元,用于根据与被选取的图像相关的文本信息的文本内容,在图像结果集中被选取的图像所在的分类中进行基于文本的图像检索;
图像检索单元,用于提取被选取的图像的视觉特征,采用感知哈希算法计算被选取的图像以及图像结果集中被选取的图像所在的分类中的图像的图像相似度,在图像结果集中被选取的图像所在的分类中进行图像检索。
系统还包括排序模块,用于在文本检索单元完成后,在文本检索单元所获得的结果集中,采用图像检索单元进行检索排序,将排序后的结果集返回给用户。
本发明具有以下有益效果:
1、本发明的基于用户搜索意图定位的图像检索方法,采用任意一个图像检索平台进行检索获取图像结果集,可以首先使用户获得全面的检索结果;然后根据图像的文本信息对图像结果集中的图像进行分类,并将分类结果显示给用户进行选择,通过用户对分类的选择来大致获取用户的检索意图,进行文本和图像相结合的二次检索;用户只需进行一次额外的反馈,就可以以此来获取能够反映用户意图的检索结果。因而,本发明能通过较小的计算量、消耗更少的时间达到较高精确度的效果,节省了计算资源,提高了计算效率。
2、本发明的基于用户搜索意图定位的图像检索方法,采用简化的感知哈希算法来在基于图像而进行图像检索的过程中,计算图像之间的相似度,可以显著减少二次检索的运算量,提高检索系统的处理速度,并能进一步提高检索的精度。
3、本发明的基于用户搜索意图定位的图像检索系统,采用一次检索模块进行广泛检索,采用分类模块对广泛检索获得的图像结果集进行分类,然后通过用户交互模块引导用户进行一次反馈,根据反馈的结果进行二次检索,可以以增加较小的计算量,使得检索精度获得较大的提高。
除了上面所描述的目的、特征和优点之外,本发明还有其它的目的、特征和优点。下面将参照附图,对本发明作进一步详细的说明。
附图说明
构成本申请的一部分的附图用来提供对本发明的进一步理解,本发明的示意性实施例及其说明用于解释本发明,并不构成对本发明的不当限定。在附图中:
图1是本发明优选实施例的基于用户搜索意图定位的图像检索方法的流程示意图;
图2是本发明优选实施例的步骤S802的图像处理过程示意图;
图3是本发明优选实施例的维基百科分类索引的类目分级示意图;
图4是本发明优选实施例的基于用户搜索意图定位的图像检索的结构图。
具体实施方式
以下结合附图对本发明的实施例进行详细说明,但是本发明可以由权利要求限定和覆盖的多种不同方式实施。
图1是本发明实施例中基于用户搜索意图定位的图像检索方法的流程示意图。参见图1,本发明的一种基于用户搜索意图定位的图像检索方法,包括以下步骤:
S2:根据用户输入的检索关键字,使用任意一个图像检索平台进行检索获取图像结果集;
S4:根据图像结果集中的图像的文本信息,对图像结果集中的图像进行分类;
S6:将分类后的图像返回给用户,并引导用户在分类后的图像中选取一个类别中的至少一个图像;
S8:将被选取的图像及与被选取的图像相关的文本信息作为检索条件,进行二次检索。
以上步骤,采用任意一个图像检索平台进行检索获取图像结果集,可以首先使用户获得全面的检索结果;然后根据图像的文本信息对图像结果集中的图像进行分类,并将分类结果显示给用户进行选择,通过用户对分类的选择来大致获取用户的检索意图,进行文本和图像相结合的二次检索;用户只需进行一次额外的反馈,就可以以此来获取能够反映用户意图的检索结果。因而,本发明能通过较小的计算量、消耗更少的时间达到较高精确度的效果,节省了计算资源,提高了计算效率。
在实际应用中,在上述步骤的基础上,本发明的基于用户搜索意图定位的图像检索方法还可增加以下步骤进行优化:
S2:根据用户输入的检索关键字,使用任意一个图像检索平台进行检索获取图像结果集。第一次检索的图像检索平台可以在现有的众多检索平台中任选一个。
S4:根据图像结果集中的图像的文本信息,对图像结果集中的图像进行分类。图像的文本信息包括两个部分:(1)当从图像检索平台获取图像结果集的网页时,我们可以利用常见的一些技术,如网络爬虫技术,获取该网页中的文字信息,我们可以通过文档分析来提取其中出现频率高的词语或其他信息。这里的其他信息,我们在这里举一个例子来说明,比如,当用百度的识图平台进行搜索时,在搜索结果页面,会提供“对该图片的最佳猜测:XXX”。该“XXX”和上述的出现频率高的词语可视为具有代表性的文本信息。它们可以作为“文本信息”的一部分;(2)当从图像检索平台获取图像结果集网页时,也可以获取并分析该网页的HTML中的标签,例如,从HTML中提取出“img”标签的“src”属性,从而可以获取该图像的文件位置,通过获取该位置的信息可以得到更多的关于图像的文本信息,这些信息也是具有代表性的,作为文本信息的另一个组成部分。步骤S4的具体步骤如下:
S401:根据图像结果集中的图像的文本信息,将每个图像在维基百科分类索引(参见图3)中所属的二级类目(或者二级深度/二级类目深度)作为图像的类别。维基百科分类索引采用的语言可以是中文或英文或其他语言,可以利用字典库将中文对应的英文或其他语言进行关联。具体包括以下步骤:
S4011:根据图像结果集中的图像的文本信息,建立如下的信息矩阵:
其中,N表示图像结果集中的图像的图像数目,Ii表示图像结果集中的一张图像,其中0<=i<=N;Ti表示图像的文本信息,其中0<=i<=N;Ci表示与图像相关的类别名,其中0<=i<=N。
S4012:根据维基百科分类索引定义分类图G(参见图3),遍历图像结果集中的N个图像(遍历分类图G时,采用的是广度优先算法),将图像中图像的文本信息中包含的每个词语或短语作为一个文本结点,对于每个图像中的每个文本结点,如果文本结点与分类图G中的结点相匹配,则计算该文本结点出现在图像的文本信息Ti中的频率,最后将出现频率最大的文本结点所对应的分类图G中的分类名称作为该图像的分类。
S402:并将图像的类别对应的所有三级类目作为类别的同义词保存到关系型数据库中。关系型数据库中保存了二级索引与对应的三级索引的相应名称以及关系,参见图3,即维基百科索引的层次结构图,既包括该层次结构图,也包括这种层次关系,这种关系可抽象出来,定义为分类图G。
S6:将分类后的图像返回给用户,并引导用户在分类后的图像中选取一个类别中的至少一个图像。实际应用时,一些用户可能会希望选择多张较满意的图片,那么,他们可以单击选取多张,服务器会对这些选取的图像执行各自的二次检索过程。若用户对该页中的所有图像都不满意,他可以选择“下一页”查看其他图像,处理过程同上。
S8:将被选取的图像及与被选取的图像相关的文本信息作为检索条件,进行二次检索。
与被选取的图像相关的文本信息,包括:被选取的图像的类别名称、用户输入的检索关键字和\或HTML中的图像描述信息(HTML,Hyper Text Markup Language,超文本标记语言,HTML中的图像描述信息是指HTML中的“alt”字段属性信息)。其中,类别名称,即用户已选择图像所属类别,如果图像属于“其他”类型,则该字段设为空值;用户输入的检索关键字,若用户是通过上传图像进行检索的,则该字段为空值;HTML中的图像描述信息即图像的“alt”属性字段,在主搜索页面的源代码中,图像可能会在“alt”属性中设置图像标签来描述图像信息,若无,则该字段设为空值。
二次检索的具体步骤如下:
S801:根据与被选取的图像相关的文本信息的文本内容,在图像结果集中被选取的图像所在的分类中进行基于文本的图像检索。
S802:提取被选取的图像的视觉特征,采用感知哈希算法计算被选取的图像以及图像结果集中被选取的图像所在的分类中的图像的图像相似度,在图像结果集中被选取的图像所在的分类中进行图像检索。参见图2,图像相似度计算的具体步骤如下:
S8021:将图像转化为灰度图像,转化公式如下:
Gray=R×0.299+G×0.587+B×0.114 (1)
其中,Gray表示灰度值,R、G和B分别表示原始像素中的红、绿和蓝的分量。
S8022:将灰度图像分为8×8块,将每个块的灰度设置为该块的灰度平均值,使用Gray[8,8]矩阵来存储每个块的灰度值,生成一个感知哈希矩阵H[8,8],满足以下条件:
其中,avg是整张灰度图像的灰度平均值,Gray[i,j]是图像被划分后,第i行、第j列个块的灰度值,others是指第i行、第j列个块的灰度值小于avg时的情况,H[i,j]是由第i行、第j列个块的灰度值得到的感知哈希矩阵H[8,8]的第i行、第j列个元素的值,并满足以下条件:
其中,M是指图像划分后的行数且M=8,N是指图像划分后的列数且N=8,将获得的64位的二进制数值作为图像的感知哈希值。
S8023:采用步骤S8021至步骤S8022分别提取被选取的图像以及检索结果(即图像结果集中被选取的图像所在的分类中的图像)所对应的图像的感知哈希值,采用按位异或方式计算两张图像的相似度,图像H1和图像H2的相似度p(H1,H2)可以表示为位0的异或结果的百分比,公式如下:
其中,C0是一个计算0异或结果的函数。
采用简化的感知哈希算法来在基于图像而进行图像检索的过程中,计算图像之间的相似度,可以显著减少二次检索的运算量,提高检索系统的处理速度,并能进一步提高检索的精度。
在实际应用中,为了进一步提高检索精度,还可以进行:
S10:在步骤S801完成后,在步骤S801所获得的结果集中,采用步骤S802进行检索排序,将排序后的结果集返回给用户。具体排序方式如下:
S1001:在步骤S801完成后,二次检索中基于文本的图像检索从图像结果集中选出了一个图像集IS。
S1002:用p(H1,H2)公式来计算样本图像I与图像集合IS中图像的相似度,其中,样本图像I指的是用户从经过分类的图像中选取的一张或多张图像。具体说明如下:
首先定义一个向量P,用来保存样本图像I与IS中每个图像is的相似程度,也就是p(I,is),计算完成后,将P中的所有元素降序排列。因此,这些二次检索所得的图像结果就有了一个新的排序序列,最后,我们只需要将排序结果返回给用户即可。
本发明实施例中,同时考虑文本和内容的图像搜索结果,而且,基于文本的搜索结果会根据基于内容的特征来进行重排序,从而保证更相似的图像位于重新检索结果的顶部。经过重排序过程后,重新检索图像便被重组成一个新的序列。同样的,该过程中处理的数据量并不大,因为我们只需要考虑从当前页的返回结果中进行二次检索,当用户不满意当前的结果时,点击下一页,才进行下一页结果集的二次检索。
参见图4,在上述方法的同一原理的基础上,本发明的基于用户搜索意图定位的图像检索系统,包括一次检索模块、分类模块、用户交互模块以及二次检索模块。其中,一次检索模块用于根据用户输入的检索关键字,使用任意一个图像检索平台进行检索获取图像结果集;分类模块用于根据图像结果集中的图像的文本信息,对图像结果集中的图像进行分类;用户交互模块用于将分类后的图像返回给用户,并引导用户在分类后的图像中选取一个类别中的至少一个图像;二次检索模块用于将被选取的图像及与被选取的图像相关的文本信息作为检索条件,进行二次检索。该系统采用一次检索模块进行广泛检索,采用分类模块对广泛检索获得的图像结果集进行分类,然后通过用户交互模块引导用户进行一次反馈,根据反馈的结果进行二次检索,可以以增加较小的计算量,使得检索精度获得较大的提高。
在实际应用中,为了进一步以较小的计算量提高检索精度,该系统还可扩充,其中二次检索模块可包括:文本检索单元和图像检索单元,其中,文本检索单元用于根据与被选取的图像相关的文本信息的文本内容,在图像结果集中被选取的图像所在的分类中进行基于文本的图像检索;图像检索单元用于提取被选取的图像的视觉特征,采用感知哈希算法计算被选取的图像以及图像结果集中被选取的图像所在的分类中的图像的图像相似度,在图像结果集中被选取的图像所在的分类中进行图像检索。在基于图像内容进行的图像检索中,采用了一种改进的感知哈希算法。该算法提取图像特征作为其指纹,这种指纹可用来比较。系统还可包括排序模块,用于在文本检索单元完成后,在文本检索单元所获得的结果集中,采用图像检索单元进行检索排序,将排序后的结果集返回给用户。
结合上述的描述,下面从搜索精确度和时间消耗两方面,对本发明实施例的优点进行进一步说明:
而在本发明实施例中,先将图像进行分类,将分类结果展示给用户让用户选择,这种方式与现在技术相比,用户不需要面对大量图像来选择出一个较满意的图像,而是从少数量的分类中找到一个较满意的类,并从这个类中选择出一个或多个较满意的图像,这样可产生更好的用户体验;其次,本系统对图像重排序采用了计算量小的简化的感知哈希算法来计算两图的相似度,而现有技术采用的是更加复杂且计算量较大的算法。通过理论分析及实验证明,本发明实施例消耗更少的时间,不仅达到了较高精确度的效果,也节省了计算资源,提高了计算效率。
与现有图像搜索引擎相比,本发明优选实施例中的技术增加了四个步骤,对一次搜索结果分类,供用户选择较满意的图像,利用此用户选择作为用户搜索意图的猜测,并进一步对搜索结果进行重新搜索和排序,很明显,利用本发明实施例中的技术搜索获取的图像更加接近用户的检索意图,因而具有更高的精确性。而对于时间消耗问题,根据实验初步证明,当用户需要小数目的符合搜索意图的图像时,本技术没有明显的优势,但当用户的需求变大时,该方法将会比现有的主流搜索引擎消耗更少的时间。
以上所述仅为本发明的优选实施例而已,并不用于限制本发明,对于本领域的技术人员来说,本发明可以有各种更改和变化。凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于用户搜索意图定位的图像检索方法,其特征在于,包括以下步骤:
S2:根据用户输入的检索关键字,使用任意一个图像检索平台进行检索获取图像结果集;
S4:根据所述图像结果集中的图像的文本信息,对所述图像结果集中的图像进行分类;
S6:将所述分类后的图像返回给用户,并引导用户在所述分类后的图像中选取一个类别中的至少一个图像;
S8:将所述被选取的图像及与所述被选取的图像相关的文本信息作为检索条件,进行二次检索。
2.根据权利要求1所述的图像检索方法,其特征在于,所述对所述图像结果集中的图像进行分类,包括以下步骤:
S401:根据所述图像结果集中的图像的文本信息,将每个所述图像在维基百科分类索引中所属的二级类目作为所述图像的类别;
S402:并将所述图像的类别对应的所有三级类目作为所述类别的同义词保存到关系型数据库中。
3.根据权利要求2所述的图像检索方法,其特征在于,所述步骤S401,包括以下步骤:
S4011:根据所述图像结果集中的图像的文本信息,建立如下的信息矩阵:
I = I 1 , I 2 , ... , I N T 1 , T 2 , ... , T N C 1 , C 2 , ... , C N T
其中,N表示图像结果集中的图像的图像数目,Ii表示图像结果集中的一张图像,其中0<=i<=N;Ti表示所述图像的文本信息,其中0<=i<=N;Ci表示与所述图像相关的类别名,其中0<=i<=N;
S4012:根据维基百科分类索引定义分类图G,遍历图像结果集中的N个图像,将图像中图像的文本信息中包含的每个词语或短语作为一个文本结点,对于每个所述图像中的每个文本结点,如果所述文本结点与所述分类图G中的结点相匹配,则计算该文本结点出现在所述图像的文本信息Ti中的频率,最后将出现频率最大的文本结点所对应的分类图G中的分类名称作为该图像的分类。
4.根据权利要求1至3中任一项所述的图像检索方法,其特征在于,所述步骤S8中的与所述被选取的图像相关的文本信息,包括:所述被选取的图像的类别名称、用户输入的检索关键字和\或HTML中的图像描述信息。
5.根据权利要求4所述的图像检索方法,其特征在于,所述步骤S8中,所述进行二次检索,包括以下步骤:
S801:根据与所述被选取的图像相关的文本信息的文本内容,在所述图像结果集中所述被选取的图像所在的分类中进行基于文本的图像检索;
S802:提取所述被选取的图像的视觉特征,采用感知哈希算法计算被选取的图像以及所述图像结果集中所述被选取的图像所在的分类中的图像的图像相似度,在所述图像结果集中所述被选取的图像所在的分类中进行图像检索。
6.根据权利要求5所述的图像检索方法,其特征在于,所述步骤S802中,采用感知哈希算法计算被选取的图像以及图像结果集中所述被选取的图像所在的分类中的图像的图像相似度,包括以下步骤:
S8021:将图像转化为灰度图像,转化公式如下:
Gray=R×0.299+G×0.587+B×0.114 (1)
其中,Gray表示灰度值,R、G和B分别表示原始像素中的红、绿和蓝的分量;
S8022:将所述灰度图像分为8×8块,将每个块的灰度设置为该块的灰度平均值,使用Gray[8,8]矩阵来存储每个块的灰度值,生成一个感知哈希矩阵H[8,8],满足以下条件:
H &lsqb; i , j &rsqb; = 1 G r a y &lsqb; i , j &rsqb; > = a v g 0 o t h e r s - - - ( 2 )
其中,avg是整张所述灰度图像的灰度平均值,Gray[i,j]是图像被划分后,第i行、第j列个块的灰度值,others是指第i行、第j列个块的灰度值小于avg时的情况,H[i,j]是由第i行、第j列个块的灰度值得到的感知哈希矩阵H[8,8]的第i行、第j列个元素的值,并满足以下条件:
a v g = 1 M &times; N &Sigma; i = 1 M &Sigma; j = 1 N G r a y &lsqb; i , j &rsqb; - - - ( 3 )
其中,M是指图像划分后的行数且M=8,N是指图像划分后的列数且N=8,将获得的64位的二进制数值作为所述图像的感知哈希值;
S8023:采用步骤S8021至步骤S8022分别提取所述被选取的图像以及检索结果所对应的图像的感知哈希值,采用按位异或方式计算两张图像的相似度,图像H1和图像H2的相似度p(H1,H2)可以表示为位0的异或结果的百分比,公式如下:
p ( H 1 , H 2 ) = 100 M &times; N C 0 ( H 1 &CircleTimes; H 2 ) % - - - ( 4 )
其中,C0是一个计算0异或结果的函数。
7.根据权利要求6所述的图像检索方法,其特征在于,所述步骤S801完成后,在所述步骤S801所获得的结果集中,采用步骤S802进行检索排序,将排序后的结果集返回给用户。
8.一种基于用户搜索意图定位的图像检索系统,其特征在于,包括:
一次检索模块,用于根据用户输入的检索关键字,使用任意一个图像检索平台进行检索获取图像结果集;
分类模块,用于根据所述图像结果集中的图像的文本信息,对所述图像结果集中的图像进行分类;
用户交互模块,用于将所述分类后的图像返回给用户,并引导用户在所述分类后的图像中选取一个类别中的至少一个图像;
二次检索模块,用于将所述被选取的图像及与所述被选取的图像相关的文本信息作为检索条件,进行二次检索。
9.根据权利要求8所述的图像检索系统,其特征在于,所述二次检索模块包括:
文本检索单元,用于根据与所述被选取的图像相关的文本信息的文本内容,在所述图像结果集中所述被选取的图像所在的分类中进行基于文本的图像检索;
图像检索单元,用于提取所述被选取的图像的视觉特征,采用感知哈希算法计算被选取的图像以及所述图像结果集中所述被选取的图像所在的分类中的图像的图像相似度,在所述图像结果集中所述被选取的图像所在的分类中进行图像检索。
10.根据权利要求8或9所述的图像检索系统,其特征在于,所述系统还包括:
排序模块,用于在文本检索单元完成后,在所述文本检索单元所获得的结果集中,采用所述图像检索单元进行检索排序,将排序后的结果集返回给用户。
CN201510933574.9A 2015-12-15 2015-12-15 基于用户搜索意图定位的图像检索方法及系统 Active CN105426529B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510933574.9A CN105426529B (zh) 2015-12-15 2015-12-15 基于用户搜索意图定位的图像检索方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510933574.9A CN105426529B (zh) 2015-12-15 2015-12-15 基于用户搜索意图定位的图像检索方法及系统

Publications (2)

Publication Number Publication Date
CN105426529A CN105426529A (zh) 2016-03-23
CN105426529B true CN105426529B (zh) 2017-02-22

Family

ID=55504741

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510933574.9A Active CN105426529B (zh) 2015-12-15 2015-12-15 基于用户搜索意图定位的图像检索方法及系统

Country Status (1)

Country Link
CN (1) CN105426529B (zh)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106022024B (zh) * 2016-06-03 2019-10-22 深圳市金立通信设备有限公司 一种基于图像识别实现系统登录的方法和终端
CN107506429A (zh) * 2017-08-22 2017-12-22 北京联合大学 一种基于显著区域和相似性积分的图像重排序方法
CN107729573A (zh) * 2017-11-24 2018-02-23 百度在线网络技术(北京)有限公司 信息推送方法和装置
CN108334574B (zh) * 2018-01-23 2020-06-12 南京邮电大学 一种基于协同矩阵分解的跨模态检索方法
CN109308299B (zh) * 2018-09-12 2020-01-14 北京字节跳动网络技术有限公司 用于搜索信息的方法和装置
CN109783671B (zh) 2019-01-30 2021-10-08 京东方科技集团股份有限公司 一种以图搜图的方法、计算机可读介质及服务器
CN110276033A (zh) * 2019-06-28 2019-09-24 京东方科技集团股份有限公司 图片匹配方法及服务器、计算机可读存储介质、电子设备
CN111340015B (zh) * 2020-02-25 2023-10-20 北京百度网讯科技有限公司 定位方法和装置
CN113297452A (zh) * 2020-05-26 2021-08-24 阿里巴巴集团控股有限公司 多级检索方法、多级检索装置及电子设备
CN112215260B (zh) * 2020-09-18 2022-08-26 国家电网有限公司技术学院分公司 一种电网培训资源分类更新方法及系统
CN113784089A (zh) * 2021-08-05 2021-12-10 德明尚品科技集团有限公司 一种对被监控区域的视频数据进行监测的方法和装置
CN116401392B (zh) * 2022-12-30 2023-10-27 以萨技术股份有限公司 一种图像检索的方法、电子设备及存储介质

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1967536A (zh) * 2006-11-16 2007-05-23 华中科技大学 基于区域的多特征融合及多级反馈的潜伏语义图像检索方法
CN102842081A (zh) * 2011-06-23 2012-12-26 上海易悠通信息科技有限公司 一种移动电话生成二维码并实现移动支付的方法
CN102426583B (zh) * 2011-10-10 2013-07-10 北京工业大学 基于图像内容分析的中医舌象检索方法
US20130238503A1 (en) * 2012-02-29 2013-09-12 Upen Patel System and method to manage information for conducting secure transactions
CN103353990A (zh) * 2013-06-19 2013-10-16 海南大学 一种基于感知哈希的智能纹理防伪方法

Also Published As

Publication number Publication date
CN105426529A (zh) 2016-03-23

Similar Documents

Publication Publication Date Title
CN105426529B (zh) 基于用户搜索意图定位的图像检索方法及系统
Bhagavatula et al. Methods for exploring and mining tables on wikipedia
JP3781696B2 (ja) イメージ検索方法及び検索装置
EP2368200B1 (en) Interactively ranking image search results using color layout relevance
Kano et al. Coliee-2018: Evaluation of the competition on legal information extraction and entailment
CN102955848B (zh) 一种基于语义的三维模型检索系统和方法
CN103838833A (zh) 基于相关词语语义分析的全文检索系统
US9311388B2 (en) Semantic and contextual searching of knowledge repositories
CN104156433B (zh) 一种基于语义映射空间构建的图像检索方法
CN110750995B (zh) 一种基于自定义图谱的文件管理方法
CN112307182B (zh) 一种基于问答系统的伪相关反馈的扩展查询方法
CN104317834A (zh) 一种基于深度神经网络的跨媒体排序方法
CN104484380A (zh) 个性化搜索方法及装置
Xu et al. Interactive image search by 2D semantic map
US8700624B1 (en) Collaborative search apps platform for web search
Phan et al. Building a Vietnamese question answering system based on knowledge graph and distributed CNN
Martín-Valdivia et al. Using information gain to improve multi-modal information retrieval systems
Kuntarto et al. Dwipa ontology III: Implementation of ontology method enrichment on tourism domain
Gao et al. The Math Retrieval System of ICST for NTCIR-12 MathIR Task.
Wang et al. Constructing a comprehensive events database from the web
Gao et al. ICST Math Retrieval System for NTCIR-11 Math-2 Task.
Oida et al. Development of presentation slide retrieval system based on visual information
Adefowoke Ojokoh et al. Automated document metadata extraction
Jiang et al. Content-based image retrieval algorithm oriented by users' experience
Dobrescu et al. Multi-modal CBIR algorithm based on Latent Semantic Indexing

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant