CN109241327A - 图像检索方法及装置 - Google Patents

图像检索方法及装置 Download PDF

Info

Publication number
CN109241327A
CN109241327A CN201710534725.2A CN201710534725A CN109241327A CN 109241327 A CN109241327 A CN 109241327A CN 201710534725 A CN201710534725 A CN 201710534725A CN 109241327 A CN109241327 A CN 109241327A
Authority
CN
China
Prior art keywords
image
feature
alternative
retrieval
cluster centre
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710534725.2A
Other languages
English (en)
Inventor
张明明
张丹
于晓明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Peking University Founder Group Co Ltd
Beijing Founder Electronics Co Ltd
Original Assignee
Peking University Founder Group Co Ltd
Beijing Founder Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Peking University Founder Group Co Ltd, Beijing Founder Electronics Co Ltd filed Critical Peking University Founder Group Co Ltd
Priority to CN201710534725.2A priority Critical patent/CN109241327A/zh
Publication of CN109241327A publication Critical patent/CN109241327A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/46Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462Salient features, e.g. scale invariant feature transforms [SIFT]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/23Clustering techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/42Global feature extraction by analysis of the whole pattern, e.g. using frequency domain transformations or autocorrelation
    • G06V10/422Global feature extraction by analysis of the whole pattern, e.g. using frequency domain transformations or autocorrelation for representing the structure of the pattern or shape of an object therefor
    • G06V10/424Syntactic representation, e.g. by using alphabets or grammars
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/757Matching configurations of points or features

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computational Linguistics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明提供一种图像检索方法及装置,通过将待检索图像进行缩放调整和灰度化调整中至少一种调整,提取调整后待检索图像的第一特征,在特征词典中查找与每一第一特征相匹配的目标聚类中心,根据目标聚类中心对应的标识,在备选图像库中查找相匹配的检索图像。通过对检索图像缩放和/或灰度化调整,着重提取待检索图像中重要特征,弱化非重要的细微的特征,降低了检索工作量;同时,以目标聚类中心对应的标识表示待检索图像的第一特征,将第一特征转化为文本或字符,在备选图像库中检索与其相似的备选图像对应的标识集合,从而查找到检索图像,即本发明将图像检索转化为文本检索,从而实现图像的高效检索。

Description

图像检索方法及装置
技术领域
本发明涉及计算机技术领域,尤其涉及一种图像检索方法及装置。
背景技术
最近几年,随着移动互联网的快速发展,尤其是以facebook、twitter、微博等为代表的社交媒体,以及以淘宝、京东为代表的购物网站的成长,互联网上的图片出现了爆炸性的增长。相对于传统的文本内容,图像本身包含了丰富的信息,对于海量的图片数据,如何有效组织利用这些图片一直是学术界和工业界的研究热点。现有的图像检索技术中,按描述图像内容的方式主要分类两类:基于文本的图像检索技术(Text Based ImageRetrieval,TBIR)和基于内容的图像检索技术(Content Based Image Retrieval,CBIR)。基于文本的图像检索技术主要利用图像的标注文本进行检索,其实质仍然是文本信息检索;而基于内容的图像检索技术则直接考虑图像本身的信息表示,相对于文本标示图像,内容表示更能够直接反应图像的真实信息。
其中,基于内容的图像检索中,目前比较热门的一种方法是通过视觉词袋模型(Bag of Visual Word,BOVW),将图像转换为类似文本的词表达,然后再利用哈希等索引方法进行索引。在应用视觉词袋模型时,通过对图像的全部特征进行提取和描述,并构建视觉词典,利用视觉词袋量化图像特征。类似的,对待检索图像进行全部特征的提取和描述后再在视觉词典中进行检索。
现有的应用视觉词袋模型和哈希等索引方法进行索引的图像检索方法,对于海量图像检索存在数据量过大,检索速度缓慢,检索效率低。
发明内容
本发明提供一种图像检索方法及装置方法及装置,以实现快速高效的海量图像检索。
本发明的一个方面是提供一种图像检索方法,包括:
将待检索图像进行缩放调整和灰度化调整中的至少一种调整,提取调整后的待检索图像的第一特征;
在特征词典中查找与每一所述第一特征相匹配的目标聚类中心,所述特征词典中包括数个聚类中心,每个所述聚类中心对应一个标识;
根据所述目标聚类中心对应的标识,在备选图像库中查找相匹配的检索图像,所述备选图像库中包括数个备选图像,每个所述备选图像对应一个标识集合,所述标识集合包括在所述特征词典中与所述备选图像的第二特征相匹配的所述聚类中心所对应的所述标识。
本发明的另一个方面提供一种图像检索装置,包括:
图像调整模块,用于将待检索图像进行缩放调整和灰度化调整中的至少一种调整,提取调整后的待检索图像的第一特征;
特征词典查找模块,用于在特征词典中查找与每一所述第一特征相匹配的目标聚类中心,所述特征词典中包括数个聚类中心,每个所述聚类中心对应一个标识;
检索模块,用于根据所述目标聚类中心对应的标识,在备选图像库中查找相匹配的检索图像,所述备选图像库中包括数个备选图像,每个所述备选图像对应一个标识集合,所述标识集合包括在所述特征词典中与所述备选图像的第二特征相匹配的所述聚类中心所对应的所述标识。
本发明提供的图像检索方法及装置,通过将待检索图像进行缩放调整和灰度化调整中的至少一种调整,提取调整后的待检索图像的第一特征,在特征词典中查找与每一所述第一特征相匹配的目标聚类中心,根据所述目标聚类中心对应的标识,在备选图像库中查找相匹配的检索图像。通过对检索图像缩放和/或灰度化调整,着重提取待检索图像中的重要特征,弱化非重要的细微的特征,大大降低了检索的工作量;此外,在特征词典中查找与第一特征相匹配的目标聚类中心,以目标聚类中心对应的标识表示待检索图像的第一特征,将待检索图像的第一特征转化为文本或字符,进而在备选图像库中检索与其相似的备选图像对应的标识集合,从而查找相匹配的检索图像,本发明将图像检索转化为文本检索,从而实现图像的高效检索。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1为本发明一实施例提供的图像检索方法流程图;
图2为图1所示的图像检索方法的示意图;
图3为本发明另一实施例提供的图像检索方法中特征词典构建的流程图;
图4为图3所示的特征词典构建的示意图;
图5为本发明又一实施例提供的图像检索方法中备选图像库的处理流程图;
图6为图5所示的备选图像库的处理的示意图;
图7为本发明又一实施例提供的图像检索方法中检索结果排序的流程图;
图8为本发明一实施例提供的图像检索装置的结构图;
图9为本发明另一实施例提供的图像检索装置的结构图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
图1为本发明一实施例提供的图像检索方法流程图,图2为图1所示的图像检索方法的示意图。如图1和图2所示,本实施例提供了一种图像检索方法,该方法具体步骤如下:
S101、将待检索图像进行缩放调整和灰度化调整中的至少一种调整,提取调整后的待检索图像的第一特征。
在本实施例中,将待检索图像经缩放调整至预定尺寸大小,例如长或宽为128像素或64像素。其中对于原始尺寸大于预定尺寸的待检索图像,当缩小至预定尺寸时,提取的第一特征数量明显减少,保留了重要的特征,而忽略非重要的、比较细微的特征,从而使得检索的工作量大大降低,检索速度较快,提高了检索效率。而对于原始尺寸小于预定尺寸的待检索图像,由于图像较小,提取到的第一特征数量较少,可能导致检索结果过多,且误差较大,降低检索效率,而对其进行放大至预定尺寸后,可一定程度增加第一特征数量,增加了部分较为重要的特征的提取,同时对于重要的特征的提取也更为准确,进而提高检索的效率和准确性。
本实施例对待检索图像进行了灰度化调整,是考虑到彩色图像中包含的信息量较大,并且图像的颜色受光照等因素影响较大,增大了检索难度和数据量,而在提取特征时仅需要在灰度化后的图像中进行提取即可满足检索需求,并且降低了检索数据量,提高了检索的效率。当然对于若全局特征中包含颜色特征,则需要在灰度化前进行提取。具体的灰度化调整可采用分量法、最大值灰度化、均值灰度化等等现有的方法。
第一特征可以包括局部特征和/或全局特征,其中局部特征可以采用采用SIFT算法(Scale-invariant feature transform,尺度不变特征转换)进行提取,其中,SIFT算法通过侦测与描述图像中的局部性特征,在空间尺度中寻找极值点,并提取出其位置、尺度、旋转不变量,SIFT特征是基于物体上的一些局部外观的兴趣点而与影像的大小和旋转无关,对于光线、噪声、些微视角改变的容忍度也相当高,基于这些特征可实现特征点的查找。SIFT所查找到的特征点是一些突出的,且不会因光照,仿射变换和噪声等因素而变化的点,如角点、边缘点、暗区的亮点及亮区的暗点等,通过SIFT算法获取特征点准确性较高。当然,本实施例中局部特征也可以采用其他基于几何特征的点提取算法,例如依据图像的边界曲率进行提取,或者直接依据图像的灰度信息提取特征点;当然也可以采用基于模板匹配的方法等等。图像的全局特征可以包括图像的形状轮廓、纹理或颜色等信息,具体可以通过深度神经网络(Deep Neural Networks,DNN)获取。当然也可以采用颜色和边缘的方向性描述符(Color and Edge Directivity Descriptor,CEDD)对图像的颜色和纹理特征进行综合描述。
S102、在特征词典中查找与每一所述第一特征相匹配的目标聚类中心,所述特征词典中包括数个聚类中心,每个所述聚类中心对应一个标识。
本实施例中的特征词典是通过预先训练所得的,包含各聚类中心与其对应的标识映射的关系,其中聚类中心是由训练图像集中获取的特征进行聚类而得到的聚类中心,可以代表一个聚类中的各特征,而标识则是与聚类中心对应的文本或字符,而待检索图片中每一第一特征通过在特征词典中查找相匹配的聚类中心,从而得到每一第一特征与标识的对应关系,即将待检索图片的特征转化为文本或字符。
具体的,在特征词典中查找与每一所述第一特征相匹配的目标聚类中心,可通过以下方案实现:获取第一特征与特征词典每一聚类中心的第三相似度,将第三相似度最高的聚类中心作为与第一特征相匹配的目标聚类中心,第三相似度可由欧式距离(EuclideanMetric)来衡量,通过计算第一特征与聚类中心的欧氏距离,将与第一特征之间的欧氏距离最小的聚类中心作为与第一特征相匹配的目标聚类中心。
S103、根据所述目标聚类中心对应的标识,在备选图像库中查找相匹配的检索图像,所述备选图像库中包括数个备选图像,每个所述备选图像对应一个标识集合,所述标识集合包括在所述特征词典中与所述备选图像的第二特征相匹配的所述聚类中心所对应的所述标识。
本实施例中的备选图像库中每张备选图像均对应一个标识集合,通过预先获取在特征词典中与备选图像的第二特征相匹配的聚类中心,将每一聚类中心对应的标识构成标识集合,从而以标识集合表示该备选图像的各第二特征。需要说明的是,备选图像也经缩放调整和灰度化调整中的至少一种调整后提取第二特征,其调整与S101保持一致,可以大大减少备选图像库的数据量,提高检索效率。
由于S102中已得到待检索图像每一第一特征相匹配的目标聚类中心对应的标识,因此在备选图像库中查找相匹配的检索图像,只需通过标识与标识集合之间的检索,即可实现图像的检索,也即将图像的检索转换为文本或字符的检索。因此本实施例可直接应用现有的文本检索技术,将图像检索与文本检索无缝对接,从而实现图像的高效检索。具体的,可以预先将标识集合送入全文检索引擎进行分词索引,形成图像索引;在进行图像检索时,将待检索图像的标识送入全文检索引擎,进行文本的检索,查找相似的标识集合,查找到的标识集合对应的备选图像即为检索结果。
本实施例提供的图像检索方法,通过将待检索图像进行缩放调整和灰度化调整中的至少一种调整,提取调整后的待检索图像的第一特征,在特征词典中查找与每一所述第一特征相匹配的目标聚类中心,根据所述目标聚类中心对应的标识,在备选图像库中查找相匹配的检索图像。通过对检索图像缩放和/或灰度化调整,着重提取待检索图像中的重要特征,弱化非重要的细微的特征,大大降低了检索的工作量;此外,在特征词典中查找与第一特征相匹配的目标聚类中心,以目标聚类中心对应的标识表示待检索图像的第一特征,将待检索图像的第一特征转化为文本或字符,进而在备选图像库中检索与其相似的备选图像对应的标识集合,从而查找相匹配的检索图像,本实施例将图像检索转化为文本检索,从而实现图像的高效检索。
图3为本发明另一实施例提供的图像检索方法中特征词典构建的流程图,图4为图3所示的特征词典构建的示意图。如图3和图4所示,在上述实施例的基础上,S102中所述的在特征词典中查找与每一所述第一特征相匹配的目标聚类中心之前,还包括:
S201、提取训练图像库中每一训练图像的第三特征,对所有所述训练图像的所述第三特征进行聚类,形成数个所述聚类中心;
S202、对每个所述聚类中心,建立与之映射的标识;
S203、数个所述聚类中心及其对应的所述标识形成所述特征词典。
本实施例为构建特征词典的过程,将训练图像库中所有训练图像的所有第三特征进行聚类分析,并建立聚类中心与标识的映射。其中特征词典的大小,也即聚类中心的数量需要根据实际进行设定,其大小直接影响着检索效果,词典太小则无法包含足够的有效信息,导致图像间没有区分度;词典太大则影响处理速度,同时也不会显著提高检索效果。因此本实施例中优选使用50万的特征词典大小。本实施例中采用K-means聚类算法(K均值聚类)对第三特征进行聚类,将相似的特征形成一个聚类,并获得一个聚类中心。当然也可使用改善的K-means算法或者利用分布式平台实现聚类。对每个聚类中心建立与之映射的标识,其中标识可以为文字或字符,优选的将聚类中心按序编号,将编号作为聚类中心的标识,其构建映射的难度较低,速度更快。
图5为本发明又一实施例提供的图像检索方法中备选图像库的处理流程图,图6为图5所示的备选图像库的处理的示意图。如图5和图6所示,在上述实施例的基础上,S103中所述的根据所述目标聚类中心对应的标识,在备选图像库中查找相匹配的检索图像之前,还包括:
S301、对每一所述备选图像进行缩放调整和灰度化调整中的至少一种调整,提取调整后的备选图像的所述第二特征;
S302、在所述特征词典中查找与每一所述备选图像中的每一所述第二特征相匹配的所述聚类中心,并获得其对应的所述标识,形成所述标识集合;
S303、数个所述备选图像及其对应的所述标识集合形成所述备选图像库。
本实施例为备选图像库的处理过程,将每一备选图像的第二特征同样通过特征词典转化为对应的文本或字符,形成一个标识集合,进而在后续的检索过程只需要对待检索图像的第一特征对应的标识在备选图像库的各标识集合进行检索即可实现特征之间的检索,也即实现了图像的检索。也就是说,备选图像库相当于以标识集合作为备选图像的索引。需要说明的是,备选图像中至少包含一个第二特征,因此对应的标识集合中至少包含一个对应的标识。对备选图像进行缩放调整和灰度化调整中的至少一种调整后可明显降低备选图像库的数据量,提高备选图像库的处理效率,也可提高检索效率。
其中S302所述的在所述特征词典中查找与每一所述备选图像中的每一所述第二特征相匹配的所述聚类中心,具体可通过如下方案实现:
获取所述备选图像中的每一所述第二特征与所述特征词典每一所述聚类中心的第二相似度,将所述第二相似度最高的所述聚类中心作为所述第二特征相匹配的所述聚类中心;
其中,若最高的所述第二相似度低于预设阈值,删除对应的所述第二特征。
本实施例中,第二相似度可由欧式距离来衡量,通过计算第二特征与聚类中心的欧氏距离,将与第二特征之间的欧氏距离最小的聚类中心作为与第二特征相匹配的聚类中心,其查找结果较为准确。当然第二相似度的获取也可采用其他算法来实现,例如余弦距离、曼哈顿距离等等。另外,在查找第二特征相匹配的聚类中心过程中,若某一个第二特征与其相匹配的聚类中心间的第二相似度低于预定阈值,说明该第二特征与该聚类中心间并不非常相似,也即该第二特征为冗余的特征,予以删除,以减少第二特征的数量,进而减少了标识集合中标识的数量,降低了后续检索的工作量,提高检索效率。
图7为本发明又一实施例提供的图像检索方法中检索结果排序的流程图,如图7所示,在上述实施例的基础上,S103所述的根据所述目标聚类中心包括的标识,在备选图像库中查找相匹配的检索图像之后,还包括:
S401、获取所述检索图像中的各图像与所述待检索图像之间的基于全局特征的第一相似度;
S402、根据所述第一相似度的大小,对所述检索图像中各图像进行排序。
由于在图像检索过程中,局部特征占据主导作用,这将导致部分视觉相似的图像在检索结果中排名可能较为靠后。因此本实施例中利用全局特征对检索结果进行二次重排,从而获得更好的检索效果。其中,全局特征可以为形状轮廓、纹理和颜色中的一项或多项特征,当然也可为其他全局特征(需要另行获取)。
优选的,第一相似度可由余弦距离来衡量,通过计算检索图像中各图像的全局特征与待检索图像的全局特征的余弦距离,并依据计算所得的余弦距离的大小对检索图像中各图像进行排序,检索图像中与待检索图像之间的余弦距离越大的图像与待检索图像越相似,从而更便于检索到与待检索图像最相似的图像。同样第一相似度的获取也可采用其他的算法来实现。当然为了进一步提高检索效率,此步骤中可选取检索结果中的部分图像进行处理,其中选取的图像数量可根据实际进行设定,需要注意的是选取的数量太小容易漏掉部分正确的检索图像,而选取的数量太大则对检索效率的提高效果较小。另外在计算第一相似度的同时,对于第一相似度较低的图像可以直接删除,以减小排序过程的数据量。
需要说明的是,上述各实施例中的各特征的获取过程需要保持一致,此外对于待检索图像和备选图像的缩放和灰度化调整过程也需要保持一致,从而使各图像之间有可比性,检索效果更好。
图8为本发明一实施例提供的图像检索装置的结构图,本实施例的图像检索装置可以执行上述图像检索方法实施例提供的处理流程,如图8所示,本实施例提供一种图像检索装置,包括:图像调整模块11、特征词典查找模块12及检索模块13。
图像调整模块11用于将待检索图像进行缩放调整和灰度化调整中的至少一种调整,提取调整后的待检索图像的第一特征;
特征词典查找模块12用于在特征词典中查找与每一所述第一特征相匹配的目标聚类中心,所述特征词典中包括数个聚类中心,每个所述聚类中心对应一个标识;
检索模块13用于根据所述目标聚类中心对应的标识,在备选图像库中查找相匹配的检索图像,所述备选图像库中包括数个备选图像,每个所述备选图像对应一个标识集合,所述标识集合包括在所述特征词典中与所述备选图像的第二特征相匹配的所述聚类中心所对应的所述标识。
进一步的,如图9所示,在上述实施例的基础上,图像检索装置还可包括:
特征词典构建模块21,用于提取训练图像库中每一训练图像的第三特征,对所有所述训练图像的所述第三特征进行聚类,形成数个所述聚类中心;
对每个所述聚类中心,建立与之映射的标识;
数个所述聚类中心及其对应的所述标识形成所述特征词典。
进一步的,在上述实施例的基础上,图像检索装置还可包括:
备选图像库处理模块22,用于对每一所述备选图像进行缩放调整和灰度化调整中的至少一种调整,提取调整后的备选图像的所述第二特征;
在所述特征词典中查找与每一所述备选图像中的每一所述第二特征相匹配的所述聚类中心,并获得其对应的所述标识,形成所述标识集合;
数个所述备选图像及其对应的所述标识集合形成所述备选图像库。
更具体的,所述备选图像库处理模块22用于:
获取所述备选图像中的每一所述第二特征与所述特征词典每一所述聚类中心的第二相似度,将所述第二相似度最高的所述聚类中心作为所述第二特征相匹配的所述聚类中心;
其中,若最高的所述第二相似度低于预设阈值,删除对应的所述第二特征。
进一步的,在上述实施例的基础上,图像检索装置还可包括:
检索结果排序模块23,用于获取所述检索图像中的各图像与所述待检索图像之间的基于全局特征的第一相似度;
根据所述第一相似度的大小,对所述检索图像中各图像进行排序。
本发明实施例提供的图像检索装置可以具体用于执行上述方法实施例的流程,具体功能此处不再赘述。
本实施例的图像检索装置,通过将待检索图像进行缩放调整和灰度化调整中的至少一种调整,提取调整后的待检索图像的第一特征,在特征词典中查找与每一所述第一特征相匹配的目标聚类中心,根据所述目标聚类中心对应的标识,在备选图像库中查找相匹配的检索图像。通过对检索图像缩放和/或灰度化调整,着重提取待检索图像中的重要特征,弱化非重要的细微的特征,大大降低了检索的工作量;此外,在特征词典中查找与第一特征相匹配的目标聚类中心,以目标聚类中心对应的标识表示待检索图像的第一特征,将待检索图像的第一特征转化为文本或字符,进而在备选图像库中检索与其相似的备选图像对应的标识集合,从而查找相匹配的检索图像,本实施例将图像检索转化为文本检索,从而实现图像的高效检索。
在本发明所提供的几个实施例中,应该理解到,所揭露的装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本发明各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用硬件加软件功能单元的形式实现。
上述以软件功能单元的形式实现的集成的单元,可以存储在一个计算机可读取存储介质中。上述软件功能单元存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)或处理器(processor)执行本发明各个实施例所述方法的部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(Read-Only Memory,ROM)、随机存取存储器(Random Access Memory,RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
本领域技术人员可以清楚地了解到,为描述的方便和简洁,仅以上述各功能模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能模块完成,即将装置的内部结构划分成不同的功能模块,以完成以上描述的全部或者部分功能。上述描述的装置的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
最后应说明的是:以上各实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述各实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分或者全部技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (10)

1.一种图像检索方法,其特征在于,包括:
将待检索图像进行缩放调整和灰度化调整中的至少一种调整,提取调整后的待检索图像的第一特征;
在特征词典中查找与每一所述第一特征相匹配的目标聚类中心,所述特征词典中包括数个聚类中心,每个所述聚类中心对应一个标识;
根据所述目标聚类中心对应的标识,在备选图像库中查找相匹配的检索图像,所述备选图像库中包括数个备选图像,每个所述备选图像对应一个标识集合,所述标识集合包括在所述特征词典中与所述备选图像的第二特征相匹配的所述聚类中心所对应的所述标识。
2.根据权利要求1所述的方法,其特征在于,所述在特征词典中查找与每一所述第一特征相匹配的目标聚类中心之前,还包括:
提取训练图像库中每一训练图像的第三特征,对所有所述训练图像的所述第三特征进行聚类,形成数个所述聚类中心;
对每个所述聚类中心,建立与之映射的标识;
数个所述聚类中心及其对应的所述标识形成所述特征词典。
3.根据权利要求1所述的方法,其特征在于,所述根据所述目标聚类中心对应的标识,在备选图像库中查找相匹配的检索图像之前,还包括:
对每一所述备选图像进行缩放调整和灰度化调整中的至少一种调整,提取调整后的备选图像的所述第二特征;
在所述特征词典中查找与每一所述备选图像中的每一所述第二特征相匹配的所述聚类中心,并获得其对应的所述标识,形成所述标识集合;
数个所述备选图像及其对应的所述标识集合形成所述备选图像库。
4.根据权利要求1-3中任一项所述的方法,其特征在于,所述根据所述目标聚类中心包括的标识,在备选图像库中查找相匹配的检索图像之后,还包括:
获取所述检索图像中的各图像与所述待检索图像之间的基于全局特征的第一相似度;
根据所述第一相似度的大小,对所述检索图像中各图像进行排序。
5.根据权利要求3所述的方法,其特征在于,所述在所述特征词典中查找与每一所述备选图像中的每一所述第二特征相匹配的所述聚类中心,具体包括:
获取所述备选图像中的每一所述第二特征与所述特征词典每一所述聚类中心的第二相似度,将所述第二相似度最高的所述聚类中心作为所述第二特征相匹配的所述聚类中心;
其中,若最高的所述第二相似度低于预设阈值,删除对应的所述第二特征。
6.一种图像检索装置,其特征在于,包括:
图像调整模块,用于将待检索图像进行缩放调整和灰度化调整中的至少一种调整,提取调整后的待检索图像的第一特征;
特征词典查找模块,用于在特征词典中查找与每一所述第一特征相匹配的目标聚类中心,所述特征词典中包括数个聚类中心,每个所述聚类中心对应一个标识;
检索模块,用于根据所述目标聚类中心对应的标识,在备选图像库中查找相匹配的检索图像,所述备选图像库中包括数个备选图像,每个所述备选图像对应一个标识集合,所述标识集合包括在所述特征词典中与所述备选图像的第二特征相匹配的所述聚类中心所对应的所述标识。
7.根据权利要求6所述的装置,其特征在于,还包括:
特征词典构建模块,用于提取训练图像库中每一训练图像的第三特征,对所有所述训练图像的所述第三特征进行聚类,形成数个所述聚类中心;
对每个所述聚类中心,建立与之映射的标识;
数个所述聚类中心及其对应的所述标识形成所述特征词典。
8.根据权利要求6所述的装置,其特征在于,还包括:
备选图像库处理模块,用于对每一所述备选图像进行缩放调整和灰度化调整中的至少一种调整,提取调整后的备选图像的所述第二特征;
在所述特征词典中查找与每一所述备选图像中的每一所述第二特征相匹配的所述聚类中心,并获得其对应的所述标识,形成所述标识集合;
数个所述备选图像及其对应的所述标识集合形成所述备选图像库。
9.根据权利要求6-8中任一项所述的装置,其特征在于,还包括:
检索结果排序模块,用于获取所述检索图像中的各图像与所述待检索图像之间的基于全局特征的第一相似度;
根据所述第一相似度的大小,对所述检索图像中各图像进行排序。
10.根据权利要求8所述的装置,其特征在于,所述备选图像库处理模块具体用于:
获取所述备选图像中的每一所述第二特征与所述特征词典每一所述聚类中心的第二相似度,将所述第二相似度最高的所述聚类中心作为所述第二特征相匹配的所述聚类中心;
其中,若最高的所述第二相似度低于预设阈值,删除对应的所述第二特征。
CN201710534725.2A 2017-07-03 2017-07-03 图像检索方法及装置 Pending CN109241327A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710534725.2A CN109241327A (zh) 2017-07-03 2017-07-03 图像检索方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710534725.2A CN109241327A (zh) 2017-07-03 2017-07-03 图像检索方法及装置

Publications (1)

Publication Number Publication Date
CN109241327A true CN109241327A (zh) 2019-01-18

Family

ID=65083217

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710534725.2A Pending CN109241327A (zh) 2017-07-03 2017-07-03 图像检索方法及装置

Country Status (1)

Country Link
CN (1) CN109241327A (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110163079A (zh) * 2019-03-25 2019-08-23 腾讯科技(深圳)有限公司 视频检测方法及装置、计算机可读介质和电子设备
CN110188223A (zh) * 2019-06-06 2019-08-30 腾讯科技(深圳)有限公司 图像处理方法、装置及计算机设备
CN110321966A (zh) * 2019-07-11 2019-10-11 同方知网数字出版技术股份有限公司 一种加快图书相似性分析速度的方法
CN111859004A (zh) * 2020-07-29 2020-10-30 书行科技(北京)有限公司 检索图像的获取方法、装置、设备及可读存储介质
CN112540976A (zh) * 2019-09-20 2021-03-23 阿里巴巴集团控股有限公司 一种向量信息检索方法及系统
CN113792172A (zh) * 2021-11-15 2021-12-14 西安热工研究院有限公司 基于三角不等式的图像检索方法、系统、设备及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102982165A (zh) * 2012-12-10 2013-03-20 南京大学 一种大规模人脸图像检索方法
CN105989094A (zh) * 2015-02-12 2016-10-05 中国科学院西安光学精密机械研究所 基于隐层语义中层表达的图像检索方法
CN106156374A (zh) * 2016-09-13 2016-11-23 华侨大学 一种基于视觉词典优化和查询扩展的图像检索方法
CN106339486A (zh) * 2016-08-30 2017-01-18 西安电子科技大学 一种基于大规模词汇树的增量学习的图像检索方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102982165A (zh) * 2012-12-10 2013-03-20 南京大学 一种大规模人脸图像检索方法
CN105989094A (zh) * 2015-02-12 2016-10-05 中国科学院西安光学精密机械研究所 基于隐层语义中层表达的图像检索方法
CN106339486A (zh) * 2016-08-30 2017-01-18 西安电子科技大学 一种基于大规模词汇树的增量学习的图像检索方法
CN106156374A (zh) * 2016-09-13 2016-11-23 华侨大学 一种基于视觉词典优化和查询扩展的图像检索方法

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110163079A (zh) * 2019-03-25 2019-08-23 腾讯科技(深圳)有限公司 视频检测方法及装置、计算机可读介质和电子设备
CN110188223A (zh) * 2019-06-06 2019-08-30 腾讯科技(深圳)有限公司 图像处理方法、装置及计算机设备
WO2020244437A1 (zh) * 2019-06-06 2020-12-10 腾讯科技(深圳)有限公司 图像处理方法、装置及计算机设备
CN110188223B (zh) * 2019-06-06 2022-10-04 腾讯科技(深圳)有限公司 图像处理方法、装置及计算机设备
CN110321966A (zh) * 2019-07-11 2019-10-11 同方知网数字出版技术股份有限公司 一种加快图书相似性分析速度的方法
CN110321966B (zh) * 2019-07-11 2022-02-15 同方知网数字出版技术股份有限公司 一种加快图书相似性分析速度的方法
CN112540976A (zh) * 2019-09-20 2021-03-23 阿里巴巴集团控股有限公司 一种向量信息检索方法及系统
CN111859004A (zh) * 2020-07-29 2020-10-30 书行科技(北京)有限公司 检索图像的获取方法、装置、设备及可读存储介质
CN113792172A (zh) * 2021-11-15 2021-12-14 西安热工研究院有限公司 基于三角不等式的图像检索方法、系统、设备及存储介质

Similar Documents

Publication Publication Date Title
CN109241327A (zh) 图像检索方法及装置
Hu et al. A performance evaluation of gradient field hog descriptor for sketch based image retrieval
Hu et al. Gradient field descriptor for sketch based retrieval and localization
US8892542B2 (en) Contextual weighting and efficient re-ranking for vocabulary tree based image retrieval
Yasmin et al. Content based image retrieval by shape, color and relevance feedback
CN103927387A (zh) 图像检索系统及其相关方法和装置
Guan et al. On-device mobile landmark recognition using binarized descriptor with multifeature fusion
Iakovidou et al. Localizing global descriptors for content-based image retrieval
Meng et al. Object instance search in videos via spatio-temporal trajectory discovery
Altwaijry et al. Recognizing locations with google glass: A case study
Chen et al. Integrated content and context analysis for mobile landmark recognition
Lim et al. Scene recognition with camera phones for tourist information access
CN105205135A (zh) 一种基于主题模型的3d模型检索方法及其检索装置
Gonzalez-Diaz et al. Neighborhood matching for image retrieval
CN103995864B (zh) 一种图像检索方法和装置
Tolias et al. Towards large-scale geometry indexing by feature selection
Mikulik et al. Image retrieval for online browsing in large image collections
Gao et al. SHREC’15 Track: 3D object retrieval with multimodal views
Panda et al. Offline mobile instance retrieval with a small memory footprint
Sun et al. Search by detection: Object-level feature for image retrieval
Kim et al. Classification and indexing scheme of large-scale image repository for spatio-temporal landmark recognition
Giouvanakis et al. Saliency map driven image retrieval combining the bag-of-words model and PLSA
Tang et al. An efficient concept detection system via sparse ensemble learning
Battiato et al. Spatial hierarchy of textons distributions for scene classification
Chen et al. From universal bag-of-words to adaptive bag-of-phrases for mobile scene recognition

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20190118

RJ01 Rejection of invention patent application after publication