CN103838724A

CN103838724A - 图像搜索方法及装置

Info

Publication number: CN103838724A
Application number: CN201210473675.9A
Authority: CN
Inventors: 刘娟
Original assignee: Beijing Baidu Netcom Science and Technology Co Ltd
Current assignee: Beijing Baidu Netcom Science and Technology Co Ltd
Priority date: 2012-11-20
Filing date: 2012-11-20
Publication date: 2014-06-04
Anticipated expiration: 2032-11-20
Also published as: CN103838724B

Abstract

本发明提出一种图像搜索方法，包括如下步骤：提取一个或多个图像的特征信息，并根据所述特征信息为所述图像建立索引；获取用户设置的多个关键词及多个所述关键词的搜索优先级，根据所述搜索优先级从所述一个或多个图像的索引中搜索与所述关键词对应的特征信息的图像，并将对应的图像加入至图像结果集；将所述图像结果集按照所述搜索优先级逐次呈现给用户，并在所述图像结果集的数量小于第一预设阈值时，停止搜索。本发明还提出一种图像搜索装置。本发明可以提高图像搜索的精确度，并且用户的体验度较高。

Description

图像搜索方法及装置

技术领域

本发明涉及图像搜索领域，特别涉及一种图像搜索方法及装置。

背景技术

目前，在图像搜索领域中，首先，主要采用图像识别方法来提取搜索可利用的特征，然后与样本库进行一一比对，再输出相匹配的结果。

但是，这种图像搜索方式存在以下缺点：在提取特征的过程中，需要考虑图像中是否包括可作为线索的文字，并且通常需要借助于人工干预来提取图像信息，例如，图像分类、图像属性信息、图像内容特征等。这种方式在无形之中增加了工作量，并且不利于高精度搜索，搜索精度较低，并且带给用户的体验度也不高。

发明内容

本发明旨在至少在一定程度上解决上述技术问题之一或至少提供一种有用的商业选择。为此，本发明的一个目的在于提出一种搜索结果更加精确且用户体验度更好的图像搜索方法。本发明的另一个目的在于提出一种图像搜索装置。

为实现上述目的，本发明第一方面的实施例提供一种图像搜索方法，包括如下步骤：

提取一个或多个图像的特征信息，并根据所述特征信息为所述图像建立索引；

获取用户设置的多个关键词及多个所述关键词的搜索优先级，根据所述搜索优先级从所述一个或多个图像的索引中搜索与所述关键词对应的特征信息的图像，并将对应的图像加入至图像结果集；以及

将所述图像结果集按照所述搜索优先级逐次呈现给用户，并在所述图像结果集的数量小于第一预设阈值时，停止搜索。

根据本发明实施例的图像搜索方法，考虑到图像搜索领域的特点，采用统一化特征提取与搜索，并对搜索到的图像采用阶梯状呈现的方式供用户参考，有利于针对不同需求的用户，并且这种逐级递进的搜索方式可以提高图像搜索的精确度，也可以给用户带来更好的体验。

在本发明的一个实施例中，所述搜索优先级通过所述关键词和对应的图像结果集的匹配度进行调整。

此外，本发明的图像搜索方法还包括如下步骤：计算所述关键词和对应的图像结果集的匹配度；如果所述匹配度大于或等于第二预设阈值，则将当前图像结果集呈现给所述用户。

其中，所述特征信息包括文字信息、视觉信息、拍摄信息和描述信息中的一种或多种的组合。

在本发明的另一个实施例中，所述索引以表格形式记录所述一个或多个图像的特征信息。

本发明第二方面的实施例提供一种图像搜索装置，包括：特征提取模块，用于提取图像库中的一个或多个图像的特征信息；索引模块，用于根据所述特征信息为所述图像建立索引；获取模块，用于获取用户设置的多个关键词及多个所述关键词的搜索优先级；搜索模块，用于根据所述搜索优先级从所述一个或多个图像的索引中搜索与所述关键词对应的特征信息的图像，并将对应的图像加入至图像结果集，并在所述图像结果集的数量小于第一预设阈值时，停止搜索；显示模块，用于将所述图像结果集按照所述搜索优先级逐次呈现给用户。

根据本发明实施例的图像搜索装置，考虑到图像搜索领域的特点，采用统一化特征提取与搜索，并对搜索到的图像采用阶梯状呈现的方式供用户参考，有利于针对不同需求的用户，并且这种逐级递进的搜索方式可以提高图像搜索的精确度，也可以给用户带来更好的体验。

此外，本发明实施例的图像搜索装置，还包括：匹配度计算模块，用于计算所述关键词和对应的图像结果集的匹配度，并将所述匹配度与第二预设阈值进行比较，其中，所述显示模块还用于在所述匹配度大于或等于第二预设阈值，则将当前图像结果集呈现给所述用户。

在本发明的又一个实施例中，所述索引以表格形式记录所述一个或多个图像的特征信息。

本发明的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

本发明的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解，其中：

图1为根据本发明实施例的图像搜索方法的流程图；以及

图2为根据本发明实施例的图像搜索装置的示意图。

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。

此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。

在本发明中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”、“固定”等术语应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。

下面参考图1描述根据本发明实施例的图像搜索方法。

如图1所示，本发明实施例的图像搜索方法，包括如下步骤：

步骤S101，提取一个或多个图像的特征信息，并根据特征信息为图像建立索引。

具体地，在图像库中可以包括一个或多个图像，其中每个图像均具有特征信息。在本发明的一个示例中，特征信息包括文字信息、视觉信息、拍摄信息和描述信息中的一种或多种的组合。然后，在图像库中进行索引。其中，索引可以以表格形式记录一个或多个图像的特征信息。

具体地，首先，提取各个图像的特征信息。其中，文字信息，例如为文字数量、文字内容、文字大小等。视觉信息，例如为颜色、纹理、形状等。图像拍摄的信息，例如为拍摄地点、拍摄时间等。图像的描述信息，例如为图像名称、属性等。

在建立各个图像的索引后，形成包括以上述各个特征信息为项目的表格。

步骤S102，获取用户设置的多个关键词及多个关键词的搜索优先级，根据设置的搜索优先级逐级从一个或多个图像的索引中搜索与关键词对应的特征信息的图像，并将对应的图像加入至图像结果集。

在图像搜索时，提供要搜索的关键词，即搜索的内容信息，该内容信息可以包括图像库表格中的各个特征信息中的一个或多个，例如：两只、猫咪、秋天等。关键词也可以包括图像本身。如果是图像本身，则需要从图像本身提取各个特征信息。

搜索优先级是指用户设置的多个关键词在搜索过程的优先级，搜索的顺序。例如，用户可以设置搜索优先级由高到低依次为：猫咪、秋天、两只，则优先搜索特征信息为猫咪的图像，其次为特征信息为秋天的图像，最后为特征信息为两只的图像。

然后，将优先级中的每个阶段搜索到的图像加入至图像结果集。

步骤S103，将图像结果集按照搜索优先级逐次呈现给用户，并在图像结果集的数量小于第一预设阈值时，停止搜索。

在图像搜索过程中，依据各个特征信息以阶梯状向用户呈现各个特征信息的图像结果，从而供用户筛选。具体地，在第一阶梯中，选取与第一特征信息最邻近的信息内容，由此进行表格筛选。其中，第一特征信息可以由用户预先设置，也可以自动根据用户输入的关键词自动提取得到。

判断此时经过筛选之后的结果集是否小于第一预设阈值，如果否，则进入下一阶梯筛选过程。直到在经历了若干阶梯步骤之后，搜索得到的结果集满足小于第一预设阈值，即用户想要得到的数量集合之后，才向用户呈现。

优选地，搜索优先级可以通过关键词和对应的图像结果集的匹配度进行调整。

在得到的图像结果集中，如果用户不满足于当前的结果，可适当调制其中的一个或多个关键词的搜索内容，由此适当调制要搜索的内容。

例如，用户设置关键词的搜索优先级依次为：2012年、伦敦、奥运会等等，则首先对“2012年”对应的图像进行一次筛选,获得第一图像结果集，并呈现给用户。同时经过与第一预设阈值进行比较，判断第一图像结果集中图像数量是否小于第一预设阈值，如果否则在上述第一图像结果集中继续搜索“伦敦”对应的图像，获得第二图像结果集，并呈现给用户。同时将第二图像结果集经过与第一预设阈值进行比较，判断该第二图像结果集中图像数量是否小于第一预设阈值，如果否则上述第二图像结果集中继续搜索“奥运会”对应的图像，得到第三图像集，以此类推，，从而缩小搜索结果的范围，直至获得的图像结果集小于第一预设阈值。

通过上述逐级推进的方式，在每个阶段获得的图像结果集均呈现给用户，而并非直接武断地按序呈现结果，从而避免了一下提供过多的搜索结果供用户选择，导致提供的搜索结果中包含的信息可能与要搜索的内容相差甚远，进而可以提高搜索的精确度，并且这种逐层呈现的方式，给用户带来的体验也更好。

此外，本发明的图像搜索方法不仅考虑到各个特征信息的重要性，而且还考虑到阶梯筛选的过程，有利于用户获得更加贴切的图像结果。

用户在搜索之前，为了获得更加适当的结果，优选地，在将关键词列为搜索依据之前，可以利用主观判断系统进行属性提取，然后得到与用户进行的提取之间的差距，由此得到系统判断的倾向。这样更可以倾向更加有利于用户在各个阶梯筛选过程中进行主观的判断。

因为有些属性是相对有决定性的，例如，拍摄地点和拍摄时间。只要用户已经确定，则可以直接很直观的判断。当然，还有一些属性是相对柔性的，难以直接判断的，例如，不规则的形状，如果用户文字来表述，可能相对模糊，这时候用户需要借助于更多的关键词作为搜索内容。

在本发明的一个实施例中，在步骤S101的索引建立期间，优选地，可以进行人工干预，由此提高信息库的正确率。

此外，在用户搜索过程中，可以向用户预演各个属性的提取过程，由此提高用户对于系统提取属性的认识度，更加有利于用户在搜索过程中得到满意的结果。

在本发明的一个实施例中，还包括如下步骤：计算关键词和对应的图像结果集的匹配度；如果匹配度大于或等于第二预设阈值，则将当前图像结果集呈现给用户。其中，匹配度的计算是在每个搜索阶段和图像结果集数量的判断同时进行的。由此，不必对于每个属性进行搜索，也不必一定在结果小于第一预设阈值时向用户呈现，如果在图像结果中得到匹配度达到第二预设阈值以上时，也可以在阶梯搜索过程期间逐渐向用户提供搜索到的结果集以供用户参考。

根据用户需求不同，对于图像结果的要求也不同，因此，用户可选择性使用其中的特征信息。例如，用户不关心具体时间、仅关心具体地点等。或者，用户不希望查找完全相同的区域的信息，仅希望查找具有类似功能的信息。所以，利用本发明实施例提供的图像搜索方法可以更加有利于满足不同需求的用户的要求，避免了武断地判断用户的需求。

根据本发明实施例的图像搜索方法，考虑到图像搜索领域的特点，采用统一化特征提取与搜索，并对搜索到的图像采用阶梯状呈现的方式供用户参考，有利于针对不同需求的用户，并且这种的搜索方式可以提高图像搜索的精确度，也可以给用户带来更好的体验。

下面参考图2描述根据本发明实施例的图像搜索装置200。

如图2所述，本发明实施例的图像搜索装置200，包括特征提取模块210、索引模块220、获取模块230、搜索模块240和显示模块250。

具体地，特征提取模块210用于提取图像块中的一个或多个图像的特征信息。

具体地，在图像库中可以包括一个或多个图像，其中每个图像均具有特征信息。在本发明的一个示例中，特征信息包括文字信息、视觉信息、拍摄信息和描述信息中的一种或多种的组合。具体地，特征提取模块210提取各个图像的特征信息。其中，文字信息，例如为文字数量、文字内容、文字大小等。视觉信息，例如为颜色、纹理、形状等。图像拍摄的信息，例如为拍摄地点、拍摄时间等。图像的描述信息，例如为图像名称、属性等。

在本发明的一个实施例中，特征信息包括文字信息、视觉信息、拍摄信息和描述信息中的一种或多种的组合。

索引模块220用于根据特征信息为图像建立索引。其中，索引以表格形式记录一个或多个图像的特征信息。

然后，索引模块220在图像库中进行索引。其中，索引可以以表格形式记录一个或多个图像的特征信息。索引模块220在建立各个图像的索引后，形成包括以上述各个特征信息为项目的表格。

获取模块230用于获取用户设置的多个关键词及多个关键词的搜索优先级。搜索模块240用于根据搜索优先级从一个或多个图像的索引中搜索与关键词对应的特征信息的图像，并将对应的图像加入至图像结果集，并在搜索到的图像结果集的数量小于第一预设阈值时，停止搜索。显示模块250用于将图像结果集按照搜索优先级逐次呈现给用户。

在图像搜索时，获取模块230获取用户设置搜索的关键词，即搜索的内容信息，该内容信息可以包括图像库表格中的各个特征信息中的一个或多个，例如：两只、猫咪、秋天等。关键词也可以包括图像本身。如果是图像本身，则需要从图像本身提取各个特征信息。

然后，搜索模块240将优先级中的每个阶段搜索到的图像加入至图像结果集。

在图像搜索过程中，显示模块250依据各个特征信息以阶梯状向用户呈现各个特征信息的图像结果，从而供用户筛选。具体地，在第一阶梯中，搜索模块240选取与第一特征信息最邻近的信息内容，由此进行表格筛选。其中，第一特征信息可以由用户预先设置，也可以自动根据用户输入的关键词自动提取得到。

搜索模块240判断此时经过筛选之后的结果集是否小于第一预设阈值，如果否，则进入下一阶梯筛选过程。直到在经历了若干阶梯步骤之后，搜索得到的结果集满足小于第一预设阈值，即用户想要得到的数量集合之后，才向用户呈现。

通过上述逐级推进的方式，显示模块250将在每个阶段获得的图像结果集均呈现给用户，而并非直接武断地按序呈现结果，从而避免了一下提供过多的搜索结果供用户选择，导致提供的搜索结果中包含的信息可能与要搜索的内容相差甚远，进而可以提高搜索的精确度，并且这种逐层呈现的方式，给用户带来的体验也更好。

此外，本发明的图像搜索装置不仅考虑到各个特征信息的重要性，而且还考虑到阶梯筛选的过程，有利于用户获得更加贴切的图像结果。

在本发明的一个实施例中，在索引模块220索引建立期间，优选地，可以进行人工干预，由此提高信息库的正确率。

在本发明的一个实施例中，本发明实施例的图像搜索装置200还包括匹配度计算模块，用于计算关键词和对应的图像结果集的匹配度，并将匹配度与第二预设阈值进行比较。当匹配度计算模块计算到的匹配度大于或等于第二预设阈值时，显示模块250将当前图像结果集呈现给用户。

其中，匹配度的计算是在每个搜索阶段和图像结果集数量的判断同时进行的。由此，不必对于每个属性进行搜索，也不必一定在结果小于第一预设阈值时向用户呈现，如果在图像结果中得到匹配度达到第二预设阈值以上时，也可以在阶梯搜索过程期间逐渐向用户提供搜索到的结果集以供用户参考。

根据用户需求不同，对于图像结果的要求也不同，因此，用户可选择性使用其中的特征信息。例如，用户不关心具体时间、仅关心具体地点等。或者，用户不希望查找完全相同的区域的信息，仅希望查找具有类似功能的信息。所以，利用本发明实施例提供的图像搜索装置可以更加有利于满足不同需求的用户的要求，避免了武断地判断用户的需求。

流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本发明的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本发明的实施例所属技术领域的技术人员所理解。

在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备（如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统）使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例（非穷尽性列表）包括以下：具有一个或多个布线的电连接部（电子装置），便携式计算机盘盒（磁装置），随机存取存储器（RAM），只读存储器（ROM），可擦除可编辑只读存储器（EPROM或闪速存储器），光纤装置，以及便携式光盘只读存储器（CDROM）。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。

应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列（PGA），现场可编程门阵列（FPGA）等。

本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。

此外，在本发明各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。

上述提到的存储介质可以是只读存储器，磁盘或光盘等。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。

尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在不脱离本发明的原理和宗旨的情况下在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims

1.一种图像搜索方法，其特征在于，包括如下步骤：

2.如权利要求1所述的图像搜索方法，其特征在于，所述搜索优先级通过所述关键词和对应的图像结果集的匹配度进行调整。

3.如权利要求1所述的图像搜索方法，其特征在于，还包括如下步骤：

计算所述关键词和对应的图像结果集的匹配度；

如果所述匹配度大于或等于第二预设阈值，则将当前图像结果集呈现给所述用户。

4.如权利要求1所述的图像搜索方法，其特征在于，所述特征信息包括文字信息、视觉信息、拍摄信息和描述信息中的一种或多种的组合。

5.如权利要求1-4任一项所述的图像搜索方法，其特征在于，所述索引以表格形式记录所述一个或多个图像的特征信息。

6.一种图像搜索装置，其特征在于，包括：

特征提取模块，用于提取图像库中的一个或多个图像的特征信息；

索引模块，用于根据所述特征信息为所述图像建立索引；

获取模块，用于获取用户设置的多个关键词及多个所述关键词的搜索优先级；

搜索模块，用于根据所述搜索优先级从所述一个或多个图像的索引中搜索与所述关键词对应的特征信息的图像，并将对应的图像加入至图像结果集，并在所述图像结果集的数量小于第一预设阈值时，停止搜索；以及

显示模块，用于将所述图像结果集按照所述搜索优先级逐次呈现给用户。

7.如权利要求6所述的图像搜索装置，其特征在于，所述搜索优先级通过所述关键词和对应的图像结果集的匹配度进行调整。

8.如权利要求6所述的图像搜索装置，其特征在于，还包括：

匹配度计算模块，用于计算所述关键词和对应的图像结果集的匹配度，并将所述匹配度与第二预设阈值进行比较，

其中，所述显示模块还用于在所述匹配度大于或等于第二预设阈值，则将当前图像结果集呈现给所述用户。

9.如权利要求6所述的图像搜索装置，其特征在于，所述特征信息包括文字信息、视觉信息、拍摄信息和描述信息中的一种或多种的组合。

10.如权利要求6-9任一项所述的图像搜索装置，其特征在于，所述索引以表格形式记录所述一个或多个图像的特征信息。