CN103995848A

CN103995848A - 图片搜索方法及装置

Info

Publication number: CN103995848A
Application number: CN201410189773.9A
Authority: CN
Inventors: 肖伟; 杜熙; 李颖超
Original assignee: Beijing Baidu Netcom Science and Technology Co Ltd
Current assignee: Beijing Baidu Netcom Science and Technology Co Ltd
Priority date: 2014-05-06
Filing date: 2014-05-06
Publication date: 2014-08-20
Anticipated expiration: 2034-05-06
Also published as: CN103995848B

Abstract

本发明提供一种图片搜索方法及装置，其中，图片搜索方法包括：获得客户端发送的当前图片，从当前图片中提取出当前特征，根据当前特征对倒排索引库进行检索，获取倒排索引值，其中，倒排索引库中包含多个与图片的特征一一对应的链表；根据倒排索引值对对应的链表进行归并排序处理；以及根据处理后的结果向客户端返回检索结果，以便向用户显示。本发明实施例，提取获得的当前图片的当前特征，根据当前特征对包含多个链表的倒排索引库进行检索获取倒排索引值，根据倒排索引值对对应的链表进行归并排序处理，并向用户显示检索结果，操作方便、实现简单，克服了依赖文字的输入来获取结果的不便。

Description

图片搜索方法及装置

技术领域

本发明涉及计算机技术领域，尤其涉及一种图片搜索方法及装置。

背景技术

随着互联网技术的发展，人们可以利用搜索引擎进行获得需要的信息。搜索引擎是指根据一定的策略、运用特定的计算机程序从互联网上搜集信息，在对信息进行组织和处理后，为用户提供检索服务，将用户检索相关的信息展示给用户的系统。

搜索引擎包括全文索引、目录索引、元搜索引擎、垂直搜索引擎、集合式搜索引擎、门户搜索引擎等。

传统的搜索引擎是依赖文字的输入来获取结果，这种模式在移动的时代不是很便利。例如，我们在大街上想去吃肯德基(KFC)，但是想先获取优惠券后再进去，此时，我们打开百度，通过关键词进行搜索会很麻烦。

发明内容

本发明旨在至少在一定程度上解决相关技术中的技术问题之一。为此，本发明的实施例在于提出一种利用图片进行搜索，从而获得所需信息的图片搜索方法及装置。

根据本发明实施例的图片搜索方法包括：获得客户端发送的当前图片，从当前图片中提取出当前特征，根据当前特征对倒排索引库进行检索，获取倒排索引值，其中，倒排索引库中包含多个与图片的特征一一对应的链表；根据倒排索引值对对应的链表进行归并排序处理；以及根据处理后的结果向客户端返回检索结果，以便向用户显示。

根据本发明实施例的图片搜索方法，提取获得的当前图片的当前特征，根据当前特征对倒排索引库进行检索获取倒排索引值，根据倒排索引值对对应的链表进行归并排序处理，并向用户显示检索结果，操作方便、实现简单，克服了依赖文字的输入来获取结果的不便。

根据本发明实施例的图片搜索装置包括：检索模块，用于获得客户端发送的当前图片，从当前图片中提取出当前特征，根据当前特征对倒排索引库进行检索，获取倒排索引值，其中，倒排索引库中包含多个与图片的特征一一对应的链表；处理模块，用于根据检索模块获取的倒排索引值对对应的链表进行归并排序处理；以及发送模块，用于根据处理模块处理后的结果向客户端返回检索结果，以便向用户显示。

根据本发明实施例的图片搜索装置，通过检索模块提取获得的当前图片的当前特征，并根据当前特征对倒排索引库进行检索获取倒排索引值，通过处理模块根据倒排索引值对对应的链表进行归并排序处理，通过发送模块向用户显示检索结果，操作方便、实现简单，克服了依赖文字的输入来获取结果的不便。

附图说明

图1是根据本发明一个实施例的图片搜索方法的流程图。

图2是根据本发明一个实施例的建立倒排索引库的流程图。

图3是根据本发明另一个实施例的图片搜索方法的流程图。

图4是根据本发明一个实施例的图片搜索装置的结构示意图。

图5是根据本发明另一个实施例的图片搜索装置的结构示意图。

图6是根据本发明一个实施例的建立模块的结构示意图。

具体实施方式

下面详细描述本发明的实施例，实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。

在本发明的实施例中，可以使用图片进行搜索，例如，针对背景技术中出现的需要获取KFC优惠券的情况，用户可以拿起手机拍一下KFC的门店，然后获取搜索结果，其中，第一条(排名(Rank)机制保证)就是优惠券的网址，实现相当方便。下面结合附图描述本发明实施例的图片搜索方法及装置。

图1是根据本发明一个实施例的图片搜索方法的流程图。如图1所示，该方法可以包括以下步骤：

S101、建立倒排索引库，其中，倒排索引库中包含多个与图片的特征一一对应的链表。

在该实施例中，如图2所示，上述步骤S101可以包括如下步骤：

S1011、获得与每个网站一一对应的描述文件，通过爬虫(Spider)从描述文件获取网站中的图片与通用资源标识符(Uniform Resource Identifier,简称URI)的映射关系。

在本实施例中，凡是想被图像搜索引擎搜索到的网站(即Web站点)，必须输出有效的能被爬虫(Spider)识别的描述文件，这个描述文件可以用现成的结构化语言比如可扩展标记语言(XML)来描述。这个描述文件可以规范每个URI与Web站点中的图片(或图像)的映射关系；可以规范Web站点在符合哪些位置信息例如指定了一个用户的搜索区域的情况下才可以出现；还可以规范下一个描述文件的位置，下一个描述文件可以是本站的，也可以是跨站的。

通过Spider从描述文件获取图片与URI的映射关系后，可以将映射关系保存至正排索引库中。

S1012、提取出所有图片的特征。

在本发明的实施例中，可以采用很多通用的提取算法提取所有图片的特征，例如可以采用词袋(bag of word，BOW)算法，提取图片中的不定个数的特征，每个特征对应一个特征向量，这样可以从一张图片中提取多个特征。

S1013、针对每个特征建立一个链表，链表中包含对应特征的权重和具有对应特征的图片标识及其权重信息。

在本发明的实施例中，每个特征对应一个链表，链表的元素是符合这个特征的图片标识(ID)。为了更好地做Rank，需要为每个图片ID赋予权重信息例如权重分数，还需要为每个特征赋予权重。

建立好与所有特征一一对应的链表，也就完成倒排索引库的建立，即倒排索引库中包含多个链表。

需要说明的是，该步骤S101为可选步骤，即若已建立好倒排索引库则不需要再次建立。

S102、获得客户端发送的当前图片，从当前图片中提取出当前特征，根据当前特征对倒排索引库进行检索，获取倒排索引值。

在本发明的实施例中，当用户在乘坐地铁时看到某个电影的海报后，若想购买观看该电影，则需要购买电影票，此时用户可以拿起手机拍下这个海报，并通过手机客户端发送海报图片,然后可以采用BOW或其他提取算法提取出当前特征。由于在步骤S101中已建立好倒排索引库，所以可以根据当前特征查询该倒排索引库获得倒排索引值。

S103、根据倒排索引值对对应的链表进行归并排序处理。

由于在步骤S102中会获得多个倒排索引值，所以需要根据倒排索引值对对应的链表进行归并，并对归并后的链表中的节点进行权重信息叠加，然后根据叠加后的权重信息对节点进行排序。

具体地，可以将每个节点中包含的所有特征的权重总和与包含的图片标识的权重信息之积作为对应节点叠加后的权重信息。

以表1所示的归并后的链表的节点为例，对如何计算节点的权重信息进行说明。

表1归并后的链表的节点

ID1	ID2	ID3
			A	A、B	B

其中，ID1、ID2和ID3表示图片的标识，假定它们对应的权重分别为m、n和p；A和B表示从当前图片中的提取的当前特征，假定它们对应的权重信息分别为a和b，则包含ID1和A的节点的权重信息为m*a，包含ID2和特征A、B的节点的权重信息为n*(a+b)，包含ID3和B的节点的权重信息为p*b。

在本发明实施例中，通过引入特征的权重和图片标识的权重信息，可以更好地将相关性高的网站的信息展现给用户，提高用户的搜索体验，其中，权重及权重信息的设定可以借鉴传统文本搜索引擎已经打好的分数，比如谷歌(Google)的Rank或者百度的Rank等，当然，也可以采用其他方式进行设定。

S104、根据处理后的结果向客户端返回检索结果，以便向用户显示。

在该实施例中，根据排序处理后的结果和正排索引库，可以获得权重高的图片标识对应的web站点信息，然后向客户端返回这些web站点信息，例如向客户端返回电影票的购买地址，从而引导用户完成线上购买。

当然，上述图片搜索方法实施例还可以应用于很多场景，例如，针对传统互联网的广告转化率比较低的情况，商家可以把自己的信用卡广告放到商场入口或者是新生报到处，然后感兴趣的用户拍下这些广告就跳转到线上网站，完成线上和线下的结合，从而大幅度提升广告转化率，引导用户进行相应的线上操作，给用户带来便利。

上述图片搜索方法实施例，从获得的当前图片提取当前特征，根据当前特征对倒排索引库进行检索获取倒排索引值，根据倒排索引值对对应的链表进行归并排序处理，根据处理后的结果向用户显示检索结果，操作方便、实现简单，克服了依赖文字的输入来获取结果的不便，并且可以更好地满足用户的需求，提高了用户的满意度和体验度。

图3是根据本发明另一个实施例的图片搜索方法的流程图。如图3所示，该方法可以包括以下步骤：

S301、建立倒排索引库，其中，倒排索引库中包含多个与图片的特征一一对应的链表。

其中，建立倒排索引库的过程可参见图2，对于描述文件可以采用多种形式进行描述，以XML描述的描述文件可以为如下形式：

<XML>

<URI>

<GPS>1；1<GPS>//经纬度

<R>100</R>//一百米以内有效

<URI>

<URI>

</XML>

由于每个网站有个入口XML，例如index.xml，因此，Spider能够在获知网站的XML后，建立这个Web站点中的图片与每个URI的映射关系。

在建立好图片与URI的映射关系后，可以将映射关系保存至正排索引库中。

另外，还可以从描述文件中获取位置信息，将位置信息也对应保存至正排索引数据库中。

S302、获得客户端发送的当前图片，从当前图片中提取出当前特征，根据当前特征对倒排索引库进行检索，获取倒排索引值。

在本发明的实施例中，当用户需要获取某些信息例如KFC的优惠券时，可以拿起手机拍一下KFC的门店，并通过手机客户端发送KFC的门店图片,然后可以采用BOW或其他提取算法提取出当前特征。由于在步骤S301中已建立好倒排索引库，所以可以根据当前特征查询该倒排索引库，获得倒排索引值。

S303、根据倒排索引值对对应的链表进行归并排序处理。

S304、获得排序处理后的链表中包含的图片标识对应的位置信息，根据位置信息对排序处理后的链表进行过滤。

由于图片中可能有很多地理相关特性，因此，需要有个过滤层，根据条件将不符合条件的结果过滤掉。例如，KFC有很多门店，当用户想在某个区域或位置的门店吃饭时，仅需获得对应位置门店的优惠券信息，而不是需要所有门店的优惠券信息。

具体地，可以从正排索引数据库中获得排序处理后的链表中包含的图片标识对应的位置信息，根据位置信息对经过排序处理后的链表进行过滤，最后获得符合要求的结果。

S305、根据处理后的结果向客户端返回检索结果，以便向用户显示。

在该实施例中，根据排序处理后的结果和正排索引库，可以获得权重高的图片标识对应的web站点信息，然后向客户端返回这些web站点信息，例如向客户端返回KFC优惠券的网址信息。

上述图片搜索方法实施例，建立包含多个链表的倒排索引库，提取获得的当前图片的当前特征，根据当前特征对倒排索引库进行检索获取倒排索引值，根据倒排索引值对对应的链表进行归并排序处理，对排序处理后的结果进行过滤，根据过滤后的结果向用户显示检索结果，操作方便、实现简单，克服了依赖文字的输入来获取结果的不便，另外，还可以根据位置信息对排序处理后的结果进行过滤，可以更好地应用于基于位置的服务(LBS)场景，从而可以更好地展现搜索结果，满足用户的需求，提高用户的满意度和体验度。

图4是根据本发明一个实施例的图片搜索装置的结构示意图。如图4所示，该图片搜索装置可以包括：检索模块41、处理模块42和发送模块43，其中：

检索模块41用于获得客户端发送的当前图片，从当前图片中提取出当前特征，根据当前特征对倒排索引库进行检索，获取倒排索引值，其中，所述倒排索引库中包含多个与图片的特征一一对应的链表；处理模块42用于根据检索模块获取的倒排索引值对对应的链表进行归并排序处理；发送模块43用于根据处理模块处理后的结果向客户端返回检索结果，以便向用户显示。

另外，该图片搜索装置还可以包括：建立模块44，如图5所示，该建立模块44用于建立倒排索引库。

具体地，如图6所示，该建立模块44可以包括：获得单元441、提取单元442和建立单元443，其中：获得单元441用于获得与每个网站一一对应的描述文件，通过爬虫从描述文件获取网站中的图片与通用资源标识符URI的映射关系；提取单元442用于提取出所有图片的特征；建立单元443用于针对每个特征建立一个链表，链表中包含对应特征的权重和具有对应特征的图片标识及其权重信息。

在本实施例中，描述文件必须是有效的且能被爬虫(Spider)识别，这个描述文件可以用现成的结构化语言比如可扩展标记语言(XML)或其他的语言来描述。这个描述文件可以规范每个URI与Web站点中的图片(或图像)的映射关系；可以规范Web站点在符合哪些位置信息例如指定了一个用户的搜索区域的情况下才可以出现；还可以规范下一个描述文件的位置，下一个描述文件可以是本站的，也可以是跨站的。

以XML描述的描述文件可以为如下形式：

<XML>

<URI>

<GPS>1；1<GPS>//经纬度

<R>100</R>//一百米以内有效

<URI>

<URI>

</XML>

具体地，处理模块42可以用于：根据倒排索引值对对应的链表进行归并，对归并后的链表中的节点进行权重信息叠加，根据叠加后的权重信息对节点进行排序；发送模块43可以用于：根据排序处理后的结果向客户端返回检索结果。其中处理模块42可以将每个节点中包含的所有特征的权重总和与包含的图片标识的权重信息之积作为对应节点叠加后的权重信息。

包含建立模块44、检索模块41、处理模块42和发送模块43的图片搜索装置可以引导用户购买电影票和办理信用卡等各种业务，具体实现过程可参见图1-图2，此处不赘述。

另外，上述获得单元441还可以在通过爬虫从描述文件获取网站中的图片与URI的映射关系之后，从描述文件获取位置信息，并将映射关系和位置信息对应保存至正排索引数据库中。

获得单元441获得位置信息是为了更好地满足LBS的需求，对于LBS业务，处理模块42还可以用于：在根据倒排索引值对对应的链表进行归并排序处理之后，从正排索引数据库中获得排序处理后的链表中包含的图片标识对应的位置信息，根据位置信息对排序处理后的链表进行过滤；发送模块43可以用于根据过滤结果向客户端返回检索结果，以便向用户显示。基于LBS业务的实现过程可参见图3，此处不赘述。

上述图片搜索装置实施例，通过检索模块提取获得的当前图片的当前特征，并根据当前特征对倒排索引库进行检索获取倒排索引值，通过处理模块根据倒排索引值对对应的链表进行归并排序处理，通过发送模块向用户显示检索结果，操作方便、实现简单，克服了依赖文字的输入来获取结果的不便，另外，还可以根据位置信息对排序处理后的结果进行过滤，可以更好地应用于LBS场景，从而可以更好地展现搜索结果，满足用户的需求，提高用户的满意度和体验度。

此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本发明的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本发明的实施例所属技术领域的技术人员所理解。

应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。

本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。

此外，在本发明各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。

上述提到的存储介质可以是只读存储器，磁盘或光盘等。

尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims

1.一种图片搜索方法，其特征在于，所述方法包括：

获得客户端发送的当前图片，从所述当前图片中提取出当前特征，根据所述当前特征对倒排索引库进行检索，获取倒排索引值，其中，所述倒排索引库中包含多个与图片的特征一一对应的链表；

根据所述倒排索引值对对应的链表进行归并排序处理；以及

根据处理后的结果向所述客户端返回检索结果，以便向所述用户显示。

2.根据权利要求1所述的方法，其特征在于，在所述根据所述当前特征对倒排索引库进行检索之前，所述方法还包括：

建立倒排索引库。

3.根据权利要求2所述的方法，其特征在于，所述建立倒排索引库包括：

获得与每个网站一一对应的描述文件，通过爬虫从所述描述文件获取所述网站中的图片与通用资源标识符URI的映射关系；

提取出所有图片的特征；以及

针对每个特征建立一个链表，所述链表中包含对应特征的权重和具有对应特征的图片标识及其权重信息。

4.根据权利要求3所述的方法，其特征在于，所述根据所述倒排索引值对对应的链表进行归并排序处理，包括：

根据所述倒排索引值对对应的链表进行归并，对归并后的链表中的节点进行权重信息叠加，根据叠加后的权重信息对所述节点进行排序；

所述根据处理后的结果向所述客户端返回检索结果包括：

根据排序处理后的结果向所述客户端返回所述检索结果。

5.根据权利要求4所述的方法，其特征在于，所述对归并后的链表中的节点进行权重信息叠加包括：

将每个节点中包含的所有特征的权重总和与包含的图片标识的权重信息之积作为对应节点叠加后的权重信息。

6.根据权利要求5所述的方法，其特征在于，在所述通过爬虫从所述描述文件获取所述网站中的图片与URI的映射关系之后，所述方法还包括：

从所述描述文件获取位置信息；

将所述映射关系和所述位置信息对应保存至正排索引数据库中。

7.根据权利要求6所述的方法，其特征在于，在所述根据所述倒排索引值对对应的链表进行归并排序处理之后，所述方法还包括：

从所述正排索引数据库中获得排序处理后的链表中包含的图片标识对应的位置信息，根据所述位置信息对排序处理后的链表进行过滤；

所述根据处理后的结果向所述客户端返回检索结果包括：

根据过滤结果向所述客户端返回检索结果，以便向所述用户显示。

8.一种图片搜索装置，其特征在于，所述装置包括：

检索模块，用于获得客户端发送的当前图片，从所述当前图片中提取出当前特征，根据所述当前特征对倒排索引库进行检索，获取倒排索引值，其中，所述倒排索引库中包含多个与图片的特征一一对应的链表；

处理模块，用于根据所述检索模块获取的所述倒排索引值对对应的链表进行归并排序处理；以及

发送模块，用于根据所述处理模块处理后的结果向所述客户端返回检索结果，以便向所述用户显示。

9.根据权利要求8所述的装置，其特征在于，所述装置还包括：

建立模块，用于在所述检索模块根据所述当前特征对倒排索引库进行检索之前，建立倒排索引库。

10.根据权利要求9所述的装置，其特征在于，所述建立模块包括：

获得单元，用于获得与每个网站一一对应的描述文件，通过爬虫从所述描述文件获取所述网站中的图片与通用资源标识符URI的映射关系；

提取单元，用于提取出所有图片的特征；以及

建立单元，用于针对每个特征建立一个链表，所述链表中包含对应特征的权重和具有对应特征的图片标识及其权重信息。

11.根据权利要求10所述的装置，其特征在于，所述处理模块，具体用于：根据所述倒排索引值对对应的链表进行归并，对归并后的链表中的节点进行权重信息叠加，根据叠加后的权重信息对所述节点进行排序；

所述发送模块，具体用于：根据排序处理后的结果向所述客户端返回所述检索结果。

12.根据权利要求11所述的装置，其特征在于，所述处理模块，具体用于：将每个节点中包含的所有特征的权重总和与包含的图片标识的权重信息之积作为对应节点叠加后的权重信息。

13.根据权利要求10所述的装置，其特征在于，所述获得单元，还用于：在通过爬虫从所述描述文件获取所述网站中的图片与URI的映射关系之后，从所述描述文件获取位置信息，将所述映射关系和所述位置信息对应保存至正排索引数据库中。

14.根据权利要求13所述的装置，其特征在于，所述处理模块，还用于：在根据所述倒排索引值对对应的链表进行归并排序处理之后，从所述正排索引数据库中获得排序处理后的链表中包含的图片标识对应的位置信息，根据所述位置信息对排序处理后的链表进行过滤；

所述发送模块，具体用于：根据过滤结果向所述客户端返回检索结果，以便向所述用户显示。