CN102063472A - 图片搜索方法、图片搜索系统、客户端和服务器 - Google Patents

Abstract

本发明提供一种图片搜索方法、图片搜索系统、客户端和服务器，其中，图片搜索方法包括：客户端获取待搜索的目标图片和针对该目标图片的第一关联信息，且将第一关联信息发送至服务端，同时客户端获取目标图片的视觉单词；服务端基于客户端的第一关联信息查找其内部的视觉单词词典库中视觉单词词典，以及将该视觉单词词典发送至客户端；所述客户端基于服务端发送的视觉单词词典得到目标视觉单词，并将其发送至所述服务端；所述服务端接收所述目标视觉单词，并查找对应该目标视觉单词的一个以上的结果图片和相关的扩展信息，以及将其发送至客户端。上述图片搜索方法缩短了客户检索等待时间，提高了检索性能与效率，该方法可适用于各个领域。

Description

图片搜索方法、图片搜索系统、客户端和服务器

技术领域

本发明涉及图片的识别与搜索技术领域，尤其涉及一种图片搜索方法、图片搜索系统、客户端和服务器。

背景技术

目前，基于文本的视频、图片的检索技术已经非常成熟。然而，由于某些图片无法用文字精确的描述，导致在文本检索的结果出现较多的错误信息或非用户需要的信息。近年来国内外涌现出大量有关视觉检索方法即直接采用图片进行搜索的研究成果，但视觉检索技术的检索结果仍然不尽人意，特别是针对海量图片数据库的检索，由于数据库的图片数量庞大，应用完全基于内容的图像检索技术，不能达到满意的搜索准确率与效率。

具体地，当前视觉搜索方法的步骤主要包括，首先，客户端发送查询图片给服务端，服务端接收查询图片；接着，服务端根据现有的相似性度量方法在服务端的数据库(如上述的海量图片数据库)中查找其相似图片；最后将查找的结果发送至客户端。上述视觉搜索方法出现的严重问题是：客户端向服务端发送的数据量非常大。由于现有的网络上行带宽的限制，客户端向服务端传输较大的数据的需要相当长的时间，进一步导致服务端的查询响应时间也是相当长，从而使得图片的检索效率低下。即从客户端到服务端传输数据时间严重影响了检索系统的查询响应时间，用户长时间的等待严重降低了用户的实际应用。此外，完全基于内容的图像检索方法，忽略了图片可能携带的关联信息(例如，位置信息、电子标签信息等)，导致搜索精度不能满足用户需求，且上述检索方式无法推广使用。

鉴于此，如何提供一种利用关联信息，基于图片内容分析，实现快速精准检索的方法成为当前需要解决的技术问题。

发明内容

针对现有技术中的缺陷，本发明提供一种图片搜索方法和搜索系统，该方法和系统能够提高图片搜索的检索速度，同时缩短了用户的等待时间，并提升了检索的准确率。

另外，本发明还提供一种客户端，该移动终端能够使用户较快地利用图片查询以获取相关信息，其提高了通过图片搜索相关信息的速度，降低了用户的等待时间。

本发明还提供一种服务器，该服务端能够较快并较准确地响应查询目标图片以获取相关信息的能力，节省了用户采用图片查询时的等待时间。

本发明提供的图片搜索方法，包括：

客户端获取待搜索的目标图片和针对该目标图片的第一关联信息；

所述客户端将所述第一关联信息发送至服务端，以及所述客户端获取所述目标图片的一个以上的特征，并将该些特征转换为视觉单词；

所述服务端接收所述第一关联信息，并基于所述第一关联信息查找其内部的视觉单词词典库中相应于该第一关联信息的类别的视觉单词词典，以及将该视觉单词词典发送至所述客户端；

所述客户端接收所述视觉单词词典，分析所述视觉单词和所述视觉单词词典，得到对应所述目标图片的目标视觉单词，并将所述目标视觉单词发送至所述服务端；

所述服务端接收所述目标视觉单词，并依据该目标视觉单词查找其内部的原始视觉单词词典的视觉单词索引表，得到对应该目标视觉单词的一个以上的结果图片，同时获得该结果图片的扩展信息，所述服务端将所述结果图片和所述结果图片的扩展信息发送至所述客户端。

根据本发明的另一方面，本发明还提供一种图片搜索系统，其包括：

目标图片获取模块，用于在客户端获取待搜索的目标图片和针对该目标图片的第一关联信息；

视觉单词获取模块，用于在所述客户端获取所述目标图片的一个以上的特征，并将该些特征转换为视觉单词；

目标视觉单词获取模块，用于在所述客户端获得服务端发送的相应于所述目标图片的第一关联信息的类别的视觉单词词典，并分析所述视觉单词和所述视觉单词词典，得到对应所述目标图片的目标视觉单词；

上行传输模块，用于在所述客户端将所述第一关联信息发送至所述服务端，并且用于在所述客户端将所述目标视觉单词发送至所述服务端；

查询模块，用于在所述服务端基于所述第一关联信息查找其内部的视觉单词词典库中相应于该第一关联信息的类别的视觉单词词典；并且用于在所述服务端基于所述客户端发送的所述目标视觉单词查找其内部的原始视觉单词词典的视觉单词索引表，得到对应该目标视觉单词的一个以上的结果图片，同时获得该结果图片的扩展信息；

下行传输模块，用于在所述服务端将服务端查找的所述相应于第一关联信息类别的视觉单词词典发送至所述客户端，并且用于在所述服务端将所述结果图片和所述结果图片的扩展信息发送至所述客户端；

接收模块，用于在所述客户端接受所述相应于第一关联信息类别的视觉单词词典；并且用于在所述客户端接收所述服务端发送的所述结果图片和所述结果图片的扩展信息。

本发明还提供一种客户端，其包括：

目标图片获取模块，用于在客户端获取待搜索的目标图片和针对该目标图片的第一关联信息；

视觉单词获取模块，用于在所述客户端获取所述目标图片的一个以上的特征，并将该些特征转换为视觉单词；

目标视觉单词获取模块，用于在所述客户端获得服务端发送的相应于所述目标图片的第一关联信息的类别的视觉单词词典，并分析所述视觉单词和所述视觉单词词典，得到对应所述目标图片的目标视觉单词；

上行传输模块，用于在所述客户端将所述第一关联信息发送至所述服务端，并且用于在所述客户端将所述目标视觉单词发送至所述服务端；

接收模块，用于在所述客户端接受所述相应于第一关联信息类别的视觉单词词典；并且用于在所述客户端接收所述服务端发送的所述结果图片和所述结果图片的扩展信息。

本发明还提供一种服务器，其包括：

关联信息类别生成模块，依据所述图片的第二关联信息的相似性度量规则，将服务器内部图片的第二关联信息采用聚类方式划分为多个第二关联信息类别，该第二关联信息类别包括所述第一关联信息类别；

类别视觉单词词典生成模块，依据所述第二关联信息类别，所述服务器将其内部的所述原始视觉单词词典划分为一个以上的相应于该第二关联信息类别的视觉单词词典，所有相应于第二关联信息类别的视觉单词词典构成所述视觉单词词典库；

原始视觉单词词典生成模块，服务器将其内部的图片采用聚类方式建立一所述服务器的原始视觉单词词典；

查询模块，用于在所述服务器基于所述第一关联信息查找其内部的视觉单词词典库中相应于该第一关联信息的类别的视觉单词词典；并且用于在所述服务器基于所述客户端发送的所述目标视觉单词查找其内部的所述原始视觉单词词典的视觉单词索引表，得到对应该目标视觉单词的一个以上的结果图片，同时获得该结果图片的扩展信息；

下行传输模块，用于在所述服务器将服务器查找的所述相应于第一关联信息类别的视觉单词词典发送至所述客户端，并且用于在所述服务器将所述结果图片和所述结果图片的扩展信息发送至所述客户端。

本发明的基于关联信息的图片搜索方法和搜索系统，能够实现客户端和服务端之间的低比特传输数据，能缩短了用户在查询目标图片时的等待时间，同时提高了系统中的服务端的响应时间，进而提高了图片搜索方法中的效率。进一步地，本发明中的搜索方法还能够提高检索结果的准确率。本发明能够推广应用于各种图片的检索，且能够获取到结果图片的扩展信息，使得该方法的适用范围较广，可使用各个领域，方便用户检索各类信息。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明中的图片搜索方法实施例一的步骤流程图；

图2为本发明中的图片搜索方法实施例二的步骤流程图；

图3为本发明的图片搜索方法实施例三中采用的谱聚类方式划分关联信息类的流程图；

图4为本发明的图片搜索方法实施例三中筛选出与关联信息对应的视觉单词词典的流程图；

图5为本发明中的图片搜索系统实施例的结构示意图；

图6为本发明中的客户端实施例的结构示意图；

图7为本发明中的服务器实施例的结构示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明主要是提供一种图片搜索方法，该搜索方法能够结合关联信息和图片内容相似性较快地获取需要检索的目标图片的结果图片及其相关的扩展信息。其中，该图片搜索方法主要是利用关联信息作为先验信息训练出视觉单词词典，根据该视觉单词词典生成目标图片的目标视觉单词发送给服务端，从而有效减小描述图片视觉单词数目，降低了传输给服务端的数据量，达到移动终端与服务端之间的数据低比特传输，其可有效解决在当前带宽限制下，数据传输时间长的问题，同时能够减小服务端的响应时间，进而能够较好的节省用户等待的时间。

以下描述中需要注意的是：

视觉单词：对视觉特征空间的进行离散划分，每个单词为一个划分，采用图片特征来描述图片内容，为最基本的数据特征；

视觉单词词典：图片数据库中所有或挑选的部分图片的视觉单词构成的集合。

第一实施例

参照图1所示，图1示出了本发明中的图片搜索方法实施例一的步骤流程图；其中，本实施例中的图片搜索方法，包括：

步骤101：客户端获取待搜索的目标图片和针对该目标图片的第一关联信息。该处的目标图片为任意一张图片，如目标图片可为地标图片、书本封页的图片、商品的外观照片、博物馆场馆指示标志的全局照片或部分包含条形码或电子标签的图片、或者为风景照片等等，本发明中对其目标图片的类型和图片内容不进行限定。

举例来说，若目标图片选自地标图片时，则第一关联信息可为所述地标图片中的建筑物、所述地标图片对应的地理位置信息、所述建筑物对应的地理位置信息或所述地标图片中的自然景观对应的地理位置信息等等；若所述目标图片为书本图片，则所述第一关联信息为所述书本图片中的书本的出版社徽标或名称；以及所述目标图片为商品的照片时，所述第一关联信息为所述目标图片中的所述商品的商标、条形码或电子标签；或者，所述目标图片为博物馆场馆指示的图片，所述第一关联信息为所述指示图片中的条形码或电子标签。

应了解的是，上述的第一关联信息为与目标图片的内容相关的信息，该第一关联信息是从另一个角度对目标图片的内容进行描述，第一关联信息既可以对目标图片中的内容进行精确描述，也可以对目标图片中的内容进行大概、粗略的描述/反映。上述第一关联信息可以是移动终端直接获取的信息，或自己判断的信息，或属于文本类的信息，还可能是通过传感器获得的相关数据等。当然，本实施例中不限定获取第一关联信息的方式。另外，对于以下描述的服务端中的图片的第二关联信息是和上述第一关联信息相近似，其相对于图片的目的和作用同上记载，以下对其第二关联信息不再详述。

步骤102：所述客户端将所述第一关联信息发送至服务端，以及所述客户端获取所述目标图片的一个以上的特征，并将该些特征转换为视觉单词。

具体地，本实施例中的客户端可通过提取所述目标图片的颜色直方图、纹理图、尺度不变描述子、梯度位置朝向直方图或方向梯度直方图；

接着，根据所述特征与所述视觉单词的映射规则，将所述目标图片的颜色直方图、纹理图、尺度不变描述子(SIFT)、梯度位置朝向直方图(GLOH)或方向梯度直方图(HOG)转换成客户端原始视觉单词词典(优选地，客户端的原始视觉单词词典与服务端的原始视觉单词词典相同)中的视觉单词。

步骤103：所述服务端接收所述第一关联信息，并基于所述第一关联信息查找其内部的视觉单词词典库中相应于该第一关联信息的类别的视觉单词词典，以及将该视觉单词词典发送至所述客户端；应了解的是，本实施例中的视觉单词词典库可包括：相应于某一经纬度信息的视觉单词词典、相应于书本的出版社徽标或名称的视觉单词词典、相应于商品的商标、条形码或电子标签的视觉单词词典或相应于博物馆场馆指示图片中的条形码或电子标签的视觉单词词典等等。

步骤104：所述客户端接收所述视觉单词词典，分析所述视觉单词和所述视觉单词词典，得到对应所述目标图片的目标视觉单词，并将所述目标视觉单词发送至所述服务端。

步骤105：所述服务端接收所述目标视觉单词，并依据该目标视觉单词查找其内部的原始视觉单词词典的视觉单词索引表，得到对应该目标视觉单词的一个以上的结果图片，同时获得该结果图片的扩展信息，所述服务端将所述结果图片和所述结果图片的扩展信息发送至所述客户端。

本实施例中的图片搜索方法采用双向传输的模式，能够有效缩短客户基于图片检索并获取相关信息的时间，同时能够适用于低比特数据传输下的图片检索，提高了查询效率，以及提升了检索结果的准确率，本实施例中的图片搜索方法能够推广使用。当然，上述实施例中的搜索方法可以应用地标图片、书本图片、商品图片等等图片的搜索。对于地标图片，采用上述方法搜索时不仅可以提供相似图片作为检索结果，还可以提供结果图片的附加信息，该附加信息可为地标所在区域的人文地理信息，进而能够实现建立地标与地图及地理信息系统之间的关系，协助用户了解所在位置及地理信息。

进一步地，所述服务端接收所述第一关联信息，并基于所述第一关联信息查找其内部的视觉单词词典库中相应于该第一关联信息的类别的视觉单词词典的一种具体实现方式如下(即上述实施例中的步骤A103的子步骤)：

子步骤1031：所述服务端将其内部的图片采用聚类方式建立一服务端的原始视觉单词词典，且所述图片分别具有各自的第二关联信息；该处的第二关联信息也可为与服务端内的图片的内容相关的信息，其可以对服务端内的图片的内容进行精确描述，也可以是大概、粗略的描述/反映。上述的第一关联信息和第二关联信息可以是文本类的信息或数据类的数据。当然，本实施例中也不限定获取第二关联信息的方式，以及，对于服务端内部集合的图片的获取方式也不限定。优选地，以下提及的服务端内部的图片是以属性进行归类的，其可能提及的图片针对的是同一类别中的图片，且该同一类别的图片具有相似性。本发明中提及的属性/类别举例来说，可为地标的某景点区域的类的图片为一类、书刊的某出版社的类的图片为一类等。

子步骤1032：依据所述图片的第二关联信息的相似性度量规则，将所述服务端内部图片的第二关联信息采用聚类方式划分为多个第二关联信息类别，该第二关联信息类别包括所述第一关联信息类别。

优选地，本实施例中的依据所述图片的第二关联信息的相似性度量规则可为：所述第二关联信息内部的所述第二关联信息之间的欧式距离，与所述服务端内图片对应的视觉单词之间的余弦(Cosine)距离的加权和；

或者，依据所述图片的第二关联信息的相似性度量规则为，所述第二关联信息内部的所述第二关联信息之间的欧式距离，与所述服务端内图片对应的视觉单词之间的余弦(Cosine)距离的乘积。

子步骤1033：依据所述第二关联信息类别，所述服务端将其内部的所述原始视觉单词词典划分为一个以上的相应于该第二关联信息类别的视觉单词词典，其中，该服务端内相应于第二关联信息类别的视觉单词词典组成所述服务端内的视觉单词词典库。

另外，本实施例中为使服务端提供的视觉单词词典与服务端的原始视觉词典库中的查询结果具有满足查询要求的一致性，故提供一种具体的筛选服务端内部的视觉单词词典的步骤，具体如下：

子步骤1034：从服务端的所述第二关联信息类别中的第一关联信息类别对应的图片中选择某一数量的图片作为样本图片，以及将所述样本图片的特征转换为所述服务端的原始视觉词典中的视觉单词。也就是说，从所述第二关联信息类别对应的图片集合中选择一定数量图片作为样本图片，根据原始视觉单词词典，将所述样本图片的特征转换为服务端的原始视觉单词词典的视觉单词。

子步骤1035：依据样本图片的视觉单词在所述原始视觉单词词典的视觉单词索引表中查询，获得原始查询结果。即根据样本图片的视觉单词，在所述原始视觉单词词典的视觉单词索引表中查询相似图片，获得原始查询结果(该原始查询结果不仅包括相似的图片，以及图片的扩展信息，还有相似图片的排列顺序等等，本实施例不对其进行限定)。

子步骤1036：将属于原始视觉单词词典的任意视觉单词进行组合，以构成一个筛选视觉单词词典，基于筛选视觉单词词典，将所述样本图片的特征转换为对应该筛选视觉单词词典内的第一视觉单词，并采用第一视觉单词在所述原始视觉单词词典的视觉单词索引表中查询，获得与筛选视觉单词词典对应的第一查询结果；

子步骤1037：分析所有样本图片的原始查询结果与所述第一查询结果，选取一个满足查询要求的筛选视觉单词词典作为相应于所述第一关联信息类别的视觉单词词典。也就是说，将原始视觉单词词典的子集作为筛选的视觉单词词典，根据筛选的视觉单词词典，将样本图片特征转换为视觉单词，利用该视觉单词在视觉单词索引表中查询相似图片，获得与筛选的视觉单词词典对应查询结果，通过比较原始查询结果与筛选的视觉单词词典对应查询结果，从原始视觉单词词典的子集中筛选出一个最优子集(本实施方式不限定最优，可以是次优子集等，只要能够满足查询要求即可，即传送至客户端的数据量是最小的，同时使得查询结果是最优的。该处的最优子集为业内人士的通俗说法)，将该最优子集作为与关联信息类别对应的视觉单词词典。

通俗地说上述循环查询过程可为(即所述选取一个满足查询要求的筛选视觉单词词典作为相应于所述第一关联信息类别的视觉单词词典，进一步包括)：

第一步：从所述服务端的原始视觉单词词典中选择一定数量的视觉单词作为筛选的视觉单词词典；

第二步：根据所述筛选视觉单词词典，获取样本图片特征对应所述筛选视觉单词词典的所述第一视觉单词；

第三步：利用该第一视觉单词在视觉单词索引表中查询相似图片，获得查询结果；

第四步：比较各样本图片的查询结果和原始查询结果，若所有样本图片的查询结果与原始查询结果的偏差不符合预先设定的范围，则采用当前的筛选视觉单词词典作为与相应所述第一关联信息类别的视觉单词词典；否则从所述服务端的原始视觉单词词典中选择一个视觉单词增加到当前的筛选视觉单词词典中，返回到获取所述第一视觉单词的步骤，重复上述过程，直到查询结果与原始查询结果的偏差满足预先设定的范围的视觉单词词典停止。

需要注意的是，本实施例中优选使用叠加循环的方式获取的视觉单词词典可以为所述视觉单词词典库中的任一视觉单词词典。

当所述选择的视觉单词词典的第一查询结果图片与所述原始查询结果图片不相符时，将所述原始视觉单词词典中的视觉单词逐个增加至所述选择的视觉单词词典中，重复上述查询所述样本图片的第一查询结果图片的步骤，以使所述第一查询结果图片与所述原始查询结果图片相符。

上述方法能够实现了客户端和服务端之间低比特传输数据，大大缩短了查询响应时间，提高了查询效率，而且提升了检索结果的准确率。需要说明的是本实施例中的图片搜索方法，其采用图片的关联信息(如上述的目标图片的第一关联信息)的方式一方面可以有效降低噪声图片的影响，提高视觉单词对图片描述的有效性和可区分能力，在一定程度上减低了现有技术中基于内容检索方法结果不准确的缺陷，另一方面，利用服务端中的图片库中图片内容(如上服务端的原始视觉单词词典对应的图片的内容)的相似性也可以将原来粗略的关联信息转换为更精确的关联信息。

第二实施例

参照图2所示，图2示出了本发明中的图片搜索方法实施例二的流程图，具体步骤包括：

步骤201：在客户端获取待搜索的目标图片和以及第一关联信息；

步骤202：所述客户端将所述第一关联信息发送至服务端；客户端提取目标图片的全局或者局部特征，并将特征转换为视觉单词。需要说明的是客户端提取目标图片的特征和将其第一关联信息发送服务端的步骤不区分先后顺序。另外，该处的视觉单词可为一组视觉单词数据，在本领域中，通常以视觉单词简要命名一组视觉单词数据，故本实施例中也使用视觉单词的名称。

具体地，视觉单词的转换步骤包括：首先，利用已有的特征检测方法提取图片的全局特征如颜色直方图，小波纹理等，或者提取图片的局部特征，如提取其尺度不变转换描述子SIFT，梯度位置朝向直方图GLOH或方向梯度直方图HOG等。

接着，根据特征与视觉单词类的距离度量规则即特征与视觉单词类中心的距离，计算特征与客户端视觉单词词典中各个视觉单词所在类的距离。

然后，选择与特征距离最小的视觉单词类，用该类的视觉单词表示特征。

步骤203：所述服务端接收所述第一关联信息，并基于所述第一关联信息查找其内部的视觉单词词典库中相应于该第一关联信息的类别的视觉单词词典，以及将该视觉单词词典发送至所述客户端。该步骤203具体可包括以下的子步骤：

首先：将服务端内的图片划分为关联信息类的图片。第一步：根据关联信息的相似性度量规则，计算服务端内的图片库中关联信息之间的综合相似性：第二步：根据关联信息的综合相似性，利用已有聚类方法对关联信息进行聚类，将关联信息划分成多个关联信息类。该处的聚类方法的具体方式可以是K均值聚类、分层聚类、谱聚类等，其中谱聚类可以参考文献“Ng A.，Jordan M.，and Weiss Y.On Spectral Clustering：Analysis and analgorithm.NIPS，849-856，2001”中的方法。需要说明的是，本实施例中所述的关联信息的相似性度量规则可为关联信息的相关性和与关联信息对应的图片的内容相似性的有效结合，例如，关联信息的相似性度量规则为关联信息的相关性和与关联信息对应图片的内容相似性的加权和；或者，关联信息的相关性和与关联信息对应图片的内容相似性的乘积。另外，关联信息的相关性的计算可采用欧式距离度量关联信息之间的相似性；与关联信息对应的图片的内容相似性可为图片的视觉单词向量(该处的视觉单词向量可参考第三实施例中所述的目标视觉单词向量)的余弦距离。

接着，在服务端内部建立完全视觉单词词典(该完全视觉单词词典和上述实施例中的视觉单词词典库可共享的是服务端内的所有图片)。第一步：提取服务端内的所有图片的特征，以及，对所有或挑选的部分图片的特征进行聚类，该处的聚类方法可以K均值聚类、分层聚类方法等，每个类的类中心来代表该类，称为视觉单词，即每个类为一个视觉单词，整个数据库的视觉单词集合构成完全视觉单词词典。

其次，在服务端内部生成紧凑视觉单词词典。优选地，本实施例中是根据最优子词典评估基准，从完全视觉单词词典的子集(该处的子集可为完全视觉单词词典中的任意单词的组合，其类同于数学中的集合、和集合内的子集的概念)中筛选出一个最优子集(本专利的实施方式不限于最优子集，可以使次优子集等，满足查询要求即可)，将该子集作为对应客户端的第一关联信息类的紧凑视觉单词词典。

以下具体说明紧凑视觉单词词典的生成过程，如下的在服务端内部运行的子步骤a)至f)：

a)从关联信息类对应的图片集合中选择一定量图片作为样本图片，根据完全视觉单词词典，将样本图片的特征转换为视觉单词；

b)根据样本图片的视觉单词，在整个视觉单词索引表中查询相似图片，相似图片构成获得原始查询结果，将该原始查询结果做基准；

c)选择服务端内图片的完全视觉单词词典的一个最小子集，将该子集作为筛选的视觉单词词典；

d)根据筛选的视觉单词词典，将样本图片特征转换为相应该筛选的视觉单词词典的第一视觉单词；

e)利用该第一视觉单词在完全视觉单词词典的视觉单词索引表中查询相似图片，获得第一查询结果；

f)比较第一查询结果和基准，若所有样本图片的查询结果与基准一致，则用采用该第一查询结果对应的视觉单词词典作为预发送客户端的紧凑视觉单词词典；

否则，继续从完全视觉单词词典中选择一个视觉单词增加到筛选的视觉单词词典中，重复返回步骤d)至f)。

值得注意的是，上述步骤203的子步骤主要是说明客户端可以动态更新与第一关联信息类别相应的视觉单词词典。进一步地，若客户端已经和服务端进行过视觉单词词典的动态更新，此时，若客户端获得第一关联信息并发送至服务端时，服务端可根据客户端发送的第一关联信息判定是否已经发送过相同的与第一关联信息类别相应的视觉单词词典给客户端，若是服务端已经发送过该与第一关联信息类别相应的视觉单词词典，则服务端不再发送该视觉单词词典。客户端可以依据其内部相应于第一关联信息类别的紧凑视觉词典来获取其目标图片的视觉单词对应的目标视觉单词。

步骤204：根据第一关联信息类的视觉单词词典，客户端将目标图片的视觉单词转为目标视觉单词并进行编码，转换为数据包；客户端将数据包发送给服务端。

具体转换方式可为：首先，根据第一关联信息类对应的视觉单词词典，对客户端的目标图片的视觉单词进行筛选，选择属于视觉单词词典内的视觉单词作为目标视觉单词；其次，将目标视觉单词转成二进制数据，该二进制数据为数据包。

步骤205：服务端将数据包转成目标视觉单词，服务端根据目标视觉单词在服务端的原始视觉单词的图片索引表中查找相似图片及该相似图片的扩展信息，将相似的图片以及扩展信息发送给客户端。该步骤包含的子步骤可为：首先，相应于步骤203中在服务端内部建立完全视觉单词词典和其完全视觉单词词典对应的视觉单词索引表，例如：对服务端内的图片，采用视觉单词作为索引检索词，每个视觉单词与包含该单词图片建立映射关系，每个视觉单词指向包含该视觉单词的图片；接着，对于图片的每个视觉单词，服务端根据视觉单词索引表判定图片库是否包含这个视觉单词，若包含该视觉单词，则对该图片库中图片的相似性分数进行加分；其次，统计数据库中所有图片的相似性分数，对图片库中的图片的相似性分数按照从高到低进行排序，选择相似性分数排在前面的多幅图片的即为最后查找的与客户端的目标图片相似的图片。

上述实施例的图片检索方法，首先客户端发送第一关联信息给服务端，从服务端获取与第一关联信息类别对应的视觉单词词典，客户端根据与第一关联信息类别对应的视觉单词词典生成查询图片的数据包，然后将数据包发送给服务端，进而实现客户端到服务端的低比特速率传输，较大程度的减小了查询等待时间。另外，上述图片检索方式可以拓展到购物场所、旅游景点推荐，提供加油站、旅馆等用户必要信息，摄影爱好者分享图片，旅游爱好者分享旅游经历等各个领域。

需要说明的是，本实施例中的客户端与服务端之间的图片/结果图片/相似图片、数据包/数据或关联信息的传输均可采用现有技术中的编码传输方式，该编码方式可相同或不同。另外，上述的图片、数据包、或关联信息可在客户端和服务端之间采用上行和下行的传输方式，本发明中没有限定上述客户端与服务端的传输方式。进一步地，为将本发明说明清楚，其在第二实施例中的客户端与服务端之间直接描述图片传输、关联信息传输、数据包传输等，需要注意的是，上述服务端和客户端之间还可能将图片传输、关联信息传输进行编码等步骤，本发明可以采用现有中的任一方式在客户端和服务端传输图片、关联信息或数据包等。

第三实施例

地标是指某个城市或地方具有独特地理特色的建筑物或者自然景观，如摩天大楼、教堂、寺庙、雕像、灯塔、桥梁等等。当目标图片为地标建筑物时。与该目标图片对应的关联信息可为地标的地理位置信息等。以下以地标图片为例进行说明。本实施例中涉及图3和图4的流程说明，参照图3和图4所示，图3示出了本发明的图片搜索方法实施例三中采用的谱聚类方式划分关联信息类的流程图；图4示出了本发明的图片搜索方法实施例三中筛选出与关联信息对应的视觉单词词典的流程图。

该第三实施例中的图片搜索方法的步骤主要包括如下：

步骤A1：在客户端输入地标图片和关联信息即地标的经纬度；客户端提取目标图片的全局或局部特征，采用的全局特征如颜色直方图，小波纹理，或者通过局部特征检测方法提取局部特征如尺度不变转换描述子(SIFT)，梯度位置朝向直方图(GLOH)，方向梯度直方图(HOG)；

步骤A2：客户端将关联信息发送至服务端；

步骤A3：客户端提取目标图片的全局或者局部特征，并将特征转换为视觉单词。需要注意的是步骤A2和步骤A3没有先后顺序，可以并行，所转换的视觉单词为一组数据。

该处的客户端提取目标图片的全局或者局部特征，并将特征转换为视觉单词是基于客户端内部的原始视觉单词词典进行转换的，通常情况下，客户端的原始视觉单词词典与服务端的原始视觉单词词典是相同或相应的。该客户端的原始视觉单词词典可以在原始的客户端与服务端交互中建立，或其他方式形成，以便客户端的进行图片搜索时使用。现有的客户端均会将其内原始视觉单词词典进行保存，进一步地，还可以与服务端建立动态更新，以便能够和服务端的原始视觉单词词典保持相同。该处客户端的原始视觉单词词典获得方式是举例说明，本实施例不限定其形成方式，优选与服务端的原始视觉单词词典保持一致即可。

步骤A4：服务端根据关联信息判定关联信息所属的关联信息类，

其中关联信息类需要在服务端预先划分，其划分方法为；

首先，根据目标图片的相似性度量规则，计算目标图片数据库中目标图片之间的综合相似性：

其次，根据目标图片的综合相似性，利用已有聚类方法对目标图片进行聚类，从而将目标图片分成多个类，每个类中，与目标图片对应的关联信息构成了一个关联信息类，从而将关联信息划分成多个关联信息类。

值得注意的是，关联信息的相似性度量规则为关联信息的相关性和与关联信息对应目标图片的内容相似性有效结合，如关联信息的相似性度量规则为关联信息的相关性和与关联信息对应目标图片的内容相似性的加权和，关联信息的相关性和与关联信息对应目标图片的内容相似性的乘积；关联信息的相关性为关联信息之间的欧式距离，目标图片的内容相似性为图片的视觉单词向量的cosine距离，除以上两种方式以外，本发明还给出另外一种计算方式的具体实现步骤，如下的图3所示。

具体地，如图3所示，本实例以谱聚类方法说明划分关联信息类的方式：

第一步301：数据库中所有图片的关联信息位置集合构成关联信息全集GR，计算任意两张图片的关联信息相关性和这两张图片的内容相似性，图片i和图片j的内容相似性cd_ij计算公式为

${\mathrm{cd}}_{\mathrm{ij}}={\left|\right|\stackrel{\→}{{\mathrm{BOW}}_i},\stackrel{\→}{{\mathrm{BOW}}_j}\left|\right|}_{\mathrm{Co}\sin e}=\frac{\stackrel{\→}{{\mathrm{BOW}}_i}\·\stackrel{\→}{{\mathrm{BOW}}_j}}{\left|\right|\stackrel{\→}{{\mathrm{BOW}}_i}\left|\right|\·\left|\right|\stackrel{\→}{{\mathrm{BOW}}_j}\left|\right|};$

和

分别为图片i和图片j的视觉单词组成的向量，其具体方式可以参考文献“Nister D，and Stewenius H.Scalable recognition with a vocabularytree.CVPR，volume 2，pages 2161-2168，2006”

第二步302：计算出关联信息相关性度量矩阵A_N×N：

gd_i，j为图片i和图片j的关联信息，N为图片库中图片的总数；

第三步303：根据地理位置相似性矩阵计算出对角矩阵D，对角矩阵D的第k行对角线元素

第四步304：计算拉普拉斯矩阵L：L＝I-D^-1/2AD^-1/2；

第五步305：计算拉普拉斯矩阵L的特征值，将特征值按照从小到大排列并且提取前a个特征值对应的特征向量，形成矩阵S_N×a＝[e₁，e₂，...，e_a]，对矩阵进行转置形成S′_a×N；

第六步306：计算任意关联信息的综合相似性，图片i和图片j的综合相似性Sim(S_i，S_j)计算公式为：

Sim(S_i，S_j)＝cd_ij×||S_i-S_j||₂；

S_i和S_j为S_N×a谱聚类矩阵第i列和第j列向量，||S_i-S_j||₂为向量S_i和S_j欧式距离。

第七步307：将图片之间的综合相似性作为图片之间距离，采用K均值聚类方法将图片库中的图片分成M类，各个类的图片对应的关联信息集合构成关联信息类，从而将关联信息全集GR划分成M个关联信息类sub_R₁，sub_R₂，...，sub_R_M；进而，各个类的图片对应的关联信息集合构成关联信息类。

步骤A5：服务端将与关联信息类对应的视觉单词词典发送给客户端；

其中与关联信息类对应的视觉单词词典需要预先在服务端生成，其生成方法为可参照第二实施例中的说明紧凑视觉单词词典的生成过程的子步骤a)至f)。下面以具体的公式为例进行说明：

具体来说，设定lost_Rank为检验样本图片的查询结果与最优子词典评估基准是否一致的函数，若lost_Rank＜β，则样本图片的查询结果与最优子词典评估基准是一致。如图4所示，本发明的图片搜索方法实施例三中筛选出与关联信息对应的视觉单词词典的流程图，具体实施过程如下：

生成最优子词典评估基准：

第一步401：从与关联信息类sub_R_j相对应的图片的集合中挑选出N_sample张样本图片，将这些样本图片作为查询图片在视觉单词索引表中查询，检索前R个查询图片结果。对于第i张图片，其查询结果

为查询结果中排在第j位的图片，的视觉单词向量为

第二步402：计算每个结果图片的term frequency-inverse documentfrequency(TF-IDF)，

的TF-IDF为

从完全视觉单词词典的子集中筛选出于关联信息类对应的视觉单词词典。

第三步403：设置迭代次数为d＝1，与关联信息类sub_R_j对应的视觉单词词典sub_V_j为空，候选视觉单词集合cadi_V_j＝V(V为完全视觉单词词典)，其元素的个数为N_cv，N_sample张图片的权重集合

w_i为图片i的权重，为0，测试子集train_V为空；

第四步404：若迭代次数d＞α或lost_Rank＜β则结束；

第五步405：将候选视觉单词集合中的N_cv个视觉单词分别加入到测试子集tran_V中，从而产生N_cv个测试子集

train_V_t＝sub_V∪{wd_t}；

第六步406：将各测试子集作为视觉单词词典，根据该视觉单词词典分别将查询图片i局部特征向量S_i转换为视觉单词向量，测试子集train_V_k对应的图片i视觉单词向量为

第七步407：计算采用各测试子集描述每个查询图片所导致的总错误率

对于测试子集train_V_k，总错误率Lost(I_i)^k计算方法为如下的M1至M4所示：

M1，将

映射为成完全视觉单词词典视觉向量

为映射向量；

M2，计算当查询图片用测试子集train_V_k描述时，结果图片

和查询图片i的内容相似性

计算方法为：

${\left|\right|\stackrel{\→}{{\mathrm{gBOW}}_{I_i}\left(k\right)}\·\stackrel{\→}{{\mathrm{BOW}}_{{A^i}_j}}\left|\right|}_{\mathrm{Co}\sin e}=\frac{\stackrel{\→}{{\mathrm{BOW}}_{{A^i}_j}}\·\stackrel{\→}{g{\mathrm{BOW}}_{I_i\left(k\right)}}}{\left|\right|\stackrel{\→}{{\mathrm{BOW}}_{{A^i}_j}}\left|\right|\·\left|\right|\stackrel{\→}{{\mathrm{gBOW}}_{I_i\left(k\right)}}\left|\right|};$

M3，计算用测试子集train_V_k描述查询图片i导致的错误率Lost(I_i)^k

$\mathrm{Lost}{\left(I_i\right)}^k=w_i^{d-1}\×\underset{r=1}{\overset{R}{\mathrm{\Σ}}}R\left(A_r^i\right)\·{\mathrm{TI}}_{A_r}\·{\left|\right|\stackrel{\→}{g{\mathrm{BOW}}_{I_i}\left(k\right)}\·\stackrel{\→}{{\mathrm{BOW}}_{{A^i}_j}}\left|\right|}_{\mathrm{Co}\sin e};$

为与结果图片排序位置递增的函数，可以设置

M4，计算用测试子集train_V_k描述查询图片的总错误率

${\mathrm{Lost}}_{\mathrm{Rank}}^k=\underset{i=1}{\overset{N_{\mathrm{sample}}}{\mathrm{\Σ}}}\mathrm{Lost}{\left(I_i\right)}^{t-1};$

第八步408：选择使总错误率lost_Rank最小的测试子集，更新与关联信息类对应的词典和候选视觉单词集合，其具体方法为：若该测试子集为train_V_MIN，则与关联信息类对应的词典为sub_V＝train_V_MIN，cadi_V＝cadi_V-{wd_MIN}；

第九步409：更新每个查询图片的权重，查询图片i的权重更新的计算方法为：

第十步410：更新迭代次数d＝d+1返回步骤第四步404。

步骤A6：根据关联信息类的视觉单词词典，客户端将目标图片的视觉单词进行编码，转换为数据包；客户端将数据包发送给服务端；

其中视觉单词索引表需要预先建立，其具体步骤包括：对于数据库所有图片，采用视觉单词作为索引检索词，每个视觉单词与包含该视觉单词图片建立映射关系，每个视觉单词指向包含该视觉单词的图片。

步骤A7：服务端将数据包转成视觉单词，服务端根据视觉单词在服务端的图片索引表中查找相似图片，将相似的图片以及相关信息发送给客户端；

对于图片的每个视觉单词，服务端根据视觉单词索引表判定图片库中图片的视觉单词是否包含这个视觉单词，若包含该视觉单词，则对该图片库的图片的相似性分数进行加分；即统计数据库中所有图片的相似性分数，对图片库的图片的相似性分数进行排序；

具体来说，对于查询图片i的视觉单词向量sub_BOW(I_i)＝{sub_bow₁(I_i)，sub_bow₂(I_i)，...，sub_bow_m(I_i)}，在视觉单词索引表中查找图片库中的图片是否包含sub_bow_k，若图片j包含sub_bow_k，则图片j的单词sub_bow_k相似性分数score_k(I_j)＝α，图片j的相似性分数为所有单词相似性分数之和∑score_k(I_j)，对图片数据库中所有图片进行相似性分数进行统计，并将相似性分数进行从高到底排序，排在前面的图片为相似图片，将相似的图片以及相关信息发送给客户端。

根据本发明的另一方面，本发明还提供一种图片查询系统，参考图5所示，图5示出了本发明的图片检索系统实施例的结构示意图。该系统图片检索系统包括：

目标图片获取模块501，用于在客户端获取待搜索的目标图片和针对该目标图片的第一关联信息；

视觉单词获取模块502，用于在所述客户端获取所述目标图片的一个以上的特征，并将该些特征转换为视觉单词；

目标视觉单词获取模块503，用于在所述客户端获得服务端发送的相应于所述目标图片的第一关联信息的类别的视觉单词词典，并分析所述视觉单词和所述视觉单词词典，得到对应所述目标图片的目标视觉单词；

上行传输模块504，用于在所述客户端将所述第一关联信息发送至所述服务端，并且用于在所述客户端将所述目标视觉单词发送至所述服务端；

查询模块505，用于在所述服务端基于所述第一关联信息查找其内部的视觉单词词典库中相应于该第一关联信息的类别的视觉单词词典；并且用于在所述服务端基于所述客户端发送的所述目标视觉单词查找其内部的原始视觉单词词典的视觉单词索引表，得到对应该目标视觉单词的一个以上的结果图片，同时获得该结果图片的扩展信息；

下行传输模块506，用于在所述服务端将服务端查找的所述相应于第一关联信息类别的视觉单词词典发送至所述客户端，并且用于在所述服务端将所述结果图片和所述结果图片的扩展信息发送至所述客户端；

接收模块507，用于在所述客户端接受所述相应于第一关联信息类别的视觉单词词典；并且用于在所述客户端接收所述服务端发送的所述结果图片和所述结果图片的扩展信息。

通常，在图片检索系统中，目标图片获取模块501、视觉单词获取模块502、目标视觉单词获取模块503、上行传输模块504和接收模块507位于所述客户端；查询模块505和下行传输模块506位于所述服务端。

进一步地，常见的客户端可为移动终端，如手机、PAD等。

优选地，上述的图片搜索系统还包括：

关联信息类别生成模块，依据所述图片的第二关联信息的相似性度量规则，将所述服务端内部图片的第二关联信息采用聚类方式划分为多个第二关联信息类别，该第二关联信息类别包括所述第一关联信息类别；

类别视觉单词词典生成模块，依据所述第二关联信息类别，所述服务端将其内部的所述原始视觉单词词典划分为一个以上的相应于该第二关联信息类别的视觉单词词典，所有相应于第二关联信息类别的视觉单词词典构成所述视觉单词词典库；

原始视觉单词词典生成模块，服务端将其内部的图片采用聚类方式建立一服务端的原始视觉单词词典。

需要说明的是，关联信息类别生成模块，类别视觉单词词典生成模块和原始视觉单词词典生成模块可位于服务端。

另外，参照图6所示，图6示出了本发明中的客户端实施例的结构示意图；即本发明还提供一种客户端，其包括：

目标图片获取模块601，用于在客户端获取待搜索的目标图片和针对该目标图片的第一关联信息；

视觉单词获取模块602，用于在所述客户端获取所述目标图片的一个以上的特征，并将该些特征转换为视觉单词；

目标视觉单词获取模块603，用于在所述客户端获得服务端发送的相应于所述目标图片的第一关联信息的类别的视觉单词词典，并分析所述视觉单词和所述视觉单词词典，得到对应所述目标图片的目标视觉单词；

上行传输模块604，用于在所述客户端将所述第一关联信息发送至所述服务端，并且用于在所述客户端将所述目标视觉单词发送至所述服务端；

接收模块605，用于在所述客户端接受所述相应于第一关联信息类别的视觉单词词典；并且用于在所述客户端接收所述服务端发送的所述结果图片和所述结果图片的扩展信息。

优选地，客户端可为移动终端，如可以是手机、PAD或电子阅读器等可以联网的任何终端产品。

参照图7所示，图7示出了本发明中的服务器实施例的结构示意图；即本发明还提供一种服务器，该服务器包括：

关联信息类别生成模块701：依据所述图片的第二关联信息的相似性度量规则，将所述服务器内部图片的第二关联信息采用聚类方式划分为多个第二关联信息类别，该第二关联信息类别包括所述第一关联信息类别；

类别视觉单词词典生成模块702：依据所述第二关联信息类别，所述服务器将其内部的所述原始视觉单词词典划分为一个以上的相应于该第二关联信息类别的视觉单词词典，所有相应于第二关联信息类别的视觉单词词典构成所述视觉单词词典库；

原始视觉单词词典生成模块703：服务器将其内部的图片采用聚类方式建立一服务器的原始视觉单词词典；

查询模块704：用于在所述服务器基于所述第一关联信息查找其内部的视觉单词词典库中相应于该第一关联信息的类别的视觉单词词典；并且用于在所述服务器基于所述客户端发送的所述目标视觉单词查找其内部的所述原始视觉单词词典的视觉单词索引表，得到对应该目标视觉单词的一个以上的结果图片，同时获得该结果图片的扩展信息；

下行传输模块705：用于在所述服务器将服务器查找的所述相应于第一关联信息类别的视觉单词词典发送至所述客户端，并且用于在所述服务器将所述结果图片和所述结果图片的扩展信息发送至所述客户端。

上述图5、图6、和图7中显示的各模块只是示意性的显示其内部的结构关系，可能在某一个系统、移动终端、服务端或其它的结构中多次使用同一模块进行传输或接收，或间隔的使用上述的某一模块，上述实施例只是示意性的说明，其不局限图5、图6、和图7中的结构排布关系和连接关系。另外还可能出现在图片搜索系统、服务端和客户端中增加一些能够实现本发明中的图片搜索方法中的某些步骤的其他模块均属于本发明的内容。

最后应说明的是：上述图片搜索方法中的各步骤的顺序可以并行或交换进行，上述实施例仅为示意性的说明，并不限定步骤的执行顺序。另外，以上实施例仅用以说明本发明的技术方案而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (12)

1.一种图片搜索方法，其特征在于，包括：

客户端获取待搜索的目标图片和针对该目标图片的第一关联信息；

所述客户端将所述第一关联信息发送至服务端，以及所述客户端获取所述目标图片的一个以上的特征，并将该些特征转换为视觉单词；

所述服务端接收所述第一关联信息，并基于所述第一关联信息查找其内部的视觉单词词典库中相应于该第一关联信息的类别的视觉单词词典，以及将该视觉单词词典发送至所述客户端；

所述客户端接收所述视觉单词词典，分析所述视觉单词和所述视觉单词词典，得到对应所述目标图片的目标视觉单词，并将所述目标视觉单词发送至所述服务端；

所述服务端接收所述目标视觉单词，并依据该目标视觉单词查找其内部的原始视觉单词词典的视觉单词索引表，得到对应该目标视觉单词的一个以上的结果图片，同时获得该结果图片的扩展信息，所述服务端将所述结果图片和所述结果图片的扩展信息发送至所述客户端。

2.根据权利要求1所述的图片搜索方法，其特征在于，

所述目标图片为地标图片，所述第一关联信息为所述地标图片中的建筑物、所述地标图片对应的地理位置信息、所述建筑物对应的地理位置信息或所述地标图片中的自然景观对应的地理位置信息；

所述目标图片为书本图片，所述第一关联信息为所述书本图片中的书本的出版社徽标或名称；

所述目标图片为商品的照片，所述第一关联信息为所述目标图片中的所述商品的商标或条形码；

所述目标图片为博物馆展览室的引导指示图片，所述第一关联信息为所述引导指示图片中的条形码或电子标签。

3.根据权利要求1所述的图片搜索方法，其特征在于，

所述客户端获取所述目标图片的一个以上的特征，并将该些特征转换为视觉单词的步骤包括：

提取所述目标图片的颜色直方图、纹理图、尺度不变描述子、梯度位置朝向直方图或方向梯度直方图；

根据所述特征与所述视觉单词的映射规则，将所述目标图片的颜色直方图、纹理图、尺度不变描述子、梯度位置朝向直方图或方向梯度直方图转换成客户端原始视觉单词词典中的视觉单词。

4.根据权利要求1所述的图片搜索方法，其特征在于，

所述服务端接收所述第一关联信息，并基于所述第一关联信息查找其内部的视觉单词词典库中相应于该第一关联信息的类别的视觉单词词典的步骤包括：

所述服务端将其内部的图片采用聚类方式建立一服务端的所述原始视觉单词词典，且所述图片分别具有各自的第二关联信息；

依据所述图片的第二关联信息的相似性度量规则，将所述服务端内部图片的第二关联信息采用聚类方式划分为多个第二关联信息类别，该第二关联信息类别包括所述第一关联信息类别；以及

依据所述第二关联信息类别，所述服务端将其内部的所述原始视觉单词词典划分为一个以上的相应于该第二关联信息类别的视觉单词词典，其中，该服务端内相应于第二关联信息类别的视觉单词词典组成所述服务端内的视觉单词词典库。

5.根据权利要求4所述的图片搜索方法，其特征在于，

依据所述图片的第二关联信息的相似性度量规则为：

所述第二关联信息内部的所述第二关联信息之间的欧式距离，与所述服务端内图片对应的视觉单词之间的余弦距离的加权和；或

所述第二关联信息内部的所述第二关联信息之间的欧式距离，与所述服务端内图片对应的视觉单词之间的余弦距离的乘积。

6.根据权利要求4所述的图片搜索方法，其特征在于，

所述服务端接收所述第一关联信息，并基于所述第一关联信息查找其内部的视觉单词词典库中相应于该第一关联信息的类别的视觉单词词典的步骤还包括：

从服务端的所述第二关联信息类别中的第一关联信息类别对应的图片中选择某一数量的图片作为样本图片，以及将所述样本图片的特征转换为所述服务端的原始视觉单词词典中的视觉单词；

依据样本图片的视觉单词在所述原始视觉单词词典的视觉单词索引表中查询，获得原始查询结果；

将属于原始视觉单词词典的任意视觉单词进行组合，以构成一个筛选视觉单词词典，基于筛选视觉单词词典，将所述样本图片的特征转换为对应该筛选视觉单词词典内的第一视觉单词，并采用第一视觉单词在所述原始视觉单词词典的视觉单词索引表中查询，获得与筛选视觉单词词典对应的第一查询结果；

分析所有样本图片的原始查询结果与所述第一查询结果，选取一个满足查询要求的筛选视觉单词词典作为相应于所述第一关联信息类别的视觉单词词典。

7.根据权利要求6所述的图片搜索方法，其特征在于，

所述选取一个满足查询要求的筛选视觉单词词典作为相应于所述第一关联信息类别的视觉单词词典进一步包括：

从所述服务端的原始视觉单词词典中选择一定数量的视觉单词作为筛选的视觉单词词典；

根据所述筛选视觉单词词典，获取所述第一视觉单词；

利用该第一视觉单词在视觉单词索引表中查询相似图片，获得查询结果；

比较各样本图片的查询结果和原始查询结果，若所有样本图片的查询结果与原始查询结果相符，则采用当前的筛选视觉单词词典作为与相应所述第一关联信息类别的视觉单词词典；否则从所述服务端的原始视觉单词词典中选择一个视觉单词增加到当前的筛选视觉单词词典中，返回到获取所述第一视觉单词的步骤。

8.一种图片搜索系统，其特征在于，包括：

目标图片获取模块，用于在客户端获取待搜索的目标图片和针对该目标图片的第一关联信息；

视觉单词获取模块，用于在所述客户端获取所述目标图片的一个以上的特征，并将该些特征转换为视觉单词；

目标视觉单词获取模块，用于在所述客户端获得服务端发送的相应于所述目标图片的第一关联信息的类别的视觉单词词典，并分析所述视觉单词和所述视觉单词词典，得到对应所述目标图片的目标视觉单词；

上行传输模块，用于在所述客户端将所述第一关联信息发送至所述服务端，并且用于在所述客户端将所述目标视觉单词发送至所述服务端；

查询模块，用于在所述服务端基于所述第一关联信息查找其内部的视觉单词词典库中相应于该第一关联信息的类别的视觉单词词典；并且用于在所述服务端基于所述客户端发送的所述目标视觉单词查找其内部的原始视觉单词词典的视觉单词索引表，得到对应该目标视觉单词的一个以上的结果图片，同时获得该结果图片的扩展信息；

下行传输模块，用于在所述服务端将服务端查找的所述相应于第一关联信息类别的视觉单词词典发送至所述客户端，并且用于在所述服务端将所述结果图片和所述结果图片的扩展信息发送至所述客户端；

接收模块，用于在所述客户端接受所述相应于第一关联信息类别的视觉单词词典；并且用于在所述客户端接收所述服务端发送的所述结果图片和所述结果图片的扩展信息。

9.根据权利要求8所述的图片搜索系统，其特征在于，所述目标图片获取模块、所述视觉单词获取模块、所述目标视觉单词获取模块、所述上行传输模块和所述接收模块位于所述客户端；

所述查询模块和所述下行传输模块位于所述服务端。

10.根据权利要求9所述的图片搜索系统，其特征在于，所述图片搜索系统还包括：

关联信息类别生成模块，依据所述图片的第二关联信息的相似性度量规则，将所述服务端内部图片的第二关联信息采用聚类方式划分为多个第二关联信息类别，该第二关联信息类别包括所述第一关联信息类别；

类别视觉单词词典生成模块，依据所述第二关联信息类别，所述服务端将其内部的所述原始视觉单词词典划分为一个以上的相应于该第二关联信息类别的视觉单词词典，所有相应于第二关联信息类别的视觉单词词典构成所述视觉单词词典库；

原始视觉单词词典生成模块，服务端将其内部的图片采用聚类方式建立一服务端的原始视觉单词词典。

11.一种客户端，其特征在于，包括：

目标图片获取模块，用于在客户端获取待搜索的目标图片和针对该目标图片的第一关联信息；

视觉单词获取模块，用于在所述客户端获取所述目标图片的一个以上的特征，并将该些特征转换为视觉单词；

目标视觉单词获取模块，用于在所述客户端获得服务端发送的相应于所述目标图片的第一关联信息的类别的视觉单词词典，并分析所述视觉单词和所述视觉单词词典，得到对应所述目标图片的目标视觉单词；

上行传输模块，用于在所述客户端将所述第一关联信息发送至所述服务端，并且用于在所述客户端将所述目标视觉单词发送至所述服务端；

接收模块，用于在所述客户端接受所述相应于第一关联信息类别的视觉单词词典；并且用于在所述客户端接收所述服务端发送的所述结果图片和所述结果图片的扩展信息。

12.一种服务器，其特征在于，包括：

关联信息类别生成模块，依据所述图片的第二关联信息的相似性度量规则，将服务器内部图片的第二关联信息采用聚类方式划分为多个第二关联信息类别，该第二关联信息类别包括所述第一关联信息类别；

类别视觉单词词典生成模块，依据所述第二关联信息类别，所述服务器将其内部的所述原始视觉单词词典划分为一个以上的相应于该第二关联信息类别的视觉单词词典，所有相应于第二关联信息类别的视觉单词词典构成所述视觉单词词典库；

原始视觉单词词典生成模块，服务器将其内部的图片采用聚类方式建立一所述服务器的原始视觉单词词典；

查询模块，用于在所述服务器基于所述第一关联信息查找其内部的视觉单词词典库中相应于该第一关联信息的类别的视觉单词词典；并且用于在所述服务器基于所述客户端发送的所述目标视觉单词查找其内部的所述原始视觉单词词典的视觉单词索引表，得到对应该目标视觉单词的一个以上的结果图片，同时获得该结果图片的扩展信息；

下行传输模块，用于在所述服务器将服务器查找的所述相应于第一关联信息类别的视觉单词词典发送至所述客户端，并且用于在所述服务器将所述结果图片和所述结果图片的扩展信息发送至所述客户端。

Images