CN102411582A

CN102411582A - 图片搜索方法、装置及客户端

Info

Publication number: CN102411582A
Application number: CN2010102906811A
Authority: CN
Inventors: 刘占亮; 李永健; 齐志宏
Original assignee: Tencent Technology Shenzhen Co Ltd
Current assignee: Tencent Technology Shenzhen Co Ltd
Priority date: 2010-09-21
Filing date: 2010-09-21
Publication date: 2012-04-11
Anticipated expiration: 2030-09-21
Also published as: CN102411582B

Abstract

本发明公开了一种图片搜索方法，包括：图片服务器获取客户端在触发基于基础图片的图片搜索后发送的该基础图片的标识指纹；识别出所述基础图片的标识指纹后，根据该标识指纹对应的标签查找与该标签匹配的图片，并将查找结果返回至客户端。相应的，本发明公开了一种图片搜索装置和客户端。无需与图片服务器中的其他图片进行两两对比，从而节省大量的搜索计算，能够有效提高搜索效率，能够根据图片所表达的语义快捷的搜索与其语义相同的图片。

Description

图片搜索方法、装置及客户端

技术领域

本发明涉及互联网领域，尤其涉及一种图片搜索方法、装置及客户端。

背景技术

互联网在日常生活中的应用越来越多，对图片的使用需求越来越丰富。尤其是通过图片检索其他的图片，现有的能够实现以图搜图的技术方案为：利用基于内容的图片检索(CBIR，Content Based Image Retrieval)来实现。CBIR是指直接采用图片内容进行图片信息的查询，目的是在给定查询图片的前提下，依据其内容信息或指定的查询标准，在图片数据库中进行内容上一致或相似性匹配，最终提供符合查询条件的相应图片。

CBIR的主要检索内容有颜色、纹理、形状和对象等。颜色特征包括图片颜色分布、相互关系和组成等；纹理是指图片纹理结构、方向、组合及对称关系等；形状是指图片轮廓组成、形状、大小等；对象包括图片子对象的关系、数量、属性和旋转等。即，利用图片的内容本身(像素)，抽取颜色分布直方图、边缘直方图、纹理等等多种属性，计算图片之间的相似程度。可以将表情图片库中的图片预先抽取出基于内容的属性。

当用一张图片来查找相似图片的时候，首先抽取同样基于内容的属性，与表情图片库中的所有图片进行两两比较，按照相似度排序，并将相似度大于一定阈值的作为结果返回。该技术有以下缺点：

1、检索效率较低。基于内容的图片检索，抽取属性的计算复杂度高，同时，在检索的时候是一个O(n2)的时间复杂度，不能很好的适用于大规模数据。

2、基于图片的内容很难反映出图片所表达的多个维度的语义信息，例如外观完全不同的图片表达的是同样的语义。因此基于图片的内容很难搜索其他具有相同语义的图片。

发明内容

本发明实施例提供一种图片搜索方法、装置及客户端，能够解决现有技术中基于图片的内容进行搜索时搜索效率较低的问题。

一种图片搜索方法，该方法包括：

图片服务器获取客户端在触发基于基础图片的图片搜索后发送的该基础图片的标识指纹；

识别出所述基础图片的标识指纹后，根据该标识指纹对应的标签查找与该标签匹配的图片，并将查找结果返回至客户端。

另外，本发明实施例还提供一种图片搜索方法，包括：

客户端触发基于基础图片的图片搜索；

将所述基础图片的标识指纹发送至图片服务器，以使该图片服务器在识别出所述基础图片的标识指纹后，根据该标识指纹对应的标签查找与该标签匹配的图片；

接收所述图片服务器返回的查找结果。

相应的，本发明实施例提供一种图片搜索装置，包括：

获取单元，用于获取客户端在触发基于基础图片进行图片搜索后发送的该基础图片的标识指纹；

识别单元，用于识别所述基础图片的标识指纹；

查找单元，用于在所述识别单元识别出所述基础图片的标识指纹后，根据该标识指纹对应的标签查找与该标签匹配的图片；

发送单元，用于将查找结果返回至客户端。

相应的，本发明实施例提供一种客户端，包括：

触发单元，用于触发基于基础图片的图片搜索；

发送单元，用于将所述基础图片的标识指纹发送至图片服务器，以使该图片服务器在识别出所述基础图片的标识指纹后，根据该标识指纹对应的标签查找与该标签匹配的图片；

接收单元，用于接收所述图片服务器返回的查找结果。

本发明实施例图片服务器通过获取客户端在触发基于基础图片进行图片搜索后发送的该基础图片的标识指纹；并在识别出所述基础图片的标识指纹后，根据该标识指纹对应的标签实现搜索与该标签匹配的图片。不需要对图片本身进行颜色、纹理等属性的计算，无需与图片服务器中的其他图片进行两两对比，从而节省大量的搜索计算，能够有效提高搜索效率；同时，能够根据图片所表达的语义搜索与其语义相同的图片，克服仅根据图片本身的颜色、纹理等相似性搜索造成的局限性。

附图说明

图1是本发明实现图片搜索方法的第一实施例流程图；

图2是本发明实现图片搜索方法的第二实施例流程图；

图3是本发明实现图片搜索方法的第三实施例流程图；

图4是基于用户界面包含的基础图片进行图片搜索的示意图；

图5是本发明图片搜索装置的第一实施例示意图；

图6是本发明图片搜索装置的第二实施例示意图；

图7是本发明客户端的第一实施例示意图；

图8是本发明客户端的第二实施例示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施例作进一步地详细描述。

请参见图1，图1是本发明实现图片搜索方法的第一实施例流程图。如图1所示，该方法具体包括：

步骤S101，图片服务器获取客户端在触发基于基础图片进行图片搜索后发送的该基础图片的标识指纹。其中，基础图片作为图片搜索的基础，即基础图片用于提供进行图片搜索的检索条件。

步骤S102，识别出所述基础图片的标识指纹后，根据该标识指纹对应的标签查找与该标签匹配的图片，并将查找结果返回至客户端。

本发明实施例不需要对图片本身进行颜色、纹理等属性的计算，无需与图片服务器中的其他图片进行两两对比，从而节省大量的搜索计算，能够有效提高搜索效率；同时，能够根据图片所表达的语义搜索与其语义相同的图片，克服仅根据图片本身的颜色、纹理等相似性搜索造成的局限性。

请参见图2，图2是本发明实现图片搜索方法的第二实施例流程图。如图2所示，该方法具体包括：

步骤S201，客户端触发基于基础图片的图片搜索。

步骤S202，将所述基础图片的标识指纹发送至图片服务器，以使该图片服务器在识别出所述基础图片的标识指纹后，根据该标识指纹对应的标签查找与该标签匹配的图片。

步骤S203，接收所述图片服务器返回的查找结果。

请参见图3，图3是本发明实现图片搜索方法的第三实施例流程图。如图3所示，该方法具体包括：

步骤S301，计算存储在图片服务器中的图片的标识指纹。

本实施例中，图片的标识指纹是指该图片的唯一标识，可以通过算法计算获得。例如，标识指纹可以为MD5(信息-摘要算法5，Message-Digest Algorithm5)指纹、MD4指纹(信息-摘要算法4，Message-Digest Algorithm 4)以及其他MD系列指纹，除此之外标识指纹还可以是SHA(安全散列算法，Secure HashAlgorithm)家族系列指纹，分别是SHA-1、SHA-224、SHA-256、SHA-384，和SHA-512，或者，标识指纹还可以是RIPEMD。标识指纹可以通过对应的算法获得，图片服务器预先为其中存储的各个图片算出其唯一的标识指纹。

步骤S302，根据图片的描述文本提取该图片的标签，并将该标签与该图片的标识指纹建立映射。

本实施例中，图片服务器根据各个图片的文本描述，提取各个维度语义的标签，即能够描述该图片语义的核心关键词。具体的提取方式可以通过统计词语的算法计算获得，例如通过TF-IDF(Term Frequency-Inverse DocumentFrequency，词频-反文档频率)算法进行标签提取。提取的标签(即关键词)的个数可以根据实际使用以及具体的图片进行设定，一般设置为3-5个标签，本实施例中即以提取3-5个标签为例进行说明。

步骤S303，客户端触发基于基础图片的图片搜索。

本实施例中，客户端可以通过点击基础图片关联的搜索按钮触发，请参见图4，图4是基于用户界面包含的基础图片进行图片搜索的示意图，该界面为即时通讯软件的界面。其中，基础图片的具体形式为图4所示的即时通讯软件中的表情图片410，在使用时该基础图片显示在用户界面中。具体的，当鼠标指针放置至基础图片上时，弹出工具菜单，包括了搜索按钮，该搜索按钮用于搜索相似表情图片。除了图4所示的触发方式，还可以采用其他的界面形式和触发方式。

步骤S304，计算获得所述基础图片的标识指纹。

本实施例中，客户端在触发基于基础图片进行图片搜索后，利用设置的算法计算获得对应的标识指纹。例如，如果预先设置的算法为MD5算法，则标识指纹为计算获得的MD5指纹。其中，设置的算法与图片服务器中预先为存储的图片计算标识指纹的算法相同。

步骤S305，生成含有所述基础图片的标识指纹的URL，并发送至图片服务器。

本实施例中，在获得基础图片的标识指纹后，生成URL，该URL含有上述基础图片的标识指纹。在此仅以具体的图片地址和MD5指纹为例进行具体的说明。如图4所示，如果在采用MD5算法的设置下，表情图片410的MD5指纹为15ad6b0237c6cae8e9b110f6e9647ed4，则通过拼接生成的URL为：

http://image.soso.com/image.cgi？sc＝img&ity＝13&fr＝clt&stype＝md5&w＝15ad 6b0237c6cae8e9b110f6e9647ed4。

步骤S306，图片服务器获取客户端发送的基础图片的标识指纹。

本实施例中，客户端通过该URL发送标识指纹，例如步骤S305中的MD5指纹，发送至图片服务器，图片服务器从所述客户端的URL访问解析出该基础图片的标识指纹。

除了按照上述步骤S301-步骤S306的顺序执行外，还可以在客户端触发基于基础图片的图片搜索后计算获得所述基础图片的标识指纹，在图片服务器获取客户端发送的含有所述基础图片的标识指纹的URL后，再计算存储在图片服务器中的图片的标识指纹，并根据图片的描述文本提取该图片的标签，将该标签与该图片的标识指纹建立映射。即先执行步骤S303-步骤S306，再执行步骤S301-步骤S302。

步骤S307，将获取的所述基础图片的标识指纹与存储在图片服务器中的图片的标识指纹相匹配；如果匹配成功，表示识别出所述基础图片的标识指纹，则执行步骤S308；否则，执行步骤S309。

本实施例中，由于图片服务器预先为其中存储的图片计算出对应的标识指纹，因此只需要将获取的基础图片的标识指纹与图片服务器中存储的图片标识指纹进行匹配，即可根据是否匹配成功得出是否能够识别出所述基础图片的标识指纹。如果该基础图片也存储在图片服务器中，则可以匹配成功，表示识别出基础图片的表示指纹后，执行步骤S308；如果未能匹配成功，则执行步骤S309。

步骤S308，根据该基础图片的标识指纹对应的标签查找与该标签匹配的图片，并将查找结果返回至客户端。

本实施例中，由于图片服务器已经根据各个图片的文本描述，提取各个维度语义的标签，并将该标签与对应图片的标识指纹建立映射。因此在识别出所述基础图片的标识指纹后，则可以根据该标识指纹查找到该标识指纹对应的标签，即利用关键词在图片服务器中进行搜索，从而可以搜索到所述标签对应的图片。具体的搜索方式可以根据对图片精确度的需求来设置，例如若有多个标签，可以根据需要设置一定的阈值，即满足包含其中若干个标签即可将对应的图片返回为查找结果。例如，图片服务器中的每个图片有5个标签，可以设置将含有基础图片对应的3个标签的其他图片返回为查找结果。在查到相应的图片后，图片服务器将查找结果返回至客户端。同时，与除了采用相同标签的匹配方式，还可以采用相似标签的匹配，即两个标签使用的词语不同，但是表达的语义相同。

步骤S309，基于图片内容进行图片检索，并将检索结果返回客户端。本实施例中，采用CBIR实现图片检索，并将检索结果返回客户端。

本发明实施例图片服务器通过获取客户端在触发基于基础图片的图片搜索后发送的该基础图片的标识指纹；并在识别出所述基础图片的标识指纹后，根据该标识指纹对应的标签实现搜索与该标签匹配的图片。不需要对图片本身进行颜色、纹理等属性的计算，无需与图片服务器中的其他图片进行两两对比，从而节省大量的搜索计算，能够有效提高搜索效率；同时，能够根据图片所表达的语义搜索与其语义相同的图片，克服仅根据图片本身的颜色、纹理等相似性搜索造成的局限性。

请参见图5，图5是本发明图片搜索装置的第一实施例示意图。在本实施例中，该图片搜索装置可以为图片服务器。如图5所示，该图片搜索装置包括：获取单元510、识别单元520、查找单元530以及发送单元540，上述单元依次相连。

获取单元510，用于获取客户端在触发基于基础图片的图片搜索后发送的该基础图片的标识指纹。

识别单元520，用于识别所述基础图片的标识指纹。

查找单元530，用于在所述识别单元识别出所述基础图片的标识指纹后，根据该标识指纹对应的标签查找与该标签匹配的图片。

发送单元540，用于将查找结果返回至客户端。

本发明实施例不需要对图片本身进行颜色、纹理等属性的计算，无需与图片搜索装置中的其他图片进行两两对比，从而节省大量的搜索计算，能够有效提高搜索效率；同时，能够根据图片所表达的语义搜索与其语义相同的图片，克服仅根据图片本身的颜色、纹理等相似性搜索造成的局限性。

请参见图6，图6为本发明图片搜索装置的第二实施例示意图。在本实施例中，该图片搜索装置可以为图片服务器。如图6所示，该图片搜索装置包括：计算单元610、提取单元620、获取单元630、识别单元640、查找单元650、内容检索单元660以及发送单元670，上述单元依次相连。

计算单元610，用于计算存储在图片搜索装置中的图片的标识指纹。

本实施例中，图片的标识指纹是指该图片的唯一标识，可以通过算法计算获得。例如，标识指纹可以为MD5指纹、MD4指纹以及其他MD系列指纹，除此之外标识指纹还可以是SHA家族系列指纹，分别是SHA-1、SHA-224、SHA-256、SHA-384，和SHA-512，或者，标识指纹还可以是RIPEMD。标识指纹可以通过对应的算法获得，计算单元610预先为存储的各个图片算出其唯一的标识指纹。

提取单元620，用于根据图片的描述文本提取该图片的标签，并将该标签与该图片的标识指纹建立映射。

本实施例中，提取单元620根据各个图片的文本描述，提取各个维度语义的标签，即能够描述该图片语义的核心关键词。具体的提取方式可以通过统计词语的算法计算获得，例如通过TF-IDF算法进行标签提取。提取的标签(即关键词)的个数可以根据实际使用以及具体的图片进行设定，一般设置为3-5个标签，本实施例中即以提取3-5个标签为例进行说明。

获取单元630，用于获取客户端在触发基于用户界面包含的基础图片进行图片搜索后发送的该基础图片的标识指纹。所述获取单元630包括：接收模块631和解析模块632。

接收模块631用于接收客户端在触发基于基础图片的图片搜索后发送的含有该基础图片的标识指纹的URL；解析模块632用于从所述URL中解析出该基础图片的标识指纹。

本实施例中，接收模块631接收客户端通过该URL发送的标识指纹，例如MD5指纹，解析模块632从该URL解析出该基础图片的标识指纹。

识别单元640，用于识别所述基础图片的标识指纹。所述识别单元640进一步用于将获取的所述基础图片的标识指纹与存储在图片搜索装置中的图片的标识指纹相匹配；如果匹配成功，则表示识别出所述基础图片的标识指纹；如果匹配未成功，由内容检索单元660基于图片内容进行图片检索。

本实施例中，由于计算单元610预先为存储的图片计算出对应的标识指纹，因此只需要识别单元640将获取的基础图片的标识指纹与图片搜索装置存储的图片的标识指纹进行匹配，即可根据是否匹配成功得出是否能够识别出所述基础图片的标识指纹。如果匹配成功，则表示识别出所述基础图片的标识指纹。如果该基础图片也存储在图片搜索装置中，则可以匹配成功，表示识别出所述基础图片的标识指纹；如果未能匹配成功，则由内容检索单元660基于图片内容进行图片检索。本实施例中，采用CBIR实现图片检索。

查找单元650，用于在所述识别单元640识别出所述基础图片的标识指纹后，根据该基础图片的标识指纹对应的标签查找与该标签匹配的图片。

发送单元670，用于将查找结果返回至客户端。

本实施例中，由于提取单元620已经根据各个图片的文本描述，提取各个维度语义的标签，并将该标签与该图片的标识指纹建立映射。因此在识别出所述基础图片的标识指纹后，查找单元650则可以根据该标识指纹查找到该标识指纹对应的标签，即利用关键词在图片搜索装置中进行搜索，从而可以查找到所述标签对应的图片。具体的搜索方式可以根据对图片精确度的需求来设置，例如如果有多个标签，可以根据需要设置一定的阈值，即满足包含其中若干个标签即可将对应的图片返回为查找结果。例如，图片搜索装置中的每个图片有5个标签，可以设置将含有基础图片对应的3个标签的其他图片返回为查找结果。在查到相应的图片后，发送单元670将查找结果返回至客户端。

本发明实施例图片搜索装置通过获取客户端在触发基于用户界面包含的基础图片进行图片搜索后发送的该基础图片的标识指纹；并在识别出所述基础图片的标识指纹后，根据该标识指纹对应的标签实现搜索其他与所述标签匹配的图片。不需要对图片本身进行颜色、纹理等属性的计算，无需与其他图片进行两两对比，从而节省大量的搜索计算，能够有效提高搜索效率；同时，能够根据图片所表达的语义搜索与其语义相同的图片，克服仅根据图片本身的颜色、纹理等相似性搜索造成的局限性。

请参见图7，图7为本发明客户端的第一实施例示意图。如图7所示，该客户端包括：触发单元710、发送单元720和接收单元730，上述单元依次相连。

触发单元710，用于触发基于基础图片的图片搜索。

发送单元720，用于将所述基础图片的标识指纹发送至图片服务器，以使该图片服务器在识别出所述基础图片的标识指纹后，根据该标识指纹对应的标签查找与该标签匹配的图片。

接收单元730，用于接收所述图片服务器返回的查找结果。

请参见图8，图8为本发明客户端的第二实施例示意图。如图8所示，该客户端包括：触发单元810、计算单元820、生成单元830、发送单元840和接收单元850，上述单元依次相连。

触发单元810，用于触发基于基础图片的图片搜索。

本实施例中，触发单元810可以通过点击基础图片关联的搜索按钮触发，请参见图4，图4为触发基于用户界面包含的基础图片进行图片搜索的示意图，该界面为即时通讯软件的界面。除了图4所示的触发方式，还可以采用其他的界面形式和触发方式。

计算单元820，用于计算获得所述基础图片的标识指纹。本实施例中，在触发单元810触发基于用户界面包含的基础图片进行图片搜索后，计算单元820利用设置的算法计算获得对应的标识指纹。例如，如果预先设置的算法为MD5算法，则标识指纹为计算获得的MD5指纹。其中，计算单元820中设置的算法与图片服务器中的预先为各个存储的图片计算标识指纹的算法相同。

生成单元830，用于生成含有所述基础图片的标识指纹的URL，以供所述发送单元840发送至图片服务器。本实施例中，在获得基础图片的标识指纹后，生成单元830生成URL，该URL含有基础图片的标识指纹。在此仅以具体的图片地址和MD5指纹为例进行具体的说明。如图4所示，如果在采用MD5算法的设置下，表情图片410的MD5指纹为15ad6b0237c6cae8e9b110f6e9647ed4，则通过拼接生成的URL为：

图片服务器接收到该URL，并识别出所述基础图片的标识指纹后，根据该标识指纹对应的标签查找其他与所述标签匹配的图片。

发送单元840，用于将所述基础图片的标识指纹发送至图片服务器，以使该图片服务器在识别出所述基础图片的标识指纹后，根据该标识指纹对应的标签查找与该标签匹配的图片。

接收单元850，用于接收所述图片服务器返回的查找结果。

本发明的各个实施例中的图片服务器可以是上述的图片搜索装置，也可以是包含了该图片搜索装置的服务器设备。

以上所列举的仅为本发明较佳实施例而已，当然不能以此来限定本发明之权利范围，因此依本发明权利要求所作的等同变化，仍属本发明所涵盖的范围。

Claims

1.一种图片搜索方法，其特征在于，包括：

2.如权利要求1所述的图片搜索方法，其特征在于，还包括：

计算存储在图片服务器中的图片的标识指纹；

根据图片的描述文本提取该图片的标签，并将该标签与该图片的标识指纹建立映射。

3.如权利要求1或2所述的图片搜索方法，其特征在于，还包括：

将获取的所述基础图片的标识指纹与存储在图片服务器中的图片的标识指纹相匹配；

如果匹配成功，则表示识别出所述基础图片的标识指纹；否则，基于图片内容进行图片检索并将检索结果返回客户端。

4.如权利要求1所述的图片搜索方法，其特征在于，所述图片服务器获取客户端在触发基于基础图片的图片搜索后发送的基础图片的标识指纹包括：

所述图片服务器接收客户端在触发基于基础图片的图片搜索后发送的含有该基础图片的标识指纹的统一资源定位符URL；

从所述URL中解析出该基础图片的标识指纹。

5.一种图片搜索方法，其特征在于，包括：

客户端触发基于基础图片的图片搜索；

接收所述图片服务器返回的查找结果。

6.如权利要求5所述的图片搜索方法，其特征在于，所述将所述基础图片的标识指纹发送至图片服务器包括：

计算获得所述基础图片的标识指纹；

生成含有所述基础图片的标识指纹的统一资源定位符URL，并发送至图片服务器。

7.一种图片搜索装置，其特征在于，包括：

获取单元，用于获取客户端在触发基于基础图片的图片搜索后发送的该基础图片的标识指纹；

识别单元，用于识别所述基础图片的标识指纹；

发送单元，用于将查找结果返回至客户端。

8.如权利要求7所述的图片搜索装置，其特征在于，还包括：

计算单元，用于计算存储在图片搜索装置中的图片的标识指纹；

提取单元，用于根据图片的描述文本提取该图片的标签，并将该标签与该图片的标识指纹建立映射。

9.如权利要求7所述的图片搜索装置，其特征在于，所述识别单元进一步用于将获取的所述基础图片的标识指纹与存储在图片搜索装置中的图片的标识指纹相匹配，如果匹配成功，则表示识别出所述基础图片的标识指纹。

10.如权利要求7所述的图片搜索装置，其特征在于，所述获取单元包括：

接收模块，用于接收客户端在触发基于基础图片的图片搜索后发送的含有该基础图片的标识指纹的统一资源定位符URL；

解析模块，用于从所述URL中解析出所述基础图片的标识指纹。

11.一种客户端，其特征在于，包括：

触发单元，用于触发基于基础图片的图片搜索；

接收单元，用于接收所述图片服务器返回的查找结果。

12.如权利要求11所述的客户端，其特征在于，还包括：

计算单元，用于计算获得所述基础图片的标识指纹；

生成单元，用于生成含有所述标识指纹的统一资源定位符URL，以供所述发送单元发送至图片服务器。