CN105426462A - 一种基于图像元素的图像搜索方法和装置 - Google Patents

Abstract

本申请实施例提供了一种基于图像元素的图像搜索方法，包括：接收用户终端上传的第一图像并提取所述第一图像中的图像元素；识别所述图像元素的特征信息，并检测所述图像元素所属类别信息；在图像数据库中筛选类别信息与所述第一图像的类别信息匹配，并与所述第一图像具备相同特征信息的第二图像；返回所述第二图像及所属类别信息至所述用户终端。根据本申请实施例，利用类别信息的搭配关系，将搜索的图像限制在特定的类别范围内，避免了将不匹配的图像搜索结果返回给用户，减少了对网络带宽的占用，节省了对服务器和用户终端处理、存储资源的消耗。

Description

一种基于图像元素的图像搜索方法和装置

技术领域

本申请涉及互联网技术领域，特别是涉及一种基于图像元素的图像搜索方法和一种基于图像元素的图像搜索装置。

背景技术

随着互联网技术的发展，人们越来越多地通过互联网获取各类图像信息，尤其是根据已有的图像搜索相关联的图像。目前的图像搜索方法中，用户可以先上传一张已有的图像，图像搜索引擎可以识别上传的图像中图像元素的颜色、形状、图案等信息，并将与这些信息匹配的全部图像返回给用户。

常见的一种应用场景中，用户上传一张包含红色女装衬衣的图像，想找一张包含有与之搭配的男装衬衣的图像，而通过目前的图像搜索方法可能会搜索到其他的红色女衬衣，并不符合用户的搜索意图；另外一种应用场景中，用户上传一张包含男士领带的图像，想找一张包含有与该领带搭配的西装，而通过目前的图像搜索方法可能会搜索到大量的运动男装，与领带并不搭配；还有一种常见的应用场景中，用户上传一张包含卡通图案的童装上衣，想找一张包含有与之搭配的童装裤子，而目前的图像搜索方法可能会搜索到带有卡通图案的成人服饰的图像，并非用户想找的图像。

可见，目前的图像搜索方法中，仅仅依赖于特征信息的匹配，搜索到的图像可能包含有很多不符合用户搜索意图的图像，将这些搜索的图像返回给用户，一方面占用了大量的网络带宽，而且大量消耗用户终端的处理和存储资源。另一方面用户需要从大量的不符合搜索意图的图像中查找真正需要的图像，花费了用户的时间和精力。

发明内容

鉴于上述问题，提出了本申请实施例以便提供一种克服上述问题或者至少部分地解决上述问题的一种基于图像元素的图像搜索方法和相应的一种基于图像元素的图像搜索装置。

为了解决上述问题，本申请实施例公开了一种基于图像元素的图像搜索方法，包括：

接收用户终端上传的第一图像并提取所述第一图像中的图像元素；

识别所述图像元素的特征信息，并检测所述图像元素所属类别信息；

在图像数据库中筛选类别信息与所述第一图像的类别信息匹配，并与所述第一图像具备相同特征信息的第二图像；

返回所述第二图像及所属类别信息至所述用户终端。

优选地，所述在图像数据库中筛选类别信息与所述第一图像的类别信息匹配，并与所述第一图像具备相同特征信息的第二图像的步骤包括：

从预置的类别匹配表中，查找与所述第一图像的类别信息匹配的第二图像的类别信息；

根据确定的类别信息，从所述图像数据库中筛选与所述第一图像的特征信息相同的第二图像。

优选地，所述在图像数据库中筛选类别信息与所述第一图像的类别信息匹配，并与所述第一图像具备相同特征信息的第二图像的步骤包括：

从所述图像数据库中筛选与所述第一图像的特征信息相同的第二图像；

从预置的类别匹配表中，查找与所述第一图像的类别信息匹配的第二图像的类别信息；

按照确定的类别信息，从筛选的第二图像中查找类别信息与所述第一图像的类别信息匹配的第二图像。

优选地，所述与所述第一图像的类别信息匹配的第二图像的类别信息为：

与所述第一图像的类别信息搭配适用于同一对象的类别信息，或与所述第一图像的类别信息搭配适用于两个对象的类别信息。

优选地，所述在图像数据库筛选与所述第一图像具备相同特征信息的第二图像的步骤为：

计算特征信息与所述第一图像的特征信息的匹配度，将匹配度符合预设范围的图像提取为所述第二图像。

优选地，在所述在图像数据库中筛选类别信息与所述第一图像的类别信息匹配，并与所述第一图像具备相同特征信息的第二图像的步骤之前，所述方法还包括：

访问电子商务网站获取多个图像及所属类别信息，并保存在所述图像数据库。

优选地，所述返回所述第二图像及所属类别信息至所述用户终端的步骤包括：

将类别信息不同的多个第二图像及所属类别信息返回至所述用户终端。

优选地，在所述返回所述第二图像及所属类别信息至所述用户终端的步骤之后，所述方法还包括：

根据用户针对所述用户终端展示的至少一个类别信息的选择操作，并提取所选择的至少一个类别信息，展示在所述第一图像的关联位置。

为了解决上述问题，本申请实施例还公开了一种基于图像元素的图像搜索装置，包括：

图像元素提取模块，用于接收用户终端上传的第一图像并提取所述第一图像中的图像元素；

类别信息检测模块，用于识别所述图像元素的特征信息，并检测所述图像元素所属类别信息；

第二图像筛选模块，用于在图像数据库中筛选类别信息与所述第一图像的类别信息匹配，并与所述第一图像具备相同特征信息的第二图像；

第二图像及所属类别信息返回模块，用于返回所述第二图像及所属类别信息至所述用户终端。

优选地，所述第二图像筛选模块包括：

类别信息查找第一子模块，用于从预置的类别匹配表中，查找与所述第一图像的类别信息匹配的第二图像的类别信息；

特征信息筛选第一子模块，用于根据确定的类别信息，从所述图像数据库中筛选与所述第一图像的特征信息相同的第二图像。

优选地，所述第二图像筛选模块包括：

特征信息筛选第二子模块，用于从所述图像数据库中筛选与所述第一图像的特征信息相同的第二图像；

类别信息查找第二子模块，用于从预置的类别匹配表中，查找与所述第一图像的类别信息匹配的第二图像的类别信息；

第二图像查找子模块，用于按照确定的类别信息，从筛选的第二图像中查找类别信息与所述第一图像的类别信息匹配的第二图像。

优选地，所述与所述第一图像的类别信息匹配的第二图像的类别信息为：

与所述第一图像的类别信息搭配适用于同一对象的类别信息，或与所述第一图像的类别信息搭配适用于两个对象的类别信息。

优选地，所述第二图像筛选模块具体用于：

计算特征信息与所述第一图像的特征信息的匹配度，将匹配度符合预设范围的图像提取为所述第二图像。

优选地，所述装置还包括：

图像及所属类别信息获取模块，用于访问电子商务网站获取多个图像及所属类别信息，并保存在所述图像数据库。

优选地，所述第二图像及所属类别信息返回模块包括：

多个第二图像及所属类别信息返回子模块，用于将类别信息不同的多个第二图像及所属类别信息返回至所述用户终端。

优选地，所述装置还包括：

类别信息展示模块，用于根据用户针对所述用户终端展示的至少一个类别信息的选择操作，并提取所选择的至少一个类别信息，展示在所述第一图像的关联位置。

本申请实施例包括以下优点：

根据本申请实施例，通过图像元素中的特征信息检测出图像的类别信息，并筛选出具备相同特征信息和匹配的类别信息的第二图像，利用类别信息的搭配关系，将搜索的图像限制在特定的类别范围内，避免了将不匹配的图像搜索结果返回给用户，减少了对网络带宽的占用，节省了对服务器和用户终端处理、存储资源的消耗。而且，用户可以便捷地获取到符合其搜索意图的图像，节省了用户的时间和精力。

附图说明

图1是本申请的一种基于图像元素的图像搜索方法实施例一的步骤流程图；

图2是本申请的一种基于图像元素的图像搜索方法实施例二的步骤流程图；

图3是本申请的一种基于图像元素的图像搜索装置实施例一的结构框图；

图4是本申请的一种基于图像元素的图像搜索装置实施例一的结构框图；

图5是本申请的一个示例中图像展示效果图一；

图6是本申请的一个示例中图像展示效果图二；

图7是本申请的一个示例中图像展示效果图三；

图8是本申请的一个示例中图像展示效果图四；

图9是本申请的一个示例中图像展示效果图五；

图10是本申请实施例一的一个示例中类别信息示意图。

具体实施方式

为使本申请的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本申请作进一步详细的说明。

参照图1，示出了本申请的一种基于图像元素的图像搜索方法实施例一的步骤流程图，具体可以包括如下步骤：

步骤101，接收用户终端上传的第一图像并提取所述第一图像中的图像元素。

在实际的应用场景中，用户可能已经拥有某个衣物、服饰配件等物品，或者已经具有某衣物、服饰配件等物品的图像信息，想通过电子商务网站采购或了解与之搭配的其他衣物和服饰配件。电子商务网站具有大量的类似商品，用户不可能逐一查看，因此会通过搜索相关内容的方式，筛选出符合用户要求的商品。

在具体的搜索时，用户可以将一个或多个物品或物体例如用拍照、3D扫描的方式制作成图像，或利用人工电子绘画的图像、或利用现有的包含了该物品或物体的图像，通过电脑、手机等用户终端将图像上传到一个用于在线实时处理用户搜索请求的前端应用服务器。

需要说明的是，上述的图像元素可以是现实生活中的各种物体或物品在图像中的视觉特征，例如颜色、纹理、形状、图案、尺寸、视觉风格等。

在具体的实现中，前端应用服务器接收用户终端上传的第一图像，并提取其中的图像元素。

作为本申请实施例的优选示例，可以在接收第一图像后进行图像预处理，例如调整可交换图像文件格式(ExchangeableImageFile，EXIF)的方向，或者将图像的灰度转换成RGBA色彩系统(RedGreenBlueAlphaColorSystem)或RGB色彩系统(RedGreenBlueColorSystem)的数据信息，以便于后续的图像识别处理。对图像的预处理也可以在移动终端一侧进行。

步骤102，识别所述图像元素的特征信息，并检测所述图像元素所属类别信息。

需要说明的是，特征信息可以是反映图像元素在图像中的颜色信息、尺寸信息、形状信息、图案信息、纹理信息等的多种外观特性的计算机可读的数据，例如，颜色信息可以是图像元素在图像中的RGB颜色系统(RedGreenBlueColorSystem)的数据，尺寸信息可以是第一目标对象在图像中的各个像素点坐标数据等。

在具体的实现中，前端应用服务器可以通过现有的图像识别技术识别提取的图像元素中的特征信息，根据识别的特征信息，检测出该图像元素的类别信息。例如，根据图像元素的外形识别该图像元素是一件长袖上衣、短裤还是一个书包或者一只手表；又例如根据图像元素中的颜色搭配识别出是否含有鲜艳和线条丰富的图案。实际应用中，还可以识别图像中除了衣物的图像元素是否还具有关于人体的图像元素，例如人脸，如有则对人脸的图像元素进行识别，识别出其性别，以确定衣物、饰件等物件为男用还是女用。也可以识别出人脸所属的年龄范围，以此确定衣物、饰件等物件的适用年龄段。当然，可以依赖多张的特征信息确定图像元素的类别信息，例如带有鲜艳和线条丰富的图案的物件通常为适用于儿童的衣物和玩具。

类别信息可以有多种，同一个图像元素也可以同时所属多个类别信息。例如，一件儿童上衣可以属于衣物、儿童用品、上装等类别信息。

需要进一步说明的是，图像元素的特征信息识别通常分为两类:低层视觉和语义内容，前者主要包括颜色、形状、纹理、图案、尺寸等信息；后者包含高层的概念级反应，如由单调的颜色和少量线条构成的简约风格概念的物品，或如由鲜艳色彩结合丰富形状的图案构成的活泼风格概念的物品。而通过卷积神经网络系统对特征信息的低层视觉的分析，可以抽象出高层的概念，从而可以更准确地识别图像中的图像元素并根据特征信息相应检测确定图像元素所属类别信息。

步骤103，在图像数据库中筛选类别信息与所述第一图像的类别信息匹配，并与所述第一图像具备相同特征信息的第二图像。

图像数据库中可以是一个保存有大量的已经确定类别信息的图像的数据库。

可以针对第一图像的特征信息与某一图像的特征信息进行匹配度计算，提取匹配度符合一定范围的图像，并从提取的具备相同特征信息的图像中进一步筛选类别信息匹配的图像。在进行类别信息筛选的步骤中，可以预设一个类别匹配表。

因为在实际生活中，用户对衣物、服饰配件等物品的穿着或使用存在一定的搭配要求，从而形成一定的物品搭配关系，这些搭配关系有可能源于审美因素，也可能源于物品的适用范围。例如，领带可以与出席正式场合的西装衬衣、西裤、皮鞋搭配，而不应该与球鞋、短裤等休闲类衣物搭配；又例如带有卡通图案的男装可以与带有类似卡通图案的女装搭配成情侣装；又例如，色彩较为单调线条较少的物件可以与简约风格的物件搭配。因此，类别匹配表可以包含有物品类别信息的搭配关系，也即图像所属类别信息的搭配关系，以用于筛选与第一图像的类别信息的搭配关系匹配的其他图像。

该类别匹配表可以由人工预先设置，例如，可以由服饰设计专业人士设置类别信息之间的搭配关系，定义和调整类别信息之间如何的搭配效果比较符合用户的要求，也可以通过采集用户上传的搭配效果信息生成该类别匹配表。

在获得具备相同特征信息的图像后，从类别匹配表中查找与第一图像的类别信息匹配的图像的类别信息。例如，如图10所示的类别信息示意图中，左侧图像为用户上传的第一图像，用户想采购一件与第一图像所包含的黑色男装搭配的情侣装，根据第一图像的颜色信息识别出其包含的是一件黑色的物件，通过检测第一图像的形状信息和尺寸信息确定其所属类别信息为“男装衬衣”，从类别匹配表中查找到其匹配的图像所属类别信息为“女装衬衣”，因此，可以从特征信息均为“黑色”的图像中筛选出类别信息为“女装衬衣”的图像，最终筛选出特征信息均为“黑色”、类别信息为“女装衬衣”的处于右侧的第二图像，而将特征信息为“黑色”、但类别信息为“男装长裤”或“男装外套”等类别信息不匹配的图像排除在外。

上述的筛选类别信息匹配和特征信息的处理步骤先后顺序可以互换，即，也可以先从预置的类别匹配表中，查找与第一图像的类别信息匹配的图像的类别信息，再根据确定的类别信息，从图像数据库中筛选与第一图像的特征信息相同的第二图像。

作为本申请实施例的优选示例，可以采用基于内容的图像检索技术(ContentBasedImageRetrieval，CBIR)协助进行类别信息匹配，基于内容的图像检索系统，在建立图像数据库时，系统对输入的图像进行分析并分类统一建模，然后根据各种图像模型提取图像元素的特征信息存入预置特征库，同时对特征库建立索引以提高查找效率。用户搜索图像的过程中，在用户接口设置查询条件，可以采用一种或几种的特征信息的组合来表示，例如上传一个样例图像(QuerybyExample)或描绘一幅草图(QuerybySketch)，然后系统采用相似性匹配算法计算关键位置的图像元素的特征信息与特征库中的图像元素的特征信息的相似度，然后按照相似度从大到小的顺序将匹配的图像反馈给用户。用户可根据自己的满意程度，选择是否修改查询条件，继续查询，以达到令人满意的查询结果。基于内容的图像检索技术的核心是使用图像的可视特征对图像进行检索。其中，特征信息提取、识别和索引的建立可由计算机自动完成，避免了人工描述的主观性。

作为本申请实施例的优选示例，可以采用卷积神经网络系统(ConvolutionalNeuralNetworks,CNN)进行图像元素所属类别信息的检测。基于卷积神经网络系统的算法模型可以针对输入的图像的图像元素多个层次的特征信息进行分析，从而检测出图像元素反映出多个如物品类型、适合性别、适合年龄范围等的类别信息。

卷积神经网络系统是一个可以提取图像特征信息并通过利用大量不同类型的图像进行训练而实现深度学习的识别系统，深度学习可以完成需要高度抽象特征的人工智能任务，如语音识别、图像识别和检索、自然语言理解等。深度学习采用了深层神经网络模型(DeepNeuralNetworks，DNN)，深层模型是包含多个隐藏层的人工神经网络，多层非线性结构使其具备强大的特征表达能力和对复杂任务建模能力。从深层神经网络模型发展而成的卷积神经网络系统，利用图像局部的统计特征信息与其他局部的特征信息一致的固有特性进行图像分析和识别。

作为本申请实施例的优选示例，可以由针对图像人工添加的类别信息标签和人工制作的类别匹配表作为训练样本，以训练卷积神经网络系统。因为即使利用计算机识别图像元素的特征信息，但实际上物品的搭配效果最终以人的标准定义。因此在训练时结合人工干预，由专业人士添加的类别信息标签和制作的类别匹配表作为训练样本，可以更准确地识别图像的类别信息和类别信息之间的搭配效果，从而进一步提升图像搜索的准确性和合理性。

步骤104，返回所述第二图像及所属类别信息至所述用户终端。

可以将筛选出的第二图像以及对应的类别信息返回至用户终端，由此用户获得了符合其搜索意图的图像。返回的第二图像可以和第一图像以并列的方式展示给用户，方便用户进行比对。

根据本申请实施例，通过图像元素中的特征信息检测出图像的类别信息，并筛选出具备相同特征信息和匹配的类别信息的第二图像，利用类别信息的搭配关系，将搜索的图像限制在特定的类别范围内，避免了将不匹配的图像搜索结果返回给用户，减少了对网络带宽的占用，节省了对服务器和用户终端处理、存储资源的消耗。而且，用户可以便捷地获取到符合其搜索意图的图像，节省了用户的时间和精力。

参照图2，示出了本申请的一种基于图像元素的图像搜索方法实施例二的步骤流程图，具体可以包括如下步骤：

步骤201，访问电子商务网站获取多个图像及所属类别信息，并保存在图像数据库。

图像可以从各种类似E-bay、阿里巴巴、京东等的包含有大量各种衣物、饰件商品图像的电子商务网站获取，而且电子商务网站中会对应着具有该商品图像的类别信息，也可以一同获取。从而利用互联网的大数据，可以搜索到更多的符合用户需求的图像。

利用电子商务网站的图像作为图像数据库的备选图像，可以保证用户搜索到的图像所包含的物品可以在相应的电子商务网站采购得到。当然，在用户需要在某一个确定的电子商务网站进行采购的场景中，用户可以将搜索的图像限制在某一个特定的电子商务网站的图像，从而实现更灵活的图像搜索。实际应用中，用户也可以建立个人图像数据库，例如利用用户个人衣物、服饰配件等物品图像创建一个图像数据库，用于可以利用该图像数据库获取物品搭配的相关信息。

实际应用中，图像数据库可以预设在一个离线的后端应用服务器。该后端应用服务器可以设有一个大数据挖掘系统，以帮助图像数据库采集更多的图像及所属类别信息。具体实现中，可以通过网络爬虫(WebCrawler)在电子商务网站上有针对性地收集大量的图像，例如，如果需要收集时尚服饰的图像，可以通过自然语言处理技术(NaturalLanguageProcessing，NLP)分析各电子商务网站，确定该网站含有大量的时尚服饰图像并相应获取这些图像，这些图像一般是经过专业人士制作或挑选的图像，图像中的服饰及搭配符合人类大众的审美标准及搭配习惯。此外，除了爬取图像，还可以将图像对应的网址爬取，以在返回图像给用户时，相应返回该网址，方便用户进行在线采购。

可以针对获取的多个图像预先进行特征信息的识别，并对应地保存在图像数据库中。此外，还可以根据特征信息检测出其类别信息，一同保存在图像数据库中。

步骤202，接收用户终端上传的第一图像并提取所述第一图像中的图像元素。

步骤203，识别所述图像元素的特征信息，并检测所述图像元素所属类别信息。

步骤204，在图像数据库中筛选类别信息与所述第一图像的类别信息匹配，并与所述第一图像具备相同特征信息的第二图像。

作为本申请实施例的优选示例一，所述步骤204可以包括以下子步骤：

子步骤S11，从预置的类别匹配表中，查找与所述第一图像的类别信息匹配的第二图像的类别信息。

子步骤S12，根据确定的类别信息，从所述图像数据库中筛选与所述第一图像的特征信息相同的第二图像。

其中，与所述第一图像的类别信息匹配的第二图像的类别信息可以为，与所述第一图像的类别信息搭配适用于同一对象的类别信息，或与所述第一图像的类别信息搭配适用于两个对象的类别信息。

在具体的实现中，在检测出第一图像的类别信息后，可以从预置的类别匹配表中查找与其匹配的类别信息。第一图像可以具有多个类别信息，例如根据图像元素中男性脸部特征信息检测出类别信息“男装”，根据图像元素中具有上衣形状的特征信息检测出类别信息“上衣”，根据图像元素中的袖子形状检测出类别信息“长袖”，等等。

根据确定的类别信息，在图像数据库中筛选符合该类别信息的、特征信息与第一图像的特征信息相同的第二图像。

作为本申请实施例的优选示例，所述在图像数据库筛选与所述第一图像具备相同特征信息的第二图像的步骤可以为：计算特征信息与所述第一图像的特征信息的匹配度，将匹配度符合预设范围的图像提取为所述第二图像。

特征信息相同的第二图像可以指图像的特征信息之间的匹配度符合一定范围，而可以并非特征信息完全一致。因此，在具体实现中，计算图像的特征信息与第一图像的特征信息的匹配度，将匹配度符合预设范围的图像提取作为第二图像。

作为本申请实施例的优选示例二，所述步骤204可以包括以下子步骤：

子步骤S21，从所述图像数据库中筛选与所述第一图像的特征信息相同的第二图像。

子步骤S22，从预置的类别匹配表中，查找与所述第一图像的类别信息匹配的第二图像的类别信息。

子步骤S23，按照确定的类别信息，从筛选的第二图像中查找类别信息与所述第一图像的类别信息匹配的第二图像。

实际应用中，可以先从图像数据库中大量的图像筛选出特征信息相同的图像，再从类别匹配表中查找与第一图像的类别信息匹配的图像的类别信息，按照查找到的类别信息，再从中筛选出类别信息匹配的第二图像。

步骤205，将类别信息不同的多个第二图像及所属类别信息返回至所述用户终端。

因为第一图像所属类别信息可能会在类别匹配表中存在多个匹配的不同的类别信息，因此，将筛选出的类别信息不同的多个第二图像及对应的类别信息返回至用户终端。由此用户获取到多个视觉特征与其上传的图像的视觉特征相似、又适于与之搭配的物品的图像。

步骤206，根据用户针对所述用户终端展示的至少一个类别信息的选择操作，并提取所选择的至少一个类别信息，展示在所述第一图像的关联位置。

用户可以对用户终端上展示的类别信息进行选择，用户针对不同类别信息的选择操作，可以起到一个内容过滤的作用。例如根据用户上传黑色男装衬衣的图像，返回的包括有“女装衬衣”“女装牛仔裤”“女装围巾”等类别信息的图像，用户可以根据实际需要选择获取不同类别的图像。

为了便于本领域技术人员理解本申请实施例，以下将对通过实际的应用场景对上述实施例中的图像搜索方法作进一步解释说明。

参考图5，示出了本申请的一个示例中图像展示效果图一，左侧图像为用户上传的第一图像，根据本申请实施例的图像搜索方法，识别出图像中包含“高亮度色彩”“附带圆形斑点的卡通图案”的特征信息，图像元素的类别信息为“女装”“适宜年轻人”，将搜索图像的对象限制在特征信息同为“高亮度色彩”、“附带圆形斑点的卡通图案”、类别信息为对应的“适宜年轻人”的“男装”的图像范围内，而过滤掉了“高亮度色彩”、“附带圆形斑点的卡通图案”、但类别信息为“适合老年人”“女装”的图像。

参考图6，示出了本申请的一个示例中图像展示效果图二，根据左侧图像的图像元素的形状信息检测出其类别信息为“背包”，在类别匹配表中查找到与“背包”匹配的类别信息包括“T恤”、“大衣”、“眼镜”、“短袖上衣”等，从而过滤掉“西服”、“领带”等与“背包”类别信息不匹配的图像，在类别信息为“T恤”、“大衣”、“眼镜”、“短袖上衣”的图像中筛选特征信息同为“迷彩色”的物品图像，缩小了查找的范围。

参考图7，示出了本申请的一个示例中图像展示效果图三，左侧图像为用户上传的第一图像，从第一图像的图像元素的形状可以识别出其特征信息包括“带长方形条纹”，其类别信息为“女装”“上衣”，在类别匹配表中查找到与之匹配的类别信息包括“男装”“女式挎包”“牛仔裤”等，可以首先在图像数据库中筛选出任何的特征信息包括“带长方形条纹”的图像，并根据“男装”“女士挎包”的类别信息进一步筛选出“带长方形条纹”的“男装”、“带长方形条纹”的“女式挎包”和“带长方形条纹”的“牛仔裤”，可以将多个第二图像及所属类别信息返回给用户，在用户终端上的第一图像关联位置对比地展示。从图7中可见，在下方设置有多个类别信息的选择按钮，以便用户选择不同的类别信息，以选择展示与类别信息对应的第二图像。

参考图8，示出了本申请的一个示例中图像展示效果图四，左侧第一图像的图像元素中，包含了“黑色”、“动物形状卡通图案”等特征信息，根据形状信息可以检测出其类别信息为“短袖上衣”，在类别匹配表中查找到与“短袖上衣”匹配的类别信息包括“短裤”，因此，可以在具有“黑色”、“动物形状卡通图案”等特征信息的图像中筛选出类别信息为“短裤”的第二图像，如右侧的第二图像所示，第二图像包含的“黑色”、“动物形状卡通图案”的“短裤”与第一图像中的短袖上衣比较适合搭配。

参考图9，示出了本申请的一个示例中图像展示效果图五，左侧的第一图像的图像元素中，可以根据特征信息识别出其为一只“男款手表”，主要色调为“白色”，与“男款手表”匹配的类别信息包括“女款手表”、“男士西服”、“男士夹克”“包”等，最终返回给用户为包含主要色调也为“白色”的“女款手表”、“男士西服”、“男士夹克”“包”等第二图像。

需要说明的是，对于方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本申请实施例并不受所描述的动作顺序的限制，因为依据本申请实施例，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作并不一定是本申请实施例所必须的。

参照图3，示出了本申请的一种基于图像元素的图像搜索装置实施例一的结构框图，具体可以包括如下模块：

图像元素提取模块301，用于接收用户终端上传的第一图像并提取所述第一图像中的图像元素。

类别信息检测模块302，用于识别所述图像元素的特征信息，并检测所述图像元素所属类别信息。

第二图像筛选模块303，用于在图像数据库中筛选类别信息与所述第一图像的类别信息匹配，并与所述第一图像具备相同特征信息的第二图像。

第二图像及所属类别信息返回模块304，用于返回所述第二图像及所属类别信息至所述用户终端。

根据本申请实施例，通过图像元素中的特征信息检测出图像的类别信息，并筛选出具备相同特征信息和匹配的类别信息的第二图像，利用类别信息的搭配关系，将搜索的图像限制在特定的类别范围内，避免了将不匹配的图像搜索结果返回给用户，减少了对网络带宽的占用，节省了对服务器和用户终端处理、存储资源的消耗。而且，用户可以便捷地获取到符合其搜索意图的图像，节省了用户的时间和精力。

参照图4，示出了本申请的一种基于图像元素的图像搜索装置实施例二的结构框图，具体可以包括如下模块：

图像及所属类别信息获取模块401，用于访问电子商务网站获取多个图像及所属类别信息，并保存在图像数据库。

图像元素提取模块402，用于接收用户终端上传的第一图像并提取所述第一图像中的图像元素。

类别信息检测模块403，用于识别所述图像元素的特征信息，并检测所述图像元素所属类别信息。

第二图像筛选模块404，用于在图像数据库中筛选类别信息与所述第一图像的类别信息匹配，并与所述第一图像具备相同特征信息的第二图像。

第二图像及所属类别信息返回模块405，用于返回所述第二图像及所属类别信息至所述用户终端。

类别信息展示模块406，用于根据用户针对所述用户终端展示的至少一个类别信息的选择操作，并提取所选择的至少一个类别信息，展示在所述第一图像的关联位置。

作为本申请实施例的优选示例一，所述第二图像筛选模块404可以包括以下子模块：

类别信息查找第一子模块，用于从预置的类别匹配表中，查找与所述第一图像的类别信息匹配的第二图像的类别信息。

特征信息筛选第一子模块，用于根据确定的类别信息，从所述图像数据库中筛选与所述第一图像的特征信息相同的第二图像。

作为本申请实施例的优选示例二，所述第二图像筛选模块404可以包括以下子模块：

特征信息筛选第二子模块，用于从所述图像数据库中筛选与所述第一图像的特征信息相同的第二图像。

类别信息查找第二子模块，用于从预置的类别匹配表中，查找与所述第一图像的类别信息匹配的第二图像的类别信息。

第二图像查找子模块，用于按照确定的类别信息，从筛选的第二图像中查找类别信息与所述第一图像的类别信息匹配的第二图像。

作为本申请实施例的优选示例，所述与所述第一图像的类别信息匹配的第二图像的类别信息为：

与所述第一图像的类别信息搭配适用于同一对象的类别信息，或与所述第一图像的类别信息搭配适用于两个对象的类别信息。

作为本申请实施例的优选示例，所述第二图像筛选模块可以具体用于：

计算特征信息与所述第一图像的特征信息的匹配度，将匹配度符合预设范围的图像提取为所述第二图像。

作为本申请实施例的优选示例，所述第二图像及所属类别信息返回模块405可以包括以下子模块：

多个第二图像及所属类别信息返回子模块，用于将类别信息不同的多个第二图像及所属类别信息返回至所述用户终端。

对于装置实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。

本领域内的技术人员应明白，本申请实施例的实施例可提供为方法、装置、或计算机程序产品。因此，本申请实施例可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请实施例是参照根据本申请实施例的方法、终端设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理终端设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理终端设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理终端设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理终端设备上，使得在计算机或其他可编程终端设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程终端设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

尽管已描述了本申请实施例的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本申请实施例范围的所有变更和修改。

最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者终端设备中还存在另外的相同要素。

以上对本申请所提供的一种基于图像元素的图像搜索方法和一种基于图像元素的图像搜索装置，进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的一般技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。

Claims (16)

1.一种基于图像元素的图像搜索方法，其特征在于，包括：

接收用户终端上传的第一图像并提取所述第一图像中的图像元素；

识别所述图像元素的特征信息，并检测所述图像元素所属类别信息；

在图像数据库中筛选类别信息与所述第一图像的类别信息匹配，并与所述第一图像具备相同特征信息的第二图像；

返回所述第二图像及所属类别信息至所述用户终端。

2.根据权利要求1所述的方法，其特征在于，所述在图像数据库中筛选类别信息与所述第一图像的类别信息匹配，并与所述第一图像具备相同特征信息的第二图像的步骤包括：

从预置的类别匹配表中，查找与所述第一图像的类别信息匹配的第二图像的类别信息；

根据确定的类别信息，从所述图像数据库中筛选与所述第一图像的特征信息相同的第二图像。

3.根据权利要求1所述的方法，其特征在于，所述在图像数据库中筛选类别信息与所述第一图像的类别信息匹配，并与所述第一图像具备相同特征信息的第二图像的步骤包括：

从所述图像数据库中筛选与所述第一图像的特征信息相同的第二图像；

从预置的类别匹配表中，查找与所述第一图像的类别信息匹配的第二图像的类别信息；

按照确定的类别信息，从筛选的第二图像中查找类别信息与所述第一图像的类别信息匹配的第二图像。

4.根据权利要求2或3所述的方法，所述与所述第一图像的类别信息匹配的第二图像的类别信息为：

与所述第一图像的类别信息搭配适用于同一对象的类别信息，或与所述第一图像的类别信息搭配适用于两个对象的类别信息。

5.根据权利要求1所述的方法，其特征在于，所述在图像数据库筛选与所述第一图像具备相同特征信息的第二图像的步骤为：

计算特征信息与所述第一图像的特征信息的匹配度，将匹配度符合预设范围的图像提取为所述第二图像。

6.根据权利要求1所述的方法，其特征在于，在所述在图像数据库中筛选类别信息与所述第一图像的类别信息匹配，并与所述第一图像具备相同特征信息的第二图像的步骤之前，所述方法还包括：

访问电子商务网站获取多个图像及所属类别信息，并保存在所述图像数据库。

7.根据权利要求1所述的方法，其特征在于，所述返回所述第二图像及所属类别信息至所述用户终端的步骤包括：

将类别信息不同的多个第二图像及所属类别信息返回至所述用户终端。

8.根据权利要求7所述的方法，其特征在于，在所述返回所述第二图像及所属类别信息至所述用户终端的步骤之后，所述方法还包括：

根据用户针对所述用户终端展示的至少一个类别信息的选择操作，并提取所选择的至少一个类别信息，展示在所述第一图像的关联位置。

9.一种基于图像元素的图像搜索装置，其特征在于，包括：

图像元素提取模块，用于接收用户终端上传的第一图像并提取所述第一图像中的图像元素；

类别信息检测模块，用于识别所述图像元素的特征信息，并检测所述图像元素所属类别信息；

第二图像筛选模块，用于在图像数据库中筛选类别信息与所述第一图像的类别信息匹配，并与所述第一图像具备相同特征信息的第二图像；

第二图像及所属类别信息返回模块，用于返回所述第二图像及所属类别信息至所述用户终端。

10.根据权利要求9所述的装置，其特征在于，所述第二图像筛选模块包括：

类别信息查找第一子模块，用于从预置的类别匹配表中，查找与所述第一图像的类别信息匹配的第二图像的类别信息；

特征信息筛选第一子模块，用于根据确定的类别信息，从所述图像数据库中筛选与所述第一图像的特征信息相同的第二图像。

11.根据权利要求9所述的装置，其特征在于，所述第二图像筛选模块包括：

特征信息筛选第二子模块，用于从所述图像数据库中筛选与所述第一图像的特征信息相同的第二图像；

类别信息查找第二子模块，用于从预置的类别匹配表中，查找与所述第一图像的类别信息匹配的第二图像的类别信息；

第二图像查找子模块，用于按照确定的类别信息，从筛选的第二图像中查找类别信息与所述第一图像的类别信息匹配的第二图像。

12.根据权利要求10或11所述的装置，所述与所述第一图像的类别信息匹配的第二图像的类别信息为：

与所述第一图像的类别信息搭配适用于同一对象的类别信息，或与所述第一图像的类别信息搭配适用于两个对象的类别信息。

13.根据权利要求9所述的装置，其特征在于，所述第二图像筛选模块具体用于：

计算特征信息与所述第一图像的特征信息的匹配度，将匹配度符合预设范围的图像提取为所述第二图像。

14.根据权利要求9所述的装置，其特征在于，所述装置还包括：

图像及所属类别信息获取模块，用于访问电子商务网站获取多个图像及所属类别信息，并保存在所述图像数据库。

15.根据权利要求9所述的装置，其特征在于，所述第二图像及所属类别信息返回模块包括：

多个第二图像及所属类别信息返回子模块，用于将类别信息不同的多个第二图像及所属类别信息返回至所述用户终端。

16.根据权利要求15所述的装置，其特征在于，所述装置还包括：

类别信息展示模块，用于根据用户针对所述用户终端展示的至少一个类别信息的选择操作，并提取所选择的至少一个类别信息，展示在所述第一图像的关联位置。