CN110020185A - 智能搜索方法、终端及服务器 - Google Patents

Abstract

本发明提供一种智能搜索方法、终端及服务器，智能搜索方法包括对目标图片中的图像内容进行识别，根据识别结果为该目标图片设置特征信息，根据特征信息分类法确定目标图片的各特征信息所属的类别，将目标图片中的特征信息作为搜索关键字，在特征信息所属类别的数据库中进行搜索，得到与目标图像内容相关的搜索结果；在使用搜索功能时，不再强制要求用户输入准确的文字信息作为关键字，且通过图像识别技术和特征信息分类技术对目标图片中的图像内容进行自动识别、设置特征信息和分类，将特征信息作为搜索关键字，直接在特征信息所属类别的数据库中进行搜索，在保证搜索准确性的前提下，缩小搜索范围，提升资源利用率的同时，提升用户体验的满意度。

Description

智能搜索方法、终端及服务器

技术领域

本发明涉及通信领域，尤其涉及一种智能搜索方法、终端及服务器。

背景技术

随着网络技术以及终端技术的日益发展，智能终端和网络已经与人们的生活、工作密不可分。用户可以通过终端实现图像拍摄、看视频、浏览网页、听歌、通话等各种功能。且终端也提供了各种本地搜索或网络搜索的功能。但不管是本地搜索还是网络搜索，目前所提供的搜索方式中，都是通过输入的文字信息进行搜索。也即要通过搜索功能进行搜索，首先用户需要获取到相应的文字信息作为搜索关键字输入。而在日常生活和工作中，往往会遇到用户不知道用文字怎么表达一种事物，或用文字不能准确进行表达，导致用户不能通过搜索功能对该事物进行搜索，或搜索出来的结果完全不是用户想要的结果。

例如，当用户碰到新鲜事物，但无法用较为准确的措辞表达出想要寻找的对象的时候，用户输入不准确的关键字必然导致搜索引擎给出眼花缭乱，文不对题的搜索结果。比如，用户看到某种新植物、动物或者其他物品而不知道怎么准确形容表达，又例如在出差过程中无意发现喜欢的带有当地风俗的物品，想要请教当地人又由于语言而无法沟通，不是旅游纪念品而无法购买，又因为用户不能准确对其进行形容表达而不能通过搜索功能进行搜索，从而错过了心仪的物品。

可见，现有传统的文字搜索功能具有较大的局限性，并不能很好的满足需求，导致用户体验满意度差。

发明内容

本发明提供一种智能搜索方法、终端及服务器，以解决现有文字搜索功能需要用户准确输入文字关键字才能实现准确搜索这一局限性问题。

为解决上述技术问题，本发明采用以下技术方案:

一种智能搜索方法，包括：

对目标图片中的图像内容进行识别，根据识别结果为所述目标图片设置特征信息，所述特征信息用于表征所述目标图片所包含的图像内容；

根据特征信息分类法确定所述特征信息所属的类别；

将所述特征信息作为搜索关键字，在所述特征信息所属类别的数据库中进行搜索，得到搜索结果。

进一步地，所述根据识别结果为所述目标图片设置特征信息之后，根据预设的特征信息分类法确定所述特征信息所属的类别之前，还包括以下特征信息筛选过程：

获取所述特征信息在所述目标图片中所占的权重值；

将权重值小于等于预设权重阈值的特征信息剔除；或将所述特征信息按权重值从大到小的顺序排列，将排列在第K个之后的各权重值对应的特征信息剔除。

进一步地，获取所述特征信息在所述目标图片中所占的权重值包括：获取所述特征信息对应的图像内容在所述目标图片中所占的面积比，将所述面积比作为所述特征信息的权重值。

进一步地，所述得到搜索结果之后，还包括：

获取所述各目标对象中的内容；

在内容相似度高于预设第一相似度阈值的目标对象个数大于数量阈值时，从这些目标对象中选择M个目标对象在所述搜索结果中进行显示；所述M小于等于所述数量阈值。

进一步地，所述得到搜索结果之后，还包括：

对所述搜索结果中搜索到的各目标对象进行二次分类；

将所述各目标对象按分类进行显示。

进一步地，所述对搜索到的各目标对象进行二次分类包括：

获取所述各目标对象的来源信息；

将来源信息相关联的目标对应分为一类；

或，

获取所述各目标对象自身的文件类型信息；

将文件类型信息相同的目标对象分为一类；

或，

获取所述各目标对象中的内容；

将内容相似度高于预设第二相似度阈值的各目标对象分为一类。

或，

获取所述各目标对象中的关键内容；

根据预设内容场景分类算法和所述各目标对象中的关键内容，对所述各目标对象进行分类。

进一步地，至少一个类别的数据库中包括文本类型文件；

所述将所述特征信息作为搜索关键字，在所述特征信息所属类别的数据库中进行搜索之前，还包括：

提取各文本类型文件中的关键字作为各文本类型文件的文本特征信息；

根据文本特征信息分类方法确定所述各文本特征信息所属的类别，将所述各文本类型文件设置于其文本特征信息所属类别的数据库中；

所述将所述特征信息作为搜索关键字，在所述特征信息所属类别的数据库中进行搜索包括：

查找到所述特征信息所属类别的数据库；

在所述数据库中存在文本类型文件时，将所述特征信息与所述文本类型文件的文本特征信息进行匹配。

进一步地，所述将所述特征信息作为搜索关键字，在所述特征信息所属类别的数据库中进行搜索包括：

服务器接收终端发送的所述特征信息和所述特征信息所属的类别，并将所述特征信息作为搜索关键字，在所述特征信息所属类别的数据库中进行搜索；

和/或，

所述终端将所述特征信息作为搜索关键字，在本地的所述特征信息所属类别的数据库中进行搜索。

一种智能搜索装置，包括：

特征信息设置模块，用于对目标图片中的图像内容进行识别，根据识别结果为所述目标图片设置特征信息，所述特征信息用于表征所述目标图片所包含的图像内容；

特征信息分类模块，用于根据特征信息分类法确定所述特征信息所属的类别；

搜索处理模块，用于将所述特征信息作为搜索关键字，在所述特征信息所属类别的数据库中进行搜索，得到搜索结果。

一种终端，所述终端包括第一处理器、第一存储器以及第一通信总线；

所述第一通信总线用于实现所述第一处理器与所述第一存储器之间的通信连接；

所述第一处理器用于执行第一存储器中存储的一个或者多个第一程序，以实现如上所述的智能搜索方法的步骤。

一种服务器，所述服务器包括第二处理器、第二存储器以及第二通信总线；

所述第二通信总线用于实现所述第二处理器与所述第二存储器之间的通信连接；

所述第二处理器用于执行第二存储器中存储的一个或者多个第二程序，以实现如上所述的智能搜索方法的步骤。

有益效果

本发明提供的智能搜索方法、终端及服务器，对目标图片中的图像内容进行识别，根据识别结果为该目标图片设置特征信息，所设置的特征信息可以表征该目标图片所包含的图像内容，然后根据特征信息分类法确定目标图片的各特征信息所属的类别，然后将目标图片中的特征信息作为搜索关键字，在特征信息所属类别的数据库中进行搜索，得到与目标图像内容相关的搜索结果；本发明提供的智能搜索方法至少具备以下优点：

1、在使用搜索功能时，不再强制要求用户输入准确的文字信息作为关键字，用户只需要输入待搜索的目标图片即可，极大简化了搜索操作，丰富了搜索方式，可带给用户全新的搜索体验；例如用户在遇到不知道如何用文字表述的事物时，只需要对该事物进行拍照，将拍得的照片作为目标图片输入即可准确的搜索到与该事物相关的内容，避免用户因不知如何表达描述而不能进行搜索的尴尬情况发生；也能避免因用户输入的文字关键字不对而搜索结果冗余杂糅的情况发生；

2、通过图像识别技术和特征信息分类技术对目标图片中的图像内容进行自动识别、打标签(设置特征信息)和分类，实现简单、简洁；且在搜索时，将特征信息作为搜索关键字，直接在特征信息所属类别的数据库中进行搜索，在保证搜索准确性的前提下，缩小搜索范围，提升资源利用率的同时，提升搜索结果的准确性，可进一步提升用户体验的满意度。

附图说明

图1为本发明实施例一的智能搜索方法流程示意图；

图2为本发明实施例一的图片示意图；

图3为本发明实施例一的另一图片示意图；

图4为本发明实施例一的特征信息筛选流程示意图；

图5为本发明实施例一的特征信息权重值获取流程示意图；

图6为本发明实施例一的目标对象流程示意图；

图7为本发明实施例一的目标对象分类流程示意图；

图8为本发明实施例一的文本类型文件设置流程示意图；

图9为本发明实施例一的文本类型文件匹配流程示意图；

图10为本发明实施例二的智能搜索装置结构示意图；

图11为本发明实施例三的终端结构示意图；

图11为本发明实施例三的终端结构示意图；

图12为本发明实施例四的服务器结构示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，下面通过具体实施方式结合附图对本发明实施例作进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

实施例一：

针对现有文字搜索功能需要用户准确输入文字关键字才能实现准确搜索这一局限性问题，本实施例提供了一种基于图片的智能搜索方法，参见图1 所示，包括：

S101：对目标图片中的图像内容进行识别，根据识别结果为目标图片设置特征信息，所设置的特征信息用于表征目标图片所包含的图像内容。

本实施例中的目标图片可以是各种来源的图片，例如可以是终端从其他终端获取到的图片，终端从网络侧获取到的图片，终端通过图像采集设备拍摄得到的图片、终端从本地或网络视频中截取的图片、终端本地文件或云端网页提取到的图片等等。且本实施例中对于目标图片的格式、大小并无限制。

本实施例中对目标图片中的图像内容进行识别时，所采用的图片识别技术可以是各种图片识别技术，例如包括但不限于神经网络的图像识别方法、基于小波矩的图像识别方法，具体采用什么图像识别方法可以灵活的选择设置，在此不对其进行赘述。

本实施例中，对目标图片中的图像内容进行识别时，可以识别出目标图片中的各种内容，包括但不限于各种物体、植物、人物、动物、文字信息等等。例如对于图2所示的图片，可以准确的识别出该图片包括猫的图像区域21和显示器的图像区域22，对于图3所示的图片，至少可以准确识别出该图片包含文字“招商银行”的图像区域31以及包含数字“6225……8888”的图像区域32。本实施例中，对于图片中的图像内容进行识别时，可以对该图片中的所有内容进行识别，也可以对该图片中的内容有选择性的进行识别。例如，当用户输入目标图片后，指定对该目标图片上的特定区域内的图像内容进行识别时，则可以仅针对用户指定区域内的图像内容进行识别并进行后续的搜索。

本实施例中，根据识别结果为目标图片设置特征信息，所设置的特征信息用于表征目标图片所包含的图像内容，该步骤也称为为目标图片设置标签(即特征信息)的过程，且一个目标图片可能设置一个标签，也可能设置多个标签。例如，针对图2所示的图片，根据识别结果可设置其特征信息包括“猫”和“电脑显示器”，对于图3所示的图片，根据识别结果可设置其特征信息包括“招商银行”和“6225……8888(或为“银行卡号”，或“银行卡号6225……8888”)”等。具体特征信息的设置规则也可以灵活确定。

S102：根据特征信息分类法确定目标图片各特征信息所属的类别。

在本实施例中，特征信息分类法可以采用各种文意识别技术进行场景分类，确定各种特征信息对应的类别，例如将图2中的“猫”确定为“动物”类别，甚至确定为更精细的“猫科动物”类，将图2中的“电脑显示器”确定为“电脑”类等。例如包括但不限于决策树(Decision Trees)分类算法、人工神经网络 (Convolutional Neural Networks,CNN)分类算法、遗传算法、KNN算法 (K-Nearest Neighbour)、支持向量机(SVM)算法、朴素贝叶斯算法、Adaboosting 算法以及Rocchio算法中的至少一种。

S103：将目标图片的各特征信息作为搜索关键字，在各特征信息所属类别的数据库中进行搜索，得到搜索结果。

本实施例中，在得到目标图片的特征信息之后，并不是直接将该特征信息直接在数据库中进行散乱盲目搜索，而是再对特征信息进行分类，然后将特征信息作为搜索关键字，直接在特征信息所属类别的数据库中进行搜索，可在保证搜索准确性的前提下，缩小搜索范围，提升资源利用率的同时，提升搜索结果的准确性，可进一步提升用户体验的满意度。

应当理解的是，本实施例中各类别对应的数据库是预先设置好的，且该数据库还可支持实时、动态更新。

通过图1所示的智能搜搜方法，在使用搜索功能时，用户可只需要输入待搜索的目标图片即可，而不再强制要求用户输入准确的文字信息作为关键字，极大简化了搜索操作，丰富了搜索方式，可带给用户全新的搜索体验；例如用户在遇到不知道如何用文字表述的事物时，只需要对该事物进行拍照，将拍得的照片作为目标图片输入即可准确的搜索到与该事物相关的内容，避免用户因不知如何表达描述而不能进行搜索的尴尬情况发生；也能避免因用户输入的文字关键字不对而搜索结果冗余杂糅的情况发生。

应当理解的是，本实施例中用户在输入目标图片后，还可支持用户进一步输入文字信息作为补充搜索信息，后续搜索时可结合用户输入的目标图片的特征信息以及用户输入的补充搜索信息进行搜索，以及对搜索结果进行筛选，提升搜索准确率，也即可支持图片和文字结合进行搜索。

在本实施例的示例一中，图1所示的步骤可全部由终端执行，此时终端可以从其他终端、云端、或通过图像采集装置等方式获取到目标图片。且此时 S103执行搜索时，终端可将目标图片特征信息作为搜索关键字，在本地的所述特征信息所属类别的数据库中进行搜索，得到本地搜索结果。

在本实施例的示例二中，图1所示的步骤可全部由服务器执行，此时S101 中的目标图片可由服务器从终端获取，也即用户在需要搜索时，可以在终端上输入目标图片，然后终端可直接将该目标图片发送至服务器，然后由服务器执行图1所示的S101至S103步骤。此时S103中，由服务器将目标图片的特征信息作为搜索关键字，在各特征信息所属类别的数据库(该数据库则为网络侧的数据库，并非终端本地的数据库)中进行搜索，得到搜索结果；然后服务器可将得到的搜索结果反馈给终端。

在本实施例的示例三中，图1所示的步骤则可由终端和服务器联合执行。例如，S101至S102可由终端执行，此时终端在获取到目标图片后，对该目标图片中的图像内容进行识别，根据识别结果为该目标图片设置特征信息，根据特征信息分类法确定各特征信息所属的类别，然后将目标图片的特征信息和各特征信息所属的类别发给服务器；在S103中，则是由服务器接收终端发送的特征信息和各特征信息所属的类别，在各特征信息所属类别的数据库(该数据库则为网络侧的数据库，并非终端本地的数据库)中进行搜索，得到搜索结果；然后服务器可将得到的搜索结果反馈给终端。在本示例中，终端将特征信息和各特征信息所属的类别发给服务器执行网络侧的搜索时，根据具体需求，终端也可同时将目标图片特征信息作为搜索关键字，在本地的所述特征信息所属类别的数据库中进行搜索，得到本地搜索结果；此时则可同时获取到网络侧的搜索结果和本地的搜索结果。当然，在本示例中，S102也可转由服务器执行，也即终端执行完S101之后，将得到的目标图片的特征信息发给服务器，由服务器执行S102中的对特征信息进行分类以及S103中的搜索过程，且服务器执行完 S102之后根据需要还可将得到的分类结果反馈给终端，使得终端根据该分类结果同时在本地进行搜索。

可见，本实施例提供的智能搜索方法适用于终端、服务器以及终端与服务器的灵活结合，适用领域广，实现方式灵活简单。例如用户只需查找本地内容时(例如从本地历史照片中查找照片、文件库中查找文件等)，则可采用上述示例一；当用户只需查找网络侧的内容时，或同时查找网络侧的内容时，则可采用上述示例二或三。

在本实施例中，可以基于目标图片所有的特征信息进行搜索，以提升搜索的全面性。也可以针对目标图片上的重要特征信息进行搜索，以在保证搜索结果准确性的基础上，缩小搜索范围，进一步提升资源利用率，也能避免呈现过多的搜索结果给用户。

因此，在本实施例中，根据识别结果为目标图片设置特征信息之后，在根据预设的特征信息分类法确定特征信息所属的类别之前，还包括以下图4所示的特征信息筛选过程：

S401：获取目标图片的各特征信息在目标图片中所占的权重值。

S402：将权重值小于等于预设权重阈值的特征信息剔除；或将特征信息按权重值从大到小的顺序排列，将排列在第K(例如M可取1、2或3等)个之后的各权重值对应的特征信息剔除。

在本实施例中，也可以在目标图片的特征信息超过一定个数之后才执行图 4所示的筛选步骤。例如设定超过3个时才执行图4所示的筛选过程，3个以内时则不执行。

本实施例中，确定目标图片的各特征信息的权重值的方式也可以灵活设定。例如可以根据各特征信息的历史搜索情况，将搜索很频繁的特征信息权重值设置的大一些，将很少搜索的或者没有搜索记录的特征信息的权重值设置的小一些，也即可以通过基于搜索频率计算权重值的方式获取各特征信息的权重值。也可以基于各特征信息自身内容确定权重值等。

在实施例的一种示例中，考虑到用户在通过图片搜索方式对某一事物进行搜索时，用户在对该事物进行拍照得到目标图片时，至少会是的该事物完整的在目标图片中呈现，因此该事物对应的图像内容在图片中所占的面积比例一般不会特别小。基于该特点，在本实施例中，可以基于各特征信息对应的图像内容在目标图片中所占的面积比确定各特征信息的权重值，例如，一种权重值获取方式参见图5所示，包括：

S501：获取目标图片的各特征信息对应的图像内容在目标图片中所占的面积比。

例如对于图2中的特征信息“猫”，则计算“猫”对应的图像区域21在图2 所示的图片上所占的面积比(可通过该图像区域的像素点个数与整个图片的像素点个数之比进行表征)；对于图2中的特征信息“电脑显示器”，则计算“电脑显示器”对应的图像区域22在图2所示的图片上所占的面积比，从而可以得到特征信息“猫”和“电脑显示器”的权重值。

S502：将各特征信息对应的图像内容在目标图片中所占的面积比作为各特征信息的权重值。

本实施例中，对于最终保留的各特征信息，可按各特征信息按权重值进行排序从而得到目标图片的特征向量。在得到搜索结果进行反馈时，则可根据各特征信息的权重值大小确定特征信息对应的搜索结果的排序以及反馈的数据量等。例如将权重值最大的特征信息对应的搜索结果排在最前面反馈，并可设置该特征信息对应的搜索结果反馈的数据量可以最大。当然，搜索结果的排序也可以根据搜索结果中各目标对象的具体内容的匹配程度、发布时间、用户的搜索习惯等各种因素灵活确定。

在搜索时，有时搜索到的目标对象可能存在很多重复的内容。例如有可能搜索到内容相同，只是来源不同，或者只是排版不同，或者只是发布时间不同的多个目标对象。现有的文本搜索功能中，对于这些内容实质相同的目标对象也都会反馈给用户，既造成资源浪费，又导致用户需要重复查看相同内容的目标对象，在很大程度上降低了用户体验的满意度。因此，在本实施例中，在得到搜索结果之后，还可包括图6所示的以下目标对象筛选过程：

S601：获取搜索结果中各目标对象中的内容。

S602：在内容相似度高于预设第一相似度阈值的目标对象个数大于数量阈值时，从这些目标对象中选择M个目标对象在所述搜索结果中进行显示，M 小于等于所述数量阈值。

本实施例中的第一相似度阈值、数量阈值以及M值都可以灵活设定；例如相似度阈值可设置为90％，数量阈值可设置为10，M为1或3，假设经判断发现具有相同内容的目标对象的个数超过20个时，则从这20个目标对象中选择1个或3个进行显示，且选择时可以根据各目标对象与特征信息的匹配度、发布时间、类型等因素灵活设定，例如选择发布时间最新的目标对象。

通过图6所示的筛选过程，可以将搜索结果中内容重复的目标对象予以筛选剔除，避免用户查看过多的重复内容，既能提升资源利用率，又能进一步提升用户体验的满意度。

在传统的文本搜索功能中，对于搜索得到的各目标对象，都直接采用混合显示的方式在一个页面中进行显示。例如其中一个目标对象明显属于体育类，另一个目标对象明显属于财经类，对于这两个目标对象，传统搜索功能会将其无差别处理直接混合显示；导致用户查看时比较混乱，体验不好。为此，在本实施例中，在得到得到搜索结果之后，将其呈现给用户之前，还可包括以下图 7所示的二次分类过程：

S701：对搜索到的各目标对象进行二次分类。

S702：将各目标对象按分类进行显示；从而带给用户全新的、规则的搜索结果显示界面，可进一步提升搜索的智能性和用户体验。

应当理解的是，本实施例中对搜索结果中的目标对象进行分类时，可以采用各种分类方式进行分类，具体可以根据用户习惯和需求灵活确定。为了便于理解，本实施例以下面几种分类方式进行示例说明。

分类方式一：

获取搜索结果中的各目标对象的来源信息。

将来源信息相关联的目标对应分为一类。

例如，假设当前搜索到的目标对象中有来自百度文库的、有来自知乎论坛，则将来源信息属于百度文库的目标对象分为一类，将来源信息属于知乎论坛的目标对象分为另一类。

分类方式二：

获取搜索结果中的各目标对象自身的文件类型信息。

将文件类型信息相同的目标对象分为一类。

例如，假设当前搜索到的目标对象中有来文件类型为图片、文档、网页，则将文件类型属于图片的目标对象分为一类，将文件类型属于网页的目标对象分为一类，将文件类型属于文档的目标对象分为一类。

分类方式三：

获取搜索结果中的各目标对象中的内容。

将内容相似度高于预设第二相似度阈值的各目标对象分为一类；通过这种方式可以将内容相似的各目标对象进行集中显示，便于用户根据内容相似度情况分类查看。

分类方式四：

获取搜索结果中的各目标对象中的关键内容。

根据预设内容场景分类算法和各目标对象中的关键内容，对各目标对象进行分类。

本方式中采用的内容场景分类算法也可采用但不限于决策树(Decision Trees)分类算法、人工神经网络(Convolutional Neural Networks,CNN)分类算法、遗传算法、KNN算法(K-Nearest Neighbour)、支持向量机(SVM)算法、朴素贝叶斯算法、Adaboosting算法以及Rocchio算法中的至少一种。本方式可以根据内容场景分类算法将各目标对象分类到头条、新闻、热点、体育、娱乐、财经、军事、科技、时尚、房产、历史、家居等场景类别，用户查看时可以根据自己感兴趣的类别进行查看，可进一步提升用户体验的满意度。

如上分析所示，本实施例中对于搜索结果进行的以上筛选和分类处理的步骤可以由终端执行，也可以由服务器执行，或者由二者联合执行。可以根据应用场景灵活设定。

在本实施例中，虽然搜索时输入的目标图片，但本实施例在搜索时并不限于图片与图片的匹配，还可支持图片与文本类型文件进行匹配，例如word文档、PDF文档、txt文档等等。因此本实施例中还可将文本类型文件在至少一个类别对应的数据库中进行设置。且该数据库包括终端本地的数据库和网络侧的数据库中的至少一种。

本实施例在数据库中设置文本类型文件时，其设置过程参见图8所示，包括：

S801：提取各文本类型文件中的关键字作为各文本类型文件的文本特征信息。

本实施例中，提取各文本类型文件中的关键字的方式可以灵活设定。例如可以提炼出标题，首尾段或目录的关键词，作为文本特征信息。

S802：根据文本特征信息分类方法确定各文本特征信息所属的类别，将各文本类型文件设置于其文本特征信息所属类别的数据库中。

本实施例中的文本特征信息分类方法也可采用但不限于决策树(DecisionTrees)分类算法、人工神经网络(Convolutional Neural Networks,CNN)分类算法、遗传算法、KNN算法(K-Nearest Neighbour)、支持向量机(SVM)算法、朴素贝叶斯算法、Adaboosting算法以及Rocchio算法中的至少一种。不过此处是可以句子或文段的形式作为输入。

基于上述文本设置，在将目标特征信息作为搜索关键字，在特征信息所属类别的数据库中进行搜索的过程还包括如下图9所示的文本匹配过程：

S901：查找到目标图片的特征信息所属类别的数据库。

S902：在某一类别的数据库中存在文本类型文件时，将对应该类别的特征信息与该文本类型文件的文本特征信息进行匹配。

本实施例可以实现图片与文本类文件的匹配，尤其适用于是在终端本地搜索，扩大了的搜索范围，提升了搜索精度。

另外，现有文字搜索功能，其所搜索的范围比较窄，一般仅限于一些大的网站、文库、电子平台；用户通过搜索所能得到的有用的目标对象有限。本实施例对于网络侧的数据库，其可以与各种资源对接，通过相应的搜索引擎可以搜索到各种资源中对应的目标对象，例如各种科普或者技术性知识性网页，文本文档，相关下载包链接，各种交流性论坛，生活娱乐性网页(如：视频网站，音乐网站，购物网站，实现“以图搜一切”的目的。

实施例二：

为了便于理解本发明的方案，本实施例提供了一种智能搜索装置，参见图 10所示，其包括：

特征信息设置模块1001，用于对目标图片中的图像内容进行识别，根据识别结果为目标图片设置特征信息，设置的特征信息用于表征目标图片所包含的图像内容。其采用的图像识别技术以及特征信息设置方式等，请参见实施例一所示，在此不再赘述。

特征信息分类模块1002，用于根据特征信息分类法确定目标图片的各特征信息所属的类别。具体分类过程参见上述实施例一所示，在此也不再赘述。

搜索处理模块1003，用于将目标图片的各特征信息作为搜索关键字，在各特征信息所属类别的数据库中进行搜索，得到搜索结果。具体搜索处理过程参见上述实施例一所示，在此也不再赘述。

参见上述分析可知，本实施例中的特征信息设置模块1001、特征信息分类模块1002和搜索处理模块1003可以全部部署在终端上，也可以全部部署在服务器上；或者一部分部署在终端上，一部分部署在服务器上。例如特征信息设置模块1001、特征信息分类模块1002部署在终端上，搜索处理模块1003 部署在服务器上；或者特征信息设置模块1001部署在终端上，特征信息分类模块1002、搜索处理模块1003部署在服务器上。针对各种部署方式的相应搜索过程参见上述实施例一所示，在此也不再进行赘述。但应当理解的是，在本实施例中，各模块的功能可以尤其所述部署的设备的处理器实现。

在本实施例中，特征信息设置模块1001还可用于根据识别结果为目标图片设置特征信息之后，在特征信息分类模块1002根据预设的特征信息分类法确定所述特征信息所属的类别之前，进行以下特征信息筛选过程：

特征信息设置模块1001获取所述特征信息在所述目标图片中所占的权重值；

特征信息设置模块1001将权重值小于等于预设权重阈值的特征信息剔除；或将所述特征信息按权重值从大到小的顺序排列，将排列在第K个之后的各权重值对应的特征信息剔除。

在本实施例中，特征信息设置模块1001可获取特征信息对应的图像内容在所述目标图片中所占的面积比，将该面积比作为所述特征信息的权重值。

在本实施例中，搜索处理模块1003还可用于得到搜索结果之后，执行以下结果筛选过程：

搜索处理模块1003获取各目标对象中的内容；

搜索处理模块1003在内容相似度高于预设第一相似度阈值的目标对象个数大于数量阈值时，从这些目标对象中选择M个目标对象在所述搜索结果中进行显示；M小于等于所述数量阈值。

可选的，搜索处理模块1003还可用于在得到搜索结果之后，执行以下分类过程：

搜索处理模块1003对搜索结果中搜索到的各目标对象进行二次分类；

搜索处理模块1003将各目标对象按分类进行显示。

搜索处理模块1003具体可采用的分类方式参见上述实施例一所示，在此不再赘述。

在本实施例中，虽然搜索时输入的目标图片，但本实施例智能搜索装置在搜索时并不限于图片与图片的匹配，还可支持图片与文本类型文件进行匹配，例如word文档、PDF文档、txt文档等等。因此本实施例中还可将文本类型文件在至少一个类别对应的数据库中进行设置。且该数据库包括终端本地的数据库和网络侧的数据库中的至少一种。

因此，本实施例中的智能搜索装置还可包括设置模块，用于在数据库中设置文本类型文件时，提取各文本类型文件中的关键字作为各文本类型文件的文本特征信息，根据文本特征信息分类方法确定各文本特征信息所属的类别，将各文本类型文件设置于其文本特征信息所属类别的数据库中。具体设置过程参见上述实施例一所示，在此不再赘述。

基于上述文本设置，搜索处理模块1003在将目标特征信息作为搜索关键字，在特征信息所属类别的数据库中进行搜索的过程还包括如下文本匹配过程：

搜索处理模块1003查找到目标图片的特征信息所属类别的数据库；

搜索处理模块1003在某一类别的数据库中存在文本类型文件时，将对应该类别的特征信息与该文本类型文件的文本特征信息进行匹配。

本实施例可以实现图片与文本类文件的匹配，尤其适用于是在终端本地搜索，扩大了的搜索范围，提升了搜索精度。

另外，现有文字搜索功能，其所搜索的范围比较窄，一般仅限于一些大的网站、文库、电子平台；用户通过搜索所能得到的有用的目标对象有限。本实施例对于网络侧的数据库，其可以与各种资源对接，通过相应的搜索引擎可以搜索到各种资源中对应的目标对象，例如各种科普或者技术性知识性网页，文本文档，相关下载包链接，各种交流性论坛，生活娱乐性网页(如：视频网站，音乐网站，购物网站，实现“以图搜一切”的目的，可进一步提升用户体验的满意度。

实施例三：

本实施例提供了一种终端，参见图11所示，包括第一处理器1101、第一存储器1102以及第一通信总线1103；

第一通信总线1103用于实现第一处理器1101与第一存储器1102之间的通信连接；

第一处理器1101用于执行第一存储器1102中存储的一个或者多个第一程序，以实现如上述各实施例所示例的智能搜索方法的步骤。

本实施例还提供了一种第一计算机可读存储介质，该第一计算机可读存储介质可应用于各种终端内，其存储有一个或者多个第一程序，该一个或者多个程序可被一个或者多个处理器执行，以实现如上各实施例中所示例的智能搜索方法的步骤。

为了便于理解，本实施例以一种具体应用场景为示例，对本发明做进一步示例说明。在本示例中，终端可通过服务器实现网络侧的搜索，也可以在本地进行搜索。

在本示例中，假设用户外出时遇到没见过新奇事物，例如新的动植物或新奇的节日，仪式等，用户可以现场拍摄照片，然后启动选择相片的搜索功能，将该相片作为目标图片进行搜索，终端执行搜索的过程包括：

终端接收用户输入的目标图片，如用户现场拍摄的照片。

终端利用图片识别技术对对目标图片中的图像内容进行识别，根据识别结果为目标图片设置标签，也即设置特征信息。

例如，在本示例中，可以采用机器学习技术，例如包括但不限于物体识别模型faster-rcnn和yolo，这两个模型都是基于神经网络的图像识别方法。可以首先收集大量的图片，然后手工对照片终端图像内容进行识别分类，若为图片中包含文字信息，则设置其对应文字；然后设计CNN的模型，设计神经网络的卷积层数，全连接层层数，卷积核的个数，以及损失函数；最后进行训练，此过程涉及大量的计算，可以在高性能的GPU服务器上进行。训练结束后得到整体的神经网络的参数。另外，在本实施例中，为了提升处理效率和资源利用率，在学习过程中，还可让机器“记住”特定的常用图片，比如图像处理中经常用到的测试图片“lena”，linux编程用到的“终端”等，在进行识别时，可以先直接与这些特定的图片进行比较，从而搜索节约时间成本。

终端根据特征信息分类法确定目标图片各特征信息所属的类别，具体的分类过程参见上述实施例所示，在此不再赘述。

终端将目标图片的各特征信息以及各特征信息所属的类别发给服务器；本实施例中的服务器上可设置对应的搜索引擎。在本实施例中，终端还可目标图片的各特征信息作为搜索关键字，在本地的各特征信息所属类别的数据库中进行搜索，得到本地搜索结果。并对得到的本地搜索结果进行重复内容的剔除，以及进行二次分类，然后呈现给用户。

服务器将目标图片的各特征信息作为搜索关键字，在各特征信息所属类别的数据库中进行搜索，得到网络测得搜索结果；本示例中的数据库可以连接到各类资源以实现各种领域的资源搜索。

服务器对搜索结果中相似度较高的重复目标对象进行剔除处理。

服务器对搜索结果中的各目标对象采用预设的分类方式进行二次分类后，反馈给终端，以通过终端呈现给用户。

本实施例提供的终端与服务器联合实现图片智能搜索的方案，简化了搜索过程，丰富了搜索信息。可以让表达概括能力不好的用户，初次接触或非专业人士有更好的搜索体验。同时增强了搜索的能力，不仅可以得到类似图片，百科，还可以搜出新闻，文本文件，相关下载包链接，以及交流性论坛，生活娱乐性网页(如：视频网站，音乐网站，购物网站等)，且用户在搜索结果中可以自主选择进入有需要的类别，提供了一步到位的搜索服务。此发明也大大增强了本地的搜索功能。

实施例四：

本实施例提供了一种服务器，参见图12所示，包括第二处理器1201、第二存储器1202以及第二通信总线1203；

第二通信总线1203用于实现第二处理器1201与第二存储器1202之间的通信连接；

第二处理器1201用于执行第二存储器1202中存储的一个或者多个第二程序，以实现如上述各实施例所示例的智能搜索方法的步骤。

本实施例还提供了一种第二计算机可读存储介质，该第二计算机可读存储介质可应用于各种终端内，其存储有一个或者多个第二程序，该一个或者多个程序可被一个或者多个处理器执行，以实现如上各实施例中所示例的智能搜索方法的步骤。

为了便于理解，本实施例以另一种具体应用场景为示例，对本发明做进一步示例说明。在本示例中，终端通过服务器实现网络侧的搜索；本实施例中的数据库可以连接到地图资源。

在本示例中，假设用户外出时走到不熟悉的地方时，也可以拿出手机拍照得到目标图片，然后通过对应数据库中的GPS(Global Positioning System)街景模式从而可以得到准确位置，可方便出行。

在本示例中，一种示例的搜索处理流程可如下所示：

终端根据用户的拍摄指示拍取现场照片，或从其他终端或网络侧获取照片，并将其作为目标图片发给服务器。

服务器利用图片识别技术对对目标图片中的图像内容进行识别，根据识别结果为目标图片设置标签，也即设置特征信息。具体识别及设置过程在此则不再赘述。

服务器根据特征信息分类法确定目标图片各特征信息所属的类别，具体的分类过程参见上述实施例所示，在此不再赘述。

服务器将各特征信息以及各特征信息所属的类别导入搜索引擎，在各特征信息所属类别的数据库中进行搜索，得到网络测得搜索结果；本示例中的数据库可以连接到各类资源(例如GPS街景地图资源)以实现各种领域的资源搜索。

服务器对搜索结果中相似度较高的重复目标对象进行剔除处理。

服务器对搜索结果中的各目标对象采用预设的分类方式进行二次分类后，反馈给终端，以通过终端呈现给用户。

本实施例提供的基于图片的智能搜索的方案，终端可不做图像识别以及特征信息分类，将待搜索的目标图片发给服务器，由服务器进行图像识别以对目标图片打标签(即设置特征信息)，并对标签进行分类，然后服务器将各特征信息在对应类别中进行搜索，该搜索过程不再强制要求用户输入准确的文字信息作为关键字，用户只需要输入待搜索的目标图片即可，极大简化了搜索操作，丰富了搜索方式，可带给用户全新的搜索体验；且在搜索时，将特征信息作为搜索关键字，直接在特征信息所属类别的数据库中进行搜索，在保证搜索准确性的前提下，缩小搜索范围，提升资源利用率的同时，提升搜索结果的准确性，可进一步提升用户体验的满意度。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。

上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本发明各个实施例所述的方法。

以上内容是结合具体的实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明的保护范围。

Claims (11)

1.一种智能搜索方法，其特征在于，包括：

对目标图片中的图像内容进行识别，根据识别结果为所述目标图片设置特征信息，所述特征信息用于表征所述目标图片所包含的图像内容；

根据特征信息分类法确定所述特征信息所属的类别；

将所述特征信息作为搜索关键字，在所述特征信息所属类别的数据库中进行搜索，得到搜索结果。

2.如权利要求1所述的智能搜索方法，其特征在于，所述根据识别结果为所述目标图片设置特征信息之后，根据预设的特征信息分类法确定所述特征信息所属的类别之前，还包括以下特征信息筛选过程：

获取所述特征信息在所述目标图片中所占的权重值；

将权重值小于等于预设权重阈值的特征信息剔除；或将所述特征信息按权重值从大到小的顺序排列，将排列在第K个之后的各权重值对应的特征信息剔除。

3.如权利要求2所述的智能搜索方法，其特征在于，获取所述特征信息在所述目标图片中所占的权重值包括：获取所述特征信息对应的图像内容在所述目标图片中所占的面积比，将所述面积比作为所述特征信息的权重值。

4.如权利要求1-3任一项所述的智能搜索方法，其特征在于，所述得到搜索结果之后，还包括：

获取所述各目标对象中的内容；

在内容相似度高于预设第一相似度阈值的目标对象个数大于数量阈值时，从这些目标对象中选择M个目标对象在所述搜索结果中进行显示；所述M小于等于所述数量阈值。

5.如权利要求1-3任一项所述的智能搜索方法，其特征在于，所述得到搜索结果之后，还包括：

对所述搜索结果中搜索到的各目标对象进行二次分类；

将所述各目标对象按分类进行显示。

6.如权利要求5所述的智能搜索方法，其特征在于，所述对搜索到的各目标对象进行二次分类包括：

获取所述各目标对象的来源信息；

将来源信息相关联的目标对应分为一类；

或，

获取所述各目标对象自身的文件类型信息；

将文件类型信息相同的目标对象分为一类；

或，

获取所述各目标对象中的内容；

将内容相似度高于预设第二相似度阈值的各目标对象分为一类。

或，

获取所述各目标对象中的关键内容；

根据预设内容场景分类算法和所述各目标对象中的关键内容，对所述各目标对象进行分类。

7.如权利要求1-3任一项所述的智能搜索方法，其特征在于，至少一个类别的数据库中包括文本类型文件；

所述将所述特征信息作为搜索关键字，在所述特征信息所属类别的数据库中进行搜索之前，还包括：

提取各文本类型文件中的关键字作为各文本类型文件的文本特征信息；

根据文本特征信息分类方法确定所述各文本特征信息所属的类别，将所述各文本类型文件设置于其文本特征信息所属类别的数据库中；

所述将所述特征信息作为搜索关键字，在所述特征信息所属类别的数据库中进行搜索包括：

查找到所述特征信息所属类别的数据库；

在所述数据库中存在文本类型文件时，将所述特征信息与所述文本类型文件的文本特征信息进行匹配。

8.如权利要求1-3任一项所述的智能搜索方法，其特征在于，所述将所述特征信息作为搜索关键字，在所述特征信息所属类别的数据库中进行搜索包括：

服务器接收终端发送的所述特征信息和所述特征信息所属的类别，并将所述特征信息作为搜索关键字，在所述特征信息所属类别的数据库中进行搜索；

和/或，

所述终端将所述特征信息作为搜索关键字，在本地的所述特征信息所属类别的数据库中进行搜索。

9.一种智能搜索装置，其特征在于，包括：

特征信息设置模块，用于对目标图片中的图像内容进行识别，根据识别结果为所述目标图片设置特征信息，所述特征信息用于表征所述目标图片所包含的图像内容；

特征信息分类模块，用于根据特征信息分类法确定所述特征信息所属的类别；

搜索处理模块，用于将所述特征信息作为搜索关键字，在所述特征信息所属类别的数据库中进行搜索，得到搜索结果。

10.一种终端，其特征在于，所述终端包括第一处理器、第一存储器以及第一通信总线；

所述第一通信总线用于实现所述第一处理器与所述第一存储器之间的通信连接；

所述第一处理器用于执行第一存储器中存储的一个或者多个第一程序，以实现如权利要求1-8任一项所述的智能搜索方法的步骤。

11.一种服务器，其特征在于，所述服务器包括第二处理器、第二存储器以及第二通信总线；

所述第二通信总线用于实现所述第二处理器与所述第二存储器之间的通信连接；

所述第二处理器用于执行第二存储器中存储的一个或者多个第二程序，以实现如权利要求1-8任一项所述的智能搜索方法的步骤。