CN109241319A - 一种图片检索方法、装置、服务器和存储介质 - Google Patents

Abstract

本发明实施例公开了一种图片检索方法、装置、服务器和存储介质，其中，该方法包括：获取针对目标查询的多个召回结果；分别计算目标查询和所述多个召回结果在不同类别的参照信息上的分布情况，其中所述参照信息包括设定的文本分类体系和/或知识库；根据目标查询和所述多个召回结果的分布情况差异判断所述多个召回结果是否存在偏差；根据所述分布情况对存在偏差的召回结果进行纠偏，实现了在准确识别底层召回结果有偏差的情况下，进一步对召回结果进行纠偏，使得检索结果与query相关性变好，提升用户体验。

Description

一种图片检索方法、装置、服务器和存储介质

技术领域

本发明实施例涉及互联网技术领域，尤其涉及一种图片检索方法、装置、服务器和存储介质。

背景技术

当下社会，搜索引擎包括图片搜索引擎早已成为用户获取信息的基础工具。搜索引擎在获取并理解用户query(查询)后，对结果的处理通常包含底层召回和上层排序两个不同阶段。底层召回阶段的任务是尽量多召回相关结果，上层排序阶段的任务是使用更多精细特征进行排序。

图片搜索中，由于以下各种原因导致召回结果中的相关结果极少甚至缺失，进而导致上层排序的效果变差，而且query越短，底层召回结果偏差的概率也越大：

1、资源分布偏差。即索引库收录的图片中，或整个互联网图片中，不相关资源占比远远超过相关资源。例如，“北半球”的召回结果中，美女图片远远超出作为地理概念的图片。

2、用户行为偏差。一般情况下，用户行为数据可以用作判别结果是否相关，例如，用户点击或下载结果图片，通常代表这些结果相关性较好、满足了用户需求。因此，图片结果的点击-展现比例属于相关性模型中的一种较强的特征。然而在一些情况下，用户行为数据起着负反馈的作用。例如，对色情结果的点击远远超过非色情结果，如果不进行处理，则导致这些query下色情结果的排序越来越靠前。

3、作弊或相关性算法偏差。由于页面作弊或相关性算法的问题，也会在一些query上存在底层召回结果有偏差。

发明内容

本发明实施例提供一种图片检索方法、装置、服务器和存储介质，以解决现有技术中图片检索的结果与用户输入的查询信息相关性小，有偏差的问题。

第一方面，本发明实施例提供了一种图片检索方法，所述方法包括：

获取针对目标查询的多个召回结果；

分别计算目标查询和所述多个召回结果在不同类别的参照信息上的分布情况，其中，所述参照信息包括设定的文本分类体系和/或知识库；

根据目标查询和所述多个召回结果的分布情况差异判断所述多个召回结果是否存在偏差；

根据所述分布情况对存在偏差的召回结果进行纠偏。

第二方面，本发明实施例还提供了一种图片检索装置，所述装置包括：

召回结果获取模块，用于获取针对目标查询的多个召回结果；

分布情况计算模块，用于分别计算目标查询和所述多个召回结果在不同类别的参照信息上的分布情况，其中所述参照信息包括设定的文本分类体系和/或知识库；

结果偏差判断模块，用于根据目标查询和所述多个召回结果的分布情况差异判断所述多个召回结果是否存在偏差；

召回结果纠偏模块，用于根据所述分布情况对存在偏差的召回结果进行纠偏。

第三方面，本发明实施例还提供了一种服务器，所述服务器包括：

一个或多个处理器；

存储装置，用于存储一个或多个程序，

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现本发明任意实施例所述的一种图片检索方法。

第四方面，本发明实施例还提供了一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行本发明任意实施例所述的一种图片检索方法。

本发明实施例通过获取针对目标查询的多个召回结果；分别计算目标查询和所述多个召回结果在不同类别的参照信息上的分布情况，其中，所述参照信息包括设定的文本分类体系和/或知识库；根据目标查询和所述多个召回结果的分布情况差异判断所述多个召回结果是否存在偏差；根据所述分布情况对存在偏差的召回结果进行纠偏，实现了在准确识别底层召回结果有偏差的情况下，进一步对召回结果进行纠偏，使得检索结果与query相关性变好，提升用户体验。

附图说明

图1是本发明实施例一中的一种图片检索方法的流程图；

图2是本发明实施例二中的一种图片检索方法的流程图；

图3是本发明实施例三中的一种图片检索方法的流程图；

图4是本发明实施例四中的一种图片检索方法的流程图；

图5是本发明实施例五中的一种图片检索装置的结构示意图；

图6是本发明实施例六中的一种服务器的结构示意图。

具体实施方式

下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。

实施例一

图1为本发明实施例一提供的一种图片检索方法的流程图，本实施例可适用于图片检索的情况，该方法可以由图片检索装置执行，该装置可通过软件和/或硬件实现，并可配置在服务器中，例如图片检索服务器。如图1所示，该方法具体包括：

S110、获取针对目标查询的多个召回结果。

目标查询可以是与用户的查询目标相关的查询词句、图片、音频或视频等。示例性的，可以是用户输入的检索信息中的一部分或全部。例如，用户输入“真空是什么”，目标查询可以是“真空”。召回结果可以是搜索引擎在底层召回阶段对所述目标查询query召回到的相关结果。具体的，针对一个目标查询会出现多个召回结果。相应的，针对目标查询进行召回包括通过文本形式的召回(即以文搜图)、通过视觉特征形式的召回(即以图搜图)、通过识别音频信息的方式召回(以音搜图)和通过识别视频信息的方式召回(以视频搜图)等。

S120、分别计算目标查询和所述多个召回结果在不同类别的参照信息上的分布情况，其中所述参照信息包括设定的文本分类体系和/或知识库。

具体的，参照信息可以作为判断召回结果是否与目标查询有偏差的依据，参照信息的选择可以决定对召回结果识别是否有偏差的识别效果。参照信息可以根据引入来源、不同性质等分为不同的类别，从而更全面的，更准确的识别召回结果是否有偏差的情况。参照信息包括设定的文本分类体系和/或知识库。文本分类体系可以包括按照文本含义种类、等级或性质等进行的分类，比如科技类，美女类等，更具体的，科技类还可以包括：物理类，地理类、生物类等。知识库可以包括大量已经经过验证为真的信息，比如一些词条以及对应的文本和图片等。

具体的，在获取到目标查询和多个召回结果后，可以将目标查询和召回结果分别与各个类别的参照信息进行对比，识别出目标查询和检索的召回结果在不同类别参照信息的分布情况，分布情况可以是指目标查询和召回结果分别与各个类别参照信息的相关度，比如具体通过概率或相似度等体现。

S130、根据目标查询和所述多个召回结果的分布情况差异判断所述多个召回结果是否存在偏差。

具体的，得到目标查询以及多个召回结果在各个类别的参照信息上分布情况以后，则可以通过比较分布情况确定分布情况差异。示例性的，将目标查询的召回结果在各个类别的参照信息的情况分布可以转化为一个分布向量，这个分布向量可以表示在各个类别参照信息中的分布情况，因此，可以通过比较两个分布向量之间的差异并进一步判断是否存在偏差，比如通过向量的相似度或距离等判断目标查询与召回结果在各个类别的分布差异。示例性的，如果存在差异的召回结果数量多于一定值或高于一定比例，则可以判断多个召回结果存在偏差。

S140、根据所述分布情况对存在偏差的召回结果进行纠偏。

纠偏可以是针对目标查询得到的召回结果不准确或存在偏差的情况下进行的对底层召回结果进行的补充或纠正。示例性的，如果目标查询在某个类别的参照信息的相关度比大多数召回结果中与某个类别A的参照信息相关度高，则可以认为此时召回结果存在偏差，可以相应的调整底层召回的召回结果在某个类别A的比重，使得召回结果中包括更多的与类别A相关的结果。

可选的，根据目标查询和所述多个召回结果的分布情况差异判断所述多个召回结果是否存在偏差，包括：

如果所述多个召回结果的各个召回结果中，对应的分布情况与目标查询对应的分布情况存在差异的数量超出预设阈值，则判断为所述多个召回结果存在偏差。

预设阈值可以是预先设定的用于判断召回结果是否存在偏差的依据。示例性的，预设阈值为10，即如果在召回结果中在各个类别的分布情况与目标查询存在差异的数量超过10个，则可以认为所述多个召回结果存在偏差。具体的，判断召回结果与目标查询在各个类别的分类情况，可以通过表示分布情况的向量之间的相似度确定是否存在差异。

可选的，根据所述分布情况对存在偏差的召回结果进行纠偏，包括：

在底层召回的各阶段根据所述多个召回结果的分布情况与目标查询的分布情况在不同类别上的偏差进行调权。

具体的，在底层召回阶段中，针对不同类别对应的权重，可以在对应类别中召回对应比例或数量的结果。调权可以使得召回结果中包括更多的权重比例大的类别下的召回结果。示例性的，如果存在偏差且召回结果与目标查询query的类别偏差大于设定阈值的，则在底层召回的各个阶段根据图片/图片文本与query的类别偏差进行调权，将无关结果从召回候选中删除，提高与query的在图文异构信息上的分类结果一致或接近的相关结果的比例。需要说明的是，上述方法仅为一种实现方式，还可以将是否有偏差的详细识别结果作为特征，参与到底层召回阶段的模型中。

本实施例的技术方案，通过获取针对目标查询的多个召回结果；分别计算目标查询和所述多个召回结果在不同类别的参照信息上的分布情况，其中所述参照信息包括设定的文本分类体系和/或知识库；根据目标查询和所述多个召回结果的分布情况差异判断所述多个召回结果是否存在偏差；根据所述分布情况对存在偏差的召回结果进行纠偏，实现准确识别底层召回结果有偏的情况，有针对性地在底层召回阶段进行纠偏，避免出现上层排序相关结果极少甚至没有的情况，使得检索结果与query相关性变好，提升用户体验。

实施例二

图2是本发明实施例二提供的一种图片检索方法的流程图，在上述实施例的基础上，对分别计算目标查询和所述多个召回结果在不同类别的参照信息上的分布情况的步骤做了进一步的优化，利用预先训练好的文本分类器和/或图片分类器进行分布情况的判断，如图2所示，该方法包括：

S210、获取针对目标查询的多个召回结果。

S220、利用预先训练的分类器对目标查询进行分类，得到目标查询在预先设定的分类体系下的每个类别上的概率，基于该概率确定目标查询在所述分类体系下各类别的分布情况。

其中，所述分类器为利用所述分类体系进行标注的文本和/或图片数据进行训练得到的文本分类器和/或图片分类器。具体的，文本分类器或图片分类器的训练过程可以为：在训练模型时，可以预先设定分类体系，比如每个类别(c)都包含文本格式的类别名称；然后，获取或构建按上述设定分类体系标注的文本数据和/或图片数据；接着，利用标注数据进行训练，得到文本分类器和/或图片分类器。当然，分类器训练过程可以使用传统的分类模型，也可以使用深度神经网络。

在将目标查询query输入训练好的文本分类器和/或图片分类器，可以计算得到query在各个类别(c)上的概率；进一步的可以根据在每个类别上的概率确定目标查询在所述分类体系下各类别的分布情况，比如通过一定的算法将所述在各个类别的概率分布转化为分布一个向量，通过这一个分布向量便可以说明目标查询在各个类别的分布情况。

S230、利用所述分类器对目标查询的多个召回结果进行分类，得到所述多个召回结果分别在所述分类体系下的每个类别上的概率，基于该概率确定所述多个召回结果在所述分类体系下各类别的分布情况。

具体的，将所述多个召回结果分别输入训练好的文本分类器和/或图片分类器，计算每个召回结果在每个类别上的概率，并进一步根据概率确定在各类别的分布情况。示例性的，如果query召回结果的是图片以及文本，可以利用图片分类器和文本分类器分别对图片和文本进行在每个类别上的概率进行计算，并进一步得出在各个类别的分布情况

S240、根据目标查询和所述多个召回结果的分布情况差异判断所述多个召回结果是否存在偏差。

S250、根据所述分布情况对存在偏差的召回结果进行纠偏。

可选的，在本发明实施例中的另一种方式中，通过预先训练好的语言模型进行计算目标查询与多个召回结果在分类体系下的各个类别的分布情况。值得注意的是：该语音模型和所述分类体系可以单一使用，也可以结合使用。

利用语言模型计算在各类别的分布情况，具体过程如下：

利用预先训练的语言模型，计算目标查询与预先设定的分类体系下的每个类别的语义相似度，基于该语义相似度确定目标查询在所述分类体系下各类别的分布情况。

利用所述语言模型，计算目标查询的多个召回结果分别与所述分类体系下的每个类别的语义相似度，基于该语义相似度确定所述多个召回结果在所述分类体系下各类别的分布情况。

其中，所述语言模型为基于文本学习到的语言模型。具体的，计算语义相似度，可以通过计算目标查询的向量与每个类别的向量之间的相似度来确定，或者通过目标查询与每个类别名称的文本距离来确定等。在语义相似度确定以后，可以基于语义相似度进一步确定目标查询在各类别的分布情况。比如，通过将所述在各个类别的相似度转化综合为一个向量，那么通过该向量则可以得知目标查询或召回结果在某个类别下分布的概率更高或者低等情况，通过向量之间的相似度，可以进一步得知目标查询与多个召回结果在各个类别分布情况的差异。可选的，所述语言模型包括基于网页文本库集合、图片资源库中图片的文本集合和用户历史查询集合分别训练得到的三个不同的语言模型；

相应的，分别计算目标查询和所述多个召回结果在不同类别的参照信息上的分布情况，包括：

分别利用所述三个不同的语言模型，计算目标查询与预先设定的分类体系下的每个类别的语义相似度，基于该语义相似度分别确定目标查询在所述分类体系下各类别的基于所述三个不同的语言模型所对应的三种分布情况；

分别利用所述三个不同的语言模型，计算目标查询的多个召回结果分别与所述分类体系下的每个类别的语义相似度，基于该语义相似度确定所述多个召回结果在所述分类体系下各类别的基于所述三个不同的语言模型所对应的三种分布情况；

相应的，根据目标查询和所述多个召回结果的分布情况差异判断所述多个召回结果是否存在偏差，包括：

如果存在至少一个语言模型，基于该语言模型所对应的分布情况满足如下条件，则确定所述多个召回结果存在偏差：所述多个召回结果中各个召回结果对应的分布情况与目标查询对应的分布情况存在差异的数量超出预设阈值。

其中，所述语言模型包括基于网页文本库集合、图片资源库中图片的文本集合和用户历史查询集合分别训练得到的三个不同的语言模型。示例性的，在训练之前，可以先设定分类体系，每个类别(c)都包含文本格式的类别名称；分别构建网页文本库集合(ps)、图片资源库所有图片文本集合(ts)、用户历史查询query集合(qs)；其中，图片文本可以是图片所在页面的标题，也可以是页面中图片周边的短文本等。在ps、ts和qs上训练语言模型，例如，可以用word-embedding的形式进行计算，可以分别记为lm_ps、lm_ts、lm_qs。进一步在lm_ps、lm_ts、lm_qs模型中计算目标查询query与各个类别(c)的语义相似度，从而获得表示目标查询在这些类别上的分布情况的一个分布向量。类似的，获取query召回结果的图片文本，并在lm_ps、lm_ts、lm_qs计算图片文本与各个类别(c)的语义相似度，从而获得表示每个召回结果的图片文本在这些类别上的分布情况的一个分布向量。

具体的，如果召回结果的图片文本的类别分布与query的类别偏差大于设定阈值，则可以视为召回结果有偏差，比如直接通过计算两个分布向量之间的相似度来判断分布偏差，示例性的，如果偏差大于0.3，和/或大于0.3的向量对应的召回结果超出一定比例。比如80％，则可以视为召回结果有偏差。这里如果三种语言模型全部使用，则可以用三种模型得到的偏差情况来进一步相互验证偏差结果是否准确。例如，如果lm_qs上的偏差很小，而lm_ts以及lm_ps上有明显偏差，则说明与query相似或相关的query都与本义或正常意义发生了使用上的偏差，即用户原来使用的很多query对应的意义是错误的。

本实施例的技术方案，可以通过预先训练好的分类器和/或语言模型准确快递的识别召回结果是否存在偏差，在识别底层召回结果有偏的情况，有针对性地在底层召回阶段进行纠偏，避免出现上层排序相关结果极少甚至没有的情况，使得检索结果与query相关性变好，提升用户体验。

实施例三

图3是本发明实施例三提供的一种图片检索方法的流程图，可选的，在上述实施例的基础上，本发明实施例提供另一种知识库方式分别计算目标查询和所述多个召回结果在不同类别的参照信息上的分布情况，如图3所示，该方法包括：

S310、获取针对目标查询的多个召回结果。

S320、在预先构建的知识库中，确定与目标查询相同或语义相似的目标词条，其中，所述知识库中包括多个词条及与词条对应的图片和文本。

在一种可选的方式中，可以预先从百科站点以及网络上其他专业站点中获取词条以及与词条对应的文本和图片资源来构建知识库。示例性的，每个词条会有与之对应的文本内容和/或图片内容。确定与目标查询相同或语义相似的目标词条，具体可以通过对目标查询的语义理解后，在知识库中进行词条匹配，确定与知识库中的哪个词条相同或语义相似(比如可以基于文本距离确定)，则可以将该相同或相似的词条作为目标词条。

S330、分别计算所述多个召回结果与所述目标词条对应的图片和文本的相似度。

示例性的，可以通过计算文本相似度或向量相似度来计算多个召回结果中的每个召回结果与目标词条对应的图片和文本的相似度。例如，可以分别计算目标词条对应的图片和/或文本与召回结果的图片和/或文本的距离，来确定相似度。

S340、如果所述多个召回结果中各个召回结果对应的相似度不符合阈值的数量超出设定比例，则判断为所述多个召回结果存在偏差。

在上述实施例的基础上，如果目标词条对应的图片和/或文本与召回结果的图片和/或文本的距离大于设定阈值的召回结果的数量超过设定比例，则可以判断为该目标查询的召回结果存在偏差。

S350、根据所述分布情况对存在偏差的召回结果进行纠偏。

可选的，根据所述分布情况对存在偏差的召回结果进行纠偏，包括：

在召回结果中补充与所述目标词条对应的图片和文本相似的检索结果。

在本实施例中，如果召回结果中存在偏差，比如存在偏差且query的主要概念与上述知识库的目标词条匹配，则可以增加与目标词条对应的图片和文本相似的检索结果，对召回结果作进一步的扩展，进一步丰富用户的检索结果。

值得说明的是，本实施例中所述的知识库方式与实施例二中所述的语言模型和分类器两种方式，在具体实施例的过程中，三种方式可以是并列的，可以单独使用，也可以结合三种当中任意两种或三种进行计算，比如先利用语言模型和/或分类器进行计算，进一步再利用知识库进行计算，最终得出更准确的在各个类别的分布情况。

当资源分布有偏，从图片资源库或图片文本集合上学习到的结果可能是是不可信的。比如当图片甚至文本的分布明显有偏或不相关资源占比远远超过相关资源时，可能使用语言模型和分类器难以准确识别出召回结果有偏差，这种情况下，则可以进一步使用该知识库方式进行计算和判断，由于知识库中信息的可靠程度高，且经过了验证。因此，利用知识库方式可以更进一步识别出因资源分布有偏导致的召回结果有偏差的问题。

本实施例的技术方案，通过知识库方式准确的确定目标查询和多个召回结果的分布情况是否存在偏差，实现准确识别底层召回结果有偏的情况，有针对性地在底层召回阶段进行纠偏，避免出现上层排序相关结果极少甚至没有的情况，使得检索结果与query相关性变好，提升用户体验。

实施例四

图4是本发明实施例四提供的一种图片检索的方法的流程图，可选的，在上述实施例的基础上，在对召回结果进行纠偏之后，所述方法还包括：在不同的标签页面上展示纠偏之前和纠偏之后两种检索结果。如图4所示，该方法包括：

S410、获取针对目标查询的多个召回结果。

S420、分别计算目标查询和所述多个召回结果在不同类别的参照信息上的分布情况，其中所述参照信息包括设定的文本分类体系和/或知识库。

S430、根据目标查询和所述多个召回结果的分布情况差异判断所述多个召回结果是否存在偏差。

S440、根据所述分布情况对存在偏差的召回结果进行纠偏。

S450、在不同的标签页面上展示纠偏之前和纠偏之后两种检索结果。

具体的，纠偏结果严格遵循了query的本义，未纠偏结果则与资源分布以及用户群体偏好有关。通过不同标签页展示不同的结果，用户可以通过标签页面切换到不同的结果页面。当然，也可以将两种检索结果分布在显示页面的左侧和右侧。在将纠偏前后对应的两种检索结果显示后，可以方便用户对相应的结果进行获取或点击等行为，同时，保证了有纠偏不准确或用户偏好不同的情况下，用户可以从纠偏前的检索结果中获取到自己想要的信息。

可选的，在根据所述分布情况对存在偏差的召回结果进行纠偏之后，所述方法还包括：

基于用户当前针对目标查询的上下文环境确定目标查询的至少一个标签信息，并在检索结果页上展示所述至少一个标签信息；

响应于对任一标签信息的选择操作，展示与所选标签信息对应的检索结果。

其中，所述标签信息为基于历史查询的纠偏情况确定的查询对应的类别。比如，在某个目标查询的下，纠偏后得到该目标查询的召回结果中在某个类别分布的概率更高，则相应的可以为该目标查询添加相应类别的标签信息。

具体的，所述针对目标查询的上下文环境可以是指用户在进行检索时在目标查询之前或之后进行过的检索中所包括的检索信息。相应的，可以根据上下文环境确定至少一个标签信息。示例性的，如果目标查询是“真空”，而且上下文环境中包括真空概念等信息或真空设备等信息，可以为目标查询标记为科技类和/或物理类标签。同时，将标签信息显示在检索结果中，以便用户可以对不同标签进行进一步的查询情况，示例性的，如果用户确实要选择物理类标签，则用户可以点击该标签，获取在此标签下的对应的检索结果。

示例性的，利用用户查询的历史query，挖掘出召回结果有偏差的query，对有偏差图片结果的类别或上下文词语进行统计，可以获得该query的常见标签；该query作为参照对象的上下文或结果类别，可以作为该query的基础标签。将基础标签与常见标签存储到数据库或词典中。基于上述标签信息，结合用户的个性化特征以及当前搜索query的上下文环境，除了展示默认的纠偏结果，还可以进行相关输入提示，或者增加推荐引导。

例如，用户当前搜索query是“北半球”，如果上下文环境是音乐类需求，则提示用户是否搜索“(歌曲)孤单北半球”；如果上下文环境是美女类，则提示用户是否搜索“(美女类别)北半球”；如果上下文环境是科学类或知识类，则提示用户是否搜索“(地理概念)北半球”。

可选的，根据所述分布情况对存在偏差的召回结果进行纠偏之后，所述方法还包括：

在检索结果页上展示目标查询及其对应的至少一种语义类别摘要；

响应于对任一种语义类别摘要的选择操作，展示在所选语义类别下目标查询的检索结果。

其中，所述语义类别摘要为基于历史查询的纠偏情况确定的查询在不同的资源、场景或知识中对应的需求语义。

具体的，基于前述纠偏query识别方法，可以获取到在不同资源或不同类型的知识下，该query的需求语义，即对历史查询query或设定词语集合，可以分别建立不同类型的资源/场景/知识的情况的query/term需求语义摘要。需求语义摘要可以通过语义类别标签或经过验证的代表性文本。通过上述方法构建了不同类型的需求语义摘要资源，在给用户的返回结果中，对不同语义类别的图片结果的摘要进行调整。

示例性的，一种可选的方式是：如果摘要不是显示匹配的页面文本，而是显示出该图片的主要需求语义的文本内容，即语义类别摘要。例如，查询query为“真空”，图片的语义类别摘要可以是“真空：物理概念”、“真空：美女”、“真空：设备”等。用户在浏览感兴趣的图片，光标可以在图片上方悬停时，可以提示出该图片的完整的语义信息，例如，对左图提示“真空：物理概念、科学类、本义”，对右图提示“真空：美女、人物类、用户经常查询”。用户对感兴趣的语义类别摘要进行点击，进一步可以只展示该类别的图片结果。

可选的，为提升效率，可以预先计算并存储好被用户频繁访问且有偏差的query，以便在用户进行检索时，可以直接对召回结果进行纠偏，提供用户的检索效率。

本实施例的技术方案，在有针对性地在底层召回阶段进行纠偏之后，在不同的标签页面上展示纠偏之前和纠偏之后两种检索结果，和/或针对目标查询的上下文环境显示标签信息，和/或显示语义摘要，以供用户更有针对性的搜索对应类别的检索结果，使得检索结果与query相关性变好，提升用户体验。

实施例五

图5是本发明实施例五提供的一种图片检索装置，如图5所示，该装置包括：

召回结果获取模块510，用于获取针对目标查询的多个召回结果；

分布情况计算模块520，用于分别计算目标查询和所述多个召回结果在不同类别的参照信息上的分布情况，其中所述参照信息包括设定的文本分类体系和/或知识库；

结果偏差判断模块530，用于根据目标查询和所述多个召回结果的分布情况差异判断所述多个召回结果是否存在偏差；

召回结果纠偏模块540，用于根据所述分布情况对存在偏差的召回结果进行纠偏。

可选的，所述分布情况计算模块510，包括：

第一目标查询计算单元，用于利用预先训练的分类器对目标查询进行分类，得到目标查询在预先设定的分类体系下的每个类别上的概率，基于该概率确定目标查询在所述分类体系下各类别的分布情况；

第一召回结果计算单元，用于利用所述分类器对目标查询的多个召回结果进行分类，得到所述多个召回结果分别在所述分类体系下的每个类别上的概率，基于该概率确定所述多个召回结果在所述分类体系下各类别的分布情况；

其中，所述分类器为利用按所述分类体系进行标注的文本和/或图片数据进行训练得到的文本分类器和/或图片分类器。

可选的，分布情况计算模块510包括：

第二目标查询计算单元，用于利用预先训练的语言模型，计算目标查询与预先设定的分类体系下的每个类别的语义相似度，基于该语义相似度确定目标查询在所述分类体系下各类别的分布情况；

第二召回结果计算单元，用于利用所述语言模型，计算目标查询的多个召回结果分别与所述分类体系下的每个类别的语义相似度，基于该语义相似度确定所述多个召回结果在所述分类体系下各类别的分布情况；

其中，所述语言模型为基于文本学习到的语言模型。

可选的，所述结果偏差判断模块530，具体用于，

如果所述多个召回结果的各个召回结果中，对应的分布情况与目标查询对应的分布情况存在差异的数量超出预设阈值，则判断为所述多个召回结果存在偏差。

可选的，所述语言模型包括基于网页文本库集合、图片资源库中图片的文本集合和用户历史查询集合分别训练得到的三个不同的语言模型；

相应的，所述分布情况计算模块520，还用于：

分别利用所述三个不同的语言模型，计算目标查询与预先设定的分类体系下的每个类别的语义相似度，基于该语义相似度分别确定目标查询在所述分类体系下各类别的基于所述三个不同的语言模型所对应的三种分布情况；

分别利用所述三个不同的语言模型，计算目标查询的多个召回结果分别与所述分类体系下的每个类别的语义相似度，基于该语义相似度确定所述多个召回结果在所述分类体系下各类别的基于所述三个不同的语言模型所对应的三种分布情况；

相应的，所述结果偏差判断模块530，还用于：

如果存在至少一个语言模型，基于该语言模型所对应的分布情况满足如下条件，则确定所述多个召回结果存在偏差：所述多个召回结果中各个召回结果对应的分布情况与目标查询对应的分布情况存在差异的数量超出预设阈值。

可选的，结果偏差判断模块530，还用于：

在底层召回的各阶段根据所述多个召回结果的分布情况与目标查询的分布情况在不同类别上的偏差进行调权。

可选的，所述分布情况计算模块520，还包括：

第三目标查询计算单元，用于在预先构建的知识库中，确定与目标查询相同或语义相似的目标词条，其中，所述知识库中包括多个词条及与词条对应的图片和文本；

第三召回结果计算单，用于分别计算所述多个召回结果与所述目标词条对应的图片和文本的相似度；

相应的，所述结果偏差判断模块530，具体用于如果所述多个召回结果中各个召回结果对应的相似度不符合阈值的数量超出设定比例，则判断为所述多个召回结果存在偏差。

可选的，根据所述分布情况对存在偏差的召回结果进行纠偏，包括：

在召回结果中补充与所述目标词条对应的图片和文本相似的检索结果。

可选的，所述装置还包括：第一检索结果显示单元，用于在根据所述分布情况对存在偏差的召回结果进行纠偏之后，在不同的标签页面上展示纠偏之前和纠偏之后两种检索结果。

可选的，所述装置还包括：第二检索结果显示单元，用于在根据所述分布情况对存在偏差的召回结果进行纠偏之后，

基于用户当前针对目标查询的上下文环境确定目标查询的至少一个标签信息，并在检索结果页上展示所述至少一个标签信息；

响应于对任一标签信息的选择操作，展示与所选标签信息对应的检索结果；

其中，所述标签信息为基于历史查询的纠偏情况确定的查询对应的类别。

可选的，所述装置还包括：第三检索结果显示单元，用于在根据所述分布情况对存在偏差的召回结果进行纠偏之后，

在检索结果页上展示目标查询及其对应的至少一种语义类别摘要；

响应于对任一种语义类别摘要的选择操作，展示在所选语义类别下目标查询的检索结果；

其中，所述语义类别摘要为基于历史查询的纠偏情况确定的查询在不同的资源、场景或知识中对应的需求语义。

本发明实施例所提供的一种图片检索装置，可执行本发明任意实施例所提供的一种图片检索方法，具备执行方法相应的功能模块和有益效果。未在本实施例中详尽描述的技术细节，可参见本发明任意实施例提供的一种图片检索方法。

实施例六

参见图6，本实施例提供了一种服务器600，其包括：一个或多个处理器620；存储装置610，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器620执行，使得所述一个或多个处理器620实现本发明实施例所提供的一种图片检索方法，包括：

获取针对目标查询的多个召回结果；

分别计算目标查询和所述多个召回结果在不同类别的参照信息上的分布情况，其中所述参照信息包括设定的文本分类体系和/或知识库；

根据目标查询和所述多个召回结果的分布情况差异判断所述多个召回结果是否存在偏差；

根据所述分布情况对存在偏差的召回结果进行纠偏。

当然，本领域技术人员可以理解，处理器620还可以实现本发明任意实施例所提供的一种图片检索方法的技术方案。

图6显示的服务器600仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。

如图6所示，服务器600以通用计算设备的形式表现。服务器600的组件可以包括但不限于：一个或者多个处理器620，存储装置610，连接不同系统组件(包括存储装置610和处理器620)的总线650。

总线650表示几类总线结构中的一种或多种，包括存储器总线或者存储器控制器，外围总线，图形加速端口，处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说，这些体系结构包括但不限于工业标准体系结构(ISA)总线，微通道体系结构(MAC)总线，增强型ISA总线、视频电子标准协会(VESA)局域总线以及外围组件互连(PCI)总线。

服务器600典型地包括多种计算机系统可读介质。这些介质可以是任何能够被服务器600访问的可用介质，包括易失性和非易失性介质，可移动的和不可移动的介质。

存储装置610可以包括易失性存储器形式的计算机系统可读介质，例如随机存取存储器(RAM)611和/或高速缓存存储器612。服务器600可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机系统存储介质。仅作为举例，存储系统613可以用于读写不可移动的、非易失性磁介质(图6未显示，通常称为“硬盘驱动器”)。尽管图6中未示出，可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器，以及对可移动非易失性光盘(例如CD-ROM,DVD-ROM或者其它光介质)读写的光盘驱动器。在这些情况下，每个驱动器可以通过一个或者多个数据介质接口与总线650相连。存储装置610可以包括至少一个程序产品，该程序产品具有一组(例如至少一个)程序模块，这些程序模块被配置以执行本发明各实施例的功能。

具有一组(至少一个)程序模块615的程序/实用工具614，可以存储在例如存储装置610中，这样的程序模块615包括但不限于操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块615通常执行本发明所描述的任意实施例中的功能和/或方法。

服务器600也可以与一个或多个外部设备660(例如键盘、指向设备、显示器670等)通信，还可与一个或者多个使得用户能与该服务器600交互的设备通信，和/或与使得该服务器500能与一个或多个其它计算设备进行通信的任何设备(例如网卡，调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口630进行。并且，服务器600还可以通过网络适配器640与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。如图6所示，网络适配器640通过总线650与服务器600的其它模块通信。应当明白，尽管图中未示出，可以结合服务器600使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。

处理器620通过运行存储在存储装置610中的程序，从而执行各种功能应用以及数据处理，例如实现本发明实施例所提供的一种图片检索方法。

实施例六

本实施例提供一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行一种图片检索方法，该方法包括：

获取针对目标查询的多个召回结果；

分别计算目标查询和所述多个召回结果在不同类别的参照信息上的分布情况，其中所述参照信息包括设定的文本分类体系和/或知识库；

根据目标查询和所述多个召回结果的分布情况差异判断所述多个召回结果是否存在偏差；

根据所述分布情况对存在偏差的召回结果进行纠偏。

当然，本发明实施例所提供的一种包含计算机可执行指令的存储介质，其计算机可执行指令不限于如上所述的方法操作，还可以执行本发明任意实施例所提供的一种图片检索方法中的相关操作。

本发明实施例的计算机存储介质，可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。

计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。

计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括——但不限于无线、电线、光缆、RF等等，或者上述的任意合适的组合。

可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言-诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言-诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)-连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。

注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。

Claims (14)

1.一种图片检索方法，其特征在于，所述方法包括：

获取针对目标查询的多个召回结果；

分别计算目标查询和所述多个召回结果在不同类别的参照信息上的分布情况，其中，所述参照信息包括设定的文本分类体系和/或知识库；

根据目标查询和所述多个召回结果的分布情况差异判断所述多个召回结果是否存在偏差；

根据所述分布情况对存在偏差的召回结果进行纠偏。

2.根据权利要求1所述的方法，其特征在于，分别计算目标查询和所述多个召回结果在不同类别的参照信息上的分布情况，包括：

利用预先训练的分类器对目标查询进行分类，得到目标查询在预先设定的分类体系下的每个类别上的概率，基于该概率确定目标查询在所述分类体系下各类别的分布情况；

利用所述分类器对目标查询的多个召回结果进行分类，得到所述多个召回结果分别在所述分类体系下的每个类别上的概率，基于该概率确定所述多个召回结果在所述分类体系下各类别的分布情况；

其中，所述分类器为利用按所述分类体系进行标注的文本和/或图片数据进行训练得到的文本分类器和/或图片分类器。

3.根据权利要求1所述的方法，其特征在于，分别计算目标查询和所述多个召回结果在不同类别的参照信息上的分布情况，包括：

利用预先训练的语言模型，计算目标查询与预先设定的分类体系下的每个类别的语义相似度，基于该语义相似度确定目标查询在所述分类体系下各类别的分布情况；

利用所述语言模型，计算目标查询的多个召回结果分别与所述分类体系下的每个类别的语义相似度，基于该语义相似度确定所述多个召回结果在所述分类体系下各类别的分布情况；

其中，所述语言模型为基于文本学习到的语言模型。

4.根据权利要求1所述的方法，其特征在于，根据目标查询和所述多个召回结果的分布情况差异判断所述多个召回结果是否存在偏差，包括：

如果所述多个召回结果的各个召回结果中，对应的分布情况与目标查询对应的分布情况存在差异的数量超出预设阈值，则判断为所述多个召回结果存在偏差。

5.根据权利要求3所述的方法，其特征在于，所述语言模型包括基于网页文本库集合、图片资源库中图片的文本集合和用户历史查询集合分别训练得到的三个不同的语言模型；

相应的，分别计算目标查询和所述多个召回结果在不同类别的参照信息上的分布情况，包括：

分别利用所述三个不同的语言模型，计算目标查询与预先设定的分类体系下的每个类别的语义相似度，基于该语义相似度分别确定目标查询在所述分类体系下各类别的基于所述三个不同的语言模型所对应的三种分布情况；

分别利用所述三个不同的语言模型，计算目标查询的多个召回结果分别与所述分类体系下的每个类别的语义相似度，基于该语义相似度确定所述多个召回结果在所述分类体系下各类别的基于所述三个不同的语言模型所对应的三种分布情况；

相应的，根据目标查询和所述多个召回结果的分布情况差异判断所述多个召回结果是否存在偏差，包括：

如果存在至少一个语言模型，基于该语言模型所对应的分布情况满足如下条件，则确定所述多个召回结果存在偏差：所述多个召回结果中各个召回结果对应的分布情况与目标查询对应的分布情况存在差异的数量超出预设阈值。

6.根据权利要求1所述的方法，其特征在于，根据所述分布情况对存在偏差的召回结果进行纠偏，包括：

在底层召回的各阶段根据所述多个召回结果的分布情况与目标查询的分布情况在不同类别上的偏差进行调权。

7.根据权利要求1所述的方法，其特征在于，分别计算目标查询和所述多个召回结果在不同类别的参照信息上的分布情况，包括：

在预先构建的知识库中，确定与目标查询相同或语义相似的目标词条，其中，所述知识库中包括多个词条及与词条对应的图片和文本；

分别计算所述多个召回结果与所述目标词条对应的图片和文本的相似度；

相应的，根据目标查询和所述多个召回结果的分布情况差异判断所述多个召回结果是否存在偏差，包括：

如果所述多个召回结果中各个召回结果对应的相似度不符合阈值的数量超出设定比例，则判断为所述多个召回结果存在偏差。

8.根据权利要求7所述的方法，其特征在于，根据所述分布情况对存在偏差的召回结果进行纠偏，包括：

在召回结果中补充与所述目标词条对应的图片和文本相似的检索结果。

9.根据权利要求1所述的方法，其特征在于，根据所述分布情况对存在偏差的召回结果进行纠偏之后，所述方法还包括：

在不同的标签页面上展示纠偏之前和纠偏之后两种检索结果。

10.根据权利要求1所述的方法，其特征在于，根据所述分布情况对存在偏差的召回结果进行纠偏之后，所述方法还包括：

基于用户当前针对目标查询的上下文环境确定目标查询的至少一个标签信息，并在检索结果页上展示所述至少一个标签信息；

响应于对任一标签信息的选择操作，展示与所选标签信息对应的检索结果；

其中，所述标签信息为基于历史查询的纠偏情况确定的查询对应的类别。

11.根据权利要求1所述的方法，其特征在于，根据所述分布情况对存在偏差的召回结果进行纠偏之后，所述方法还包括：

在检索结果页上展示目标查询及其对应的至少一种语义类别摘要；

响应于对任一种语义类别摘要的选择操作，展示在所选语义类别下目标查询的检索结果；

其中，所述语义类别摘要为基于历史查询的纠偏情况确定的查询在不同的资源、场景或知识中对应的需求语义。

12.一种图片检索装置，其特征在于，所述装置包括：

召回结果获取模块，用于获取针对目标查询的多个召回结果；

分布情况计算模块，用于分别计算目标查询和所述多个召回结果在不同类别的参照信息上的分布情况，其中所述参照信息包括设定的文本分类体系和/或知识库；

结果偏差判断模块，用于根据目标查询和所述多个召回结果的分布情况差异判断所述多个召回结果是否存在偏差；

召回结果纠偏模块，用于根据所述分布情况对存在偏差的召回结果进行纠偏。

13.一种服务器，其特征在于，所述终端包括：

一个或多个处理器；

存储装置，用于存储一个或多个程序，

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-11中任一所述的一种图片检索方法。

14.一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行如权利要求1-11中任一所述的一种图片检索方法。