CN108121814A - 搜索结果排序模型生成方法和装置 - Google Patents

Abstract

本申请实施例公开了搜索结果排序模型生成方法和装置。该方法的一具体实施方式包括：利用稳定性预测模型得到用于生成搜索结果排序模型的神经网络的训练样本的稳定性预测结果，以及基于稳定性预测结果和训练样本的原始标注信息，得到训练样本的标注信息；利用该训练样本和训练样本的标注信息对用于生成搜索结果排序模型的神经网络进行训练，得到搜索结果排序模型。搜索结果排序模型基于利用训练样本和包含稳定性预测结果的标注信息对用于生成搜索结果排序模型的神经网络进行训练而得到，使得搜索结果排序模型在对搜索结果进行排序时，不仅考虑搜索结果的点击情况，还会考虑搜索结果的稳定性，排序结果更加精确。

Description

搜索结果排序模型生成方法和装置

技术领域

本申请涉及计算机领域，具体涉及搜索领域，尤其涉及搜索结果排序模型生成方法和装置。

背景技术

目前，在一些搜索引擎中，可以利用搜索结果排序模型对搜索结果进行排序。搜索结果排序模型利用训练样本和标注信息对用于生成搜索结果排序模型的神经网络进行训练而生成，目前，通常训练样本的标注信息为搜索结果的点击情况，得到的搜索结果排序模型根据点击情况进行排序。

发明内容

本申请实施例提供了搜索结果排序模型生成方法和装置。

第一方面，本申请实施例提供了搜索结果排序模型生成方法，该方法包括：利用稳定性预测模型对用于生成搜索结果排序模型的神经网络的训练样本进行稳定性预测，得到所述训练样本的稳定性预测结果，以及基于稳定性预测结果和所述训练样本的原始标注信息，得到训练样本的标注信息；利用训练样本和训练样本的标注信息对用于生成搜索结果排序模型的神经网络进行训练，得到搜索结果排序模型。

第二方面，本申请实施例提供了搜索结果排序模型生成装置，该装置包括：标注单元，配置用于利用稳定性预测模型对用于生成搜索结果排序模型的神经网络的训练样本进行稳定性预测，得到所述训练样本的稳定性预测结果，以及基于稳定性预测结果和训练样本的原始标注信息，得到训练样本的标注信息；训练单元，配置用于利用训练样本和训练样本的标注信息对用于生成搜索结果排序模型的神经网络进行训练，得到搜索结果排序模型。

本申请实施例提供的搜索结果排序模型生成方法和装置，通过利用稳定性预测模型对用于生成搜索结果排序模型的神经网络的训练样本进行稳定性预测，得到所述训练样本的稳定性预测结果，以及基于稳定性预测结果和该训练样本的原始标注信息，得到训练样本的标注信息；利用该训练样本和训练样本的标注信息对用于生成搜索结果排序模型的神经网络进行训练，得到搜索结果排序模型。搜索结果排序模型基于利用训练样本和包含稳定性预测结果的标注信息对用于生成搜索结果排序模型的神经网络进行训练而得到，使得搜索结果排序模型在对搜索结果进行排序时，不仅考虑搜索结果的点击情况，还会考虑搜索结果的稳定性，排序结果更加精确。

附图说明

通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显：

图1示出了可以应用于本申请的搜索结果排序模型生成方法或装置的实施例的示例性系统架构；

图2示出了根据本申请的搜索结果排序模型生成方法的一个实施例的流程图；

图3示出了对用于生成搜索结果排序模型的神经网络训练的一个示例性原理图；

图4示出了根据本申请的搜索结果排序模型生成装置的一个实施例的结构示意图；

图5示出了适于用来实现本申请实施例的服务器的计算机系统的结构示意图。

具体实施方式

下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释相关发明，而非对该发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与有关发明相关的部分。

需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。

图1示出了可以应用于本申请的搜索结果排序模型生成方法或装置的实施例的示例性系统架构。

如图1所示，系统架构包括终端101、网络102、服务器103、网络104、服务器105。网络102可以为有线通信网络或无线通信网络。网络104为有线通信网络。

终端101可以是具有显示屏并且支持网络通信的各种电子设备，包括但不限于智能手机、平板电脑、电子书阅读器、膝上型便携计算机和台式计算机等等。

服务器103可以为提供搜索服务的服务器，服务器103可以接收包含终端101的用户输入的搜索式的搜索请求，向终端101返回该搜索式对应的排序后的多个搜索结果，在终端101上的浏览器或具有搜索功能的APP中呈现给终端101的用户搜索结果，终端101的用户可以通过点击搜索结果例如点击该搜索结果中的标题，跳转到搜索结果对应的页面，然后，在终端101上的浏览器或具有搜索功能的APP中呈现给终端101的用户呈现跳转到的页面中的页面内容。

服务器105可以从服务器103获取到搜索记录，一条搜索记录包括在一次搜索中用户输入的搜索式、向该用户返回的该搜索式对应的一个搜索结果、用户是否点击该搜索结果等。服务器105可以基于获取到的搜索记录，得到用于生成搜索结果排序模型的神经网络的训练样本，生成包含稳定性预测结果的用于生成搜索结果排序模型的神经网络的训练样本的标注信息，利用训练样本和训练样本的标注信息对用于生成搜索结果排序模型的神经网络进行训练，得到搜索结果排序模型。搜索结果排序模型可以设置在服务器103上对搜索结果进行排序。

请参考图2，其示出了根据本申请的搜索结果排序模型生成方法的一个实施例的流程。本申请实施例所提供的搜索结果排序模型生成方法可以由服务器(例如图1中的服务器105)执行。该方法包括以下步骤：

步骤201，基于训练样本的稳定性预测结果和原始标注信息，得到训练样本的标注信息。

在本实施例中，用于生成搜索结果排序模型的神经网络可以为用于生成搜索结果排序模型的深度神经网络(Deep Neural Network，简称DNN)。一个用于生成搜索结果排序模型的神经网络的训练样本包括：一个搜索式、该搜索式对应的一个搜索结果。

在本实施例中，稳定性预测模型可以预先通过利用用于生成稳定性预测模型的神经网络的训练样本和用于生成稳定性预测模型的神经网络的训练样本的标注信息对用于生成稳定性预测模型的神经网络进行训练而得到。用于生成稳定性预测模型的神经网络可以为用于生成稳定性预测模型的深度神经网络。用于生成稳定性预测模型的神经网络的一个训练样本包括：一个搜索式、该搜索式对应的一个搜索结果。

在对用于生成稳定性预测模型的神经网络的一个训练样本进行标注，得到该训练样本的标注信息时，可以根据该训练样本中的搜索结果在多个时间段例如多个月中的该搜索结果的点击情况的一致程度，对该训练样本进行标注，得到该训练样本的标注信息。当多个时间段该搜索结果均被点击，则多个时间段该搜索结果的点击情况的一致，该训练样本的标注信息为稳定样本。当多个时间段该搜索结果在至少一个时间段未被点击，则多个时间段该搜索结果的点击情况的不一致，该训练样本的标注信息为不稳定样本。

在利用一个用于生成稳定性预测模型的神经网络的训练样本和标注信息对该用于生成稳定性预测模型的神经网络进行训练时，可以生成输入向量，输入向量包括：表示该训练样本中的搜索式的分量、表示该训练样本中的搜索结果的分量，表示该训练样本中的搜索式的分量可以基于该搜索式中的关键词的词向量而生成，表示该训练样本中的搜索结果的分量可以基于该搜索结果的标题中的关键词的词向量而生成。将该输入向量输入到用于生成稳定性预测模型的神经网络，得到预测信息，计算出使得预测信息和标注信息的差异程度最小的用于生成稳定性预测模型的神经网络的参数，将用于生成稳定性预测模型的神经网络的当前的网络参数更新为计算出的用于生成稳定性预测模型的神经网络的网络参数。

在本实施例中，一个用于生成搜索结果排序模型的神经网络的训练样本的原始标注信息可以为正样本或负样本。正样本表示在利用该用于生成搜索结果排序模型的神经网络的训练样本中的搜索式进行搜索时，该用于生成搜索结果排序模型的神经网络的训练样本中的搜索结果被点击过，负样本表示在利用该用于生成搜索结果排序模型的神经网络的训练样本中的搜索式进行搜索时，该用于生成搜索结果排序模型的神经网络的训练样本中的搜索结果未被点击过。

在本实施例中，在利用一个用于生成搜索结果排序模型的神经网络的训练样本进行训练时，可以基于该训练样本的稳定性预测结果和原始标注信息，得到该训练样本的标注信息。例如，直接将该训练样本的稳定性预测结果和原始标注信息进行组合，得到该训练样本的标注信息。

在本实施例的一些可选的实现方式中，一个用于生成搜索结果排序模型的神经网络的训练样本可以包括以下之一：稳定正样本、不稳定样本、稳定负样本。当通过稳定性预测模型预测出一个用于生成搜索结果排序模型的神经网络的稳定性预测结果为稳定样本并且该训练样本的原始标注信息为正样本时，该训练样本的标注信息为稳定正样本。当通过稳定性预测模型预测出一个用于生成搜索结果排序模型的神经网络的训练样本的稳定性预测结果为不稳定样本，无论该训练样本原始的标注结果是正样本还是负样本，该训练样本的最终的标注结果均为不稳定样本。当通过稳定性预测模型预测出一个用于生成搜索结果排序模型的神经网络的训练样本的稳定性预测结果为稳定样本并且该训练样本的原始标注信息为负样本时，该训练样本的标注结果为稳定负样本。

在本实施例的一些可选的实现方式中，稳定性预测模型包括：稳定性初步预测子模型、稳定性综合预测子模型。稳定性初步预测子模型可以为在得到稳定性预测模型之前预先经过训练得到的可以用于对稳定性进行初步预测的模型，稳定性初步预测子模型可以通过对用于生成稳定性初步预测子模型的深度神经网络预先进行训练而生成。

为了得到稳定性预测模型，可以首先获取满足预设条件的样本。一个满足预设条件的样本包括：一个搜索式、该搜索式对应的一个搜索结果。预设条件包括：在多个时间段中共现时间段的数量大于数量阈值，共现时间段为样本中的搜索式与搜索式对应的搜索结果共同出现的时间段。

例如，八个月中的每一个月为一个时间段，数量阈值为1，一个满足预设条件的样本的搜索式和该搜索式对应的一个搜索结果在八个月中的至少两个月中均共现。换言之，用户在八个月中的至少两个月中均使用过该搜索式进行过搜索，同时，在搜索之后的至少两个月中的每一个月均在搜索结果页中出现了该搜索结果。

可以基于一个获取到的满足预设条件的样本，生成多个用于生成稳定性综合预测子模型的决策树的训练样本和训练样本的标注信息。在利用用于生成稳定性综合预测子模型的决策树的训练样本和训练样本的标注信息对该决策树进行训练之后，训练之后的该决策树作为稳定性综合预测子模型，从而，稳定性初步预测子模型和稳定性综合预测子模型可以组成稳定性预测模型。

在基于一个获取到的满足预设条件的样本，生成多个用于生成稳定性综合预测子模型的决策树的训练样本和训练样本的标注信息时，一个共现时间段各自对应一个决策树的训练样本和训练样本的标注信息。

可以通过以下方式基于一个获取到的满足预设条件的样本，生成多个用于生成稳定性综合预测子模型的决策树的训练样本和训练样本的标注信息：可以利用稳定性初步预测子模型对该满足预设条件的样本的稳定性进行预测，得到满足预设条件的样本的稳定性预测信息。在利用稳定性初步预测子模型对该满足预设条件的样本的稳定性进行预测时，可以生成输入向量，输入向量中包括：表示该满足预设条件的样本中的搜索式的分量、表示该满足预设条件的样本中的搜索结果的分量，表示该满足预设条件的样本中的搜索式的分量可以基于该搜索式中的关键词的词向量而生成，表示该满足预设条件的样本中的搜索结果的分量可以基于该搜索结果的标题中的关键词的词向量而生成。将该输入向量到稳定性初步预测子模型，得到稳定性预测信息。用于生成稳定性初步预测子模型的神经网络可以为用于生成稳定性初步预测子模型的深度神经网络，稳定性预测信息可以为稳定性预测模型输出的得分向量，得分向量中包括：该满足预设条件的样本为稳定样本的得分、该满足预设条件的样本为不稳定样本的得分，得分表示概率。可以将该满足条件的样本的稳定性预测信息分别与该满足预设条件的样本在一个共现时间段内的搜索特征分别进行组合，得到多个用于生成稳定性综合预测子模型的决策树的训练样本，该决策树的一个训练样本对应一个共现时间段。该决策树的一个训练样本包括：该满足条件的样本的稳定性预测信息、该满足条件的样本在该决策树的训练样本对应的一个共现时间段内的搜索特征。基于一个获取到的满足预设条件的样本，生成的每一个用于生成稳定性综合预测子模型的决策树的训练样本的标注信息均相同，用于生成稳定性综合预测子模型的决策树的训练样本的标注信息包括以下之一：稳定样本、不稳定样本，每一个用于生成稳定性综合预测子模型的决策树的训练样本的标注信息基于该满足预设条件的样本中的搜索结果在所有共现时间段是否均被点击过而确定。当该获取满足预设条件的样本中的搜索结果在所有共现时间段是否均被点击过，则生成的每一个用于生成稳定性综合预测子模型的决策树的训练样本的标注信息均为稳定样本。当该获取满足预设条件的样本中的搜索结果在所有共现时间段中的至少一个时间段未被点击过，则生成的每一个用于生成稳定性综合预测子模型的决策树训练样本的标注信息均为不稳定样本。

例如，八个月中的每一个月为一个时间段，数量阈值为1，一个满足预设条件的样本的搜索式和该搜索式对应的一个搜索结果在八个月中均共现，则每一个月为一个共现时间段，当用于生成稳定性初步预测子模型的神经网络为用于生成稳定性初步预测子模型的深度神经网络，该满足预设条件的样本输入到初步预测子模型得到的得分向量可以作为稳定性预测信息，得分向量中包含该满足预设条件的样本为稳定样本的得分、该满足预设条件的样本不稳定样本的得分，得分表示概率。基于该满足预设条件的样本，可以生成八个决策树的训练样本，每一个决策树的训练样本分别对应一个共现时间段即八个月中的一个月，一个决策树的训练样本包括：该满足条件的样本的稳定性预测信息、该满足条件的样本在该决策树的训练样本对应的一个月内的搜索特征。每一个决策树的训练样本的标注信息均为稳定样本。

在利用一个决策树的训练样本和该训练样本的标注对决策树进行训练时，可以生成决策树的输入向量，决策树的输入向量包括：表示训练样本中的稳定性预测信息的分量、表示搜索特征的分量，将输入向量输入到决策树，得到预测信息，计算出使得预测信息和标注信息的差异程度最小的决策树的参数，将当前的决策树的参数更新为计算出的决策树的参数。

在本实施例的一些可选的实现方式中，满足预设条件的样本在一个共现时间段内的搜索特征包括：满足预设条件的样本中的搜索式在该共现时间段内出现的次数、该搜索式出现的天数、满足预设条件的训练样本中的搜索结果在该共现时间段内被点击的次数。

在本实施例的一些可选的实现方式中，为了得到稳定性初步预测子模型，可以首先创建用于生成稳定性初步预测子模型的深度神经网络，然后，可以获取用于生成稳定性初步预测子模型的深度神经网络的训练样本。用于生成稳定性初步预测子模型的深度神经网络的训练样本的一个训练样本包括：一个搜索式、该搜索式对应的一个搜索结果。用于生成稳定性初步预测子模型的深度神经网络的训练样本满足以下条件：在多个时间段中共现时间段的数量大于数量阈值，共现时间段为训练样本中的搜索式与搜索式对应的搜索结果共同出现的时间段。

在对用于生成稳定性初步预测子模型的深度神经网络的一个训练样本进行标注，得到该训练样本的标注信息时，可以根据所有共现时间段中的该训练样本中的搜索式对应的搜索结果在所有共现时间段的点击情况的一致程度，对该训练样本进行标注，得到该训练样本的标注信息。当所有共现时间段中的每一个共现时间段中该搜索结果均被点击，则所有共现时间段中该搜索结果的点击情况的一致，该训练样本的标注信息为稳定样本。当所有共现时间段中至少一个共现时间段中该搜索结果未被点击，则所有共现时间段中该搜索结果的点击情况的不一致，该训练样本的标注信息为不稳定样本。

在利用一个用于生成稳定性初步预测子模型的深度神经网络的训练样本和标注信息对用于生成稳定性初步预测子模型的深度神经网络进行训练时，可以利用每一个用于生成稳定性初步预测子模型的深度神经网络的训练样本和标注信息对用于生成稳定性初步预测子模型的深度神经网络进行训练，训练之后的用于生成稳定性初步预测子模型的深度神经网络作为稳定性初步预测子模型。

请参考图3，其示出了对用于生成搜索结果排序模型的神经网络训练的一个示例性原理图。

用于生成搜索结果排序模型的神经网络为一个用于生成搜索结果排序模型的深度神经网络即用于生成搜索结果排序模型的DNN。用于生成搜索结果排序模型的深度神经网络的训练样本具有原始标注信息，原始标注信息可以为正样本或负样本。正样本表示该训练样本中的搜索结果被点击过，负样本表示该训练样本中的搜索结果未被点击过。

利用稳定性预测模型可以得到用于生成搜索结果排序模型的深度神经网络的训练样本的稳定性预测结果，稳定性预测结果包括以下之一：稳定样本、不稳定样本。基于训练样本的原始标注信息和稳定性预测结果，得到训练样本的标注信息，训练样本的标注信息包括以下之一：稳定正样本、不稳定样本、稳定负样本。利用训练样本和训练样本的标注信息对用于生成搜索结果排序模型的神经网络进行训练。

步骤202，利用训练样本和训练样本的标注信息进行训练，得到搜索结果排序模型。

在本实施例中，可以通过稳定性预测模型得到每一个用于生成搜索结果排序模型的神经网络的稳定性预测结果。分别基于每一个用于生成搜索结果排序模型的神经网络的训练样本的稳定性预测结果与原始标注信息，得到每一个用于生成搜索结果排序模型的神经网络的训练样本的标注信息。一个用于生成搜索结果排序模型的神经网络的训练样本的标注信息可以包括以下之一：稳定正样本、不稳定样本、稳定负样本。

通过多个用于生成搜索结果排序模型的神经网络的训练样本和标注信息对用于生成搜索结果排序模型的神经网络进行训练之后，训练后的用于生成搜索结果排序模型的神经网络可以作为搜索结果排序模型。

请参考图4，作为对上述各图所示方法的实现，本申请提供了一种信息生成装置的一个实施例，该装置实施例与图2所示的方法实施例相对应。

如图4所示，本实施例的搜索结果排序模型生成装置包括：标注单元401，训练单元402。其中，标注单元401配置用于利用稳定性预测模型对用于生成搜索结果排序模型的神经网络的训练样本进行稳定性预测，得到该训练样本的稳定性预测结果，以及基于该稳定性预测结果和该训练样本的原始标注信息，得到训练样本的标注信息；训练单元402配置用于利用该训练样本和该训练样本的标注信息对用于生成搜索结果排序模型的神经网络进行训练，得到搜索结果排序模型。

在本实施例的一些可选的实现方式中，用于生成搜索结果排序模型的神经网络的训练样本的标注信息包括以下之一：稳定正样本、不稳定样本、稳定负样本。

在本实施例的一些可选的实现方式中，搜索结果排序模型生成装置还包括：稳定性预测模型生成单元，配置用于当稳定性预测模型包括稳定性初步预测子模型、稳定性综合预测子模型，稳定性初步预测子模型通过预先对用于生成稳定性初步预测子模型的深度神经网络进行训练而得到时，获取满足预设条件的样本，预设条件包括：在多个时间段中共现时间段的数量大于数量阈值，共现时间段为样本中的搜索式与所述搜索式对应的搜索结果共同出现的时间段；利用稳定性初步预测子模型对满足预设条件的样本进行稳定性预测，得到稳定性预测信息；基于满足预设条件的样本，生成多个用于生成稳定性综合预测子模型的决策树的训练样本和标注信息，其中，决策树的训练样本包括：稳定性预测信息、满足预设条件的样本在决策树的训练样本对应的共现时间段内的搜索特征，决策树的训练样本的标注信息包括以下之一：稳定样本、不稳定样本；利用决策树的训练样本和标注信息对决策树进行训练，得到稳定性综合预测子模型。

在本实施例的一些可选的实现方式中，满足预设条件的样本在决策树的训练样本对应的共现时间段内的搜索特征包括：满足预设条件的样本中的搜索式在该共现时间段内出现的次数、该搜索式在该共现时间段内出现的天数、满足预设条件的样本中的搜索结果在该共现时间段内被点击的次数。

在本实施例的一些可选的实现方式中，搜索结果排序模型生成装置还包括：稳定性初步预测子模型生成单元，配置用于创建用于生成稳定性初步预测子模型的深度神经网络；获取用于生成稳定性初步预测子模型的深度神经网络的训练样本，用于生成稳定性初步预测子模型的深度神经网络的训练样本满足以下条件：在多个时间段中共现时间段的数量大于数量阈值，共现时间段为训练样本中的搜索式与该搜索式对应的搜索结果共同出现的时间段；生成用于生成稳定性初步预测子模型的深度神经网络的训练样本的标注信息，用于生成稳定性初步预测子模型的深度神经网络的训练样本的标注信息包括以下之一：稳定样本、不稳定样本。

图5示出了适于用来实现本申请实施例的服务器的计算机系统的结构示意图。

如图5所示，计算机系统包括中央处理单元(CPU)501，其可以根据存储在只读存储器(ROM)502中的程序或者从存储部分508加载到随机访问存储器(RAM)503中的程序而执行各种适当的动作和处理。在RAM503中，还存储有计算机系统操作所需的各种程序和数据。CPU 501、ROM 502以及RAM 503通过总线504彼此相连。输入/输出(I/O)接口505也连接至总线504。

以下部件连接至I/O接口505：输入部分506；输出部分507；包括硬盘等的存储部分508；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分509。通信部分509经由诸如因特网的网络执行通信处理。驱动器510也根据需要连接至I/O接口505。可拆卸介质511，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器510上，以便于从其上读出的计算机程序根据需要被安装入存储部分508。

特别地，本申请的实施例中描述的过程可以被实现为计算机程序。例如，本申请的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包括用于执行流程图所示的方法的指令。该计算机程序可以通过通信部分509从网络上被下载和安装，和/或从可拆卸介质511被安装。在该计算机程序被中央处理单元(CPU)501执行时，执行本申请的方法中限定的上述功能。

本申请还提供了一种服务器，该服务器可以配置有一个或多个处理器；存储器，用于存储一个或多个程序，一个或多个程序中可以包含用以执行上述步骤201-202中描述的操作的指令。当一个或多个程序被一个或多个处理器执行时，使得一个或多个处理器执行上述步骤201-202中描述的操作。

本申请还提供了一种计算机可读介质，该计算机可读介质可以是服务器中所包括的；也可以是单独存在，未装配入服务器中。上述计算机可读介质承载有一个或者多个程序，当一个或者多个程序被服务器执行时，使得服务器：利用稳定性预测模型对用于生成搜索结果排序模型的神经网络的训练样本进行稳定性预测，得到该训练样本的稳定性预测结果，以及基于稳定性预测结果和所述训练样本的原始标注信息，得到训练样本的标注信息；利用训练样本和训练样本的标注信息对用于生成搜索结果排序模型的神经网络进行训练，得到搜索结果排序模型。

需要说明的是，本申请所述的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以包括但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本申请中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本申请中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、RF等等，或者上述的任意合适的组合。

附图中的流程图和框图，图示了按照本申请各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

描述于本申请实施例中所涉及到的单元可以通过软件的方式实现，也可以通过硬件的方式来实现。所描述的单元也可以设置在处理器中，例如，可以描述为：一种处理器包括标注单元，训练单元。

以上描述仅为本申请的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本申请中所涉及的发明范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离所述发明构思的情况下，由上述技术特征或其等同特征进行任意组合合而形成的其它技术方案。例如上述特征与本申请中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。

Claims (12)

1.一种搜索结果排序模型生成方法，包括：

利用稳定性预测模型对用于生成搜索结果排序模型的神经网络的训练样本进行稳定性预测，得到所述训练样本的稳定性预测结果，以及基于所述稳定性预测结果和所述训练样本的原始标注信息，得到所述训练样本的标注信息；

利用所述训练样本和训练样本的标注信息对用于生成搜索结果排序模型的神经网络进行训练，得到搜索结果排序模型。

2.根据权利要求1所述的方法，用于生成搜索结果排序模型的神经网络的训练样本的标注信息包括以下之一：稳定正样本、不稳定样本、稳定负样本。

3.根据权利要求2所述的方法，稳定性预测模型包括：稳定性初步预测子模型、稳定性综合预测子模型，所述稳定性初步预测子模型通过预先对用于生成稳定性初步预测子模型的深度神经网络进行训练而得到；以及

所述方法还包括：

获取满足预设条件的样本，所述预设条件包括：在多个时间段中共现时间段的数量大于数量阈值，共现时间段为样本中的搜索式与所述搜索式对应的搜索结果共同出现的时间段；

利用稳定性初步预测子模型对满足预设条件的样本进行稳定性预测，得到稳定性预测信息；

基于满足预设条件的样本，生成多个用于生成稳定性综合预测子模型的决策树的训练样本和标注信息，其中，决策树的训练样本包括：所述稳定性预测信息、满足预设条件的样本在所述决策树的训练样本对应的共现时间段内的搜索特征，决策树的训练样本的标注信息包括以下之一：稳定样本、不稳定样本；

利用决策树的训练样本和标注信息对决策树进行训练，得到稳定性综合预测子模型。

4.根据权利要求3所述的方法，满足预设条件的样本在所述决策树的训练样本对应的共现时间段内的搜索特征包括：满足预设条件的样本中的搜索式在所述共现时间段内出现的次数、所述搜索式在所述共现时间段内出现的天数、满足预设条件的样本中的搜索结果在所述共现时间段内被点击的次数。

5.根据权利要求4所述的方法，所述方法还包括：

创建用于生成稳定性初步预测子模型的深度神经网络；

获取用于生成稳定性初步预测子模型的深度神经网络的训练样本，用于生成稳定性初步预测子模型的深度神经网络的训练样本满足以下条件：在多个时间段中共现时间段的数量大于数量阈值，共现时间段为训练样本中的搜索式与所述搜索式对应的搜索结果共同出现的时间段；

生成用于生成稳定性初步预测子模型的深度神经网络的训练样本的标注信息，所述标注信息包括以下之一：稳定样本、不稳定样本；

利用所述训练样本和标注信息，对所述深度神经网络进行训练，得到稳定性初步预测子模型。

6.一种搜索结果排序模型生成装置，包括：

标注单元，配置用于利用稳定性预测模型对用于生成搜索结果排序模型的神经网络的训练样本进行稳定性预测，得到所述训练样本的稳定性预测结果，以及基于所述稳定性预测结果和所述训练样本的原始标注信息，得到所述训练样本的标注信息；

训练单元，配置用于利用所述训练样本和训练样本的标注信息对用于生成搜索结果排序模型的神经网络进行训练，得到搜索结果排序模型。

7.根据权利要求6所述的装置，用于生成搜索结果排序模型的神经网络的训练样本的标注信息包括以下之一：稳定正样本、不稳定样本、稳定负样本。

8.根据权利要求7所述的装置，所述装置还包括：

稳定性预测模型生成单元，配置用于当稳定性预测模型包括稳定性初步预测子模型、稳定性综合预测子模型，所述稳定性初步预测子模型通过预先对用于生成稳定性初步预测子模型的深度神经网络进行训练而得到时，获取满足预设条件的样本，所述预设条件包括：在多个时间段中共现时间段的数量大于数量阈值，共现时间段为样本中的搜索式与所述搜索式对应的搜索结果共同出现的时间段；利用稳定性初步预测子模型对满足预设条件的样本进行稳定性预测，得到稳定性预测信息；基于满足预设条件的样本，生成多个用于生成稳定性综合预测子模型的决策树的训练样本和标注信息，其中，决策树的训练样本包括：所述稳定性预测信息、满足预设条件的样本在所述决策树的训练样本对应的共现时间段内的搜索特征，决策树的训练样本的标注信息包括以下之一：稳定样本、不稳定样本；利用决策树的训练样本和标注信息对决策树进行训练，得到稳定性综合预测子模型。

9.根据权利要求8所述的装置，满足预设条件的样本在所述决策树的训练样本对应的共现时间段内的搜索特征包括：满足预设条件的样本中的搜索式在所述共现时间段内出现的次数、所述搜索式在所述共现时间段内出现的天数、满足预设条件的样本中的搜索结果在所述共现时间段内被点击的次数。

10.根据权利要求9所述的装置，所述装置还包括：

稳定性初步预测子模型生成单元，配置用于创建用于生成稳定性初步预测子模型的深度神经网络；获取用于生成稳定性初步预测子模型的深度神经网络的训练样本，用于生成稳定性初步预测子模型的深度神经网络的训练样本满足以下条件：在多个时间段中共现时间段的数量大于数量阈值，共现时间段为训练样本中的搜索式与所述搜索式对应的搜索结果共同出现的时间段；生成用于生成稳定性初步预测子模型的深度神经网络的训练样本的标注信息，所述标注信息包括以下之一：；利用所述训练样本和标注信息，对所述深度神经网络进行训练，得到稳定性初步预测子模型。

11.一种服务器，其特征在于，包括：

一个或多个处理器；

存储器，用于存储一个或多个程序，

当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现如权利要求1-5中任一所述的方法。

12.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-5中任一所述的方法。