CN113177162B - 搜索结果的排序方法、装置、电子设备和存储介质 - Google Patents

Abstract

本公开关于搜索结果的排序方法、装置、电子设备和存储介质。所述方法包括：获取目标搜索词的多个搜索结果以及各个搜索结果的消费数据和发布时间特征；对所述多个搜索结果的消费数据进行归一化处理得到消费质量参数；将各个搜索结果的所述消费质量参数和发布时间特征输入排序模型，以获取所述排序模型根据所述消费质量特征和发布时间特征对所述各个搜索结果进行排序后输出的排序结果，所述排序模型通过本公开实施例所述的排序模型的训练方法预训练得到。该模型能够将高质量的新视频排列的尽量靠前，而旧视频尽量靠后，有效减轻排列中的“马太效应”。

Description

搜索结果的排序方法、装置、电子设备和存储介质

技术领域

本公开涉及搜索领域，尤其涉及一种搜索结果的排序方法、装置、电子设备和存储介质。

背景技术

现阶段，用户可以在搜索引擎（Search Engine）中输入搜索词（Query），以通过搜索引擎搜索与所输入搜索词相关的网络内容。相应的，搜索引擎在通过召回过程获取到搜索词相关的搜索结果后，通常需要对各个搜索结果进行排序后向用户输出。

假如按照搜索结果的消费数据对各个搜索结果进行排序，则可能导致搜索结果的消费数据出现“好的愈好、差的愈差”的“马太效应”。以视频搜索的场景为例，在召回得到某一搜索词的多个召回视频后，若按照召回视频的播放量、点赞量、转发量等历史消费数据对各个召回视频进行排序，则可能导致消费数据出色的视频被排列的更靠前，使得这类视频能够得到更多的展示并进一步取得更好的消费数据；而消费数据较差的视频被排列的更靠后，从而这类视频只能得到更少的展示并进一步导致其消费数据相对更差。

为解决这一问题，相关技术提出在排序过程中为发布时间较晚的新视频增加排序权重以使得新视频排列的尽量靠前。但是因为不同搜索词及其对应的不同召回视频所需的加权系数通常并不相同，所以权重系数难以准确设置，使得新视频展示机会的提升效果不佳。

发明内容

本公开提供了搜索结果的排序方法、装置、电子设备和存储介质，以至少解决相关技术中的技术问题。本公开的技术方案如下：

根据本公开实施例的第一方面，提出一种排序模型的训练方法，包括：

获取样本搜索词的样本搜索结果，并对所述样本搜索结果在所述样本搜索词下的样本消费数据进行归一化处理得到样本消费质量参数，其中，各个所述样本搜索结果的样本排序位置不同；

按照所述样本消费质量参数的大小将各个所述样本搜索结果分别划分至对应于相应参数区间的样本结果集合，并从对应于不同参数区间的多个样本结果集合中分别选取一个样本搜索结果构建训练样本；其中，所述训练样本包括多个样本搜索结果的样本消费质量参数和所述多个样本搜索结果的样本发布时间特征，所述训练样本的样本目标排序结果为所述多个样本搜索结果的样本消费质量参数的大小排序结果；

将所述训练样本输入待训练模型，以获取所述待训练模型对所述各个样本搜索结果进行排序后输出的样本预测排序结果，并根据所述样本预测排序结果与所述样本目标排序结果之间的排序偏差调整所述待训练模型的模型参数，以训练得到所述排序模型。

可选的，所述对所述样本搜索结果在所述样本搜索词下的样本消费数据进行归一化处理得到样本消费质量参数，包括：

对所述样本搜索结果在所述样本搜索词下的样本消费数据，分别进行归一化处理得到样本消费参数；

将所述样本搜索结果的多个预设样本消费数据分别对应的样本消费参数的乘积，作为所述样本搜索结果的样本消费质量参数。

可选的，所述按照所述样本消费质量参数的大小将各个所述样本搜索结果分别划分至对应于相应参数区间的样本结果集合，包括：

按照所述样本消费质量参数的大小对各个所述样本搜索结果进行排序；

按照预设的参数区间划分规则，根据所述样本消费质量参数将排序后的各个所述样本搜索结果分别划分至对应于相应参数区间对应的样本结果集合中。

可选的，所述待训练模型包括第一待训练模型和第二待训练模型，所述排序模型包括第一排序模型和第二排序模型，所述将所述训练样本输入待训练模型，以获取所述待训练模型对所述各个样本搜索结果进行排序后输出的样本预测排序结果，并根据所述样本预测排序结果与所述样本目标排序结果之间的排序偏差调整所述待训练模型的模型参数，以训练得到所述排序模型，包括：

将所述训练样本输入第一待训练模型，以获取所述第一待训练模型根据所述各个样本搜索结果的样本消费质量参数对所述样本搜索结果进行排序后输出的样本消费融合参数，并根据所述样本消费融合参数所表征的第一样本预测排序结果与所述样本目标排序结果之间的排序偏差调整所述第一待训练模型的模型参数，以训练得到所述第一排序模型；以及，

将所述训练样本和所述各个样本搜索结果的样本消费融合参数输入第二待训练模型，以获取所述第二待训练模型根据所述样本消费融合参数和所述样本发布时间特征对所述样本搜索结果进行排序后输出的第二样本预测排序结果，并根据所述第二样本预测排序结果与所述样本目标排序结果之间的排序偏差调整所述第二待训练模型的模型参数，以训练得到所述第二排序模型。

可选的，所述样本搜索结果被按照发布时间分为晚于预设时刻发布的新样本搜索结果和早于所述预设时刻发布的旧样本搜索结果，所述将所述各个样本搜索结果的样本消费融合参数输入第二待训练模型，包括：

将所述新样本搜索结果对应的样本消费融合参数扩展至所述旧样本搜索结果对应的样本消费融合参数的参数范围；

将所述旧样本搜索结果对应的所述样本消费融合参数和所述新样本搜索结果对应的扩展后的所述样本消费融合参数，作为所述各个样本搜索结果的样本消费融合参数输入第二待训练模型。

可选的，所述样本消费数据包括下述至少之一：

样本点击率、样本零播率、样本短播率、样本长播率、样本完播率、样本平均消费时长、样本关注率、样本点赞率、样本评论率、样本转发率。

根据本公开实施例的第二方面，提出一种搜索结果的排序方法，包括：

获取目标搜索词的多个搜索结果以及各个搜索结果的消费数据和发布时间特征；

对所述多个搜索结果的消费数据进行归一化处理得到消费质量参数；

将各个搜索结果的所述消费质量参数和发布时间特征输入排序模型，以获取所述排序模型根据所述消费质量特征和发布时间特征对所述各个搜索结果进行排序后输出的排序结果，所述排序模型通过如第一方面所述的排序模型的训练方法预训练得到。

可选的，所述消费数据被根据发布方帐号所对应用户实施的消费行为统计得到。

可选的，所述对所述多个搜索结果的消费数据进行归一化处理得到消费质量参数，包括：

对所述多个搜索结果在所述目标搜索词下的消费数据，分别进行归一化处理得到消费参数；

将各个搜索结果的多个预设消费数据分别对应的消费参数的乘积，作为各个搜索结果的样本消费质量参数。

可选的，所述排序模型包括第一排序模型和第二排序模型，所述将各个搜索结果的所述消费质量参数和发布时间特征输入排序模型，以获取所述排序模型根据所述消费质量特征和发布时间特征对所述各个搜索结果进行排序后输出的排序结果，包括：

将各个搜索结果的所述消费质量参数输入第一排序模型，以获取所述第一排序模型根据所述消费质量参数对所述多个搜索结果进行排序后输出的消费融合参数；以及，

将各个样本搜索结果分别对应的消费融合参数和所述发布时间特征输入第二排序模型，以获取所述第二排序模型根据所述消费融合参数和发布时间特征对所述多个搜索结果进行排序后输出的排序结果。

可选的，所述多个搜索结果被按照发布时间分为晚于预设时刻发布的新搜索结果和早于所述预设时刻发布的旧搜索结果，所述将各个样本搜索结果分别对应的消费融合参数和所述发布时间特征输入第二排序模型，包括：

将所述新搜索结果对应的消费融合参数扩展至所述旧搜索结果对应的样本消费融合参数的参数范围；

将所述旧搜索结果对应的所述消费融合参数和所述新搜索结果对应的扩展后的所述消费融合参数，作为所述各个样本搜索结果的消费融合参数输入第二排序模型。

可选的，还包括：

将所述排序结果发送至作品处理系统，所述作品处理系统用于按照所述排序结果对所述搜索结果对应的作品作出相应处理；和/或，

将所述排序结果发送至所述目标搜索词对应的搜索客户端，所述搜索客户端用于按照所述排序结果向用户依次展示所述多个搜索结果。

根据本公开实施例的第三方面，提出一种排序模型的训练装置，包括：

参数获取单元，被配置为获取样本搜索词的样本搜索结果，并对所述样本搜索结果在所述样本搜索词下的样本消费数据进行归一化处理得到样本消费质量参数，其中，各个所述样本搜索结果的样本排序位置不同；

样本构建单元，被配置为按照所述样本消费质量参数的大小将各个所述样本搜索结果分别划分至对应于相应参数区间的样本结果集合，并从对应于不同参数区间的多个样本结果集合中分别选取一个样本搜索结果构建训练样本；其中，所述训练样本包括多个样本搜索结果的样本消费质量参数和所述多个样本搜索结果的样本发布时间特征，所述训练样本的样本目标排序结果为所述多个样本搜索结果的样本消费质量参数的大小排序结果；

模型训练单元，被配置为将所述训练样本输入待训练模型，以获取所述待训练模型对所述各个样本搜索结果进行排序后输出的样本预测排序结果，并根据所述样本预测排序结果与所述样本目标排序结果之间的排序偏差调整所述待训练模型的模型参数，以训练得到所述排序模型。

可选的，所述参数获取单元还被配置为：

对所述样本搜索结果在所述样本搜索词下的样本消费数据，分别进行归一化处理得到样本消费参数；

将所述样本搜索结果的多个预设样本消费数据分别对应的样本消费参数的乘积，作为所述样本搜索结果的样本消费质量参数。

可选的，所述样本构建单元还被配置为：

按照所述样本消费质量参数的大小对各个所述样本搜索结果进行排序；

按照预设的参数区间划分规则，根据所述样本消费质量参数将排序后的各个所述样本搜索结果分别划分至对应于相应参数区间对应的样本结果集合中。

可选的，所述待训练模型包括第一待训练模型和第二待训练模型，所述排序模型包括第一排序模型和第二排序模型，所述模型训练单元还被配置为：

将所述训练样本输入第一待训练模型，以获取所述第一待训练模型根据所述各个样本搜索结果的样本消费质量参数对所述样本搜索结果进行排序后输出的样本消费融合参数，并根据所述样本消费融合参数所表征的第一样本预测排序结果与所述样本目标排序结果之间的排序偏差调整所述第一待训练模型的模型参数，以训练得到所述第一排序模型；以及，

将所述训练样本和所述各个样本搜索结果的样本消费融合参数输入第二待训练模型，以获取所述第二待训练模型根据所述样本消费融合参数和所述样本发布时间特征对所述样本搜索结果进行排序后输出的第二样本预测排序结果，并根据所述第二样本预测排序结果与所述样本目标排序结果之间的排序偏差调整所述第二待训练模型的模型参数，以训练得到所述第二排序模型。

可选的，所述样本搜索结果被按照发布时间分为晚于预设时刻发布的新样本搜索结果和早于所述预设时刻发布的旧样本搜索结果，所述模型训练单元还被配置为：

将所述新样本搜索结果对应的样本消费融合参数扩展至所述旧样本搜索结果对应的样本消费融合参数的参数范围；

将所述旧样本搜索结果对应的所述样本消费融合参数和所述新样本搜索结果对应的扩展后的所述样本消费融合参数，作为所述各个样本搜索结果的样本消费融合参数输入第二待训练模型。

可选的，所述样本消费数据包括下述至少之一：

样本点击率、样本零播率、样本短播率、样本长播率、样本完播率、样本平均消费时长、样本关注率、样本点赞率、样本评论率、样本转发率。

根据本公开实施例的第四方面，提出一种搜索结果的排序装置，包括：

特征获取单元，被配置为获取目标搜索词的多个搜索结果以及各个搜索结果的消费数据和发布时间特征；

数据处理单元，被配置为对所述多个搜索结果的消费数据进行归一化处理得到消费质量参数；

结果排序单元，被配置为将各个搜索结果的所述消费质量参数和发布时间特征输入排序模型，以获取所述排序模型根据所述消费质量特征和发布时间特征对所述各个搜索结果进行排序后输出的排序结果，所述排序模型通过如第一方面所述的排序模型的训练方法预训练得到。

可选的，所述消费数据被根据发布方帐号所对应用户实施的消费行为统计得到。

可选的，所述数据处理单元还被配置为：

对所述多个搜索结果在所述目标搜索词下的消费数据，分别进行归一化处理得到消费参数；

将各个搜索结果的多个预设消费数据分别对应的消费参数的乘积，作为各个搜索结果的样本消费质量参数。

可选的，所述排序模型包括第一排序模型和第二排序模型，所述结果排序单元还被配置为：

将各个搜索结果的所述消费质量参数输入第一排序模型，以获取所述第一排序模型根据所述消费质量参数对所述多个搜索结果进行排序后输出的消费融合参数；以及，

将各个样本搜索结果分别对应的消费融合参数和所述发布时间特征输入第二排序模型，以获取所述第二排序模型根据所述消费融合参数和发布时间特征对所述多个搜索结果进行排序后输出的排序结果。

可选的，所述多个搜索结果被按照发布时间分为晚于预设时刻发布的新搜索结果和早于所述预设时刻发布的旧搜索结果，所述结果排序单元还被配置为：

将所述新搜索结果对应的消费融合参数扩展至所述旧搜索结果对应的样本消费融合参数的参数范围；

将所述旧搜索结果对应的所述消费融合参数和所述新搜索结果对应的扩展后的所述消费融合参数，作为所述各个样本搜索结果的消费融合参数输入第二排序模型。

可选的，还包括：

第一发送单元，被配置为将所述排序结果发送至作品处理系统，所述作品处理系统用于按照所述排序结果对所述搜索结果对应的作品作出相应处理；和/或，

第二发送单元，被配置为将所述排序结果发送至所述目标搜索词对应的搜索客户端，所述搜索客户端用于按照所述排序结果向用户依次展示所述多个搜索结果。

根据本公开实施例的第五方面，提出一种电子设备，包括：

处理器；

用于存储所述处理器可执行指令的存储器；

其中，所述处理器被配置为执行所述可执行指令，以实现如上述第一方面中任一实施例所述的排序模型的训练方法，或者第二方面中任一实施例所述的搜索结果的排序方法。

根据本公开实施例的第六方面，提出一种计算机可读存储介质，当所述计算机可读存储介质中的计算机程序和/或指令由电子设备的处理器执行时，使得电子设备能够执行上述第一方面中任一实施例所述的排序模型的训练方法，或者第二方面中任一实施例所述的搜索结果的排序方法。

根据本公开实施例的第七方面，提供一种计算机程序产品，包括计算机程序和/或指令，所述计算机程序和/或指令被处理器执行时实现上述第一方面中任一实施例所述的排序模型的训练方法，或者第二方面中任一实施例所述的搜索结果的排序方法。

本公开的实施例提供的技术方案至少带来以下有益效果：

根据本公开的实施例，在模型训练过程中，通过对样本搜索结果在样本搜索词下的样本消费数据进行归一化处理得到样本消费质量参数，从而按照样本消费质量参数的大小将各个样本搜索结果划分至相应的样本结果集合，并从不同样本结果集合中分别选取样本搜索词构建训练样本，并将多个样本搜索结果的样本消费质量参数的大小排序结果作为训练样本的样本目标排序结果，使得训练过程中的样本预测排序结果逐渐接近样本消费质量参数的大小顺序，从而使得模型的最终输出结果更接近于上述样本目标排序结果，保证了训练得到的排序模型的准确性。

而在搜索结果排序过程中，通过对消费数据进行归一化处理得到消费质量参数，从而对待排序的多个搜索结果中发布时间较晚的新搜索结果进行了提权（即实现了发布时间特征的引入），因此通过按照上述方式训练得到的排序模型对各个搜索结果进行排序得到的排序结果能够一定程度上反映各个搜索结果的发布时间特征，即将消费数据较好的新视频排列的尽量靠前，而旧视频排列的尽量靠后，从而使得高质量的新视频能够获得更多的展示机会，有效减轻搜索结果排列中的“马太效应”，使得高质量的新视频能够获得更多的展示机会。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理，并不构成对本公开的不当限定。

图1是一示例性实施例提供的一种内容搜索系统的架构示意图；

图2是根据本公开的实施例示出的一种搜索引擎响应搜索请求的过程示意图；

图3是根据本公开的实施例示出的一种排序模型的训练方法的流程图；

图4是根据本公开的实施例示出的一种搜索结果的排序方法的流程图；

图5是根据本公开的实施例示出的另一种排序模型的训练方法的流程图；

图6是根据本公开的实施例示出的又一种排序模型的训练方法的流程图；

图7是根据本公开的实施例示出的另一种搜索结果的排序方法的流程图；

图8是根据本公开的实施例示出的一种排序模型的训练装置的示意框图；

图9是根据本公开的实施例示出的一种搜索结果的排序装置的示意框图；

图10是根据本公开的实施例示出的一种电子设备的结构图。

具体实施方式

为了使本领域普通人员更好地理解本公开的技术方案，下面将结合附图，对本公开实施例中的技术方案进行清楚、完整地描述。

需要说明的是，本公开的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本公开的实施例能够以除了在这里图示或描述的那些以外的顺序实施。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。

随着互联网技术的迅猛发展，搜索技术也可以快速更新迭代。现阶段，用户通常通过搜索引擎搜索互联网中的网络内容：用户通过客户端输入搜索词（即搜索关键词）后，搜索引擎对该搜索词进行分析后获取相应的搜索结果，并将搜索结果排序后输出至客户端。因为网络内容的热度不同，所以同一搜索词对应的多个搜索结果的点击率、转发率等消费数据也存在差异。通常情况下，因为通过时间的累积效应使得发布时间较长的旧视频具有比发布时间较短的新视频更多的展示机会，因此旧视频被消费的机会也相对更多，所以发布时间越长的搜索结果对应的消费数据通常越出色。

以视频搜索的场景为例，在召回得到某一搜索词的多个召回视频后，若按照召回视频的播放量、点赞量、转发量等消费数据对各个召回视频进行排序，则可能导致消费数据出色的视频被排列的更靠前，使得这类视频能够得到更多的展示并进一步取得更好的消费数据；而消费数据较差的视频被排列的更靠后，使得这类视频得到更少的展示并进一步导致更差的消费数据——各个召回视频的消费数据会出现“好的愈好、差的愈差”的“马太效应”。

为解决这一问题，相关技术提出在排序过程中为发布时间较晚的新视频增加排序权重以使得新视频排列的尽量靠前。但是因为不同搜索词及其对应的不同召回视频所需的加权系数通常并不相同，所以权重系数难以准确设置，使得新视频展示机会的提升效果不佳。

为解决相关技术中存在的上述问题，本公开实施例提出一种排序模型的训练方法，以及一种利用基于该方法训练得到的排序模型对搜索结果进行排序的方法。下面结合相关实施例对上述方法分别进行说明。

本方案提出的搜索结果的排序方法可以应用于内容搜索系统中。图1是一示例性实施例提供的一种内容搜索系统的架构示意图。如图1所示，该系统可以包括网络10、服务器11、若干电子设备，比如第一手机12、第二手机13和第三手机14等。

服务器11可以为包含一独立主机的物理服务器，或者该服务器11可以为主机集群承载的虚拟服务器。在运行过程中，服务器11可以运行某一应用的服务器侧的程序，以实现该应用的相关业务功能，比如当该服务器11运行搜索引擎的程序时，可以实现为该搜索引擎的服务端。而在本说明书一个或多个实施例的技术方案中，可由服务器11通过与第一手机12、第二手机13和第三手机14上运行的客户端进行配合，以实现内容搜索及展示方案；而服务器11可以用于实现本公开实施例所述的排序模型的训练方法和搜索结果的排序方法。

另外，需要说明的是，该服务器11所实现的搜索引擎可以为独立的网络资源搜索引擎，如浏览器中的搜索引擎等；或者也可以为集成式的搜索引擎或可被其他应用程序调用的搜索引擎，如直播平台的搜索功能对应的搜索引擎、内容提供平台的搜索功能对应的搜索引擎、购物平台的搜索功能对应的搜索引擎等，本公开实施例对于所涉及搜索引擎的应用场景及具体形式并不进行限制。

第一手机12、第二手机13和第三手机14只是用户可以使用的一种类型的电子设备。实际上，用户显然还可以使用诸如下述类型的电子设备：平板设备、笔记本电脑、掌上电脑（PDAs，Personal Digital Assistants）、可穿戴设备（如智能眼镜、智能手表等）等，本说明书一个或多个实施例并不对此进行限制。在运行过程中，该电子设备可以运行某一应用的客户端侧的程序，以实现该应用的相关业务功能，比如当该电子设备运行搜索引擎的程序时，可以实现为该搜索引擎的客户端，任一客户端可以向服务器11实现的搜索引擎的服务端发送携带搜索关键词的搜索请求，并接收搜索引擎返回的搜索结果、利用本公开实施例得到的排序结果或者排序后的搜索结果。

需要指出的是：搜索引擎的客户端的应用程序可以被预先安装在电子设备上，使得该客户端可以在该电子设备上被启动并运行；当然，当采用诸如HTML5技术的在线“客户端”时，无需在电子设备上安装相应的应用程序，即可获得并运行该客户端。

而对于网络10，可以包括多种类型的有线或无线网络。

图2是根据本公开的实施例示出的一种搜索引擎响应搜索请求的过程示意图。如图2所示，该过程可以包括下述步骤202-208。

步骤202，接收搜索请求。

使用客户端的用户可以在客户端中输入或指定搜索词，从而客户端可以在接收到搜索词后生成包含该搜索词的搜索请求，并将该请求发送至搜索引擎（即部署有搜索引擎的服务端）。

步骤204，获取搜索结果。

搜索引擎响应于接收到的搜索请求，对搜索词进行必要的分析，以结合查询词和用户信息正确获知用户的搜索意图。然后，可以根据预先建立的搜索索引或者本地缓存，甚至调用网络爬虫获取符合用户搜索意图的搜索结果，如新闻、文章、网页、视频、图片、地理位置等，当然，对于搜索结果的具体形式和内容，本公开实施例并不进行限制。实际上，上述获取搜索结果的过程，可以理解为相关技术中响应于搜索请求进行召回的过程，相应的召回结果即为响应于该搜索请求获得的搜索结果。

步骤206，对搜索结果进行排序。

对搜索结果进行排序的过程，即为确定各个搜索结果向用户展示时的展示顺序的过程。在对搜索结果进行排序之前，搜索引擎的服务端可以采用本公开实施例所述的排序模型的训练方法训练排序模型，并在获取到某一搜索词及其对应的搜索结果之后，可以使用预先训练得到的排序模型对搜索结果进行排序。

需要说明的是，本公开实施例所述的排序模型的训练方法可以由搜索引擎的服务端执行，当然也可以由其他设备执行，并将训练完成的排序模型提供至搜索引擎的服务端，甚至运行在搜索引擎可访问的其他设备中。而本公开实施例所述的搜索结果的排序方法，可以由搜索引擎的服务端执行，此时，该方法可以以功能模块的形式集成在搜索引擎中，本公开实施例并不对此进行限制。

步骤208，输出排序结果。

对搜索结果进行排序后得到的排序结果可以发送至发起搜索请求的客户端，或者，也可以将搜索结果按照该排序结果排序后发送至该客户端，不再赘述。用户端可以将上述搜索结果按照排序结果向用户展示，从而将目标搜索词的多个搜索结果中的优质搜索结果展示的相对更靠前，而非优质搜索结果展示的相对更靠后，从而实现对长尾搜索词所对应搜索结果的优化。

下面结合图3-图7对模型训练和搜索结果的排序过程进行详细说明。

图3是根据本公开的实施例示出的一种排序模型的训练方法的流程图。如图3所示，该方法应用于服务端等模型训练设备，可以包括以下步骤：

步骤302，获取样本搜索词的样本搜索结果，并对所述样本搜索结果在所述样本搜索词下的样本消费数据进行归一化处理得到样本消费质量参数，其中，各个所述样本搜索结果的样本排序位置不同。

在本实施例中，模型训练设备可以从预设时间段（如一小时、一天、一周、一月等）内产生的历史搜索记录中获取样本搜索词及其对应的样本搜索结果，并在对样本搜索结果在样本搜索词下的样本消费数据进行归一化处理得到样本消费质量参数后，基于样本消费质量参数确定出训练样本。例如，在用户通过搜索词在搜索引擎中搜索相应的内容时，搜索引擎响应于各个搜索词进行内容召回得到的搜索结果即为历史搜索结果，任一历史搜索词及其对应的多个历史搜索结果即构成一组历史搜索记录。从而模型训练设备可以在从历史搜索记录的存储设备处获取预设时间段内的多组（如3万、20万、10万等）历史搜索记录，相应的，任一组历史搜索记录做包含的搜索词和相应的搜索结果即为样本搜索词和样本搜索结果。

对于任一样本搜索结果的任意一次召回而言，因为该结果的发布时间处于召回时刻之前，所以其在被召回时可能存在被其他用户消费时所产生的消费数据。例如，样本点击率（click through rate，ctr）——多个用户在同一样本搜索词下针对该样本搜索结果的点击次数与该样本搜索词下样本搜索结果的总数之间的比值；样本零播率（zero videothrough rate，zvtr）——该样本搜索结果对应的内容未被展示的概率；样本短播率（shortvideo through rate，svtr）——该样本搜索结果所对应内容的被展示时长小于预设时长的概率；样本长播率（long video through rate，lvtr）——该样本搜索结果所对应内容的被展示时长大于预设时长的概率；样本完播率（completion video through rate，cvtr）——该样本搜索结果被完整展示的概率；样本平均消费时长——该样本搜索结果所对应内容被展示的平均时长；样本关注率（watch through rate，wtr）——该样本搜索结果和/或该样本搜索结果的发布方帐号被关注的概率；样本点赞率（like through rate，ltr）——该样本搜索结果被点赞的概率；样本评论率（judge through rate，jtr）——该样本搜索结果被评论的概率；样本转发率（forwarding through rate，ftr）——该样本搜索结果被转发的概率等。本方案所述的任一样本搜索结果的消费数据可以包括上述各个消费数据中的一个或多个，本公开实施例对于上述样本消费数据的具体内容并不进行限制。

在一实施例中，上述样本消费数据可以被根据发布方帐号所对应用户实施的消费行为统计得到，即按照发布方帐号的维度统计用户针对样本搜素结果实施的消费行为，进而统计消费行为所对应的样本消费数据。此时，通过引入样本搜素结果的发布方帐号作为样本消费数据的统计维度，能够在排序模型中引入相应内容的发布方（如作者、UP主等），使得优质发布方所发布的内容（大概率为优质内容）能够被排列在搜索结果的前部。

任一搜索结果都可能被模型训练设备响应于不同样本搜索词的搜索请求搜索得到，从而同一搜索结果可能针对不同的样本搜索词产生不同的样本消费数据。其中，任一搜索结果在任一搜索词下的消费数据，即模型训练设备响应于该搜素词对应的搜索请求向客户端返回该搜索结果后，用户针对该搜索结果实施消费行为产生的消费数据。例如，用户输入搜索词A和B均能够搜索到作品P，则该作品P在搜索词A下的消费数据，即为历史用户输入搜索词A后，针对相应搜索结果中的作品P产生的消费数据；显然，在历史用户输入搜索词B后，针对搜索结果中的作品P产生的消费数据并不属于上述“作品P在搜索词A下的消费数据”。

进一步的，在获取到各个样本搜索结果的样本消费数据后，模型训练设备可以对样本搜索结果在样本搜索词下的样本消费数据进行归一化处理，以得到样本搜索结果的样本消费质量参数。例如，可以先对多个搜索结果在样本搜索词下的历史样本消费数据，分别进行归一化处理得到消费参数；然后再将各个搜索结果的多个预设样本消费数据分别对应的样本消费参数的乘积，分别作为各个搜索结果的样本消费质量参数。以某一样本搜索结果的样本消费数据包括点击率ctr、长播率lvtr和关注率wtr为例，不妨假设当前搜索词下的全部搜索结果的点击率ctr_q=0.3、当前搜索词下的全部搜索结果的长播率ctr_q=0.8、当前搜索词下的全部搜索结果的关注率ctr_q=0.5，若该样本搜索结果在当前搜索词下的点击率ctr=0.2、该搜索结果在当前搜索词下的长播率lvtr=0.5、该搜索结果在当前搜索词下的关注率wtr=0.3，则可以分别对ctr、lvtr和wtr进行归一化处理得到消费参数：ctr/ctr_q=0.2/0.3=0.67、lvtr/lvtr_q=0.5/0.8=0.63、wtr/wtr_q=0.3/0.5=0.6。

进而，对于上述样本消费数据中的多个预设样本消费数据，可以计算相应的样本消费参数之间的乘积，并将该乘积作为该样本搜素结果的样本消费质量参数。例如，在上述预设样本消费数据包括点击率ctr和长播率lvtr的情况下，可以计算出该样本搜素结果的样本消费质量参数为ctr/ctr_q*lvtr/lvtr_q=0.67*0.6=0.42。计算出的样本消费质量参数可以用于表征将该样本搜素结果的样本消费数据扩展至旧样本搜素结果的样本消费数据的取值范围后，相应的理论样本消费数据。显然，任一样本搜素结果对应的样本消费质量参数值越大，则表明该样本搜素结果的消费质量越高，因此越应该将该样本搜素结果排列的更靠前。对于发布时长不同的各个样本搜索结果，通过上述归一化处理，将样本消费数据统一至相同的取值范围中，实际上是将新样本搜素结果的权重提高至与旧样本搜素结果相同，从而相当于消除了发布时长这一因素在历史样本消费数据中的不利影响，有助于提升新样本搜素结果的展示记录。其中，上述新样本搜索结果与旧样本搜索结果为时间上的相对概念，分别用于表征发布时间相对较晚和相对较早的样本搜索结果。

步骤304，按照所述样本消费质量参数的大小将各个所述样本搜索结果分别划分至对应于相应参数区间的样本结果集合，并从对应于不同参数区间的多个样本结果集合中分别选取一个样本搜索结果构建训练样本；其中，所述训练样本包括多个样本搜索结果的样本消费质量参数和所述多个样本搜索结果的样本发布时间特征，所述训练样本的样本目标排序结果为所述多个样本搜索结果的样本消费质量参数的大小排序结果。

在一实施例中，确定出各个样本搜素结果分别对应的样本消费质量参数后，模型训练设备可以按照样本消费质量参数的大小对各个样本搜素结果进行排序，然后按照预设的参数区间划分规则，根据样本消费质量参数将排序后的各个样本搜索结果分别划分至对应于相应参数区间对应的样本结果集合中。例如，上述预设的参数区间划分规则可以包括：以0.05为区间长度均匀划分参数区间，即将样本搜素结果的取值区间[0,1]划分为[0,0.05)、[0.05,0.1)、[0.1,0.15)……[0.95,1]共20个参数区间。此时，将各个样本搜素结果分别的样本消费数据按照取值排列后，相应的各个样本搜素结果被划分至各个参数区间分别对应的样本结果集合中。进而可以分别从对应于不同参数区间的多个样本结果集合中分别选取一个样本搜索结果构建训练样本。如某样本搜素结果1的样本消费数据为取值0.02，对应于[0,0.05)区间、某样本搜素结果2的样本消费数据取值为0.26，对应于[0.25,0.3)区间、某样本搜素结果3的样本消费数据取值为0.77，对应于[0.75,0.8)区间，则可以将样本搜素结果1和样本搜素结果2作为一组训练样本，也可以将样本搜素结果1、样本搜素结果2和样本搜素结果3作为一组训练样本。通过上述方式确定出的训练样本，只在不同的样本结果集合中取样本搜素结果，因此能够保证训练样本中的各个样本搜素结果对应的样本消费质量参数相差较大，所以训练过程对于消费数据较差的新样本搜素结果具有一定的容忍度，从而通过区间划分的方式进一步减小新样本搜素结果和旧样本搜素结果之间的差距，进一步保证新样本搜素结果能够被排列的尽量靠前。

其中，任意一组训练样本中包含多个样本搜素结果，模型训练设备可以将多个样本搜索结果的样本消费质量参数的大小排序结果作为该训练样本对应的样本目标排序结果。如上述样本搜素结果1和样本搜素结果2构成的一组训练样本中，因为样本搜素结果1的样本消费数据取值小于样本搜素结果2的样本消费数据取值，所以该组训练样本的样本目标排序结果中，样本搜素结果2排列在样本搜素结果1前面。类似的，对于上述样本搜素结果1、样本搜素结果2和样本搜素结果3构成的一组训练样本，其样本目标排序结果的前后排列顺序依次为样本搜素结果3、样本搜素结果2和样本搜素结果1。因为训练样本的样本目标排序结果是对新样本搜素结果提权后得到的，所以将该排序结果作为待训练模型的训练目标，使得训练得到的排序模型能够对输入的待排序的搜索结果输出更准确的排序结果。

步骤306，将所述训练样本输入待训练模型，以获取所述待训练模型对所述各个样本搜索结果进行排序后输出的样本预测排序结果，并根据所述样本预测排序结果与所述样本目标排序结果之间的排序偏差调整所述待训练模型的模型参数，以训练得到所述排序模型。

在组合得到训练样本后，模型训练设备可以基于训练样本对待训练模型进行训练。其中，上述训练样本包括多个样本搜素结果和各个样本搜素结果分别对应的样本消费质量参数，以及各个样本搜素结果分别对应的样本发布时间特征。任一样本搜素结果的样本发布时间特征可以为样本时鲜向量，该样本时鲜向量的向量长度可以由该样本搜素结果的发布时间所决定：样本搜素结果的发布时间越接近当前时刻（发布越晚），相应样本时鲜向量的向量长度越长；反之，样本搜素结果的发布时间越远离当前时刻（发布越早），相应样本时鲜向量的向量长度越短。另外，训练样本中各个样本搜索结果分别对应的样本消费质量参数的大小顺序被作为训练样本的样本目标排序结果，因此该训练过程属于有监督学习的过程。

在一实施例中，上述待训练模型可以包括第一待训练模型和第二待训练模型，相应的，排序模型可以包括第一排序模型和第二排序模型，上述对待训练模型进行训练的过程，可以包括对第一待训练模型进行训练得到第一排序模型和对第二待训练模型进行训练得到第二排序模型的过程。其中，在对第一待训练模型进行训练得到第一排序模型的过程中，模型训练设备可以将训练样本输入第一待训练模型，从而该模型可以根据各个样本搜索结果的样本消费质量参数对所述样本搜索结果进行排序，并输出相应的样本消费融合参数，该样本消费融合参数即用于表征第一待训练模型对样本搜索结果进行排序得到的排序结果：该样本消费融合参数的取值越大，该参数对应的样本搜素结果在输出结果中的排序越靠前。进而，模型训练设备可以根据样本消费融合参数所表征的第一样本预测排序结果与样本目标排序结果之间的排序偏差调整第一待训练模型的模型参数，以训练得到第一排序模型。

进一步的，为融入各个样本搜素结果的发布时间特征，还需要将上述训练样本（包含各个样本搜素结果的发布时间特征）和第一待训练模型输出的各个样本搜索结果的样本消费融合参数输入第二待训练模型，以获取该模型根据样本消费融合参数和样本发布时间特征对样本搜索结果进行排序后输出的第二样本预测排序结果，并根据第二样本预测排序结果与前述的样本目标排序结果之间的排序偏差调整第二待训练模型的模型参数，以训练得到第二排序模型。

另外，模型训练设备还可以将样本搜素结果的下述至少之一的特征输入第二待训练模型：如可以为上述任一样本搜素结果与样本搜索词之间的相关性特征。也可以为该任一样本搜素结果的特征向量与样本搜索词的特征向量之间的向量距离等，用于表征二者之间的相关程度，如该向量距离越近，表明二者之间的相关性越强，如语义相关性越强等。还可以为上述任一样本搜素结果的质量特征，如根据该样本搜素结果的分辨率、帧率、清晰度等质量参数提取得到的特征等，用于表征样本搜素结果的内容质量的优劣，不再赘述。

其中，上述第一待训练模型和第二待训练模型都可以为基于pairwise的xgboost树模型。基于pairwise的xgboost树模型的一组输入通常包括两条样本数据，所以上述训练样本可以包括第一样本数据和第二样本数据，其中，第一样本数据可以包括样本搜索词、第一样本搜索结果和第一样本搜索结果对应的第一发布时间特征和第一样本消费质量参数，而第二样本数据可以包括样本搜索词、第二样本搜索结果和第二样本搜索结果对应的第二发布时间特征和第二样本消费质量参数。可见，上述第一样本数据和第二样本数据分别包含同一样本搜索词对应的两条样本搜索结果及各自对应的样本消费质量参数和发布时间特征，所以通过该训练样本能够保证训练结果尽量接近训练样本的目标排序结果，从而实现更好的训练效果。

在一实施例中，可以将各个样本搜索结果分别对应的各个样本消费融合参数的大小顺序作为上述第一样本预测排序结果。例如，假设第一待训练模型输出的样本搜素结果1的样本消费融合参数1为0.8、第二待训练模型输出的样本搜素结果2的样本消费融合参数2为0.5，则表明第一样本预测排序结果为；样本搜素结果2、样本搜素结果1（即样本搜素结果2排列在样本搜素结果1之前）。

在前述实施例中，直接将第一待训练模型输出的样本消费质量参数输入第二待训练模型，即使通过前述归一化处理一定程度上实现了对样本搜素结果的发布时间特征的提权，但作用可能比较微弱。因为一方面，发布时间特征只是间接作用在第一待训练模型上，其作用通过构建训练样本加以体现；另一方面，在多个样本搜素结果的发布时间特征区分度不高的情况下，比较难通过模型学习到发布时间这一影响因素。所以，通过模型对于改善样本搜素结果的时鲜因素作用有限。

为此，可以对第一待训练模型输出的样本消费质量参数的发布时间特征可以进行进一步的提权处理。例如，上述样本搜索结果被按照发布时间分为晚于预设时刻发布的新样本搜索结果和早于预设时刻发布的旧样本搜索结果，如将所有样本搜素结果分为7天前发布的旧样本搜素结果和7天内发布的旧样本搜素结果。此时，上述模型训练设备可以将新样本搜索结果对应的样本消费融合参数扩展至旧样本搜索结果对应的样本消费融合参数的参数范围；并将旧样本搜索结果对应的样本消费融合参数和新样本搜索结果对应的扩展后的样本消费融合参数，作为各个样本搜索结果的样本消费融合参数输入第二待训练模型。可以按照下述公式（1）对新样本搜素结果的参数范围进行扩展：

consumop_new =

(c_old_max-c_old_min)(c_new-c_new_min)/(c_new_max-c_new_min)+c_old_min（1）

公式（1）中，c_new_min为新样本搜素结果所对应样本消费质量参数的最小取值、c_new_max为新样本搜素结果所对应样本消费质量参数的最大取值、c_old_min为旧样本搜素结果所对应样本消费质量参数的最小取值、c_old_max旧样本搜素结果所对应样本消费质量参数的最大取值、c_new为任一新样本搜素结果所对应样本消费质量参数的取值、consumop_new为该任一新样本搜素结果所对应样本消费质量参数扩展后的取值。通过式（1），将新样本搜素结果所对应样本消费质量参数的参数范围，扩展至旧样本搜素结果所对应样本消费质量参数的参数范围，使得新样本搜素结果和旧样本搜素结果各自所对应样本消费质量参数的范围得到统一，从而实现了对新样本搜素结果所对应样本消费质量参数的提权。

通过上述训练过程，能够对样本搜索结果在样本搜索词下的样本消费数据进行归一化处理得到样本消费质量参数，从而按照样本消费质量参数的大小将各个样本搜索结果划分至相应的样本结果集合，并从不同样本结果集合中分别选取样本搜索词构建训练样本，并将多个样本搜索结果的样本消费质量参数的大小排序结果作为训练样本的样本目标排序结果，使得训练过程中的样本预测排序结果逐渐接近样本消费质量参数的大小顺序，从而使得模型的最终输出结果更接近于上述样本目标排序结果，保证了训练得到的排序模型的准确性。

图4是根据本公开的实施例示出的一种搜索结果的排序方法的流程图。如图4所示，该方法应用于服务端等排序设备，可以包括以下步骤：

步骤402，获取目标搜索词的多个搜索结果以及各个搜索结果的消费数据和发布时间特征。

在一实施例中，上述消费数据可以被排序设备或者其他设备根据发布方帐号所对应用户实施的消费行为统计得到。其中，任一搜索结果对应的发布方帐号即为发布该结果的发布方的用户帐号，而消费行为即为该用户帐号所对应用户针对该搜索结果实施的观看、点赞、评论、转发等消费行为。

步骤404，对所述多个搜索结果的消费数据进行归一化处理得到消费质量参数。

在一实施例中，排序设备可以对多个搜索结果在目标搜索词下的消费数据，分别进行归一化处理得到消费参数，然后将各个搜索结果的多个预设消费数据分别对应的消费参数的乘积，作为各个搜索结果的样本消费质量参数，从而通过该方式获取到各个搜索结果各自对应的样本消费质量参数。

步骤406，将各个搜索结果的所述消费质量参数和发布时间特征输入排序模型，以获取所述排序模型根据所述消费质量特征和发布时间特征对所述各个搜索结果进行排序后输出的排序结果，所述排序模型通过前述图3所对应各个实施例中任一项所述的排序模型的训练方法预训练得到。

在一实施例中，排序模型可以包括第一排序模型和第二排序模型，此时，排序设备可以在本地部署并运行上述第一排序模型和第二排序模型，或者也可以与部署并运行有上述第一排序模型和第二排序模型的设备进行通讯，本公开实施例并不对此进行限制。此时，排序设备可以将各个搜索结果的消费质量参数输入第一排序模型，以获取第一排序模型根据所述消费质量参数对多个搜索结果进行排序后输出的消费融合参数；以及，将各个样本搜索结果分别对应的消费融合参数和发布时间特征输入第二排序模型，以获取第二排序模型根据消费融合参数和发布时间特征对多个搜索结果进行排序后输出的排序结果。其中，上述第一排序模型能够根据搜索结果对应的多个消费数据转换为一个整体参数（即消费质量参数），所以有助于简化第二排序模型的输入参数，进而有助于实现对发布时间特征的融入，从而保证在第二排序模型输出的排序结果符合各个搜索结果的消费情况的基础上，尽可能的按照各个搜索结果的发布时间特征将新搜索结果排序靠前。

进一步的，上述多个搜索结果可以被按照发布时间分为晚于预设时刻发布的新搜索结果和早于预设时刻发布的旧搜索结果，如将所有搜索结果分为7天前发布的旧搜索结果和7天内发布的旧搜索结果（上述预设时刻可以为任意时刻，例如可以与模型训练阶段的上述预设时刻相同，以保证模型的排序准确度）。此时，排序设备可以通过下述方式进行处理：将新搜索结果对应的消费融合参数扩展至旧搜索结果对应的样本消费融合参数的参数范围，并将旧搜索结果对应的消费融合参数和新搜索结果对应的扩展后的消费融合参数，作为各个样本搜索结果的消费融合参数输入第二排序模型。通过该方式，将新搜素结果所对应消费质量参数的参数范围，强行扩展至旧搜素结果所对应消费质量参数的参数范围，使得对新搜素结果和旧搜素结果各自所对应消费质量参数的范围得到统一，从而实现对新搜素结果所对应消费质量参数的提权。

在一实施例中，排序得到上述排序结果后，排序设备可以将该排序结果发送至作品处理系统，以由作品处理系统按照该排序结果对搜索结果对应的作品作出相应处理。或者，排序设备也可以将排序结果发送至目标搜索词对应的搜索客户端，以由该搜索客户端按照排序结果向用户依次展示多个搜索结果。当然，排序设备还可以分别将该排序结果发送至上述作品处理系统和搜索客户端，本公开实施例并不对此进行限制。

根据本公开的实施例，在搜索结果排序过程中，通过对消费数据进行归一化处理得到消费质量参数，从而对待排序的多个搜索结果中发布时间较晚的新搜索结果进行了提权（即实现了发布时间特征的引入），因此通过按照上述方式训练得到的排序模型对各个搜索结果进行排序得到的排序结果能够一定程度上反映各个搜索结果的发布时间特征，即将消费数据较好的新视频排列的尽量靠前，而旧视频排列的尽量靠后，从而有效减轻搜索结果排列中的“马太效应”，使得高质量的新视频能够获得更多的展示机会。

下面结合图5-图7所示的实施例，以客户端为执行主体，训练排序模型并根据训练得到的排序模型对目标搜索词对应的搜索结果进行排序的实施例进行详细说明。

图5是根据本公开的实施例示出的另一种排序模型的训练方法的流程图。如图5所示，该方法应用于模型训练设备，该排序模型的训练方法包括下述步骤502-514。

步骤502，模型训练设备获取样本搜索词和样本搜索词对应的样本搜索结果。

在本实施例中，模型训练设备可以按照预设的时间节点，获取预设时间段内产生的历史搜索记录中获取样本搜索词及其对应的样本搜索结果。例如，在用户通过搜索词在搜索引擎中搜索相应的内容时，搜索引擎响应于各个搜索词进行内容召回得到的搜索结果即为历史搜索结果，任一历史搜索词及其对应的至少一个历史搜索结果即构成一组历史搜索记录。从而模型训练设备可以从历史搜索记录的存储设备处获取预设时间段内的多组（如3万、20万、10万等）历史搜索记录，相应的，任一组历史搜索记录做包含的搜索词和相应的搜索结果即为样本搜索词和样本搜索结果。

需要说明的是，可以获取多个样本搜索词，并同时获取各个样本搜索词对应的多个样本搜索结果。以视频搜索场景为例，可以获取用户在搜索引擎中输入“萌宠”、“宠物狗”、“骑行攻略”、“飞行特效”等关键词（即将上述关键词作为样本搜索词）进行搜索时，搜索引擎对视频池中的视频进行召回时的召回结果。如对于“萌宠”这一样本搜索词，可以相应的获取搜索引擎召回的部分或全部视频，并将各个视频作为该样本搜索词对应的多个样本搜索结果。

当然，因为不同类型的样本关键词对应的样本搜索结果通常并不相同，搜索引擎的召回结果也千差万别，所以可以按照搜索词的语义，获取各种语义下的多个样本搜索词及其分别对应的样本搜索结果，以训练出能够适用于多种语义的搜索词的排序模型。或者，为了更准确的对某一类型的搜索词的样本搜索结果进行排序，也可以仅获取某一类型的样本搜索词用于训练待训练模型，本公开实施例对于样本搜索词的获取范围并不进行限制。

步骤504，模型训练设备根据各个样本搜索结果的消费数据确定各个样本搜索结果的样本消费质量参数。

对于任一样本搜索结果的任意一次召回而言，因为该结果的发布时间处于召回时刻之前，所以其在被召回时可能存在被其他用户产生的消费数据。该消费数据可以包括下述前述的样本点击率ctr、样本零播率zvtr、样本短播率svtr、样本长播率lvtr、样本完播率cvtr、样本平均消费时长、样本关注率wtr、样本点赞率ltr、样本评论率jtr、样本转发率ftr等的一个或多个，各个消费数据的具体含义不再赘述。

进一步的，在获取到上述消费数据后，模型训练设备可以根据各个样本搜索结果的样本消费数据分别确定各个样本搜索结果的样本消费质量参数。例如，可以首先对多个搜索结果在目标搜索词下的历史样本消费数据分别进行归一化处理得到样本消费参数；然后再将各个搜索结果的多个预设样本消费数据分别对应的样本消费参数的乘积，作为各个样本搜索结果的样本消费质量参数。进而，对于上述样本消费数据中的多个预设样本消费数据，可以计算相应的样本消费参数之间的乘积，并将该乘积作为该样本搜素结果的样本消费质量参数。上述步骤的具体过程可参见前述实施例的记载，此处不再赘述。计算出的样本消费质量参数可以用于表征将该样本搜素结果的样本消费数据扩展至旧样本搜素结果的样本消费数据的取值范围后，相应的理论样本消费数据。显然，任一样本搜素结果对应的样本消费质量参数值越大，则表明该样本搜素结果的消费质量越高，越应该将该样本搜素结果排列的更靠前。

在一实施例中，上述样本消费数据还可以被根据发布方帐号所对应用户实施的消费行为统计得到，即按照发布方帐号的维度统计用户针对样本搜素结果实施的消费行为，进而统计消费行为所对应的样本消费数据。此时，通过引入样本搜素结果的发布方帐号作为样本消费数据的统计维度，能够在排序模型中引入相应内容的发布方，使得优质发布方所发布的优质内容能够在搜索结果中被排列的尽量靠前。

步骤506，模型训练设备根据各个样本搜索结果的发布时间确定各个样本搜索结果的样本发布时间特征。

模型训练设备可以获取各个样本搜索结果的发布时间，并根据该发布时间分别确定各个样本搜索结果的样本发布时间特征。例如，任一样本搜索结果的发布时间与该样本搜索结果对应的样本搜索词对应的搜索时刻之间的时间间隔，可以与该样本搜索结果的样本发布时间特征所对应样本时鲜向量的向量长度呈负相关。如对于上述搜索词“萌宠”，若其对应两个样本搜索结果：视频A和视频B，且视频A的发布时间早于该搜索词的搜索时刻1天、视频B的发布时间早于该搜索词的搜索时刻2天，则视频A的样本时鲜向量可以为Ta=[0,0,0,1]（长度为1），而视频B的样本时鲜向量可以为Tb=[0,0,0,0.5]（长度为0.5），从而通过Ta和Tb的向量长度可以表征两视频的发布时间。当然，上述发布时间与样本时鲜向量的向量长度之间的具体对应关系可以根据具体的业务场景或参数要求进行选择，本公开实施例并不对此进行限制。

步骤508，模型训练设备对各个样本搜索结果进行排序并划分样本结果集合。

在一实施例中，确定出各个样本搜素结果分别对应的样本消费质量参数后，模型训练设备可以按照样本消费质量参数取值的大小对各个样本搜素结果进行排序，然后按照预设的参数区间划分规则，根据样本消费质量参数将排序后的样本搜索结果分别划分至相应的样本结果集合，再将分别处于不同样本结果集合中的样本搜索结果组合得到训练样本。例如，上述预设的参数区间划分规则可以包括：以0.05为区间长度均匀划分参数区间，即将样本搜素结果的取值区间[0,1]划分为[0,0.05)、[0.05,0.1)、[0.1,0.15)……[0.95,1]共20个参数区间。此时，将各个样本搜素结果分别的样本消费数据按照取值排列后，相应的各个样本搜素结果被划分至各个参数区间分别对应的样本结果集合中。

需要说明的是，通过上述区间方式划分的多个样本搜索结果，应当是对应于同一样本搜索词的样本搜索结果；换言之，可以对获取到的各个样本搜索词分别对应的多个样本搜索结果均进行上述划分处理。

步骤510，模型训练设备选取不同样本结果集合中的搜索结果并组合得到训练样本。

进一步的，模型训练设备可以分别从多个不同参数区间分别对应的样本结果集合中分别选取一个样本搜素结果组成训练样本。如某样本搜素结果1的样本消费数据为取值0.05、某样本搜素结果2的样本消费数据取值为0.65、某样本搜素结果3的样本消费数据取值为0.44，则可以将样本搜素结果1和样本搜素结果2作为一组训练样本，也可以将样本搜素结果1、样本搜素结果2和样本搜素结果3作为一组训练样本。通过上述方式确定出的训练样本，只在不同参数区间分别对应的样本结果集合中取样本搜素结果，因此能够保证训练样本中的各个样本搜素结果对应的样本消费质量参数相差较大，所以训练过程对于消费数据较差的新样本搜素结果具有一定的容忍度，从而通过区间划分的方式进一步减小新样本搜素结果和旧样本搜素结果之间的差距，以保证新样本搜素结果能够被排列的尽量靠前。

另外，任意一组训练样本中包含的多个样本搜素结果，可以将多个样本消费质量参数的大小排序结果（即各自所在样本结果集合的所对应参数区间的大小顺序）作为该训练样本对应的样本目标排序结果。如上述样本搜素结果1和样本搜素结果2构成的一组训练样本中，因为样本搜素结果1的样本消费数据取值小于样本搜素结果2的样本消费数据取值，所以该组训练样本的样本目标排序结果中，样本搜素结果2排列在样本搜素结果1前面。类似的，对于上述样本搜素结果1、样本搜素结果2和样本搜素结果3构成的一组训练样本，其样本目标排序结果的前后排列顺序依次为样本搜素结果2、样本搜素结果3和样本搜素结果1。因为训练样本的样本目标排序结果是对新样本搜素结果提权后得到的，所以将该排序结果作为待训练模型的训练目标，保证了训练得到的排序模型能够对输入的待排序的搜索结果输出更准确的排序结果。

步骤512，模型训练设备使用训练样本训练待训练模型得到排序模型。

通过前述步骤获取到的任一组训练样本中，可以包含多个样本搜索结果；对于其中任一样本搜索结果，该训练样本中还包含该样本搜索结果的样本发布时间特征和样本消费质量参数。另外，对于上述多个样本搜索结果，各自的样本消费质量参数的大小顺序即被作为多个样本搜索结果对应的样本实际排序结果。从而，模型训练设备可以使用训练样本对待训练模型进行训练，以得到排序模型。

上述待训练模型可以包括第一待训练模型和第二待训练模型，使用上述训练样本对待训练模型进行训练的过程，即为依次对第一待训练模型和第二待训练模型进行训练的过程。下面结合图6对该训练过程进行详细说明。如图6所示，该训练过程可以包括下述步骤602-612。

步骤602，模型训练设备将包含样本搜索结果和样本消费质量参数的训练样本输入第一待训练模型。

步骤604，模型训练设备获取待训练模型按照样本消费质量参数对样本搜索结果对多个样本搜索结果进行排序后输出的样本消费融合参数。

在对第一待训练模型进行训练得到第一排序模型的过程中，模型训练模型训练设备可以将训练样本输入第一待训练模型，从而该模型可以根据各个样本搜索结果的样本消费质量参数对所述样本搜索结果进行排序，并输出相应的样本消费融合参数，该样本消费融合参数即用于表征第一待训练模型对样本搜索结果进行排序得到的排序结果：该样本消费融合参数的取值越大，该参数对应的样本搜素结果在输出结果中的排序越靠前。

以训练模型采用pairwise的xgboost树模型为例，因为基于pairwise的xgboost树模型的一组输入通常包括两条样本数据，所以上述训练样本可以包括第一样本数据和第二样本数据，即任意一组训练样本包含对应于同一样本搜索词的两个样本搜索结果。例如，样本搜索词Q对应于两个样本搜索结果：P1和P2，此时，第一样本数据可以包括P1、P1的样本发布时间特征T1和P1的消费质量参数C1，第二样本数据可以包括P2、P2的样本发布时间特征T2和P2的消费质量参数C2。另外，上述消费质量参数C1和消费质量参数C2之间的大小顺序被作为P1和P2对应的样本目标排序结果：若C1>C2，则样本目标排序结果为P1在前P2在后；否则，若C1<C2，则样本目标排序结果为P2在前P1在后（因为P1和P2分别被按照样本消费质量参数的大小划分至不同的样本结果集合中，所以C1=C2的情况不存在）。

将上述训练样本作为xgboost树模型的输入参数输入该模型，该模型即可根据输入参数预测（即计算）A1和A2分别对应的样本消费融合参数：I1和I2。其中，I1和I2的相对大小即可表征第一待训练模型输出的第一样本预测结果：若I1>I2，则第一样本预测结果为P1在前P2在后；否则，若I1<I2，则第一样本预测结果为P2在前P1在后。

步骤606，模型训练设备根据样本消费融合参数表征的第一样本预测结果与样本实际排序结果之间的偏差，调整第一待训练模型的模型参数。

进而，模型训练设备可以根据样本消费融合参数所表征的第一样本预测排序结果与样本目标排序结果之间的排序偏差调整第一待训练模型的模型参数，以训练得到第一排序模型。例如，若上述第一样本预测结果和样本实际排序结果相同（C1>C2且I1>I2，或者C1<C2且I1<I2），则可以继续输入其他训练样本。而上述第一样本预测结果和样本实际排序结果不同（C1>C2且I1<I2，或者C1<C2且I1>I2），则可以相应的调整模型参数，如调整模型中特征向量的向量长度、向量个数等参数，以使第一待训练模型的输出的第一样本预测结果和样本实际排序结果相同。当然，还可以同时输入多条训练样本（即设置训练过程中的Batch大于1）进行集中训练，具体过程可以参见相关技术中的记载，此处不再赘述。

在训练过程中，可以监控每次训练样本输出结果的排序误差，如多个样本搜索结果的排序结果与目标排序结果之间的排序偏差（如平均顺序偏差等），并在该偏差小于预设阈值的情况下停止训练。或者也可以预先设置训练次数（及固定训练样本数目），并在训练完成后停止。通过上述训练过程得到的该训练样本能够保证训练结果尽量接近训练样本的目标排序结果，从而第一待训练模型输出的第一样本预测结果中的新视频的样本消费融合参数尽可能大。

步骤608，模型训练设备将训练样本中包含的样本发布时间特征和第一待训练模型输出的样本消费融合参数输入第二待训练模型。

步骤610，模型训练设备接收第二待训练模型按照样本发布时间特征和待训练模型和样本消费融合参数对多个样本搜索结果进行排序后输出的模型预测排序结果。

步骤612，模型训练设备根据第二待训练模型输出的模型预测排序结果与样本实际排序结果之间的偏差，调整第二待训练模型的模型参数。

与上述步骤类似的，模型训练设备可以将第一待训练模型输出的样本消费融合参数和训练样本中各个样本搜索结果的样本发布时间特征作为输入参数输入第二待训练模型。从而第二待训练模型可以对按照样本发布时间特征和待训练模型和样本消费融合参数对多个样本搜索结果进行排序，并输出相应的模型预测排序结果（即第二样本预测结果）。

当然，在第二待训练模型通常采用pairwise的xgboost树模型的情况下，该模型的输出同样为各个样本搜索结果分别对应的数值，各个数值的相对大小用于表征第二待训练模型输出的模型预测排序结果。同样的，模型训练设备可以根据模型预测排序结果与样本目标排序结果之间的排序偏差调整第二待训练模型的模型参数，以训练得到第二排序模型。具体过程可参见针对第一排序模型的训练过程，此处不再赘述。

通过上述方式训练得到的第一待训练模型和第二待训练模型，能够根据输入的搜索结果的消费数据和样本发布时间特征对搜索结果进行排序，且新搜索结果在排序结果中的位置相对更靠前，从而有助于提升对新搜索结果的展示机会，从而减轻“马太效应”。

下面结合图7，以视频搜索场景为例对适用上述模型对搜索结果进行排序的过程进行说明。图7是根据本公开的实施例示出的另一种搜索结果的排序方法的流程图。如图7所示，该方法应用于搜索引擎的服务端，该排序模型的训练方法包括下述步骤702-712。

步骤702，服务端获取目标搜索词及其对应的多个召回视频。

需要说明的是，通过前述过程训练完成的排序模型可以被部署在服务端中，或者也可以被部署在服务端具有访问权限的其他设备中，从而服务端可以通过部署的该模型对任一搜索词对应的多个召回视频进行排序。

客户端检测到用户实施的搜索操作后，可以根据用户输入或指定的搜索词生成搜索请求并发送至服务端。而服务端在接收到搜索请求后，可以从该请求中提取其携带的目标搜索词，并响应于该搜索请求获取相应的召回视频，即按照目标搜索词对视频池中的备选视频进行召回处理得到的召回视频（此时的召回视频即对应于前述的搜索结果）。例如，对于目标搜索词Q，可以获取到多个与Q相关的短视频。其中，服务端通过召回过程获取召回视频的具体过程可以参见相关技术中的记载，此处不再赘述。

步骤704，服务端获取各个召回视频的消费数据和发布时间。

步骤706，服务端对各个消费数据进行归一化处理得到各个召回视频的消费质量参数，并根据发布时间提取发布时间特征。

进而服务端可以获取上述各个召回视频的消费数据，并确定各个召回视频的发布时间。例如，用于存放备选视频的视频池中可以维护各个备选视频对应的消费数据，并根据各个备选视频被召回后的消费情况对本地维护的消费数据进行更新，因此服务端可以在获取召回视频的同时一并获取各个召回视频的消费数据，以提升视频召回和数据获取的效率。或者，在上述视频池仅用于保存备选视频的情况下，各个备选视频的消费数据可以被保存在其他设备中，从而服务端可以在获取到召回视频后，通过视频标识等信息向其他设备请求获取召回视频的消费数据。上述消费数据的具体形式可以包括下述至少之一：点击率ctr、零播率zvtr、短播率svtr、长播率lvtr、完播率cvtr、平均消费时长、关注率wtr、点赞率ltr、评论率jtr、转发率ftr。

可以理解的是，获取的召回视频的消费数据应当与模型训练过程中使用的样本消费数据的类型相同，如在模型训练过程中使用了样本点击率ctr、样本零播率zvtr、样本短播率svtr和样本长播率lvtr作为样本搜索结果的样本消费数据，则应当相应的获取各个召回视频的点击率ctr、零播率zvtr、短播率svtr和长播率lvtr进行视频排序，其他消费数据与此类似。当然还可以通过其他方式获取，不再一一赘述。另外，还可以在获取召回视频时相应的确定各个召回视频的发布时间。

服务端在获取到各个召回视频的消费数据后，可以依次计算各个召回视频的消费质量参数。例如对于任一召回视频，可以将该视频的各个消费数据通过归一化处理得到相应的消费质量参数。以召回视频P1和P2为例，假设两视频的消费数据包括点击率ctr、长播率lvtr和关注率wtr，若召回视频P1在目标搜索词下的点击率ctr1=0.1、该搜索结果在当前搜索词下的长播率lvtr1=0.1、该搜索结果在当前搜索词下的关注率wtr1=0.25；召回视频P2在目标搜索词下的点击率ctr2=0.5、该搜索结果在当前搜索词下的长播率lvtr2=0.4、该搜索结果在当前搜索词下的关注率wtr2=0.8。在目标搜索词下的全部搜索结果的点击率ctr_q=0.3、当前搜索词下的全部搜索结果的长播率ctr_q=0.8、当前搜索词下的全部搜索结果的关注率ctr_q=0.5的情况下，可以计算出视频P1归一化后的消费参数依次为ctr1/ctr_q=0.1/0.3=0.33、lvtr1/lvtr_q=0.1/0.8=0.13、wtr1/wtr_q=0.2/0.5=0.6；视频P2归一化后的消费参数依次为ctr2/ctr_q=0.25/0.3=0.08、lvtr2/lvtr_q=0.5/0.8=0.63、wtr2/wtr_q=0.4/0.5=0.8。进而可以计算出视频P1的消费质量参数I1=ctr1/ctr_q*lvtr1/lvtr_q*wtr1/wtr_q=0.03，视频P2的消费质量参数I2=ctr2/ctr_q*lvtr2/lvtr_q*wtr2/wtr_q=0.04。

另外，与前述训练过程类似的，可以按照各个召回视频的发布时间提取各个召回视频的发布时间特征，以用于表征召回视频的发布时间与当前时刻的时间间隔（即召回视频的新旧程度）。

步骤708，服务端将各个召回视频的消费质量参数和发布时间特征输入排序模型。

步骤710，服务端接收模型输出的各个召回视频的排序结果。

此时，服务端可以将上述各个召回视频的消费质量参数个发布时间特征输入通过前述实施例训练得到的排序模型中进行排序处理。具体的，第一排序模型通过各个召回视频的消费质量参数对各个召回视频排序处理，并输出计算得到的各个召回视频的消费融合参数，该消费融合参数即可用于表征召回视频的整体消费特征。而第二排序模型可以通过各个召回视频的消费融合参数和发布时间特征对各个召回视频进行排序处理，并输出各个召回视频的排序结果。当然，该排序结果可以为具体的排序分值，该分值越大则表明相应召回视频的排名越靠前。

步骤712，服务端将召回视频和排序结果发送至客户端和/或作品处理系统。

得到模型输出的上述排序结果后，排序设备可以将该排序结果发送至作品处理系统，以由作品处理系统按照该排序结果对搜索结果对应的作品作出相应处理。例如，该作品处理系统可以根据排序结果调整召回视频在视频池中的逻辑位置或者与其他视频的之间的相关性参数，还可以相应的调整该召回视频的消费数据。

或者，排序设备也可以将排序结果发送至目标搜索词对应的搜索客户端，以由该搜索客户端按照排序结果向用户依次展示多个搜索结果，从而向用户展示出更新视频尽量靠前的出色展示效果。当然，排序设备也可以分别将该排序结果发送至上述作品处理系统和搜索客户端，本公开实施例并不对此进行限制。

与前述排序模型的训练方法的实施例相对应地，本公开还提出了排序模型的训练装置的实施例。

图8是根据本公开的实施例示出的一种排序模型的训练装置的示意框图。本实施例所示的排序模型的训练装置可以适用于服务端，如可以为搜索引擎的服务端等。可以为包含一独立主机的物理服务器、主机集群承载的虚拟服务器、云服务器等。

如图8所示，所述排序模型的训练装置可以包括：

参数获取单元801，被配置为获取样本搜索词的样本搜索结果，并对所述样本搜索结果在所述样本搜索词下的样本消费数据进行归一化处理得到样本消费质量参数，其中，各个所述样本搜索结果的样本排序位置不同；

样本构建单元802，被配置为按照所述样本消费质量参数的大小将各个所述样本搜索结果分别划分至对应于相应参数区间的样本结果集合，并从对应于不同参数区间的多个样本结果集合中分别选取一个样本搜索结果构建训练样本；其中，所述训练样本包括多个样本搜索结果的样本消费质量参数和所述多个样本搜索结果的样本发布时间特征，所述训练样本的样本目标排序结果为所述多个样本搜索结果的样本消费质量参数的大小排序结果；

模型训练单元803，被配置为将所述训练样本输入待训练模型，以获取所述待训练模型对所述各个样本搜索结果进行排序后输出的样本预测排序结果，并根据所述样本预测排序结果与所述样本目标排序结果之间的排序偏差调整所述待训练模型的模型参数，以训练得到所述排序模型。

可选的，所述参数获取单元801还被配置为：

对所述样本搜索结果在所述样本搜索词下的样本消费数据，分别进行归一化处理得到样本消费参数；

将所述样本搜索结果的多个预设样本消费数据分别对应的样本消费参数的乘积，作为所述样本搜索结果的样本消费质量参数。

可选的，所述样本构建单元802还被配置为：

按照所述样本消费质量参数的大小对各个所述样本搜索结果进行排序；

按照预设的参数区间划分规则，根据所述样本消费质量参数将排序后的各个所述样本搜索结果分别划分至对应于相应参数区间对应的样本结果集合中。

可选的，所述待训练模型包括第一待训练模型和第二待训练模型，所述排序模型包括第一排序模型和第二排序模型，所述模型训练单元803还被配置为：

将所述训练样本输入第一待训练模型，以获取所述第一待训练模型根据所述各个样本搜索结果的样本消费质量参数对所述样本搜索结果进行排序后输出的样本消费融合参数，并根据所述样本消费融合参数所表征的第一样本预测排序结果与所述样本目标排序结果之间的排序偏差调整所述第一待训练模型的模型参数，以训练得到所述第一排序模型；以及，

将所述训练样本和所述各个样本搜索结果的样本消费融合参数输入第二待训练模型，以获取所述第二待训练模型根据所述样本消费融合参数和所述样本发布时间特征对所述样本搜索结果进行排序后输出的第二样本预测排序结果，并根据所述第二样本预测排序结果与所述样本目标排序结果之间的排序偏差调整所述第二待训练模型的模型参数，以训练得到所述第二排序模型。

可选的，所述样本搜索结果被按照发布时间分为晚于预设时刻发布的新样本搜索结果和早于所述预设时刻发布的旧样本搜索结果，所述模型训练单元803还被配置为：

将所述新样本搜索结果对应的样本消费融合参数扩展至所述旧样本搜索结果对应的样本消费融合参数的参数范围；

将所述旧样本搜索结果对应的所述样本消费融合参数和所述新样本搜索结果对应的扩展后的所述样本消费融合参数，作为所述各个样本搜索结果的样本消费融合参数输入第二待训练模型。

可选的，所述样本消费数据包括下述至少之一：

样本点击率、样本零播率、样本短播率、样本长播率、样本完播率、样本平均消费时长、样本关注率、样本点赞率、样本评论率、样本转发率。

图9是根据本公开的实施例示出的一种搜索结果的排序装置的示意框图。本实施例所示的搜索结果的排序装置可以适用于服务端，如可以为搜索引擎的服务端等。可以为包含一独立主机的物理服务器、主机集群承载的虚拟服务器、云服务器等。

如图9所示，所述搜索结果的排序装置可以包括：

特征获取单元901，被配置为获取目标搜索词的多个搜索结果以及各个搜索结果的消费数据和发布时间特征；

数据处理单元902，被配置为对所述多个搜索结果的消费数据进行归一化处理得到消费质量参数；

结果排序单元903，被配置为将各个搜索结果的所述消费质量参数和发布时间特征输入排序模型，以获取所述排序模型根据所述消费质量特征和发布时间特征对所述各个搜索结果进行排序后输出的排序结果，所述排序模型通过如前述任一实施例所述的排序模型的训练方法预训练得到。

可选的，所述消费数据被根据发布方帐号所对应用户实施的消费行为统计得到。

可选的，所述数据处理单元902还被配置为：

对所述多个搜索结果在所述目标搜索词下的消费数据，分别进行归一化处理得到消费参数；

将各个搜索结果的多个预设消费数据分别对应的消费参数的乘积，作为各个搜索结果的样本消费质量参数。

可选的，所述排序模型包括第一排序模型和第二排序模型，所述结果排序单元903还被配置为：

将各个搜索结果的所述消费质量参数输入第一排序模型，以获取所述第一排序模型根据所述消费质量参数对所述多个搜索结果进行排序后输出的消费融合参数；以及，

将各个样本搜索结果分别对应的消费融合参数和所述发布时间特征输入第二排序模型，以获取所述第二排序模型根据所述消费融合参数和发布时间特征对所述多个搜索结果进行排序后输出的排序结果。

可选的，所述多个搜索结果被按照发布时间分为晚于预设时刻发布的新搜索结果和早于所述预设时刻发布的旧搜索结果，所述结果排序单元903还被配置为：

将所述新搜索结果对应的消费融合参数扩展至所述旧搜索结果对应的样本消费融合参数的参数范围；

将所述旧搜索结果对应的所述消费融合参数和所述新搜索结果对应的扩展后的所述消费融合参数，作为所述各个样本搜索结果的消费融合参数输入第二排序模型。

可选的，还包括：

第一发送单元904，被配置为将所述排序结果发送至作品处理系统，所述作品处理系统用于按照所述排序结果对所述搜索结果对应的作品作出相应处理；和/或，

第二发送单元905，被配置为将所述排序结果发送至所述目标搜索词对应的搜索客户端，所述搜索客户端用于按照所述排序结果向用户依次展示所述多个搜索结果。

关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。

本公开的实施例还提出一种电子设备，包括：

处理器；

用于存储所述处理器可执行指令的存储器；

其中，所述处理器被配置为执行所述可执行指令，以实现如上述任一实施例所述的排序模型的训练方法或者搜索结果的排序方法。

本公开的实施例还提出一种计算机可读存储介质，当所述计算机可读存储介质中的计算机程序和/或指令由电子设备的处理器执行时，使得电子设备能够执行上述任一实施例所述的排序模型的训练方法或者搜索结果的排序方法。

本公开的实施例还提出一种计算机程序产品，包括计算机程序和/或指令，所述计算机程序和/或指令被处理器执行时实现上述任一实施例所述的排序模型的训练方法或者搜索结果的排序方法。

图10是根据本公开的实施例示出的一种电子设备的示意框图。例如，电子设备1000可以是移动电话，计算机，数字广播终端，消息收发设备，游戏控制台，平板设备，医疗设备，健身设备，个人数字助理等。

参照图10，电子设备1000可以包括以下一个或多个组件：处理组件1002，存储器1004，电源组件1006，多媒体组件1008，音频组件1100，输入/输出(I/O)的接口1102，传感器组件1104，以及通信组件1108。

处理组件1002通常控制电子设备1000的整体操作，诸如与显示，电话呼叫，数据通信，相机操作和记录操作相关联的操作。处理组件1002可以包括一个或多个处理器1020来执行指令，以完成上述排序模型的训练方法或者搜索结果的排序方法的全部或部分步骤。此外，处理组件1002可以包括一个或多个模块，便于处理组件1002和其他组件之间的交互。例如，处理组件1002可以包括多媒体模块，以方便多媒体组件1008和处理组件1002之间的交互。

存储器1004被配置为存储各种类型的数据以支持在电子设备1000的操作。这些数据的示例包括用于在电子设备1000上操作的任何应用程序或方法的指令，联系人数据，电话簿数据，消息，图片，视频等。存储器1004可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。

电源组件1006为电子设备1000的各种组件提供电力。电源组件1006可以包括电源管理系统，一个或多个电源，及其他与为电子设备1000生成、管理和分配电力相关联的组件。

多媒体组件1008包括在电子设备1000和用户之间的提供一个输出接口的屏幕。在一些实施例中，屏幕可以包括液晶显示器(LCD)和触摸面板(TP)。如果屏幕包括触摸面板，屏幕可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与所述触摸或滑动操作相关的持续时间和压力。在一些实施例中，多媒体组件1008包括一个前置摄像头和/或后置摄像头。当电子设备1000处于操作模式，如拍摄模式或视频模式时，前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是一个固定的光学透镜系统或具有焦距和光学变焦能力。

音频组件1100被配置为输出和/或输入音频信号。例如，音频组件1100包括一个麦克风(MIC)，当电子设备1000处于操作模式，如呼叫模式、记录模式和语音识别模式时，麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器1004或经由通信组件1108发送。在一些实施例中，音频组件1100还包括一个扬声器，用于输出音频信号。

I/O接口1102为处理组件1002和外围接口模块之间提供接口，上述外围接口模块可以是键盘，点击轮，按钮等。这些按钮可包括但不限于：主页按钮、音量按钮、启动按钮和锁定按钮。

传感器组件1104包括一个或多个传感器，用于为电子设备1000提供各个方面的状态评估。例如，传感器组件1104可以检测到电子设备1000的打开/关闭状态，组件的相对定位，例如所述组件为电子设备1000的显示器和小键盘，传感器组件1104还可以检测电子设备1000或电子设备1000一个组件的位置改变，用户与电子设备1000接触的存在或不存在，电子设备1000方位或加速/减速和电子设备1000的温度变化。传感器组件1104可以包括接近传感器，被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件1104还可以包括光传感器，如CMOS或CCD图像传感器，用于在成像应用中使用。在一些实施例中，该传感器组件1104还可以包括加速度传感器，陀螺仪传感器，磁传感器，压力传感器或温度传感器。

图像采集组件1106可以用于采集被摄对象的图像数据，以形成关于被摄对象的图像，并可以对该图像进行必要的处理。该图像采集组件1106可以包括相机模组，相机模组中的图像传感器（Sensor）通过镜头感应来自被摄对象的光线，将得到的感光数据提供给图像信号处理器（ISP，Image Signal Processing），由后者根据感光数据生成对应于被摄对象的图像。其中，上述图像传感器可以为CMOS传感器或CCD传感器，当然，也可以为红外传感器、深度传感器等；相机模组可以内置在电子设备1000中，也可以为电子设备1000的外接模组；上述ISP可以内置在相机模组中，也可以外挂在上述电子设备中（不在相机模组内）。

通信组件1108被配置为便于电子设备1000和其他设备之间有线或无线方式的通信。电子设备1000可以接入基于通信标准的无线网络，如WiFi，运营商网络(如2G、3G、4G或5G)，或它们的组合。在一个示例性实施例中，通信组件1108经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中，所述通信组件1108还包括近场通信(NFC)模块，以促进短程通信。例如，在NFC模块可基于射频识别(RFID)技术，红外数据协会(IrDA)技术，超宽带(UWB)技术，蓝牙(BT)技术和其他技术来实现。

在本公开一实施例中，电子设备1000可以被一个或多个应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述XX方法。

在示例性实施例中，还提供了一种包括指令的计算机可读存储介质，例如包括指令的存储器804，上述指令可由装置800的处理器820执行以完成上述方法。可选地，计算机可读存储介质可以是ROM、随机存取存储器（RAM）、CD-ROM、磁带、软盘和光数据存储设备等。

本领域技术人员在考虑说明书及实践这里公开的公开后，将容易想到本公开的其它实施方案。本公开旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求指出。

应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。

需要说明的是，在本公开中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

以上对本公开实施例所提供的方法和装置进行了详细介绍，本文中应用了具体个例对本公开的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本公开的方法及其核心思想；同时，对于本领域的一般技术人员，依据本公开的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本公开的限制。

Claims (14)

1.一种排序模型的训练方法，其特征在于，包括：

获取样本搜索词的样本搜索结果，对所述样本搜索结果在所述样本搜索词下的样本消费数据分别进行归一化处理得到样本消费参数，并将所述样本搜索结果的多个预设样本消费数据分别对应的样本消费参数的乘积，作为所述样本搜索结果的样本消费质量参数，其中，各个所述样本搜索结果的样本排序位置不同，任一样本搜索结果的样本消费质量参数用于表征该样本搜索结果在消除发布时间因素之后的消费质量；

按照所述样本消费质量参数的大小将各个所述样本搜索结果分别划分至对应于相应参数区间的样本结果集合，并从对应于不同参数区间的多个样本结果集合中分别选取一个样本搜索结果构建训练样本；其中，所述训练样本包括多个样本搜索结果的样本消费质量参数和所述多个样本搜索结果的样本发布时间特征，所述训练样本的样本目标排序结果为所述多个样本搜索结果的样本消费质量参数的大小排序结果；

将所述训练样本输入第一待训练模型，以获取所述第一待训练模型根据各个样本搜索结果的样本消费质量参数对各个样本搜索结果进行排序后输出的样本消费融合参数，并根据所述样本消费融合参数所表征的第一样本预测排序结果与所述样本目标排序结果之间的排序偏差调整所述第一待训练模型的模型参数，以训练得到第一排序模型；

将新样本搜索结果对应的样本消费融合参数扩展至旧样本搜索结果对应的样本消费融合参数的参数范围，所述样本搜索结果被按照发布时间分为晚于预设时刻发布的所述新样本搜索结果和早于所述预设时刻发布的所述旧样本搜索结果；

将所述旧样本搜索结果对应的所述样本消费融合参数和所述新样本搜索结果对应的扩展后的所述样本消费融合参数，作为所述各个样本搜索结果的样本消费融合参数输入第二待训练模型，以获取所述第二待训练模型根据所述样本消费融合参数和所述样本发布时间特征对所述样本搜索结果进行排序后输出的第二样本预测排序结果，并根据所述第二样本预测排序结果与所述样本目标排序结果之间的排序偏差调整所述第二待训练模型的模型参数，以训练得到第二排序模型。

2.根据权利要求1所述的方法，其特征在于，所述按照所述样本消费质量参数的大小将各个所述样本搜索结果分别划分至对应于相应参数区间的样本结果集合，包括：

按照所述样本消费质量参数的大小对各个所述样本搜索结果进行排序；

按照预设的参数区间划分规则，根据所述样本消费质量参数将排序后的各个所述样本搜索结果分别划分至对应于相应参数区间对应的样本结果集合中。

3.根据权利要求1-2中任一项所述的方法，其特征在于，所述样本消费数据包括下述至少之一：

样本点击率、样本零播率、样本短播率、样本长播率、样本完播率、样本平均消费时长、样本关注率、样本点赞率、样本评论率、样本转发率。

4.一种搜索结果的排序方法，其特征在于，包括：

获取目标搜索词的多个搜索结果以及各个搜索结果的消费数据和发布时间特征；

对所述多个搜索结果在所述目标搜索词下的消费数据分别进行归一化处理得到消费参数，并将各个搜索结果的多个预设消费数据分别对应的消费参数的乘积，作为各个搜索结果的样本消费质量参数，任一搜索结果的消费质量参数用于表征该搜索结果在消除发布时间因素之后的消费质量；

将各个搜索结果的所述消费质量参数输入第一排序模型，以获取所述第一排序模型根据所述消费质量参数对所述多个搜索结果进行排序后输出的消费融合参数；并将新搜索结果对应的消费融合参数扩展至旧搜索结果对应的样本消费融合参数的参数范围，其中，所述多个搜索结果被按照发布时间分为晚于预设时刻发布的所述新搜索结果和早于所述预设时刻发布的所述旧搜索结果；

将所述旧搜索结果对应的所述消费融合参数和所述新搜索结果对应的扩展后的所述消费融合参数，作为所述各个样本搜索结果的消费融合参数输入第二排序模型，以获取所述第二排序模型根据所述消费融合参数和发布时间特征对所述多个搜索结果进行排序后输出的排序结果，所述第一排序模型和所述第二排序模型通过如权利要求1至3中任一项所述的排序模型的训练方法预训练得到。

5.根据权利要求4所述的方法，其特征在于，所述消费数据被根据发布方帐号所对应用户实施的消费行为统计得到。

6.根据权利要求4所述的方法，其特征在于，还包括：

将所述排序结果发送至作品处理系统，所述作品处理系统用于按照所述排序结果对所述搜索结果对应的作品作出相应处理；和/或，

将所述排序结果发送至所述目标搜索词对应的搜索客户端，所述搜索客户端用于按照所述排序结果向用户依次展示所述多个搜索结果。

7.一种排序模型的训练装置，其特征在于，包括：

参数获取单元，被配置为获取样本搜索词的样本搜索结果，对所述样本搜索结果在所述样本搜索词下的样本消费数据分别进行归一化处理得到样本消费参数，并将所述样本搜索结果的多个预设样本消费数据分别对应的样本消费参数的乘积，作为所述样本搜索结果的样本消费质量参数，其中，各个所述样本搜索结果的样本排序位置不同，任一样本搜索结果的样本消费质量参数用于表征该样本搜索结果在消除发布时间因素之后的消费质量；

样本构建单元，被配置为按照所述样本消费质量参数的大小将各个所述样本搜索结果分别划分至对应于相应参数区间的样本结果集合，并从对应于不同参数区间的多个样本结果集合中分别选取一个样本搜索结果构建训练样本；其中，所述训练样本包括多个样本搜索结果的样本消费质量参数和所述多个样本搜索结果的样本发布时间特征，所述训练样本的样本目标排序结果为所述多个样本搜索结果的样本消费质量参数的大小排序结果；

第一训练单元，被配置为将所述训练样本输入第一待训练模型，以获取所述第一待训练模型根据各个样本搜索结果的样本消费质量参数对各个样本搜索结果进行排序后输出的样本消费融合参数，并根据所述样本消费融合参数所表征的第一样本预测排序结果与所述样本目标排序结果之间的排序偏差调整第一待训练模型的模型参数，以训练得到所述第一排序模型；

结果扩展单元，被配置为将新样本搜索结果对应的样本消费融合参数扩展至旧样本搜索结果对应的样本消费融合参数的参数范围，所述样本搜索结果被按照发布时间分为晚于预设时刻发布的所述新样本搜索结果和早于所述预设时刻发布的所述旧样本搜索结果；

第二训练单元，被配置为将所述旧样本搜索结果对应的所述样本消费融合参数和所述新样本搜索结果对应的扩展后的所述样本消费融合参数，作为所述各个样本搜索结果的样本消费融合参数输入第二待训练模型，以获取所述第二待训练模型根据所述样本消费融合参数和所述样本发布时间特征对所述样本搜索结果进行排序后输出的第二样本预测排序结果，并根据所述第二样本预测排序结果与所述样本目标排序结果之间的排序偏差调整所述第二待训练模型的模型参数，以训练得到第二排序模型。

8.根据权利要求7所述的装置，其特征在于，所述样本构建单元还被配置为：

按照所述样本消费质量参数的大小对各个所述样本搜索结果进行排序；

按照预设的参数区间划分规则，根据所述样本消费质量参数将排序后的各个所述样本搜索结果分别划分至对应于相应参数区间对应的样本结果集合中。

9.根据权利要求7-8中任一项所述的装置，其特征在于，所述样本消费数据包括下述至少之一：

样本点击率、样本零播率、样本短播率、样本长播率、样本完播率、样本平均消费时长、样本关注率、样本点赞率、样本评论率、样本转发率。

10.一种搜索结果的排序装置，其特征在于，包括：

特征获取单元，被配置为获取目标搜索词的多个搜索结果以及各个搜索结果的消费数据和发布时间特征；

数据处理单元，被配置为对所述多个搜索结果在所述目标搜索词下的消费数据分别进行归一化处理得到消费参数，并将各个搜索结果的多个预设消费数据分别对应的消费参数的乘积，作为各个搜索结果的样本消费质量参数，任一搜索结果的消费质量参数用于表征该搜索结果在消除发布时间因素之后的消费质量；

第一输入单元，被配置为将各个搜索结果的所述消费质量参数输入第一排序模型，以获取所述第一排序模型根据所述消费质量参数对所述多个搜索结果进行排序后输出的消费融合参数；并将新搜索结果对应的消费融合参数扩展至旧搜索结果对应的样本消费融合参数的参数范围，其中，所述多个搜索结果被按照发布时间分为晚于预设时刻发布的所述新搜索结果和早于所述预设时刻发布的所述旧搜索结果；

第二输入单元，被配置为将所述旧搜索结果对应的所述消费融合参数和所述新搜索结果对应的扩展后的所述消费融合参数，作为所述各个样本搜索结果的消费融合参数输入第二排序模型，以获取所述第二排序模型根据所述消费融合参数和发布时间特征对所述多个搜索结果进行排序后输出的排序结果，所述第一排序模型和所述第二排序模型通过如权利要求1至3中任一项所述的排序模型的训练方法预训练得到。

11.根据权利要求10所述的装置，其特征在于，所述消费数据被根据发布方帐号所对应用户实施的消费行为统计得到。

12.根据权利要求10所述的装置，其特征在于，还包括：

第一发送单元，被配置为将所述排序结果发送至作品处理系统，所述作品处理系统用于按照所述排序结果对所述搜索结果对应的作品作出相应处理；和/或，

第二发送单元，被配置为将所述排序结果发送至所述目标搜索词对应的搜索客户端，所述搜索客户端用于按照所述排序结果向用户依次展示所述多个搜索结果。

13.一种电子设备，其特征在于，包括：

处理器；

用于存储所述处理器可执行指令的存储器；

其中，所述处理器被配置为执行所述可执行指令，以实现如权利要求1至3中任一项所述的排序模型的训练方法，或者如权利要求4至6中任一项所述的搜索结果的排序方法。

14.一种计算机可读存储介质，其特征在于，当所述计算机可读存储介质中的计算机程序和/或指令由电子设备的处理器执行时，使得电子设备能够执行如权利要求1至3中任一项所述的排序模型的训练方法，或者如权利要求4至6中任一项所述的搜索结果的排序方法。

Images