CN114092162A - 推荐质量确定方法、推荐质量确定模型的训练方法及装置 - Google Patents

Abstract

本公开关于一种推荐质量确定方法、推荐质量确定模型的训练方法、装置、电子设备以及存储介质，属于人工智能技术领域，该方法将用于训练模型的多个样本用户数据满足的目标分布划分为多个分布区间，由于每个分布区间的样本用户数据基于推荐质量信息的分布更加均衡，因此，首先通过第一子模型，确定用户数据所属的目标分布区间，进一步根据目标分布区间对应的第二子模型，来获取用户数据的推荐质量信息，能够消除样本用户数据分布不均衡对推荐质量确定模型训练的影响，从而提升了基于模型获取到的推荐质量信息的准确率。

Description

推荐质量确定方法、推荐质量确定模型的训练方法及装置

技术领域

本公开涉及人工智能技术领域，尤其涉及一种推荐质量确定方法、推荐质量确定模型的训练方法、装置、电子设备以及存储介质。

背景技术

在互联网领域中，企业可以通过在不同平台投放企业应用的广告，提升企业应用的用户数量，投放广告也可以称为推荐广告，通过推荐质量确定模型，对企业应用中由广告引流的用户的相关数据进行处理，能够预测用户在企业应用中的生命周期价值（LifetimeValue，LTV），以此作为广告推荐的质量信息，根据质量信息较高的用户具有的特征，在平台中对广告进行定向推荐，从而实现推荐结构的调优。然而，用于用户数据的分布往往是不均衡的，导致推荐质量确定模型无法准确获取推荐质量信息。相关技术中，通过在训练模型时对样本用户数据进行重采样，人工使样本用户数据的分布变得均衡，以提升模型的训练效果，从而提升推荐质量信息的准确率。

上述技术中，对样本用户数据进行重采样，会导致样本用户数据失去了原有的分布特征，使训练得到的推荐质量确定模型的准确率较差，基于模型得到的推荐质量信息准确率低。

发明内容

本公开提供一种推荐质量确定方法、推荐质量确定模型的训练方法、装置、电子设备以及存储介质，能够提升训练得到的推荐质量确定模型的准确率。本公开的技术方案如下。

根据本公开实施例的第一方面，提供一种推荐质量确定方法，该方法包括：

获取目标用户账户的用户数据，该用户数据包括该目标用户账户在目标应用中的历史行为数据；

将该用户数据输入推荐质量确定模型的第一子模型，从目标分布的多个分布区间中确定该用户数据所属的目标分布区间，该目标分布为训练该推荐质量确定模型的多个样本用户数据对应于推荐质量信息的分布；

将该用户数据输入该推荐质量确定模型的目标第二子模型，得到该用户数据的推荐质量信息，该推荐质量确定模型包括多个第二子模型，每个该第二子模型对应于一个分布区间，该目标第二子模型对应于该目标分布区间。

本公开实施例提供的技术方案，将用于训练模型的多个样本用户数据满足的目标分布划分为多个分布区间，由于每个分布区间的样本用户数据基于推荐质量信息的分布更加均衡，因此，首先通过第一子模型，确定用户数据所属的目标分布区间，进一步根据目标分布区间对应的第二子模型，来获取用户数据的推荐质量信息，能够消除样本用户数据分布不均衡对推荐质量确定模型训练的影响，从而提升了基于模型获取到的推荐质量信息的准确率。

在一些实施例中，该将该用户数据输入推荐质量确定模型的第一子模型，从目标分布的多个分布区间中确定该用户数据所属的目标分布区间包括：

将该用户数据输入该第一子模型，得到该用户数据与对应该分布区间之间的映射关系；

基于该用户数据与对应该分布区间之间的映射关系，从该多个分布区间中确定该用户数据的目标分布区间。

通过获取映射关系，得到了用户数据关于对应分布区间的分类信息，从而能够准确的确定用户数据所属的目标分布区间。

在一些实施例中，该将该用户数据输入该第一子模型，得到该用户数据与对应该分布区间之间的映射关系包括：

在该分布区间的数量为2个的情况下，将该用户数据输入该第一子模型；

基于该第一子模型，将该用户数据分别映射到各个该分布区间的第一分类空间，得到多个第一分类信息，该第一分类空间用于描述属于对应分布区间的用户数据的特征，该第一分类信息为该用户数据属于对应分布区间的概率。

在分布区间的数量为2个的情况下，通过获取多个第一分类信息，得到了用户数据属于每个分布区间的概率，从而能够基于该第一分类信息，通过用户数据所属的目标分布区间，获取用户数据的推荐质量信息，提升了推荐质量信息的准确率。

在一些实施例中，该将该用户数据输入该第一子模型，得到该用户数据与对应该分布区间之间的映射关系包括：

在该分布区间的数量为2个以上的情况下，将该用户数据输入该第一子模型；

基于该第一子模型，将该用户数据分别映射到各个该分布区间的第二分类空间，得到多个第二分类信息，该第二分类空间用于描述属于对应分布区间以及在该目标分布中基于第一顺序的位置位于对应分布区间之后的分布区间的用户数据的特征，该第二分类信息为该用户数据属于对应分布区间以及在该目标分布中基于第一顺序的位置位于对应分布区间之后的分布区间的概率，该第一顺序为属于各个分布区间的样本用户数据对应的推荐质量信息从小到大的顺序。

在分布区间的数量为2个以上的情况下，通过获取该多个第二分类信息，得到了模型预测的该用户数据所属的分布区间与各个分布区间之间的顺序信息，从而能够在考虑到分布区间的顺序信息的情况下，更加准确的确定目标用户所属的目标分布区间，进一步通过目标分布区间，获取用户数据的推荐质量信息，能够进一步提升推荐质量信息的准确率。

在一些实施例中，该将该用户数据输入该推荐质量确定模型的目标第二子模型，得到该用户数据的推荐质量信息包括：

将该用户数据输入该目标第二子模型；

基于该目标第二子模型，将该用户数据分别映射到该目标分布区间中各个子区间的第三分类空间，得到该用户数据的多个第三分类信息，该第三分类空间用于描述属于对应子区间以及在该目标分布区间中基于第二顺序的位置位于对应子区间之后的子区间的用户数据的特征，该第三分类信息为该用户数据属于对应子区间以及在目标分布区间中基于第二顺序的位置位于对应子区间之后的子区间的概率，该第二顺序为各个子区间对应信息范围的推荐质量信息从小到大的顺序，该信息范围为属于对应子区间的用户数据的推荐质量信息的范围；

基于该多个第三分类信息和该各个子区间对应的信息范围，获取该用户数据的推荐质量信息。

通过获取该多个第三分类信息，得到了用户数据与目标分布区间中每个子区间之间的顺序信息，进一步基于第三分类信息，获取用户数据的推荐质量信息，能够提升推荐质量信息的准确率。

在一些实施例中，该基于该多个第三分类信息和该各个子区间对应的信息范围，获取该用户数据的推荐质量信息包括：

基于该多个第三分类信息，从该目标分布区间的多个子区间中确定该用户数据所属的目标子区间；

基于该目标子区间对应的信息范围的上限信息和下限信息，获取该用户数据的推荐质量信息。

通过目标子区间对应的信息范围，使推荐质量确定模型在获取用户数据的推荐质量信息时，只需要确定该用户数据所属的子区间，就能够根据对应的信息范围的上限信息和下限信息，获取用户数据的推荐质量信息，从而将复杂的回归问题转化为较为简单的分类问题，减小了服务器的计算压力。

根据本公开实施例的第二方面，提供一种推荐质量确定模型的训练方法，该方法包括：

获取样本数据集中的样本用户数据、该样本用户数据的参考分布区间和参考质量信息，该样本用户数据包括样本用户账户在目标应用中的历史行为数据，该参考分布区间为目标分布的多个分布区间中该样本用户数据所属的分布区间，该目标分布为样本数据集中多个样本用户数据对应于推荐质量信息的分布，该参考质量信息为该样本用户数据的推荐质量信息；

将该样本用户数据输入推荐质量确定模型的第一子模型，得到该样本用户数据的预测分布区间；

将该样本用户数据输入该推荐质量确定模型的目标第二子模型，得到该样本用户数据的预测质量信息，该推荐质量确定模型包括多个第二子模型，每个该第二子模型对应于一个分布区间类别，该目标第二子模型对应于该参考分布区间；

基于该样本用户数据的该预测分布区间和该参考分布区间、该预测质量信息和该参考质量信息，对该推荐质量确定模型进行训练。

本申请提供的技术方案，将样本数据集中多个样本用户数据满足的目标分布划分为多个分布区间，由于每个分布区间的样本用户数据分布更加均衡，因此，服务器基于样本用户数据所属的分布区间和该样本用户数据的多个第一分类信息，对推荐质量确定模型进行训练，能够避免样本用数据分布不均衡对模型训练的影响，同时，训练得到的推荐质量确定模型能够准确的确定用户数据所属的分布区间，从而能够根据用户数据所属的分布区间，确定该用户数据对应的推荐质量信息，达到了提升推荐质量确定模型的准确率的目的。

在一些实施例中，该将该样本用户数据输入推荐质量确定模型的第一子模型，得到该样本用户数据的预测分布区间包括：

将该样本用户数据输入该第一子模型，得到该样本用户数据与对应该分布区间之间的映射关系，该映射关系用于表示该样本用户数据的预测分布区间。

通过获取样本用户数据与对应分布区间之间的映射关系，从而能够基于获取到的映射关系和样本用户数据的参考分布区间，对该推荐质量确定模型进行训练，使训练得到的模型能够更加准确的确定用户数据所属的分布区间。

在一些实施例中，该将该样本用户数据输入该第一子模型，得到该样本用户数据与对应该分布区间之间的映射关系包括：

在该分布区间的数量为2个的情况下，将该样本用户数据输入该第一子模型；

基于该第一子模型，将该样本用户数据分别映射到各个该分布区间的第一分类空间，得到多个第一分类信息，该第一分类空间用于描述属于对应分布区间的样本用户数据的特征，该第一分类信息为该样本用户数据属于对应分布区间的概率。

在分布区间的数量为2个的情况下，通过获取多个第一分类信息，得到了样本用户数据属于每个分布区间的概率，从而能够在后续的步骤中，通过焦点损失函数获取预测分布区间的误差，并基于得到的误差对推荐质量确定模型进行训练，从而提升模型对用户数据的分布区间分类的准确性。

在一些实施例中，该将该样本用户数据输入该第一子模型，得到该样本用户数据与对应该分布区间之间的映射关系包括：

在该分布区间的数量为2个以上的情况下，将该样本用户数据输入该第一子模型；

基于该第一子模型，将该样本用户数据分别映射到各个该分布区间的第二分类空间，得到多个第二分类信息，该第二分类空间用于描述属于对应分布区间以及在该目标分布中基于第一顺序的位置位于对应分布区间之后的分布区间的样本用户数据的特征，该第二分类信息为该样本用户数据属于对应分布区间以及在该目标分布中基于第一顺序的位置位于对应分布区间之后的分布区间的概率，该第一顺序为属于各个分布区间的样本用户数据对应的推荐质量信息从小到大的顺序。

在分布区间的数量为2个以上的情况下，通过获取该多个第二分类信息，得到了模型预估的该样本用户数据所属的分布区间与任一分布区间之间的顺序关系，从而能够在后续步骤中，通过有序回归损失函数获取预测分布区间的误差，并基于获取到的误差对推荐质量确定模型进行训练，这种获取多个第一分类信息的方式对多个分布区间之间的顺序关系进行了建模，从而提升了推荐质量确定模型对用户数据的分布区间分类的准确性。

在一些实施例中，该将该样本用户数据输入该推荐质量确定模型的目标第二子模型，得到该样本用户数据的预测质量信息包括：

将该样本用户数据输入该目标第二子模型；

基于该目标第二子模型，将该样本用户数据分别映射到该参考分布区间中各个子区间的第三分类空间，得到该样本用户数据的多个第三分类信息，该第三分类空间用于描述属于对应子区间以及在该参考分布区间中基于第二顺序的位置位于对应子区间之后的子区间的样本用户数据的特征，该第三分类信息为该样本用户数据属于对应子区间以及在该参考分布区间中基于第二顺序的位置位于对应子区间之后的子区间的概率；

其中，每个该子区间对应于一个信息范围，该信息范围为属于对应子区间的样本用户数据的推荐质量信息的范围，该第二顺序为各个子区间对应信息范围的推荐质量信息从小到大的顺序。

由于参考分布区间包括多个子区间，从而能够对参考分布区间进行进一步切分，解决了参考分布区间内的不均衡问题。通过获取该多个第三分类信息，得到了样本用户数据与参考分布区间中每个子区间之间的顺序信息，使后续通过该第三分类信息对推荐质量确定模型进行训练的过程中，考虑了样本用户数据相对于参考分布区间中每个子区间的顺序，从而使训练得到的推荐质量确定模型能够更加准确的确定用户数据所属的子区间。

在一些实施例中，该基于该样本用户数据的该预测分布区间和该参考分布区间、该预测质量信息和该参考质量信息，对该推荐质量确定模型进行训练包括：

基于该预测分布区间和该参考分布区间，获取第一损失，该第一损失表示该预测分布区间的误差；

基于该预测质量信息和该参考质量信息，获取第二损失，该第二损失表示该预测质量信息的误差；

基于该第一损失和该第二损失，对该推荐质量确定模型进行训练。

通过获取第一损失和第二损失，得到了推荐质量确定模型预测的样本用户数据预测的分布区间的误差与预测的推荐质量信息的误差，从而能够根据上述两个误差对推荐质量确定模型进行训练，使训练得到的推荐质量确定模型获取的用户所属的分布区间和推荐质量信息更加准确。

在一些实施例中，该基于该预测分布区间和该参考分布区间，获取第一损失包括：

在该分布区间的数量为2个的情况下，基于该参考分布区间、该样本用户数据与2个分布区间中任一分布区间的第一分类信息和焦点损失函数，获取该第一损失。

通过该焦点损失函数，使推荐质量确定模型在训练过程中能够更专注于分布区间分类困难的样本用户数据，从而使训练得到的推荐质量确定模型确定的用户数据所属的分布区间更加准确。

在一些实施例中，该基于该预测分布区间和该参考分布区间，获取第一损失包括：

在该分布区间的数量为2个以上的情况下，基于该参考分布区间、该多个第二分类信息、多个该分布区间的顺序和有序回归损失函数，获取该第一损失。

通过该有序回归损失函数获取第一损失，使推荐质量确定模型在训练过程中，能够考虑到样本用户数据所属的分布区间在多个分布区间中的顺序，从而使训练得到的推荐质量确定模型确定的用户数据所属的分布区间更加准确。

在一些实施例中，该基于该预测质量信息和该参考质量信息，获取第二损失包括：

基于该参考质量信息、该多个第三分类信息、多个该信息范围的顺序和有序回归损失函数，获取该第二损失。

通过有序回归损失函数获取第二损失，使推荐质量确定模型在训练过程中，考虑到了样本用户数据所属的子区间在参考分布区间中的顺序，从而使训练得到的推荐质量确定模型确定的用户数据在对应分布区间所属的子区间更加准确，进而提升得到的推荐质量信息的准确率。同时，由于训练模型的过程中考虑到了样本用户数据的顺序，因此对于多个用户数据，基于该推荐质量确定模型获取的多个对应的推荐质量信息的顺序准确性也得到了保证。

在一些实施例中，该基于该第一损失和该第二损失，对该推荐质量确定模型进行训练包括：

将该第一损失和该第二损失相加，得到目标损失；

基于该目标损失，对该第一子模型和该目标第二子模型进行训练。

通过使各个第二子模型仅基于属于对应分布区间的样本用户数据进行训练，使用于训练每个第二子模型的多个样本用户数据的分布更加均衡，消除了样本数据集的多个样本用户数据分布不均衡对模型训练的影响，从而提升了模型训练的准确率。

在一些实施例中，对于该目标分布中的任一分布区间，属于该分布区间的具有不同推荐质量信息的样本用户数据的数量相差小于阈值。

由于每个分布区间中具有不用推荐质量信息的样本用户数据数量相差小于阈值，所以每个分布区间的样本用户数据的分布相对于目标分布显得更加均衡，从而能够避免样本用户数据分布不均衡对模型训练带来的影响，提升了模型训练效果。

根据本公开实施例的第三方面，提供一种推荐质量确定装置，该装置包括：

获取单元，被配置为执行获取目标用户账户的用户数据，该用户数据包括该目标用户账户在目标应用中的历史行为数据；

确定单元，被配置为执行将该用户数据输入推荐质量确定模型的第一子模型，从目标分布的多个分布区间中确定该用户数据所属的目标分布区间，该目标分布为训练该推荐质量确定模型的多个样本用户数据对应于推荐质量信息的分布；

该获取单元，被配置为执行将该用户数据输入该推荐质量确定模型的目标第二子模型，得到该用户数据的推荐质量信息，该推荐质量确定模型包括多个第二子模型，每个该第二子模型对应于一个分布区间，该目标第二子模型对应于该目标分布区间。

在一些实施例中，该确定单元包括：

第一获取子单元，被配置为执行将该用户数据输入该第一子模型，得到该用户数据与对应该分布区间之间的映射关系；

确定子单元，被配置为执行基于该用户数据与对应该分布区间之间的映射关系，从该多个分布区间中确定该用户数据的目标分布区间。

在一些实施例中，该第一获取子单元，被配置为执行在该分布区间的数量为2个的情况下，将该用户数据输入该第一子模型；基于该第一子模型，将该用户数据分别映射到各个该分布区间的第一分类空间，得到多个第一分类信息，该第一分类空间用于描述属于对应分布区间的用户数据的特征，该第一分类信息为该用户数据属于对应分布区间的概率。

在一些实施例中，该第一获取子单元，被配置为执行在该分布区间的数量为2个以上的情况下，将该用户数据输入该第一子模型；基于该第一子模型，将该用户数据分别映射到各个该分布区间的第二分类空间，得到多个第二分类信息，该第二分类空间用于描述属于对应分布区间以及在该目标分布中基于第一顺序的位置位于对应分布区间之后的分布区间的用户数据的特征，该第二分类信息为该用户数据属于对应分布区间以及在该目标分布中基于第一顺序的位置位于对应分布区间之后的分布区间的概率，该第一顺序为属于各个分布区间的样本用户数据对应的推荐质量信息从小到大的顺序。

在一些实施例中，该获取单元包括：

输入子单元，被配置为执行将该用户数据输入该目标第二子模型；

第二获取子单元，被配置为执行基于该目标第二子模型，将该用户数据分别映射到该目标分布区间中各个子区间的第三分类空间，得到该用户数据的多个第三分类信息，该第三分类空间用于描述属于对应子区间以及在该目标分布区间中基于第二顺序的位置位于对应子区间之后的子区间的用户数据的特征，该第三分类信息为该用户数据属于对应子区间以及在目标分布区间中基于第二顺序的位置位于对应子区间之后的子区间的概率，该第二顺序为各个子区间对应信息范围的推荐质量信息从小到大的顺序，该信息范围为属于对应子区间的用户数据的推荐质量信息的范围；

该第二获取子单元，被配置为执行基于该多个第三分类信息和该各个子区间对应的信息范围，获取该用户数据的推荐质量信息。

在一些实施例中，该第二获取子单元，被配置为执行基于该多个第三分类信息，从该目标分布区间的多个子区间中确定该用户数据所属的目标子区间；基于该目标子区间对应的信息范围的上限信息和下限信息，获取该用户数据的推荐质量信息。

根据本公开实施例的第四方面，提供一种推荐质量确定模型的训练装置，该装置包括：

获取单元，被配置为执行获取样本数据集中的样本用户数据、该样本用户数据的参考分布区间和参考质量信息，该样本用户数据包括样本用户账户在目标应用中的历史行为数据，该参考分布区间为目标分布的多个分布区间中该样本用户数据所属的分布区间，该目标分布为样本数据集中多个样本用户数据基于推荐质量信息的分布，该参考质量信息为该样本用户数据的推荐质量信息；

该获取单元，被配置为执行将该样本用户数据输入推荐质量确定模型的第一子模型，得到该样本用户数据的预测分布区间；

该获取单元，被配置为执行将该样本用户数据输入该推荐质量确定模型的目标第二子模型，得到该样本用户数据的预测质量信息，该推荐质量确定模型包括多个第二子模型，每个该第二子模型对应于一个分布区间类别，该目标第二子模型对应于该参考分布区间；

训练单元，被配置为执行基于该样本用户数据的该预测分布区间和该参考分布区间、该预测质量信息和该参考质量信息，对该推荐质量确定模型进行训练。

在一些实施例中，该获取单元，被配置为执行将该样本用户数据输入该第一子模型，得到该样本用户数据与对应该分布区间之间的映射关系，该映射关系用于表示该样本用户数据的预测分布区间。

在一些实施例中，该获取单元，被配置为执行在该分布区间的数量为2个的情况下，将该样本用户数据输入该第一子模型；基于该第一子模型，将该样本用户数据分别映射到各个该分布区间的第一分类空间，得到多个第一分类信息，该第一分类空间用于描述属于对应分布区间的样本用户数据的特征，该第一分类信息为该样本用户数据属于对应分布区间的概率。

在一些实施例中，该获取单元，被配置为执行在该分布区间的数量为2个以上的情况下，将该样本用户数据输入该第一子模型；基于该第一子模型，将该样本用户数据分别映射到各个该分布区间的第二分类空间，得到多个第二分类信息，该第二分类空间用于描述属于对应分布区间以及在该目标分布中基于第一顺序的位置位于对应分布区间之后的分布区间的样本用户数据的特征，该第二分类信息为该样本用户数据属于对应分布区间以及在该目标分布中基于第一顺序的位置位于对应分布区间之后的分布区间的概率，该第一顺序为属于各个分布区间的样本用户数据对应的推荐质量信息从小到大的顺序。

在一些实施例中，该获取单元，被配置为执行将该样本用户数据输入该目标第二子模型；基于该目标第二子模型，将该样本用户数据分别映射到该参考分布区间中各个子区间的第三分类空间，得到该样本用户数据的多个第三分类信息，该第三分类空间用于描述属于对应子区间以及在该参考分布区间中基于第二顺序的位置位于对应子区间之后的子区间的样本用户数据的特征，该第三分类信息为该样本用户数据属于对应子区间以及在该参考分布区间中基于第二顺序的位置位于对应子区间之后的子区间的概率；其中，每个该子区间对应于一个信息范围，该信息范围为属于对应子区间的样本用户数据的推荐质量信息的范围，该第二顺序为各个子区间对应信息范围的推荐质量信息从小到大的顺序。

在一些实施例中，该训练单元包括：

第一获取子单元，被配置为执行基于该预测分布区间和该参考分布区间，获取第一损失，该第一损失表示该预测分布区间的误差；

第二获取子单元，被配置为执行基于该预测质量信息和该参考质量信息，获取第二损失，该第二损失表示该预测质量信息的误差；

训练子单元，被配置为执行基于该第一损失和该第二损失，对该推荐质量确定模型进行训练。

在一些实施例中，该第一获取子单元，被配置为执行在该分布区间的数量为2个的情况下，基于该参考分布区间、该样本用户数据与2个分布区间中任一分布区间的第一分类信息和焦点损失函数，获取该第一损失。

在一些实施例中，该第一获取子单元，被配置为执行在该分布区间的数量为2个以上的情况下，基于该参考分布区间、该多个第二分类信息、多个该分布区间的顺序和有序回归损失函数，获取该第一损失。

在一些实施例中，该第二获取子单元，被配置为执行基于该参考质量信息、该多个第三分类信息、多个该信息范围的顺序和有序回归损失函数，获取该第二损失。

在一些实施例中，该训练子单元，被配置为执行将该第一损失和该第二损失相加，得到目标损失；基于该目标损失，对该第一子模型和该目标第二子模型进行训练。

在一些实施例中，对于该目标分布中的任一分布区间，属于该分布区间的具有不同推荐质量信息的样本用户数据的数量相差小于阈值。

根据本公开实施例的第五方面，提供一种电子设备，该电子设备包括：

一个或多个处理器；

用于存储该处理器可执行程序代码的存储器；

其中，该处理器被配置为执行该程序代码，以实现上述的推荐质量确定方法或推荐质量确定模型的训练方法。

根据本公开实施例的第六方面，提供一种计算机可读存储介质，该计算机可读存储介质包括：当该计算机可读存储介质中的程序代码由电子设备的处理器执行时，使得电子设备能够执行上述的推荐质量确定方法或推荐质量确定模型的训练方法。

根据本公开实施例的第七方面，提供一种计算机程序产品，包括一条或多条指令，该一条或多条指令由计算机设备的一个或多个处理器执行，使得该计算机设备能够执行上述的推荐质量确定方法或推荐质量确定模型的训练方法。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理，并不构成对本公开的不当限定。

图1是根据一示例性实施例示出的一种实施环境示意图；

图2是根据一示例性实施例示出的一种推荐质量确定模型的结构示意图；

图3是根据一示例性实施例示出的一种推荐质量确定方法的流程图；

图4是根据一示例性实施例示出的一种推荐质量确定模型的训练方法的流程图；

图5是根据一示例性实施例示出的一种推荐质量确定方法的流程图；

图6是根据一示例性实施例示出的一种推荐质量确定模型的训练方法的流程图；

图7是根据一示例性实施例示出的一种推荐质量确定装置的框图；

图8是根据一示例性实施例示出的一种推荐质量确定模型的训练装置的框图；

图9是根据一示例性实施例示出的一种服务器的框图。

具体实施方式

为了使本领域普通人员更好地理解本公开的技术方案，下面将结合附图，对本公开实施例中的技术方案进行清楚、完整地描述。

需要说明的是，本公开的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本公开的实施例能够以除了在这里图示或描述的那些以外的顺序实施。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。

本公开所涉及的数据可以为经用户授权或者经过各方充分授权的数据。

图1是本公开实施例提供的一种实施环境示意图，图1所示的实施环境可以用于推荐质量确定方法或推荐质量确定模型的训练方法，参见图1，该实施环境中包括：终端101和服务器102。

服务器102与终端101可以通过有线或无线通信方式进行直接或间接的连接，本申请实施例对此不作限定。终端101可以为智能手机、智能手表、台式电脑、手提电脑、虚拟现实终端、增强现实终端、无线终端和膝上型便携计算机等设备中的至少一种，终端101具有通信功能，可以接入互联网，终端101可以泛指多个终端中的一个，本实施例仅以终端101来举例说明。本领域技术人员可以知晓，上述终端的数量可以更多或更少。终端101可以运行有各种不同类型的应用程序，如视频应用程序、音乐应用程序等。终端101能够向服务器102提供应用程序中用户账户的相关信息。

服务器102可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式文件系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、内容分发网络（Content Delivery Network，CDN）、以及大数据和人工智能平台等基础云计算服务的云服务器。服务器102用于基于终端101提供的数据，对推荐质量确定模型进行训练，还用于基于训练好的模型，确定终端运行的应用程序的用户账户的推荐质量信息。可选地，上述服务器102的数量可以更多或更少，本申请实施例对此不加以限定。当然，服务器102还可以包括其他功能服务器，以便提供更全面且多样化的服务。

可选地，在训练推荐质量确定模型的过程中，服务器102承担主要计算工作，终端101承担次要计算工作；或者，服务器102承担次要计算工作，终端101承担主要计算工作；或者，服务器102或终端101分别能够单独承担计算工作，本申请实施例对此不作限定。

为了更清楚的对本申请所提供的推荐质量确定方法和推荐质量确定模型的训练方法进行说明，下面结合图2，对本申请提供的方法中涉及的推荐质量确定模型进行说明。该模型用于基于输入的用户数据，确定该用户数据所属的分布区间，并根据该用户数据所属的分布区间，获取该用户数据对应的推荐质量信息。其中，用户数据所属的分布区间为目标分布的多个分布区间中的任一分布区间，目标分布为训练模型的样本数据集中多个用本用户数据基于推荐质量信息的分布，例如，该目标分布为长尾分布。图2是根据一示例性实施例示出的一种推荐质量确定模型的结构示意图，如图2所示，该推荐质量确定模型包括嵌入向量子模型（Embedding Layer）、特征融合子模型（Share Dense Layer）、第一子模型、多个第二子模型和输出层（Output Layer），每个第二子模型对应一个分布区间。其中，嵌入向量子模型用于基于输入的用户数据，获取用户特征向量，特征融合子模型用于基于嵌入向量子模型输出的用户特征向量，获取特征融合向量，该第一子模型用于基于输入的特征融合向量，确定该用户数据所属的分布区间，该用户数据所属的分布区间对应的第二子模型用于基于第一子模型输出的特征融合向量，获取推荐质量信息，输出层用于输出对应第二子模型获取的推荐质量信息。

需要说明的是，第一子模型也称为分布分类子模型（Multi-DistributionClassification Layer），第二子模型也称为子分布模型（Sub-Distribution Tower），该推荐质量确定模型也称为基于分布切割和有序分类算法的多分布多专家网络（Multi-Distribution Multi-Experts Neural Network，MDME）。

基于上述介绍的推荐质量确定模型，下面结合图3，对该推荐质量确定方法进行说明。图3是根据一示例性实施例示出的一种推荐质量确定方法的流程图，如图3所示，该方法由服务器执行，包括以下步骤301至303。

在步骤301中，服务器获取目标用户账户的用户数据，该用户数据包括目标用户账户在目标应用中的历史行为数据。

其中，目标用户账户为目标应用中通过广告推荐引流来的用户账户。广告推荐是指在平台中投放广告，目标应用的服务商为了提升该目标应用的用户数量，可以在不同平台投放用于推广目标应用的广告，平台用户通过查看该广告，可以下载并注册该目标应用，从而可以基于由广告引流来的用户账户，确定广告的投放质量，也即是，获取广告的推荐质量信息。可选地，该推荐质量信息是指用户账户在目标应用中的生命周期价值（LifetimeValue，LTV）。

其中，该目标用户账户的历史行为数据包括目标时间段内目标用户账户在目标应用中的活跃时长、浏览过的网页和点击目标网页的次数等，可选地，该历史行为数据中的每种数据均为向量形式，向量中的每个元素表示一天内用户账户的行为数据，例如，若目标时间段为7天，则7天内样本用户的活跃时长表示为 [34，23，56，12，14，67，87]，该向量中每个元素表示目标用户账户一天内在目标应用中的活跃时长，单位为分钟。可选地，该用户数据还包括目标用户账户的画像数据，该画像数据包括目标用户账户的性别、年龄和兴趣爱好等。

在步骤302中，服务器将用户数据输入推荐质量确定模型的第一子模型，从目标分布的多个分布区间中确定用户数据所属的目标分布区间，该目标分布为训练该推荐质量确定模型的多个样本用户数据对应于推荐质量信息的分布。

其中，该目标分布用于表示具有不同推荐质量信息的样本数据的数量，该目标分布为不均衡分布，也即是，具有不同推荐质量信息的样本用户数据的数量相差较大，例如，该目标分布为长尾分布，则推荐质量信息较小的样本用户数据较多，推荐质量信息较大的样本用户数据较少。应理解，长尾分布仅是目标分布的分布特点的一种示例，该目标分布还可以具有其他的分布特点，本申请实施例对此不作限定。

在本申请实施例中，该多个分布区间基于先验知识对目标分布进行切分得到，由于每个分布区间对应的样本用户数据的推荐质量信息的跨度较小，因此每个分布区间相对于目标分布显得更加均衡，也即是，对于任一分布区间，属于该分布区间的样本用户数据基于推荐质量信息的分布更加均衡。

在一些实施例中，对目标分布进行切分所得到的多个分布区间满足以下任一条件：对于目标分布中的任一分布区间，属于该分布区间的具有不同推荐质量信息的样本用户数据的数量相差小于阈值；或者，对于目标分布中的任一分布区间，属于该分布区间的多个样本用户数据基于推荐质量信息的分布满足均匀分布或正态分布。

通过将目标分布划分为多个分布区间，使服务器能够根据每个样本数据所属的分布区间，对推荐质量确定模型进行训练，同时，通过上述条件，使得每个分布区间的样本用户数据的分布相对于目标分布显得更加均衡，在没有丢失样本数据集原有的分布特征的情况下，避免了样本数据集中多个样本用户数据分布不均衡对模型训练的影响，提升了推荐质量确定模型的准确率，从而提升了基于该模型得到的推荐质量信息的准确率。

在步骤303中，服务器将该用户数据输入该推荐质量确定模型的目标第二子模型，得到该用户数据的推荐质量信息，该推荐质量确定模型包括多个第二子模型，每个第二子模型对应于一个分布区间，该目标第二子模型对应于该目标分布区间。

通过目标第二子模型获取用户数据的推荐质量信息，考虑了该用户数据基于推荐质量信息的分布特征，提升了推荐质量信息的准确率。进一步地，能够根据推荐质量信息取值较高的用户账户具备的特征，在平台中对广告进行定向推荐，以进一步增加目标应用的用户账户数量。

本公开实施例提供的技术方案，将用于训练模型的多个样本用户数据满足的目标分布划分为多个分布区间，由于每个分布区间的样本用户数据基于推荐质量信息的分布更加均衡，因此，首先通过第一子模型，确定用户数据所属的目标分布区间，进一步根据目标分布区间对应的第二子模型，来获取用户数据的推荐质量信息，能够消除样本用户数据分布不均衡对推荐质量确定模型训练的影响，从而提升了基于模型获取到的推荐质量信息的准确率。

基于上述介绍的推荐质量确定模型的结构，下面结合图4，对该推荐质量确定模型的训练方法进行说明。图4是根据一示例性实施例示出的一种推荐质量确定模型的训练方法的流程图，本申请实施例以服务器执行该训练过程为例进行说明，如图4所示，该方法包括以下步骤401至404。

在步骤401中，服务器获取样本数据集中的样本用户数据、该样本用户数据的参考分布区间和参考质量信息，该样本用户数据包括样本用户账户在目标应用中的历史行为数据，该参考分布区间为目标分布的多个分布区间中该样本用户数据所属的分布区间，该目标分布为样本数据集中多个样本用户数据对应于推荐质量信息的分布，该参考质量信息为该样本用户数据的推荐质量信息。

其中，样本用户账户为目标应用中通过广告推荐引流来的用户。

在本申请实施例中，样本数据集中的每个样本用户数据对应于一个参考分布区间和一个参考质量信息，该参考分布区间、参考子区间和参考质量信息为预先标注的。示例性地，可以根据样本用户在目标应用中真实的推荐质量信息，进行标注。例如，以推荐质量信息是LTV为例，若目标分布包含2个分布区间，第一个分布区间对应LTV取值从1到10的样本用户数据，第二个分布区间对应LTV取值从11到20的样本用户数据，若某个样本用户的LTV为5，则对应样本用户数据的参考分布区间为第一个分布区间，参考质量信息为5。

在步骤402中，服务器将该样本用户数据输入推荐质量确定模型的第一子模型，得到该样本用户数据的预测分布区间。

在步骤403中，服务器将该样本用户数据输入该推荐质量确定模型的目标第二子模型，得到该样本用户数据的预测质量信息，该推荐质量确定模型包括多个第二子模型，每个第二子模型对应于一个分布区间，该目标第二子模型对应于参考分布区间。

在步骤404中，服务器基于该样本用户数据的预测分布区间和参考分布区间、预测质量信息和参考质量信息，对推荐质量确定模型进行训练。

通过对推荐质量确定模型进行训练，使得训练得到的推荐质量确定模型能够准确的确定用户数据所属的分布区间，并且能够基于用户数据所属的分布区间对应的第二子模型，准确的获取该用户数据对应的推荐质量信息，达到了提升推荐质量信息的准确率的目的。

本公开实施例提供的技术方案，将样本数据集中多个样本用户数据满足的目标分布划分为多个分布区间，由于每个分布区间的样本用户数据基于推荐质量信息的分布更加均衡，因此，服务器基于样本用户数据所属的参考分布区间和预测分布区间、参考质量信息和预测质量信息，对推荐质量确定模型进行训练，能够避免样本用数据分布不均衡对模型训练的影响，同时，训练得到的推荐质量确定模型能够准确的确定用户数据所属的分布区间，从而能够根据用户数据所属的分布区间，确定该用户数据对应的推荐质量信息，达到了提升推荐质量信息的准确率的目的。

上述图3对应的实施例，是对本申请提供的推荐质量确定方法的简要介绍，下面结合图5，对该方法进行详细说明。图5是根据以示例性实施例示出的一种推荐质量确定方法的流程图，如图5所示，该方法由服务器执行，包括以下步骤501至504。

在步骤501中，服务器获取目标用户账户的用户数据，该用户数据包括目标用户账户在目标应用中的历史行为数据。

在一些实施例中，服务器关联有数据库，该数据库用于存储目标应用多个用户账户的用户数据，服务器响应于接收到终端对该目标用户账户的推荐质量确定请求，从数据库中获取该目标用户账户的用户数据。

在步骤502中，服务器将用户数据输入该第一子模型，得到该用户数据与对应分布区间之间的映射关系。

在一些实施例中，服务器首先通过嵌入向量子模型和特征融合子模型，将该用户数据转化为特征融合向量，然后通过第一子模型对该特征融合向量进行处理，得到用户数据与对应分布区间之间的映射关系，包括以下3个过程。

过程1、获取样本特征向量。

在一些实施例中，服务器基于嵌入向量子模型，对用户数据中多个类别的特征数据进行向量化表示，得到用户特征向量（Dense Embedding），该用户特征向量包括多个特征子向量，每个特征子向量对应于一个类别的特征数据。

过程2、获取样本特征融合向量。

在一些实施例中，服务器基于特征融合子模型，将用户特征向量中的多个特征子向量，进行元素级别（bit-wise）的特征交叉，得到特征融合向量。可选地，该特征融合子模型为多层感知机（Multi-Layer Perception，MLP），该MLP包括2层网络，每层网络连接一个非线性激活函数（Rectified linear Units，Relu），该Relu函数如公式（1）所示。

（1）

其中，t表示网络层输出的数据。

过程3、获取映射关系。

在一些实施例中，服务器能够根据分布区间的数量，基于两种方法获取该用户数据与对应分布区间之间的映射关系。通过获取映射关系，得到了用户数据关于对应分布区间的分类信息，从而能够准确的确定用户数据所属的目标分布区间。

一种实现方式中，在分布区间的数量为2个的情况下，服务器将用户数据对应的特征融合向量输入第一子模型，基于该第一子模型，将用户数据分别映射到各个分布区间的第一分类空间，得到多个第一分类信息，该第一分类空间用于描述属于对应分布区间的用户数据的特征，该第一分类信息为该用户数据属于对应分布区间的概率。

在分布区间的数量为2个的情况下，通过获取多个第一分类信息，得到了用户数据属于每个分布区间的概率，从而能够在后续的步骤中，基于该第一分类信息，基于该第一分类信息，通过用户数据所属的目标分布区间，获取用户数据的推荐质量信息，提升了推荐质量信息的准确率。

另一种实现方式中，在分布区间的数量为2个以上的情况下，服务器将用户数据对应的特征融合向量输入该第一子模型，基于该第一子模型，将用户数据分别映射到各个分布区间的第二分类空间，得到多个第二分类信息，该第二分类空间用于描述属于对应分布区间以及在目标分布中基于第一顺序的位置位于对应分布区间之后的分布区间的用户数据的特征，该第二分类信息为用户数据属于对应分布区间以及在该目标分布中基于第一顺序的位置位于对应分布区间之后的分布区间的概率，该第一顺序为属于各个分布区间的样本用户数据对应的推荐质量信息从小到大的顺序。

在分布区间的数量为2个以上的情况下，通过获取该多个第二分类信息，得到了模型预测的该用户数据所属的分布区间与各个分布区间之间的顺序信息，在后续步骤中，能够在考虑到该顺序信息的情况下，更加准确的确定目标用户所属的目标分布区间，进一步通过目标分布区间，获取用户数据的推荐质量信息，能够进一步提升推荐质量信息的准确率。

需要说明的是，该第一分类信息和第二分类信息为经过归一化后的概率。示例性地，分别对上述2种情况下的归一化过程进行说明。

在分布区间的数量为2个的情况下，该第一子模型最后一层网络的输出数据为用户数据属于每个分布区间的概率，最后一层网络连接有一个softmax函数，通过该softmax函数，分别对每个分布区间对应的概率进行归一化处理，得到多个第一分类信息。

在分布区间的数量为2个以上的情况下，该第一子模型最后一层网络的输出数据的数量为分布区间数量的2倍，每个分布区间对应于2个输出数据，每个分布区间对应一个softmax函数，该softmax函数用于对该分布区间的输出数据进行归一化处理。对于任一分布区间，第一个输出数据为用户数据属于该分布区间之前的分布区间的概率，第二个输出数据为样本用户数据属于该分布区间以及属于该分布区间之后的分布区间的概率，如公式（2）所示，将该分布区间的2个输出数据输入softmax函数进行归一化处理，得到用户数据与该分布区间之间的第二分类信息。

（2）

其中，x表示用户数据，

表示用户数据与任一分布区间之间的第二分类信息，也即是，模型预测的该用户数据所属的分布区间与任一分布区间之间的顺序信息，k表示任一分布区间的第一序号减1的取值，该第一序号用于表示该分布区间在目标分布中的位置，第一序号的取值越大，表示该分布区间的位置越靠后，

表示预测的该用户数据所属分布区间的第一序号，X表示训练该推荐质量确定模型的样本数据集，θ表示第一子模型的网络参数，

表示第一子模型对应于该分布区间的第二个输出数据，

表示第一子模型对应于该分布区间的第一个输出数据。

在步骤503中，服务器基于用户数据与对应分布区间之间的映射关系，从目标分布的多个分布区间中确定该用户数据的目标分布区间。

在一些实施例中，服务器基于多个第一分类信息或多个第二分类信息，确定用户数据的目标分布区间，下面分别对上述2种情况进行说明。

在分布区间的数量为2个的情况下，服务器将第一分类信息最大的分布区间，确定为用户数据所属的目标分布区间。

在分布区间的数量为2个以上的情况下，服务器将每个分布区间对应的第二分类信息与预设阈值进行比较，对第二分类信息大于或等于预设阈值的分布区间的数量进行累计，将与累计得到的数量相等的第一序号对应的分布区间，确定为该用户数据所属的目标分布区间。

在步骤504中，服务器将该用户数据输入推荐质量确定模型的目标第二子模型，得到用户数据的推荐质量信息，该推荐质量确定模型包括多个第二子模型，每个第二子模型对应于一个分布区间，该目标第二子模型对应于目标分布区间。

在一些实施例中，服务器将该用户数据对应的融合特征向量输入该目标第二子模型，基于该目标第二子模型，将该用户数据分别映射到该目标分布区间中各个子区间的第三分类空间，得到该用户数据的多个第三分类信息，该第三分类空间用于描述属于对应子区间以及在该目标分布区间中基于第二顺序的位置位于对应子区间之后的子区间的用户数据的特征，该第三分类信息为该用户数据属于对应子区间以及在目标分布区间中基于第二顺序的位置位于对应子区间之后的子区间的概率，该第二顺序为各个子区间对应信息范围的推荐质量信息从小到大的顺序，该信息范围为属于对应子区间的用户数据的推荐质量信息的范围。服务器基于该多个第三分类信息和该各个子区间对应的信息范围，获取该用户数据的推荐质量信息。可选地，该第二子模型为MLP，MLP中每一层网络均会连接一个Relu函数。

通过获取该多个第三分类信息，得到了用户数据与目标分布区间中每个子区间之间的顺序信息，进一步基于第三分类信息，获取用户数据的推荐质量信息，能够提升推荐质量信息的准确率。

需要说明的是，目标分布中的每个分布区间均包括多个子区间，对于任一分布区间，该分布区间中每个子区间对应于一个第二序号，该第二序号用于表示对应子区间在该分布区间中的位置。对于任一子区间，该子区间的第二序号越大，表示该子区间在对应分布区间中的位置越靠后。相应地，基于各个子区间的第二序号，服务器能够基于与上述公式（2）同理的方法获取该多个第三分类信息，在此不再赘述。

需要说明的是，虽然每个分布区间中样本用户数据的分布相对于目标分布显得更为均衡，但各个分布区间的样本用户数据依然存在分布不均衡的问题，对每个分布区间进行进一步切分，能够缓解每个分布区间中样本用户数据分布不均衡的问题，进一步避免样本用户数据分布不均衡对推荐质量确定模型的训练带来的影响，提升了模型训练效果，从而提升了基于该模型得到的推荐质量信息的准确率。

示例性地，对基于多个第三分类信息和各个子区间对应的信息范围，获取推荐质量信息的过程进行说明。服务器基于该多个第三分类信息，从该目标分布区间的多个子区间中确定该用户数据所属的目标子区间，基于该目标子区间对应的信息范围的上限信息和下限信息，获取该用户数据的推荐质量信息。可选地，服务器将目标子区间的上限信息和下限信息的均值，确定为该用户数据的推荐质量信息。

由于每个子区间对应一个信息范围，使推荐质量确定模型在获取用户数据的推荐质量信息时，只需要确定该用户数据所属的子区间，就能够根据对应的信息范围获取用户数据的推荐质量信息，从而将复杂的回归问题转化为较为简单的分类问题，减小了服务器的计算压力。

需要说明的是，确定目标子区间的过程与基于多个第二分类信息，确定目标分布区间的过程同理，在此不再赘述。

在一些实施例中，每个分布区间中各个子区间的信息范围跨度不同，使得对于任一分布区间中，属于各个子区间的样本用户数据的数量相近，能够更好的解决每个分布区间内的不均衡问题，从而进一步提升模型训练的效果，达到提升推荐质量信息的准确率的目的。可选地，各个子区间的信息范围跨度能够基于具体的应用场景进行设定。可选地，设定每个分布区间中的各个子区间时，通过限定最大范围跨度，使每个分布区间均能包括一定数量的子区间，以保证每个分布区间能够被充分切分，从而提升模型训练效果。

在本申请实施例中，每个分布区间中包括多个跨度不同的子区间的方法，也称为“变宽分桶多分类”算法。

本公开实施例提供的技术方案，将用于训练模型的多个样本用户数据满足的目标分布划分为多个分布区间，由于每个分布区间的样本用户数据基于推荐质量信息的分布更加均衡，因此，首先通过第一子模型，确定用户数据所属的目标分布区间，进一步根据目标分布区间对应的第二子模型，来获取用户数据的推荐质量信息，能够消除样本用户数据分布不均衡对推荐质量确定模型训练的影响，从而提升了基于模型获取到的推荐质量信息的准确率。

上述图4对应的实施例，为本申请提供的推荐质量确定模型的训练方法的简要介绍。需要说明的是，在推荐质量确定模型的训练过程中，服务器将样本数据集中的多个样本用户数据分批输入推荐质量确定模型中，并通过多次迭代的方式来更新该推荐质量确定模型的网络参数，直到满足训练条件。示例性地，在任一次迭代过程中，服务器将一批样本用户数据输入推荐质量确定模型，基于输入的一批样本用户数据对应的参考分布区间和对应的参考质量信息，得到损失值，基于该损失值，更新推荐质量确定模型的网络参数，基于更新后的推荐质量确定模型，进行下一次迭代训练，直到满足训练条件。

下面结合图6，对该推荐质量确定模型的训练方法进行详细介绍。本申请实施例以服务器执行第一次迭代训练为例，对该方法进行说明。图6是根据一示例性实施例示出的一种推荐质量确定模型的训练方法的流程图，如图6所示，该方法包括以下步骤601至606。

在步骤601中，服务器获取样本数据集中的样本用户数据、该样本用户数据的参考分布区间和参考质量信息，该样本用户数据包括样本用户账户在目标应用中的历史行为数据，该参考分布区间为目标分布的多个分布区间中样本用户数据所属的分布区间，该目标分布为样本数据集中多个样本用户数据基于推荐质量信息的分布，该参考质量信息为样本用户数据的推荐质量信息。

在一些实施例中，服务器关联的数据库还用于存储该推荐质量确定模型的训练数据，该训练数据包括样本数据集、样本数据集中每个样本用户数据的参考分布区间和参考质量信息。服务器首先从数据库中随机获取一批样本用户数据，获取一批样本用户数据对应的参考分布区间和参考质量信息，然后，服务器对该推荐质量确定模型进行初始化，将该推荐质量确定模型的网络参数配置为初始化参数。

在步骤602中，服务器将该样本用户数据输入推荐质量确定模型的第一子模型，得到该样本用户数据的预测分布区间。

在一些实施例中，服务器获取上述一批样本用户数据中每个样本用户数据的多个第一分类信息，本申请实施例以其中任一样本用户数据为例进行说明。服务器首先获取该样本用户数据的样本特征融合向量，然后基于第一子模型和该样本融合向量，获取该样本用户数据与对应分布区间之间的映射关系，该映射关系用于表示该样本用户数据的预测分布区间。

在一些实施例中，服务器基于以下两种方法，获取该样本用户数据与对应分布区间之间的映射关系。通过获取样本用户数据与对应分布区间之间的映射关系，从而能够基于获取到的映射关系和样本用户数据的参考分布区间，对该推荐质量确定模型进行训练，使训练得到的模型能够更加准确的确定用户数据所属的分布区间。

一种实现方式中，在分布区间的数量为2个的情况下，服务器将该样本用户数据输入第一子模型，基于该第一子模型，将该样本用户数据分别映射到各个分布区间的第一分类空间，得到多个第一分类信息，第一分类空间用于描述属于对应分布区间的样本用户数据的特征，该第一分类信息为该样本用户数据属于对应分布区间的概率。

在分布区间的数量为2个的情况下，通过获取多个第一分类信息，得到了样本用户数据属于每个分布区间的概率，从而能够在后续的步骤中，通过焦点损失函数获取预测分布区间的误差，并基于得到的误差对推荐质量确定模型进行训练，从而提升模型对用户数据的分布区间分类的准确性。

另一种实现方式中，在分布区间的数量为2个以上的情况下，服务器将该样本用户数据输入第一子模型，基于该第一子模型，将该样本用户数据分别映射到各个该分布区间的第二分类空间，得到多个第二分类信息，该第二分类空间用于描述属于对应分布区间以及在该目标分布中基于第一顺序的位置位于对应分布区间之后的分布区间的样本用户数据的特征，该第二分类信息为该样本用户数据属于对应分布区间以及在该目标分布中基于第一顺序的位置位于对应分布区间之后的分布区间的概率，该第一顺序为属于各个分布区间的样本用户数据对应的推荐质量信息从小到大的顺序。

在分布区间的数量为2个以上的情况下，通过获取该多个第二分类信息，得到了模型预估的该样本用户数据所属的分布区间与任一分布区间之间的顺序关系，从而能够在后续步骤中，通过有序回归损失函数获取预测分布区间的误差，并基于获取到的误差对推荐质量确定模型进行训练，这种获取多个第一分类信息的方式对多个分布区间之间的顺序关系进行了建模，从而提升了推荐质量确定模型对用户数据的分布区间分类的准确性。

需要说明的是，服务器获取多个第一分类信息或多个第二分类信息的过程，与图5步骤502同理，在此不再赘述。

在步骤603中，服务器将样本用户数据输入推荐质量确定模型的目标第二子模型，得到该样本用户数据的预测质量信息，该推荐质量确定模型包括多个第二子模型，每个第二子模型对应于一个分布区间，该目标第二子模型对应于参考分布区间。

在一些实施例中，服务器获取上述一批样本用户数据中每个样本用户数据的多个第三分类信息，本申请实施例以其中任一样本用户数据为例进行说明。服务器将该样本用户数据输入目标第二子模型，基于该目标第二子模型，将样本用户数据分别映射到参考分布区间中各个子区间的第三分类空间，得到样本用户数据的多个第三分类信息，该第三分类空间用于描述属于对应子区间以及在参考分布区间中基于第二顺序的位置位于对应子区间之后的子区间的样本用户数据的特征，该第三分类信息为样本用户数据属于对应子区间以及在参考分布区间中基于第二顺序的位置位于对应子区间之后的子区间的概率。其中，每个子区间对应于一个信息范围，信息范围为属于对应子区间的样本用户数据的推荐质量信息的范围，该第二顺序为各个子区间对应信息范围的推荐质量信息从小到大的顺序。

需要说明的是，获取样本用户数据的多个第三分类信息的过程与上述图5步骤504同理，在此不再赘述。

由于参考分布区间包括多个子区间，从而能够对参考分布区间进行进一步切分，解决了参考分布区间内的不均衡问题。通过获取该多个第三分类信息，得到了样本用户数据与参考分布区间中每个子区间之间的顺序信息，使后续通过该第三分类信息对推荐质量确定模型进行训练的过程中，考虑了样本用户数据相对于参考分布区间中每个子区间的顺序，从而使训练得到的推荐质量确定模型能够更加准确的确定用户数据所属的子区间。

在步骤604中，服务器基于预测分布区间和参考分布区间，获取第一损失，该第一损失表示该预测分布区间的误差。

其中，预测样本用户数据所属的分布区间也称为对该样本用户数据进行分布区间分类。

在一些实施例中，服务器能够根据分布区间的数量，基于上述步骤602中在2种情况下获取的多个第一分类信息或多个第二分类信息，通过焦点损失函数（Focal Loss）或有序回归损失函数（Ordinal Regression Loss）获取第一损失。

在一种实现方式中，在分布区间的数量为2个的情况下，服务器基于一批样本用户数据中每个样本用户数据的参考分布区间、每个样本用户数据与2个分布区间中任一分布区间的第一分类信息和焦点损失函数，获取该第一损失。

示例性地，服务器首先基于焦点损失函数，获取每个样本用户数据的焦点损失，然后将多个样本用户数据的焦点损失的均值，作为该第一损失。其中，焦点损失函数如公式（3）所示。

（3）

其中，FL为任一样本用户数据的焦点损失，y=1表示该样本用户数据的参考分布区间为目标分布区间，也即是，该样本用户数据为正样本，y=0表示该样本用户数据的参考分布区间不是目标分布区间，也即是，该样本用户数据为负样本，α为平衡参数，α的取值可以根据具体的应用场景进行设定，p表示样本用户数据与任一分布区间的第一分类信息，γ为权重参数。可选地，γ取值为2。

需要说明的是，对于一批样本用户数据，各个第二子模型仅通过属于对应分布区间的样本用户数据的焦点损失进行训练，第一子模型、特征融合子模型和嵌入向量子模型通过所有样本用户数据的焦点损失进行训练。因此，服务器根据每个样本用户数据的参考分布区间，分别获取不同分布区间对应的焦点损失的均值，以得到用于训练各个第二子模型的第一损失，并获取所有样本用户数据的焦点损失的均值，以得到用于训练第一子模型、特征融合子模型和嵌入向量子模型的第一损失。

该焦点损失函数中的权重参数，能够使进行分布区间分类难度较高的样本用户数据（hard sample）的第一损失变大，使进行分布区间分类难度较低的样本用户数据（easysample）的第一损失变小，从而增加hard sample在训练过程中的权重，减小easy sample在训练过程中的权重。例如，若样本用户数据为正样本，p的取值越大，表示该样本用户数据进行分布区间分类的难度较低，则通过公式（3）中第一个公式得到的第一损失的取值越小；若样本用户数据为负样本，p的取值越大，表示该样本用户数据进行分布区间分类的难度较高，则通过公式（3）中第二个公式得到的第一损失的取值越大。

通过该焦点损失函数获取第一损失，使推荐质量确定模型在训练过程中能够更专注于分布区间分类困难的样本用户数据，从而使训练得到的推荐质量确定模型确定的用户数据所属的分布区间更加准确。

另一种实现方式中，在该分布区间的数量为2个以上的情况下，服务器基于参考分布区间、多个第二分类信息、多个分布区间的顺序和有序回归损失函数，获取该第一损失。

示例性地，服务器首先基于有序回归损失函数，获取每个样本用户数据的有序回归损失值，然后将多个样本用户数据的有序回归损失值的均值，作为该第一损失。其中，有序回归损失函数如公式（4）所示。

（4）

其中，

表示任一样本用户数据的有序回归损失的相反数，K表示分布区间的数量，

为参考分布区间的第一序号，

表示用户数据与任一分布区间之间的第二分类信息，也即是，模型预测的该用户数据所属的分布区间与任一分布区间之间的顺序信息，k表示任一分布区间的第一序号减1的取值。

需要说明的是，如公式（5）所示，服务器能够基于与上述通过焦点损失获取第一损失同理的方法，通过一批样本用户数据中每个样本用户数据的有序回归损失和参考分布区间，分别获取用于训练各个第二子模型的第一损失和用于训练第一子模型、特征融合子模型和嵌入向量子模型的第一损失。

（5）

其中，i表示样本用户数据的序号，

表示任一子模型的第一损失，

表示任一子模型的网络参数，N表示用于获取第一损失的样本用户数据的数量，

表示任一样本用户数据的有序回归损失的相反数。

通过该有序回归损失函数获取第一损失，使推荐质量确定模型在训练过程中，能够考虑到样本用户数据所属的分布区间在多个分布区间中的顺序，从而使训练得到的推荐质量确定模型确定的用户数据所属的分布区间更加准确。

需要说明的是，该步骤604中获取第一损失的过程可以在获取到多个第一分类信息或多个第二分类信息以及参考分布区间后的任一时机进行，只需在步骤606之前完成即可，而不限于当前的时序。

在步骤605中，服务器基于预测质量信息和参考质量信息，获取第二损失，该第二损失表示预测质量信息的误差。

在一些实施例中，服务器基于参考质量信息、多个第三分类信息、目标分布区间中多个子区间的顺序和有序回归损失函数，基于与上述步骤604同理的方法，分别获取用于训练各个第二子模型的第二损失和用于训练第一子模型、特征融合子模型和嵌入向量子模型的第二损失。

通过有序回归损失函数获取第二损失，使推荐质量确定模型在训练过程中，考虑到了样本用户数据所属的子区间在参考分布区间中的顺序，从而使训练得到的推荐质量确定模型确定的用户数据在对应分布区间所属的子区间更加准确，进而提升得到的推荐质量信息的准确率。同时，由于训练模型的过程中考虑到了样本用户数据的顺序，因此对于多个用户数据，基于该推荐质量确定模型获取的多个对应的推荐质量信息的顺序准确性也得到了保证。

需要说明的是，该步骤605中获取第二损失的过程可以在获取到多个第三分类信息和参考质量信息后的任一时机进行，只需在步骤606之前完成即可，而不限于当前时序。

需要说明的是，上述步骤604至605获取第一损失和第二损失的过程，也称为前向计算。通过获取第一损失和第二损失，得到了推荐质量确定模型预测的样本用户数据预测的分布区间的误差与预测的推荐质量信息的误差，从而能够根据上述两个误差对推荐质量确定模型进行训练，使训练得到的推荐质量确定模型获取的用户所属的分布区间和推荐质量信息更加准确。

在步骤606中，服务器基于该第一损失和该第二损失，对该推荐质量确定模型进行训练。

在一些实施例中，服务器分别将第一损失和第二损失对应相加，得到多个目标损失，基于对应的目标损失，对各个第二子模型、第一子模型、特征融合子模型和嵌入向量子模型进行训练。

示例性地，对训练任一第二子模型的过程进行说明。服务器将该第二子模型对应的目标损失在该第二子模型的多个网络层中逐层进行反向传播，每层网络能够通过随机梯度下降的方法，求解损失函数的梯度，并根据求解的梯度，来更新该第二子模型的网络参数。

通过使各个第二子模型仅基于属于对应分布区间的样本用户数据进行训练，使用于训练每个第二子模型的多个样本用户数据的分布更加均衡，消除了样本数据集的多个样本用户数据分布不均衡对模型训练的影响，从而提升了模型训练的准确率。同时，一批样本用户数据能够训练整体的推荐质量确定模型，这种端到端的训练方法也极大的提升了模型的训练效率。

经过实验验证，基于本申请提供的方法得到的推荐质量确定模型的准确率很高。基于该推荐质量确定模型，分别对多个样本用户数据进行处理，得到的多个预测质量信息与该多个样本用户数据的参考质量信息之间的平均绝对误差（MAE）、平均百分比误差（MAPE）等其他误差评估指标均非常低。同时，该多个样本用户数据的预测质量信息的顺序，与该多个样本用户数据的参考质量信息的顺序也十分接近。由此可见，本申请提供的方法能够有效的提升推荐质量确定模型的准确率。

本公开实施例提供的技术方案，将样本数据集中多个样本用户数据满足的目标分布划分为多个分布区间，由于每个分布区间的样本用户数据基于推荐质量信息的分布更加均衡，因此，服务器基于样本用户数据所属的参考分布区间和预测分布区间、参考质量信息和预测质量信息，对推荐质量确定模型进行训练，能够避免样本用数据分布不均衡对模型训练的影响，同时，训练得到的推荐质量确定模型能够准确的确定用户数据所属的分布区间，从而能够根据用户数据所属的分布区间，确定该用户数据对应的推荐质量信息，达到了提升推荐质量信息的准确率的目的。

图7是根据一示例性实施例示出的一种推荐质量确定装置的框图。参照图7，该装置包括获取单元701和确定单元702：

获取单元701，被配置为执行获取目标用户账户的用户数据，该用户数据包括该目标用户账户在目标应用中的历史行为数据；

确定单元702，被配置为执行将该用户数据输入推荐质量确定模型的第一子模型，从目标分布的多个分布区间中确定该用户数据所属的目标分布区间，该目标分布为训练该推荐质量确定模型的多个样本用户数据对应于推荐质量信息的分布；

该获取单元701，被配置为执行将该用户数据输入该推荐质量确定模型的目标第二子模型，得到该用户数据的推荐质量信息，该推荐质量确定模型包括多个第二子模型，每个该第二子模型对应于一个分布区间，该目标第二子模型对应于该目标分布区间。

在一些实施例中，该确定单元702包括：

第一获取子单元，被配置为执行将该用户数据输入该第一子模型，得到该用户数据与对应该分布区间之间的映射关系；

确定子单元，被配置为执行基于该用户数据与对应该分布区间之间的映射关系，从该多个分布区间中确定该用户数据的目标分布区间。

在一些实施例中，该第一获取子单元，被配置为执行在该分布区间的数量为2个的情况下，将该用户数据输入该第一子模型；基于该第一子模型，将该用户数据分别映射到各个该分布区间的第一分类空间，得到多个第一分类信息，该第一分类空间用于描述属于对应分布区间的用户数据的特征，该第一分类信息为该用户数据属于对应分布区间的概率。

在一些实施例中，该第一获取子单元，被配置为执行在该分布区间的数量为2个以上的情况下，将该用户数据输入该第一子模型；基于该第一子模型，将该用户数据分别映射到各个该分布区间的第二分类空间，得到多个第二分类信息，该第二分类空间用于描述属于对应分布区间以及在该目标分布中基于第一顺序的位置位于对应分布区间之后的分布区间的用户数据的特征，该第二分类信息为该用户数据属于对应分布区间以及在该目标分布中基于第一顺序的位置位于对应分布区间之后的分布区间的概率，该第一顺序为属于各个分布区间的样本用户数据对应的推荐质量信息从小到大的顺序。

在一些实施例中，该获取单元701包括：

输入子单元，被配置为执行将该用户数据输入该目标第二子模型；

第二获取子单元，被配置为执行基于该目标第二子模型，将该用户数据分别映射到该目标分布区间中各个子区间的第三分类空间，得到该用户数据的多个第三分类信息，该第三分类空间用于描述属于对应子区间以及在该目标分布区间中基于第二顺序的位置位于对应子区间之后的子区间的用户数据的特征，该第三分类信息为该用户数据属于对应子区间以及在目标分布区间中基于第二顺序的位置位于对应子区间之后的子区间的概率，该第二顺序为各个子区间对应信息范围的推荐质量信息从小到大的顺序，该信息范围为属于对应子区间的用户数据的推荐质量信息的范围；

该第二获取子单元，被配置为执行基于该多个第三分类信息和该各个子区间对应的信息范围，获取该用户数据的推荐质量信息。

在一些实施例中，该第二获取子单元，被配置为执行基于该多个第三分类信息，从该目标分布区间的多个子区间中确定该用户数据所属的目标子区间；基于该目标子区间对应的信息范围的上限信息和下限信息，获取该用户数据的推荐质量信息。

需要说明的是：上述实施例提供的推荐质量确定装置在确定推荐质量信息时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将设备的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的推荐质量确定装置与推荐质量确定方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。

图8是根据一示例性实施例示出的一种推荐质量确定模型的训练装置的框图。参照图8，该装置包括获取单元801和训练单元802：

获取单元801，被配置为执行获取样本数据集中的样本用户数据、该样本用户数据的参考分布区间和参考质量信息，该样本用户数据包括样本用户账户在目标应用中的历史行为数据，该参考分布区间为目标分布的多个分布区间中该样本用户数据所属的分布区间，该目标分布为样本数据集中多个样本用户数据基于推荐质量信息的分布，该参考质量信息为该样本用户数据的推荐质量信息；

该获取单元801，被配置为执行将该样本用户数据输入推荐质量确定模型的第一子模型，得到该样本用户数据的预测分布区间；

该获取单元801，被配置为执行将该样本用户数据输入该推荐质量确定模型的目标第二子模型，得到该样本用户数据的预测质量信息，该推荐质量确定模型包括多个第二子模型，每个该第二子模型对应于一个分布区间类别，该目标第二子模型对应于该参考分布区间；

训练单元802，被配置为执行基于该样本用户数据的该预测分布区间和该参考分布区间、该预测质量信息和该参考质量信息，对该推荐质量确定模型进行训练。

在一些实施例中，该获取单元801，被配置为执行将该样本用户数据输入该第一子模型，得到该样本用户数据与对应该分布区间之间的映射关系，该映射关系用于表示该样本用户数据的预测分布区间。

在一些实施例中，该获取单元801，被配置为执行在该分布区间的数量为2个的情况下，将该样本用户数据输入该第一子模型；基于该第一子模型，将该样本用户数据分别映射到各个该分布区间的第一分类空间，得到多个第一分类信息，该第一分类空间用于描述属于对应分布区间的样本用户数据的特征，该第一分类信息为该样本用户数据属于对应分布区间的概率。

在一些实施例中，该获取单元801，被配置为执行在该分布区间的数量为2个以上的情况下，将该样本用户数据输入该第一子模型；基于该第一子模型，将该样本用户数据分别映射到各个该分布区间的第二分类空间，得到多个第二分类信息，该第二分类空间用于描述属于对应分布区间以及在该目标分布中基于第一顺序的位置位于对应分布区间之后的分布区间的样本用户数据的特征，该第二分类信息为该样本用户数据属于对应分布区间以及在该目标分布中基于第一顺序的位置位于对应分布区间之后的分布区间的概率，该第一顺序为属于各个分布区间的样本用户数据对应的推荐质量信息从小到大的顺序。

在一些实施例中，该获取单元801，被配置为执行将该样本用户数据输入该目标第二子模型；基于该目标第二子模型，将该样本用户数据分别映射到该参考分布区间中各个子区间的第三分类空间，得到该样本用户数据的多个第三分类信息，该第三分类空间用于描述属于对应子区间以及在该参考分布区间中基于第二顺序的位置位于对应子区间之后的子区间的样本用户数据的特征，该第三分类信息为该样本用户数据属于对应子区间以及在该参考分布区间中基于第二顺序的位置位于对应子区间之后的子区间的概率；其中，每个该子区间对应于一个信息范围，该信息范围为属于对应子区间的样本用户数据的推荐质量信息的范围，该第二顺序为各个子区间对应信息范围的推荐质量信息从小到大的顺序。

在一些实施例中，该训练单元802包括：

第一获取子单元，被配置为执行基于该预测分布区间和该参考分布区间，获取第一损失，该第一损失表示该预测分布区间的误差；

第二获取子单元，被配置为执行基于该预测质量信息和该参考质量信息，获取第二损失，该第二损失表示该预测质量信息的误差；

训练子单元，被配置为执行基于该第一损失和该第二损失，对该推荐质量确定模型进行训练。

在一些实施例中，该第一获取子单元，被配置为执行在该分布区间的数量为2个的情况下，基于该参考分布区间、该样本用户数据与2个分布区间中任一分布区间的第一分类信息和焦点损失函数，获取该第一损失。

在一些实施例中，该第一获取子单元，被配置为执行在该分布区间的数量为2个以上的情况下，基于该参考分布区间、该多个第二分类信息、多个该分布区间的顺序和有序回归损失函数，获取该第一损失。

在一些实施例中，该第二获取子单元，被配置为执行基于该参考质量信息、该多个第三分类信息、多个该信息范围的顺序和有序回归损失函数，获取该第二损失。

在一些实施例中，该训练子单元，被配置为执行将该第一损失和该第二损失相加，得到目标损失；基于该目标损失，对该第一子模型和该目标第二子模型进行训练。

在一些实施例中，对于该目标分布中的任一分布区间，属于该分布区间的具有不同推荐质量信息的样本用户数据的数量相差小于阈值。

需要说明的是：上述实施例提供的推荐质量确定模型的训练装置在训练推荐质量确定模型时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将设备的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的推荐质量确定模型的训练装置与推荐质量确定模型的训练方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。

本申请实施例提供了一种用于执行上述推荐质量确定模型的训练方法或推荐质量确定方法的电子设备，在一些实施例中，该电子设备被配置为服务器。图9是根据一示例性实施例示出的一种服务器的框图，该服务器900可因配置或性能不同而产生比较大的差异，可以包括一个或多个处理器（Central Processing Units，CPU）901和一个或多个的存储器902，其中，该一个或多个存储器902中存储有至少一条程序代码，该至少一条程序代码由该一个或多个处理器901加载并执行以实现上述各个方法实施例提供的推荐质量确定模型的训练方法中服务器执行的过程。当然，该服务器900还可以具有有线或无线网络接口、键盘以及输入输出接口等部件，以便进行输入输出，该服务器900还可以包括其他用于实现设备功能的部件，在此不做赘述。

在一些实施例中，该电子设备被配置为终端，该终端可以是：智能手机、平板电脑、MP3播放器（Moving Picture Experts Group Audio Layer III，动态影像专家压缩标准音频层面3）、MP4（Moving Picture Experts Group Audio Layer IV，动态影像专家压缩标准音频层面4）播放器、笔记本电脑或台式电脑。终端还可能被称为用户设备、便携式终端、膝上型终端、台式终端等其他名称。

在示例性实施例中，还提供了一种包括程序代码的计算机可读存储介质，例如包括程序代码的存储器，上述程序代码可由电子设备的处理器执行以完成上述推荐质量确定模型的训练方法或推荐质量确定方法。可选地，计算机可读存储介质可以是只读内存（Read-Only Memory，ROM）、随机存取存储器（Random Access Memory，RAM）、只读光盘（Compact-Disc Read-Only Memory，CD-ROM）、磁带、软盘和光数据存储设备等。

在示例性实施例中，还提供了一种计算机程序产品，包括一条或多条指令，该一条或多条指令由计算机设备的一个或多个处理器执行，使得该计算机设备能够执行上述的推荐质量确定方法或推荐质量确定模型的训练方法。

在一些实施例中，本申请实施例所涉及的计算机程序可被部署在一个计算机设备上执行，或者在位于一个地点的多个计算机设备上执行，又或者，在分布在多个地点且通过通信网络互连的多个计算机设备上执行，分布在多个地点且通过通信网络互连的多个计算机设备可以组成区块链系统。

本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。本公开旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求指出。

应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。

Claims (37)

1.一种推荐质量确定方法，其特征在于，所述方法包括：

获取目标用户账户的用户数据，所述用户数据包括所述目标用户账户在目标应用中的历史行为数据；

将所述用户数据输入推荐质量确定模型的第一子模型，从目标分布的多个分布区间中确定所述用户数据所属的目标分布区间，所述目标分布为训练所述推荐质量确定模型的多个样本用户数据对应于推荐质量信息的分布；

将所述用户数据输入所述推荐质量确定模型的目标第二子模型，得到所述用户数据的推荐质量信息，所述推荐质量确定模型包括多个第二子模型，每个所述第二子模型对应于一个分布区间，所述目标第二子模型对应于所述目标分布区间。

2.根据权利要求1所述的推荐质量确定方法，其特征在于，所述将所述用户数据输入推荐质量确定模型的第一子模型，从目标分布的多个分布区间中确定所述用户数据所属的目标分布区间包括：

将所述用户数据输入所述第一子模型，得到所述用户数据与对应分布区间之间的映射关系；

基于所述用户数据与对应分布区间之间的映射关系，从所述多个分布区间中确定所述用户数据的目标分布区间。

3.根据权利要求2所述的推荐质量确定方法，其特征在于，所述将所述用户数据输入所述第一子模型，得到所述用户数据与对应分布区间之间的映射关系包括：

在所述分布区间的数量为2个的情况下，将所述用户数据输入所述第一子模型；

基于所述第一子模型，将所述用户数据分别映射到各个所述分布区间的第一分类空间，得到多个第一分类信息，所述第一分类空间用于描述属于对应分布区间的用户数据的特征，所述第一分类信息为所述用户数据属于对应分布区间的概率。

4.根据权利要求2所述的推荐质量确定方法，其特征在于，所述将所述用户数据输入所述第一子模型，得到所述用户数据与对应分布区间之间的映射关系包括：

在所述分布区间的数量为2个以上的情况下，将所述用户数据输入所述第一子模型；

基于所述第一子模型，将所述用户数据分别映射到各个所述分布区间的第二分类空间，得到多个第二分类信息，所述第二分类空间用于描述属于对应分布区间以及在所述目标分布中基于第一顺序的位置位于对应分布区间之后的分布区间的用户数据的特征，所述第二分类信息为所述用户数据属于对应分布区间以及在所述目标分布中基于第一顺序的位置位于对应分布区间之后的分布区间的概率，所述第一顺序为属于各个所述分布区间的样本用户数据对应的推荐质量信息从小到大的顺序。

5.根据权利要求1所述的推荐质量确定方法，其特征在于，所述将所述用户数据输入所述推荐质量确定模型的目标第二子模型，得到所述用户数据的推荐质量信息包括：

将所述用户数据输入所述目标第二子模型；

基于所述目标第二子模型，将所述用户数据分别映射到所述目标分布区间中各个子区间的第三分类空间，得到所述用户数据的多个第三分类信息，所述第三分类空间用于描述属于对应子区间以及在所述目标分布区间中基于第二顺序的位置位于对应子区间之后的子区间的用户数据的特征，所述第三分类信息为所述用户数据属于对应子区间以及在目标分布区间中基于第二顺序的位置位于对应子区间之后的子区间的概率，所述第二顺序为所述各个子区间对应信息范围的推荐质量信息从小到大的顺序，所述信息范围为属于对应子区间的用户数据的推荐质量信息的范围；

基于所述多个第三分类信息和所述各个子区间对应的信息范围，获取所述用户数据的推荐质量信息。

6.根据权利要求5所述的推荐质量确定方法，其特征在于，所述基于所述多个第三分类信息和所述各个子区间对应的信息范围，获取所述用户数据的推荐质量信息包括：

基于所述多个第三分类信息，从所述目标分布区间的多个子区间中确定所述用户数据所属的目标子区间；

基于所述目标子区间对应的信息范围的上限信息和下限信息，获取所述用户数据的推荐质量信息。

7.一种推荐质量确定模型的训练方法，其特征在于，所述方法包括：

获取样本数据集中的样本用户数据、所述样本用户数据的参考分布区间和参考质量信息，所述样本用户数据包括样本用户账户在目标应用中的历史行为数据，所述参考分布区间为目标分布的多个分布区间中所述样本用户数据所属的分布区间，所述目标分布为样本数据集中多个样本用户数据基于推荐质量信息的分布，所述参考质量信息为所述样本用户数据的推荐质量信息；

将所述样本用户数据输入推荐质量确定模型的第一子模型，得到所述样本用户数据的预测分布区间；

将所述样本用户数据输入所述推荐质量确定模型的目标第二子模型，得到所述样本用户数据的预测质量信息，所述推荐质量确定模型包括多个第二子模型，每个所述第二子模型对应于一个分布区间，所述目标第二子模型对应于所述参考分布区间；

基于所述样本用户数据的所述预测分布区间和所述参考分布区间、所述预测质量信息和所述参考质量信息，对所述推荐质量确定模型进行训练。

8.根据权利要求7所述的推荐质量确定模型的训练方法，其特征在于，所述将所述样本用户数据输入推荐质量确定模型的第一子模型，得到所述样本用户数据的预测分布区间包括：

将所述样本用户数据输入所述第一子模型，得到所述样本用户数据与对应分布区间之间的映射关系，所述映射关系用于表示所述样本用户数据的预测分布区间。

9.根据权利要求8所述的推荐质量确定模型的训练方法，其特征在于，所述将所述样本用户数据输入所述第一子模型，得到所述样本用户数据与对应分布区间之间的映射关系包括：

在所述分布区间的数量为2个的情况下，将所述样本用户数据输入所述第一子模型；

基于所述第一子模型，将所述样本用户数据分别映射到各个所述分布区间的第一分类空间，得到多个第一分类信息，所述第一分类空间用于描述属于对应分布区间的样本用户数据的特征，所述第一分类信息为所述样本用户数据属于对应分布区间的概率。

10.根据权利要求8所述的推荐质量确定模型的训练方法，其特征在于，所述将所述样本用户数据输入所述第一子模型，得到所述样本用户数据与对应分布区间之间的映射关系包括：

在所述分布区间的数量为2个以上的情况下，将所述样本用户数据输入所述第一子模型；

基于所述第一子模型，将所述样本用户数据分别映射到各个所述分布区间的第二分类空间，得到多个第二分类信息，所述第二分类空间用于描述属于对应分布区间以及在所述目标分布中基于第一顺序的位置位于对应分布区间之后的分布区间的样本用户数据的特征，所述第二分类信息为所述样本用户数据属于对应分布区间以及在所述目标分布中基于第一顺序的位置位于对应分布区间之后的分布区间的概率，所述第一顺序为属于各个所述分布区间的样本用户数据对应的推荐质量信息从小到大的顺序。

11.根据权利要求7所述的推荐质量确定模型的训练方法，其特征在于，所述将所述样本用户数据输入所述推荐质量确定模型的目标第二子模型，得到所述样本用户数据的预测质量信息包括：

将所述样本用户数据输入所述目标第二子模型；

基于所述目标第二子模型，将所述样本用户数据分别映射到所述参考分布区间中各个子区间的第三分类空间，得到所述样本用户数据的多个第三分类信息，所述第三分类空间用于描述属于对应子区间以及在所述参考分布区间中基于第二顺序的位置位于对应子区间之后的子区间的样本用户数据的特征，所述第三分类信息为所述样本用户数据属于对应子区间以及在所述参考区间中基于第二顺序的位置位于对应子区间之后的子区间的概率；

其中，每个所述子区间对应于一个信息范围，所述信息范围为属于对应子区间的样本用户数据的推荐质量信息的范围，所述第二顺序为所述各个子区间对应信息范围的推荐质量信息从小到大的顺序。

12.根据权利要求7-11任一项所述的推荐质量确定模型的训练方法，其特征在于，所述基于所述样本用户数据的所述预测分布区间和所述参考分布区间、所述预测质量信息和所述参考质量信息，对所述推荐质量确定模型进行训练包括：

基于所述预测分布区间和所述参考分布区间，获取第一损失，所述第一损失表示所述预测分布区间的误差；

基于所述预测质量信息和所述参考质量信息，获取第二损失，所述第二损失表示所述预测质量信息的误差；

基于所述第一损失和所述第二损失，对所述推荐质量确定模型进行训练。

13.根据权利要求12所述的推荐质量确定模型的训练方法，其特征在于，所述基于所述预测分布区间和所述参考分布区间，获取第一损失包括：

在所述分布区间的数量为2个的情况下，基于所述参考分布区间、所述样本用户数据与2个分布区间中任一分布区间的第一分类信息和焦点损失函数，获取所述第一损失。

14.根据权利要求12所述的推荐质量确定模型的训练方法，其特征在于，所述基于所述预测分布区间和所述参考分布区间，获取第一损失包括：

在所述分布区间的数量为2个以上的情况下，基于所述参考分布区间、所述多个第二分类信息、多个所述分布区间的顺序和有序回归损失函数，获取所述第一损失。

15.根据权利要求12所述的推荐质量确定模型的训练方法，其特征在于，所述基于所述预测质量信息和所述参考质量信息，获取第二损失包括：

基于所述参考质量信息、所述多个第三分类信息、多个所述信息范围的顺序和有序回归损失函数，获取所述第二损失。

16.根据权利要求12所述的推荐质量确定模型的训练方法，其特征在于，所述基于所述第一损失和所述第二损失，对所述推荐质量确定模型进行训练包括：

将所述第一损失和所述第二损失相加，得到目标损失；

基于所述目标损失，对所述第一子模型和所述目标第二子模型进行训练。

17.根据权利要求7所述的推荐质量确定模型的训练方法，其特征在于，对于所述目标分布中的任一分布区间，属于所述分布区间的具有不同推荐质量信息的样本用户数据的数量相差小于阈值。

18.一种推荐质量确定装置，其特征在于，所述装置包括：

获取单元，被配置为执行获取目标用户账户的用户数据，所述用户数据包括所述目标用户账户在目标应用中的历史行为数据；

确定单元，被配置为执行将所述用户数据输入推荐质量确定模型的第一子模型，从目标分布的多个分布区间中确定所述用户数据所属的目标分布区间，所述目标分布为训练所述推荐质量确定模型的多个样本用户数据对应于推荐质量信息的分布；

所述获取单元，被配置为执行将所述用户数据输入所述推荐质量确定模型的目标第二子模型，得到所述用户数据的推荐质量信息，所述推荐质量确定模型包括多个第二子模型，每个所述第二子模型对应于一个分布区间，所述目标第二子模型对应于所述目标分布区间。

19.根据权利要求18所述的推荐质量确定装置，其特征在于，所述确定单元包括：

第一获取子单元，被配置为执行将所述用户数据输入所述第一子模型，得到所述用户数据与对应所述分布区间之间的映射关系；

确定子单元，被配置为执行基于所述用户数据与对应所述分布区间之间的映射关系，从所述多个分布区间中确定所述用户数据的目标分布区间。

20.根据权利要求19所述的推荐质量确定装置，其特征在于，所述第一获取子单元，被配置为执行在所述分布区间的数量为2个的情况下，将所述用户数据输入所述第一子模型；基于所述第一子模型，将所述用户数据分别映射到各个所述分布区间的第一分类空间，得到多个第一分类信息，所述第一分类空间用于描述属于对应分布区间的用户数据的特征，所述第一分类信息为所述用户数据属于对应分布区间的概率。

21.根据权利要求19所述的推荐质量确定装置，其特征在于，所述第一获取子单元，被配置为执行在所述分布区间的数量为2个以上的情况下，将所述用户数据输入所述第一子模型；基于所述第一子模型，将所述用户数据分别映射到各个所述分布区间的第二分类空间，得到多个第二分类信息，所述第二分类空间用于描述属于对应分布区间以及在所述目标分布中基于第一顺序的位置位于对应分布区间之后的分布区间的用户数据的特征，所述第二分类信息为所述用户数据属于对应分布区间以及在所述目标分布中基于第一顺序的位置位于对应分布区间之后的分布区间的概率，所述第一顺序为属于各个所述分布区间的样本用户数据对应的推荐质量信息从小到大的顺序。

22.根据权利要求18所述的推荐质量确定装置，其特征在于，所述获取单元包括：

输入子单元，被配置为执行将所述用户数据输入所述目标第二子模型；

第二获取子单元，被配置为执行基于所述目标第二子模型，将所述用户数据分别映射到所述目标分布区间中各个子区间的第三分类空间，得到所述用户数据的多个第三分类信息，所述第三分类空间用于描述属于对应子区间以及在所述目标分布区间中基于第二顺序的位置位于对应子区间之后的子区间的用户数据的特征，所述第三分类信息为所述用户数据属于对应子区间以及在目标分布区间中基于第二顺序的位置位于对应子区间之后的子区间的概率，所述第二顺序为所述各个子区间对应信息范围的推荐质量信息从小到大的顺序，所述信息范围为属于对应子区间的用户数据的推荐质量信息的范围；

所述第二获取子单元，被配置为执行基于所述多个第三分类信息和所述各个子区间对应的信息范围，获取所述用户数据的推荐质量信息。

23.根据权利要求22所述的推荐质量确定装置，其特征在于，所述第二获取子单元，被配置为执行基于所述多个第三分类信息，从所述目标分布区间的多个子区间中确定所述用户数据所属的目标子区间；基于所述目标子区间对应的信息范围的上限信息和下限信息，获取所述用户数据的推荐质量信息。

24.一种推荐质量确定模型的训练装置，其特征在于，所述装置包括：

获取单元，被配置为执行获取样本数据集中的样本用户数据、所述样本用户数据的参考分布区间和参考质量信息，所述样本用户数据包括样本用户账户在目标应用中的历史行为数据，所述参考分布区间为目标分布的多个分布区间中所述样本用户数据所属的分布区间，所述目标分布为样本数据集中多个样本用户数据基于推荐质量信息的分布，所述参考质量信息为所述样本用户数据的推荐质量信息；

所述获取单元，被配置为执行将所述样本用户数据输入推荐质量确定模型的第一子模型，得到所述样本用户数据的预测分布区间；

所述获取单元，被配置为执行将所述样本用户数据输入所述推荐质量确定模型的目标第二子模型，得到所述样本用户数据的预测质量信息，所述推荐质量确定模型包括多个第二子模型，每个所述第二子模型对应于一个分布区间类别，所述目标第二子模型对应于所述参考分布区间；

训练单元，被配置为执行基于所述样本用户数据的所述预测分布区间和所述参考分布区间、所述预测质量信息和所述参考质量信息，对所述推荐质量确定模型进行训练。

25.根据权利要求24所述的推荐质量确定模型的训练装置，其特征在于，所述获取单元，被配置为执行将所述样本用户数据输入所述第一子模型，得到所述样本用户数据与对应所述分布区间之间的映射关系，所述映射关系用于表示所述样本用户数据的预测分布区间。

26.根据权利要求25所述的推荐质量确定模型的训练装置，其特征在于，所述获取单元，被配置为执行在所述分布区间的数量为2个的情况下，将所述样本用户数据输入所述第一子模型；基于所述第一子模型，将所述样本用户数据分别映射到各个所述分布区间的第一分类空间，得到多个第一分类信息，所述第一分类空间用于描述属于对应分布区间的样本用户数据的特征，所述第一分类信息为所述样本用户数据属于对应分布区间的概率。

27.根据权利要求25所述的推荐质量确定模型的训练装置，其特征在于，所述获取单元，被配置为执行在所述分布区间的数量为2个以上的情况下，将所述样本用户数据输入所述第一子模型；基于所述第一子模型，将所述样本用户数据分别映射到各个所述分布区间的第二分类空间，得到多个第二分类信息，所述第二分类空间用于描述属于对应分布区间以及在所述目标分布中基于第一顺序的位置位于对应分布区间之后的分布区间的样本用户数据的特征，所述第二分类信息为所述样本用户数据属于对应分布区间以及在所述目标分布中基于第一顺序的位置位于对应分布区间之后的分布区间的概率，所述第一顺序为属于各个所述分布区间的样本用户数据对应的推荐质量信息从小到大的顺序。

28.根据权利要求24所述的推荐质量确定模型的训练装置，其特征在于，所述获取单元，被配置为执行将所述样本用户数据输入所述目标第二子模型；基于所述目标第二子模型，将所述样本用户数据分别映射到所述参考分布区间中各个子区间的第三分类空间，得到所述样本用户数据的多个第三分类信息，所述第三分类空间用于描述属于对应子区间以及在所述参考分布区间中基于第二顺序的位置位于对应子区间之后的子区间的样本用户数据的特征，所述第三分类信息为所述样本用户数据属于对应子区间以及在所述参考区间中基于第二顺序的位置位于对应子区间之后的子区间的概率；其中，每个所述子区间对应于一个信息范围，所述信息范围为属于对应子区间的样本用户数据的推荐质量信息的范围，所述第二顺序为所述各个子区间对应信息范围的推荐质量信息从小到大的顺序。

29.根据权利要求24-28任一项所述的推荐质量确定模型的训练装置，其特征在于，所述训练单元包括：

第一获取子单元，被配置为执行基于所述预测分布区间和所述参考分布区间，获取第一损失，所述第一损失表示所述预测分布区间的误差；

第二获取子单元，被配置为执行基于所述预测质量信息和所述参考质量信息，获取第二损失，所述第二损失表示所述预测质量信息的误差；

训练子单元，被配置为执行基于所述第一损失和所述第二损失，对所述推荐质量确定模型进行训练。

30.根据权利要求29所述的推荐质量确定模型的训练装置，其特征在于，所述第一获取子单元，被配置为执行在所述分布区间的数量为2个的情况下，基于所述参考分布区间、所述样本用户数据与2个分布区间中任一分布区间的第一分类信息和焦点损失函数，获取所述第一损失。

31.根据权利要求29所述的推荐质量确定模型的训练装置，其特征在于，所述第一获取子单元，被配置为执行在所述分布区间的数量为2个以上的情况下，基于所述参考分布区间、所述多个第二分类信息、多个所述分布区间的顺序和有序回归损失函数，获取所述第一损失。

32.根据权利要求29所述的推荐质量确定模型的训练装置，其特征在于，所述第二获取子单元，被配置为执行基于所述参考质量信息、所述多个第三分类信息、多个所述信息范围的顺序和有序回归损失函数，获取所述第二损失。

33.根据权利要求29所述的推荐质量确定模型的训练装置，其特征在于，所述训练子单元，被配置为执行将所述第一损失和所述第二损失相加，得到目标损失；基于所述目标损失，对所述第一子模型和所述目标第二子模型进行训练。

34.根据权利要求24所述的推荐质量确定模型的训练装置，其特征在于，对于所述目标分布中的任一分布区间，属于所述分布区间的具有不同推荐质量信息的样本用户数据的数量相差小于阈值。

35.一种电子设备，其特征在于，所述电子设备包括：

一个或多个处理器；

用于存储所述处理器可执行程序代码的存储器；

其中，所述处理器被配置为执行所述程序代码，以实现如权利要求1至6中任一项所述的推荐质量确定方法，或如权利要求7至17中任一项所述的推荐质量确定模型的训练方法。

36.一种计算机可读存储介质，其特征在于，当所述计算机可读存储介质中的程序代码由电子设备的处理器执行时，使得所述电子设备能够执行如权利要求1至6中任一项所述的推荐质量确定方法，或如权利要求7至17中任一项所述的推荐质量确定模型的训练方法。

37.一种计算机程序产品，其特征在于，包括一条或多条指令，所述一条或多条指令由计算机设备的一个或多个处理器执行，使得所述计算机设备能够执行如权利要求1至6中任一项所述的推荐质量确定方法，或如权利要求7至17中任一项所述的推荐质量确定模型的训练方法。

Images