CN115169583A - 用户行为预测系统的训练方法及装置 - Google Patents

Abstract

本说明书实施例提供一种用户行为预测系统的训练方法及装置，一种用户行为预测方法及装置。其中训练方法包括：获取多个训练样本，其中各个训练样本包括对应用户的用户特征，对应业务对象的对象标识和对象属性数据，以及指示所述用户是否对所述业务对象作出预定行为的行为标签；基于所述对象标识和行为标签，确定所述业务对象的嵌入向量标签；基于所述对象属性数据和嵌入向量标签，训练对象嵌入模型；将所述对象属性数据输入训练好的对象嵌入模型，得到第一预测嵌入向量；基于所述第一预测嵌入向量、用户特征和行为标签，训练第一行为预测模型。由此，训练好的第一行为预测模型和训练好的对象嵌入模型构成训练好的用户行为预测系统。

Description

用户行为预测系统的训练方法及装置

技术领域

本说明书一个或多个实施例涉及机器学习技术领域，尤其涉及一种用户行为预测系统的训练方法及装置，一种用户行为预测方法及装置。

背景技术

随着社会的发展和科技的进步，涌现出越来越多的平台向用户提供各式各样的服务，以满足用户在工作和生活中的多种需求。在平台的推荐系统中，为了进行服务等业务对象的推荐，通常会利用部分用户与该业务对象之间的历史交互数据进行建模和学习，得到一个预测用户喜好的模型，用于将该业务对象推荐给感兴趣的用户。

然而，当一个业务对象刚上线时，没有或者只有很少的历史交互数据，导致推荐模型对该业务对象的推荐效果不佳，难以找到合适的目标人群。

因此，需要一种方案，可以在缺少某个业务对象的交互数据，甚至是零交互数据情况下，将该某个业务对象精准推荐给感兴趣人群。

发明内容

本说明书实施例描述了一种用户行为预测系统的训练方法及装置，以及一种用户行为预测方法及装置，对商品隐层表征的学习进行解耦，有效提升了商品隐层表征的泛化性，并训练配套使用的行为预测模型，从而有效提升推荐结果的精准度，进而提高用户体验。

根据第一方面，提供一种用户行为预测系统的训练方法，包括：获取多个训练样本，其中各个训练样本包括对应用户的用户特征，对应业务对象的对象标识和对象属性数据，以及指示所述用户是否对所述业务对象作出预定行为的行为标签；基于所述对象标识和行为标签，确定所述业务对象的嵌入向量标签；基于所述对象属性数据和嵌入向量标签，训练对象嵌入模型；将所述对象属性数据输入训练好的对象嵌入模型，得到第一预测嵌入向量；基于所述第一预测嵌入向量、用户特征和行为标签，训练第一行为预测模型；其中，训练好的第一行为预测模型和训练好的对象嵌入模型构成训练好的用户行为预测系统。

在一个实施例中，所述业务对象属于用户、商品或优惠券。

在一个实施例中，所述嵌入向量标签的确定过程中不使用所述对象属性数据。

在一个实施例中，所述多个训练样本涉及n个用户和m个业务对象；基于所述对象标识和行为标签，确定所述业务对象的嵌入向量标签，包括：构建n*m维矩阵，其中第i行第j列元素的值基于第i个用户是否对第j个业务对象作出所述预定行为而确定；将所述n*m维矩阵中的第j列作为所述第j个业务对象的嵌入向量标签。

在一个实施例中，基于所述对象标识和行为标签，确定所述业务对象的嵌入向量标签，包括：基于所述用户特征、对象标识和行为标签，训练第二行为预测模型，所述第二行为预测模型中包括用于处理对象标识的嵌入层；将所述对象标识输入训练好的第二行为预测模型中的所述嵌入层，得到标识嵌入向量，作为对应的嵌入向量标签。

在一个实施例中，基于所述对象属性数据和嵌入向量标签，训练对象嵌入模型，包括：将所述对象属性数据输入所述对象嵌入模型，得到第二预测嵌入向量；以减小所述第二预测嵌入向量和所述嵌入向量标签之间的距离为目标，更新所述对象嵌入模型的模型参数。

在一个实施例中，基于所述第一预测嵌入向量、用户特征和行为标签，训练第一行为预测模型，包括：将所述第一预测嵌入向量和用户特征输入所述第一行为预测模型，得到行为预测结果；基于所述行为预测结果和所述行为标签，确定训练损失；基于所述训练损失，调整所述第一行为预测模型中的模型参数。

根据第二方面，提供一种用户行为预测方法，包括：获取目标样本，其中包括目标用户的目标用户特征和目标业务对象的目标属性数据；将所述目标样本输入采用权利要求1所述的方法训练得到的用户行为预测系统，其中，利用训练好的对象嵌入模型处理所述目标属性数据，得到目标嵌入向量；利用训练好的第一行为预测模型处理所述目标嵌入向量和目标用户特征，得到行为预测结果，其指示所述目标用户是否对所述目标业务对象作出预定行为，或者，指示所述目标用户对所述目标业务对象作出预定行为的概率。

根据第三方面，提供一种用户行为预测系统的训练装置，包括：样本获取单元，配置为获取多个训练样本，其中各个训练样本包括对应用户的用户特征，对应业务对象的对象标识和对象属性数据，以及指示所述用户是否对所述业务对象作出预定行为的行为标签；标签确定单元，配置为基于所述对象标识和行为标签，确定所述业务对象的嵌入向量标签；嵌入模型训练单元，配置为基于所述对象属性数据和嵌入向量标签，训练对象嵌入模型；预测单元，配置为将所述对象属性数据输入训练好的对象嵌入模型，得到第一预测嵌入向量；行为模型训练单元，配置为基于所述第一预测嵌入向量、用户特征和行为标签，训练第一行为预测模型；其中，训练好的第一行为预测模型和训练好的对象嵌入模型构成训练好的用户行为预测系统。

根据第四方面，提供一种用户行为预测装置，包括：样本获取单元，配置为获取目标样本，其中包括目标用户的目标用户特征和目标业务对象的目标属性数据；样本处理单元，配置为将所述目标样本输入利用权利要求9所述的装置训练得到的用户行为预测系统，所述样本处理单元包括：嵌入预测子单元，配置为利用训练好的对象嵌入模型处理所述目标属性数据，得到目标嵌入向量；行为预测子单元，配置为利用训练好的第一行为预测模型处理所述目标嵌入向量和目标用户特征，得到行为预测结果，其指示所述目标用户是否对所述目标业务对象作出预定行为，或者，指示所述目标用户对所述目标业务对象作出预定行为的概率。

根据第五方面，提供了一种计算机可读存储介质，其上存储有计算机程序，当所述计算机程序在计算机中执行时，令计算机执行第一方面或第二方面的方法。

根据第六方面，提供了一种计算设备，包括存储器和处理器，所述存储器中存储有可执行代码，该处理器执行所述可执行代码时，实现第一方面或第二方面的方法。

采用本说明书实施例提供的方法和装置，开拓性地提出基于包括对象标识和用户行为标签在内的历史交互数据，确定多个业务对象对应的多个嵌入向量标签，从而基于对象属性数据和多个嵌入向量标签，训练出用于将对象属性数据映射到嵌入语义空间的对象嵌入模型，实现对业务对象的属性数据的泛化，进一步，训练出以对象嵌入向量和用户特征为输入的行为预测模型，从而可以利用训练好的对象嵌入模型和行为预测模型构建出用户行为预测系统，实现零样本场景下的精准推荐。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。

图1示出本说明书实施例披露的训练用户行为预测系统的方案实施架构图；

图2示出本说明书实施例披露的用户行为预测系统的训练方法流程示意图；

图3示出本说明书实施例披露的训练第二行为预测模型的实施架构图；

图4示出本说明书实施例披露的训练对象嵌入模型的实施架构图；

图5示出本说明书实施例披露的训练第一行为预测模型的实施架构图；

图6示出本说明书实施例披露的用户行为预测系统的使用架构图；

图7示出本说明书实施例披露的用户行为预测方法流程示意图；

图8示出本说明书实施例披露的用户行为预测系统的训练装置结构示意图；

图9示出本说明书实施例披露的用户行为预测装置结构示意图。

具体实施方式

下面结合附图，对本说明书提供的方案进行描述。

承前所述，需要一种方案，可以在商品等对象侧冷启动场景下，实现精准推荐。在一种方式中，利用强化学习，对新业务对象的投放进行探索和优化，给新业务对象带来曝光和点击的机会。然而，此种方式在线上时需要进行实时的探索，会为实际的推荐系统带来风险和不稳定性。在另一种方式中，可以利用元学习技术，元学习是一个学习如何去学习的训练机制，与传统的机器学习任务不同的是，元学习不是在一个特征的任务上去优化模型，而是使模型在多个任务上学习到一个通用的知识，在此基础上只需要少量样本能够快速适应新的任务。然而，在新业务对象没有任何交互数据，也即没有任何样本的情况下，元学习中的meta-test阶段就不再适用。

基于以上观察，发明人提出一种方案，可以在零交互数据场景下，实现对新业务对象的精准推荐。图1示出本说明书实施例披露的训练用户行为预测系统的方案实施架构图，如图1所示，在训练阶段，先基于用户与已上线业务对象之间的历史交互数据，单独训练一个的用于表征对象特征的嵌入模型，从而有效提升对象特征的表征泛化性，然后，基于训练好的对象嵌入模型所输出的对象嵌入向量和历史交互数据中的用户特征，训练行为预测模型，如此，通过提升对象嵌入模型的泛化性，使得针对新业务对象的嵌入处理更加准确，从而提高行为预测模型的预测准确度，进而实现对目标人群的精准定位，实现对新业务对象的精准推荐。

下面结合更多实施例，对上述方案的实施步骤进行介绍。图2示出本说明书实施例披露的用户行为预测系统的训练方法流程示意图，所述方法的执行主体可以为任何具有计算、处理能力的平台、服务器或设备集群等。如图2所示，所述方法包括以下步骤：

步骤S210，获取多个训练样本，其中各个训练样本包括对应用户的用户特征，对应业务对象的对象标识和对象属性数据，以及指示所述用户是否对所述业务对象作出预定行为的行为标签；步骤S220，基于所述对象标识和行为标签，确定所述业务对象的嵌入向量标签；步骤S230，基于所述对象属性数据和嵌入向量标签，训练对象嵌入模型；步骤S240，将所述对象属性数据输入训练好的对象嵌入模型，得到第一预测嵌入向量；步骤S250，基于所述第一预测嵌入向量、用户特征和行为标签，训练第一行为预测模型；其中，训练好的第一行为预测模型和训练好的对象嵌入模型构成训练好的用户行为预测系统。

针对以上步骤，首先需说明，上述“第一预测嵌入向量”和“第一行为预测模型”等中的“第一”，以及文中的“第二”等类似用语，均是为了区分同类事物，不具有排序等其他限定作用。对以上步骤的展开介绍如下：

首先，在步骤S210，获取多个训练样本，其中任意的一个训练样本中包括对应用户的用户特征，对应业务对象的对象特征，以及指示该用户是否对该业务对象作出预定行为的行为标签。

在一个实施例中，用户特征可以包括用户静态属性，如性别、年龄、职业、地址、兴趣爱好等。在另一个实施例中，用户特征可以包括用户行为特征，包括交易特征(如交易金额、交易次数、交易时段、交易类目等)、社交特征(如发送社交消息的条数、网络社交时长等)、针对业务对象的操作数据(如浏览时长、操作类型等)。

上述对象特征包括对象标识(Identity document，简称ID)和对象属性数据。需理解，对象标识用于唯一标识某个对象，其可以是由业务系统分配的。另外，对象属性数据和上述预定行为，均与业务对象的类别相适应。在一个实施例中，上述业务对象属于商品，例如，具体可以为某件服装、某本书或某部电影的票，相应地，商品属性可以包括：商品类别、商品价格、商品产地、商品销量等；针对商品的预定行为可以是加入购物车、下单或购买等。在另一个实施例中，上述业务对象属于广告链接，相应，广告属性可以包括：广告时长、广告媒介(如文本、图片、音频或视频等)、广告所推广的对象(如汽车、护肤品等)；针对广告的预定行为可以是点击。在又一个实施例中，上述业务对象属于内容资讯，相应，内容资讯可以包括内容类别(如社会新闻、科技新闻等)；针对内容资讯的预定行为可以是浏览全篇或者浏览时间达到预定时长。在还一个实施例中，上述业务对象属于用户，例如，具体可以为某个名人，相应，用户属性可以包括：社会贡献、擅长领域、作品传播度等；针对用户的预定行为可以是订阅用户动态等。

在再一个实施例中，上述业务对象可以为用户权益，如红包、折扣券、优惠券等，相应，权益属性可以参见下表1。

表1

属性	属性值举例
		行业	交通、餐饮、金融
类别	优惠券、红包、折扣
		目标群体	新用户、流失用户、活跃用户
折扣力度	95％、80％、50％
		是否热销	是、否

针对权益的预定行为可以是核销，或者说使用。

以上，对获取到的多个训练样本进行介绍。接着，在步骤S220，基于训练样本中包括的对象标识和行为标签，确定对应业务对象的嵌入向量标签。

在一种实施方式中，上述多个训练样本涉及n个用户和m个业务对象，其中n和m均为正整数；进一步，本步骤可以实施为：构建n*m维矩阵，其中第i行第j列元素a_ij的值基于第i个用户是否对第j个业务对象作出所述预定行为而确定，从而，可以将构建好的n*m维矩阵中的第j列作为第j个业务对象的嵌入向量标签。

在一个实施例中，在n*m维矩阵的构建过程中，可以先确定多个训练样本中是否存在包括第i个用户和第j个业务对象的训练样本，如果存在，可以根据其中的行为标签，确定矩阵元素a_ij的值，进一步，当行为标签指示作出预定行为时，将矩阵元素a_ij确定为第一值(如1)，否则，确定为第二值(如0)；如果不存在训练样本，意味着不知道第i个用户是否会对第j个业务对象作出预定行为，此时，可以将矩阵元素a_ij设定为第一值和第二值之间的均值或位于二者之间的其他设定值。需理解，第一值和第二值不同，且可以由工作人员预先设定。

如此，可以基于丰富的历史交互数据，构建出n*m维矩阵，从而将其中对应m个业务对象的m个列向量，对应确定为m个嵌入向量标签。需理解，因训练样本的数量级较大，如此确定出的嵌入向量标签具有足够的准确度和区分度。

在另一种实施方式中，还可以采用监督学习的方式，学习各个业务对象的嵌入向量，作为对应的嵌入向量标签。需说明，因训练样本数据十分丰富，故而不需要使用训练样本中的对象属性数据，就可以学习得到各个业务对象的准确嵌入表征。

在此种实施方式中，先基于训练样本中除对象属性数据以外的其他数据，即，用户特征、对象标识和行为标签，训练第二行为预测模型，此模型中包括用于处理对象标识的嵌入层。在一个实施例中，第二行为预测模型可以基于因子分解机(Factorization Machine，简称FM)或深度神经网络(Deep Neural Networks，简称DNN)实现。

在一个实施例中，如图3所示，第二行为预测模型300中包括第二用户嵌入层310、标识嵌入层320和第二预测层330，基于此，针对各个训练样本，可以利用第二用户嵌入层310处理其中的用户特征，得到用户嵌入向量，并利用标识嵌入层320处理其中的对象标识，得到第一标识嵌入向量，再利用第二预测层330处理用户嵌入向量和第一标识嵌入向量之间的融合向量，得到对应的第二行为预测结果，之后利用行为标签和该第二行为预测结果确定训练损失，基于该训练损失更新第二行为预测模型300中的模型参数。在一个具体的实施例中，其中融合向量可以通过求和、拼接、对位相乘或求平均等融合处理方式而得到。需说明，文中在利用训练损失调整模型参数时，均是以减小训练损失为目标。

如此，通过利用上述多个训练样本对第二行为预测模型进行多轮次的迭代更新，直到模型参数收敛，可以得到训练好的第二行为预测模型，其中包括训练好的标识嵌入层。

进一步，可以将上述多个训练样本涉及的各个业务对象的标识，分别输入训练好的标识嵌入层，得到对应的第二标识嵌入向量，作为对应的嵌入向量标签。

由上，无需使用对象属性数据，就能够得到对业务对象进行精准表征的嵌入向量标签。

之后，在步骤S230，基于业务对象的对象属性数据和其嵌入向量标签，训练对象嵌入模型。在一个实施例中，对象嵌入模型可以基于DNN网络或卷积神经网络(ConvolutionalNeural Networks，简称CNN)实现。

图4示出本说明书实施例披露的训练对象嵌入模型的实施架构图，如图4所示，先将业务对象的对象属性数据输入对象嵌入模型，得到第二预测嵌入向量，再以减小第二预测嵌入向量和对应的嵌入向量标签之间的距离为目标，更新对象嵌入模型的模型参数。在一个具体的实施例中，可以基于第二预测嵌入向量和对应的嵌入向量标签确定训练损失，此训练损失与上述距离正相关，然后，基于训练损失更新对象嵌入模型的模型参数。在一个具体的实施例中，上述距离可以是余弦距离或欧式距离等。

由此，通过利用上述多个训练样本涉及的多个业务对象所对应的对象属性数据和嵌入向量标签，对上述对象嵌入模型进行多轮次的迭代更新，直到模型参数收敛，可以得到训练好的对象嵌入模型，并且，如此训练出的对象嵌入模型对业务对象的属性数据具有很好的泛化能力。

之后，对第一行为预测模型进行训练，包括在步骤S240，将业务对象的对象属性数据输入训练好的对象嵌入模型，得到第一预测嵌入向量；以及，在步骤S250，基于所述第一预测嵌入向量、用户特征和行为标签，训练第一行为预测模型。需说明，此处采用预测嵌入向量，而非嵌入向量标签作为第一行为预测模型的输入，是因为模型的训练过程需要与使用过程保持一致。

具体，在步骤S240中，可以将上述多个训练样本涉及的多个业务对象的多份对象属性数据分别输入训练好的对象嵌入模型，从而可以得到各个业务对象的第一预测嵌入向量。

在步骤S250中，先将业务对象的第一预测嵌入向量和用户特征输入所述第一行为预测模型，得到行为预测结果，从而基于此行为预测结果和行为标签，确定训练损失，再基于此训练损失，更新第一行为预测模型中的模型参数。在一个实施例中，第一行为预测模型可以采用CNN网络、DNN网络或深度交叉网络(Deep&Cross Network，简称DCN)实现。

在一个实施例中，如图5所示，第一行为预测模型500中可以包括第一用户嵌入层510和第一预测层520，在训练过程中，利用第一用户嵌入层510处理用户特征，得到用户嵌入向量；再利用第一预测层520处理用户嵌入向量和对象嵌入向量之间的融合向量，得到行为预测结果；之后，基于该行为预测结果和对应的行为标签，确定训练损失，用以调整第一行为预测模型的参数。在一个具体的实施例中，得到上述融合向量所采用的融合处理可以为拼接处理、加和处理、或对位相乘处理等。

由此，通过利用上述多个训练样本中的用户特征和行为标签，以及涉及的各个业务对象的第一预测嵌入向量，对上述第一行为预测模型进行多轮次的迭代更新，直到模型参数收敛，可以得到训练好的第一行为预测模型。从而，可以利用训练好的第一行为预测模型和上述训练好的对象嵌入模型构成训练好的用户行为预测系统，用于实际业务场景中的对象推荐。

综上，采用本说明书实施例披露的用户行为预测系统的训练方法，开拓性地提出基于包括对象标识和用户行为标签在内的历史交互数据，确定多个业务对象对应的多个嵌入向量标签，从而基于对象属性数据和多个嵌入向量标签，训练出用于将对象属性数据映射到嵌入语义空间的对象嵌入模型，实现对业务对象的属性数据的泛化，进一步，训练出以对象嵌入向量和用户特征为输入的行为预测模型，从而可以利用训练好的对象嵌入模型和行为预测模型构建出用户行为预测系统，实现零样本场景下的精准推荐。

接下来，结合图6和图7，介绍上述训练好的用户行为预测系统的使用方法。图6示出本说明书实施例披露的用户行为预测系统的使用架构图。图7示出本说明书实施例披露的用户行为预测方法流程示意图，所述方法的执行主体可以为任何具有计算、处理能力的装置、平台或设备集群等。如图7所示，所述方法包括以下步骤：

步骤S710，获取目标样本，其中包括目标用户的目标用户特征，目标业务对象的目标属性数据。典型地，目标业务对象可以是即将上线的新的业务对象，尚不存在任何交互数据，其不属于上述多个训练样本中涉及的业务对象。

步骤S720，将目标样本输入图6中示出的用户行为预测系统600，该用户行为预测系统600中包括训练好的对象嵌入模型610和训练好的第一行为预测模型620。

具体，先利用对象嵌入模型610处理上述目标属性数据，得到目标嵌入向量，再利用第一行为预测模型620处理该目标嵌入向量和上述目标用户特征，得到行为预测结果。在一个实施例中，行为预测结果指示上述目标用户是否对上述目标业务对象作出预定行为。在另一个实施例中，行为预测结果包括上述目标用户对上述目标业务对象作出预定行为的概率。

需说明，对用户行为预测系统的使用过程还可以参见训练过程。

根据另一方面的实施例，在上述步骤S720之后，所述方法还可以包括：在所述行为预测结果指示会作出预定行为的情况下，向目标用户推荐目标业务对象，否则不进行推荐。根据又一方面的实施例，在上述步骤S720之后，所述方法方法还可以包括：获取多个行为预测结果，对其中包括的多个概率进行统计，从而向排在预定范围内(如前10％)的目标用户推荐目标业务对象。

由上，通过使用训练好的用户行为预测系统，可以实现针对目标业务对象的精准推荐。

与上述训练方法和预测方法相对应的，本说明书实施例还提供训练装置和预测装置。

图8示出本说明书实施例披露的用户行为预测系统的训练装置结构示意图。如图8所示，所述装置800包括：

样本获取单元810，配置为获取多个训练样本，其中各个训练样本包括对应用户的用户特征，对应业务对象的对象标识和对象属性数据，以及指示所述用户是否对所述业务对象作出预定行为的行为标签；标签确定单元820，配置为基于所述对象标识和行为标签，确定所述业务对象的嵌入向量标签；嵌入模型训练单元830，配置为基于所述对象属性数据和嵌入向量标签，训练对象嵌入模型；预测单元840，配置为将所述对象属性数据输入训练好的对象嵌入模型，得到第一预测嵌入向量；行为模型训练单元850，配置为基于所述第一预测嵌入向量、用户特征和行为标签，训练第一行为预测模型；其中，训练好的第一行为预测模型和训练好的对象嵌入模型构成训练好的用户行为预测系统。

在一个实施例中，所述业务对象属于用户、商品或优惠券。

在一个实施例中，所述嵌入向量标签的确定过程中不使用所述对象属性数据。

在一个实施例中，所述多个训练样本涉及n个用户和m个业务对象；标签确定单元820具体配置为：构建n*m维矩阵，其中第i行第j列元素的值基于第i个用户是否对第j个业务对象作出所述预定行为而确定；将所述n*m维矩阵中的第j列作为所述第j个业务对象的嵌入向量标签。

在一个实施例中，标签确定单元820具体配置为：基于所述用户特征、对象标识和行为标签，训练第二行为预测模型，所述第二行为预测模型中包括用于处理对象标识的嵌入层；将所述对象标识输入训练好的第二行为预测模型中的所述嵌入层，得到标识嵌入向量，作为对应的嵌入向量标签。

在一个实施例中，嵌入模型训练单元830具体配置为：将所述对象属性数据输入所述对象嵌入模型，得到第二预测嵌入向量；以减小所述第二预测嵌入向量和所述嵌入向量标签之间的距离为目标，更新所述对象嵌入模型的模型参数。

在一个实施例中，行为模型训练单元850具体配置为：将所述第一预测嵌入向量和用户特征输入所述第一行为预测模型，得到行为预测结果；基于所述行为预测结果和所述行为标签，确定训练损失；基于所述训练损失，调整所述第一行为预测模型中的模型参数。

图9示出本说明书实施例披露的用户行为预测装置结构示意图。如图9所示，所述装置900具体包括：

样本获取单元910，配置为获取目标样本，其中包括目标用户的目标用户特征和目标业务对象的目标属性数据；样本处理单元920，配置为将所述目标样本输入利用权利要求9所述的装置训练得到的用户行为预测系统，所述样本处理单元920包括：嵌入预测子单元921，配置为利用训练好的对象嵌入模型处理所述目标属性数据，得到目标嵌入向量；行为预测子单元922，配置为利用训练好的第一行为预测模型处理所述目标嵌入向量和目标用户特征，得到行为预测结果，其指示所述目标用户是否对所述目标业务对象作出预定行为，或者，指示所述目标用户对所述目标业务对象作出预定行为的概率。

根据另一方面的实施例，还提供一种计算机可读存储介质，其上存储有计算机程序，当所述计算机程序在计算机中执行时，令计算机执行结合图2或图7所描述的方法。

根据再一方面的实施例，还提供一种计算设备，包括存储器和处理器，所述存储器中存储有可执行代码，所述处理器执行所述可执行代码时，实现结合图2或图7所描述的方法。本领域技术人员应该可以意识到，在上述一个或多个示例中，本发明所描述的功能可以用硬件、软件、固件或它们的任意组合来实现。当使用软件实现时，可以将这些功能存储在计算机可读介质中或者作为计算机可读介质上的一个或多个指令或代码进行传输。

以上所述的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的技术方案的基础之上，所做的任何修改、等同替换、改进等，均应包括在本发明的保护范围之内。

Claims (12)

1.一种用户行为预测系统的训练方法，包括：

获取多个训练样本，其中各个训练样本包括对应用户的用户特征，对应业务对象的对象标识和对象属性数据，以及指示所述用户是否对所述业务对象作出预定行为的行为标签；

基于所述对象标识和行为标签，确定所述业务对象的嵌入向量标签；

基于所述对象属性数据和嵌入向量标签，训练对象嵌入模型；

将所述对象属性数据输入训练好的对象嵌入模型，得到第一预测嵌入向量；

基于所述第一预测嵌入向量、用户特征和行为标签，训练第一行为预测模型；其中，训练好的第一行为预测模型和训练好的对象嵌入模型构成训练好的用户行为预测系统。

2.根据权利要求1所述的方法，其中，所述业务对象属于用户、商品或优惠券。

3.根据权利要求1所述的方法，其中，所述嵌入向量标签的确定过程中不使用所述对象属性数据。

4.根据权利要求1所述的方法，其中，所述多个训练样本涉及n个用户和m个业务对象；基于所述对象标识和行为标签，确定所述业务对象的嵌入向量标签，包括：

构建n*m维矩阵，其中第i行第j列元素的值基于第i个用户是否对第j个业务对象作出所述预定行为而确定；

将所述n*m维矩阵中的第j列作为所述第j个业务对象的嵌入向量标签。

5.根据权利要求1所述的方法，其中，基于所述对象标识和行为标签，确定所述业务对象的嵌入向量标签，包括：

基于所述用户特征、对象标识和行为标签，训练第二行为预测模型，所述第二行为预测模型中包括用于处理对象标识的嵌入层；

将所述对象标识输入训练好的第二行为预测模型中的所述嵌入层，得到标识嵌入向量，作为对应的嵌入向量标签。

6.根据权利要求1所述的方法，其中，基于所述对象属性数据和嵌入向量标签，训练对象嵌入模型，包括：

将所述对象属性数据输入所述对象嵌入模型，得到第二预测嵌入向量；

以减小所述第二预测嵌入向量和所述嵌入向量标签之间的距离为目标，更新所述对象嵌入模型的模型参数。

7.根据权利要求1所述的方法，其中，基于所述第一预测嵌入向量、用户特征和行为标签，训练第一行为预测模型，包括：

将所述第一预测嵌入向量和用户特征输入所述第一行为预测模型，得到行为预测结果；

基于所述行为预测结果和所述行为标签，确定训练损失；

基于所述训练损失，调整所述第一行为预测模型中的模型参数。

8.一种用户行为预测方法，包括：

获取目标样本，其中包括目标用户的目标用户特征和目标业务对象的目标属性数据；

将所述目标样本输入采用权利要求1所述的方法训练得到的用户行为预测系统，其中，

利用训练好的对象嵌入模型处理所述目标属性数据，得到目标嵌入向量；

利用训练好的第一行为预测模型处理所述目标嵌入向量和目标用户特征，得到行为预测结果，其指示所述目标用户是否对所述目标业务对象作出预定行为，或者，指示所述目标用户对所述目标业务对象作出预定行为的概率。

9.一种用户行为预测系统的训练装置，包括：

样本获取单元，配置为获取多个训练样本，其中各个训练样本包括对应用户的用户特征，对应业务对象的对象标识和对象属性数据，以及指示所述用户是否对所述业务对象作出预定行为的行为标签；

标签确定单元，配置为基于所述对象标识和行为标签，确定所述业务对象的嵌入向量标签；

嵌入模型训练单元，配置为基于所述对象属性数据和嵌入向量标签，训练对象嵌入模型；

预测单元，配置为将所述对象属性数据输入训练好的对象嵌入模型，得到第一预测嵌入向量；

行为模型训练单元，配置为基于所述第一预测嵌入向量、用户特征和行为标签，训练第一行为预测模型；其中，训练好的第一行为预测模型和训练好的对象嵌入模型构成训练好的用户行为预测系统。

10.一种用户行为预测装置，包括：

样本获取单元，配置为获取目标样本，其中包括目标用户的目标用户特征和目标业务对象的目标属性数据；

样本处理单元，配置为将所述目标样本输入利用权利要求9所述的装置训练得到的用户行为预测系统，所述样本处理单元包括：

嵌入预测子单元，配置为利用训练好的对象嵌入模型处理所述目标属性数据，得到目标嵌入向量；

行为预测子单元，配置为利用训练好的第一行为预测模型处理所述目标嵌入向量和目标用户特征，得到行为预测结果，其指示所述目标用户是否对所述目标业务对象作出预定行为，或者，指示所述目标用户对所述目标业务对象作出预定行为的概率。

11.一种计算机可读存储介质，其上存储有计算机程序，其中，当所述计算机程序在计算机中执行时，令计算机执行权利要求1-8中任一项所述的方法。

12.一种计算设备，包括存储器和处理器，其中，所述存储器中存储有可执行代码，所述处理器执行所述可执行代码时，实现权利要求1-8中任一项所述的方法。

Images