CN110348947A - 对象推荐方法及装置 - Google Patents

对象推荐方法及装置 Download PDF

Info

Publication number
CN110348947A
CN110348947A CN201910512735.5A CN201910512735A CN110348947A CN 110348947 A CN110348947 A CN 110348947A CN 201910512735 A CN201910512735 A CN 201910512735A CN 110348947 A CN110348947 A CN 110348947A
Authority
CN
China
Prior art keywords
user
recommended
user preference
probability
recommendation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910512735.5A
Other languages
English (en)
Other versions
CN110348947B (zh
Inventor
陈颖鑫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Advanced New Technologies Co Ltd
Advantageous New Technologies Co Ltd
Original Assignee
Alibaba Group Holding Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alibaba Group Holding Ltd filed Critical Alibaba Group Holding Ltd
Priority to CN201910512735.5A priority Critical patent/CN110348947B/zh
Publication of CN110348947A publication Critical patent/CN110348947A/zh
Application granted granted Critical
Publication of CN110348947B publication Critical patent/CN110348947B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G06Q30/0601—Electronic shopping [e-shopping]
    • G06Q30/0631—Item recommendations

Abstract

本公开提供一种对象推荐方法及装置。该对象推荐方法包括：获取用户特征数据；使用用户偏好预测模型来基于用户特征数据得到用户偏好预测结果，所述用户偏好预测结果包括针对待推荐对象集中的各个待推荐对象的用户偏好预测值；基于用户偏好预测结果，确定各个待推荐对象的用户偏好概率；使用Bandit算法来基于各个待推荐对象的用户偏好概率，确定各个待推荐对象的用户选择概率；根据所述各个待推荐对象的用户偏好概率和用户选择概率，确定推荐对象；以及将所确定的推荐对象推荐给用户。利用该方法，能够在确保冷启动时期的对象推荐准确率的情况下快速提升模型学习能力。

Description

对象推荐方法及装置
技术领域
本公开通常涉及计算机技术领域，更具体地，涉及对象推荐方法及装置。
背景技术
在对象推荐领域(例如，商品销售领域中的商品推荐)，相似功能的对象之间具有竞争关系。例如，针对APP播放产品和小型语音播放收钱音箱，如果用户已经购买了APP播放产品，则大概率不会再去购买小型语音播放收钱音箱。在这种情况下，如果向用户推荐小型语音播放收钱音箱，则用户不会发生购买行为，从而使得商品推荐的转化率非常低。
为了提升商品销售额，通常会基于与商品购买相关的用户样本数据来训练出用户偏好模型，然后使用用户偏好模型来为各种类型的用户推荐他们感兴趣(用户偏好)的商品进行广告触达，使得到达用户处的商品广告更加符合用户的需求，由此提升商品推荐的转化率。
然而，针对新推出的商品，与该商品购买相关的用户样本数据非常少，甚至不存在这类用户样本数据，由此在用户偏好模型训练时缺少与该商品相关的用户样本数据，使得该用户偏好模型不能准确地预测到用户针对这类商品的偏好度，从而使用该用户偏好模型不会向用户推荐这类商品。
发明内容
鉴于上述，本公开提供了一种对象推荐方法及装置。利用该对象推荐方法及装置，通过折衷考虑优先利用和优先探索，能够在确保冷启动时期的对象推荐准确率的情况下快速提升模型学习能力。
根据本公开的一个方面，提供了一种对象推荐方法，包括：获取用户特征数据；使用用户偏好预测模型来基于所述用户特征数据得到用户偏好预测结果，所述用户偏好预测结果包括针对待推荐对象集中的各个待推荐对象的用户偏好预测值；基于所述用户偏好预测结果，确定所述各个待推荐对象的用户偏好概率；使用Bandit算法来基于所述各个待推荐对象的用户偏好概率，确定所述各个待推荐对象的用户选择概率；根据所述各个待推荐对象的用户偏好概率和用户选择概率，确定推荐对象；以及将所确定的推荐对象推荐给用户。
可选地，在上述方面的一个示例中，所述用户偏好预测模型包括多个用户偏好预测模型，并且所述多个用户偏好预测模型是使用历史用户样本数据集并调整用户偏好预测模型的随机性来训练出的，所述用户样本数据包括用户特征数据和针对所述各个待推荐对象的推荐标签数据。
可选地，在上述方面的一个示例中，基于所述用户偏好预测结果，确定所述各个待推荐对象的用户偏好概率包括：基于多个用户偏好预测模型的用户偏好预测结果来计算出针对所述各个待推荐对象的用户偏好预测值的置信区间；以及基于所述各个待推荐对象的用户偏好预测值的置信区间，确定所述各个待推荐对象的用户偏好概率。
可选地，在上述方面的一个示例中，基于所述各个待推荐对象的用户偏好概率预测值的置信区间，确定所述各个待推荐对象的用户偏好概率包括：将所述各个待推荐对象的用户偏好概率预测值的置信区间的上限，确定为所述各个待推荐对象的用户偏好概率。
可选地，在上述方面的一个示例中，所述用户偏好预测模型的随机性包括：用户特征属性选择的随机性；和/或用户样本数据选择的随机性。
可选地，在上述方面的一个示例中，所述用户特征数据包括：用户画像数据；用户交易数据；用户社交数据；和/或用户行为数据。
可选地，在上述方面的一个示例中，所述用户偏好概率和用户选择概率具有对应的权重因子，以及根据所述各个待推荐对象的用户偏好概率和用户选择概率，确定推荐对象包括：根据所述各个待推荐对象的用户偏好概率、用户选择概率以及对应的权重因子，确定推荐对象。
可选地，在上述方面的一个示例中，所述Bandit算法包括下述算法中的一种：简单观察法；Epsilon-Greedy算法及其变型；Epsilon-Greedy-Softmax算法及其变型；和UpperConfidence Bound算法及其变型。
可选地，在上述方面的一个示例中，所述对象推荐方法还可以包括：获取所述用户针对所述推荐对象的响应数据；以及基于所述响应数据来更新所述历史用户样本数据集，以用于用户偏好预测模型的迭代优化。
可选地，在上述方面的一个示例中，使用Bandit算法来基于所述各个待推荐对象的用户偏好概率，确定所述各个待推荐对象的用户选择概率包括：使用Bandit算法来基于所述各个待推荐对象的用户偏好概率以及温度系数，确定所述各个待推荐对象的用户选择概率，其中，所述温度系数随着用户偏好预测模型的迭代次数增加而减小。
可选地，在上述方面的一个示例中，在所述Bandit算法包括Epsilon-Greedy-Softmax算法时，所述各个待推荐对象的用户选择概率Ps(k)是采用下述公式确定出的：
Q(i)＝PP(i)*Price(i)-Cost推荐费用(i)，
Q(k)＝PP(k)*Price(k)-Cost推荐费用(k)
其中，K是待推荐对象的总数，τ是温度系数，Ps(k)是第k个待推荐对象的用户选择概率，Q(k)是第k个待推荐对象的推荐收益，Pp(i)和Pp(k)分别是第i个和第k个待推荐对象的用户偏好概率，Price(i)和Price(k)分别是第i个和第k个待推荐对象的的交易成本，以及Cost推荐费用(i)和Cost推荐费用(k)分别是将第i个和第k个待推荐对象推荐给所述用户的推荐成本。
根据本公开的另一方面，提供一种对象推荐装置，包括：特征数据获取单元，被配置为获取用户特征数据；用户偏好预测单元，被配置为使用用户偏好预测模型来基于所述用户特征数据得到用户偏好预测结果，所述用户偏好预测结果包括针对待推荐对象集中的各个待推荐对象的用户偏好预测值；用户偏好概率确定单元，被配置为基于所述用户偏好预测结果，确定所述各个待推荐对象的用户偏好概率；用户选择概率确定单元，被配置为使用Bandit算法来基于所述各个待推荐对象的用户偏好概率，确定所述各个待推荐对象的用户选择概率；推荐对象确定单元，被配置为根据所述各个待推荐对象的用户偏好概率和用户选择概率，确定推荐对象；以及对象推荐单元，被配置为将所确定的推荐对象推荐给用户。
可选地，在上述方面的一个示例中，所述用户偏好预测模型包括多个用户偏好预测模型，并且所述多个用户偏好预测模型是使用历史用户样本数据集并调整用户偏好预测模型的随机性来训练出的，所述用户样本数据包括用户特征数据和针对所述各个待推荐对象的推荐标签数据。
可选地，在上述方面的一个示例中，所述用户偏好概率确定单元包括：置信区间计算模块，被配置为基于所述多个用户偏好预测模型的用户偏好预测结果来计算出针对所述各个待推荐对象的用户偏好预测值的置信区间；以及用户偏好概率确定模块，被配置为基于所述各个待推荐对象的用户偏好预测值的置信区间，确定所述各个待推荐对象的用户偏好概率。
可选地，在上述方面的一个示例中，所述用户偏好概率确定模块被配置为：将所述各个待推荐对象的用户偏好概率预测值的置信区间的上限，确定为所述各个待推荐对象的用户偏好概率。
可选地，在上述方面的一个示例中，所述用户偏好概率和用户选择概率具有对应的权重因子，以及所述推荐对象确定单元被配置为：根据所述各个待推荐对象的用户偏好概率、用户选择概率以及对应的权重因子，确定推荐对象。
可选地，在上述方面的一个示例中，所述对象推荐装置还可以包括：响应数据获取单元，被配置为获取所述用户针对所述推荐对象的响应数据；以及样本数据更新单元，被配置为基于所述响应数据来更新所述历史用户样本数据集，以用于用户偏好预测模型的迭代优化。
可选地，在上述方面的一个示例中，所述用户选择概率确定单元被配置为：使用Bandit算法来基于所述各个待推荐对象的用户偏好概率以及温度系数，确定所述各个待推荐对象的用户选择概率，其中，所述温度系数随着用户偏好预测模型的迭代次数增加而减小。
根据本公开的另一方面，提供一种计算设备，包括：至少一个处理器，以及与所述至少一个处理器耦合的存储器，所述存储器存储指令，当所述指令被所述至少一个处理器执行时，使得所述至少一个处理器执行如上所述的对象推荐方法。
根据本公开的另一方面，提供一种机器可读存储介质，其存储有可执行指令，所述指令当被执行时使得所述机器执行如上所述的对象推荐方法。
附图说明
通过参照下面的附图，可以实现对于本公开内容的本质和优点的进一步理解。在附图中，类似组件或特征可以具有相同的附图标记。
图1示出了根据本公开的实施例的对象推荐方法的流程图；
图2示出了根据本公开的实施例的用户偏好概率确定过程的一个示例的示意图；
图3示出了根据本公开的实施例的对象推荐装置的方框图；
图4示出了根据本公开的实施例的用户偏好概率确定单元的一个示例的方框图；
图5示出了根据本公开的实施例的用于对象推荐的计算设备的方框图。
具体实施方式
现在将参考示例实施方式讨论本文描述的主题。应该理解，讨论这些实施方式只是为了使得本领域技术人员能够更好地理解从而实现本文描述的主题，并非是对权利要求书中所阐述的保护范围、适用性或者示例的限制。可以在不脱离本公开内容的保护范围的情况下，对所讨论的元素的功能和排列进行改变。各个示例可以根据需要，省略、替代或者添加各种过程或组件。例如，所描述的方法可以按照与所描述的顺序不同的顺序来执行，以及各个步骤可以被添加、省略或者组合。另外，相对一些示例所描述的特征在其它例子中也可以进行组合。
如本文中使用的，术语“包括”及其变型表示开放的术语，含义是“包括但不限于”。术语“基于”表示“至少部分地基于”。术语“一个实施例”和“一实施例”表示“至少一个实施例”。术语“另一个实施例”表示“至少一个其他实施例”。术语“第一”、“第二”等可以指代不同的或相同的对象。下面可以包括其他的定义，无论是明确的还是隐含的。除非上下文中明确地指明，否则一个术语的定义在整个说明书中是一致的。
如本文所使用的，术语“对象”是指任何适合于进行推荐和交易的东西。在本公开中，“对象”的示例可以包括但不限于：商品，物品，软件(例如，软件工具包)等。
下面将结合附图来详细描述根据本公开的实施例的对象推荐方法及装置。
图1示出了根据本公开的实施例的对象推荐方法的流程图。
如图1所示，在块110，获取用户特征数据。例如，可以是从用户设备的应用缓存或用户的历史操作日志中得到用户特征数据。这里，要说明的是，本公开中提及的“用户”可以是期望获取对象的个人用户，也可以是期望获取对象的主体，例如，期望获取商品的商户。
在本公开中，用户特征数据可以包括：用户画像数据；用户交易数据；用户社交数据；和/或用户行为数据。用户画像数据也可以称为用户基本属性数据，比如，用户的年龄、性别、教育程度、收入、爱好等。用户交易数据是指用户进行的对象交易数据，比如，“用户A在11月30日购买了对象B”等。用户社交数据是指用户的社交关系数据，比如，“用户A与用户C是好友”等。用户行为数据是指用户在用户设备上的操作数据，比如，用户针对推送到用户设备上的对象广告的操作行为，比如，针对对象广告的点击行为、浏览行为等。这里，用户特征数据可以包括特征属性以及对应的属性值，并且用户特征数据可以是通过对用户特征数据进行向量化处理而得到的用户特征向量数据。例如，假设用户特征数据包括4个特征属性“用户名”、“用户年龄”、“交易总数”和“广告点击次数”，对应的属性值为“张三”、“28岁”、“交易总数为3次”以及“广告点击次数为10次”，则通过(例如，使用Wordvec算法)对用户特征数据进行向量化处理而得到的用户特征向量数据为(0.2,04,037,0.7)。这里要说明的是，上面的用户特征向量数据仅仅是示例，用户特征向量数据的维度通常多达数百维。具体采用哪些维度，将在用户偏好预测模型的训练过程中确定。
在如上得到用户特征数据后，在块120，使用用户偏好预测模型来基于用户特征数据得到用户偏好预测结果。这里，用户偏好预测模型是针对多个待推荐对象的用户偏好预测。所述用户偏好预测结果包括针对待推荐对象集中的各个待推荐对象的用户偏好预测值。这里，用户偏好预测值例如可以是0到1之间的值。
在本公开的一个示例中，所述用户偏好预测模型可以包括多个用户偏好预测模型。所述多个用户偏好预测模型是使用历史用户样本数据集并调整用户偏好预测模型的随机性来训练出的，所述用户样本数据包括用户特征数据和针对各个待推荐对象的推荐标签数据。
在一个示例中，所述用户偏好预测模型的随机性可以包括：用户特征属性选择的随机性；和/或用户样本数据选择的随机性。这里，用户特征属性选择的随机性是指随机选择用户偏好预测模型的训练所使用的用户特征属性。例如，假设用户特征属性为200种，则可以随机选择200种用户特征属性中的若干种用户特征属性(例如，150种用户特征属性)来训练用户偏好预测模型。用户样本数据选择的随机性是指随机选择用户偏好预测模型的训练所使用的用户样本数据。例如，假设收集了1000条用户样本数据，则可以随机选择该1000条用户样本数据中的800条用户样本数据来训练出对应的用户偏好预测模型。
在本公开中，所训练出的用户偏好预测模型的数目可以是预先规定的，例如，20个，或者可以根据用户偏好预测模型的具体应用场景来确定。
在如上得到用户偏好预测结果后，在块130，基于用户偏好预测结果，确定各个待推荐对象的用户偏好概率。
如果在块120中仅仅使用单个用户偏好预测模型，则可以将所得到的用户偏好预测结果中的针对各个待推荐对象的用户偏好预测值确定为各个待推荐对象的用户偏好概率。
如果在块120中使用多个用户偏好预测模型，则基于用户偏好预测结果，确定各个待推荐对象的用户偏好概率可以包括：基于多个用户偏好预测模型的用户偏好预测结果，确定各个待推荐对象的用户偏好概率。图2示出了在使用多个用户偏好预测模型下的待推荐对象的用户偏好概率确定过程的一个示例的示意图。
如图2所示，在使用多个用户偏好预测模型得到多个用户偏好预测结果后，在块131，基于多个用户偏好预测结果计算出针对所述各个待推荐对象的用户偏好预测值的置信区间。例如，假设存在5个用户偏好预测模型，模型1-5，以及待推荐对象集包括3个待推荐对象：对象A、对象B和对象C。模型1的用户偏好预测结果为(0.21,0.43,0.57)，模型2的用户偏好预测结果为(0.17,0.39,0.52)，模型3的用户偏好预测结果为(0.24,0.48,0.62)，模型4的用户偏好预测结果为(0.14,0.33,0.51)，以及模型5的用户偏好预测结果为(0.27,0.41,0.55)。相应地，针对对象A，使用{0.21,0.17,0.24,0.14,0.27}来计算出置信区间。针对对象B，使用{0.43,0.39,0.48,0.33,0.41}来计算出置信区间。针对对象C，使用{0.57,0.52,0.62,0.51,0.55}来计算出置信区间。
然后，在块133，基于各个待推荐对象的用户偏好预测值的置信区间，确定各个待推荐对象的用户偏好概率。例如，在一个示例中，可以将各个待推荐对象的用户偏好概率预测值的置信区间的上限，确定为各个待推荐对象的用户偏好概率。
回到图1，在如上得到各个待推荐对象的用户偏好概率后，在块140，使用Bandit算法来基于各个待推荐对象的用户偏好概率，确定各个待推荐对象的用户选择概率。
在本公开中，所述Bandit算法可以包括下述算法中的一种：简单观察法；Epsilon-Greedy算法及其变型；Epsilon-Greedy-Softmax算法及其变型；和Upper ConfidenceBound算法及其变型。
例如，在一个示例中，使用Bandit算法来基于各个待推荐对象的用户偏好概率，确定各个待推荐对象的用户选择概率可以包括：使用Bandit算法来基于各个待推荐对象的用户偏好概率以及温度系数，确定各个待推荐对象的用户选择概率，其中，所述温度系数随着用户偏好预测模型的迭代次数增加而减小。
在本公开的另一示例中，如果所使用的Bandit算法是Epsilon-Greedy-Softmax算法，则各个待推荐对象的用户选择概率Ps(k)是采用下述公式确定出的：
Q(i)＝PP(i)*Price(i)-Cost推荐费用(i)，
Q(k)＝PP(k)*Price(k)-Cost推荐费用(k)
其中，K是待推荐对象的总数，τ是温度系数，Ps(k)是第k个待推荐对象的用户选择概率，Q(k)是第k个待推荐对象的推荐收益，Pp(i)和Pp(k)分别是第i个和第k个待推荐对象的用户偏好概率，Price(i)和Price(k)分别是第i个和第k个待推荐对象的的交易成本，以及Cost推荐费用(i)和Cost推荐费用(k)分别是将第i个和第k个待推荐对象推荐给所述用户的推荐成本。在本公开中，待推荐对象的的交易成本例如可以是待推荐对象的售价。
在本公开中，Cost推荐费用也可以称为单次对象广告投放费用(或单次对象推荐成本)，其可以采用CPM/1000来确定出。这里，CPM(Cost Per Mille)称为千人成本，是指媒体或媒体排期表(SCHEDULING)送达1000人或“家庭”所需成本。
在如上得到各个待推荐对象的用户偏好概率和用户选择概率后，在块150，根据各个待推荐对象的用户偏好概率和用户选择概率，确定推荐对象。例如，在一个示例中，可以叠加各个待推荐对象的用户偏好概率和用户选择概率以得到各个待推荐对象的对象推荐概率，然后，将对象推荐概率最大的待推荐对象确定为推荐对象。在本公开的其它示例中，也可以采用其它合适的组合方式来组合用户偏好概率和用户选择概率，然后，将组合后的概率最大的待推荐对象确定为推荐对象。在另一示例中，用户偏好概率和用户选择概率可以具有对应的权重因子。相应地，根据各个待推荐对象的用户偏好概率和用户选择概率，确定推荐对象可以包括：根据各个待推荐对象的用户偏好概率、用户选择概率以及对应的权重因子，确定推荐对象。在本公开的一个示例中，用户偏好概率和用户选择概率的权重因子可以是基于待推荐对象的对象属性来确定的。
然后，在块160，将所确定的推荐对象推荐给用户。
此外，在本公开的另一示例中，所述对象推荐方法还可以包括：获取用户针对推荐对象的响应数据；基于响应数据来更新历史用户样本数据集，以用于用户偏好预测模型的迭代优化。
这里，所述响应数据包括广告曝光数据、点击数据和转化数据。广告曝光数据是指针对用户的对象推荐(即，对象广告，例如，商品广告)触达用户设备处的数据。点击数据是指用户针对触达用户设备的对象推荐的点击量。转化数据是指对象推荐转换为对象购买的数据。在收到上述响应数据后，基于所收集的响应数据来更新历史用户样本数据，即，更新历史用户样本数据中的用户特征数据，例如，用户交易数据、用户行为数据等。然后，使用更新后的历史用户样本数据来对用户偏好预测模型进行迭代训练和优化。
如上参照图1和图2对根据本公开的对象推荐方法进行描述。利用该对象推荐方法，通过在进行对象推荐时折衷考虑利用优选和探索优先，能够在确保冷启动时期的对象推荐准确率的情况下快速提升模型学习能力。
图3示出了根据本公开的实施例的对象推荐装置300的方框图。如图3所示，对象推荐装置300包括特征数据获取单元310、用户偏好预测单元320、用户偏好概率确定单元330、用户选择概率确定单元340、推荐对象确定单元350和推荐单元360。
特征数据获取单元310被配置为获取用户特征数据。特征数据获取单元310的操作可以参考上面参照图1描述的块110的操作。
用户偏好预测单元320被配置为使用用户偏好预测模型来基于用户特征数据得到用户偏好预测结果，所述用户偏好预测结果包括针对待推荐对象集中的各个待推荐对象的用户偏好预测值。用户偏好预测单元320的操作可以参考上面参照图1描述的块120的操作。
用户偏好概率确定单元330被配置为基于用户偏好预测结果，确定各个待推荐对象的用户偏好概率。用户偏好概率确定单元330的操作可以参考上面参照图1描述的块130的操作。
图4示出了根据本公开的实施例的用户偏好概率确定单元330的一个示例的示意图。如图4所示，用户偏好概率确定单元330包括置信区间计算模块331和用户偏好概率确定模块333。
置信区间计算模块331被配置为基于多个用户偏好预测模型的用户偏好预测结果来计算出针对各个待推荐对象的用户偏好预测值的置信区间。置信区间计算模块331的操作可以参考上面参照图2描述的块131的操作。
用户偏好概率确定模块333被配置为基于各个待推荐对象的用户偏好预测值的置信区间，确定各个待推荐对象的用户偏好概率。用户偏好概率确定模块333的操作可以参考上面参照图2描述的块131的操作。
用户选择概率确定单元340被配置为使用Bandit算法来基于各个待推荐对象的用户偏好概率，确定各个待推荐对象的用户选择概率。用户选择概率确定单元340的操作可以参考上面参照图1描述的块140的操作。
推荐对象确定单元350被配置为根据各个待推荐对象的用户偏好概率和用户选择概率，确定推荐对象。推荐对象确定单元350的操作可以参考上面参照图1描述的块150的操作。
对象推荐单元360被配置为将所确定的推荐对象推荐给用户。
此外，可选地，如图3所示，对象推荐装置300还可以包括响应数据获取单元370和样本数据更新单元380。
响应数据获取单元370被配置为获取用户针对推荐对象的响应数据。所述响应数据包括广告曝光数据、点击数据和转化数据。广告曝光数据是指针对用户的对象推荐(即，对象广告)触达用户设备处的数据。点击数据是指用户针对触达用户设备的对象推荐的点击量。转化数据是指对象推荐转换为对象购买的数据。
样本数据更新单元380被配置为基于响应数据来更新历史用户样本数据集，以用于用户偏好预测模型的迭代优化。例如，在收到上述响应数据后，样本数据更新单元380基于所收集的响应数据来更新历史用户样本数据，即，更新历史用户样本数据中的用户特征数据，例如，用户交易数据、用户行为数据等。然后，使用更新后的历史用户样本数据来对用户偏好预测模型进行迭代训练和优化。
如上参照图1到图4，对根据本公开的对象推荐方法及对象推荐装置的实施例进行了描述。上面的对象推荐装置可以采用硬件实现，也可以采用软件或者硬件和软件的组合来实现。
图5示出了根据本公开的实施例的用于对象推荐的计算设备500的硬件结构图。如图5所示，计算设备500可以包括至少一个处理器510、存储器(例如，非易失性存储器)520、内存530和通信接口540，并且至少一个处理器510、存储器520、内存530和通信接口540经由总线560连接在一起。至少一个处理器510执行在存储器中存储或编码的至少一个计算机可读指令(即，上述以软件形式实现的元素)。
在一个实施例中，在存储器中存储计算机可执行指令，其当执行时使得至少一个处理器510：获取用户特征数据；使用用户偏好预测模型来基于所述用户特征数据得到用户偏好预测结果，所述用户偏好预测结果包括针对待推荐对象集中的各个待推荐对象的用户偏好预测值；基于所述用户偏好预测结果，确定所述各个待推荐对象的用户偏好概率；使用Bandit算法来基于所述各个待推荐对象的用户偏好概率，确定所述各个待推荐对象的用户选择概率；根据所述各个待推荐对象的用户偏好概率和用户选择概率，确定推荐对象；以及将所确定的推荐对象推荐给用户。
应该理解，在存储器中存储的计算机可执行指令当执行时使得至少一个处理器510进行本公开的各个实施例中以上结合图1-4描述的各种操作和功能。
在本公开中，计算设备500可以包括但不限于：个人计算机、服务器计算机、工作站、桌面型计算机、膝上型计算机、笔记本计算机、移动计算设备、智能电话、平板计算机、蜂窝电话、个人数字助理(PDA)、手持装置、消息收发设备、可佩戴计算设备、消费电子设备等等。
根据一个实施例，提供了一种比如机器可读介质(例如，非暂时性机器可读介质)的程序产品。机器可读介质可以具有指令(即，上述以软件形式实现的元素)，该指令当被机器执行时，使得机器执行本公开的各个实施例中以上结合图1-4描述的各种操作和功能。具体地，可以提供配有可读存储介质的系统或者装置，在该可读存储介质上存储着实现上述实施例中任一实施例的功能的软件程序代码，且使该系统或者装置的计算机或处理器读出并执行存储在该可读存储介质中的指令。
在这种情况下，从可读介质读取的程序代码本身可实现上述实施例中任何一项实施例的功能，因此机器可读代码和存储机器可读代码的可读存储介质构成了本发明的一部分。
可读存储介质的实施例包括软盘、硬盘、磁光盘、光盘(如CD-ROM、CD-R、CD-RW、DVD-ROM、DVD-RAM、DVD-RW、DVD-RW)、磁带、非易失性存储卡和ROM。可选择地，可以由通信网络从服务器计算机上或云上下载程序代码。
本领域技术人员应当理解，上面公开的各个实施例可以在不偏离发明实质的情况下做出各种变形和修改。因此，本发明的保护范围应当由所附的权利要求书来限定。
需要说明的是，上述各流程和各系统结构图中不是所有的步骤和单元都是必须的，可以根据实际的需要忽略某些步骤或单元。各步骤的执行顺序不是固定的，可以根据需要进行确定。上述各实施例中描述的装置结构可以是物理结构，也可以是逻辑结构，即，有些单元可能由同一物理实体实现，或者，有些单元可能分由多个物理实体实现，或者，可以由多个独立设备中的某些部件共同实现。
以上各实施例中，硬件单元或模块可以通过机械方式或电气方式实现。例如，一个硬件单元、模块或处理器可以包括永久性专用的电路或逻辑(如专门的处理器，FPGA或ASIC)来完成相应操作。硬件单元或处理器还可以包括可编程逻辑或电路(如通用处理器或其它可编程处理器)，可以由软件进行临时的设置以完成相应操作。具体的实现方式(机械方式、或专用的永久性电路、或者临时设置的电路)可以基于成本和时间上的考虑来确定。
上面结合附图阐述的具体实施方式描述了示例性实施例，但并不表示可以实现的或者落入权利要求书的保护范围的所有实施例。在整个本说明书中使用的术语“示例性”意味着“用作示例、实例或例示”，并不意味着比其它实施例“优选”或“具有优势”。出于提供对所描述技术的理解的目的，具体实施方式包括具体细节。然而，可以在没有这些具体细节的情况下实施这些技术。在一些实例中，为了避免对所描述的实施例的概念造成难以理解，公知的结构和装置以框图形式示出。
本公开内容的上述描述被提供来使得本领域任何普通技术人员能够实现或者使用本公开内容。对于本领域普通技术人员来说，对本公开内容进行的各种修改是显而易见的，并且，也可以在不脱离本公开内容的保护范围的情况下，将本文所定义的一般性原理应用于其它变型。因此，本公开内容并不限于本文所描述的示例和设计，而是与符合本文公开的原理和新颖性特征的最广范围相一致。

Claims (20)

1.一种对象推荐方法，包括：
获取用户特征数据；
使用用户偏好预测模型来基于所述用户特征数据得到用户偏好预测结果，所述用户偏好预测结果包括针对待推荐对象集中的各个待推荐对象的用户偏好预测值；
基于所述用户偏好预测结果，确定所述各个待推荐对象的用户偏好概率；
使用Bandit算法来基于所述各个待推荐对象的用户偏好概率，确定所述各个待推荐对象的用户选择概率；
根据所述各个待推荐对象的用户偏好概率和用户选择概率，确定推荐对象；以及
将所确定的推荐对象推荐给用户。
2.如权利要求1所述的对象推荐方法，其中，所述用户偏好预测模型包括多个用户偏好预测模型，并且所述多个用户偏好预测模型是使用历史用户样本数据集并调整用户偏好预测模型的随机性来训练出的，所述用户样本数据包括用户特征数据和针对所述各个待推荐对象的推荐标签数据。
3.如权利要求2所述的对象推荐方法，其中，基于所述用户偏好预测结果，确定所述各个待推荐对象的用户偏好概率包括：
基于多个用户偏好预测模型的用户偏好预测结果来计算出针对所述各个待推荐对象的用户偏好预测值的置信区间；以及
基于所述各个待推荐对象的用户偏好预测值的置信区间，确定所述各个待推荐对象的用户偏好概率。
4.如权利要求3所述的对象推荐方法，其中，基于所述各个待推荐对象的用户偏好概率预测值的置信区间，确定所述各个待推荐对象的用户偏好概率包括：
将所述各个待推荐对象的用户偏好概率预测值的置信区间的上限，确定为所述各个待推荐对象的用户偏好概率。
5.如权利要求1所述的对象推荐方法，其中，所述用户偏好预测模型的随机性包括：
用户特征属性选择的随机性；和/或
用户样本数据选择的随机性。
6.如权利要求1所述的对象推荐方法，其中，所述用户特征数据包括：
用户画像数据；
用户交易数据；
用户社交数据；和/或
用户行为数据。
7.如权利要求1所述的对象推荐方法，其中，所述用户偏好概率和用户选择概率具有对应的权重因子，以及
根据所述各个待推荐对象的用户偏好概率和用户选择概率，确定推荐对象包括：
根据所述各个待推荐对象的用户偏好概率、用户选择概率以及对应的权重因子，确定推荐对象。
8.如权利要求1到7中任一所述的对象推荐方法，其中，所述Bandit算法包括下述算法中的一种：
简单观察法；
Epsilon-Greedy算法及其变型；
Epsilon-Greedy-Softmax算法及其变型；和
Upper Confidence Bound算法及其变型。
9.如权利要求1所述的对象推荐方法，还包括：
获取所述用户针对所述推荐对象的响应数据；以及
基于所述响应数据来更新所述历史用户样本数据集，以用于用户偏好预测模型的迭代优化。
10.如权利要求8所述的对象推荐方法，其中，使用Bandit算法来基于所述各个待推荐对象的用户偏好概率，确定所述各个待推荐对象的用户选择概率包括：
使用Bandit算法来基于所述各个待推荐对象的用户偏好概率以及温度系数，确定所述各个待推荐对象的用户选择概率，其中，所述温度系数随着用户偏好预测模型的迭代次数增加而减小。
11.如权利要求10所述的对象推荐方法，其中，在所述Bandit算法包括Epsilon-Greedy-Softmax算法时，所述各个待推荐对象的用户选择概率Ps(k)是采用下述公式确定出的：
Q(i)＝PP(i)*Price(i)-Cost推荐费用(i)，
Q(k)＝PP(k)*Price(k)-Cost推荐费用(k)
其中，K是待推荐对象的总数，τ是温度系数，Ps(k)是第k个待推荐对象的用户选择概率，Q(k)是第k个待推荐对象的推荐收益，Pp(i)和Pp(k)分别是第i个和第k个待推荐对象的用户偏好概率，Price(i)和Price(k)分别是第i个和第k个待推荐对象的交易成本，以及Cost推荐费用(i)和Cost推荐费用(k)分别是将第i个和第k个待推荐对象推荐给所述用户的推荐成本。
12.一种对象推荐装置，包括：
特征数据获取单元，被配置为获取用户特征数据；
用户偏好预测单元，被配置为使用用户偏好预测模型来基于所述用户特征数据得到用户偏好预测结果，所述用户偏好预测结果包括针对待推荐对象集中的各个待推荐对象的用户偏好预测值；
用户偏好概率确定单元，被配置为基于所述用户偏好预测结果，确定所述各个待推荐对象的用户偏好概率；
用户选择概率确定单元，被配置为使用Bandit算法来基于所述各个待推荐对象的用户偏好概率，确定所述各个待推荐对象的用户选择概率；
推荐对象确定单元，被配置为根据所述各个待推荐对象的用户偏好概率和用户选择概率，确定推荐对象；以及
对象推荐单元，被配置为将所确定的推荐对象推荐给用户。
13.如权利要求12所述的对象推荐装置，其中，所述用户偏好预测模型包括多个用户偏好预测模型，并且所述多个用户偏好预测模型是使用历史用户样本数据集并调整用户偏好预测模型的随机性来训练出的，所述用户样本数据包括用户特征数据和针对所述各个待推荐对象的推荐标签数据。
14.如权利要求13所述的对象推荐装置，其中，所述用户偏好概率确定单元包括：
置信区间计算模块，被配置为基于所述多个用户偏好预测模型的用户偏好预测结果来计算出针对所述各个待推荐对象的用户偏好预测值的置信区间；以及
用户偏好概率确定模块，被配置为基于所述各个待推荐对象的用户偏好预测值的置信区间，确定所述各个待推荐对象的用户偏好概率。
15.如权利要求14所述的对象推荐装置，其中，所述用户偏好概率确定模块被配置为：
将所述各个待推荐对象的用户偏好概率预测值的置信区间的上限，确定为所述各个待推荐对象的用户偏好概率。
16.如权利要求12所述的对象推荐装置，其中，所述用户偏好概率和用户选择概率具有对应的权重因子，以及
所述推荐对象确定单元被配置为：
根据所述各个待推荐对象的用户偏好概率、用户选择概率以及对应的权重因子，确定推荐对象。
17.如权利要求12所述的对象推荐装置，还包括：
响应数据获取单元，被配置为获取所述用户针对所述推荐对象的响应数据；以及
样本数据更新单元，被配置为基于所述响应数据来更新所述历史用户样本数据集，以用于用户偏好预测模型的迭代优化。
18.如权利要求17所述的对象推荐装置，其中，所述用户选择概率确定单元被配置为：
使用Bandit算法来基于所述各个待推荐对象的用户偏好概率以及温度系数，确定所述各个待推荐对象的用户选择概率，其中，所述温度系数随着用户偏好预测模型的迭代次数增加而减小。
19.一种计算设备，包括：
至少一个处理器，以及
与所述至少一个处理器耦合的存储器，所述存储器存储指令，当所述指令被所述至少一个处理器执行时，使得所述至少一个处理器执行如权利要求1到11中任一所述的方法。
20.一种机器可读存储介质，其存储有可执行指令，所述指令当被执行时使得所述机器执行如权利要求1到11中任一所述的方法。
CN201910512735.5A 2019-06-13 2019-06-13 对象推荐方法及装置 Active CN110348947B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910512735.5A CN110348947B (zh) 2019-06-13 2019-06-13 对象推荐方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910512735.5A CN110348947B (zh) 2019-06-13 2019-06-13 对象推荐方法及装置

Publications (2)

Publication Number Publication Date
CN110348947A true CN110348947A (zh) 2019-10-18
CN110348947B CN110348947B (zh) 2022-02-25

Family

ID=68181969

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910512735.5A Active CN110348947B (zh) 2019-06-13 2019-06-13 对象推荐方法及装置

Country Status (1)

Country Link
CN (1) CN110348947B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111260416A (zh) * 2020-02-13 2020-06-09 支付宝(杭州)信息技术有限公司 用于确定对象的关联用户的方法及装置
CN112950328A (zh) * 2021-03-24 2021-06-11 第四范式（北京）技术有限公司 一种组合对象推荐方法、装置、系统和存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1923803A1 (en) * 2001-10-04 2008-05-21 Sony Corporation Information processing system, apparatus and method
CN102053971A (zh) * 2009-10-30 2011-05-11 日电（中国）有限公司 用于面向排序的协同过滤的推荐方法和设备
CN104268187A (zh) * 2014-09-17 2015-01-07 合一网络技术(北京)有限公司 基于用户反馈的支持多场景的在线内容优选系统
CN107563867A (zh) * 2017-09-06 2018-01-09 天津大学 一种基于多臂赌博机置信上限的推荐系统冷启动方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1923803A1 (en) * 2001-10-04 2008-05-21 Sony Corporation Information processing system, apparatus and method
CN102053971A (zh) * 2009-10-30 2011-05-11 日电（中国）有限公司 用于面向排序的协同过滤的推荐方法和设备
CN104268187A (zh) * 2014-09-17 2015-01-07 合一网络技术(北京)有限公司 基于用户反馈的支持多场景的在线内容优选系统
CN107563867A (zh) * 2017-09-06 2018-01-09 天津大学 一种基于多臂赌博机置信上限的推荐系统冷启动方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111260416A (zh) * 2020-02-13 2020-06-09 支付宝(杭州)信息技术有限公司 用于确定对象的关联用户的方法及装置
CN112950328A (zh) * 2021-03-24 2021-06-11 第四范式（北京）技术有限公司 一种组合对象推荐方法、装置、系统和存储介质

Also Published As

Publication number Publication date
CN110348947B (zh) 2022-02-25

Similar Documents

Publication Publication Date Title
CN110008973B (zh) 一种模型训练方法、基于模型确定目标用户的方法及装置
CN108460618B (zh) 一种资源配置方法及装置，电子设备
CN108960992A (zh) 一种信息推荐方法以及相关设备
CN110427560B (zh) 一种应用于推荐系统的模型训练方法以及相关装置
CN104239338A (zh) 信息推荐方法及装置
CN107784390A (zh) 用户生命周期的识别方法、装置、电子设备及存储介质
JP6976207B2 (ja) 情報処理装置、情報処理方法、およびプログラム
CN110033120A (zh) 用于为商户提供风险预测赋能服务的方法及装置
CN110689402A (zh) 推荐商家的方法、装置、电子设备及可读存储介质
CN110020662A (zh) 用户分类模型的训练方法和装置
CN110362594A (zh) 一种信息处理方法和系统
CN109711917A (zh) 信息推送方法和装置
CN111626767B (zh) 资源数据的发放方法、装置及设备
CN112581226A (zh) 产品推荐方法及系统
CN110348947A (zh) 对象推荐方法及装置
CN115423538A (zh) 新品销量数据的预测方法及装置、存储介质、电子设备
CN115345530A (zh) 商场地址推荐方法、装置、设备及计算机可读存储介质
CN111538909A (zh) 一种信息推荐方法及装置
CN113763095B (zh) 信息推荐方法、装置和模型训练方法、装置
CN110598094A (zh) 基于矩阵补全的购物推荐方法、电子设备及存储介质
CN111340566B (zh) 一种商品分类方法、装置、电子设备及存储介质
CN108510302A (zh) 一种营销决策方法及交易服务器
CN113034168A (zh) 内容项投放方法、装置、计算机设备及存储介质
CN111768218A (zh) 用于处理用户交互信息的方法和装置
CN110826823A (zh) 定价策略的评价方法和系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40015752

Country of ref document: HK

TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20201009

Address after: English genus

Applicant after: Innovative advanced technology Co.,Ltd.

Address before: English genus

Applicant before: Advanced innovation technology Co.,Ltd.

Effective date of registration: 20201009

Address after: English genus

Applicant after: Advanced innovation technology Co.,Ltd.

Address before: A four-storey 847 mailbox in Grand Cayman Capital Building, British Cayman Islands

Applicant before: Alibaba Group Holding Ltd.

GR01 Patent grant
GR01 Patent grant