CN110442796A - 一种推荐策略分桶方法、装置及设备 - Google Patents

一种推荐策略分桶方法、装置及设备 Download PDF

Info

Publication number
CN110442796A
CN110442796A CN201910750487.8A CN201910750487A CN110442796A CN 110442796 A CN110442796 A CN 110442796A CN 201910750487 A CN201910750487 A CN 201910750487A CN 110442796 A CN110442796 A CN 110442796A
Authority
CN
China
Prior art keywords
content
user
generalization bounds
bucket
recalled
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910750487.8A
Other languages
English (en)
Inventor
王冉
杨明川
杨溥
徐唐
沈仁奎
邓鑫鑫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Mind Creation Information Technology Co Ltd
Original Assignee
Beijing Mind Creation Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Mind Creation Information Technology Co Ltd filed Critical Beijing Mind Creation Information Technology Co Ltd
Priority to CN201910750487.8A priority Critical patent/CN110442796A/zh
Publication of CN110442796A publication Critical patent/CN110442796A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/953—Querying, e.g. by the use of web search engines
    • G06F16/9535—Search customisation based on user profiles and personalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/953—Querying, e.g. by the use of web search engines
    • G06F16/9538—Presentation of query results

Landscapes

  • Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本申请公开了一种推荐策略分桶方法、装置及设备，用于实现配置多种推荐策略并根据每种推荐策略是否贴近用户需求调整相应的流量配比。该推荐策略分桶方法中：针对同一应用场景，配置多个推荐策略，每个推荐策略对应一个分桶；根据用户的用户标识确定所述用户对应的分桶；根据所述用户对应的分桶所对应的目标推荐策略，确定为所述用户推荐的内容；根据所述推荐的内容是否被用户接纳确定所述目标推荐策略的性能指标；若所述性能指标满足第一预设条件，则增加所述目标推荐策略对应的分桶对应的用户数量；和/或，若所述性能指标满足第二预设条件，则降低所述目标推荐策略对应的分桶对应的用户数量。

Description

一种推荐策略分桶方法、装置及设备
技术领域
本申请涉及信息技术领域，尤其涉及一种推荐策略分桶方法、装置及设备。
背景技术
随着信息技术的发展，为用户推荐个性化内容的需求也随之高涨。目前，大多数的推荐系统基于相同的策略以及用户的历史行为进行建模，以实现为用户推荐感兴趣的内容。
然而对于不同场景和不同的用户群体，采用相同的策略进行内容，未必能够满足用户需求。此外，对于数据稀疏、冷启动等情况，也不适宜采用相同的推荐策略。
发明内容
本说明书实施例提供一种推荐策略分桶方法、装置及设备，用以解决采用单一推荐策略为用户推荐内容的局限性问题。
第一方面，本说明书实施例提供的一种推荐策略分桶方法，包括：
针对同一应用场景，配置多个推荐策略，每个推荐策略对应一个分桶；
根据用户的用户标识确定所述用户对应的分桶；
根据所述用户对应的分桶所对应的目标推荐策略，确定为所述用户推荐的内容；
根据所述推荐的内容是否被用户接纳确定所述目标推荐策略的性能指标；
若所述性能指标满足第一预设条件，则增加所述目标推荐策略对应的分桶对应的用户数量；和/或，若所述性能指标满足第二预设条件，则降低所述目标推荐策略对应的分桶对应的用户数量。
在上述实施例中，针对每一个应用场景可以配置多种推荐策略，即设置多个分桶，然后根据推荐内容是否被用户接纳确定推荐策略的性能，对于性能较高的推荐策略，可以为增加为其分配的流量，即增加该推荐策略对应的用户数量，或者在性能较低时降低其流量，从而实现在更加灵活的为用户推荐内容。
第二方面，本说明书实施例提供一种推荐装置，包括：
配置模块，用于针对同一应用场景，配置多个推荐策略，每个推荐策略对应一个分桶；
确定模块，用于根据用户的用户标识确定所述用户对应的分桶；
推荐模块，用于根据所述用户对应的分桶所对应的目标推荐策略，确定为所述用户推荐的内容；
性能确定模块，用于根据所述内容是否被用户接纳确定所述目标推荐策略的性能指标；
分桶流量调整模块，用于若所述性能指标满足第一预设条件，则增加所述目标推荐策略对应的分桶对应的用户数量；和/或，若所述性能指标满足第二预设条件，则降低所述目标推荐策略对应的分桶对应的用户数量。
第三方面，本说明书实施例提供一种推荐设备，包括：
至少一个处理器，与所述至少一个处理器通信连接的存储器；
所述至少一个处理器用于读取所述存储器中的程序，用于执行上述第一方面中的推荐策略分桶方法。
第四方面，本说明书实施例提供一种计算机可读存储介质，所述计算机可读存储介质上存储有指令，所述指令被处理器执行时实现上述第一方面中的推荐策略分桶方法。
附图说明
图1为本说明书实施例提供的推荐策略分桶方法的流程示意图；
图2为本说明书实施例提供的推荐策略的示意图；
图3为本说明书实施例提供的推荐装置的结构示意图；
图4为本说明书实施例提供的推荐设备的结构示意图。
具体实施方式
为使本说明书的目的、技术方案和优点更加清楚，下面将结合具体实施例及相应的附图对本说明书中的技术方案进行清楚、完整地描述。基于本说明书中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
本说明书实施例提供一种推荐策略分桶方法，用于实现配置多种推荐策略并根据每种推荐策略是否贴近用户需求调整相应的流量配比。
参见图1，为本说明书实施例提供的推荐策略分桶方法的流程示意图，如图所示，该方法可以包括以下步骤：
步骤101、针对同一应用场景，配置多个推荐策略，每个推荐策略对应一个分桶。
针对不同的场景可以采用不同的推荐策略，例如，针对一款应用的首页和其下设的不同功能分页，可以使用不同的推荐策略为用户推荐内容。而在本说明书实施例中，即使在同一应用场景中，也可以配置多个推荐策略，以实现灵活地为用户进行推荐。
推荐策略可以包括以下一种或多种：
召回方式，从海量信息中召回用户可能感兴趣的内容，即推荐给用户的候选内容。举例说明，在一个学习阅读类的应用程序(Application，APP)中，包含有海量的学习内容或电子书籍等，可以根据用户的历史阅读记录分析用户偏好的学习类型、阅读类型从海量内容中选出用户可能感兴趣的若干个学习内容或电子书，或者，还可以根据学习、阅读的热度为用户推荐热度较高的若干条内容。如图2所示，召回方式具体可以包括基于标签的召回方式、基于行为的召回方式、基于热门的召回方式、基于随机因子的召回方式、基于深度神经网络(Deep Neural Network，DNN)召回模型的召回方式等等。在一个推荐策略中，可以包含有一种或多种召回方式，对于每种召回方式可以设置有各自的权重，可以根据权重确定根据该召回方式召回的内容的数量。进一步地，每一种召回方式可以对应有一个开关，开关开启则采用该召回方式并获取该召回方式的结果数据集，关闭则不采用该召回方式，即不获取相应的结果数据集。为每个召回方式设置有开关，可以方便进行对比试验，从而优化推荐系统。
过滤设置，即对召回的内容进行过滤，过滤掉用户可能不感兴趣的内容。例如，可以设置对用户已阅读的内容进行过滤，或者对用户已购买的商品进行过滤，或者对属于用户已标记不感兴趣的类型的内容进行过滤等。
降权设置，可以对已经曝光过的内容进行降权。在召回内容时可以根据召回配置对召回的内容进行打分，得到第一分数，可作为确定内容显示顺序的参考，若确定召回的内容中包含已向用户展示的内容或已推荐给用户的内容，则可以在其第一分数的基础上乘以降权系数，以降低该内容的第一分数，从而可能导致该内容在展示给用户时的排位较为靠后。例如，设置降权系数“expoScore”：0.01，则表示将已曝光过的内容的第一分数乘以0.01。当然，乘以降权系数仅为一种具体实现方式，还可以通过其他方式实现降权，例如在第一分数的基础上减去降权分数等。
加权设置，可以对部分类型的内容进行加权。例如，用户已标记偏好语言类学习内容，则可以对召回的语言类学习内容进行加权，即，对该语言类学习内容的第一分数乘以加权系数，以增加该内容的第一分数，从而可能使得该内容在展示给用户时的排位较为靠前。当然，乘以加权系数仅为一种具体实现方式，还可以通过其他方式实现降权，例如在第一分数的基础上加上加权分数等。
排序模型，用于对召回的内容进行排序。不同的排序模型在训练时可能使用的训练样本或参数不同，导致对同样的输入内容输出的排序结果不同。排序模型用于预测用户对召回商品的点击率，对召回内容进行再次排序。例如模型1比其他模型新增了用户的使用时长的特征。通过在策略上配置不同模型进行对比试验，从而有助于选出排序更准确的模型，进而优化推荐系统。在一种可能的实现方式中，排序模型可以对召回的内容输出相应的第二分数，然后结合第一分数和第二分数确定内容的最终得分，从而确定内容的排序。
打散设置，根据排序模型输出的第二分数确定内容的排序或者根据结合第一分数和第二分数确定的内容排序，可能会导致显示给用户的连续多个内容相近或属于相同类型，造成用户审美疲劳，因此，还可以对待推荐给用户的内容顺序进行调整。例如，若设置精品课程、电子书、有声读物的顺序比例为3:3:2，则可以将3个评分最高的精品课程显示在前面，然后显示3个评分最高的电子书，之后再显示2个评分最高的有声读物；然后可以再按照上述比例继续循环显示评分次之的精品课程、电子书、有声读物。
降级设置，在检测到异常时，跳过部分处理逻辑，即降级程序。例如，在网络异常或其他事故导致部分处理无法正常进行时，可以手动开启降级开关，开关开启将会跳过部分数据读取以及缓存操作，保证结果正常返回。
当然，推荐策略还可以包括其他设置，本实施例对此不作限制。上述推荐策略中的各种设置可以通过配置参数的方式配置在应用平台中。
步骤103、根据用户的用户标识确定用户对应的分桶。
进入到某一应用场景的不同用户，可以根据其用户ID将其分配各种对应的分桶，即，根据对应的分桶所对应的推荐策略为用户进行内容推荐。可选地，可以采用哈希法或白名单法确定用户对应的分桶。
举例说明，在场景A中共设置了5个分桶，分别对应的不同的推荐策略配置参数，具体包括基准桶、分桶1、分桶2、分桶3以及分桶4；对用户ID采用CRC32算法后，除以100并取余数，若该余数落在区间[20,39]内，则该用户对应分桶1；若该余数落在区间[40,59]内，则该用户对应分桶2；若该余数落在区间[60,79]内，则该用户对应分桶3；若该余数落在区间[80,99]内，则该用户对应分桶4；若该余数没有落入上述区间，则该用户对应基础桶。
步骤105、根据用户对应的分桶所对应的目标推荐策略，确定为用户推荐的内容。
如前所述，不同分桶对应有不同的推荐策略，在上述步骤103中，确定出用户对应的分桶后，则采用该分桶所对应的目标推荐策略为该用户推荐内容。具体地，可以根据目标推荐策略中的至少一种召回方式确定召回内容，然后对召回内容进行排序，并根据排序后的召回内容确定为用户推荐的内容。
一个分桶对应的推荐策略中可以包括一种或多种召回方式。若包含有多种召回方式时，可以为每种召回方式配置相应的权重，根据权重确定根据每种召回方式所召回的内容的数量。例如，若基于用户阅读偏好的召回方式的权重为0.4，基于热度的召回方式的权重为0.6，则基于用户阅读偏好召回内容的数量与基于热度召回内容的数量之比为4:6。若权重值缺省，可以认为每种召回方式的权重相同。为了更加灵活的对推荐策略进行调整，每种召回方式还可以设置相应的开关，即，可以根据不同的需求选择采用哪一种或哪几种召回方式进行召回操作。
在召回过程中，可以对召回的内容进行打分得到第一分数，因此，可以根据该第一分数高低确定各召回内容的显示顺序。此外，也可以采用排序模型对召回的内容进行打分得到第二分数，然后结合第一分数和第二分数确定各召回内容的显示顺序，例如为第一分数和第二分数分别设置权重，然后对第一分数和第二分数进行加权求和，根据其和的大小确定召回内容的显示顺序。或者，还可以不考虑召回时确定的第一分数，仅根据排序模型输出的第二分数对召回内容进行排序。
如前所述，目标推荐策略中还可以包括过滤设置、降权设置、加权设置等。若目标推荐策略中还包括这些设置，在一些实施例中，可以在召回内容之后、采用排序模型进行排序之前，对召回的内容进行过滤，也可以对第一分数进行降权或加权。在另外一些实施例中，还可以在排序模型输出第二分数后，再对内容进行过滤，或者对第二分数进行降权或加权。
此外，目标推荐策略中还可能包括打散设置，可以在经过排序模型确定出各召回内容的最终评分后，根据打散设置对召回内容进行打散调整，有助于避免用户对过多相似的或同类型的内容感到厌烦。
步骤107、根据推荐的内容是否被用户接纳，确定目标推荐策略的性能指标。
在将最终确定的内容推荐给用户后，还可以进一步统计该推荐内容是否被用户接纳，进而分析当前使用的推荐策略的性能，从而实现对推荐系统的优化。具体地，可以统计推荐内容是否被用户点击，或者，在购物类应用程序中，也可以统计用户是否购买了推荐的商品等。在一些具体实施例中，可以通过埋点日志确定用户是否点击了推荐的内容，即，对推荐的内容进行埋点操作，以收集用户的点击或购买行为数据。
性能指标可以包括用户点击率、商品点击率等等。具体地，用户点击率指用户至少点击一次推荐的内容的概率，即，在某个场景中，点击推荐内容的用户数量与进入该场景的用户数量的比值；商品点击率指某个被推荐的商品(或其他内容)被点击的次数与该商品被推荐的次数的比值。若用户点击率和/或商品点击率越高，可以认为该推荐策略的性能越好；若用户点击率和/或商品点击率越低，可以认为该推荐策略的性格越差。
步骤109、若性能指标满足第一预设条件，则增加该目标推荐策略对应的分桶的用户数量，和/或，若性能指标满足第二预设条件，则降低目标推荐策略对应的分桶的用户数量。
若用户点击率和/或商品点击率达到第一预设阈值，则认为该目标推荐策略的性能较高，推荐效果较好，则可以使用该目标推荐策略为更多的用户进行推荐，即，增加该目标推荐策略对应的分桶所对应的用户数量；若用户点击率和/或商品点击率低于第二预设阈值，则认为该目标推荐策略的性能较差，推荐效果不好，则可以减少该目标推荐策略所服务的用户数量，即，减少该目标推荐策略对应的分桶所对应的用户数量。例如，若分桶1(对应取余为20-39的用户)对应的推荐策略的的用户点击率为80％，超过第一预设阈值70％，则可以将分桶1对应的用户扩大至取余为20-49的用户；若分桶2(对应取余为40-59的用户)对应的推荐策略的用户点击率为10％，低于第二预设阈值20％，则可以将分桶2对应的用户缩小至取余为50-59的用户。
进一步地，若目标推荐策略的性能较差，即，满足第二预设条件时，还可以对该目标推荐策略进行修改，例如，关闭某些不符合用户需求的召回方式，调整各种召回方式的权重，调整排序模型的参数等等。或者，还可以将该分桶下线，释放该分桶所对应的用户，将流量拨给性能较优的其他分桶。
若目标推荐策略的性能较好，还可以对目标推荐策略全量上线，例如，将该策略所在分桶的流量开放至0-99，将其他分桶下线，完成一次优化迭代。
为了更加清楚理解上述实施例中的推荐策略的配置，下面进行详细的举例说明。
matchTypeLevel表示推荐策略中召回方式的配置信息，包括的召回方式及每种方式对应的权重可以如下所示：
各种召回方式是否开启以及每种召回方式所依赖的数据表可以如下所示：
"hotTable":"rec_union_hot",
"isU2l2i":true,
"u2l2iTable":"rec_recommend_u2l2i",
"isU2i2i":true,
"u2i2iTable":"rec_union_u2i2i",
是否使用排序模型、使用哪个排序模型的配置信息可以如下所示："isOnlineRanking":true,"onlineRankingModelId":14，其中，“14”表示排序模型的ID。
召回内容时得到的第一分数(onlineRankingOriScorePow)与排序模型得到的第二分数(onlineRankingTFScorePow)的权重的配置信息可以如下所示："onlineRankingOriScorePow":0,"onlineRankingTFScorePow":1，其中，第一分数的权重为0，则表示不考虑第一分数，仅根据第二分数进行排序。
是否开启对不喜欢、已购买的内容进行过滤的配置信息可以如下所示："isFilterDislike":true,"isFilterBuy":true。
是否开启加权设置、加权参数的配置信息可以如下所示：
其中，“2”、“13”、“66”、“818”表示内容的类型，后面的数字表示相应的权重。
在一种可能的实现方式中，在推荐策略进行线上使用之前，还可以对推荐策略的性能进行离线评估。例如，将获取到的历史数据(包括已推荐给用户的内容以及用户是否点击等)按照8:2的比例分为训练集Xtrain和测试集Xtest，在训练集上学习相应的模型，并使用测试集对训练处的模型进行测试。其中，模型可以选用XGBoost、DeepFM或其他模型，模型的准确率可以采用ROC曲线以及AUC等指标来衡量。ROC曲线是根据真正率(TPR)和假正率(FPR)绘制而成的，具体地，以FPR为横坐标、TPR为纵坐标的曲线。其中，TPR＝TP/(TP+FN)，FPR＝TN/(FP+TN)，而TP、FP、FN、TN的含义可以如表1所示。
表1
P(Positive)：代表1，N(Negative)：代表0，T(True)：代表预测正确，F(False)：代表错误。
而AUC表示ROC曲线下的面积，介于0.1和1之间。AUC作为数值可以直观的评价模型的好坏，值越大表示模型的准确率越高。
通过采用准确率较高的模型对推荐策略进行离线估计，若估计结果表示该推荐策略性能较高，则允许该推荐策略上线，为用户提供推荐服务，否则，不允许该推荐策略上线。
通过上述实施例，针对每一个应用场景可以配置多种推荐策略，即设置多个分桶，然后根据推荐内容是否被用户接纳确定推荐策略的性能，对于性能较高的推荐策略，可以为增加为其分配的流量，即增加该推荐策略对应的用户数量，或者在性能较低时降低其流量，从而实现在更加灵活的为用户推荐内容，优化推荐系统。
基于相同的技术构思，本说明书实施例还提供了一种推荐装置，用于实现上述方法实施例。该推荐装置可以如图3所示，包括配置模块301、确定模块302、推荐模块303、性能确定模块304以及分桶流量调整模块305。
其中，配置模块301，用于针对同一应用场景，配置多个推荐策略，每个推荐策略对应一个分桶。
确定模块302，用于根据用户的用户标识确定所述用户对应的分桶。
推荐模块303，用于根据所述用户对应的分桶所对应的目标推荐策略，确定为所述用户推荐的内容。
性能确定模块304，用于根据所述内容是否被用户接纳确定所述目标推荐策略的性能指标。
分桶流量调整模块305，用于若所述性能指标满足第一预设条件，则增加所述目标推荐策略对应的分桶对应的用户数量；和/或，若所述性能指标满足第二预设条件，则降低所述目标推荐策略对应的分桶对应的用户数量。
在一种可能的实现方式中，上述推荐模块303，具体用于：
根据所述目标推荐策略中的至少一种召回方式确定召回内容，所述召回内容表示推荐给用户的候选内容；对所述召回内容进行排序。
在一种可能的实现方式中，上述推荐模块303，具体用于：
所述目标推荐策略中包括多种召回方式，根据每种召回方式的权重，确定根据每种召回方式召回的内容的数量，根据每种召回方式和对应的数量确定召回内容。
在一种可能的实现方式中，上述推荐模块303，还用于：
根据用户已阅读、已购买或者已标记不喜欢的内容，对所述召回内容进行过滤；和/或
若所述召回内容中包含有已推荐给用户的内容，则降低所述已推荐给用户的内容的权重；和/或
对所述召回内容中的第一类型的内容进行加权，所述第一类型为用户感兴趣的内容类型。
在一种可能的实现方式中，上述推荐模块303，具体用于：
根据所述召回内容在召回时确定的第一分数和/或通过排序模型对所述召回内容进行打分得到的第二分数，对所述召回内容进行排序。
在一种可能的实现方式中，上述推荐模块303，还用于：
根据预设的内容类型顺序，对所述排序后的召回内容进行调整。
在一种可能的实现方式中，上述性能确定模块304，具体用于：
根据用户是否点击所述推荐的内容确定用户点击率和/或商品点击率，根据所述用户点击率和/或商品点击率确定所述目标推荐策略的性能指标。
在一种可能的实现方式中，上述分桶流量调整模块305，还用于：
若所述性能指标满足第二预设条件，修改所述目标推荐策略。
基于相同的技术构思，本说明书实施例还提供了一种推荐设备，如图4所示，该推荐设备400包括：至少一个处理器401，与所述至少一个处理器401通信连接的存储器402；
所述至少一个处理器401用于读取存储器402中的程序，用于执行以下步骤：
针对同一应用场景，配置多个推荐策略，每个推荐策略对应一个分桶；根据用户的用户标识确定所述用户对应的分桶；根据所述用户对应的分桶所对应的推荐策略，确定为所述用户推荐的内容；根据所述推荐的内容是否被用户接纳确定所述推荐策略的性能指标；若所述性能指标满足第一预设条件，则增加所述目标推荐策略对应的分桶对应的用户数量；和/或，若所述性能指标满足第二预设条件，则降低所述目标推荐策略对应的分桶对应的用户数量。
在一种可能的实现方式中，处理器401具体用于：
根据所述目标推荐策略中的至少一种召回方式确定召回内容，所述召回内容表示推荐给用户的候选内容；对所述召回内容进行排序。
在一种可能的实现方式中，处理器401具体用于：
所述目标推荐策略中包括多种召回方式，根据每种召回方式的权重，确定根据每种召回方式召回的内容的数量，根据每种召回方式和对应的数量确定召回内容。
在一种可能的实现方式中，处理器401还用于：
根据用户已阅读、已购买或者已标记不喜欢的内容，对所述召回内容进行过滤；和/或
若所述召回内容中包含有已推荐给用户的内容，则降低所述已推荐给用户的内容的权重；和/或
对所述召回内容中的第一类型的内容进行加权，所述第一类型为用户感兴趣的内容类型。
在一种可能的实现方式中，处理器401具体用于：
根据所述召回内容在召回时确定的第一分数和/或通过排序模型对所述召回内容进行打分得到的第二分数，对所述召回内容进行排序。
在一种可能的实现方式中，处理器401还用于在对所述召回内容进行排序之后，根据预设的内容类型顺序，对所述排序后的召回内容进行调整。
在一种可能的实现方式中，处理器401具体用于：
根据用户是否点击所述推荐的内容确定用户点击率和/或商品点击率，根据所述用户点击率和/或商品点击率确定所述目标推荐策略的性能指标。
在一种可能的实现方式中，处理器401还用于：若所述性能指标满足第二预设条件，修改所述目标推荐策略。
基于相同的技术构思，本说明书实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有指令，所述指令被处理器执行时可实现上述推荐策略分桶方法。
本领域技术人员应明白，本说明书中的实施例可提供为方法、系统或计算机程序产品。因此，上述技术方案可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，上述技术方案可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。以上所述仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。

Claims (18)

1.一种推荐策略分桶方法，其特征在于，包括：
针对同一应用场景，配置多个推荐策略，每个推荐策略对应一个分桶；
根据用户的用户标识确定所述用户对应的分桶；
根据所述用户对应的分桶所对应的目标推荐策略，确定为所述用户推荐的内容；
根据所述推荐的内容是否被用户接纳确定所述目标推荐策略的性能指标；
若所述性能指标满足第一预设条件，则增加所述目标推荐策略对应的分桶对应的用户数量；和/或，若所述性能指标满足第二预设条件，则降低所述目标推荐策略对应的分桶对应的用户数量。
2.如权利要求1所述的方法，其特征在于，所述根据所述用户对应的分桶所对应的目标推荐策略，确定为所述用户推荐的内容，包括：
根据所述目标推荐策略中的至少一种召回方式确定召回内容，所述召回内容表示推荐给用户的候选内容；
对所述召回内容进行排序；
根据排序后的召回内容确定为用户推荐的内容。
3.如权利要求2所述的方法，其特征在于，所述根据所述目标推荐策略中的至少一种召回方式确定召回内容，包括：
所述目标推荐策略中包括多种召回方式，根据每种召回方式的权重，确定根据每种召回方式召回的内容的数量，根据每种召回方式以及每种召回方式召回内容的数量确定召回内容。
4.如权利要求2所述的方法，其特征在于，还包括：
根据用户已阅读、已购买或者已标记不喜欢的内容，对所述召回内容进行过滤；和/或
若所述召回内容中包含有已推荐给用户的内容，则降低所述已推荐给用户的内容的权重；和/或
对所述召回内容中的第一类型的内容进行加权，所述第一类型为用户感兴趣的内容类型。
5.如权利要求2所述的方法，其特征在于，所述对所述召回内容进行排序，包括：
根据所述召回内容在召回时确定的第一分数和/或通过排序模型对所述召回内容进行打分得到的第二分数，对所述召回内容进行排序。
6.如权利要求5所述的方法，其特征在于，在对所述召回内容进行排序之后，所述方法还包括：
根据预设的内容类型顺序，对所述排序后的召回内容进行调整。
7.如权利要求1所述的方法，其特征在于，所述根据所述推荐的内容是否被用户接纳确定所述目标推荐策略的性能指标，包括：
根据用户是否点击所述推荐的内容确定用户点击率和/或商品点击率，根据所述用户点击率和/或商品点击率确定所述目标推荐策略的性能指标。
8.如权利要求1所述的方法，其特征在于，若所述性能指标满足第二预设条件，所述方法还包括：
修改所述目标推荐策略。
9.一种推荐装置，其特征在于，包括：
配置模块，用于针对同一应用场景，配置多个推荐策略，每个推荐策略对应一个分桶；
确定模块，用于根据用户的用户标识确定所述用户对应的分桶；
推荐模块，用于根据所述用户对应的分桶所对应的目标推荐策略，确定为所述用户推荐的内容；
性能确定模块，用于根据所述内容是否被用户接纳确定所述目标推荐策略的性能指标；
分桶流量调整模块，用于若所述性能指标满足第一预设条件，则增加所述目标推荐策略所对应的分桶对应的用户数量；和/或，若所述性能指标满足第二预设条件，则降低所述目标推荐策略所对应的分桶对应的用户数量。
10.如权利要求9所述的装置，其特征在于，所述推荐模块，具体用于：
根据所述目标推荐策略中的至少一种召回方式确定召回内容，所述召回内容表示推荐给用户的召回内容；
对所述召回内容进行排序；
根据排序后的召回内容确定为用户推荐的内容。
11.如权利要求10所述的装置，其特征在于，所述推荐模块，具体用于：
所述目标推荐策略中包括多种召回方式，根据每种召回方式的权重，确定根据每种召回方式召回的内容的数量，根据每种召回方式以及每种召回方式召回内容的数量确定召回内容。
12.如权利要求10所述的装置，其特征在于，所述推荐模块，还用于：
根据用户已阅读、已购买或者已标记不喜欢的内容，对所述召回内容进行过滤；和/或
若所述召回内容中包含有已推荐给用户的内容，则降低所述已推荐给用户的内容的权重；和/或
对所述召回内容中的第一类型的内容进行加权，所述第一类型为用户感兴趣的内容类型。
13.如权利要求10所述的装置，其特征在于，所述推荐模块，具体用于：
根据所述召回内容在召回时确定的第一分数和/或通过排序模型对所述召回内容进行打分得到的第二分数，对所述召回内容进行排序。
14.如权利要求13所述的装置，其特征在于，所述推荐模块，还用于：
根据预设的内容类型顺序，对所述排序后的召回内容进行调整。
15.如权利要求9所述的装置，其特征在于，所述性能确定模块，具体用于：
根据用户是否点击所述推荐的内容确定用户点击率和/或商品点击率，根据所述用户点击率和/或商品点击率确定所述目标推荐策略的性能指标。
16.如权利要求9所述的装置，其特征在于，所述分桶流量调整模块，还用于：
若所述性能指标满足第二预设条件，修改所述目标推荐策略。
17.一种推荐设备，其特征在于，包括：至少一个处理器，与所述至少一个处理器通信连接的存储器；
所述至少一个处理器用于读取所述存储器中的程序，用于执行如权利要求1-8中任一项所述方法。
18.一种计算机可读存储介质，其特征在于，所述介质上存储有指令，当所述指令在计算机上运行时，使得计算机执行如权利要求1-8任一项所述的方法。
CN201910750487.8A 2019-08-14 2019-08-14 一种推荐策略分桶方法、装置及设备 Pending CN110442796A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910750487.8A CN110442796A (zh) 2019-08-14 2019-08-14 一种推荐策略分桶方法、装置及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910750487.8A CN110442796A (zh) 2019-08-14 2019-08-14 一种推荐策略分桶方法、装置及设备

Publications (1)

Publication Number Publication Date
CN110442796A true CN110442796A (zh) 2019-11-12

Family

ID=68435498

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910750487.8A Pending CN110442796A (zh) 2019-08-14 2019-08-14 一种推荐策略分桶方法、装置及设备

Country Status (1)

Country Link
CN (1) CN110442796A (zh)

Cited By (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110825974A (zh) * 2019-11-22 2020-02-21 厦门美柚股份有限公司 推荐系统内容排序方法及装置
CN110990695A (zh) * 2019-11-22 2020-04-10 厦门美柚股份有限公司 推荐系统内容召回方法及装置
CN111008278A (zh) * 2019-11-22 2020-04-14 厦门美柚股份有限公司 内容推荐方法及装置
CN111176965A (zh) * 2019-12-19 2020-05-19 广州华多网络科技有限公司 推荐系统预发布测试方法、装置及电子设备
CN111324813A (zh) * 2020-02-20 2020-06-23 深圳前海微众银行股份有限公司 推荐方法、装置、设备及计算机可读存储介质
CN111338607A (zh) * 2020-02-28 2020-06-26 北京奇艺世纪科技有限公司 一种用于测试的业务数据的选择方法、装置及电子设备
CN111556368A (zh) * 2020-04-01 2020-08-18 深圳市酷开网络科技有限公司 Ab测试在ott tv的应用方法、系统及存储介质
CN111582351A (zh) * 2020-04-30 2020-08-25 北京百度网讯科技有限公司 分类模型评价指标的确定方法、装置、设备及介质
CN111814070A (zh) * 2019-12-16 2020-10-23 北京嘀嘀无限科技发展有限公司 上车点的推荐方法、系统、存储介质及电子设备
CN111914175A (zh) * 2020-08-07 2020-11-10 平安科技（深圳）有限公司 一种推荐流程优化方法、装置、设备及介质
CN112364251A (zh) * 2020-12-03 2021-02-12 腾讯科技（深圳）有限公司 数据推荐方法、装置、电子设备及存储介质
CN112580824A (zh) * 2020-12-18 2021-03-30 北京嘀嘀无限科技发展有限公司 信息处理方法、装置、设备和存储介质
CN112818237A (zh) * 2021-02-05 2021-05-18 上海明略人工智能(集团)有限公司 一种内容推送方法、装置、设备及存储介质
CN112836085A (zh) * 2021-02-08 2021-05-25 深圳市欢太科技有限公司 一种权重调整方法及装置、存储介质
CN112860554A (zh) * 2021-02-07 2021-05-28 杭州弧途科技有限公司 基于多种算法策略分桶测试的兼职岗位推荐系统
CN113159810A (zh) * 2020-01-22 2021-07-23 百度在线网络技术（北京）有限公司 策略评估方法、装置、设备及存储介质
CN113704624A (zh) * 2021-08-31 2021-11-26 中国平安人寿保险股份有限公司 基于用户分流的策略推荐方法、装置、设备及介质
WO2022110789A1 (zh) * 2020-11-27 2022-06-02 北京搜狗科技发展有限公司 词条推荐方法、装置和用于推荐词条的装置
CN114884888A (zh) * 2022-05-10 2022-08-09 北京明略软件系统有限公司 用于流量分桶的方法及装置、电子设备、存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160117329A1 (en) * 2014-10-22 2016-04-28 Legit Corporation Systems and methods for social recommendations
CN106997347A (zh) * 2016-01-22 2017-08-01 华为技术有限公司 信息推荐方法及服务器
CN107424043A (zh) * 2017-06-15 2017-12-01 北京三快在线科技有限公司 一种产品推荐方法及装置，电子设备
CN110020143A (zh) * 2017-11-20 2019-07-16 北京京东尚科信息技术有限公司 一种落地页生成方法和装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160117329A1 (en) * 2014-10-22 2016-04-28 Legit Corporation Systems and methods for social recommendations
CN106997347A (zh) * 2016-01-22 2017-08-01 华为技术有限公司 信息推荐方法及服务器
CN107424043A (zh) * 2017-06-15 2017-12-01 北京三快在线科技有限公司 一种产品推荐方法及装置，电子设备
CN110020143A (zh) * 2017-11-20 2019-07-16 北京京东尚科信息技术有限公司 一种落地页生成方法和装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
D0EVI1: "浅谈分桶测试", 《HTTP://D0EVI1.COM/BUCKETTEST/》 *

Cited By (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110990695A (zh) * 2019-11-22 2020-04-10 厦门美柚股份有限公司 推荐系统内容召回方法及装置
CN111008278A (zh) * 2019-11-22 2020-04-14 厦门美柚股份有限公司 内容推荐方法及装置
CN110825974A (zh) * 2019-11-22 2020-02-21 厦门美柚股份有限公司 推荐系统内容排序方法及装置
CN111008278B (zh) * 2019-11-22 2022-06-21 厦门美柚股份有限公司 内容推荐方法及装置
CN110825974B (zh) * 2019-11-22 2022-06-21 厦门美柚股份有限公司 推荐系统内容排序方法及装置
CN111814070A (zh) * 2019-12-16 2020-10-23 北京嘀嘀无限科技发展有限公司 上车点的推荐方法、系统、存储介质及电子设备
CN111176965A (zh) * 2019-12-19 2020-05-19 广州华多网络科技有限公司 推荐系统预发布测试方法、装置及电子设备
CN111176965B (zh) * 2019-12-19 2023-10-13 广州方硅信息技术有限公司 推荐系统预发布测试方法、装置及电子设备
CN113159810B (zh) * 2020-01-22 2024-06-04 百度在线网络技术（北京）有限公司 策略评估方法、装置、设备及存储介质
CN113159810A (zh) * 2020-01-22 2021-07-23 百度在线网络技术（北京）有限公司 策略评估方法、装置、设备及存储介质
CN111324813A (zh) * 2020-02-20 2020-06-23 深圳前海微众银行股份有限公司 推荐方法、装置、设备及计算机可读存储介质
CN111338607A (zh) * 2020-02-28 2020-06-26 北京奇艺世纪科技有限公司 一种用于测试的业务数据的选择方法、装置及电子设备
CN111556368A (zh) * 2020-04-01 2020-08-18 深圳市酷开网络科技有限公司 Ab测试在ott tv的应用方法、系统及存储介质
CN111582351B (zh) * 2020-04-30 2023-09-22 北京百度网讯科技有限公司 分类模型评价指标的确定方法、装置、设备及介质
CN111582351A (zh) * 2020-04-30 2020-08-25 北京百度网讯科技有限公司 分类模型评价指标的确定方法、装置、设备及介质
CN111914175A (zh) * 2020-08-07 2020-11-10 平安科技（深圳）有限公司 一种推荐流程优化方法、装置、设备及介质
WO2022110789A1 (zh) * 2020-11-27 2022-06-02 北京搜狗科技发展有限公司 词条推荐方法、装置和用于推荐词条的装置
CN112364251B (zh) * 2020-12-03 2021-08-17 腾讯科技（深圳）有限公司 数据推荐方法、装置、电子设备及存储介质
CN112364251A (zh) * 2020-12-03 2021-02-12 腾讯科技（深圳）有限公司 数据推荐方法、装置、电子设备及存储介质
CN112580824A (zh) * 2020-12-18 2021-03-30 北京嘀嘀无限科技发展有限公司 信息处理方法、装置、设备和存储介质
CN112818237A (zh) * 2021-02-05 2021-05-18 上海明略人工智能(集团)有限公司 一种内容推送方法、装置、设备及存储介质
CN112860554A (zh) * 2021-02-07 2021-05-28 杭州弧途科技有限公司 基于多种算法策略分桶测试的兼职岗位推荐系统
CN112836085A (zh) * 2021-02-08 2021-05-25 深圳市欢太科技有限公司 一种权重调整方法及装置、存储介质
CN113704624A (zh) * 2021-08-31 2021-11-26 中国平安人寿保险股份有限公司 基于用户分流的策略推荐方法、装置、设备及介质
CN113704624B (zh) * 2021-08-31 2023-08-22 中国平安人寿保险股份有限公司 基于用户分流的策略推荐方法、装置、设备及介质
CN114884888A (zh) * 2022-05-10 2022-08-09 北京明略软件系统有限公司 用于流量分桶的方法及装置、电子设备、存储介质
CN114884888B (zh) * 2022-05-10 2024-04-30 北京明略软件系统有限公司 用于流量分桶的方法及装置、电子设备、存储介质

Similar Documents

Publication Publication Date Title
CN110442796A (zh) 一种推荐策略分桶方法、装置及设备
KR102173553B1 (ko) 딥러닝 기술을 이용한 능동형 맞춤 운동시스템
US7389201B2 (en) System and process for automatically providing fast recommendations using local probability distributions
CN106228386B (zh) 一种信息推送方法及装置
CN106097043B (zh) 一种信用数据的处理方法及服务器
CN103488714B (zh) 一种基于社交网络的图书推荐方法和系统
CN107341268A (zh) 一种热搜榜排序方法及系统
CN104992347A (zh) 一种视频匹配广告的方法及装置
CN107402961B (zh) 一种推荐方法及装置，电子设备
CN106874355A (zh) 同时融入社交关系和用户相似度的协同过滤方法
CN108833458A (zh) 一种应用推荐方法、装置、介质及设备
CN104765751A (zh) 应用推荐方法及装置
CN105243124B (zh) 资源组合处理方法及装置
KR20160113685A (ko) 콘텐츠 추천 방법, 장치 및 시스템
CN110457577A (zh) 数据处理方法、装置、设备和计算机存储介质
CN112449002B (zh) 一种待推送对象的推送方法、装置、设备及存储介质
CN107609201A (zh) 一种基于推荐系统的推荐模型生成方法及相关装置
CN104866922B (zh) 一种用户离网的预测方法及装置
CN108446350A (zh) 一种基于主题模型分析与用户长短兴趣的推荐方法
CN107230104A (zh) 基于消费性格的商品多样性自适应推荐方法
CN105045867B (zh) 一种基于图书评分的图书作家推荐方法
Xian et al. Intuitionistic fuzzy interval‐valued linguistic entropic combined weighted averaging operator for linguistic group decision making
CN111782939A (zh) 一种基于用户偏好与用户属性的个性化推荐方法
Wu et al. Service recommendation with high accuracy and diversity
CN111159540B (zh) 数据处理方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20191112

WD01 Invention patent application deemed withdrawn after publication