CN111222931A - 一种产品推荐方法及系统 - Google Patents

一种产品推荐方法及系统 Download PDF

Info

Publication number
CN111222931A
CN111222931A CN201811406092.8A CN201811406092A CN111222931A CN 111222931 A CN111222931 A CN 111222931A CN 201811406092 A CN201811406092 A CN 201811406092A CN 111222931 A CN111222931 A CN 111222931A
Authority
CN
China
Prior art keywords
product
new
conversion rate
attribute information
new product
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201811406092.8A
Other languages
English (en)
Other versions
CN111222931B (zh
Inventor
笪庆
潘春香
曾安祥
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Alibaba Group Holding Ltd
Original Assignee
Alibaba Group Holding Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alibaba Group Holding Ltd filed Critical Alibaba Group Holding Ltd
Priority to CN201811406092.8A priority Critical patent/CN111222931B/zh
Publication of CN111222931A publication Critical patent/CN111222931A/zh
Application granted granted Critical
Publication of CN111222931B publication Critical patent/CN111222931B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G06Q30/0601—Electronic shopping [e-shopping]
    • G06Q30/0631—Item recommendations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/953—Querying, e.g. by the use of web search engines
    • G06F16/9535—Search customisation based on user profiles and personalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0207—Discounts or incentives, e.g. coupons or rebates
    • G06Q30/0239—Online discounts or incentives
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Abstract

本申请实施例公开了一种产品推荐方法及系统。所述方法包括：向多个用户推荐新产品，所述新产品包括上线时间不超过预设时间段的产品；获取与所述新产品相关联的多个用户操作行为，其中，所述用户操作行为包括用户通过搜索词获取到所述新产品的信息的操作行为，和/或所述用户基于所述信息实施的操作行为；采用强化学习方法对所述多个用户操作行为进行学习处理，得到针对所述新产品的推荐策略。利用本申请各个实施例，不仅可以提高新产品的启动效率，还可以提高电商平台的流量利用率，减少无效的投入。

Description

一种产品推荐方法及系统
技术领域
本申请涉及信息处理技术领域，特别涉及一种产品推荐方法及系统。
背景技术
近几年，产品推荐技术在各类购物应用(Application，APP)中得到广泛的使用，产品推荐技术可以向用户推荐更有价值的产品，从而实现对用户的引导作用，增强用户选购的目的性。目前，在电商平台上对产品的推荐往往基于用户对产品的历史操作行为的统计数据。但是，对于电商平台中的新产品，由于缺乏用户的操作行为，因此也缺乏各种统计数据，导致新商品很难在电商平台上获取曝光机会。
但是新产品还是需要在电商平台上展现，并需要一定程度的推广。现有技术中，对于新产品，可以通过强制推广新产品的方式以累计产品的用户操作行为数据。但是，这种方式可能会损害电商平台的利益，不是所有用户都偏好新产品，也不是所有新产品均为优质产品，因此，强制推广可能会造成对用户不恰当的引导，降低用户选购产品的目的性。
因此，现有技术中亟需一种可以快速确定新商品中的优质产品并加速优质产品成长的产品推荐方式。
发明内容
本申请实施例的目的在于提供一种产品推荐方法及系统，不仅可以提高新产品的启动效率，还可以提高电商平台的流量利用率，减少无效的投入。
本申请实施例提供的一种产品推荐方法及系统具体是这样实现的：
一种产品推荐方法，包括：
向多个用户推荐新产品，所述新产品包括上线时间不超过预设时间段的产品；
获取与所述新产品相关联的多个用户操作行为，其中，所述用户操作行为包括用户通过搜索词获取到所述新产品的信息的操作行为，和/或所述用户基于所述信息实施的操作行为；
采用强化学习方法对所述多个用户操作行为进行学习处理，得到针对所述新产品的推荐策略。
一种产品推荐系统，包括：
客户端，用于采集用户操作行为；
推荐服务器，用于向多个用户推荐新产品，所述新产品为接入平台时间不超过预设时间段的产品；还用于获取与所述新产品相关联的多个用户操作行为，其中，所述用户操作行为包括所述用户通过搜索词获取到所述新产品的信息和/或基于所述信息实施的操作行为；
数据分析服务器，用于采用强化学习方法对所述多个用户操作行为进行学习处理，得到针对所述新产品的推荐策略。
一种产品推荐装置，包括处理器以及用于存储处理器可执行指令的存储器，所述处理器执行所述指令时实现所述方法的步骤。
一种计算机可读存储介质，其上存储有计算机指令，所述指令被执行时实现所述方法的步骤。
本申请提供的产品推荐方法及系统，可以在新产品启动的过程中，获取与新产品相关联的多个用户操作行为，并对所述用户操作行为进行强化学习算法，优化对新产品整个启动过程中的累积奖赏。通过强化学习的机制对新产品进行冷启动，可以实现对一些真正高效的新产品进行高投入推荐，而对一些难以启动的新产品进行较低的投入，不仅可以提高新产品的启动效率，还可以提高电商平台的流量利用率，减少无效的投入。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是本申请提供的用于产品推荐的示例系统100；
图2是本申请提供的MDP的模型示意图；
图3是本申请提供的应用场景示意图；
图4是本申请提供的产品推荐方法的一种实施例的方法流程图。
具体实施方式
为了使本技术领域的人员更好地理解本申请中的技术方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。
为了方便本领域技术人员理解本申请实施例提供的技术方案，下面先对技术方案实现的技术环境进行说明。
基于上述技术环境，本申请提供了一种产品推荐系统，图1是本申请提供的用于产品推荐的示例系统100。本实施例中的新产品接入电商平台的时间可以不超过预设时间段，所述预设时间段例如可以设置为一个月、一个半月、50天、两个月等。所述新产品包括但不限于任何类型的可以提供到市场、供人们消费或者使用的产品。在一些实施例中，所述产品可以包括实体的产品，如衣服、咖啡、汽车等，在其他实施例中，所述产品可以包括无形的产品，如服务、教育、游戏等虚拟产品。所述系统100可以向用户推荐所述新商品，并对从用户反馈回来的用户操作行为数据进行强化学习，获取针对所述新产品优化的推荐策略。
例如，如图1所示，本申请提供的产品推荐系统100可以包括推荐服务器110和客户端120，所述推荐服务器110与客户端120相耦合。所述产品推荐系统200可以包括一个或者多个客户端120。所述推荐服务器110可以为一个或多个服务器，也可以集成于一个服务器中。
在另一些实施例中，所述系统100还可以用于对用户操作行为数据进行强化学习，获取针对新产品的推荐策略。相应地，如图1所示，所述系统100还可以包括数据分析服务器130。所述数据分析服务器130可以分别与推荐服务器110、所述客户端120耦合。同样地，所述数据分析服务器130可以分别为一个或多个服务器，也可以集成在一个服务器中。
在一些实施例中，所述客户端120可以为移动产品电话、计算机(包括笔记本电脑，台式电脑)、平板电子设备、个人数字助理(PDA)或者产品可穿戴设备等。在另外一些实施例中，所述客户端120还可以为运行于任一上述所列设备上的软件，例如支付宝客户端、手机淘宝客户端、天猫客户端等，当然，所述客户端120还可以为具有产品推荐功能的网站等。用户可以利用不同的客户端120获取推荐服务器110提供的推荐产品，以完成本方案以下所述的一个或多个方法步骤。
为了能更加清楚地表达强化学习在产品推荐技术中的使用方法，首先介绍强化学习的基本理论模型，马尔可夫决策过程(Markov Decision Process，英文缩写为MDP)。
图2是本申请提供的MDP的模型示意图，如图2所示，MDP中涉及到产品体(Agent)和环境两个交互的主体，其中，Agent为做出决策的主体，环境作为信息反馈的主体。例如在产品推荐技术的应用场景中，Agent可以被设置为作出产品推荐决策的主体对象，环境可以被设置将用户的的点击浏览产品、购买产品等行为反馈至Agent。MDP可以用一个四元组<S,A,R,T>表示，其中，
(1)S为状态空间(State Space)，可以包含Agent可能感知到的环境状态集合；
(2)A为动作空间(Action Space)，可以包含Agent在每个环境状态上可以采取的动作集合；
(3)R为奖赏函数(Rewarding Function)，R(s,a,s’)可以表示在状态s上执行动作a，并转移到状态s’时，Agent从环境中获得的奖赏；
(4)T为环境状态转移函数(State Transition Function)，T(s,a,s’)可以表示在状态s上执行动作a，并转移到状态s’的概率。
如图3所示的MDP中Agent和环境之间的交互过程，Agent感知到t时刻的环境状态为st，基于所述环境状态st，Agent可以从动作空间A中选择动作at执行；环境在接收Agent所选择的动作之后，给以Agent相应的奖赏信号反馈rt+1，并转移到新的环境状态st+1，并等待Agent做出新的决策。在与环境的交互过程中，Agent的目标是找到一个最优策略π*，使得π*在任意状态s和任意时间步骤t下，都能够获得最大的长期累积奖赏，其中π*可以被定义为公式(1)：
Figure BDA0001877374170000041
其中，π表示Agent的某个策略(即状态到动作的概率分布)，Eπ表示策略π下的期望值，γ为折扣率(Discount Rate)，k为未来时间步骤，rt+k表示Agent在时间步骤(t+k)上获得的即时奖赏。
基于上述MDP模型，本申请提供的所述推荐服务器110或者所述数据分析服务器130能够根据用户的反馈交互数据，利用强化学习方法对所述推荐策略进行迭代更新，从而最终逐步学习到最优的推荐策略。
下面结合附图3利用具体的应用场景说明本申请产品推荐方法的实施方式。
如图3所示，在某大型电商平台于2018年11月1日共上线属于不同类别的10000件新产品，为了快速启动该10000件新商品，并可以提前发现优质新商品，加速优质新商品的成长过程，可以利用本申请实施例提供的产品推荐方法。如图3所示，整个实施方式可以分成四个阶段，分别为离线评估阶段、产品探测阶段、强化学习阶段、断投测试阶段。
在离线评估阶段，可以在新商品刚上线的初始阶段，预测新产品在未来一段时间内的产品转化率。具体的，例如可以搜集上述10000件新商品在2018年11月1日至2018年12月1日期间内的产品属性信息，所述产品属性信息例如可以包括新产品在[高购买力，中购买力，低购买力]×[男性，女性]×[青年，中年，老年]×[最近3天，最近7天，最近14天]共54个用户维度下所述新产品的[点击率，加购率，购买率]信息。需要说明的是，在此期间，电商平台可以不干涉新产品的成长，使其在自然流量下发展。在搜集到10000件新产品的产品属性信息之后，可以分别将这10000件新产品的产品属性信息输入至第一机器学习模型组件中，获取这10000件新产品在未来一周的产品转化率，所述第一机器学习模型组件的训练方式可以参考说明书下文所述，在此不再赘述。由于产品转化率是衡量产品是否有投入价值的重要指标，产品转化率越高，产品的投入价值越高。基于此，在离线评估阶段，可以过滤那些产品转化率较低的新商品，保留那些产品转化率较高的新产品，以进入产品探测阶段。例如，经过本阶段的过滤，还剩下8000件新产品。
在产品探测阶段，可以将新产品全面地推广给不同的用户人群，例如，对于新产品电饭锅，在短暂的离线评估阶段内只获取到少量的“高购买力*男性*青年”这一用户人群的产品属性信息，但是根据经验推断，电饭锅作为几乎不分人群的产品，如果在长期推广下，也会获取其他用户人群的被访问信息。基于此，在产品探测阶段，可以按照一定的投放力度将所述新产品推荐给不同用户人群的多个探测用户，以获取所述新产品在未来一段时间内的转化率。例如，设置探测期为一周，在这一周时间内，以较小的流量将从离线评估阶段过滤后的8000件新产品推广给多个用户维度的探测用户，并获取在这一周内的产品探测属性。然后，可以将这8000件新产品的产品探测属性输入至第二机器学习模型组件中，获取这8000件新产品在未来一周内的产品转化率。同样地，可以过滤那些产品转化率较低的新商品，保留那些产品转化率较高的新产品，以进入强化学习阶段。例如，经过本阶段的过滤，还剩下5000件新产品。
由于上述经过产品探测阶段过滤剩下的5000件新产品，各自的投入价值不相同，因此，平台也应设置对这些新产品不同的投入力度，以获取较高的流量利用率。因此，在强化学习阶段，可以对这些产品进行强化学习投放，并获取用户对这些新产品的操作行为。基于此，可以基于MDP模型，对所述操作行为进行强化学习，最后生成对这些新产品的最优推荐策略，以获得最大的长期累积奖赏。
但是，理论上，新产品的产品转化率在经过强化学习阶段之后都会得到相应的提升，这是由于在强化学习阶段一般都赋予这些新产品一些投入力度。因此，为了进一步获取强化学习对所述新产品产生的实际效果，可以设置断投测试阶段，在断投测试阶段，可以暂停或者终止对新产品的推广，使得新产品可以在其自然流量下推广，并获取在这段时间内的产品转化率。获取的产品转化率不仅可以用于统计强化学习对新产品启动的实际有效性，还可以反馈至探测阶段，用于训练所述第二机器学习模型组件。通过这样的反馈方式，可以增强第二机器学习模型组件预测的准确性，提前过滤那些难以启动的新商品。
下面结合附图对本申请所述的产品推荐方法进行详细的说明。图4是本申请提供的产品推荐方法的一种实施例的方法流程示意图。虽然本申请提供了如下述实施例或附图所示的方法操作步骤，但基于常规或者无需创造性的劳动在所述方法中可以包括更多或者更少的操作步骤。在逻辑性上不存在必要因果关系的步骤中，这些步骤的执行顺序不限于本申请实施例提供的执行顺序。所述方法在实际中的产品推荐过程中或者装置执行时，可以按照实施例或者附图所示的方法顺序执行或者并行执行(例如并行处理器或者多线程处理的环境)。
所述推荐服务器110具体按照图4所示的产品推荐流程方法，如图4所述，该方法可以包括以下步骤：
S401：向多个用户推荐新产品，所述新产品包括上线时间不超过预设时间段的产品；
S403：获取与所述新产品相关联的多个用户操作行为，其中，所述用户操作行为包括所述用户通过搜索词获取到所述新产品的信息和/或基于所述信息实施的操作行为；
S405：采用强化学习方法对所述多个用户操作行为进行学习处理，得到针对所述新产品的推荐策略。
本实施例中，当有新的产品需要展示在电商平台时，即可以将产品接入平台，这样，用户可以通过相应的搜索词搜索到该产品。在一个示例中，在电商平台上，需要接入一件连衣裙的产品信息，那么，将该连衣裙的产品信息发布到平台之后，用户即可以通过一些搜索词搜索到该连衣裙的产品信息。在本申请的各个实施例中，将新产品接入电商平台的现象称为产品的上线。所述新产品可以包括上线时间不超过预设时间段的产品，例如，所述预设时间段可以包括一周、10天、一个月等等。
在本申请的一个实施例中，可以向多个用户推荐所述新产品。由于本申请实施例采用强化学习的方式不断优化对所述新产品的推荐策略，因此，在开始进行强化学习的阶段，向多个用户推荐所述新产品的方式可以包括随机性地向一些用户推荐所述新产品，待后续获取到一定数据之后，再对所述数据进行强化学习，以优化对所述新产品的推荐策略。基于此，在将所述新产品推荐给多个用户之后，可以获取与所述新产品相关联的多个用户操作行为，其中，所述用户操作行为可以包括所述用户通过搜索词获取到所述新产品的信息和/或基于所述信息实施的操作行为。下面通过一些示例说明所述用户操作行为，在向一些用户推荐一件连衣裙的新产品之后，其中一些用户通过搜索词搜索到该连衣裙的产品信息，那么，所述用户操作行为即可以包括下述行为，用户A通过搜索词“连衣裙”搜索到该连衣裙的信息，用户B通过搜索词“背心连衣裙”搜索到该连衣裙的信息，用户C则通过搜索词“2018冬新款连衣裙”搜索到该连衣裙的信息。进一步地，各个用户还可以基于该连衣裙的产品信息产生更多的操作行为，例如用户A浏览该连衣裙的详细信息并收藏该连衣裙的信息，用户B分享该连衣裙的产品信息，用户B还将该连衣裙加入购物清单，用户C直接购买该连衣裙等等。
本申请的实施例中，可以采用强化学习方法对所述多个用户操作行为进行学习处理，得到针对所述新产品的推荐策略。结合上述MDP模型，所述推荐服务器110对应于Agent，实施所述用户操作行为的用户的用户信息、所述搜索词、所述新产品的产品属性信息中的至少一种对应于状态s。由于Agent可以感知当前的状态s，并根据一定的策略，输出相应的动作a。相应地，推荐服务器110可以根据用户当前的状态，根据一定的推荐策略，给出推荐行为。
本实施例中的产品推荐策略可以包括对所述新产品设置推荐力度。如上所述，MDP中包括状态空间S和动作空间D，其中，所述多个用户操作行为对应于所述状态空间S，对所述新产品不同的推荐力度对应于所述动作空间D。可以发现，在本申请提供的产品推荐方法中，所述状态空间S与所述动作空间D均为有限的大规模空间。
所述强化学习的过程可以由推荐服务器110实施。更优地，该过程可以由所述数据分析服务器130单独处理，所述数据分析服务器130可以在后台与所述推荐服务器110同步或者异步地进行强化学习。
在本申请的一个实施例中，所述采用强化学习方法对所述多个用户操作行为进行学习处理，得到针对所述新产品的推荐策略可以包括：
S501：基于马尔可夫决策过程(MDP)，将所述用户的用户信息、所述搜索词、所述新产品的产品属性信息中的至少一种作为状态；
S503：将对所述新产品的推荐力度作为动作；
S505：计算当所述状态及所述动作形成的状态动作对的奖赏值，并累计所述奖赏值；
S507：调整对所述新产品的推荐策略，直至累计的奖赏值达到最大值。
首先，对强化学习中的状态进行定义。在状态空间S中可以确定每个用户操作行为可以对应于一个状态s。可以发现，状态s可以中包含的信息具有多样性和高复杂度，如何从多样、复杂的信息中提取出关键信息用于合理地表达状态s，是本申请所要解决的问题之一。
在本实施例中，可以将与所述用户操作行为相关联的所述用户信息、所述搜索词、所述新产品的产品属性信息作为所述状态s。在一些示例中，所述用户信息可以包括用户的性别、年龄、购买力、产品偏好、店铺偏好中的至少一种。所述搜索词可以包括上述示例中的“连衣裙”、“背心连衣裙”、“2018冬新款连衣裙”等。所述产品属性信息可以包括产品固有属性信息、产品探测属性信息、产品实时属性信息中的至少一种。其中，所述产品固有属性信息可以包括产品标题、产品图片、详情描述、产品类目、产品价格、所在地域、销售数量、卖家级别、卖家评分中的至少一种。所述产品探测属性信息包括在所述新产品在产品探测阶段的属性信息，关于所述新产品的产品探测阶段可以在本申请说明书后面说明，在此不再赘述。所述产品探测属性信息可以包括所述新产品在多个用户维度下的被访问信息，其中，所述用户维度可以包括用户的性别、年龄段、购买能力、操作时间段中的至少一种，所述被访问信息可以包括产品的点击率、加购率、购买率等，其中，所述点击率包括产品被点击的次数与被展示的次数之比，所述加购率可以包括产品被加入购物清单的次数与被点击的次数之比，所述购买率可以包括产品被购买的次数与被点击的次数之比。在一个示例中，可以获取在[高购买力，中购买力，低购买力]×[男性，女性]×[青年，中年，老年]×[最近3天，最近7天，最近14天]共54个用户维度下所述新产品的[点击率，加购率，购买率]信息。所述产品实时属性信息可以包括在强化学习阶段所述新产品在多个用户维度下的被访问信息。
其次，对强化学习中的动作进行定义。
在MDP中，Agent可以在状态s下，根据一定的策略，执行动作a。在本申请的实施例中，所述动作a可以包括对所述新产品的推荐力度，所述推荐力度可以包括对所述新产品在排序上所设置的权重值，所述权重值越大，所述新产品展示的位置越靠前。当然，所述推荐力度基于推荐策略而设定，在推荐策略中，可以针对不同的用户维度，设置不同的推荐力度。例如，在一个示例中，针对一件连衣裙，可以设置针对用户维度为[高购买力，女性，青年]的推荐力度为0.8，而针对用户维度为[高购买力，男性，中年]的推荐力度为0.05。
在本公开的实施例中，在确定计算当所述状态及所述动作形成的状态动作对的奖赏值，并累计所述奖赏值。在本实施例中，可以针对状态动作对设置不同的奖赏值，在一种示例中，可以设置在所述状态动作对下，若导致所述新商品得到被访问的机会，则可以针对不同的被访问方式，设置不同的奖赏值。例如，所述新商品的被访问方式可以包括购买成交、点击浏览、收藏等，还可以设置在奖赏值上，购买成交>收藏>点击浏览。
在强化学习中，在与环境的交互过程中，Agent(即推荐服务器110)的目标是找到一个最优策略π*，使得π*在任意状态s和任意时间步骤t下，都能够获得最大的长期累积奖赏。在一个示例中，针对一件新产品连衣裙，所述最优策略π*可以包括针对该连衣裙，能够针对不同用户维度设置相应的推荐力度，使得Agent能够获取最大的长期累积奖赏。
在一些实施例中，可以采用信赖域策略优化(TRPO)算法、策略逼近算法、值函数逼近算法等强化学习方法实现上述目标，本申请对于强化学习的方式不作限制。
在本公开的一个实施例中，在向所述多个用户推荐新产品的过程中，可以在初始阶段对新产品进行过滤，去除那些难以发展成优质产品的新产品，有助于降低电商平台对新产品的投放成本。在一种实施例中，可以利用机器学习模型组件对所述新产品进行过滤。具体地，所述向多个用户推荐新产品可以包括：
S601：获取推荐力度为零的新产品在第一基准时刻之前的第一预设时间段内的产品属性信息。
S603：将所述产品属性信息输入至第一机器学习模型组件中，获取所述新产品在所述第一基准时刻之后的第二预设时间段内的第一产品转化率。
S605：在所述第一产品转化率大于等于第一转换率阈值的情况下，向多个用户推荐所述新产品。
本实施例中，可以在所述新产品上线之后至所述第一基准时刻之前的第一预设时间段内，获取所述新产品的产品属性信息。所述第一基准时刻可以包括自所述新产品上线时刻起算后一个月的时刻，则所述第一预设时间段即为一个月。所述第一基准时刻可以距离所述新产品上线时刻较短，节省对所述新产品的过滤时间。所述产品属性信息可以包括所述新产品在多个用户维度下的被访问信息。当然，所述第一基准时刻可以被设置为新产品上线之后的任意时刻，所述第一预设时间段的时长也可以为任意值，本申请对此不做限制。需要说明的是，在所述第一预设时间段内，电商平台可以不对所述新产品做任何推广，即设置电商平台对所述新产品的推广力度为零。
本公开实施例中，在获取到新产品在所述第一预设时间段内的产品属性信息之后，可以将所述产品属性信息输入至所述第一机器学习模型组件中，获取所述新产品在所述第一基准时刻之后的第二预设时间段内的第一产品转化率。其中所述第一产品转化率可以包括所述新产品产生交易的概率值，在一个示例中，所述第一产品转化率＝(产生购买行为的用户人数/访问该产品的用户人数)×100％。当所述第一产品转化率越高时，所述新产品发展成为优质产品的可能性越高，即该新产品具有更高的推广价值。基于此，可以设置在所述第一产品转化率大于等于第一转换率阈值的情况下，向多个用户推荐所述新产品。所述第一转换率阈值可以根据具体的业务情况设置，例如10％、15％等等。
在本公开的一个实施例中，所述第一机器学习模型组件可以被设置为按照下述方式训练得到：
S701：获取历史时间段内多个新产品在第二基准时刻之前的第一预设时间段内的产品属性信息，以及在所述第二基准时刻之后的第二预设时间段内的产品转化率；
S703：构建第一机器学习模型组件，所述第一机器学习模型组件中设置有训练参数；
S705：分别利用所述多个新产品在所述第二基准时刻之前的产品属性信息和在所述第二基准时刻之后的产品转化率之间的对应关系，对所述第一机器学习模型组件进行训练，调整所述训练参数，直至所述第一机器学习模型组件达到预设要求。
本实施例中，在训练所述第一机器学习模型组件的过程中，可以获取到历史时间内的多个新产品在第二基准时刻之前的第一预设时间段内的产品属性信息，以及在所述第二基准时刻之后的第二预设时间段内的产品转化率。下面通过一个示例说明上述过程，在训练模型之前，可以搜集某电商平台在2017年度新产品上线后的一个时间内的产品属性信息，对于一件护肤新产品来说，上线时间是2017年8月13日，那么，可以设置所述第二基准时刻为2017年9月13日，并搜集该护肤品在2017年8月13日至2017年9月13日的一个月时间(即所述第二预设时间段)内的产品属性信息。所述产品属性信息例如可以包括该护肤品在[高购买力，中购买力，低购买力]×[男性，女性]×[青年，中年，老年]×[最近3天，最近7天，最近14天]共54个用户维度下的[点击率，加购率，购买率]信息。另外，还可以搜集该护肤品在第二基准时刻(即2017年9月13日)之后的一周时间(即所述第二预设时间段)内的产品转化率。基于此，通过大量的样本数据，可以训练得到所述第一机器学习模型组件，利用所述第一机器学习模型组件，可以确定新产品在未来一段时间内的产品转化率。那么，在应用所述第一机器学习模型组件的过程中，可以将获取的新产品在上线后的一段时间内的产品属性信息输入至所述第一机器学习模型组件中，即可获取该新产品在未来一段时间内的产品转化率。基于此，可以在本阶段对新产品进行初步过滤，去除产品转化率很低的产品，保留转化率较高的产品。
进一步地，在本公开的一个实施例中，还可以对过滤后的新产品实施产品探测，以进一步地对所述新产品进行过滤。可以发现，在上述实施例中，对所述新产品不进行任何推广，即对所述新产品的推广力度为零。也就是说，所述新产品是在自然流量下进行推广，但是，由于在该阶段搜集产品属性信息的时间较短，因此，不能全面地获取产品在各个用户维度下的产品属性信息。例如，对于新产品电饭锅，在短时间内只获取到少量的“高购买力*男性*青年”这一人群的产品属性信息，但是根据经验推断，电饭锅作为几乎不分人群的产品，如果在长期推广下，也会获取在其他用户维度中的被访问信息。基于此，在产品探测阶段，可以设置一定的投放力度将所述新产品推荐给不同用户维度的多个探测用户，以获取所述新产品在未来一段时间内的转化率。
在本公开的一个示例中，所述在所述产品转化率大于等于第一转换率阈值的情况下，向多个用户推荐所述新产品可以包括：
S801：在所述第一产品转化率大于等于第一转换率阈值的情况下，将所述新产品推荐给不同类型的多个探测用户；
S803：从所述多个探测用户对所述新产品的操作行为数据中获取所述新产品在预设探测时间段内的产品探测属性信息；
S805：将所述产品探测属性信息输入至第二机器学习模型组件中，获取所述新产品在第二预设时间段内的第二产品转化率；
S807：在所述第二产品转化率大于等于第二转换率阈值时，向多个用户推荐所述新产品。
下面通过一个示例说明上述实施例方法，在新产品电饭锅经过第一机器学习模型组件的计算之后，确定所述第一产品转化率大于所述第一转换率阈值。基于此，可以将该电饭锅推广给不同用户维度的多个探测用户，并从所述多个探测用户对所述新产品的操作行为数据中获取该电饭锅在预设探测时间段内的产品探测属性信息。其中，所述预设探测时间段的时长较短，如一周时间，10天等等，所述产品探测属性信息与所述产品属性信息的信息内容相似，在此不再赘述。并且，与上述实施例相似，在获取到所述产品探测属性信息之后，可以将所述产品探测属性信息输入至第二机器学习模型组件中，以获取在第二预设时间段内的第二产品转化率，所述第二预设时间段可以包括在产品探测阶段后的一段时间，例如可以一周时间、10天时间等。利用所述第二机器学习模型组件可以预测新产品在产品探测阶段后的一段时间内的产品转化率(即所述第二产品转化率)。并设置在所述第二产品转化率大于等于第二转换率阈值时，向多个用户推荐所述新产品。
在本公开的一个实施例中，在对所述新产品进行强化学习，并按照最佳推广策略推广之后，还可以将所述新产品的推荐力度重新归为零之后，获取所述新产品在第三预设时间段内的产品转化率。当对新产品进行强化学习，并设置一定的推广力度之后，所述新产品理论上可以提升转化率。但是，所述新产品转化率的提升也有可能是由于推广力度的提升，即曝光率的提升，因此，为了进一步获取强化学习对所述新产品产生的实际效果，可以暂停或者终止对新产品的推广，将推广力度设置为零，因此，可以将所述第二预设时间段称为断投测试阶段。在断投测试阶段内，所述新产品可以在其自然流量下推广，并获取在这段时间内的产品转化率。所述产品转化率可以用于统计强化学习对新产品启动的实际有效性。
在本公开的另一个实施例中，在所述断投测试阶段获取的所述新产品的产品转化率可以用于构建所述第二机器学习模型组件的训练样本。基于此，所述第二机器学习模型组件可以按照下述方式训练得到：
S901：获取历史时间段内向多个探测用户推荐的多个新产品在预设探测时间段内的产品探测属性信息，以及在设置推荐力度为零之后的第二预设时间段内所述新产品的产品转化率；
S903：构建第二机器学习模型组件，所述第二机器学习模型组件中设置有训练参数；
S905：分别利用所述多个新产品的所述产品探测属性信息和在设置推荐力度为零之后的产品转化率之间的对应关系对所述第二机器学习模型组件进行训练，调整所述训练参数，直至所述第二机器学习模型组件达到预设要求。
本实施例中，可以将历史时间段内向多个探测用户推荐的多个新产品在预设探测时间段内的产品探测属性信息作为所述第二机器学习模型组件的输入数据，将断投之后所述新产品的转化率作为所述第二机器学习模型组件的输出数据，对所述第二机器学习模型组件进行学习。因此，用于训练所述第二机器学习模型组件的所述多个新产品至少需要经历产品探测阶段、强化学习阶段和断投测试阶段。本实施例中的所述第二机器学习模型组件和所述第一机器学习模型组件的训练方式相似，在此不再赘述。本实施例中，通过将强化学习之后自然流量下新产品的产品转化率作为所述第二机器学习模型组件的训练数据，使得新产品的产品探测阶段与断投测试阶段产生关联，有助于在产品探测阶段过滤到很难启动的新产品，提取出真正高效的新产品。
本申请提供的产品推荐方法及系统，可以在新产品启动的过程中，获取与新产品相关联的多个用户操作行为，并对所述用户操作行为进行强化学习算法，优化对新产品整个启动过程中的累积奖赏。通过强化学习的机制对新产品进行冷启动，可以实现对一些真正高效的新产品进行高投入推荐，而对一些难以启动的新产品进行较低的投入，不仅可以提高新产品的启动效率，还可以提高电商平台的流量利用率，减少无效的投入。
对应地，本申请另外还提供一种产品推荐系统，所述系统可以包括：
客户端，用于采集用户操作行为；
推荐服务器，用于向多个用户推荐新产品，所述新产品为接入平台时间不超过预设时间段的产品；还用于获取与所述新产品相关联的多个用户操作行为，其中，所述用户操作行为包括所述用户通过搜索词获取到所述新产品的信息和/或基于所述信息实施的操作行为；
数据分析服务器，用于采用强化学习方法对所述多个用户操作行为进行学习处理，得到针对所述新产品的推荐策略。
可选的，在本公开的一个实施例中，所述采用强化学习方法对所述多个用户操作行为进行学习处理，得到针对所述新产品的推荐策略包括：
基于马尔可夫决策过程(MDP)，将实施所述用户操作行为的用户的用户信息、所述搜索词、所述新产品的产品属性信息中的至少一种作为状态；
将对所述新产品的推荐力度作为动作；
计算当所述状态及所述动作形成的状态动作对的奖赏值，并累计所述奖赏值；
调整对所述新产品的推荐策略，直至累计的奖赏值达到最大值。
可选的，在本公开的一个实施例中，所述新产品的产品属性信息包括产品固有属性信息、产品探测属性信息、产品实时属性信息中的至少一种。
可选的，在本公开的一个实施例中，所述向多个用户推荐新产品包括：
获取推荐力度为零的新产品在第一基准时刻之前的第一预设时间段内的产品属性信息；
将所述产品属性信息输入至第一机器学习模型组件中，获取所述新产品在所述第一基准时刻之后的第二预设时间段内的第一产品转化率；
在所述第一产品转化率大于等于第一转换率阈值的情况下，向多个用户推荐所述新产品。
可选的，在本公开的一个实施例中，所述第一机器学习模型组件被设置为按照下述方式训练得到：
获取历史时间段内多个新产品在第二基准时刻之前的第一预设时间段内的产品属性信息，以及在所述第二基准时刻之后的第二预设时间段内的产品转化率；
构建第一机器学习模型组件，所述第一机器学习模型组件中设置有训练参数；
分别利用所述多个新产品在所述第二基准时刻之前的产品属性信息和在所述第二基准时刻之后的产品转化率之间的对应关系，对所述第一机器学习模型组件进行训练，调整所述训练参数，直至所述第一机器学习模型组件达到预设要求。
可选的，在本公开的一个实施例中，所述在所述产品转化率大于等于第一转换率阈值的情况下，向多个用户推荐所述新产品包括：
在所述产品转化率大于等于第一转换率阈值的情况下，将所述新产品推荐给不同类型的多个探测用户；
从所述多个探测用户对所述新产品的操作行为数据中获取所述新产品在预设探测时间段内的产品探测属性信息；
将所述产品探测属性信息输入至第二机器学习模型组件中，获取所述新产品在第二预设时间段内的第二产品转化率；
在所述第二产品转化率大于等于第二转换率阈值时，向多个用户推荐所述新产品。
可选的，在本公开的一个实施例中，在所述采用强化学习方法对所述多个用户操作行为进行学习处理，得到针对所述新产品的推荐策略之后，还包括：
设置所述新产品的推荐力度为零；
获取所述新产品在第二预设时间段内的产品转化率。
可选的，在本公开的一个实施例中，所述第二机器学习模型组件按照下述方式训练得到：
获取历史时间段内向多个探测用户推荐的多个新产品在预设探测时间段内的产品探测属性信息，以及在设置推荐力度为零之后的第二预设时间段内所述新产品的产品转化率；
构建第二机器学习模型组件，所述第二机器学习模型组件中设置有训练参数；
分别利用所述多个新产品的所述产品探测属性信息和在设置推荐力度为零之后的产品转化率之间的对应关系对所述第二机器学习模型组件进行训练，调整所述训练参数，直至所述第二机器学习模型组件达到预设要求。
可选的，在本公开的一个实施例中，所述产品属性信息包括在多个用户维度下的用户操作行为数据，其中，所述用户维度包括下述中的至少一种：性别、年龄段、购买能力、操作时间段。
可选的，在本公开的一个实施例中，所述强化学习方法包括信赖域策略优化(TRPO)强化学习方法。
本申请另一方面还提供一种产品推荐装置，包括处理器以及用于存储处理器可执行指令的存储器，所述处理器执行所述指令时实现上述任一实施例所述方法的步骤
本申请另一方面还提供一种计算机可读存储介质，其上存储有计算机指令，所述指令被执行时实现上述任一实施例所述方法的步骤。
所述计算机可读存储介质可以包括用于存储信息的物理装置，通常是将信息数字化后再以利用电、磁或者光学等方式的媒体加以存储。本实施例所述的计算机可读存储介质有可以包括：利用电能方式存储信息的装置如，各式存储器，如RAM、ROM等；利用磁能方式存储信息的装置如，硬盘、软盘、磁带、磁芯存储器、磁泡存储器、U盘；利用光学方式存储信息的装置如，CD或DVD。当然，还有其他方式的可读存储介质，例如量子存储器、石墨烯存储器等等。
在20世纪90年代，对于一个技术的改进可以很明显地区分是硬件上的改进(例如，对二极管、晶体管、开关等电路结构的改进)还是软件上的改进(对于方法流程的改进)。然而，随着技术的发展，当今的很多方法流程的改进已经可以视为硬件电路结构的直接改进。设计人员几乎都通过将改进的方法流程编程到硬件电路中来得到相应的硬件电路结构。因此，不能说一个方法流程的改进就不能用硬件实体模块来实现。例如，可编程逻辑器件(Programmable Logic Device,PLD)(例如现场可编程门阵列(Field Programmable GateArray，FPGA))就是这样一种集成电路，其逻辑功能由用户对器件编程来确定。由设计人员自行编程来把一个数字系统“集成”在一片PLD上，而不需要请芯片制造厂商来设计和制作专用的集成电路芯片。而且，如今，取代手工地制作集成电路芯片，这种编程也多半改用“逻辑编译器(logic compiler)”软件来实现，它与程序开发撰写时所用的软件编译器相类似，而要编译之前的原始代码也得用特定的编程语言来撰写，此称之为硬件描述语言(Hardware Description Language，HDL)，而HDL也并非仅有一种，而是有许多种，如ABEL(Advanced Boolean Expression Language)、AHDL(Altera Hardware DescriptionLanguage)、Confluence、CUPL(Cornell University Programming Language)、HDCal、JHDL(Java Hardware Description Language)、Lava、Lola、MyHDL、PALASM、RHDL(RubyHardware Description Language)等，目前最普遍使用的是VHDL(Very-High-SpeedIntegrated Circuit Hardware Description Language)与Verilog。本领域技术人员也应该清楚，只需要将方法流程用上述几种硬件描述语言稍作逻辑编程并编程到集成电路中，就可以很容易得到实现该逻辑方法流程的硬件电路。
控制器可以按任何适当的方式实现，例如，控制器可以采取例如微处理器或处理器以及存储可由该(微)处理器执行的计算机可读程序代码(例如软件或固件)的计算机可读介质、逻辑门、开关、专用集成电路(Application Specific Integrated Circuit，ASIC)、可编程逻辑控制器和嵌入微控制器的形式，控制器的例子包括但不限于以下微控制器：ARC 625D、Atmel AT91SAM、Microchip PIC18F26K20以及Silicone Labs C8051F320，存储器控制器还可以被实现为存储器的控制逻辑的一部分。本领域技术人员也知道，除了以纯计算机可读程序代码方式实现控制器以外，完全可以通过将方法步骤进行逻辑编程来使得控制器以逻辑门、开关、专用集成电路、可编程逻辑控制器和嵌入微控制器等的形式来实现相同功能。因此这种控制器可以被认为是一种硬件部件，而对其内包括的用于实现各种功能的装置也可以视为硬件部件内的结构。或者甚至，可以将用于实现各种功能的装置视为既可以是实现方法的软件模块又可以是硬件部件内的结构。
上述实施例阐明的系统、装置、模块或单元，具体可以由计算机芯片或实体实现，或者由具有某种功能的产品来实现。一种典型的实现设备为计算机。具体的，计算机例如可以为个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任何设备的组合。
为了描述的方便，描述以上装置时以功能分为各种单元分别描述。当然，在实施本申请时可以把各单元的功能在同一个或多个软件和/或硬件中实现。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。
本领域技术人员应明白，本申请的实施例可提供为方法、系统或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如程序模块。一般地，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本申请，在这些分布式计算环境中，由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中，程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
以上所述仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。

Claims (22)

1.一种产品推荐方法，其特征在于，包括：
向多个用户推荐新产品，所述新产品包括上线时间不超过预设时间段的产品；
获取与所述新产品相关联的多个用户操作行为，其中，所述用户操作行为包括用户通过搜索词获取到所述新产品的信息的操作行为，和/或所述用户基于所述信息实施的操作行为；
采用强化学习方法对所述多个用户操作行为进行学习处理，得到针对所述新产品的推荐策略。
2.根据权利要求1所述的方法，其特征在于，所述采用强化学习方法对所述多个用户操作行为进行学习处理，得到针对所述新产品的推荐策略包括：
基于马尔可夫决策过程(MDP)，将所述用户的用户信息、所述搜索词、所述新产品的产品属性信息中的至少一种作为状态；
将对所述新产品的推荐力度作为动作；
计算当所述状态及所述动作形成的状态动作对的奖赏值，并累计所述奖赏值；
调整对所述新产品的推荐策略，直至累计的奖赏值达到最大值。
3.根据权利要求2所述的方法，其特征在于，所述产品属性信息包括产品固有属性信息、产品探测属性信息、产品实时属性信息中的至少一种。
4.根据权利要求1所述的方法，其特征在于，所述向多个用户推荐新产品包括：
获取推荐力度为零的新产品在第一基准时刻之前的第一预设时间段内的产品属性信息；
将所述产品属性信息输入至第一机器学习模型组件中，获取所述新产品在所述第一基准时刻之后的第二预设时间段内的第一产品转化率；
在所述第一产品转化率大于等于第一转换率阈值的情况下，向多个用户推荐所述新产品。
5.根据权利要求4所述的方法，其特征在于，所述第一机器学习模型组件被设置为按照下述方式训练得到：
获取历史时间段内多个新产品在第二基准时刻之前的第一预设时间段内的产品属性信息，以及在所述第二基准时刻之后的第二预设时间段内的产品转化率；
构建第一机器学习模型组件，所述第一机器学习模型组件中设置有训练参数；
分别利用所述多个新产品在所述第二基准时刻之前的产品属性信息和在所述第二基准时刻之后的产品转化率之间的对应关系，对所述第一机器学习模型组件进行训练，调整所述训练参数，直至所述第一机器学习模型组件达到预设要求。
6.根据权利要求4所述的方法，其特征在于，所述在所述产品转化率大于等于第一转换率阈值的情况下，向多个用户推荐所述新产品包括：
在所述产品转化率大于等于第一转换率阈值的情况下，将所述新产品推荐给不同类型的多个探测用户；
从所述多个探测用户对所述新产品的操作行为数据中获取所述新产品在预设探测时间段内的产品探测属性信息；
将所述产品探测属性信息输入至第二机器学习模型组件中，获取所述新产品在第二预设时间段内的第二产品转化率；
在所述第二产品转化率大于等于第二转换率阈值时，向多个用户推荐所述新产品。
7.根据权利要求6所述的方法，其特征在于，在所述采用强化学习方法对所述多个用户操作行为进行学习处理，得到针对所述新产品的推荐策略之后，所述方法还包括：
设置所述新产品的推荐力度为零；
获取所述新产品在第二预设时间段内的产品转化率。
8.根据权利要求7所述的方法，其特征在于，所述第二机器学习模型组件按照下述方式训练得到：
获取历史时间段内向多个探测用户推荐的多个新产品在预设探测时间段内的产品探测属性信息，以及在设置推荐力度为零之后的第二预设时间段内所述新产品的产品转化率；
构建第二机器学习模型组件，所述第二机器学习模型组件中设置有训练参数；
分别利用所述多个新产品的所述产品探测属性信息和在设置推荐力度为零之后的产品转化率之间的对应关系对所述第二机器学习模型组件进行训练，调整所述训练参数，直至所述第二机器学习模型组件达到预设要求。
9.根据权利要求6所述的方法，其特征在于，所述产品属性信息包括在多个用户维度下的用户操作行为数据，其中，所述用户维度包括下述中的至少一种：性别、年龄段、购买能力、操作时间段。
10.根据权利要求1-9任意一项所述的方法，其特征在于，所述强化学习方法包括信赖域策略优化(TRPO)强化学习方法。
11.一种产品推荐系统，其特征在于，包括：
客户端，用于采集用户操作行为；
推荐服务器，用于向多个用户推荐新产品，所述新产品为接入平台时间不超过预设时间段的产品；还用于获取与所述新产品相关联的多个用户操作行为，其中，所述用户操作行为包括所述用户通过搜索词获取到所述新产品的信息和/或基于所述信息实施的操作行为；
数据分析服务器，用于采用强化学习方法对所述多个用户操作行为进行学习处理，得到针对所述新产品的推荐策略。
12.根据权利要求11所述的系统，其特征在于，所述采用强化学习方法对所述多个用户操作行为进行学习处理，得到针对所述新产品的推荐策略包括：
基于马尔可夫决策过程(MDP)，将实施所述用户操作行为的用户的用户信息、所述搜索词、所述新产品的产品属性信息中的至少一种作为状态；
将对所述新产品的推荐力度作为动作；
计算当所述状态及所述动作形成的状态动作对的奖赏值，并累计所述奖赏值；
调整对所述新产品的推荐策略，直至累计的奖赏值达到最大值。
13.根据权利要求12所述的系统，其特征在于，所述新产品的产品属性信息包括产品固有属性信息、产品探测属性信息、产品实时属性信息中的至少一种。
14.根据权利要求11所述的系统，其特征在于，所述向多个用户推荐新产品包括：
获取推荐力度为零的新产品在第一基准时刻之前的第一预设时间段内的产品属性信息；
将所述产品属性信息输入至第一机器学习模型组件中，获取所述新产品在所述第一基准时刻之后的第二预设时间段内的第一产品转化率；
在所述第一产品转化率大于等于第一转换率阈值的情况下，向多个用户推荐所述新产品。
15.根据权利要求14所述的系统，其特征在于，所述第一机器学习模型组件被设置为按照下述方式训练得到：
获取历史时间段内多个新产品在第二基准时刻之前的第一预设时间段内的产品属性信息，以及在所述第二基准时刻之后的第二预设时间段内的产品转化率；
构建第一机器学习模型组件，所述第一机器学习模型组件中设置有训练参数；
分别利用所述多个新产品在所述第二基准时刻之前的产品属性信息和在所述第二基准时刻之后的产品转化率之间的对应关系，对所述第一机器学习模型组件进行训练，调整所述训练参数，直至所述第一机器学习模型组件达到预设要求。
16.根据权利要求14所述的系统，其特征在于，所述在所述产品转化率大于等于第一转换率阈值的情况下，向多个用户推荐所述新产品包括：
在所述产品转化率大于等于第一转换率阈值的情况下，将所述新产品推荐给不同类型的多个探测用户；
从所述多个探测用户对所述新产品的操作行为数据中获取所述新产品在预设探测时间段内的产品探测属性信息；
将所述产品探测属性信息输入至第二机器学习模型组件中，获取所述新产品在第二预设时间段内的第二产品转化率；
在所述第二产品转化率大于等于第二转换率阈值时，向多个用户推荐所述新产品。
17.根据权利要求16所述的系统，其特征在于，在所述采用强化学习方法对所述多个用户操作行为进行学习处理，得到针对所述新产品的推荐策略之后，还包括：
设置所述新产品的推荐力度为零；
获取所述新产品在第二预设时间段内的产品转化率。
18.根据权利要求17所述的系统，其特征在于，所述第二机器学习模型组件按照下述方式训练得到：
获取历史时间段内向多个探测用户推荐的多个新产品在预设探测时间段内的产品探测属性信息，以及在设置推荐力度为零之后的第二预设时间段内所述新产品的产品转化率；
构建第二机器学习模型组件，所述第二机器学习模型组件中设置有训练参数；
分别利用所述多个新产品的所述产品探测属性信息和在设置推荐力度为零之后的产品转化率之间的对应关系对所述第二机器学习模型组件进行训练，调整所述训练参数，直至所述第二机器学习模型组件达到预设要求。
19.根据权利要求16所述的系统，其特征在于，所述产品属性信息包括在多个用户维度下的用户操作行为数据，其中，所述用户维度包括下述中的至少一种：性别、年龄段、购买能力、操作时间段。
20.根据权利要求11-19任意一项所述的系统，其特征在于，所述强化学习方法包括信赖域策略优化(TRPO)强化学习方法。
21.一种产品推荐装置，其特征在于，包括处理器以及用于存储处理器可执行指令的存储器，所述处理器执行所述指令时实现权利要求1至10中任一项所述方法的步骤。
22.一种计算机可读存储介质，其特征在于，其上存储有计算机指令，所述指令被执行时实现权利要求1至10中任一项所述方法的步骤。
CN201811406092.8A 2018-11-23 2018-11-23 一种产品推荐方法及系统 Active CN111222931B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811406092.8A CN111222931B (zh) 2018-11-23 2018-11-23 一种产品推荐方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811406092.8A CN111222931B (zh) 2018-11-23 2018-11-23 一种产品推荐方法及系统

Publications (2)

Publication Number Publication Date
CN111222931A true CN111222931A (zh) 2020-06-02
CN111222931B CN111222931B (zh) 2023-05-05

Family

ID=70808528

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811406092.8A Active CN111222931B (zh) 2018-11-23 2018-11-23 一种产品推荐方法及系统

Country Status (1)

Country Link
CN (1) CN111222931B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111861644A (zh) * 2020-07-01 2020-10-30 荆楚理工学院 一种工业设计产品智能推荐方法及系统
CN112036984A (zh) * 2020-09-04 2020-12-04 烟台冰兔网络科技有限公司 一种电商运营大数据管理系统
CN113282787A (zh) * 2021-05-24 2021-08-20 暨南大学 一种基于强化学习的个性化短视频推荐方法以及系统
CN113312555A (zh) * 2021-06-15 2021-08-27 北京百度网讯科技有限公司 转化率预测方法、装置、电子设备和存储介质

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106447463A (zh) * 2016-10-21 2017-02-22 南京大学 一种基于马尔科夫决策过程模型的商品推荐方法
CN107402961A (zh) * 2017-06-16 2017-11-28 北京三快在线科技有限公司 一种推荐方法及装置，电子设备
US20180108048A1 (en) * 2016-10-19 2018-04-19 Samsung Sds Co., Ltd. Method, apparatus and system for recommending contents
CN108230057A (zh) * 2016-12-09 2018-06-29 阿里巴巴集团控股有限公司 一种智能推荐方法及系统
CN108509461A (zh) * 2017-02-28 2018-09-07 华为技术有限公司 一种基于强化学习的排序学习方法及服务器
CN108537635A (zh) * 2018-03-30 2018-09-14 苏宁易购集团股份有限公司 一种产品的推荐方法及装置
CN108564414A (zh) * 2018-04-23 2018-09-21 帷幄匠心科技（杭州）有限公司 基于线下行为的商品推荐方法和系统
CN108765052A (zh) * 2018-04-20 2018-11-06 网易无尾熊（杭州）科技有限公司 电商推荐/推送方法及装置、存储介质及计算设备

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180108048A1 (en) * 2016-10-19 2018-04-19 Samsung Sds Co., Ltd. Method, apparatus and system for recommending contents
CN106447463A (zh) * 2016-10-21 2017-02-22 南京大学 一种基于马尔科夫决策过程模型的商品推荐方法
CN108230057A (zh) * 2016-12-09 2018-06-29 阿里巴巴集团控股有限公司 一种智能推荐方法及系统
CN108509461A (zh) * 2017-02-28 2018-09-07 华为技术有限公司 一种基于强化学习的排序学习方法及服务器
CN107402961A (zh) * 2017-06-16 2017-11-28 北京三快在线科技有限公司 一种推荐方法及装置，电子设备
CN108537635A (zh) * 2018-03-30 2018-09-14 苏宁易购集团股份有限公司 一种产品的推荐方法及装置
CN108765052A (zh) * 2018-04-20 2018-11-06 网易无尾熊（杭州）科技有限公司 电商推荐/推送方法及装置、存储介质及计算设备
CN108564414A (zh) * 2018-04-23 2018-09-21 帷幄匠心科技（杭州）有限公司 基于线下行为的商品推荐方法和系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
岑凯伦;于红岩;杨腾霄;: "大数据下基于Spark的电商实时推荐系统的设计与实现", 现代计算机(专业版) *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111861644A (zh) * 2020-07-01 2020-10-30 荆楚理工学院 一种工业设计产品智能推荐方法及系统
CN112036984A (zh) * 2020-09-04 2020-12-04 烟台冰兔网络科技有限公司 一种电商运营大数据管理系统
CN113282787A (zh) * 2021-05-24 2021-08-20 暨南大学 一种基于强化学习的个性化短视频推荐方法以及系统
CN113312555A (zh) * 2021-06-15 2021-08-27 北京百度网讯科技有限公司 转化率预测方法、装置、电子设备和存储介质
CN113312555B (zh) * 2021-06-15 2023-10-03 北京百度网讯科技有限公司 转化率预测方法、装置、电子设备和存储介质

Also Published As

Publication number Publication date
CN111222931B (zh) 2023-05-05

Similar Documents

Publication Publication Date Title
Bell Machine learning: hands-on for developers and technical professionals
CN106295832B (zh) 产品信息推送方法及装置
CN111222931B (zh) 一种产品推荐方法及系统
CN107729937A (zh) 用于确定用户兴趣标签的方法及装置
US20230153857A1 (en) Recommendation model training method, recommendation method, apparatus, and computer-readable medium
CN106294830A (zh) 多媒体资源的推荐方法及装置
CN111242729A (zh) 一种基于长短期兴趣的序列化推荐方法
CN110020893B (zh) 一种广告贡献度确定方法、装置及设备
CN106447463A (zh) 一种基于马尔科夫决策过程模型的商品推荐方法
CN108537567A (zh) 一种目标用户群体的确定方法和装置
CN110851712B (zh) 书籍信息的推荐方法、设备以及计算机可读介质
CN112418920A (zh) 信息推荐模型的训练方法、信息推荐方法以及装置
CN110689402A (zh) 推荐商家的方法、装置、电子设备及可读存储介质
CN110598120A (zh) 基于行为数据的理财推荐方法及装置、设备
CN111429214B (zh) 一种基于交易数据的买卖双方匹配方法及装置
CN110134860B (zh) 用户画像生成方法、装置和设备
CN116821475A (zh) 基于客户数据的视频推荐方法、装置及计算机设备
CN115048577A (zh) 一种模型训练方法、装置、设备及存储介质
US10997254B1 (en) 1307458USCON1 search engine optimization in social question and answer systems
CN113641894A (zh) 一种信息推荐的方法及装置
CN112699307A (zh) 一种信息的生成方法及装置
CN111177562B (zh) 一种目标对象的推荐排序处理方法、装置及服务器
CN115829159A (zh) 社交媒体粉丝新增预测方法、装置、设备及存储介质
CN113407862B (zh) 一种基于门机制的序列社交推荐方法、系统及存储介质
CN115130756A (zh) 一种在线服务的管理方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant