CN110018869B - 通过强化学习向用户展示页面的方法及装置 - Google Patents

通过强化学习向用户展示页面的方法及装置 Download PDF

Info

Publication number
CN110018869B
CN110018869B CN201910127332.9A CN201910127332A CN110018869B CN 110018869 B CN110018869 B CN 110018869B CN 201910127332 A CN201910127332 A CN 201910127332A CN 110018869 B CN110018869 B CN 110018869B
Authority
CN
China
Prior art keywords
page
user
selectable
display
layout
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910127332.9A
Other languages
English (en)
Other versions
CN110018869A (zh
Inventor
崔卿
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Advanced New Technologies Co Ltd
Advantageous New Technologies Co Ltd
Original Assignee
Advanced New Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Advanced New Technologies Co Ltd filed Critical Advanced New Technologies Co Ltd
Priority to CN201910127332.9A priority Critical patent/CN110018869B/zh
Publication of CN110018869A publication Critical patent/CN110018869A/zh
Priority to TW108130003A priority patent/TW202032467A/zh
Priority to PCT/US2020/016505 priority patent/WO2020171944A1/en
Priority to SG11202104107RA priority patent/SG11202104107RA/en
Priority to US16/795,091 priority patent/US10956532B2/en
Application granted granted Critical
Publication of CN110018869B publication Critical patent/CN110018869B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G06Q30/0601—Electronic shopping [e-shopping]
    • G06Q30/0631—Item recommendations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/957—Browsing optimisation, e.g. caching or content distillation
    • G06F16/9577—Optimising the visualization of content, e.g. distillation of HTML documents
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/958—Organisation or management of web site content, e.g. publishing, maintaining pages or automatic linking
    • G06F16/986—Document structures and storage, e.g. HTML extensions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
    • G06F18/2178—Validation; Performance evaluation; Active pattern learning techniques based on feedback of a supervisor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/004—Artificial life, i.e. computing arrangements simulating life
    • G06N3/006—Artificial life, i.e. computing arrangements simulating life based on simulated virtual individual or collective life forms, e.g. social simulations or particle swarm optimisation [PSO]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N7/00—Computing arrangements based on specific mathematical models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/451—Execution arrangements for user interfaces
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0241—Advertisements
    • G06Q30/0251—Targeted advertisements
    • G06Q30/0269—Targeted advertisements based on user profile or attribute

Abstract

本说明书实施例提供一种通过强化学习向用户展示页面的方法和装置，方法包括，首先，响应于第一用户访问第一页面的请求，获取该第一用户的用户特征，其中包括用户画像特征和用户上下文特征；然后，根据展示策略，将用户特征映射到针对所述第一页面形成的多个可选页面布局中的第一页面布局；接着，以该第一页面布局向第一用户展示所述第一页面。进而，获取第一用户对具有该第一页面布局的第一页面的操作信息，并根据所述操作信息确定本次页面展示的奖励分数。接着，至少根据该奖励分数，采用强化学习算法更新上述展示策略，用于进行页面展示。

Description

通过强化学习向用户展示页面的方法及装置
技术领域
本说明书一个或多个实施例涉及机器学习领域，尤其涉及利用强化学习向用户展示页面的方法和装置。
背景技术
在信息时代，各种各样的信息通过页面展示给用户。例如，各种资讯可以通过web页面展示给用户，各种应用app也是通过一个个应用页面展示给用户，比如淘宝手机客户端的商品推荐页面。如何展示页面能最大地满足用户的需求是一个很重要的问题。
通常，由专门的产品经理或者设计人员来进行页面设计，决定页面的展示方式。然而，这种方案严重依赖产品经理或设计人员的经验，人工成本高，而且可能会发生产品设计偏离用户需求的情况。此外，有时候也会采用A/B测试的方式决定展示方案，然而，这样的方式至多可以选择出多数人喜欢的一种页面展示方案，无法实现展示方式的千人千面，无法最大程度地满足不同用户的需求。
因此，希望能有改进的方案，可以针对不同用户确定出最适合的页面展示方式，如此满足用户需求，提升用户使用体验。
发明内容
本说明书一个或多个实施例描述了一种向用户展示页面的方法和装置。根据实施例的方法，采用强化学习的方式，通过展示策略基于用户的用户特征确定出对应的页面布局，如此，为用户提供适合的页面展示方式。
根据第一方面，提供了一种通过强化学习向用户展示页面的方法，包括：
响应于第一用户访问第一页面的请求，获取该第一用户的用户特征，所述用户特征包括用户画像特征和用户上下文特征；
根据展示策略，将所述用户特征映射到针对所述第一页面形成的第一数目的可选页面布局中的第一页面布局；
以所述第一页面布局向所述第一用户展示所述第一页面；
获取所述第一用户对具有所述第一页面布局的第一页面的操作信息，并根据所述操作信息确定本次页面展示的奖励分数；
至少根据所述奖励分数，采用强化学习算法更新所述展示策略，用于进行页面展示。
在一个实施例中，所述用户画像特征包括以下中的至少一项：年龄、性别、注册时长、教育程度、职业、人群标签；
所述用户上下文特征包括以下中的至少一项：发出所述请求的时间、发出所述请求经由的接口、用户的操作轨迹信息。
根据一种实施方式，上述第一数目的可选页面布局通过以下方式预先形成：
确定可选的页面显示方式；
确定第一页面上页面元素的可选排列方式；
确定所述页面元素的可选属性；
通过组合所述页面显示方式，所述可选排列方式和所述可选属性，形成所述第一数目的可选页面布局。
更具体的，在一个实施例中，所述可选的页面显示方式包括，瀑布流显示和翻页显示；所述可选属性包括，页面元素的显示大小，显示形状，以及分辨率。
在一个实施例中，所述展示策略包括初始策略，相应的，将所述用户特征映射到针对所述第一页面预先形成的多个页面布局中的第一页面布局包括：
将所述第一用户随机分到第一数目的流量桶中的第一流量桶，其中所述第一数目的流量桶与所述第一数目的可选页面布局相对应；
将第一流量桶所对应的可选页面布局作为所述第一页面布局。
根据不同实施方式，所述展示策略可以通过以下之一来实现：逻辑回归模型，梯度提升决策树GBDT模型，深度神经网络。
在一个实施例中，上述操作信息包括以下中的至少一项：在页面中的点击次数，对页面的访问次数，对页面的浏览深度，在页面的停留时间；相应的，可以将所述奖励分数确定为，以上操作信息中至少一项的加权求和。
在一个实施例中，操作信息包括，基于该第一页面达成的交易金额；相应的，可以将所述奖励分数确定为，正比于所述交易金额。
根据一种实施方式，至少根据所述奖励分数，采用强化学习算法更新所述展示策略，包括：
将所述用户特征、所述第一页面布局和所述奖励分数作为一条训练样本，添加到训练样本集中；
采用强化学习算法，利用所述训练样本集更新所述展示策略。
在不同实施方式中，强化学习算法可以是以下之一：进化策略算法，Q-learning算法，SARSA算法，策略梯度算法，交叉信息熵方法。
根据第二方面，提供了一种通过强化学习向用户展示页面的装置，包括：
特征获取单元，配置为响应于第一用户访问第一页面的请求，获取该第一用户的用户特征，所述用户特征包括用户画像特征和用户上下文特征；
布局确定单元，配置为根据展示策略，将所述用户特征映射到针对所述第一页面形成的第一数目的可选页面布局中的第一页面布局；
展示单元，配置为以所述第一页面布局向所述第一用户展示所述第一页面；
反馈获取单元，配置为获取所述第一用户对具有所述第一页面布局的第一页面的操作信息，并根据所述操作信息确定本次页面展示的奖励分数；
更新单元，配置为至少根据所述奖励分数，采用强化学习算法更新所述展示策略，用于进行页面展示。
根据第三方面，提供了一种计算机可读存储介质，其上存储有计算机程序，当所述计算机程序在计算机中执行时，令计算机执行第一方面的方法。
根据第四方面，提供了一种计算设备，包括存储器和处理器，其特征在于，所述存储器中存储有可执行代码，所述处理器执行所述可执行代码时，实现第一方面的方法。
根据本说明书实施例提供的方法和装置，可以在无标注的情况下，通过强化学习的策略探索和策略更新，学习到页面展示策略，该页面展示策略可以针对不同用户确定出最适合的页面展示方式，如此实现页面展示的千人千面，满足用户的个性化需求，提升用户使用体验。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。
图1示出典型的强化学习系统的示意图；
图2示出本说明书披露的一个实施例的实施场景示意图；
图3示出根据一个实施例的向用户展示页面的方法流程图；
图4示出根据一个实施例的装置示意图。
具体实施方式
下面结合附图，对本说明书提供的方案进行描述。
为了针对不同用户进行个性化、针对性的页面展示，根据本说明书实施例，采用强化学习的构思和方式，为用户确定适合的页面展示方案。如本领域技术人员所知，强化学习是一种基于序列行为的反馈，进行的无标注的学习方法，通过不断“试错”的方式进行策略的学习。
图1示出典型的强化学习系统的示意图。如图1所示，一般地，强化学习系统包括智能体和执行环境，智能体通过与执行环境的交互和反馈，不断进行学习，优化其策略。具体而言，智能体观察并获得执行环境的状态(state)，根据一定策略，针对当前执行环境的状态确定要采取的行为或动作(action)。这样的行为作用于执行环境，会改变执行环境的状态，同时产生一个反馈给智能体，该反馈又称为奖励分数(reward)。智能体根据获得的奖励分数来判断，之前的行为是否正确，策略是否需要调整，进而更新其策略。通过反复不断地观察状态、确定行为、收到反馈，使得智能体可以不断更新策略，最终目标是能够学习到一个策略，使得获得的奖励分数累积最大化。
图2示出本说明书披露的一个实施例的实施场景示意图。根据本说明书的一个或多个实施例，在强化学习的构思下，在用户请求进行页面访问时，提取用户的相关特征(相当于获取执行环境的状态s)，采用一定展示策略确定该用户适合的页面布局进行展示(相当于确定出采取的动作a)。然后，将用户对页面的交互和操作信息作为反馈的奖励分数r，以此作为学习样本更新展示策略。如此反复学习，通过不断摸索和“试错”，来优化展示策略。于是，优化的展示策略即可用于，为不同用户确定出最为适合的页面展示方式。
下面描述以上构思的具体实现方法。
图3示出根据一个实施例的向用户展示页面的方法流程图。可以理解，该方法可以通过任何具有计算、处理能力的装置、设备、平台、设备集群来执行。如图3所示，该方法包括：步骤31，响应于第一用户访问第一页面的请求，获取该第一用户的用户特征，所述用户特征包括用户画像特征和用户上下文特征；步骤32，根据展示策略，将所述用户特征映射到针对所述第一页面形成的第一数目的可选页面布局中的第一页面布局；步骤33，以所述第一页面布局向所述第一用户展示所述第一页面；步骤34，获取所述第一用户对具有所述第一页面布局的第一页面的操作信息，并根据所述操作信息确定本次页面展示的奖励分数；步骤35，至少根据所述奖励分数，采用强化学习算法更新所述展示策略，用于进行页面展示。下面描述以上各个步骤的具体执行。
首先，在步骤31，响应于第一用户访问第一页面的请求，获取该第一用户的用户特征。需要理解的是，此处的第一用户指代的是，任意一个具体用户；上述第一页面可以是任意的一个页面。例如，第一页面可以是web页面，也可以是app页面。更具体的，在一个例子中，第一页面为天猫app首页页面或商品推荐页面。
如此，在第一用户请求访问第一页面时，获取该第一用户的用户特征。用户特征可以包括用户画像特征。在一个实施例中，用户画像特征可以包括用户的基本属性特征，例如年龄、性别、注册时长、教育程度、职业等等。
在一个实施例中，用户画像特征还可以包括，可以直接反映用户特点的人群标签。通常，人群标签可以基于用户属性特征，以及用户的历史大数据而确定。已经存在多种将用户划分为人群的方案，这些方案通过聚类、分组等多种方式，为用户添加人群标签，例如“职场新人”，“全职辣妈”等等。步骤31中可以采取各种已知的划分人群的方案得到上述人群标签；或者，也可以预先采用各种划分人群的方案为用户添加标签，在步骤31,读取用户所具有的人群标签。
用户特征还可以包括用户上下文特征。在一个实施例中，用户上下文特征可以包括，发出页面请求的时间，例如，早上、工作时间、晚上等等。用户上下文特征还可以包括，发出页面请求经由的接口，例如，用户经由哪个页面或哪个链接发出当前的页面请求。用户上下文特征还可以包括，用户的操作轨迹信息，也就是，用户在发出页面请求之前进行了哪些操作，例如，访问了哪些历史页面，在历史页面上进行了什么操作(点击，放大，缩小，输入)，等等。
以上获取的用户特征即相当于强化学习系统中，执行环境的当前状态s。接着，就需要根据策略，确定当前状态s下应该采取的动作a。于是，在步骤32，根据展示策略，将上述用户特征映射到针对第一页面形成的N个可选页面布局中的第一页面布局。
上述针对第一页面的N个可选页面布局可以通过多种方式预先形成。
在一个实施例中，预先针对第一页面，确定可选的页面显示方式。具体的，对于app页面来说，可选的页面显示方式可以包括，瀑布流显示和翻页显示。对于web页面来说，可选的页面显示方式可以包括，单页显示、下拉式显示，等等。
此外，还确定第一页面上页面元素的可选排列方式。例如，页面元素分为几行进行展示，每行展示几个元素，等等。还可以确定页面元素的可选属性，这些可选属性包括，页面元素的显示大小，显示形状，以及分辨率，等等。
通过组合上述页面显示方式，页面元素的可选排列方式和可选属性，就可以形成多个可选页面布局。
此外，在一些实施例中，还可以进一步对更多与页面显示相关的因素进行选择，例如，页面的背景颜色，页面的字体风格，页面的屏幕亮度，等等。通过进一步选择上述因素，对页面布局方式进行进一步修改调整，得到更多的可选页面布局。
更具体的，假如第一页面是电商app(例如手机天猫)的商品推荐页面，其中的页面元素为待展示商品。那么，可以将2种不同的页面展示方式(瀑布流和翻页)，m种不同的商品排列方式(例如，每行4个商品，每行3个商品，等等)，k种商品属性选择(例如，商品图片的大小，形状，分辨率)进行组合，得到N＝2*m*k个可选页面布局。
在另一实施例中，也可以由设计人员根据不同人群、不同风格，预先设计多个可选页面布局，作为上述N个可选页面布局。
上述预先形成的N个可选页面布局相当于N个可选的动作，也就是构成N维动作空间。相应的，步骤32中的展示策略用于根据用户特征，从N维动作空间中，选择出适当的动作，即适当的页面布局。换而言之，展示策略相当于一个映射函数，该映射函数用于将用户特征映射到N个可选页面布局中的一个页面布局，下文称为第一页面布局。
在一个实施例中，上述映射函数可以通过N分类算法实现，每个分类对应一个可选页面布局。如此，展示策略根据上述用户特征，将用户划分到N个分类中的一个，由此确定出对应的可选页面布局。
根据不同实施方式，上述展示策略可以通过各种机器学习模型来实现，例如包括，逻辑回归模型，梯度提升决策树GBDT模型，深度神经网络等。
初始地，该展示策略可以是随机策略，通过随机方式决定当前的第一用户适合的可选页面布局。具体的，在一个实施例中，将线上的流量划分为N个流量桶，N个流量桶与N个可选页面布局相对应。于是，当前的第一用户将会被随机分到N个流量桶中的某个，记为第一流量桶。相应的，可以将第一流量桶所对应的可选页面布局作为针对第一用户选择的第一页面布局。
当然，以上的随机策略是初始进行“试错”和策略摸索过程中的临时策略。展示策略会通过用户反馈不断进行优化和更新调整，这将在后续继续进行描述。
在步骤32中针对第一用户确定出对应的第一页面布局之后，在步骤33，以第一页面布局向该第一用户展示第一页面。这相当于向执行环境发出了执行动作a。
接着，在步骤34，获取第一用户对具有第一页面布局的第一页面的操作信息，并根据所述操作信息确定本次页面展示的奖励分数。
可以理解，强化学习中的奖励分数是对之前作出的动作a是否正确的一种衡量，也是后续策略调整的主要依据。策略调整的目标就是使得，作出的动作a获得的奖励分数的累积最大化。在页面展示的场景中，策略训练的目标是使得，展示策略确定出的页面布局能够获得最大的用户满意度，和/或，页面平台通过该页面获得最大的收益。因此，可以将奖励分数设定为，通过用户对页面的操作行为，表征用户对页面的满意度，和/或页面平台的收益大小。
具体而言，在将第一页面布局的第一页面返回给第一用户后，在一个实施例中，可以获取第一用户对第一页面的以下操作信息中的一项或多项：在页面中的点击次数a1，对页面的浏览深度a2，对页面的访问次数a3，在页面的停留时间a4，等等。可以设想，以上这些操作信息与用户的满意度具有正相关的关系，因为在用户对第一页面的页面布局不满意的情况下，会更倾向于离开页面或放弃操作。
因此，在一个实施例中，将本次页面展示的奖励分数确定为，以上操作信息中至少一项的加权求和。例如，在一个例子中，将奖励分数确定为：
R＝w1*a1+w4*a4 (1)
其中，w1和w4为权重因子。
在一个实施例中，上述第一页面是与交易相关的页面，例如电商app页面。在这样的情况下，可以获取用户的以下操作信息：基于该第一页面达成的交易金额TX，例如购买金额。在此基础上，可以将本次页面展示的奖励分数R确定为，正比于所述交易金额TX，即：
R＝W*TX (2)
在一个实施例中，还可以将以上奖励分数的确定方式相组合，得到更多奖励分数的具体表征方式。
例如，在一个例子中，可以将奖励分数确定为：
R＝w1*a1+W*TX (3)
即，奖励分数为用户在第一页面中的点击次数a1和交易金额的加权求和。
如此，获取到用户对第一页面的操作信息，并据此确定出奖励分数作为本次页面展示的反馈信息。
接着，在步骤35，至少根据所述奖励分数，采用强化学习算法更新展示策略，用于进行页面展示。根据强化学习中策略更新的构思，在本说明书实施例中，根据反馈信息(即奖励分数)不断更新展示策略，更新的目标是使得，对于同样的用户特征(环境状态s)，展示策略确定出的页面布局(动作a)可以获得更多的预期累积奖励分数。
为了达到这样的目标，在一个实施例中，每获取到一个用户的奖励分数，就执行一次策略更新。例如，可以采用SARSA算法，基于当前展示策略直接执行一次动作选择，然后用本次动作选择作为样本更新当前策略。
在更普遍的情况下，收集多个用户对多个页面布局的反馈信息作为训练样本集，利用训练样本集训练展示策略，对展示策略进行更新。
具体的，对于前述的第一用户，在第一用户对第一页面布局的第一页面进行操作，从而得到本次页面展示的奖励分数后，将第一用户的用户特征(相当于环境状态s)，第一页面布局(相当于动作a)，奖励分数(r)作为一条训练样本，添加到训练样本集中。如此，训练样本集中包含多条<s,a,r>形式的训练样本。在一个实施例中，在持续交互的场景下，还获取第一用户在对第一页面布局进行操作之后，新的用户特征(其中用户画像特征不会发生变化，但是上下文特征有可能发生变化)，这相当于获取到，执行动作a后执行环境迁移到的新的状态s’。如此，形成<s,a,r,s’>形式的训练样本。
接着，采用强化学习算法，利用训练样本集更新展示策略。根据不同实施例，可以采取多种强化学习算法进行训练，这些强化学习算法包括：进化策略算法，Q-learning算法，策略梯度算法，交叉信息熵方法，等等。
下面结合典型的Q-learning算法，描述展示策略的更新过程。
展示策略的更新可以包括，策略的评估和策略改进。在Q-learning算法中，采用状态-动作值函数(state-action value fuction)Q来表示期望的累积奖励。状态-动作值函数又称为Q函数，其中Q(s，a)表示，从状态s出发，执行动作a后再使用策略π带来的累积奖励分数。Q函数的值称为Q值。累积奖励分数的计算通常可采用T步累积奖励或γ折扣累积奖励的形式，以下是Q函数在这两种形式下的表达：
Figure BDA0001974057720000111
其中下标t表示后续执行的步数，rt为t步的奖励分数。
如前所述，收集了多条<s,a,r,s’>形式的训练样本，通过这些训练样本，可以确定出不同状态s下施加不同动作a后得到的奖励分数r，进而学习到，不同状态s下施加不同动作a对应得到的Q值。
在进行策略更新时，如果采用贪心算法，就可以得到这样的展示策略：对于当前用户特征构成的状态s，确定该状态s下展示N个可选页面布局(即施加N种不同动作)各自的Q值，选择N个Q值中最大Q值所对应的页面布局作为展示布局。
策略梯度算法则采用不同的策略评估和更新方式。该算法中并不涉及Q函数的学习和评估，而是直接针对loss更小的展示策略确定出策略参数调整的梯度，按照确定出的梯度进行策略调整。
其他强化学习算法在此不一一进行描述。通过这些算法，可以对页面的展示策略进行更新，更新的方向是使得，展示的页面布局得到更多的累积奖励分数，也就是得到更大的用户满意度。如此更新得到的展示策略即可用于，针对不同用户确定出最适合的页面布局方式。
综合以上，根据以上实施例的方案，可以在无标注的情况下，通过强化学习的策略探索和策略更新，学习到页面展示策略，该页面展示策略可以针对不同用户确定出最适合的页面展示方式，如此实现页面展示的千人千面，满足用户的个性化需求，提升用户使用体验。
根据另一方面的实施例，还提供一种通过强化学习向用户展示页面的装置。该装置可以部署在任何具有计算、处理能力的设备或平台上。图4示出根据一个实施例的装置示意图。如图4所示，该装置400包括：
特征获取单元41，配置为响应于第一用户访问第一页面的请求，获取该第一用户的用户特征，所述用户特征包括用户画像特征和用户上下文特征；
布局确定单元42，配置为根据展示策略，将所述用户特征映射到针对所述第一页面形成的第一数目的可选页面布局中的第一页面布局；
展示单元43，配置为以所述第一页面布局向所述第一用户展示所述第一页面；
反馈获取单元44，配置为获取所述第一用户对具有所述第一页面布局的第一页面的操作信息，并根据所述操作信息确定本次页面展示的奖励分数；
更新单元45，配置为至少根据所述奖励分数，采用强化学习算法更新所述展示策略，用于进行页面展示。
在一个实施例中，上述用户画像特征包括以下中的至少一项：年龄、性别、注册时长、教育程度、职业、人群标签；所述用户上下文特征包括以下中的至少一项：发出所述请求的时间、发出所述请求经由的接口、用户的操作轨迹信息。
根据一种实施方式，上述第一数目的可选页面布局通过以下方式预先形成：
确定可选的页面显示方式；
确定第一页面上页面元素的可选排列方式；
确定所述页面元素的可选属性；
通过组合所述页面显示方式，所述可选排列方式和所述可选属性，形成所述第一数目的可选页面布局。
更具体的，在一个实施例中，上述可选的页面显示方式包括，瀑布流显示和翻页显示；上述可选属性包括，页面元素的显示大小，显示形状，以及分辨率。
在一个实施例中，上述展示策略可以是初始策略，相应的，布局确定单元42配置为：
将所述第一用户随机分到第一数目的流量桶中的第一流量桶，其中所述第一数目的流量桶与所述第一数目的可选页面布局相对应；
将第一流量桶所对应的可选页面布局作为所述第一页面布局。
在不同实施方式中，所述展示策略通过以下之一来实现：逻辑回归模型，梯度提升决策树GBDT模型，深度神经网络。
根据一种实施方式，操作信息可以包括以下中的至少一项：在页面中的点击次数，对页面的访问次数，对页面的浏览深度，在页面的停留时间；
相应的，所述反馈获取单元44配置为：将所述奖励分数确定为，所述操作信息中至少一项的加权求和。
根据一种实施方式，操作信息可以包括，基于该第一页面达成的交易金额；
相应的，所述反馈获取单元44可以配置为：将所述奖励分数确定为，正比于所述交易金额。
在一个实施例中，所述更新单元45配置为：
将所述用户特征、所述第一页面布局和所述奖励分数作为一条训练样本，添加到训练样本集中；
采用强化学习算法，利用所述训练样本集更新所述展示策略。
根据不同的实施方式，所述强化学习算法可以包括：进化策略算法，Q-learning算法，SARSA算法，策略梯度算法，交叉信息熵方法。
通过以上的装置，可以为不同用户提供各自适合的页面布局，从而提升用户体验。
根据另一方面的实施例，还提供一种计算机可读存储介质，其上存储有计算机程序，当所述计算机程序在计算机中执行时，令计算机执行结合图3所描述的方法。
根据再一方面的实施例，还提供一种计算设备，包括存储器和处理器，所述存储器中存储有可执行代码，所述处理器执行所述可执行代码时，实现结合图3所述的方法。
本领域技术人员应该可以意识到，在上述一个或多个示例中，本发明所描述的功能可以用硬件、软件、固件或它们的任意组合来实现。当使用软件实现时，可以将这些功能存储在计算机可读介质中或者作为计算机可读介质上的一个或多个指令或代码进行传输。
以上所述的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的技术方案的基础之上，所做的任何修改、等同替换、改进等，均应包括在本发明的保护范围之内。

Claims (22)

1.一种通过强化学习向用户展示页面的方法，包括：
响应于第一用户访问第一页面的请求，获取该第一用户的用户特征，所述用户特征包括用户画像特征和用户上下文特征；
根据展示策略，将所述用户特征映射到针对所述第一页面形成的第一数目的可选页面布局中的第一页面布局；
以所述第一页面布局向所述第一用户展示所述第一页面；
获取所述第一用户对具有所述第一页面布局的第一页面的操作信息，并根据所述操作信息确定本次页面展示的奖励分数；
至少根据所述奖励分数，采用强化学习算法更新所述展示策略，用于进行页面展示。
2.根据权利要求1所述的方法，其中，
所述用户画像特征包括以下中的至少一项：年龄、性别、注册时长、教育程度、职业、人群标签；
所述用户上下文特征包括以下中的至少一项：发出所述请求的时间、发出所述请求经由的接口、用户的操作轨迹信息。
3.根据权利要求1所述的方法，其中，所述第一数目的可选页面布局通过以下方式预先形成：
确定可选的页面显示方式；
确定第一页面上页面元素的可选排列方式；
确定所述页面元素的可选属性；
通过组合所述页面显示方式，所述可选排列方式和所述可选属性，形成所述第一数目的可选页面布局。
4.根据权利要求3所述的方法，其中，
所述可选的页面显示方式包括，瀑布流显示和翻页显示；
所述可选属性包括，页面元素的显示大小，显示形状，以及分辨率。
5.根据权利要求1所述的方法，其中，所述展示策略为初始策略，所述将所述用户特征映射到针对所述第一页面形成的第一数目的可选页面布局中的第一页面布局包括：
将所述第一用户随机分到第一数目的流量桶中的第一流量桶，其中所述第一数目的流量桶与所述第一数目的可选页面布局相对应；
将第一流量桶所对应的可选页面布局作为所述第一页面布局。
6.根据权利要求1所述的方法，其中，所述展示策略通过以下之一实现：逻辑回归模型，梯度提升决策树GBDT模型，深度神经网络。
7.根据权利要求1所述的方法，其中，所述操作信息包括以下中的至少一项：在页面中的点击次数，对页面的访问次数，对页面的浏览深度，在页面的停留时间；
所述根据所述操作信息确定本次页面展示的奖励分数包括：将所述奖励分数确定为，所述操作信息中至少一项的加权求和。
8.根据权利要求1或7所述的方法，其中，所述操作信息包括，基于该第一页面达成的交易金额；
所述根据所述操作信息确定本次页面展示的奖励分数包括：将所述奖励分数确定为，正比于所述交易金额。
9.根据权利要求1所述的方法，其中，至少根据所述奖励分数，采用强化学习算法更新所述展示策略，包括：
将所述用户特征、所述第一页面布局和所述奖励分数作为一条训练样本，添加到训练样本集中；
采用强化学习算法，利用所述训练样本集更新所述展示策略。
10.根据权利要求1或9所述的方法，其中，所述强化学习算法包括：SARSA算法，进化策略算法，Q-learning算法，策略梯度算法，交叉信息熵方法。
11.一种通过强化学习向用户展示页面的装置，包括：
特征获取单元，配置为响应于第一用户访问第一页面的请求，获取该第一用户的用户特征，所述用户特征包括用户画像特征和用户上下文特征；
布局确定单元，配置为根据展示策略，将所述用户特征映射到针对所述第一页面形成的第一数目的可选页面布局中的第一页面布局；
展示单元，配置为以所述第一页面布局向所述第一用户展示所述第一页面；
反馈获取单元，配置为获取所述第一用户对具有所述第一页面布局的第一页面的操作信息，并根据所述操作信息确定本次页面展示的奖励分数；
更新单元，配置为至少根据所述奖励分数，采用强化学习算法更新所述展示策略，用于进行页面展示。
12.根据权利要求11所述的装置，其中，
所述用户画像特征包括以下中的至少一项：年龄、性别、注册时长、教育程度、职业、人群标签；
所述用户上下文特征包括以下中的至少一项：发出所述请求的时间、发出所述请求经由的接口、用户的操作轨迹信息。
13.根据权利要求11所述的装置，其中，所述第一数目的可选页面布局通过以下方式预先形成：
确定可选的页面显示方式；
确定第一页面上页面元素的可选排列方式；
确定所述页面元素的可选属性；
通过组合所述页面显示方式，所述可选排列方式和所述可选属性，形成所述第一数目的可选页面布局。
14.根据权利要求13所述的装置，其中，
所述可选的页面显示方式包括，瀑布流显示和翻页显示；
所述可选属性包括，页面元素的显示大小，显示形状，以及分辨率。
15.根据权利要求11所述的装置，其中，所述展示策略为初始策略，所述布局确定单元配置为：
将所述第一用户随机分到第一数目的流量桶中的第一流量桶，其中所述第一数目的流量桶与所述第一数目的可选页面布局相对应；
将第一流量桶所对应的可选页面布局作为所述第一页面布局。
16.根据权利要求11所述的装置，其中，所述展示策略通过以下之一来实现：逻辑回归模型，梯度提升决策树GBDT模型，深度神经网络。
17.根据权利要求11所述的装置，其中，所述操作信息包括以下中的至少一项：在页面中的点击次数，对页面的访问次数，对页面的浏览深度，在页面的停留时间；
所述反馈获取单元配置为：将所述奖励分数确定为，所述操作信息中至少一项的加权求和。
18.根据权利要求11或17所述的装置，其中，所述操作信息包括，基于该第一页面达成的交易金额；
所述反馈获取单元配置为：将所述奖励分数确定为，正比于所述交易金额。
19.根据权利要求11所述的装置，其中，所述更新单元配置为：
将所述用户特征、所述第一页面布局和所述奖励分数作为一条训练样本，添加到训练样本集中；
采用强化学习算法，利用所述训练样本集更新所述展示策略。
20.根据权利要求11或19所述的装置，其中，所述强化学习算法包括：进化策略算法，Q-learning算法，SARSA算法，策略梯度算法，交叉信息熵方法。
21.一种计算机可读存储介质，其上存储有计算机程序，当所述计算机程序在计算机中执行时，令计算机执行权利要求1-10中任一项的所述的方法。
22.一种计算设备，包括存储器和处理器，其特征在于，所述存储器中存储有可执行代码，所述处理器执行所述可执行代码时，实现权利要求1-10中任一项所述的方法。
CN201910127332.9A 2019-02-20 2019-02-20 通过强化学习向用户展示页面的方法及装置 Active CN110018869B (zh)

Priority Applications (5)

Application Number Priority Date Filing Date Title
CN201910127332.9A CN110018869B (zh) 2019-02-20 2019-02-20 通过强化学习向用户展示页面的方法及装置
TW108130003A TW202032467A (zh) 2019-02-20 2019-08-22 透過強化學習向用戶展示頁面的方法及裝置
PCT/US2020/016505 WO2020171944A1 (en) 2019-02-20 2020-02-04 Method and apparatus for displaying page to user through reinforcement learning
SG11202104107RA SG11202104107RA (en) 2019-02-20 2020-02-04 Method and apparatus for displaying page to user through reinforcement learning
US16/795,091 US10956532B2 (en) 2019-02-20 2020-02-19 Method and apparatus for displaying page to user through reinforcement learning

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910127332.9A CN110018869B (zh) 2019-02-20 2019-02-20 通过强化学习向用户展示页面的方法及装置

Publications (2)

Publication Number Publication Date
CN110018869A CN110018869A (zh) 2019-07-16
CN110018869B true CN110018869B (zh) 2021-02-05

Family

ID=67189012

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910127332.9A Active CN110018869B (zh) 2019-02-20 2019-02-20 通过强化学习向用户展示页面的方法及装置

Country Status (5)

Country Link
US (1) US10956532B2 (zh)
CN (1) CN110018869B (zh)
SG (1) SG11202104107RA (zh)
TW (1) TW202032467A (zh)
WO (1) WO2020171944A1 (zh)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114286980A (zh) * 2019-11-05 2022-04-05 深圳市欢太科技有限公司 推送内容的展示方法、装置、电子设备以及存储介质
CN111198685B (zh) * 2019-12-20 2023-08-25 上海淇玥信息技术有限公司 基于用户状态生成前端交互页面的方法及其装置、系统、服务器、存储介质
CN113065909A (zh) * 2020-01-02 2021-07-02 阿里巴巴集团控股有限公司 页面的访问处理、配置处理方法、装置及电子设备
CN111461792B (zh) * 2020-04-17 2022-09-16 支付宝(杭州)信息技术有限公司 一种业务对象的展示方法、装置和电子设备
CN111682972B (zh) * 2020-08-14 2020-11-03 支付宝(杭州)信息技术有限公司 更新业务预测模型的方法及装置
CN114816395A (zh) * 2021-01-28 2022-07-29 华为云计算技术有限公司 一种页面布局方法及装置
CN113378089A (zh) * 2021-04-07 2021-09-10 北京汇钧科技有限公司 网页前端视图的布局方法及相关设备
CN113220297A (zh) * 2021-05-08 2021-08-06 北京汇钧科技有限公司 网页样式动态生成方法及装置、存储介质及电子设备
CN113434755A (zh) * 2021-06-15 2021-09-24 北京百度网讯科技有限公司 页面的生成方法、装置、电子设备及存储介质
CN113986058A (zh) * 2021-10-26 2022-01-28 北京字跳网络技术有限公司 一种企业勋章管理方法、装置及设备
CN114676635B (zh) * 2022-03-31 2022-11-11 香港中文大学（深圳） 一种基于强化学习的光学谐振腔反向设计和优化的方法
CN117495458B (zh) * 2023-12-29 2024-03-26 河北华糖云商营销传播股份有限公司 一种基于用户画像的广告在线推送方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU2012272850A1 (en) * 2011-06-24 2014-01-16 Breakthrough Performancetech, Llc Methods and systems for dynamically generating a training program
CN104536768A (zh) * 2015-01-16 2015-04-22 浪潮电子信息产业股份有限公司 一种改善软件用户界面友好性操作的方法
CN106056213A (zh) * 2015-04-06 2016-10-26 谷歌公司 使用目标和观察来选择强化学习动作
CN107817898A (zh) * 2017-10-31 2018-03-20 努比亚技术有限公司 操作模式识别方法、终端及存储介质
CN108780378A (zh) * 2016-01-05 2018-11-09 思腾科技（巴巴多斯）有限公司 基于机器学习的网页界面生成与测试系统
CN109154948A (zh) * 2017-03-01 2019-01-04 微软技术许可有限责任公司 提供内容
CN109324862A (zh) * 2018-10-09 2019-02-12 阿里巴巴集团控股有限公司 App展示方法及装置

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8250012B1 (en) * 2007-03-30 2012-08-21 Amazon Technologies, Inc. Evaluating recommendations by determining user actions, and performance values pertaining to lists of recommendations
US20090271275A1 (en) * 2008-04-24 2009-10-29 Igcsystems, Inc. Cross-promotional techniques, systems, and methods
CN101751437A (zh) * 2008-12-17 2010-06-23 中国科学院自动化研究所 基于强化学习的网页页面主动式检索系统
US8510237B2 (en) 2011-03-15 2013-08-13 Qualcomm Incorporated Machine learning method to identify independent tasks for parallel layout in web browsers
US9244917B1 (en) * 2011-09-30 2016-01-26 Google Inc. Generating a layout
US8886836B2 (en) * 2012-06-12 2014-11-11 Facebook, Inc. Providing a multi-column newsfeed of content on a social networking system
US9558175B2 (en) * 2012-09-13 2017-01-31 Yahoo! Inc. Generating an individualized web page template with entities of a web page publisher organization associated with areas of the template
US9489349B2 (en) * 2013-07-09 2016-11-08 Flipboard, Inc. Page template selection for content presentation in a digital magazine
US9529790B2 (en) * 2013-07-09 2016-12-27 Flipboard, Inc. Hierarchical page templates for content presentation in a digital magazine
US9569501B2 (en) * 2013-07-12 2017-02-14 Facebook, Inc. Optimizing electronic layouts for media content
US9703757B2 (en) * 2013-09-30 2017-07-11 Google Inc. Automatically determining a size for a content item for a web page
US20150128014A1 (en) * 2013-10-28 2015-05-07 Mixonium Group Holdings, Inc. Systems, methods, and media for content management and sharing
CN104679771B (zh) 2013-11-29 2018-09-18 阿里巴巴集团控股有限公司 一种个性化数据搜索方法和装置
US10437913B2 (en) * 2014-10-30 2019-10-08 Flipboard, Inc. Determining heights of content regions presenting content in a digital magazine
WO2018020462A1 (en) * 2016-07-27 2018-02-01 Wix.Com Ltd. System and method for implementing containers which extract and apply semantic page knowledge
US11182840B2 (en) * 2016-11-18 2021-11-23 Walmart Apollo, Llc Systems and methods for mapping a predicted entity to a product based on an online query
US10360288B2 (en) * 2017-01-25 2019-07-23 International Business Machines Corporation Web page design snapshot generator
US20180374138A1 (en) * 2017-06-23 2018-12-27 Vufind Inc. Leveraging delayed and partial reward in deep reinforcement learning artificial intelligence systems to provide purchase recommendations
CN107220094B (zh) * 2017-06-27 2019-06-28 北京金山安全软件有限公司 页面加载方法、装置和电子设备
CN108762740B (zh) * 2018-05-17 2022-08-26 北京三快在线科技有限公司 页面数据的生成方法、装置及电子设备
CN108829808B (zh) 2018-06-07 2021-07-13 麒麟合盛网络技术股份有限公司 一种页面个性化排序方法、装置及电子设备
CN109003143A (zh) * 2018-08-03 2018-12-14 阿里巴巴集团控股有限公司 利用深度强化学习进行推荐营销的方法及装置
CN109255648A (zh) 2018-08-03 2019-01-22 阿里巴巴集团控股有限公司 通过深度强化学习进行推荐营销的方法及装置
CN109348294A (zh) * 2018-10-31 2019-02-15 四川长虹电器股份有限公司 定制用户界面的电视运营系统及方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU2012272850A1 (en) * 2011-06-24 2014-01-16 Breakthrough Performancetech, Llc Methods and systems for dynamically generating a training program
CN104536768A (zh) * 2015-01-16 2015-04-22 浪潮电子信息产业股份有限公司 一种改善软件用户界面友好性操作的方法
CN106056213A (zh) * 2015-04-06 2016-10-26 谷歌公司 使用目标和观察来选择强化学习动作
CN108780378A (zh) * 2016-01-05 2018-11-09 思腾科技（巴巴多斯）有限公司 基于机器学习的网页界面生成与测试系统
CN109154948A (zh) * 2017-03-01 2019-01-04 微软技术许可有限责任公司 提供内容
CN107817898A (zh) * 2017-10-31 2018-03-20 努比亚技术有限公司 操作模式识别方法、终端及存储介质
CN109324862A (zh) * 2018-10-09 2019-02-12 阿里巴巴集团控股有限公司 App展示方法及装置

Also Published As

Publication number Publication date
US20200265105A1 (en) 2020-08-20
TW202032467A (zh) 2020-09-01
WO2020171944A1 (en) 2020-08-27
CN110018869A (zh) 2019-07-16
SG11202104107RA (en) 2021-05-28
US10956532B2 (en) 2021-03-23

Similar Documents

Publication Publication Date Title
CN110018869B (zh) 通过强化学习向用户展示页面的方法及装置
WO2020024717A1 (zh) 通过深度强化学习进行推荐营销的方法及装置
CN103502899B (zh) 动态预测建模平台
US20190236680A1 (en) Systems and Methods for Providing Personalized Online Content
US11100421B2 (en) Customized website predictions for machine-learning systems
KR102342678B1 (ko) 개인화 컨텐츠 추천을 위한 실시간 그래프기반 임베딩 구축 방법 및 시스템
CN110520871A (zh) 训练机器学习模型
US20190228105A1 (en) Dynamic website content optimization
CN109324862B (zh) App展示方法及装置
KR101926403B1 (ko) 인공지능을 이용한 온라인 쇼핑몰에서의 프로모션 성과 예측 및 추천 장치
US11809977B2 (en) Weakly supervised reinforcement learning
CN112149824B (zh) 利用博弈论更新推荐模型的方法及装置
CN110753920A (zh) 用于优化和模拟网页排序和流量的系统和方法
CN110221959A (zh) 应用程序的测试方法、设备以及计算机可读介质
KR102161294B1 (ko) 정책망 및 가치망을 이용한 온라인 쇼핑몰에서의 프로모션 성과 예측 및 추천 장치
US20220114499A1 (en) System and method for efficiently training intelligible models
CN111489196B (zh) 基于深度学习网络的预测方法、装置、电子设备及介质
CN114036388A (zh) 数据处理方法和装置、电子设备、及存储介质
CN110717537B (zh) 训练用户分类模型、执行用户分类预测的方法及装置
CN111046156A (zh) 奖励数据的确定方法、装置和服务器
KR20230081604A (ko) 기업 정보에 기반하여 인큐베이팅 대상 기업을 선정하는 기업 인큐베이팅 시스템
US11775815B2 (en) System and method for deep memory network
Schulz et al. A network approach to consumption
CN110059248B (zh) 一种推荐方法、装置及服务器
CN112541129B (zh) 处理交互事件的方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20201019

Address after: Cayman Enterprise Centre, 27 Hospital Road, George Town, Grand Cayman Islands

Applicant after: Innovative advanced technology Co.,Ltd.

Address before: Cayman Enterprise Centre, 27 Hospital Road, George Town, Grand Cayman Islands

Applicant before: Advanced innovation technology Co.,Ltd.

Effective date of registration: 20201019

Address after: Cayman Enterprise Centre, 27 Hospital Road, George Town, Grand Cayman Islands

Applicant after: Advanced innovation technology Co.,Ltd.

Address before: A four-storey 847 mailbox in Grand Cayman Capital Building, British Cayman Islands

Applicant before: Alibaba Group Holding Ltd.

GR01 Patent grant
GR01 Patent grant