CN110851699A - 基于深度强化学习的信息流推荐方法、装置、设备及介质 - Google Patents
基于深度强化学习的信息流推荐方法、装置、设备及介质 Download PDFInfo
- Publication number
- CN110851699A CN110851699A CN201910871544.8A CN201910871544A CN110851699A CN 110851699 A CN110851699 A CN 110851699A CN 201910871544 A CN201910871544 A CN 201910871544A CN 110851699 A CN110851699 A CN 110851699A
- Authority
- CN
- China
- Prior art keywords
- user
- neural network
- recommendation list
- historical click
- feedback
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 63
- 230000002787 reinforcement Effects 0.000 title claims abstract description 57
- 238000013528 artificial neural network Methods 0.000 claims abstract description 139
- 239000013598 vector Substances 0.000 claims description 19
- 238000011156 evaluation Methods 0.000 claims description 16
- 238000004590 computer program Methods 0.000 claims description 9
- 238000004364 calculation method Methods 0.000 claims description 8
- 238000012544 monitoring process Methods 0.000 claims description 7
- 230000010365 information processing Effects 0.000 abstract description 3
- 230000009471 action Effects 0.000 description 14
- 238000004422 calculation algorithm Methods 0.000 description 10
- 230000008569 process Effects 0.000 description 10
- 239000003795 chemical substances by application Substances 0.000 description 9
- 230000003993 interaction Effects 0.000 description 8
- 230000006870 function Effects 0.000 description 7
- 230000007423 decrease Effects 0.000 description 5
- 238000010586 diagram Methods 0.000 description 5
- 238000004891 communication Methods 0.000 description 4
- 238000013473 artificial intelligence Methods 0.000 description 3
- 230000006399 behavior Effects 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000006835 compression Effects 0.000 description 2
- 238000007906 compression Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 230000002452 interceptive effect Effects 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 238000003062 neural network model Methods 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000007418 data mining Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/95—Retrieval from the web
- G06F16/953—Querying, e.g. by the use of web search engines
- G06F16/9535—Search customisation based on user profiles and personalisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/95—Retrieval from the web
- G06F16/953—Querying, e.g. by the use of web search engines
- G06F16/9538—Presentation of query results
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Biomedical Technology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本申请实施例公开了一种基于深度强化学习的信息流推荐方法、装置、设备及介质，涉及信息处理技术领域。该方法包括：采集目标用户的历史点击序列；调用预设的actor神经网络和critic神经网络；生成用户推荐列表，向目标用户展示用户推荐列表，以获取反馈结果数据和反馈后产生的新的历史点击序列；计算时间差分误差；更新critic神经网络和actor神经网络中的参数；生成新的用户推荐列表，并展示新的用户推荐列表，直至无法获取到目标用户针对新的用户推荐列表的反馈结果数据和反馈后产生的新的历史点击序列为止。所述方法增强了推荐系统与用户的交互性，对用户的反馈进行了实时利用，能不断地优化推荐引擎，提升推荐的质量，提升用户体验，以有效地吸引用户留存。
Description
技术领域
本申请实施例涉及信息处理技术领域，特别是一种基于深度强化学习的信息流推荐方法、装置、设备及介质。
背景技术
随着人工智能的发展，越来越多的产品应用利用人工智能以提高用户与产品之间的交互体验，如根据用户的兴趣特点和购买行为，向用户推荐用户感兴趣的产品。而随着电子商务规模的不断扩大，商品个数和种类快速增长，顾客需要花费大量的时间才能找到自己想买的商品。这种浏览大量无关的信息和产品过程会使淹没在信息过载问题中的消费者不断流失。为了解决这些问题，商品推荐系统建立在海量数据挖掘和智能决策的基础之上，帮助电子商务网站为其顾客购物提供有效的决策支持和信息服务。
商品推荐系统利用一些推荐算法从用户的行为和偏好中发现规律，并由此进行推荐。目前，现有的推荐算法模型一般都忽略了与用户的交互过程，只关注用户的行为，而且没有充分的利用用户的实时反馈，并根据用户的反馈对模型作出进一步的改进。使现有的推荐系统缺乏与用户的交互性，容易导致用户对推荐的信息不感兴趣，在信息流场景下用户的访问体验提升不高。
发明内容
本申请实施例所要解决的技术问题是，提供一种基于深度强化学习的信息流推荐方法、装置、设备及存储介质，增强推荐系统与用户的交互性，并能不断优化推荐结果，提升信息推荐的质量。
为了解决上述技术问题，本申请实施例所述的一种基于深度强化学习的信息流推荐方法，采用了如下所述的技术方案：
一种基于深度强化学习的信息流推荐方法，包括：
基于目标用户的信息流采集所述目标用户的历史点击序列；
调用预设的actor神经网络和critic神经网络；
将所述历史点击序列输入所述actor神经网络生成用户推荐列表，并向目标用户展示所述用户推荐列表，以获取所述目标用户针对所述用户推荐列表的反馈结果数据和反馈后产生的新的历史点击序列；
将历史点击序列和新的历史点击序列分别输入所述critic神经网络，以结合所述反馈结果数据计算时间差分误差；
基于所述时间差分误差更新所述critic神经网络中的参数，进而结合所述时间差分误差和所述用户推荐列表更新所述actor神经网络中的参数；
将新的历史点击序列输入更新后的actor神经网络生成新的用户推荐列表，并向目标用户展示所述新的用户推荐列表，直至无法获取到所述目标用户针对所述新的用户推荐列表的反馈结果数据和反馈后产生的新的历史点击序列为止。
本申请实施例所述的基于深度强化学习的信息流推荐方法，利用actor-critic神经网络架构，增强了推荐系统与用户的交互，对用户的反馈进行了实时利用，能不断地优化推荐引擎，使用户的反馈直接作用于下一次推荐结果，提升推荐的质量，让用户体验得以提升，从而增加每次用户的访问时长和用户来访频率，有效地吸引用户留存。
进一步的，所述的基于深度强化学习的信息流推荐方法，所述将所述历史点击序列输入所述actor神经网络生成用户推荐列表的步骤包括：
通过所述actor神经网络提取所述历史点击序列中的隐藏特征；
将所述隐藏特征输入所述actor神经网络结合所述历史点击序列生成所述用户推荐列表。
进一步的，所述的基于深度强化学习的信息流推荐方法，所述将所述历史点击序列输入所述actor神经网络生成用户推荐列表的步骤还包括：
提取所述历史点击序列中的若干个历史点击项目，将所述若干个历史点击项目设为所述用户推荐列表的候选集；
通过所述actor神经网络获取用户推荐列表中每个位置的权重向量；
分别计算每个所述权重向量与所述候选集中每个历史点击项目的点积，记为排序分值；
基于所述排序分值对所述候选集中的历史点击项目进行排序，以生成所述用户推荐列表。
进一步的，所述的基于深度强化学习的信息流推荐方法，所述将历史点击序列和新的历史点击序列分别输入所述critic神经网络，以结合所述反馈结果数据计算时间差分误差的步骤包括：
基于所述反馈结果数据获取所述用户推荐列表的奖惩回报值R，并通过critic神经网络计算出目标用户反馈前对所述历史点击序列的评估值V(S)，和目标用户反馈后对所述新的历史点击序列的评估值V(S')；
调用预设的误差公式td_error＝R+V(S')–V(S)，基于所述误差公式计算所述时间差分误差td_error。
进一步的，所述的基于深度强化学习的信息流推荐方法，所述基于所述反馈结果数据获取所述用户推荐列表的奖惩回报值R的步骤之前，所述方法还包括步骤：
对目标用户的反馈状态进行回报等级划分；
基于划分的回报等级为所述用户推荐列表中每个项目的反馈状态配置对应的奖惩回报值。
进一步的，所述的基于深度强化学习的信息流推荐方法，所述基于所述反馈结果数据获取所述用户推荐列表的奖惩回报值R的步骤包括：
监控目标用户对所述用户推荐列表的反馈状态，以根据所述反馈状态匹配到对应的奖惩回报值。
进一步的，所述的基于深度强化学习的信息流推荐方法，所述基于所述时间差分误差更新所述critic神经网络中的参数，进而结合所述时间差分误差和所述用户推荐列表更新所述actor神经网络中的参数的步骤包括：
对所述时间差分误差求导得到第一梯度，通过调整所述critic神经网络中的参数调整所述第一梯度，以对所述第一梯度进行梯度下降，从而更新所述critic神经网络中的参数；
以所述时间差分误差对所述用户推荐列表求导得到第二梯度，通过调整所述actor神经网络中的参数调整所述第二梯度，以对所述第二梯度进行梯度下降，从而更新所述actor神经网络中的参数。
为了解决上述技术问题，本申请实施例还提供一种基于深度强化学习的信息流推荐装置，采用了如下所述的技术方案：
一种基于深度强化学习的信息流推荐装置，包括：
序列采集模块，用于基于目标用户的信息流采集所述目标用户的历史点击序列；
模型调用模块，用于调用预设的actor神经网络和critic神经网络；
反馈获取模块，用于将所述历史点击序列输入所述actor神经网络生成用户推荐列表，并向目标用户展示所述用户推荐列表，以获取所述目标用户针对所述用户推荐列表的反馈结果数据和反馈后产生的新的历史点击序列；
误差计算模块，用于将历史点击序列和新的历史点击序列分别输入所述critic神经网络，以结合所述反馈结果数据计算时间差分误差；
模型更新模块，用于基于所述时间差分误差更新所述critic神经网络中的参数，进而结合所述时间差分误差和所述用户推荐列表更新所述actor神经网络中的参数；
循环生成模块，用于将新的历史点击序列输入更新后的actor神经网络生成新的用户推荐列表，并向目标用户展示所述新的用户推荐列表，直至无法获取到所述目标用户针对所述新的用户推荐列表的反馈结果数据和反馈后产生的新的历史点击序列为止。
本申请实施例所述的基于深度强化学习的信息流推荐装置，利用actor-critic神经网络架构，增强了推荐系统与用户的交互，对用户的反馈进行了实时利用，能不断地优化推荐引擎，使用户的反馈直接作用于下一次推荐结果，提升推荐的质量，让用户体验得以提升，从而增加每次用户的访问时长和用户来访频率，有效地吸引用户留存。
为了解决上述技术问题，本申请实施例还提供一种计算机设备，采用了如下所述的技术方案：
一种计算机设备，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器执行所述计算机程序时实现如上述任意一项技术方案所述的基于深度强化学习的信息流推荐方法的步骤。
为了解决上述技术问题，本申请实施例还提供一种计算机可读存储介质，采用了如下所述的技术方案：
一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如上述任意一项技术方案所述的基于深度强化学习的信息流推荐方法的步骤。
与现有技术相比，本申请实施例主要有以下有益效果：
本申请实施例公开了一种基于深度强化学习的信息流推荐方法、装置、设备及存储介质，本申请实施例所述的基于深度强化学习的信息流推荐方法，首先采集目标用户的历史点击序列；然后调用预设的actor神经网络和critic神经网络；通过actor神经网络生成用户推荐列表后，向目标用户展示用户推荐列表，以获取反馈结果数据和反馈后产生的新的历史点击序列；再基于历史点击序列、新的历史点击序列和反馈结果数据的结合计算时间差分误差；基于时间差分误差更新critic神经网络，和基于时间差分误差和用户推荐列表的结合更新actor神经网络中的参数；通过更新后的actor神经网络生成新的用户推荐列表，并向目标用户展示新的用户推荐列表，直至无法获取到目标用户针对新的用户推荐列表的反馈结果数据和反馈后产生的新的历史点击序列为止。所述方法利用actor-critic神经网络架构，增强了推荐系统与用户的交互，对用户的反馈进行了实时利用，能不断地优化推荐引擎，使用户的反馈直接作用于下一次推荐结果，提升推荐的质量，让用户体验得以提升，从而增加每次用户的访问时长和用户来访频率，有效地吸引用户留存。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例可以应用于其中的示例性系统架构图；
图2为本申请实施例中所述基于深度强化学习的信息流推荐方法的一个实施例的流程图；
图3为本申请实施例中所述基于深度强化学习的信息流推荐装置的一个实施例的结构示意图；
图4为本申请实施例中计算机设备的一个实施例的结构示意图。
具体实施方式
除非另有定义，本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同。本文中在本申请的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本申请。
需要说明的是，本申请的说明书和权利要求书及上述附图中的术语“包括”、“包含”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其他步骤或单元。在本申请的权利要求书、说明书以及说明书附图中的术语，诸如“第一”和“第二”等之类的关系术语仅仅用来将一个实体/操作/对象与另一个实体/操作/对象区分开来，而不一定要求或者暗示这些实体/操作/对象之间存在任何这种实际的关系或者顺序。
在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其他实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其他实施例相结合。
为了使本技术领域的人员更好地理解本申请的方案，下面将结合本申请实施例中的相关附图，对本申请实施例中的技术方案进行清楚、完整地描述。
如图1所示，系统架构100可以包括终端设备101、102、103，网络104和服务器105。网络104用以在终端设备101、102、103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。
用户可以使用终端设备101、102、103通过网络104与服务器105交互，以接收或发送消息等。终端设备101、102、103上可以安装有各种通讯客户端应用，例如网页浏览器应用、购物类应用、搜索类应用、即时通信工具、邮箱客户端、社交平台软件等。
终端设备101、102、103可以是具有显示屏并且支持网页浏览的各种电子设备，包括但不限于智能手机、平板电脑、电子书阅读器、MP3播放器(Moving Picture ExpertsGroup Audio Layer III，动态影像专家压缩标准音频层面3)、MP4(Moving PictureExperts Group Audio Layer IV，动态影像专家压缩标准音频层面4)播放器、膝上型便携计算机和台式计算机等等。
服务器105可以是提供各种服务的服务器，例如对终端设备101、102、103上显示的页面提供支持的后台服务器。
需要说明的是，本申请实施例所提供的基于深度强化学习的信息流推荐方法一般由服务器/终端设备执行，相应地，基于深度强化学习的信息流推荐装置一般设置于服务器/终端设备中。
应该理解，图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。
继续参考图2，示出了本申请实施例中所述基于深度强化学习的信息流推荐方法的一个实施例的流程图。所述基于深度强化学习的信息流推荐方法，包括以下步骤：
步骤201：基于目标用户的信息流采集所述目标用户的历史点击序列。
信息流指由一个信息源向另一个单位传递的全部信息的集合，在本申请实施例中，所述信息流可以理解为目标用户在服务器上操作时产生的所有的交互数据。
在本申请实施例的一种具体实施方式中，所述信息流中包括：目标用户浏览网站等信息时点击的项目/商品、点击项目的时间、对每个项目的点击次数和在点击项目中的停留时间等用户数据。
所述历史点击序列通过记录与用户的历史点击相关的数据信息，用于表示用户最近的兴趣点所在。
步骤202：调用预设的actor神经网络和critic神经网络。
本申请中利用Actor-Critic算法实现推荐方法的深度强化学习和环境交互，以根据目标用户的反馈不断优化推荐的内容，使每一次新的推荐内容能更符合目标用户的需求，提高推荐的准确度。
深度强化学习将深度学习的感知能力和强化学习的决策能力相结合，可以直接根据输入的数据进行控制，是一种更接近人类思维方式的人工智能方法。
通常，强化学习的设置由两部分组成，一个是智能体(agent)，另一个是环境(environment)。其中，环境指的是智能体执行动作时所处的场景，而智能体则表示强化学习算法。环境首先向智能体发送一个状态，然后智能体基于其知识采取动作来响应该状态。之后，环境发送下一个状态，并把奖励返回给智能体。智能体用环境所返回的奖励来更新其知识，对上一个动作进行评估。这个循环一直持续，直到环境发送终止状态来结束这个事件。
Actor-Critic算法所属的神经网络架构涉及到了两个神经网络，即actor神经网络和critic神经网络，actor神经网络可以视为一个基于强化学习的推荐引擎，critic神经网络可视为用于根据用户的实时反馈评估推荐引擎的推荐结果并优化该推荐引擎的评估系统。进一步结合上述强化学习的概念进行理解，Actor神经网络和critic神经网络可以共同看作强化学习的设置中的智能体。
其中，Actor算法用于选择动作，然后通过critic算法评估它选择的动作是否合适。在这一过程中，actor算法不断迭代，得到每一个状态下选择每一个动作的合理概率，critic算法也不断迭代，不断完善对每个状态下选择每一个动作时评估的好坏，由此来持续更新actor神经网络和critic神经网络中的各个参数。
步骤203：将所述历史点击序列输入所述actor神经网络生成用户推荐列表，并向目标用户展示所述用户推荐列表，以获取所述目标用户针对所述用户推荐列表的反馈结果数据和反馈后产生的新的历史点击序列。
本申请实施例中，所述历史点击序列中包括了用户最近点击的所有项目。具体地，我们可以选取其中用户最近的n个点击项目对应的嵌入向量(embed vector)作为用户最近的兴趣点，记为state，以作为actor神经网络的输入。
Actor神经网络根据输入的state便能对应生成一个用户推荐列表，将该用户推荐列表展示给目标用户进行项目推荐。而向目标用户展示了所述用户推荐列表后，目标用户可能会对所述用户推荐列表中的一些项目产生兴趣，从而点击所述用户推荐列表中的项目进行浏览，此时产生的相关数据则可以记为所述反馈结果数据。所述反馈结果数据指目标用户对向其展示的用户推荐列表的反馈内容，主要包括对于所述用户推荐列表的用户反馈对应的及时回报值。所述反馈结果数据中还可以包括目标用户对所述用户推荐列表中的项目的点击次数、浏览时间和浏览时长等数据。
目标用户在向其展示的用户推荐列表中进行点击访问或跳过等操作后，以目标用户对用户推荐列表操作的内容生成反馈结果数据返回给服务器端。同时，由于目标用户在用户推荐列表中进行了新的点击访问等操作，此操作之后，其点击过的项目也应纳入历史点击序列中，由此产生了新的历史点击序列。
在本申请请实施例的一种具体实施方式中，步骤203中所述将所述历史点击序列输入所述actor神经网络生成用户推荐列表的步骤包括：
通过所述actor神经网络提取所述历史点击序列中的隐藏特征；
将所述隐藏特征输入所述actor神经网络结合所述历史点击序列生成所述用户推荐列表。
所述state就是指按时间排序的点击序列，actor神经网络的结构中还含有RNN(Recurrent Neural Network，循环神经网络)，所述RNN可以有效地发现时间序列中的隐藏特征。
在本申请实施例的一种具体实施方式中，时间序列的隐藏特征可以通过以下举例进行理解：目标用户之前浏览的项目为篮球，现在浏览的项目为足球，则说明用户的兴趣发生了变化，这类变化可视为隐藏特征。隐藏特征可以作为高级特征输入actor神经网络，而这类高级特征，往往很难通过人工去挖掘。将隐藏特征输入actor神经网络，可以作为生成所述用户推荐列表时的一个参数依据。
在本申请请实施例的另一种具体实施方式中，步骤203中所述将所述历史点击序列输入所述actor神经网络生成用户推荐列表的步骤包括：
提取所述历史点击序列中的若干个历史点击项目，将所述若干个历史点击项目设为所述用户推荐列表的候选集；
通过所述actor神经网络获取用户推荐列表中每个位置的权重向量；
分别计算每个所述权重向量与所述候选集中每个历史点击项目的点积，记为排序分值；
基于所述排序分值对所述候选集中的历史点击项目进行排序，以生成所述用户推荐列表。
候选集是指从历史点击序列中选取的需要在所述用户推荐列表中被排序的项目。提取所述历史点击序列中的若干个项目，如m个项目，实际是从所述state的n个项目对应的嵌入向量中选取m个项目对应的嵌入向量作为候选集，其中，0＜m≤n，且m∈N*，n∈N*。
所述用户推荐列表中每个位置对应的权重表现为向量的形式，上述步骤中通过actor神经网络获取的每个位置所对应的权重向量，所述权重向量用于表示所述推荐列表中各个位置的重要性。而由各个所述权重向量分别与所述候选集中的项目进行点乘得到的排序分值，所述排序分值用于作为最终对项目在所述用户推荐列表进行排序的依据。
按分值排序好所述用户推荐列表中的m个项目，最终生成所述用户推荐列表后，即可将所述用户推荐列表作为推荐结果展现在目标用户的面前。而在Actor-Critic算法所属的模型中，所述用户推荐列表称为action。
在本申请实施例中，所述基于深度强化学习的信息流推荐方法运行于其上的电子设备(例如图1所示的服务器/终端设备)可以通过有线连接方式或者无线连接方式接收用户对用户推荐列表的反馈结果数据。需要指出的是，上述无线连接方式可以包括但不限于3G/4G连接、WiFi连接、蓝牙连接、WiMAX连接、Zigbee连接、UWB(ultra wideband)连接、以及其他现在已知或将来开发的无线连接方式。
步骤204：将历史点击序列和新的历史点击序列分别输入所述critic神经网络，以结合所述反馈结果数据计算时间差分误差。
该步骤中，所述历史点击序列实质是指历史点击序列中的所述state，而新的历史点击序列则视为next state。所述state和所述next state共同输入所述critic神经网络后，结合目标用户关于state对应的用户推荐列表(action)的反馈结果数据对这次推荐结果进行评估，从而判断推荐引擎(所述actor神经网络)的好坏。
步骤205：基于所述时间差分误差更新所述critic神经网络中的参数，进而结合所述时间差分误差和所述用户推荐列表更新所述actor神经网络中的参数。
通过所述时间差分误差td_error更新所述actor神经网络中的参数时，由于所述td_error体现了目标用户对于所述用户推荐列表的反馈结果，因此可以较准确地根据td_error判断目标用户是否对推荐引擎推荐的结果感兴趣，从而判断推荐引擎的好坏。
在本申请的一些实施例中，所述步骤204包括：
基于所述反馈结果数据获取所述用户推荐列表的奖惩回报值R，并通过critic神经网络计算出目标用户反馈前对所述历史点击序列的评估值V(S)，和目标用户反馈后对所述新的历史点击序列的评估值V(S')；
调用预设的误差公式td_error＝R+V(S')–V(S)，基于所述误差公式计算所述时间差分误差td_error。
基于所述actor-critic神经网络架构计算出的时间差分误差，记为td_error。所述td_error还可以理解为损失函数，损失函数的值越小，表示对神经网络模型的评估越好。
在预设的误差公式中，R为奖惩回报值，所述奖惩回报值表示所述反馈结果数据中目标用户关于所述用户推荐列表的及时回报值。V(S)表示state下通过critic神经网络中的评估函数计算出的评估值，S表示state作为的输入。参考上述内容，初始时设置的目标用户最近的兴趣点记为state/历史点击序列，而在目标用户对推荐引擎生成的action/用户推荐列表做出反馈后，用户兴趣点记为next state/新的历史点击序列，V(S')则表示nextstate下通过critic神经网络中的评估函数计算出的评估值。
在一种具体实施方式中，在所述基于所述反馈结果数据获取所述用户推荐列表的奖惩回报值R的步骤之前，所述基于深度强化学习的信息流推荐方法还包括步骤：对目标用户的反馈状态进行回报等级划分；基于划分的回报等级为所述用户推荐列表中每个项目的反馈状态配置对应的奖惩回报值。
当目标用户浏览所述用户推荐列表时，可能会对所述用户推荐列表中的项目执行跳过、点击、完全阅读等不同的操作，我们需要预先为每个项目分别设置对应于跳过、点击、完全阅读状态的操作的奖惩回报值R。具体地，对于生成的用户推荐列表，目标用户的反馈状态中，跳过表示无收益或负收益的操作，点击表示正收益的操作，完全阅读状态则表示正收益最大的操作，因此为跳过的项目设置的奖惩回报值应小于点击的项目设置的奖惩回报值，而为点击的项目设置的奖惩回报值应小于完全阅读的项目设置的奖惩回报值。如跳过、点击、完全阅读状态的项目对应的回报等级分别设置为一级、二级和三级，一级二级和三级对应的奖惩回报值分别配置为0、1和5。
进一步的，所述基于所述反馈结果数据获取所述用户推荐列表的奖惩回报值R的步骤包括：监控目标用户对所述用户推荐列表的反馈状态，以根据所述反馈状态匹配到对应的奖惩回报值。
监控目标用户的反馈状态，才能及时获取到用户对所述用户推荐列表进行的操作，从而获取到反馈结果数据中包含的奖惩回报值。
在本申请一些实施例的具体实施方式中，所述步骤205包括：对所述时间差分误差求导得到第一梯度，通过调整所述critic神经网络中的参数调整所述第一梯度，以对所述第一梯度进行梯度下降，从而更新所述critic神经网络中的参数；
以所述时间差分误差对所述用户推荐列表求导得到第二梯度，通过调整所述actor神经网络中的参数调整所述第二梯度，以对所述第二梯度进行梯度下降，从而更新所述actor神经网络中的参数。
本申请中td_error可以理解为损失函数，损失函数的值越小，表示对神经网络模型的评估越好，而梯度下降的意义是在计算过程沿梯度下降的方向求解极小值，本申请中即是为了使td_error的值尽量减小。
上述步骤中应用的误差公式实质是一个凸函数，为了使td_error的值不断减小，实现对actor-critic神经网络架构的整体优化，可以通过对td_error求导得到一个向量表示的导数，然后critic神经网络中的参数向该向量的反方向递减，便能使该导数进行梯度下降，由此便能调整critic神经网络中的参数使其向好的方向进行更新。同理，用td_error对actor神经网络生成的action求导得到一个向量表示的导数，然后actor神经网络中的参数向该向量的反方向递减，便能使该导数进行梯度下降，由此便能调整actor神经网络中的参数使其向好的方向进行更新。
步骤206：将新的历史点击序列输入更新后的actor神经网络生成新的用户推荐列表，并向目标用户展示所述新的用户推荐列表。
步骤207：是否获取到所述目标用户针对所述新的用户推荐列表的反馈结果数据和反馈后产生的新的历史点击序列。
本申请中基于深度强化学习的信息流推荐方法，将新的历史点击序列输入更新后的actor神经网络生成新的用户推荐列表，并向目标用户展示所述新的用户推荐列表，直至无法获取到所述目标用户针对所述新的用户推荐列表的反馈结果数据和反馈后产生的新的历史点击序列为止。
此过程中，不断更新actor-critic神经网络架构中actor神经网络和critic神经网络的参数，在每次产生新的用户推荐列表和获取目标用户对新的用户推荐列表的反馈结果数据，由此产生了新的历史点击序列后，便跳转至步骤204和步骤205循环执行，直到生成了新的用户推荐列表后，未再获得目标用户对该用户推荐列表的反馈结果数据，便结束对该actor-critic神经网络架构的优化更新。
通过以上迭代的方式进行更新，目的是为了使时间差分误差td_error的值越来越小，而通过不断更新actor神经网络和critic神经网络，使通过actor神经网络产生的用户推荐列表逐渐收敛以接近用户最感兴趣的内容，即产生的td_error会逐渐减小，从而使用户推荐列表所获得的反馈回报和评估能越来越好，最终可以完全抓住用户的兴趣点所在。
本申请实施例所述的基于深度强化学习的信息流推荐方法，利用actor-critic神经网络架构，增强了推荐系统与用户的交互，对用户的反馈进行了实时利用，能不断地优化推荐引擎，使用户的反馈直接作用于下一次推荐结果，提升推荐的质量，让用户体验得以提升，从而增加每次用户的访问时长和用户来访频率，有效地吸引用户留存。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，该计算机程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，前述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)等非易失性存储介质，或随机存储记忆体(Random Access Memory，RAM)等。
应该理解的是，虽然附图的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，其可以以其他的顺序执行。而且，附图的流程图中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，其执行顺序也不必然是依次进行，而是可以与其他步骤或者其他步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
进一步参考图3，图3示出了为本申请实施例中所述基于深度强化学习的信息流推荐装置的一个实施例的结构示意图。作为对上述图2所示方法的实现，本申请提供了一种基于深度强化学习的信息流推荐装置的一个实施例，该装置实施例与图2所示的方法实施例相对应，该装置具体可以应用于各种电子设备中。
如图3所示，本实施例所述的基于深度强化学习的信息流推荐装置包括：
序列采集模块301；用于基于目标用户的信息流采集所述目标用户的历史点击序列。
模型调用模块302；用于调用预设的actor神经网络和critic神经网络。
反馈获取模块303；用于将所述历史点击序列输入所述actor神经网络生成用户推荐列表，并向目标用户展示所述用户推荐列表，以获取所述目标用户针对所述用户推荐列表的反馈结果数据和反馈后产生的新的历史点击序列。
误差计算模块304；用于将历史点击序列和新的历史点击序列分别输入所述critic神经网络，以结合所述反馈结果数据计算时间差分误差。
模型更新模块305；用于基于所述时间差分误差更新所述critic神经网络中的参数，进而结合所述时间差分误差和所述用户推荐列表更新所述actor神经网络中的参数。
循环生成模块306；用于将新的历史点击序列输入更新后的actor神经网络生成新的用户推荐列表，并向目标用户展示所述新的用户推荐列表，直至无法获取到所述目标用户针对所述新的用户推荐列表的反馈结果数据和反馈后产生的新的历史点击序列为止。
在本申请实施例的一种具体实施方式中，所述反馈获取模块303包括：特征提取子模块。所述特征提取子模块用于通过所述actor神经网络提取所述历史点击序列中的隐藏特征后，通过所述反馈获取模块303将所述隐藏特征输入所述actor神经网络结合所述历史点击序列生成所述用户推荐列表。
在本申请请实施例的另一种具体实施方式中，所述反馈获取模块303还包括：列表生成子模块。所述列表生成子模块用于提取所述历史点击序列中的若干个历史点击项目，将所述若干个历史点击项目设为所述用户推荐列表的候选集；通过所述actor神经网络获取用户推荐列表中每个位置的权重向量；分别计算每个所述权重向量与所述候选集中每个历史点击项目的点积，记为排序分值；基于所述排序分值对所述候选集中的历史点击项目进行排序，以生成所述用户推荐列表。
在本申请的一些实施例中，所述误差计算模块304用于基于所述反馈结果数据获取所述用户推荐列表的奖惩回报值R，并通过critic神经网络计算出目标用户反馈前对所述历史点击序列的评估值V(S)，和目标用户反馈后对所述新的历史点击序列的评估值V(S')；调用预设的误差公式td_error＝R+V(S')–V(S)，基于所述误差公式计算所述时间差分误差td_error。
在本申请实施例的一种具体实施方式中，所述基于深度强化学习的信息流推荐装置还包括：奖惩回报值配置模块。在所述误差计算模块304基于所述反馈结果数据获取所述用户推荐列表的奖惩回报值R之前，所述奖惩回报值配置模块用于对目标用户的反馈状态进行回报等级划分；基于划分的回报等级为所述用户推荐列表中每个项目的反馈状态配置对应的奖惩回报值。
进一步的，所述误差计算模块304还包括：监控子模块。所述监控子模块用于监控目标用户对所述用户推荐列表的反馈状态，以根据所述反馈状态匹配到对应的奖惩回报值。
在本申请一些实施例的具体实施方式中，所述模型更新模块305用于对所述时间差分误差求导得到第一梯度，通过调整所述critic神经网络中的参数调整所述第一梯度，以对所述第一梯度进行梯度下降，从而更新所述critic神经网络中的参数；以所述时间差分误差对所述用户推荐列表求导得到第二梯度，通过调整所述actor神经网络中的参数调整所述第二梯度，以对所述第二梯度进行梯度下降，从而更新所述actor神经网络中的参数。
本申请实施例所述的基于深度强化学习的信息流推荐装置，利用actor-critic神经网络架构，增强了推荐系统与用户的交互，对用户的反馈进行了实时利用，能不断地优化推荐引擎，使用户的反馈直接作用于下一次推荐结果，提升推荐的质量，让用户体验得以提升，从而增加每次用户的访问时长和用户来访频率，有效地吸引用户留存。
为解决上述技术问题，本申请实施例还提供计算机设备。具体请参阅图4，图4为本实施例计算机设备基本结构框图。
所述计算机设备6包括通过系统总线相互通信连接存储器61、处理器62、网络接口63。需要指出的是，图中仅示出了具有组件61-63的计算机设备6，但是应理解的是，并不要求实施所有示出的组件，可以替代的实施更多或者更少的组件。其中，本技术领域技术人员可以理解，这里的计算机设备是一种能够按照事先设定或存储的指令，自动进行数值计算和/或信息处理的设备，其硬件包括但不限于微处理器、专用集成电路(ApplicationSpecific Integrated Circuit，ASIC)、可编程门阵列(Field－Programmable GateArray，FPGA)、数字处理器(Digital Signal Processor，DSP)、嵌入式设备等。
所述计算机设备可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。所述计算机设备可以与用户通过键盘、鼠标、遥控器、触摸板或声控设备等方式进行人机交互。
所述存储器61至少包括一种类型的可读存储介质，所述可读存储介质包括闪存、硬盘、多媒体卡、卡型存储器(例如，SD或DX存储器等)、随机访问存储器(RAM)、静态随机访问存储器(SRAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、可编程只读存储器(PROM)、磁性存储器、磁盘、光盘等。在一些实施例中，所述存储器61可以是所述计算机设备6的内部存储单元，例如该计算机设备6的硬盘或内存。在另一些实施例中，所述存储器61也可以是所述计算机设备6的外部存储设备，例如该计算机设备6上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(FlashCard)等。当然，所述存储器61还可以既包括所述计算机设备6的内部存储单元也包括其外部存储设备。本实施例中，所述存储器61通常用于存储安装于所述计算机设备6的操作系统和各类应用软件，例如基于深度强化学习的信息流推荐方法的程序代码等。此外，所述存储器61还可以用于暂时地存储已经输出或者将要输出的各类数据。
所述处理器62在一些实施例中可以是中央处理器(Central Processing Unit，CPU)、控制器、微控制器、微处理器、或其他数据处理芯片。该处理器62通常用于控制所述计算机设备6的总体操作。本实施例中，所述处理器62用于运行所述存储器61中存储的程序代码或者处理数据，例如运行所述基于深度强化学习的信息流推荐方法的程序代码。
所述网络接口63可包括无线网络接口或有线网络接口，该网络接口63通常用于在所述计算机设备6与其他电子设备之间建立通信连接。
本申请还提供了另一种实施方式，即提供一种计算机可读存储介质，所述计算机可读存储介质存储有基于深度强化学习的信息流推荐程序，所述基于深度强化学习的信息流推荐程序可被至少一个处理器执行，以使所述至少一个处理器执行如上述的基于深度强化学习的信息流推荐方法的步骤。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本申请各个实施例所述的方法。
在本申请所提供的上述实施例中，应该理解到，所揭露的装置和方法，可以通过其他的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如，多个模块或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。
所述模块或组件可以是或者也可以不是物理上分开的，作为模块或组件显示的部件可以是或者也可以不是物理模块，既可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块或组件来实现本实施例方案的目的。
本申请不限于上述实施方式，以上所述是本申请的优选实施方式，该实施例仅用于说明本申请而不用于限制本申请的范围，应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，其依然可以对前述各具体实施方式所记载的技术方案进行若干改进和修饰，或者对其中部分技术特征进行等效替换。凡是利用本申请说明书及附图内容所做的等效结构，直接或间接运用在其他相关的技术领域，均同理应视为包括在本申请的保护范围之内。
显然，以上所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例，附图中给出了本申请的较佳实施例，但并不限制本申请的专利范围。本申请可以以许多不同的形式来实现，相反地，提供这些实施例的目的是使对本申请的公开内容的理解更加透彻全面。尽管参照前述实施例对本申请进行了详细的说明，对于本领域的技术人员来而言，其依然可以对前述各具体实施方式所记载的技术方案进行修改，或者对其中部分技术特征进行等效替换。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，以及凡是利用本申请说明书及附图内容所做的等效结构，直接或间接运用在其他相关的技术领域，均同理在本申请专利保护范围之内。
Claims (10)
1.一种基于深度强化学习的信息流推荐方法，其特征在于，包括：
基于目标用户的信息流采集所述目标用户的历史点击序列；
调用预设的actor神经网络和critic神经网络；
将所述历史点击序列输入所述actor神经网络生成用户推荐列表，并向目标用户展示所述用户推荐列表，以获取所述目标用户针对所述用户推荐列表的反馈结果数据和反馈后产生的新的历史点击序列；
将历史点击序列和新的历史点击序列分别输入所述critic神经网络，以结合所述反馈结果数据计算时间差分误差；
基于所述时间差分误差更新所述critic神经网络中的参数，进而结合所述时间差分误差和所述用户推荐列表更新所述actor神经网络中的参数；
将新的历史点击序列输入更新后的actor神经网络生成新的用户推荐列表，并向目标用户展示所述新的用户推荐列表，直至无法获取到所述目标用户针对所述新的用户推荐列表的反馈结果数据和反馈后产生的新的历史点击序列为止。
2.根据权利要求1所述的基于深度强化学习的信息流推荐方法，其特征在于，所述将所述历史点击序列输入所述actor神经网络生成用户推荐列表的步骤包括：
通过所述actor神经网络提取所述历史点击序列中的隐藏特征；
将所述隐藏特征输入所述actor神经网络结合所述历史点击序列生成所述用户推荐列表。
3.根据权利要求1所述的基于深度强化学习的信息流推荐方法，其特征在于，所述将所述历史点击序列输入所述actor神经网络生成用户推荐列表的步骤还包括：
提取所述历史点击序列中的若干个历史点击项目，将所述若干个历史点击项目设为所述用户推荐列表的候选集；
通过所述actor神经网络获取用户推荐列表中每个位置的权重向量；
分别计算每个所述权重向量与所述候选集中每个历史点击项目的点积，记为排序分值；
基于所述排序分值对所述候选集中的历史点击项目进行排序，以生成所述用户推荐列表。
4.根据权利要求1所述的基于深度强化学习的信息流推荐方法，其特征在于，所述将历史点击序列和新的历史点击序列分别输入所述critic神经网络，以结合所述反馈结果数据计算时间差分误差的步骤包括：
基于所述反馈结果数据获取所述用户推荐列表的奖惩回报值R，并通过critic神经网络计算出目标用户反馈前对所述历史点击序列的评估值V(S)，和目标用户反馈后对所述新的历史点击序列的评估值V(S')；
调用预设的误差公式td_error＝R+V(S')–V(S)，基于所述误差公式计算所述时间差分误差td_error。
5.根据权利要求4所述的基于深度强化学习的信息流推荐方法，其特征在于，所述基于所述反馈结果数据获取所述用户推荐列表的奖惩回报值R的步骤之前，所述方法还包括步骤：
对目标用户的反馈状态进行回报等级划分；
基于划分的回报等级为所述用户推荐列表中每个项目的反馈状态配置对应的奖惩回报值。
6.根据权利要求5所述的基于深度强化学习的信息流推荐方法，其特征在于，所述基于所述反馈结果数据获取所述用户推荐列表的奖惩回报值R的步骤包括：
监控目标用户对所述用户推荐列表的反馈状态，以根据所述反馈状态匹配到对应的奖惩回报值。
7.根据权利要求4所述的基于深度强化学习的信息流推荐方法，其特征在于，所述基于所述时间差分误差更新所述critic神经网络中的参数，进而结合所述时间差分误差和所述用户推荐列表更新所述actor神经网络中的参数的步骤包括：
对所述时间差分误差求导得到第一梯度，通过调整所述critic神经网络中的参数调整所述第一梯度，以对所述第一梯度进行梯度下降，从而更新所述critic神经网络中的参数；
以所述时间差分误差对所述用户推荐列表求导得到第二梯度，通过调整所述actor神经网络中的参数调整所述第二梯度，以对所述第二梯度进行梯度下降，从而更新所述actor神经网络中的参数。
8.一种基于深度强化学习的信息流推荐装置，其特征在于，包括：
序列采集模块，用于基于目标用户的信息流采集所述目标用户的历史点击序列；
模型调用模块，用于调用预设的actor神经网络和critic神经网络；
反馈获取模块，用于将所述历史点击序列输入所述actor神经网络生成用户推荐列表，并向目标用户展示所述用户推荐列表，以获取所述目标用户针对所述用户推荐列表的反馈结果数据和反馈后产生的新的历史点击序列；
误差计算模块，用于将历史点击序列和新的历史点击序列分别输入所述critic神经网络，以结合所述反馈结果数据计算时间差分误差；
模型更新模块，用于基于所述时间差分误差更新所述critic神经网络中的参数，进而结合所述时间差分误差和所述用户推荐列表更新所述actor神经网络中的参数；
循环生成模块，用于将新的历史点击序列输入更新后的actor神经网络生成新的用户推荐列表，并向目标用户展示所述新的用户推荐列表，直至无法获取到所述目标用户针对所述新的用户推荐列表的反馈结果数据和反馈后产生的新的历史点击序列为止。
9.一种计算机设备，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器执行所述计算机程序时实现如权利要求1-7中任意一项所述的基于深度强化学习的信息流推荐方法的步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1-7中任意一项所述的基于深度强化学习的信息流推荐方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910871544.8A CN110851699A (zh) | 2019-09-16 | 2019-09-16 | 基于深度强化学习的信息流推荐方法、装置、设备及介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910871544.8A CN110851699A (zh) | 2019-09-16 | 2019-09-16 | 基于深度强化学习的信息流推荐方法、装置、设备及介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN110851699A true CN110851699A (zh) | 2020-02-28 |
Family
ID=69594799
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910871544.8A Pending CN110851699A (zh) | 2019-09-16 | 2019-09-16 | 基于深度强化学习的信息流推荐方法、装置、设备及介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110851699A (zh) |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111444431A (zh) * | 2020-03-30 | 2020-07-24 | 北京理工大学 | 一种网页推荐方法及系统 |
| CN111523940A (zh) * | 2020-04-23 | 2020-08-11 | 华中科技大学 | 一种带负反馈的基于深度强化学习的推荐方法及系统 |
| CN111651679A (zh) * | 2020-07-09 | 2020-09-11 | 支付宝(杭州)信息技术有限公司 | 基于强化学习的推荐方法及装置 |
| CN112100491A (zh) * | 2020-09-08 | 2020-12-18 | 中国平安人寿保险股份有限公司 | 基于用户数据的信息推荐方法、装置、设备及存储介质 |
| CN112115365A (zh) * | 2020-09-25 | 2020-12-22 | 贝壳技术有限公司 | 模型协同优化的方法、装置、介质和电子设备 |
| CN112256768A (zh) * | 2020-11-04 | 2021-01-22 | 贝壳技术有限公司 | 模型离线训练评估方法、装置、介质和电子设备 |
| CN112269769A (zh) * | 2020-11-18 | 2021-01-26 | 远景智能国际私人投资有限公司 | 数据压缩方法、装置、计算机设备及存储介质 |
| CN113573106A (zh) * | 2020-04-28 | 2021-10-29 | 北京达佳互联信息技术有限公司 | 用于多媒体信息的模型更新方法、装置及服务器 |
| CN113836388A (zh) * | 2020-06-08 | 2021-12-24 | 北京达佳互联信息技术有限公司 | 信息推荐方法、装置、服务器及存储介质 |
| CN114219516A (zh) * | 2021-11-08 | 2022-03-22 | 梅瑞生 | 基于大数据的信息流会话推荐方法及深度学习服务系统 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107515909A (zh) * | 2017-08-11 | 2017-12-26 | 深圳市耐飞科技有限公司 | 一种视频推荐方法及系统 |
| WO2018142212A1 (en) * | 2017-01-31 | 2018-08-09 | Deepmind Technologies Limited | Data-efficient reinforcement learning for continuous control tasks |
| CN109543840A (zh) * | 2018-11-09 | 2019-03-29 | 北京理工大学 | 一种基于多维分类强化学习的动态推荐系统设计方法 |
| CN109831684A (zh) * | 2019-03-11 | 2019-05-31 | 深圳前海微众银行股份有限公司 | 视频优化推荐方法、装置及可读存储介质 |
| CN110069699A (zh) * | 2018-07-27 | 2019-07-30 | 阿里巴巴集团控股有限公司 | 排序模型训练方法和装置 |
| CN110235148A (zh) * | 2016-11-03 | 2019-09-13 | 渊慧科技有限公司 | 训练动作选择神经网络 |
-
2019
- 2019-09-16 CN CN201910871544.8A patent/CN110851699A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110235148A (zh) * | 2016-11-03 | 2019-09-13 | 渊慧科技有限公司 | 训练动作选择神经网络 |
| WO2018142212A1 (en) * | 2017-01-31 | 2018-08-09 | Deepmind Technologies Limited | Data-efficient reinforcement learning for continuous control tasks |
| CN107515909A (zh) * | 2017-08-11 | 2017-12-26 | 深圳市耐飞科技有限公司 | 一种视频推荐方法及系统 |
| CN110069699A (zh) * | 2018-07-27 | 2019-07-30 | 阿里巴巴集团控股有限公司 | 排序模型训练方法和装置 |
| CN109543840A (zh) * | 2018-11-09 | 2019-03-29 | 北京理工大学 | 一种基于多维分类强化学习的动态推荐系统设计方法 |
| CN109831684A (zh) * | 2019-03-11 | 2019-05-31 | 深圳前海微众银行股份有限公司 | 视频优化推荐方法、装置及可读存储介质 |
Non-Patent Citations (1)
| Title |
|---|
| 丁盼: "基于神经网络的挖掘机智能化控制研究", 《中国优秀硕士学位论文全文数据库 工程科技II辑》 * |
Cited By (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111444431A (zh) * | 2020-03-30 | 2020-07-24 | 北京理工大学 | 一种网页推荐方法及系统 |
| CN111444431B (zh) * | 2020-03-30 | 2023-06-30 | 北京理工大学 | 一种网页推荐方法及系统 |
| CN111523940A (zh) * | 2020-04-23 | 2020-08-11 | 华中科技大学 | 一种带负反馈的基于深度强化学习的推荐方法及系统 |
| CN113573106A (zh) * | 2020-04-28 | 2021-10-29 | 北京达佳互联信息技术有限公司 | 用于多媒体信息的模型更新方法、装置及服务器 |
| CN113573106B (zh) * | 2020-04-28 | 2023-03-21 | 北京达佳互联信息技术有限公司 | 用于多媒体信息的模型更新方法、装置及服务器 |
| CN113836388B (zh) * | 2020-06-08 | 2024-01-23 | 北京达佳互联信息技术有限公司 | 信息推荐方法、装置、服务器及存储介质 |
| CN113836388A (zh) * | 2020-06-08 | 2021-12-24 | 北京达佳互联信息技术有限公司 | 信息推荐方法、装置、服务器及存储介质 |
| CN111651679A (zh) * | 2020-07-09 | 2020-09-11 | 支付宝(杭州)信息技术有限公司 | 基于强化学习的推荐方法及装置 |
| CN112100491A (zh) * | 2020-09-08 | 2020-12-18 | 中国平安人寿保险股份有限公司 | 基于用户数据的信息推荐方法、装置、设备及存储介质 |
| CN112115365A (zh) * | 2020-09-25 | 2020-12-22 | 贝壳技术有限公司 | 模型协同优化的方法、装置、介质和电子设备 |
| CN112115365B (zh) * | 2020-09-25 | 2021-09-14 | 贝壳找房(北京)科技有限公司 | 模型协同优化的方法、装置、介质和电子设备 |
| CN112256768B (zh) * | 2020-11-04 | 2021-08-27 | 贝壳找房(北京)科技有限公司 | 模型离线训练评估方法、装置、介质和电子设备 |
| CN112256768A (zh) * | 2020-11-04 | 2021-01-22 | 贝壳技术有限公司 | 模型离线训练评估方法、装置、介质和电子设备 |
| CN112269769A (zh) * | 2020-11-18 | 2021-01-26 | 远景智能国际私人投资有限公司 | 数据压缩方法、装置、计算机设备及存储介质 |
| CN112269769B (zh) * | 2020-11-18 | 2023-12-05 | 远景智能国际私人投资有限公司 | 数据压缩方法、装置、计算机设备及存储介质 |
| CN114219516A (zh) * | 2021-11-08 | 2022-03-22 | 梅瑞生 | 基于大数据的信息流会话推荐方法及深度学习服务系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110851699A (zh) | 基于深度强化学习的信息流推荐方法、装置、设备及介质 | |
| CN107515909B (zh) | 一种视频推荐方法及系统 | |
| US20210248651A1 (en) | Recommendation model training method, recommendation method, apparatus, and computer-readable medium | |
| CN103502899B (zh) | 动态预测建模平台 | |
| US20180165745A1 (en) | Intelligent Recommendation Method and System | |
| CN103248705B (zh) | 服务器、客户端及视频处理方法 | |
| CN109783730A (zh) | 产品推荐方法、装置、计算机设备和存储介质 | |
| US20230153857A1 (en) | Recommendation model training method, recommendation method, apparatus, and computer-readable medium | |
| CN105718184A (zh) | 一种数据处理方法和装置 | |
| CN105320766A (zh) | 信息推送方法和装置 | |
| CN107644036B (zh) | 一种数据对象推送的方法、装置及系统 | |
| CN112115363A (zh) | 一种推荐方法、计算设备及存储介质 | |
| CN108230058A (zh) | 产品推荐方法及系统 | |
| CN108446382A (zh) | 用于推送信息的方法和装置 | |
| CN108632311A (zh) | 信息推送方法和装置 | |
| WO2015187661A1 (en) | Systems and methods for serving product recommendations | |
| CN105760443A (zh) | 项目推荐系统、项目推荐装置以及项目推荐方法 | |
| CN109087162A (zh) | 数据处理方法、系统、介质和计算设备 | |
| CN110598120A (zh) | 基于行为数据的理财推荐方法及装置、设备 | |
| CN114240555A (zh) | 训练点击率预测模型和预测点击率的方法和装置 | |
| CN115935185A (zh) | 一种推荐模型的训练方法及装置 | |
| CN113869377A (zh) | 训练方法、装置及电子设备 | |
| CN111489196B (zh) | 基于深度学习网络的预测方法、装置、电子设备及介质 | |
| CN112132660A (zh) | 商品推荐方法、系统、设备及存储介质 | |
| CN116308640A (zh) | 一种推荐方法及相关装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20200228 |
|
| RJ01 | Rejection of invention patent application after publication |