CN111737579A - 对象推荐方法、装置及电子设备、存储介质 - Google Patents
对象推荐方法、装置及电子设备、存储介质 Download PDFInfo
- Publication number
- CN111737579A CN111737579A CN202010599172.0A CN202010599172A CN111737579A CN 111737579 A CN111737579 A CN 111737579A CN 202010599172 A CN202010599172 A CN 202010599172A CN 111737579 A CN111737579 A CN 111737579A
- Authority
- CN
- China
- Prior art keywords
- information
- current state
- account
- recommended
- candidate
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 44
- 238000012216 screening Methods 0.000 claims abstract description 17
- 230000002452 interceptive effect Effects 0.000 claims abstract description 12
- 230000008859 change Effects 0.000 claims description 30
- 230000002787 reinforcement Effects 0.000 claims description 19
- 230000003993 interaction Effects 0.000 claims description 9
- 238000012549 training Methods 0.000 claims description 8
- 238000011156 evaluation Methods 0.000 claims description 3
- 238000001914 filtration Methods 0.000 claims description 2
- 230000008569 process Effects 0.000 abstract description 5
- 238000013528 artificial neural network Methods 0.000 description 12
- 230000007774 longterm Effects 0.000 description 12
- 238000010586 diagram Methods 0.000 description 10
- 238000010801 machine learning Methods 0.000 description 7
- 238000012545 processing Methods 0.000 description 3
- 230000006399 behavior Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000003203 everyday effect Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 238000005065 mining Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000012163 sequencing technique Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/95—Retrieval from the web
- G06F16/953—Querying, e.g. by the use of web search engines
- G06F16/9535—Search customisation based on user profiles and personalisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Biomedical Technology (AREA)
- General Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本公开关于一种对象推荐方法、装置及电子设备、存储介质，涉及信息传播技术领域。通过接收终端设备上账户发送的访问请求，其中，所述访问请求携带有账户信息且与所述账户信息对应的历史交互操作信息数量小于预设阈值；基于账户信息确定账户的当前状态，从信息候选库中筛选出与所述当前状态相匹配的推荐对象；将所述推荐对象发送至终端设备，并接收所述终端设备返回的操作信息，其中，所述操作信息用于更新所述当前状态，从而与用户交互的过程中不断根据最新的返回的操作信息进行对象推荐，推荐的推荐对象更精准地符合新用户的兴趣。
Description
技术领域
本公开涉及信息传播技术领域，尤其涉及一种对象推荐方法、装置及电子设备、存储介质。
背景技术
随着现代科技的发展，人们每天能获取的信息(例如，文字信息、视频信息、音乐信息等)极速膨胀，对于用户而言在信息推广平台的操作界面上从海量的信息中筛选出自己感兴趣的信息是一件非常有挑战性的事情。因此，可以利用推荐系统通过挖掘用户兴趣和潜在需求，帮助用户快速找到有用信息。
对于新用户而言，由于还没有对推荐信息的历史行为，或者对推荐信息的历史行为还比较稀疏，现有技术中，推荐系统为新用户推荐的信息方式为：根据新用户的基本信息如年龄、地域、联系人、关注好友等为推荐信息，然而根据上述的方式不能准确捕捉新用户的兴趣和潜在需求，从而无法更新用户推荐符合用户的兴趣和潜在需求的信息，降低了新用户对信息推广平台的黏性，造成新用户的流失，影响信息推广平台收入。
发明内容
本公开提供一种对象推荐方法、装置及电子设备、存储介质，以至少解决相关技术中无法更新用户推荐符合用户的兴趣和潜在需求的信息的问题。本公开的技术方案如下：
根据本公开实施例的第一方面，提供一种对象推荐方法，所述方法包括：
接收终端设备上账户发送的访问请求，其中，所述访问请求携带有账户信息且与所述账户信息对应的历史交互操作信息数量小于预设阈值；
基于账户信息确定账户的当前状态，从信息候选库中筛选出与所述当前状态相匹配的推荐对象；
将所述推荐对象发送至终端设备，并接收所述终端设备返回的操作信息，其中，所述操作信息用于更新所述当前状态。
根据本公开实施例的第二方面，提供一种对象推荐装置，所述装置包括：
信息接收单元，被配置成执行接收终端设备上账户发送的访问请求，其中，所述访问请求携带有账户信息且与所述账户信息对应的历史交互操作信息数量小于预设阈值；
信息选择单元，被配置成执行基于账户信息确定账户的当前状态，从信息候选库中筛选出与所述当前状态相匹配的推荐对象；
信息收发单元，被配置成执行将所述推荐对象发送至终端设备，并接收所述终端设备返回的操作信息，其中，所述操作信息用于更新所述当前状态。
根据本公开实施例的第三方面，提供了一种电子设备，包括：
处理器；
用于存储处理器可执行指令的存储器；
其中，处理器被配置为执行指令，以实现本公开实施例第一方面的对象推荐方法。
根据本公开实施例的第四方面，提供了一种存储介质，当存储介质中的指令由服务器的处理器执行时，使得服务器能够执行如本公开实施例第一方面的对象推荐方法。
根据本公开实施例的第五方面，提供一种计算机程序产品，包括指令，当计算机程序产品被计算机所执行时，该指令使得计算机执行本公开实施例第一方面的对象推荐方法。
本公开的实施例提供的技术方案至少带来以下有益效果：该对象推荐方法通过接收终端设备上账户发送的访问请求，其中，所述访问请求携带有账户信息且与所述账户信息对应的历史交互操作信息数量小于预设阈值；基于账户信息确定账户的当前状态，从信息候选库中筛选出与所述当前状态相匹配的推荐对象；将所述推荐对象发送至终端设备，并接收所述终端设备返回的操作信息，其中，所述操作信息用于更新所述当前状态，从而与用户交互的过程中不断根据最新的返回的操作信息进行对象推荐，推荐的推荐对象更精准地符合新用户的兴趣。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理，并不构成对本公开的不当限定。
图1是根据一示例性实施例示出的一种对象推荐方法的流程图。
图2是根据一示例性实施例示出的终端设备与电子设备的交互示意图。
图3是根据一示例性实施例示出的一种对象推荐方法的流程图。
图4是训练机器学习模型的流程图。
图5是根据一示例性实施例示出的一种对象推荐方法的流程图。
图6是根据一示例性实施例示出的一种对象推荐装置的框图。
图7是根据一示例性实施例示出的一种对象推荐装置的框图。
图8是根据一示例性实施例示出的一种电子设备的电路连接框图。
具体实施方式
为了使本领域普通人员更好地理解本公开的技术方案，下面将结合附图，对本公开实施例中的技术方案进行清楚、完整地描述。
需要说明的是，本公开的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本公开的实施例能够以除了在这里图示或描述的那些以外的顺序实施。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
请参阅图1，本申请实施例提供了一种对象推荐方法，应用于电子设备100，其中，电子设备100可以为服务器，如图2所示，电子设备100与终端设备200通信连接，以便进行数据交互。所述方法包括：
S11：接收终端设备200上账户发送的访问请求，其中，访问请求携带有账户信息且与账户信息对应的历史交互操作信息数量小于预设阈值。
终端设备200安装有信息访问应用程序，例如，即时通信应用程序、直播应用程序，用户可以在通过信息访问应用程序发出访问请求(例如，在直播应用程序的浏览界面点击一次刷新)。其中，账户信息可以包括但不限于性别、年龄、性别、地理位置、使用终端的机型、发出访问请求的时间等等。
S12：基于账户信息确定账户的当前状态，从信息候选库中筛选出与所述当前状态相匹配的推荐对象。
其中，账户的当前状态可以表征用户对各个类型的对象感兴趣的程度。
S13：将推荐对象发送至终端设备200，并接收终端设备200返回的操作信息，其中，操作信息用于更新当前状态。
其中，返回的操作信息可以包括但不限于点击、转发、评论、点赞以及跳过中的至少之一。其中，点击、转发、评论、点赞可以被认为是正返回的操作信息，而跳过则可以被认为是负返回的操作信息，即用户如果对推荐的推荐对象进行过点击、转发、评论、点赞，则说明用户对推荐对象感兴趣；如果用户对推荐的推荐对象进行跳过，则说明用户对推荐对象不感兴趣。另外，选择出的推荐对象的形式可以为文字信息、视频信息、图片信息等，在此不做限定。进一步地，选择出当前待推荐的推荐对象的数量可以为一个或多个，在此也不作限定。
该对象推荐方法，通过接收终端设备200发送的访问请求，其中，访问请求携带有账户信息，根据账户信息及终端设备200对历史上推荐的每一个推荐对象的返回的操作信息，从信息候选库中选择出当前待推荐的推荐对象；将当前待推荐的推荐对象发送至所述终端设备200显示，由于选出推荐对象的依据包括终端设备200对历史上推荐的每一个推荐对象的返回的操作信息，从而与用户交互的过程中不断根据最新的返回的操作信息进行对象推荐，推荐的推荐对象更符合新用户的兴趣和潜在需求，增加了新用户对信息推广平台的黏性，减少了新用户的流失。
可选地，如图3所示，S12包括：
S31：从信息候选库中，筛选出状态变化信息与当前状态相匹配的N个候选对象。
具体地，S31可以包括：判断信息候选库中对象的状态变化信息是否符合目标，其中，信息对应的状态变化信息为在信息发送至终端设备之后账户的状态变化信息；若信息对应的状态变化信息符合目标，则确定信息为与当前状态相匹配的候选对象。可选地，目标可以为与当前状态相关联的交互反馈信息的评估参数。
S32：从N个候选对象中确定出推荐对象，其中，N为大于等于1的自然数。
具体地，作为其中一种实施方式，S32可以包括：将状态变化信息与当前状态的匹配度高于预定阈值的候选对象，确定为推荐对象。如，上述的预设阈值可以为80％、85％、90％等，在此不做限定。将状态变化信息与当前状态的匹配度高于预定阈值的候选对象，确定为推荐对象，使得确定的推荐对象更精准的符合用户的兴趣爱好。
作为另一种实施方式，S32还可以包括：将N个候选对象中状态变化信息与当前状态的匹配度排序在前M位的候选对象，确定为推荐对象，其中，M为小于等于N的自然数。例如，N等于5，则可以从5个候选对象中，确定与当前状态的匹配度排序在前1位或前2位的候选对象。将N个候选对象中状态变化信息与当前状态的匹配度排序在前M位的候选对象，确定为推荐对象，使得确定的推荐对象更精准的符合用户的兴趣爱好。
具体地，S31-S32包括：根据预先训练的强化学习模型从信息候选库中，筛选出状态变化信息与当前状态相匹配的N个候选对象；并从N个候选对象中确定出推荐对象，其中，强化学习模型为以账户信息和选择出的推荐对象作为强化学习模型的状态、以终端设备返回的操作信息作为强化学习模型的奖赏、以从信息候选库中对推荐对象的选择作为强化学习模型的动作预先训练而成。
利用强化学习模型从信息候选库中筛选出状态变化信息与当前状态相匹配的N个候选对象，更加方便快捷，效率高。
可选地，强化学习模型可以通过深度Q神经网络基于贝尔曼最优方程采用时间差分学习训练而成。
具体地，贝尔曼最优方程的表达形式可以为：Q(st，at)←Q(st,at)+α(rt+AmnxaQ(st+1,a)-Q(st，at)其中，Q(st,at)为深度Q神经网络，其输出为选择的推荐对象及预估的用户对推荐对象感兴趣的收益值，st为机器学习模型的状态、at为机器学习模型的动作，t为时刻，rt为对机器学习模型的奖赏，α、λ为常数。为了由于深度Q神经网络本身存在误差，直接对其取max操作并以此为基础进行更新往往导致对用户对推荐对象感兴趣的收益值的估计偏大，为了缓解这个问题在实际应用时可以将Q(st+1、a)替换为Qˊ(st+1、a)进行机器学习模型训练，Q(st+1、a)用于实际进行更新并提供当前最优的动作，Qˊ(st+1、a)负责提供更新所需要的目标值。
具体地，基于上述，如图4所示，训练强化学习模型的过程包括：
S41：接收终端设备上账户发送的访问请求，其中，访问请求携带有账户信息且与账户信息对应的历史交互操作信息数量小于预设阈值，将账户信息输入深度Q神经网络。
S42：通过深度Q神经网络基于账户信息确定账户的当前状态，从信息候选库中筛选出与所述当前状态相匹配的推荐对象。
S43：将推荐对象发送至终端设备，并接收终端设备返回的操作信息，其中，操作信息用于更新当前状态。
S44：判断预估的用户对推荐对象感兴趣的长期收益值与当前确定的长期收益值的差值是否在预设的范围内；如果是，则执行S45，如果否，则执行S46。
S45：根据当前配置的信息选择策略建立机器学习模型。
S46：根据所述差值更新当前配置的信息选择策略；并返回S41。
例如，在t＝0时刻，将历史访问请求携带的账户信息输入深度Q神经网络，从信息候选库选择出推荐对象A推荐至终端设备200，用户对推荐对象A进行了点击操作(即用户对推荐对象A感兴趣)，则深度Q神经网络根据用户对推荐对象A的返回的操作信息，确定用户对推荐对象感兴趣的长期收益值；如果预估的用户对推荐对象感兴趣的长期收益值与所述长期收益值的差值不在预设的范围内，则根据所述差值更新当前配置的信息选择策略。在t＝1时刻，将历史访问请求携带的账户信息再次输入深度Q神经网络，从信息候选库选择出推荐对象B推荐至终端设备200，假设用户对推荐对象B进行跳过(即用户对推荐对象B不感兴趣)，深度Q神经网络根据终端设备用户对推荐对象B的返回的操作信息，确定用户对推荐对象感兴趣的长期收益值，并判断预估的用户对推荐对象感兴趣的长期收益值和当前确定的长期收益值的差值是否在预设的范围内，如果是，则根据当前配置的信息选择策略建立机器学习模型，如果否，继续在t＝3时刻，执行将历史访问请求携带的账户信息输入深度Q神经网络，如此循环，直到预估的用户对推荐对象感兴趣的长期收益值与当前确定的长期收益值的差值在预设的范围内。
具体地，如图5所示，S12可以包括：
S51：对终端设备针对推荐对象的至少一种返回的操作信息对应的收益值进行加权求和，生推荐对象的反馈收益值。
返回的操作信息可以包括但不限于点击、转发、评论、点赞以及跳过中的至少之一。
例如，当返回的操作信息为点击时，反馈收益值为1，当返回的操作信息为转发时，反馈收益值为3，当返回的操作信息为评论时，反馈收益值为2，若返回的操作信息同时包括点击、转发、评论，则反馈收益值为6。另外，当返回的操作信息为跳过时，反馈收益值可以为-2。
S52：根据账户信息及推荐对象的反馈收益值，更新所述当前状态。
反馈收益值越高，说明用户对推荐对象越感兴趣，因此，根据反馈收益值从信息候选库中选择出当前待推荐的推荐对象，更符合用户的需求。
图6是根据一示例性实施例示出的一种对象推荐装置500的框图。请参照图6，本公开实施例还提供了一种对象推荐装置500，应用于电子设备100，其中，电子设备100可以为服务器，如图2所示，电子设备100与终端设备200通信连接，以便进行数据交互。需要说明的是，本申请实施例所提供的对象推荐装置500，其基本原理及产生的技术效果和上述实施例相同，为简要描述，本申请实施例部分未提及之处，可参考上述的实施例中相应内容。所述装置500包括信息接收单元501、信息选择单元502以及信息发送单元503，其中，
信息接收单元501，被配置成执行接收终端设备上账户发送的访问请求，其中，所述访问请求携带有账户信息且与所述账户信息对应的历史交互操作信息数量小于预设阈值。
信息选择单元502，被配置成执行基于账户信息确定账户的当前状态，从信息候选库中筛选出与所述当前状态相匹配的推荐对象。
信息发送单元503，被配置成执行将所述推荐对象发送至终端设备，并接收所述终端设备返回的操作信息，其中，所述操作信息用于更新所述当前状态。
该对象推荐装置500在执行时可以实现如下功能，通过接收终端设备200发送的访问请求，其中，访问请求携带有账户信息，根据账户信息及终端设备200对历史上推荐的每一个推荐对象的返回的操作信息，从信息候选库中选择出当前待推荐的推荐对象；将当前待推荐的推荐对象发送至终端设备200显示，由于选出推荐对象的依据包括终端设备200对历史上推荐的每一个推荐对象的返回的操作信息，从而与用户交互的过程中不断根据最新的返回的操作信息进行对象推荐，推荐的推荐对象更符合新用户的兴趣和潜在需求，增加了新用户对信息推广平台的黏性，减少了新用户的流失。
关于上述实施例中的装置500，其中各个模块及单元执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
可选地，信息选择单元502被具体配置成执行从所述信息候选库中，筛选出状态变化信息与所述当前状态相匹配的N个候选对象；从所述N个候选对象中确定出推荐对象，其中，N为大于等于1的自然数。
可选地，信息选择单元502被具体配置成判断所述信息候选库中对象的状态变化信息是否符合目标，其中，信息对应的状态变化信息为在所述信息发送至所述终端设备之后所述账户的状态变化信息；若信息对应的状态变化信息符合所述目标，则确定所述信息为与所述当前状态相匹配的候选对象。
可选地，信息选择单元502被具体配置成将状态变化信息与所述当前状态的匹配度高于预定阈值的候选对象，确定为推荐对象；
或，将N个候选对象中状态变化信息与当前状态的匹配度排序在前M位的候选对象，确定为推荐对象，其中，M为小于等于N的自然数
可选地，目标为与当前状态相关联的交互反馈信息的评估参数。
可选地，信息选择单元502被具体配置成根据预先训练的强化学习模型从信息候选库中，筛选出状态变化信息与当前状态相匹配的N个候选对象；并从N个候选对象中确定出推荐对象，其中，强化学习模型为以账户信息和选择出的推荐对象作为强化学习模型的状态、以终端设备返回的操作信息作为强化学习模型的奖赏、以从信息候选库中对推荐对象的选择作为强化学习模型的动作预先训练而成。
可选地，强化学习模型通过深度Q神经网络基于贝尔曼最优方程采用时间差分学习训练而成。
可选地，如图7所示，所述装置500还包括模型训练单元601，模型训练单元被配置成执行接收终端设备上账户发送的访问请求，其中，所述访问请求携带有账户信息且与所述账户信息对应的历史交互操作信息数量小于预设阈值，将账户信息输入深度Q神经网络；通过深度Q神经网络基于账户信息确定账户的当前状态，从信息候选库中筛选出与所述当前状态相匹配的推荐对象；将推荐对象发送至终端设备，并接收终端设备返回的操作信息，其中，操作信息用于更新当前状态；判断预估的用户对推荐对象感兴趣的长期收益值与当前确定的长期收益值的差值是否在预设的范围内；如果是，则执行根据当前配置的信息选择策略建立机器学习模型的步骤，如果否，则根据所述差值更新当前配置的信息选择策略；并返回接收终端设备上账户发送的访问请求的步骤。
可选地，信息选择单元502被具体配置成执行对终端设备200对历史上推荐的每一个推荐对象的至少一种返回的操作信息对应的收益值进行加权求和，生成终端设备200对历史上推荐的每一个推荐对象的反馈收益值；根据账户信息及终端设备200对历史上推荐的每一个推荐对象的反馈收益值，从信息候选库中选择出当前待推荐的推荐对象。
图8是根据一示例性实施例示出的一种电子设备100的框图。例如，电子设备100可以被提供为一服务器。参照图8，电子设备100包括处理组件722，其进一步包括一个或多个处理器，以及由存储器732所代表的存储器资源，用于存储可由处理组件722的执行的指令，例如应用程序。存储器732中存储的应用程序可以包括一个或一个以上的每一个对应于一组指令的模块。此外，处理组件722被配置为执行指令，以执行上述的对象推荐生成方法。所述对象推荐生成方法可以包括：
接收终端设备上账户发送的访问请求，其中，所述访问请求携带有账户信息且与所述账户信息对应的历史交互操作信息数量小于预设阈值；
基于账户信息确定账户的当前状态，从信息候选库中筛选出与所述当前状态相匹配的推荐对象；
将所述推荐对象发送至终端设备，并接收所述终端设备返回的操作信息，其中，所述操作信息用于更新所述当前状态。
电子设备还可以包括一个电源组件726被配置为执行电子设备的电源管理，一个有线或无线网络接口750被配置为将电子设备连接到网络，和一个输入输出(I/O)接口758。电子设备可以操作基于存储在存储器732的操作系统，例如Windows ServerTM，Mac OSXTM，UnixTM，LinuxTM，FreeBSDTM或类似。
在示例性实施例中，还提供了一种包括指令的存储介质，例如包括指令的存储器，上述指令可由电子设备的处理器执行以完成上述对象推荐生成方法。其中，对象推荐生成方法可以包括：
接收终端设备上账户发送的访问请求，其中，所述访问请求携带有账户信息且与所述账户信息对应的历史交互操作信息数量小于预设阈值；
基于账户信息确定账户的当前状态，从信息候选库中筛选出与所述当前状态相匹配的推荐对象；
将所述推荐对象发送至终端设备，并接收所述终端设备返回的操作信息，其中，所述操作信息用于更新所述当前状态。
可选地，存储介质可以是非临时性计算机可读存储介质，例如，所述非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。
另外，提供一种计算机程序产品，包括指令，当计算机程序产品被计算机所执行时，该指令使得计算机执行本公开实施例上述的对象推荐方法。。其中，对象推荐生成方法可以包括：
接收终端设备上账户发送的访问请求，其中，所述访问请求携带有账户信息且与所述账户信息对应的历史交互操作信息数量小于预设阈值；
基于账户信息确定账户的当前状态，从信息候选库中筛选出与所述当前状态相匹配的推荐对象；
将所述推荐对象发送至终端设备，并接收所述终端设备返回的操作信息，其中，所述操作信息用于更新所述当前状态。
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求指出。
应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。
Claims (10)
1.一种对象推荐方法，其特征在于，所述方法包括：
接收终端设备上账户发送的访问请求，其中，所述访问请求携带有账户信息且与所述账户信息对应的历史交互操作信息数量小于预设阈值；
基于账户信息确定账户的当前状态，从信息候选库中筛选出与所述当前状态相匹配的推荐对象；
将所述推荐对象发送至终端设备，并接收所述终端设备返回的操作信息，其中，所述操作信息用于更新所述当前状态。
2.根据权利要求1所述的方法，其特征在于，所述基于账户信息确定账户的当前状态，从信息候选库中筛选出与所述当前状态相匹配的推荐对象包括：
从所述信息候选库中，筛选出状态变化信息与所述当前状态相匹配的N个候选对象；
从所述N个候选对象中确定出推荐对象，其中，N为大于等于1的自然数。
3.根据权利要求2所述的方法，其特征在于，从所述信息候选库中，筛选出状态变化信息与所述当前状态相匹配的N个候选对象包括：
判断所述信息候选库中对象的状态变化信息是否符合目标，其中，信息对应的状态变化信息为在所述信息发送至所述终端设备之后所述账户的状态变化信息；
若信息对应的状态变化信息符合所述目标，则确定所述信息为与所述当前状态相匹配的候选对象。
4.根据权利要求3所述的方法，其特征在于，所述目标为与所述当前状态相关联的交互反馈信息的评估参数。
5.根据权利要求2所述的方法，其特征在于，从所述N个候选对象中确定出推荐对象包括：
将状态变化信息与所述当前状态的匹配度高于预定阈值的候选对象，确定为所述推荐对象；
或，将所述N个候选对象中状态变化信息与所述当前状态的匹配度排序在前M位的候选对象，确定为所述推荐对象，其中，M为小于等于N的自然数。
6.根据权利要求1所述的方法，其特征在于，所述从所述信息候选库中，筛选出状态变化信息与所述当前状态相匹配的N个候选对象；从所述N个候选对象中确定出推荐对象包括：
根据预先训练的强化学习模型从所述信息候选库中，筛选出状态变化信息与所述当前状态相匹配的N个候选对象；并从所述N个候选对象中确定出推荐对象，其中，所述强化学习模型为以账户信息和选择出的推荐对象作为强化学习模型的状态、以终端设备返回的操作信息作为强化学习模型的奖赏、以从信息候选库中对推荐对象的选择作为强化学习模型的动作预先训练而成。
7.根据权利要求1所述的方法，其特征在于，在所述将所述推荐对象发送至终端设备，并接收所述终端设备返回的操作信息之后，所述方法还包括：
对终端设备针对推荐对象的至少一种返回的操作信息对应的收益值进行加权求和，生推荐对象的反馈收益值；
根据所述账户信息及推荐对象的所述反馈收益值，更新所述当前状态。
8.一种对象推荐装置，其特征在于，所述装置包括：
信息接收单元，被配置成执行接收终端设备上账户发送的访问请求，其中，所述访问请求携带有账户信息且与所述账户信息对应的历史交互操作信息数量小于预设阈值；
信息选择单元，被配置成执行基于账户信息确定账户的当前状态，从信息候选库中筛选出与所述当前状态相匹配的推荐对象；
信息收发单元，被配置成执行将所述推荐对象发送至终端设备，并接收所述终端设备返回的操作信息，其中，所述操作信息用于更新所述当前状态。
9.一种电子设备，其特征在于，包括：
处理器；
用于存储所述处理器可执行指令的存储器；
其中，所述处理器被配置为执行所述指令，以实现如权利要求1至7中任一项所述的对象推荐方法。
10.一种存储介质，当所述存储介质中的指令由电子设备的处理器执行时，使得电子设备能够执行如权利要求1至7中任一项所述的对象推荐方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010599172.0A CN111737579A (zh) | 2020-06-28 | 2020-06-28 | 对象推荐方法、装置及电子设备、存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010599172.0A CN111737579A (zh) | 2020-06-28 | 2020-06-28 | 对象推荐方法、装置及电子设备、存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111737579A true CN111737579A (zh) | 2020-10-02 |
Family
ID=72651486
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010599172.0A Pending CN111737579A (zh) | 2020-06-28 | 2020-06-28 | 对象推荐方法、装置及电子设备、存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111737579A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112269942A (zh) * | 2020-12-03 | 2021-01-26 | 北京达佳互联信息技术有限公司 | 一种推荐对象的方法、装置、系统及电子设备 |
| CN113592535A (zh) * | 2021-06-30 | 2021-11-02 | 北京新氧科技有限公司 | 一种广告推荐方法、装置、电子设备和存储介质 |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20090282019A1 (en) * | 2008-05-12 | 2009-11-12 | Threeall, Inc. | Sentiment Extraction from Consumer Reviews for Providing Product Recommendations |
| CN107403049A (zh) * | 2017-07-31 | 2017-11-28 | 山东师范大学 | 一种基于人工神经网络的Q‑Learning行人疏散仿真方法及系统 |
| CN107423355A (zh) * | 2017-05-26 | 2017-12-01 | 北京三快在线科技有限公司 | 信息推荐方法及装置、电子设备 |
| CN109034389A (zh) * | 2018-08-02 | 2018-12-18 | 黄晓鸣 | 信息推荐系统的人机交互式修正方法、装置、设备和介质 |
| CN109451038A (zh) * | 2018-12-06 | 2019-03-08 | 北京达佳互联信息技术有限公司 | 一种信息推送方法、装置、服务器及计算机可读存储介质 |
| CN109543840A (zh) * | 2018-11-09 | 2019-03-29 | 北京理工大学 | 一种基于多维分类强化学习的动态推荐系统设计方法 |
| CN110598120A (zh) * | 2019-10-16 | 2019-12-20 | 信雅达系统工程股份有限公司 | 基于行为数据的理财推荐方法及装置、设备 |
| CN111078994A (zh) * | 2019-11-06 | 2020-04-28 | 珠海健康云科技有限公司 | 基于画像的医学科普文章推荐方法及系统 |
| CN111104595A (zh) * | 2019-12-16 | 2020-05-05 | 华中科技大学 | 一种基于文本信息的深度强化学习交互式推荐方法及系统 |
| CN111339327A (zh) * | 2020-02-20 | 2020-06-26 | 北京达佳互联信息技术有限公司 | 作品推荐方法及装置、服务器和存储介质 |
-
2020
- 2020-06-28 CN CN202010599172.0A patent/CN111737579A/zh active Pending
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20090282019A1 (en) * | 2008-05-12 | 2009-11-12 | Threeall, Inc. | Sentiment Extraction from Consumer Reviews for Providing Product Recommendations |
| CN107423355A (zh) * | 2017-05-26 | 2017-12-01 | 北京三快在线科技有限公司 | 信息推荐方法及装置、电子设备 |
| CN107403049A (zh) * | 2017-07-31 | 2017-11-28 | 山东师范大学 | 一种基于人工神经网络的Q‑Learning行人疏散仿真方法及系统 |
| CN109034389A (zh) * | 2018-08-02 | 2018-12-18 | 黄晓鸣 | 信息推荐系统的人机交互式修正方法、装置、设备和介质 |
| CN109543840A (zh) * | 2018-11-09 | 2019-03-29 | 北京理工大学 | 一种基于多维分类强化学习的动态推荐系统设计方法 |
| CN109451038A (zh) * | 2018-12-06 | 2019-03-08 | 北京达佳互联信息技术有限公司 | 一种信息推送方法、装置、服务器及计算机可读存储介质 |
| CN110598120A (zh) * | 2019-10-16 | 2019-12-20 | 信雅达系统工程股份有限公司 | 基于行为数据的理财推荐方法及装置、设备 |
| CN111078994A (zh) * | 2019-11-06 | 2020-04-28 | 珠海健康云科技有限公司 | 基于画像的医学科普文章推荐方法及系统 |
| CN111104595A (zh) * | 2019-12-16 | 2020-05-05 | 华中科技大学 | 一种基于文本信息的深度强化学习交互式推荐方法及系统 |
| CN111339327A (zh) * | 2020-02-20 | 2020-06-26 | 北京达佳互联信息技术有限公司 | 作品推荐方法及装置、服务器和存储介质 |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112269942A (zh) * | 2020-12-03 | 2021-01-26 | 北京达佳互联信息技术有限公司 | 一种推荐对象的方法、装置、系统及电子设备 |
| CN112269942B (zh) * | 2020-12-03 | 2021-03-23 | 北京达佳互联信息技术有限公司 | 一种推荐对象的方法、装置、系统及电子设备 |
| CN113592535A (zh) * | 2021-06-30 | 2021-11-02 | 北京新氧科技有限公司 | 一种广告推荐方法、装置、电子设备和存储介质 |
| CN113592535B (zh) * | 2021-06-30 | 2024-04-16 | 北京新氧科技有限公司 | 一种广告推荐方法、装置、电子设备和存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US9838743B2 (en) | Techniques for context aware video recommendation | |
| CN107463701B (zh) | 基于人工智能推送信息流的方法和装置 | |
| US20160210658A1 (en) | Determining touchpoint attributions in a segmented media campaign | |
| CN109788020B (zh) | 一种坐席分配方法及相关设备 | |
| JP2017174062A (ja) | 購買行動分析装置およびプログラム | |
| CN107463580B (zh) | 训练点击率预估模型方法和装置、点击率预估方法和装置 | |
| CN114461871B (zh) | 推荐模型训练方法、对象推荐方法、装置及存储介质 | |
| CN112241327A (zh) | 分享信息处理方法、装置、存储介质与电子设备 | |
| JP2018142272A (ja) | コンテンツ評価予測システム及びコンテンツ評価予測方法 | |
| CN111984821A (zh) | 确定视频动态封面的方法、装置、存储介质及电子设备 | |
| CN110233879A (zh) | 智能推送界面方法、装置、计算机设备及存储介质 | |
| CN111737579A (zh) | 对象推荐方法、装置及电子设备、存储介质 | |
| CN111552835B (zh) | 文件推荐方法、装置及服务器 | |
| CN111159570A (zh) | 一种信息推荐方法及服务器 | |
| CN112182281B (zh) | 一种音频推荐方法、装置及存储介质 | |
| CN108111591B (zh) | 推送消息的方法、装置及计算机可读存储介质 | |
| CN112269943B (zh) | 一种信息推荐系统及方法 | |
| CN111400616B (zh) | 账户的推荐方法及装置 | |
| KR20220137943A (ko) | 패턴 기반 분류 | |
| CN113205189A (zh) | 训练预测模型的方法、预测方法及装置 | |
| CN114491093B (zh) | 多媒体资源推荐、对象表征网络的生成方法及装置 | |
| CN112269942B (zh) | 一种推荐对象的方法、装置、系统及电子设备 | |
| CN115756821A (zh) | 在线任务处理模型训练、任务处理方法及装置 | |
| CN115471271A (zh) | 广告的归因方法、装置、计算机设备及可读存储介质 | |
| CN114510627A (zh) | 对象推送方法、装置、电子设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |