CN110727872A - 基于隐式反馈进行不明确选择行为挖掘的方法及装置 - Google Patents
基于隐式反馈进行不明确选择行为挖掘的方法及装置 Download PDFInfo
- Publication number
- CN110727872A CN110727872A CN201910999358.2A CN201910999358A CN110727872A CN 110727872 A CN110727872 A CN 110727872A CN 201910999358 A CN201910999358 A CN 201910999358A CN 110727872 A CN110727872 A CN 110727872A
- Authority
- CN
- China
- Prior art keywords
- user
- product
- selection tendency
- selection
- feature vector
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000005065 mining Methods 0.000 title claims abstract description 51
- 238000000034 method Methods 0.000 title claims abstract description 40
- 239000013598 vector Substances 0.000 claims abstract description 123
- 238000012549 training Methods 0.000 claims abstract description 72
- 238000012545 processing Methods 0.000 claims abstract description 27
- 238000012163 sequencing technique Methods 0.000 claims abstract description 4
- 238000004364 calculation method Methods 0.000 claims description 57
- 239000011159 matrix material Substances 0.000 claims description 24
- 238000005457 optimization Methods 0.000 claims description 18
- 238000011478 gradient descent method Methods 0.000 claims description 13
- 230000036961 partial effect Effects 0.000 claims description 6
- 230000008569 process Effects 0.000 claims description 4
- 230000006399 behavior Effects 0.000 description 57
- 238000010586 diagram Methods 0.000 description 14
- 238000012986 modification Methods 0.000 description 5
- 230000004048 modification Effects 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 4
- 230000003993 interaction Effects 0.000 description 3
- 230000002860 competitive effect Effects 0.000 description 2
- 238000000354 decomposition reaction Methods 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 230000004075 alteration Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000011002 quantification Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/95—Retrieval from the web
- G06F16/953—Querying, e.g. by the use of web search engines
- G06F16/9535—Search customisation based on user profiles and personalisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q30/00—Commerce
- G06Q30/06—Buying, selling or leasing transactions
- G06Q30/0601—Electronic shopping [e-shopping]
- G06Q30/0631—Item recommendations
Landscapes
- Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Business, Economics & Management (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Accounting & Taxation (AREA)
- Finance (AREA)
- Physics & Mathematics (AREA)
- Economics (AREA)
- General Business, Economics & Management (AREA)
- Strategic Management (AREA)
- Marketing (AREA)
- Development Economics (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本申请提供基于隐式反馈进行不明确选择行为挖掘的方法及装置，该方法包括：获取用户的特征数据，处理成预设数据类型得到用户的特征向量；得到产品的特征向量；进行选择倾向计算得到用户对产品的选择倾向程度；根据用户对该产品的选择倾向程度与用户对所有产品的平均选择倾向程度，得到用户选择该产品的选择倾向概率；根据用户的特征数据与产品的选择倾向概率进行训练得到训练推荐模型；获取待推荐用户的特征数据，代入训练推荐模型得到待推荐用户与各个候选产品的选择倾向概率，将候选产品按照选择倾向概率从高到低进行排序生成候选产品推荐列表。本发明提高了隐式反馈进行不明确选择行为挖掘的可扩展性和效率。
Description
技术领域
本申请涉及行为选择挖掘的技术领域，尤其涉及一种基于隐式反馈进行不明确选择行为挖掘的方法及装置。
背景技术
随着信息科技的快速发展，人们每时每刻都能接受到大量的信息，如何从这些大量信息中寻求对自己有用信息至关重要，对于人们来讲，从大量信息中选取有用信息的成本也越来越高。人们要想从各种信息中了解有用的信息，需要花费较多的精力，致使对于信息的使用效率反而降低。
为了解决人们在信息生活中遇到的信息过载的问题，帮助人们从众多信息中快速获取想要信息，信息推荐系统就应运而生。推荐系统从已有信息中学习用户和物品的特征，评估用户与物品的匹配度，进而预测用户对物品的偏好程度，物品对用户的效用，再将用户最有可能喜欢的物品推荐给用户。用户偏好可能通过很多渠道来获得，大体上分为显示反馈和隐式反馈，显示反馈包括用户对物品的评论、评分等，它们可以直接体现出用户对物品的喜好程度。而与之对应点，用户的点击、收藏或者搜索记录等不能直接体现用户偏好的信息称为隐式反馈。
随着消费者可选择的商品数量快速增加，消费者做出选择行为决策越来越困难，越来越多的消费者遭受到犹豫不定的困扰，使得消费者在竞争性商品中不能做出快速果断的选择。因此，以数据驱动,挖掘消费者在消费过程中的不明确性，在以数据为驱动的视角下提出自动挖掘不明确性的模型。给出每个行为小节观测到的不明确性的定量化方式，基于这些所观测定量化的不明确性,通过一个概率图模型同时习得潜在消费者的不明确性指数和商品组合中的不明确性指数，分析这类消费者行为中的选择不明确性挖掘在很多方面的潜在应用价值,比如竞争性商品的检测、个性化商品推荐，也就显得十分有必要。
但是，现有的隐式反馈推荐技术中，存在以下问题：(1)样本不平衡：在隐式反馈推荐场景中,往往只有正反馈而没有负反馈，不像评分1-5可代表由“不喜欢”到“很喜欢”的倾向性程度,隐式反馈只包含“已选择”与“未选择”两类(本文将点击、交易、转发等各种交互行为称为选择),即使可以将“已选择”看成是正倾向,那么“未选择”却不能简单看成是负倾向,因为未选择的产品中混杂着用户确实不感兴趣的产品和用户未发现但感兴趣的产品(本文将电影、商品、微博等泛称为产品)，这种只有正例而缺少负例的设置,给训练推荐模型带来了困难。(2)高维稀疏与噪声：如果使用产品作为特征表示用户的话,用户特征向量可能高达百万维。在用户-产品交互矩阵中,往往只有不到1％的交互行为是可被观察的。相对评分而言,用户可能因为误点击产生更多噪声，高维稀疏的数据对噪声会更加敏感。(3)规模大：使得现有推荐模型出现效率跟不上且可扩展性不足,不能处理海量规模数据的问题。(4)冷启动问题：无法获取足够的产品信息进行判定，会导致对冷启动产品的判定误差增大。
因此，如何提供一种能够解决高维稀疏下的噪声问题，以较强可扩展性和高效率基于隐式反馈进行不明确选择行为挖掘的方案是本领域亟待解决的技术问题。
发明内容
本申请的目的在于提供一种基于隐式反馈进行不明确选择行为挖掘的方法及装置，解决现有技术中没有能够解决高维稀疏下的噪声问题，以较强可扩展性和高效率基于隐式反馈进行不明确选择行为挖掘的技术问题。
为达到上述目的，本申请提供一种基于隐式反馈进行不明确选择行为挖掘的方法，包括：
获取用户基本信息、购买次数及点击次数的特征数据，处理成预设数据类型，根据预设权重对应关系分别向所述特征数据赋予相应的权重，得到所述用户的特征向量；根据产品的特征数据得到所述产品的特征向量；
根据所述用户的特征向量与所述产品的特征向量进行选择倾向计算，得到所述用户对所述产品的选择倾向程度；根据所述用户对该产品的选择倾向程度与所述用户对所有产品的平均选择倾向程度，得到所述用户选择该产品的选择倾向概率；
根据所述用户的特征数据与所述产品的选择倾向概率进行训练得到训练推荐模型；
获取待推荐用户的特征数据，代入所述训练推荐模型得到所述待推荐用户与各个候选产品的选择倾向概率，将所述候选产品按照所述选择倾向概率从高到低进行排序生成候选产品推荐列表。
可选地，其中，根据所述用户的特征向量与所述产品的特征向量进行选择倾向计算，得到所述用户对所述产品的选择倾向程度；根据所述用户对该产品的选择倾向程度与所述用户对所有产品的平均选择倾向程度，得到所述用户选择该产品的选择倾向概率，为：
在预设维度特征空间，获取所述用户的特征向量与所述产品的特征向量；
根据所述用户的特征向量与所述产品的特征向量进行选择倾向计算，公式如下：
根据所述用户对该产品的选择倾向程度与所述用户对所有产品的平均选择倾向程度，得到所述用户选择该产品的选择倾向概率。
可选地，其中，根据所述用户对该产品的选择倾向程度与所述用户对所有产品的平均选择倾向程度，得到所述用户选择该产品的选择倾向概率，为：
根据所述用户对该产品的选择倾向程度与所述用户对所有产品的平均选择倾向程度，得到所述用户选择该产品的相关性：
其中，Δij为用户i选择产品j的相关性，Aij表示用户i对产品j的选择倾向程度，Ai表示用户i对所有M个产品的平均选择倾向程度；
利用sigmoid函数
将所述用户选择该产品的相关性归一化到(0,1)区间,作为用户i选择产品j的概率
可选地，其中，该方法还包括：
根据所述用户的特征数据与所述产品的选择倾向概率构成训练集；
根据所述训练集计算似然概率：
其中，O为训练集，U为用户潜在特征，V为产品潜在特征；
对所述用户的特征向量与所述产品的特征向量的以下优化目标最小化：
其中,
是调节参数，得到最大化潜在特征矩阵。
可选地，其中，该方法还包括：根据随机梯度下降法对所述优化目标进行优化：
对所述用户i对产品j的选择行为，分别对所述用户的特征向量Ui和所述产品的特征向量Vj求偏导作为梯度：
表示全部产品的平均特征向量；
使用随机梯度下降法求解得到用户潜在特征矩阵和产品潜在特征矩阵。
另一方面，本发明还提供一种基于隐式反馈进行不明确选择行为挖掘的装置，包括：特征向量数据处理器、选择倾向概率处理器、训练推荐模型创建器及推荐处理器相连接；其中，
所述特征向量数据处理器，与所述选择倾向概率处理器相连接，获取用户基本信息、购买次数及点击次数的特征数据，处理成预设数据类型，根据预设权重对应关系分别向所述特征数据赋予相应的权重，得到所述用户的特征向量；根据产品的特征数据得到所述产品的特征向量；
所述选择倾向概率处理器，与所述特征向量数据处理器及训练推荐模型创建器相连接，根据所述用户的特征向量与所述产品的特征向量进行选择倾向计算，得到所述用户对所述产品的选择倾向程度；根据所述用户对该产品的选择倾向程度与所述用户对所有产品的平均选择倾向程度，得到所述用户选择该产品的选择倾向概率；
所述训练推荐模型创建器，与所述选择倾向概率处理器及推荐处理器相连接，根据所述用户的特征数据与所述产品的选择倾向概率进行训练得到训练推荐模型；
所述推荐处理器，与所述训练推荐模型创建器相连接，获取待推荐用户的特征数据，代入所述训练推荐模型得到所述待推荐用户与各个候选产品的选择倾向概率，将所述候选产品按照所述选择倾向概率从高到低进行排序生成候选产品推荐列表。
可选地，其中，所述选择倾向概率处理器，包括：选择倾向计算处理器及选择倾向概率计算处理器；其中，
所述选择倾向计算处理器，与所述特征向量数据处理器及选择倾向概率计算处理器相连接，在预设维度特征空间，获取所述用户的特征向量与所述产品的特征向量；
根据所述用户的特征向量与所述产品的特征向量进行选择倾向计算，公式如下：
所述选择倾向概率计算处理器，与所述选择倾向计算处理器及训练推荐模型创建器相连接，根据所述用户对该产品的选择倾向程度与所述用户对所有产品的平均选择倾向程度，得到所述用户选择该产品的选择倾向概率。
可选地，其中，所述选择倾向概率计算处理器，包括：选择相关性计算处理单元及选择倾向概率计算处理单元；其中，
所述选择相关性计算处理单元，与所述选择倾向计算处理器及选择倾向概率计算处理单元相连接，根据所述用户对该产品的选择倾向程度与所述用户对所有产品的平均选择倾向程度，得到所述用户选择该产品的相关性：
所述选择倾向概率计算处理单元，与所述选择相关性计算处理单元及训练推荐模型创建器相连接，利用sigmoid函数
将所述用户选择该产品的相关性归一化到(0,1)区间,作为用户i选择产品j的概率
可选地，其中，该装置还包括：训练推荐处理器，与所述选择倾向概率处理器及训练推荐模型创建器相连接，根据所述用户的特征数据与所述产品的选择倾向概率构成训练集；
根据所述训练集计算似然概率：
其中，O为训练集，U为用户潜在特征，V为产品潜在特征；
对所述用户的特征向量与所述产品的特征向量的以下优化目标最小化：
其中,是调节参数，得到最大化潜在特征矩阵。
可选地，其中，该装置还包括：训练推荐模型优化处理器，与所述训练推荐模型创建器相连接，根据随机梯度下降法对所述优化目标进行优化：
对所述用户i对产品j的选择行为，分别对所述用户的特征向量Ui和所述产品的特征向量Vj求偏导作为梯度：
表示全部产品的平均特征向量；
使用随机梯度下降法求解得到用户潜在特征矩阵和产品潜在特征矩阵。
本申请的基于隐式反馈进行不明确选择行为挖掘的方法及装置，实现的有益效果至少如下：
本申请的基于隐式反馈进行不明确选择行为挖掘的方法及装置，通过将推荐任务转化为用户选择行为发生概率的最大化问题,达到直接对隐式反馈数据进行建模的目的,这样既利用了“未选择”信息,又避免了在引入负例的同时引入噪声,进而提升推荐质量。借鉴降维技术,模型通过优化用户以及产品的潜在特征来建模用户与产品间的选择倾向,从而解决高维稀疏下的噪声问题。为了提高可扩展性和效率,基于分桶策略进一步提出了并行化隐式反馈推荐模型,并在MapReduce分布式计算框架下予以实现。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请中记载的一些实施例，对于本领域技术人员来讲，还可以根据这些附图获得其他的附图。
图1为本发明实施例中一种基于隐式反馈进行不明确选择行为挖掘的方法的流程示意图；
图2为本发明实施例中一种基于隐式反馈进行不明确选择行为挖掘的原理示意图；
图3为本发明实施例中一种基于隐式反馈进行不明确选择行为挖掘的原理流程示意图；
图4为本发明实施例中一种基于隐式反馈进行不明确选择行为挖掘的方法的应用流程示意图；
图5为本发明实施例中第二种基于隐式反馈进行不明确选择行为挖掘的方法的流程示意图；
图6为本发明实施例中第三种基于隐式反馈进行不明确选择行为挖掘的方法的流程示意图；
图7为本发明实施例中第四种基于隐式反馈进行不明确选择行为挖掘的方法的流程示意图；
图8为本发明实施例中第五种基于隐式反馈进行不明确选择行为挖掘的方法的流程示意图；
图9为本发明实施例中一种基于隐式反馈进行不明确选择行为挖掘的装置的结构示意图；
图10为本发明实施例中第二种基于隐式反馈进行不明确选择行为挖掘的装置的结构示意图；
图11为本发明实施例中第三种基于隐式反馈进行不明确选择行为挖掘的装置的结构示意图；
图12为本发明实施例中第四种基于隐式反馈进行不明确选择行为挖掘的装置的结构示意图；
图13为本发明实施例中第五种基于隐式反馈进行不明确选择行为挖掘的装置的结构示意图。
具体实施方式
下面结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
实施例
如图1至4所示，图1为本实施例中一种基于隐式反馈进行不明确选择行为挖掘的方法的流程示意图；图2为本实施例中一种基于隐式反馈进行不明确选择行为挖掘的原理示意图；图3为本实施例中一种基于隐式反馈进行不明确选择行为挖掘的原理流程示意图；图4为本实施例中一种基于隐式反馈进行不明确选择行为挖掘的方法的应用流程示意图。形式化地定义基于隐式反馈的推荐问题，如图2所示，推荐模型可以利用的信息是用户-产品历史选择集合,如左侧的矩阵所示,其中,灰色代表观察到的用户选择行为,白色代表用户尚未选择该产品.当给定任意用户i以及待推荐列表L(由待推荐候选产品组成),推荐模型可以生成L的排序L,L应尽可能地将用户将要选择的产品排在其他产品前面。而需要解决的问题是,如何根据历史选择集合构造出这样一个推荐模型。具体地，该方法包括如下步骤：
步骤101、获取用户基本信息、购买次数及点击次数的特征数据，处理成预设数据类型，根据预设权重对应关系分别向特征数据赋予相应的权重，得到用户的特征向量；根据产品的特征数据得到产品的特征向量。
步骤102、根据用户的特征向量与产品的特征向量进行选择倾向计算，得到用户对产品的选择倾向程度；根据用户对该产品的选择倾向程度与用户对所有产品的平均选择倾向程度，得到用户选择该产品的选择倾向概率。
步骤103、根据用户的特征数据与产品的选择倾向概率进行训练得到训练推荐模型。
步骤104、获取待推荐用户的特征数据，代入训练推荐模型得到待推荐用户与各个候选产品的选择倾向概率，将候选产品按照选择倾向概率从高到低进行排序生成候选产品推荐列表。
在一些可选的实施例中，如图5所示，为本实施例中第二种基于隐式反馈进行不明确选择行为挖掘的方法的流程示意图，与图1中不同的是，根据用户的特征向量与产品的特征向量进行选择倾向计算，得到用户对产品的选择倾向程度；根据用户对该产品的选择倾向程度与用户对所有产品的平均选择倾向程度，得到用户选择该产品的选择倾向概率，为：
步骤501、在预设维度特征空间，获取用户的特征向量与产品的特征向量。
步骤502、根据用户的特征向量与产品的特征向量进行选择倾向计算，公式如下：
其中，Aij表示用户i对产品j的选择倾向程度，Ui为用户i的特征向量，Vj为产品j的特征向量，K为预设总维度，Uik为在第k维度的用户i的特征向量，Vjk在第k维度的产品j的特征向量。
事实上，绝对的选择倾向程度本身不足以反映用户的选择行为，应该在比较下才有意义。比如用户对某产品的选择倾向程度为10，但这不意味着用户会选择该产品或者不会选择该产品。当用户对大多数产品的选择倾向都很高时(平均选择倾向程度为20)，那么用户很可能不会选择该产品；反之，当用户对大多数产品的选择倾向都很低时(平均选择倾向程度为5)，那么用户很可能会选择该产品。综上，用户i之所以选择产品j，是因为对用户i来说，产品j比一般产品更具吸引力。
步骤503、根据用户对该产品的选择倾向程度与用户对所有产品的平均选择倾向程度，得到用户选择该产品的选择倾向概率。
在一些可选的实施例中，如图6所示，为本实施例中第三种基于隐式反馈进行不明确选择行为挖掘的方法的流程示意图，与图5中不同的是，根据用户对该产品的选择倾向程度与用户对所有产品的平均选择倾向程度，得到用户选择该产品的选择倾向概率，为：
步骤601、根据用户对该产品的选择倾向程度与用户对所有产品的平均选择倾向程度，得到用户选择该产品的相关性：
用户i选择产品j的概率与Δij相关：Δij越大，表示用户i越可能选择产品j；Δij越接近于0，表示用户i越不可能选择产品j。
步骤602、利用sigmoid函数
将用户选择该产品的相关性归一化到(0,1)区间,作为用户i选择产品j的概率
在一些可选的实施例中，如图7所示，为本实施例中第四种基于隐式反馈进行不明确选择行为挖掘的方法的流程示意图，与图6中不同的是，还包括：
步骤701、根据用户的特征数据与产品的选择倾向概率构成训练集。
步骤702、根据训练集计算似然概率：
其中，O为训练集，U为用户潜在特征，V为产品潜在特征；
对用户的特征向量与产品的特征向量的以下优化目标最小化：
其中,
是调节参数，得到最大化潜在特征矩阵。
设集合O＝{<i,j>|用户i选择产品j}是观察到的选择行为的集合，假设每一次的选择行为是独立的,那么集合O的似然概率为
训练推荐模型的本质是：给定观察集O(也即是训练集)，最大化潜在特征U,V的后验概率P(U,V|O)。由贝叶斯定理：
当假设U,V服从均值为0、方差为s2的高斯先验时,
取对数：
其中，
表示2范数。于是，最大化后验概率P(U,V|O)等价于最小化以下优化目标：
至此，IFRM将基于隐式反馈的推荐问题转化为一个最优化问题，即根据可观察选择行为集合O求得潜在特征矩阵U,V。在预测时,对任意给定的用户i以及候选产品集{j1,j2,…,jp},根据由公式(1)计算出的Aij由高到低对候选产品进行排序，即可产生推荐列表。
IFRM借鉴潜在因子模型处理高维稀疏数据的思路，利用降维技术在低维空间对用户以及产品建模，提高了模型抗噪能力。IFRM继承了矩阵分解的良好可扩展性，模型复杂程度仅随可观察的选择行为数|O|线性增长。这与传统的基于用户或基于产品的协同过滤方法有显著不同，当用户或产品规模庞大时，计算用户-用户相似性或产品-产品相似性是非常耗时的。
与传统的基于显示反馈推荐方法不同，IFRM并不去拟合具体评分值，而是去最大化可观察用户行为出现的概率。通过建模用户选择倾向而不是评分行为，IFRM天然地适用于没有评分而只有选择交互行为的隐式反馈推荐场景。
基于隐式反馈的矩阵分解与贝叶斯个性化排序等在隐式反馈场景下进行推荐的方法有个共同潜在假设，即用户表现出来的反馈就是正样本,未表现出来的就是负样本。基于此，iMF将正样本设置为1而将负样本设置为0，而BPR则最大化正样本排在随机抽样得到的“负”样本前面的概率。然而，这些负样本却有可能是潜在的正样本，即在将来会发生的选择行为。这样，难以避免会引入噪声(假负).与它们不同，IFRM并不进行这样的假设,通过关注选择行为本身，并最大化选择行为发生的概率，避免了引入噪声,进而提高推荐质量。
IFRM算法：Input data--->data processing--->model train--->modelassess--->save model。
Input data：采用每隔一段时间输入数据，数据特征为user_name,pro_name,phone,购买次数，点击次数等等。
Data processing:将数据处理成推荐系统所能接受的类型数据，如Rating类型的数据，数据特征包含：user_id,pro_id,ratings。根据用户的点击次数和购买次数分别赋予相应的权重，分别为90％，10％。
Model train：采用IFRM算法进行推荐系统的训练。
Model assess：生成的模型在测试数据上的表现，及模型的优化。
Save model：保存模型。
在一些可选的实施例中，如图8所示，为本实施例中第五种基于隐式反馈进行不明确选择行为挖掘的方法的流程示意图，与图7中不同的是，还包括：根据随机梯度下降法对优化目标进行优化：
步骤801、对用户i对产品j的选择行为，分别对用户的特征向量Ui和产品的特征向量Vj求偏导作为梯度：
步骤802、使用随机梯度下降法求解得到用户潜在特征矩阵和产品潜在特征矩阵。
可选地，可以使用随机梯度下降法求解IFRM的基本算法如下:
SGD求解IFRM。
输入:可观察选择集合O,学习率a，最大迭代次数T；
输出:潜在特征矩阵U,V。
1.随机初始化U,V
2.for iter＝1,2,…,T do:
3.
4.根据公式(3)所求梯度更新；
5.根据公式(4)所求梯度更新；
6.end for。
在一些可选的实施例中，如图9所示，为本实施例中一种基于隐式反馈进行不明确选择行为挖掘的装置900的结构示意图，该装置可用于实施上述的基于隐式反馈进行不明确选择行为挖掘的方法。具体地，该装置包括：特征向量数据处理器901、选择倾向概率处理器902、训练推荐模型创建器903及推荐处理器904相连接。
其中，特征向量数据处理器901，与选择倾向概率处理器902相连接，获取用户基本信息、购买次数及点击次数的特征数据，处理成预设数据类型，根据预设权重对应关系分别向特征数据赋予相应的权重，得到用户的特征向量；根据产品的特征数据得到产品的特征向量。
选择倾向概率处理器902，与特征向量数据处理器901及训练推荐模型创建器903相连接，根据用户的特征向量与产品的特征向量进行选择倾向计算，得到用户对产品的选择倾向程度；根据用户对该产品的选择倾向程度与用户对所有产品的平均选择倾向程度，得到用户选择该产品的选择倾向概率。
训练推荐模型创建器903，与选择倾向概率处理器902及推荐处理器904相连接，根据用户的特征数据与产品的选择倾向概率进行训练得到训练推荐模型。
推荐处理器904，与训练推荐模型创建器903相连接，获取待推荐用户的特征数据，代入训练推荐模型得到待推荐用户与各个候选产品的选择倾向概率，将候选产品按照选择倾向概率从高到低进行排序生成候选产品推荐列表。
在一些可选的实施例中，如图10所示，为本实施例中第二种基于隐式反馈进行不明确选择行为挖掘的装置1000的结构示意图，与图9中不同的是，选择倾向概率处理器902，包括：选择倾向计算处理器1001及选择倾向概率计算处理器1002。
其中，选择倾向计算处理器1001，与特征向量数据处理器901及选择倾向概率计算处理器1002相连接，在预设维度特征空间，获取用户的特征向量与产品的特征向量。
根据用户的特征向量与产品的特征向量进行选择倾向计算，公式如下：
选择倾向概率计算处理器1002，与选择倾向计算处理器1001及训练推荐模型创建器903相连接，根据用户对该产品的选择倾向程度与用户对所有产品的平均选择倾向程度，得到用户选择该产品的选择倾向概率。
在一些可选的实施例中，如图11所示，为本实施例中第三种基于隐式反馈进行不明确选择行为挖掘的装置1100的结构示意图，与图10中不同的是，选择倾向概率计算处理器1002，包括：选择相关性计算处理单元1101及选择倾向概率计算处理单元1102。
其中，选择相关性计算处理单元1101，与选择倾向计算处理器1001及选择倾向概率计算处理单元1102相连接，根据用户对该产品的选择倾向程度与用户对所有产品的平均选择倾向程度，得到用户选择该产品的相关性：
选择倾向概率计算处理单元1102，与选择相关性计算处理单元1101及训练推荐模型创建器903相连接，利用sigmoid函数
将用户选择该产品的相关性归一化到(0,1)区间,作为用户i选择产品j的概率
在一些可选的实施例中，如图12所示，为本实施例中第四种基于隐式反馈进行不明确选择行为挖掘的装置1200的结构示意图，与图11中不同的是，还包括：训练推荐处理器1201，与选择倾向概率计算处理器1002及训练推荐模型创建器903相连接，根据用户的特征数据与产品的选择倾向概率构成训练集；
根据训练集计算似然概率：
其中，O为训练集，U为用户潜在特征，V为产品潜在特征；
对用户的特征向量与产品的特征向量的以下优化目标最小化：
在一些可选的实施例中，如图13所示，为本实施例中第五种基于隐式反馈进行不明确选择行为挖掘的装置1300的结构示意图，与图12中不同的是，还包括：训练推荐模型优化处理器1301，与训练推荐模型创建器903相连接，根据随机梯度下降法对优化目标进行优化：
对用户i对产品j的选择行为，分别对用户的特征向量Ui和产品的特征向量Vj求偏导作为梯度：
使用随机梯度下降法求解得到用户潜在特征矩阵和产品潜在特征矩阵。
尽管已描述了本申请的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本申请范围的所有变更和修改。显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样，倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。
Claims (10)
1.一种基于隐式反馈进行不明确选择行为挖掘的方法，其特征在于，包括：
获取用户基本信息、购买次数及点击次数的特征数据，处理成预设数据类型，根据预设权重对应关系分别向所述特征数据赋予相应的权重，得到所述用户的特征向量；根据产品的特征数据得到所述产品的特征向量；
根据所述用户的特征向量与所述产品的特征向量进行选择倾向计算，得到所述用户对所述产品的选择倾向程度；根据所述用户对该产品的选择倾向程度与所述用户对所有产品的平均选择倾向程度，得到所述用户选择该产品的选择倾向概率；
根据所述用户的特征数据与所述产品的选择倾向概率进行训练得到训练推荐模型；
获取待推荐用户的特征数据，代入所述训练推荐模型得到所述待推荐用户与各个候选产品的选择倾向概率，将所述候选产品按照所述选择倾向概率从高到低进行排序生成候选产品推荐列表。
2.根据权利要求1所述的基于隐式反馈进行不明确选择行为挖掘的方法，其特征在于，根据所述用户的特征向量与所述产品的特征向量进行选择倾向计算，得到所述用户对所述产品的选择倾向程度；根据所述用户对该产品的选择倾向程度与所述用户对所有产品的平均选择倾向程度，得到所述用户选择该产品的选择倾向概率，为：
在预设维度特征空间，获取所述用户的特征向量与所述产品的特征向量；
根据所述用户的特征向量与所述产品的特征向量进行选择倾向计算，公式如下：
其中，Aij表示用户i对产品j的选择倾向程度，Ui为用户i的特征向量，Vj为产品j的特征向量，K为预设总维度，Uik为在第k维度的用户i的特征向量，Vjk在第k维度的产品j的特征向量；
根据所述用户对该产品的选择倾向程度与所述用户对所有产品的平均选择倾向程度，得到所述用户选择该产品的选择倾向概率。
3.根据权利要求2所述的基于隐式反馈进行不明确选择行为挖掘的方法，其特征在于，根据所述用户对该产品的选择倾向程度与所述用户对所有产品的平均选择倾向程度，得到所述用户选择该产品的选择倾向概率，为：
根据所述用户对该产品的选择倾向程度与所述用户对所有产品的平均选择倾向程度，得到所述用户选择该产品的相关性：
利用sigmoid函数
将所述用户选择该产品的相关性归一化到(0,1)区间,作为用户i选择产品j的概率
4.根据权利要求3所述的基于隐式反馈进行不明确选择行为挖掘的方法，其特征在于，还包括：
根据所述用户的特征数据与所述产品的选择倾向概率构成训练集；
根据所述训练集计算似然概率：
其中，O为训练集，U为用户潜在特征，V为产品潜在特征；
对所述用户的特征向量与所述产品的特征向量的以下优化目标最小化：
其中,
是调节参数，得到最大化潜在特征矩阵。
5.根据权利要求4所述的基于隐式反馈进行不明确选择行为挖掘的方法，其特征在于，还包括：根据随机梯度下降法对所述优化目标进行优化：
对所述用户i对产品j的选择行为，分别对所述用户的特征向量Ui和所述产品的特征向量Vj求偏导作为梯度：
使用随机梯度下降法求解得到用户潜在特征矩阵和产品潜在特征矩阵。
6.一种基于隐式反馈进行不明确选择行为挖掘的装置，其特征在于，包括：特征向量数据处理器、选择倾向概率处理器、训练推荐模型创建器及推荐处理器相连接；其中，
所述特征向量数据处理器，与所述选择倾向概率处理器相连接，获取用户基本信息、购买次数及点击次数的特征数据，处理成预设数据类型，根据预设权重对应关系分别向所述特征数据赋予相应的权重，得到所述用户的特征向量；根据产品的特征数据得到所述产品的特征向量；
所述选择倾向概率处理器，与所述特征向量数据处理器及训练推荐模型创建器相连接，根据所述用户的特征向量与所述产品的特征向量进行选择倾向计算，得到所述用户对所述产品的选择倾向程度；根据所述用户对该产品的选择倾向程度与所述用户对所有产品的平均选择倾向程度，得到所述用户选择该产品的选择倾向概率；
所述训练推荐模型创建器，与所述选择倾向概率处理器及推荐处理器相连接，根据所述用户的特征数据与所述产品的选择倾向概率进行训练得到训练推荐模型；
所述推荐处理器，与所述训练推荐模型创建器相连接，获取待推荐用户的特征数据，代入所述训练推荐模型得到所述待推荐用户与各个候选产品的选择倾向概率，将所述候选产品按照所述选择倾向概率从高到低进行排序生成候选产品推荐列表。
7.根据权利要求6所述的基于隐式反馈进行不明确选择行为挖掘的装置，其特征在于，所述选择倾向概率处理器，包括：选择倾向计算处理器及选择倾向概率计算处理器；其中，
所述选择倾向计算处理器，与所述特征向量数据处理器及选择倾向概率计算处理器相连接，在预设维度特征空间，获取所述用户的特征向量与所述产品的特征向量；
根据所述用户的特征向量与所述产品的特征向量进行选择倾向计算，公式如下：
所述选择倾向概率计算处理器，与所述选择倾向计算处理器及训练推荐模型创建器相连接，根据所述用户对该产品的选择倾向程度与所述用户对所有产品的平均选择倾向程度，得到所述用户选择该产品的选择倾向概率。
8.根据权利要求7所述的基于隐式反馈进行不明确选择行为挖掘的装置，其特征在于，所述选择倾向概率计算处理器，包括：选择相关性计算处理单元及选择倾向概率计算处理单元；其中，
所述选择相关性计算处理单元，与所述选择倾向计算处理器及选择倾向概率计算处理单元相连接，根据所述用户对该产品的选择倾向程度与所述用户对所有产品的平均选择倾向程度，得到所述用户选择该产品的相关性：
其中，Δij为用户i选择产品j的相关性，Aij表示用户i对产品j的选择倾向程度，Ai表示用户i对所有M个产品的平均选择倾向程度；
所述选择倾向概率计算处理单元，与所述选择相关性计算处理单元及训练推荐模型创建器相连接，利用sigmoid函数
将所述用户选择该产品的相关性归一化到(0,1)区间,作为用户i选择产品j的概率
9.根据权利要求8所述的基于隐式反馈进行不明确选择行为挖掘的装置，其特征在于，还包括：训练推荐处理器，与所述选择倾向概率计算处理器及训练推荐模型创建器相连接，根据所述用户的特征数据与所述产品的选择倾向概率构成训练集；
根据所述训练集计算似然概率：
其中，O为训练集，U为用户潜在特征，V为产品潜在特征；
对所述用户的特征向量与所述产品的特征向量的以下优化目标最小化：
10.根据权利要求9所述的基于隐式反馈进行不明确选择行为挖掘的装置，其特征在于，还包括：训练推荐模型优化处理器，与所述训练推荐模型创建器相连接，根据随机梯度下降法对所述优化目标进行优化：
对所述用户i对产品j的选择行为，分别对所述用户的特征向量Ui和所述产品的特征向量Vj求偏导作为梯度：
表示全部产品的平均特征向量；
使用随机梯度下降法求解得到用户潜在特征矩阵和产品潜在特征矩阵。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910999358.2A CN110727872A (zh) | 2019-10-21 | 2019-10-21 | 基于隐式反馈进行不明确选择行为挖掘的方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910999358.2A CN110727872A (zh) | 2019-10-21 | 2019-10-21 | 基于隐式反馈进行不明确选择行为挖掘的方法及装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN110727872A true CN110727872A (zh) | 2020-01-24 |
Family
ID=69220407
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910999358.2A Pending CN110727872A (zh) | 2019-10-21 | 2019-10-21 | 基于隐式反馈进行不明确选择行为挖掘的方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110727872A (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111429214A (zh) * | 2020-03-13 | 2020-07-17 | 贝壳技术有限公司 | 一种基于交易数据的买卖双方匹配方法及装置 |
| CN111461828A (zh) * | 2020-03-31 | 2020-07-28 | 深圳市三收健康管理科技有限公司 | 一种基于账单的健康数据处理方法、装置及系统 |
| CN113765959A (zh) * | 2020-06-30 | 2021-12-07 | 北京沃东天骏信息技术有限公司 | 信息推送方法、装置、设备及计算机可读存储介质 |
| CN116776131A (zh) * | 2023-08-23 | 2023-09-19 | 腾讯科技（深圳）有限公司 | 基于图的特征降维方法、意向评级方法及相关设备 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20100030764A1 (en) * | 2008-07-30 | 2010-02-04 | At&T Corp. | Recommender System Utilizing Collaborative Filtering Combining Explicit and Implicit Feedback with both Neighborhood and Latent Factor Models |
| CN109241440A (zh) * | 2018-09-29 | 2019-01-18 | 北京工业大学 | 一种基于深度学习的面向隐式反馈推荐方法 |
| CN109299370A (zh) * | 2018-10-09 | 2019-02-01 | 中国科学技术大学 | 多对级个性化推荐方法 |
| CN110348906A (zh) * | 2019-07-11 | 2019-10-18 | 天津大学 | 一种基于多类型隐式反馈的改进商品推荐方法 |
-
2019
- 2019-10-21 CN CN201910999358.2A patent/CN110727872A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20100030764A1 (en) * | 2008-07-30 | 2010-02-04 | At&T Corp. | Recommender System Utilizing Collaborative Filtering Combining Explicit and Implicit Feedback with both Neighborhood and Latent Factor Models |
| CN109241440A (zh) * | 2018-09-29 | 2019-01-18 | 北京工业大学 | 一种基于深度学习的面向隐式反馈推荐方法 |
| CN109299370A (zh) * | 2018-10-09 | 2019-02-01 | 中国科学技术大学 | 多对级个性化推荐方法 |
| CN110348906A (zh) * | 2019-07-11 | 2019-10-18 | 天津大学 | 一种基于多类型隐式反馈的改进商品推荐方法 |
Non-Patent Citations (1)
| Title |
|---|
| 王智圣 等: "基于隐式用户反馈数据流的实时个性化推荐", 《计算机学报》 * |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111429214A (zh) * | 2020-03-13 | 2020-07-17 | 贝壳技术有限公司 | 一种基于交易数据的买卖双方匹配方法及装置 |
| CN111429214B (zh) * | 2020-03-13 | 2023-06-09 | 贝壳技术有限公司 | 一种基于交易数据的买卖双方匹配方法及装置 |
| CN111461828A (zh) * | 2020-03-31 | 2020-07-28 | 深圳市三收健康管理科技有限公司 | 一种基于账单的健康数据处理方法、装置及系统 |
| CN113765959A (zh) * | 2020-06-30 | 2021-12-07 | 北京沃东天骏信息技术有限公司 | 信息推送方法、装置、设备及计算机可读存储介质 |
| CN116776131A (zh) * | 2023-08-23 | 2023-09-19 | 腾讯科技（深圳）有限公司 | 基于图的特征降维方法、意向评级方法及相关设备 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Athey et al. | Machine learning methods that economists should know about | |
| CN107330115B (zh) | 一种信息推荐方法及装置 | |
| CN108648049B (zh) | 一种基于用户行为区别建模的序列推荐方法 | |
| Hu et al. | Diversifying Personalized Recommendation with User-session Context. | |
| CN107563841B (zh) | 一种基于用户评分分解的推荐系统 | |
| CN110717098B (zh) | 基于元路径的上下文感知用户建模方法、序列推荐方法 | |
| US20210004682A1 (en) | Adapting a sequence model for use in predicting future device interactions with a computing system | |
| CN109087178B (zh) | 商品推荐方法和装置 | |
| Gu et al. | Learning global term weights for content-based recommender systems | |
| CN110781409B (zh) | 一种基于协同过滤的物品推荐方法 | |
| CN115917535A (zh) | 推荐模型的训练方法、推荐方法、装置及计算机可读介质 | |
| EP2860672A2 (en) | Scalable cross domain recommendation system | |
| CN109840833B (zh) | 贝叶斯协同过滤推荐方法 | |
| CN110727872A (zh) | 基于隐式反馈进行不明确选择行为挖掘的方法及装置 | |
| CN113158024A (zh) | 一种纠正推荐系统流行度偏差的因果推理方法 | |
| CN115618101A (zh) | 基于负反馈的流媒体内容推荐方法、装置及电子设备 | |
| Xie et al. | Sequential recommendation on dynamic heterogeneous information network | |
| Hain et al. | The promises of Machine Learning and Big Data in entrepreneurship research | |
| Du et al. | POLAR++: active one-shot personalized article recommendation | |
| CN110851705A (zh) | 一种基于项目的协作存储推荐方法及其推荐装置 | |
| Jiang et al. | A fusion recommendation model based on mutual information and attention learning in heterogeneous social networks | |
| CN108491477B (zh) | 基于多维云和用户动态兴趣的神经网络推荐方法 | |
| Ifada et al. | Do-rank: DCG optimization for learning-to-rank in tag-based item recommendation systems | |
| Szymański et al. | LNEMLC: Label network embeddings for multi-label classification | |
| US20220405531A1 (en) | Blackbox optimization via model ensembling |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20200124 |
|
| RJ01 | Rejection of invention patent application after publication |