CN117216392A - 一种基于缺失数据填补的推荐方法和系统 - Google Patents
一种基于缺失数据填补的推荐方法和系统 Download PDFInfo
- Publication number
- CN117216392A CN117216392A CN202311206930.8A CN202311206930A CN117216392A CN 117216392 A CN117216392 A CN 117216392A CN 202311206930 A CN202311206930 A CN 202311206930A CN 117216392 A CN117216392 A CN 117216392A
- Authority
- CN
- China
- Prior art keywords
- user
- evaluation
- ith
- data
- item
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 76
- 238000011156 evaluation Methods 0.000 claims abstract description 192
- 238000012549 training Methods 0.000 claims abstract description 109
- 238000004364 calculation method Methods 0.000 claims description 14
- 238000007476 Maximum Likelihood Methods 0.000 claims description 12
- 238000010276 construction Methods 0.000 claims description 3
- 230000006870 function Effects 0.000 description 11
- 230000006872 improvement Effects 0.000 description 10
- 230000008901 benefit Effects 0.000 description 7
- 230000028161 membrane depolarization Effects 0.000 description 7
- 238000012937 correction Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 239000011159 matrix material Substances 0.000 description 4
- 238000013459 approach Methods 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 3
- 238000000354 decomposition reaction Methods 0.000 description 3
- 238000002474 experimental method Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 230000001364 causal effect Effects 0.000 description 2
- 230000001186 cumulative effect Effects 0.000 description 2
- 238000011478 gradient descent method Methods 0.000 description 2
- 238000003860 storage Methods 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 238000004880 explosion Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000009834 selective interaction Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Landscapes
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明涉及一种基于缺失数据填补的推荐方法，属于推荐技术领域，解决了现有技术中缺乏完全随机性下的无偏估计，推荐结果不准确的问题。方法包括以下步骤：获取用户数据、物品数据，以及观测到的用户对物品的评价数据，构建训练样本集；构建平衡增强数据插补模型和评价预测模型，基于所述训练样本集对所述平衡增强数据插补模型和评价预测模型进行联合训练，得到训练好的评价预测模型；基于训练好的评价预测模型对未观测到的用户对物品的评价数据进行预测，基于用户对物品的评价数据进行推荐。实现了精准推荐。
Description
技术领域
本发明涉及信息推荐技术领域，尤其涉及一种基于缺失数据填补的推荐方法和系统。
背景技术
在信息爆炸时代，推荐系统在电子商务平台、社交媒体、新闻阅读等领域扮演着日益重要的角色。然而，由于用户的主观偏好和数据收集过程本身，推荐系统的数据中存在潜在的选择偏差。这是推荐系统的一个重大的挑战。忽视选择偏差会使推荐系统难以向用户提供有质量的和准确的推荐内容，从而损害了用户体验并减少了社会效益。
以往的研究已经提出了许多方法来解决选择偏差。比如基于误差插补的方法利用插补模型来填补丢失的评分。然而，在实践中，由于数据稀疏性和选择偏差的存在，很难获得准确的丢失评分的插补值。基于逆概率加权方法使用倒数倾向来重新加权观察到的数据以实现无偏。然而，由于数据稀疏性，很难估计准确的倾向得分，并且通常伴随着极小的值，这导致逆概率加权方法的方差较大，性能较差。基于双稳健方法(Doubly Robust,DR)是主流方法，也是如今推荐系统去除选择偏差最常用的模型之一，它将误差插补模型和倾向模型结合在一起。
然而，基于DR的方法都隐含地假设部分随机性，即只认为评分是否缺失这个指标具有随机性。在这个假设下，之前的基于DR的方法将能够无偏的估计真正的损失。然而，这个假设是不合理的。这一假设意味着倾向模型和插补误差模型都是确定性的模型，并且认为用户对物品的评分也是确定性的。由于评分是否缺失这个指标具有随机性，因此应考虑学到的倾向得分模型的随机性。此外，由于评分是否缺失这个指标和用户对物品的评分都将被用户的协变量影响，而协变量的收集过程本身具有随机性，所以用户对物品的评分也应该具有随机性，这也导致在给定特征时，插补误差模型具有随机性。
发明内容
鉴于上述的分析，本发明实施例旨在提供一种基于缺失数据填补的推荐方法和系统，用以解决现有完全随机性下DR方法无法无偏估计理想损失，导致推荐结果不准确的问题。
一方面，本发明实施例提供了一种基于缺失数据填补的推荐方法，包括以下步骤：
获取用户数据、物品数据，以及观测到的用户对物品的评价数据，构建训练样本集；
构建平衡增强数据插补模型和评价预测模型，基于所述训练样本集对所述平衡增强数据插补模型和评价预测模型进行联合训练，得到训练好的评价预测模型；
基于训练好的评价预测模型对未观测到的用户对物品的评价数据进行预测，基于用户对物品的评价数据进行推荐。
基于上述方法的进一步改进，采用以下公式计算平衡增强数据插补模型的损失
其中，表示平衡增强数据插补模型输出的第u个用户对第i个物品的评价的插补结果，/>表示评价预测模型预测的第u个用户对第i个物品的评价预测结果，ru,i表示第u个用户对第i个物品的真实评价结果，L(·,·)表示损失函数，ou,i表示是否观测到第u个用户对第i个物品的评价数据，/>表示预测的第u个用户对第i个物品有评价的概率，/>表示训练样本集中的用户-物品对，/>表示训练样本集中用户-物品对的数量，||·||F表示Frobenius范数，φ和ε表示平衡增强数据插补模型的参数，v表示超参数。
基于上述方法的进一步改进，采用以下公式计算评价预测模型的损失
其中，表示平衡增强数据插补模型输出的第u个用户对第i个物品的评价的插补结果，/>表示评价预测模型预测的第u个用户对第i个物品的评价预测结果，ru,i表示第u个用户对第i个物品的真实评价结果，L(·,·)表示损失函数，ou,i表示是否观测到第u个用户对第i个物品的评价数据，/>表示预测的第u个用户对第i个物品有评价的概率，/>表示训练样本集中的用户-物品对，/>表示训练样本集中用户-物品对的数量，||·||F表示Frobenius范数，θ表示评价预测模型的参数，ε表示平衡增强数据插补模型的参数，v表示超参数。
基于上述方法的进一步改进，基于所述训练样本集对所述平衡增强数据插补模型和评价预测模型进行联合训练，包括：
S21、将评价预测模型的参数固定，基于观察到评价数据的用户数据和物品数据以及预测模型的预测结果训练平衡增强数据插补模型的参数；
S22、将平衡增强数据插补模型的参数固定，基于平衡增强数据插补模型的插补结果训练评价预测模型；
S23、交替进行步骤S21和步骤S22直至评价预测模型收敛，结束训练。
基于上述方法的进一步改进，所述预测的第u个用户对第i个物品有评价的概率采用以下方式得到：
从训练样本集中提取观察到评价数据的用户数据和物品数据，提取用户-物品对的特征xu,i；
假设预测的第u个用户对第i个物品有评价的概率表示为/> 为：
采用最大似然估计得到偏回归系数β的最大似然估计值，得到观测概率计算公式；
提取训练样本中的每个用户-物品对的特征输入观测概率计算公式得到每个用户-物品对观测到评价的概率。
另一方面，本发明实施例提供了一种基于缺失数据填补的推荐系统，包括以下模块：
样本集构建模块，用于获取用户数据、物品数据，以及观测到的用户对物品的评价数据，构建训练样本集；
模型训练模块，用于构建平衡增强数据插补模型和评价预测模型，基于所述训练样本集对所述平衡增强数据插补模型和评价预测模型进行联合训练，得到训练好的评价预测模型；
推荐模块，基于训练好的评价预测模型对未观测到的用户对物品的评价数据进行预测，基于用户对物品的评价数据进行推荐。
基于上述系统的进一步改进，采用以下公式计算平衡增强数据插补模型的损失
其中，表示平衡增强数据插补模型输出的第u个用户对第i个物品的评价的插补结果，/>表示评价预测模型预测的第u个用户对第i个物品的评价预测结果，ru,i表示第u个用户对第i个物品的真实评价结果，L(·,·)表示损失函数，ou,i表示是否观测到第u个用户对第i个物品的评价数据，/>表示预测的第u个用户对第i个物品有评价的概率，/>表示训练样本集中的用户-物品对，/>表示训练样本集中用户-物品对的数量，||·||F表示Frobenius范数，φ和ε表示平衡增强数据插补模型的参数，v表示超参数。
基于上述系统的进一步改进，采用以下公式计算评价预测模型的损失
其中，表示平衡增强数据插补模型输出的第u个用户对第i个物品的评价的插补结果，/>表示评价预测模型预测的第u个用户对第i个物品的评价预测结果，ru,i表示第u个用户对第i个物品的真实评价结果，L(·,·)表示损失函数，ou,i表示是否观测到第u个用户对第i个物品的评价数据，/>表示预测的第u个用户对第i个物品有评价的概率，/>表示训练样本集中的用户-物品对，/>表示训练样本集中用户-物品对的数量，||·||F表示Frobenius范数，θ表示评价预测模型的参数，ε表示平衡增强数据插补模型的参数，v表示超参数。
基于上述系统的进一步改进，基于所述训练样本集对所述平衡增强数据插补模型和评价预测模型进行联合训练，包括：
S21、将评价预测模型的参数固定，基于观察到评价数据的用户数据和物品数据以及预测模型的预测结果训练平衡增强数据插补模型的参数；
S22、将平衡增强数据插补模型的参数固定，基于平衡增强数据插补模型的插补结果训练评价预测模型；
S23、交替进行步骤S21和步骤S22直至评价预测模型收敛，结束训练。
基于上述系统的进一步改进，所述预测的第u个用户对第i个物品有评价的概率采用以下方式得到：
从训练样本集中提取观察到评价数据的用户数据和物品数据，提取用户-物品对的特征xu,i；
假设预测的第u个用户对第i个物品有评价的概率表示为/> 为：
采用最大似然估计得到偏回归系数β的最大似然估计值，得到观测概率计算公式；
提取训练样本中的每个用户-物品对的特征输入观测概率计算公式得到每个用户-物品对观测到评价的概率。
与现有技术相比，本发明通过构建平衡增强数据插补模型和评价预测模型，基于训练样本集对构建的模型进行联合训练，从而通过平衡增强插补模型消除观察到的样本和总体样本间的差异，提高插补质量和性能，并且不会增加额外的偏差；通过平衡增强数据插补模型和评价预测模型的联合训练，在完全随机性的条件下实现与用户-物品评价的无偏估计，实现了对未观测到的用户-物品对的评分更加精准的预测，使得推荐系统推荐结果更加准确，从而更好的保护用户的利益。
本发明中，上述各技术方案之间还可以相互组合，以实现更多的优选组合方案。本发明的其他特征和优点将在随后的说明书中阐述，并且，部分优点可从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过说明书以及附图中所特别指出的内容中来实现和获得。
附图说明
附图仅用于示出具体实施例的目的，而并不认为是对本发明的限制，在整个附图中，相同的参考符号表示相同的部件；
图1为本发明实施例基于缺失数据填补的推荐方法的流程图；
图2为本发明实施例基于缺失数据填补的推荐系统的框图。
具体实施方式
下面结合附图来具体描述本发明的优选实施例，其中，附图构成本申请一部分，并与本发明的实施例一起用于阐释本发明的原理，并非用于限定本发明的范围。
在推荐系统中，用户与项目的选择性互动所造成的选择偏差，对推荐模型的无偏评估和学习提出了广泛认可的挑战，偏差的存在使得学习出的模型参数不能准确表征用户在推荐系统中的真实行为意图，造成推荐效果的下降，推荐结果并不准确。最近，人们广泛研究了双稳健及其变体，以实现预测模型的无偏差学习，从而在估算误差或学习到的倾向性都准确的情况下实现无偏差。然而，之前的研究都是基于部分随机性假设来实现无偏性的，这种假设只将评价缺失指标视为随机变量。若在完全随机性的情况，即所有变量(包括倾向性得分模型和插补模型)都是随机的条件下，所有现有的基于DR的方法都存在偏差，影响推荐效果。
基于此，本发明的一个具体实施例，公开了一种基于缺失数据填补的推荐方法，如图1所示，包括以下步骤：
S1、获取用户数据、物品数据，以及观测到的用户对物品的评价数据，构建训练样本集；
S2、构建平衡增强数据插补模型和评价预测模型，基于所述训练样本集对所述平衡增强数据插补模型和评价预测模型进行联合训练，得到训练好的评价预测模型；
S3、基于训练好的评价预测模型对未观测到的用户对物品的评价数据进行预测，基于用户对物品的评价数据进行推荐。
与现有技术相比，本发明通过构建平衡增强数据插补模型和评价预测模型，基于训练样本集对构建的模型进行联合训练，从而通过平衡增强插补模型消除观察到的样本和总体样本间的差异，提高插补质量和性能，并且不会增加额外的偏差；通过平衡增强数据插补模型和评价预测模型的联合训练，在完全随机性的条件下实现与用户-物品评价的无偏估计，实现了对未观测到的用户-物品对的评分更加精准的预测，使得推荐系统推荐结果更加准确，从而更好的保护用户的利益。
实施时，物品可以是商品、电影、音乐、信息等。
令表示用户集合，/>表示物品集合。用户数据可包括用户的编号、性别、年龄、兴趣等其他能收集到的用户信息。物品的数据可以包括物品的编号、类型、价格等。用户集合中任意一个用户和物品集合中任意一个物品构成一个用户-物品对。
实施时，可使用因果推断中的潜在结果框架，定义因果问题来评估用户对物品的评价。潜在结果框架下包括以下关键要素：(1)目标总体：所有用户-物品对的集合(u,i)表示第u个用户和第i个物品形成的用户-物品对；(2)特征：xu,i，用户-物品对(u,i)的特征；(3)处理：ou,i∈{0,1}，表示是否观测到第u个用户对第i个物品的评价数据，若被观察到(ou,i＝1)，若缺失(ou,i＝0)；(4)结果：ru,i，第u个用户对第i个物品的评分；(5)潜在结果：ru,i(o)对于o∈{0,1}，它是在ou,i设置为o时将被观察到的结果。反馈ru,i是第u个用户对第i个物品的真实评分。然而，评分存在缺失。设ou,i为ru,i的观察指示符，ru,i(1)表示如果ou,i＝1时用户u对物品i的真实评分，基于缺失数据填补的推荐方法的目标是为所有/>预测ru,i(1)。
实施时，可通过现有的网络模型分别对用户数据和物品数据进行特征提取，将提取后的特征融合，得到用户-物品对的特征。例如可采用one-hot分别对每个用户和每个物品编码，通过词袋模型等网络模型分别提取用户、物品对应的特征，将特征拼接或相乘作为用户-物品对的特征。也可以根据用户的编号、性别、年龄、兴趣等其他能收集到的用户信息通过前馈神经网络提取用户的特征，根据物品的编号、类型、价格等数据通过前馈神经网络提取物品的特征，将用户特征和物品特征拼接或相乘作为用户-物品对的特征。
所有的用户-物品对的特征、以及其中观测到的用户对物品的评价数据构成训练样本集。
在推荐系统中，广泛采用的反事实问题是“如果对用户进行干预，反馈会是什么”。表示观测到评价的用户-物品对的集合，值得注意的是，仅当ou,i＝1时才能观察到ru,i(1)，否则评分是缺失的。预测ru,i(1)的任务可以视为一个缺失数据问题。但是，由于观察事件/>和所有事件/>之间总是存在差异。忽略这种差异会影响预测ru,i(1)的性能。
理想情况下，如果所有潜在结果ru,i(1)都是已知的，可以通过最小化所有用户-物品对的平均损失进行训练：
其中，是预测误差，/>表示模型预测的第u个用户对第i个物品的评价，L(·,·)是一个损失函数，例如平方损失/> θ表示模型参数。虽然直接优化/>由于ru,i(1)的缺失而变得不再可行，但/>提供了无偏学习和预测的基准。因此，各种去偏方法尝试构建真实损失/>的无偏估计量，并通过最小化估计损失来训练预测模型。基于误差插补的方法首先为丢失的评分插补伪标签，然后将伪标签与观察到的评分结合起来训练预测模型。理论上，如果所有伪标签都准确，基于误差插补的方法在理论可以无偏的预测真实损失，但由于数据中选择偏差的存在，以及模型的误差，所有伪标签都准确的这个条件在实践中很难实现。另一种去除偏差的方法是对观察评分进行逆概率加权以消除偏差。理论上，如果所有估计的倾向性得分都准确，基于逆概率加权估计器可以无偏的预测真实损失。同样的，由于数据中选择偏差的存在，以及模型本身具有误差，所有估计的倾向性得分都准确在实践中几乎无法满足。此外，当估计的倾向性中存在极端值时逆概率加权估计器会有很大的方差。
现有基于DR方法的无偏性都基于部分随机性假设。如果没有这个假设，即使学到的倾向性模型或插补误差模型是准确的，现有的基于DR的方法仍然会存在偏差。具体而言，在部分随机假设下，DR方法的偏差和无偏条件，如以下引理1和引理2所示：
引理1(在部分随机性假设下，DR估计器的偏差)：
给定所有用户-物品对的插补误差和学到的倾向性/>当仅考虑评价丢失指标ou,i的随机性时，DR估计器的偏差为：
其中，表示倾向性模型计算的第u个用户对第i个物品有评价的概率，即学习到的倾向性，pu,i表示实际倾向性，eu,i表示预测误差。
引理2(在部分随机性假设下，DR估计器的无偏条件)：
当对于所有用户-物品对，插补误差或学到的倾向性/>准确时，即/>或/>时，DR估计器是无偏的。
基于引理1，在完全随机性假设下，双稳健估计器的偏差以及无偏条件，如以下定理1和定理2所示：
定理1[完全随机性下的DR估计器偏差]：
考虑概率误差插补模型和概率倾向性模型/>并假设所有变量都是随机的，E(·)表示期望，P(·)表示概率，那么DR估计器的偏差，即可以表示为：
其中，E(·)表示期望。
定理2[完全随机性下的DR估计器无偏条件]：
当以下两个条件成立时，完全随机性下DR的无偏性成立：
(i)条件独立性,即
(ii)学到的倾向得分满足/>或者学到的插补模型满足
由于数据的真实分布未知，真实协方差也是未知的。因此，可以使用所有用户-物品对的经验协方差作为真实协方差的近似值。首先，给出经验协方差(empiricalcovariance,EC)的定义：
定义1(EC)和/>的条件协方差的经验期望定义如下
控制EC的一种直接方法是将其视为正则化项。然而，由于数据是部分观察到的，我们无法获取所有用户-物品对上的EC值。此外，这样做不能保证EC会收敛到精确的零值，而且大的惩罚项可能会损害预测性能。为了更好的控制EC，同时获得准确的学到的倾向和插补误差，本发明通过平衡增强型双稳健方法，在完全随机性下实现了无偏性。
具体的，本发明通过平衡增强数据插补模型和评价预测模型的联合训练，使得观察到的样本上的EC为0，未观察到的样本的EC也可以被控制在一个界限之内，从而更有利于实现完全随机条件下的无偏性。界限的具体形式如之后的定理3所示。
实施时，步骤S2中构建的平衡增强数据插补模型和评价预测模型可采用矩阵分解、深度神经网络等模型结构。
具体的，基于所述训练样本集对所述平衡增强数据插补模型和评价预测模型进行联合训练，包括：
S21、将评价预测模型的参数固定，基于观察到评价数据的用户数据和物品数据以及预测模型的预测结果训练平衡增强数据插补模型的参数；
S22、将平衡增强数据插补模型的参数固定，基于平衡增强数据插补模型的插补结果训练评价预测模型；
S23、交替进行步骤S21和步骤S22直至评价预测模型收敛，结束训练。
具体的，步骤S21中评价预测模型的参数固定，以对平衡增强数据插补模型进行训练，通过计算平衡增强数据插补模型的损失，采用梯度下降法更新平衡增强数据插补模型的参数。
具体的，采用以下公式计算平衡增强数据插补模型的损失
其中，表示平衡增强数据插补模型输出的第u个用户对第i个物品的评价的插补结果，/>表示评价预测模型预测的第u个用户对第i个物品的评价预测结果，ru,i表示第u个用户对第i个物品的真实评价结果，L(·,·)表示损失函数，ou,i表示是否观测到第u个用户对第i个物品的评价数据，/>表示预测的第u个用户对第i个物品有评价的概率，/>表示训练样本集中的用户-物品对，/>表示训练样本集中用户-物品对的数量，||·||F表示Frobenius范数，φ和ε表示平衡增强数据插补模型的参数，v表示超参数。eu,i即为评价预测模型的预测误差，/>即为平衡增强数据插补模型的插补误差。
通过训练平衡增强数据插补模型，使得插补结果不断趋近于评价预测模型的评价预测结果，插补误差通过修正项进行修正，修正项的均值为零，不会给插补模型带来偏差。
经过一个或几个训练批次的数据对平衡增强数据插补模型进行训练后，在通过步骤S22训练评价预测模型，此时将平衡增强数据插补模型的参数固定，以对评价预测模型进行训练，通过计算评价预测模型的损失，采用梯度下降法更新评价预测模型的参数。
具体的，采用以下公式计算评价预测模型的损失
其中，表示平衡增强数据插补模型输出的第u个用户对第i个物品的评价的插补结果，/>表示评价预测模型预测的第u个用户对第i个物品的评价预测结果，ru,i表示第u个用户对第i个物品的真实评价结果，L(·,·)表示损失函数，ou,i表示是否观测到第u个用户对第i个物品的评价数据，/>表示预测的第u个用户对第i个物品有评价的概率，/>表示训练样本集中的用户-物品对，/>表示训练样本集中用户-物品对的数量，||·||F表示Frobenius范数，θ表示评价预测模型的参数，ε表示平衡增强数据插补模型的参数，v表示超参数。
通过训练评价预测模型，使得评价预测模型预测的评价结果越来越趋近于真实评价结果，经过通过一个或几个训练批次的数据对平衡增强数据插补模型进行训练后，在返回步骤S21训练平衡增强数据插补模型，通过步骤S21和步骤S22的交替进行，从而实现平衡增强数据插补模型和评价预测模型的联合训练。联合训练可以通过预测模型及时纠正不准确的数据插补模型，可以更好地保证插补模型的质量。同时，更准确的插补模型又会导致更好的预测模型，从而实现良性循环。当评价预测模型收敛时，结束训练。
模型收敛后，基于训练好的评价预测模型对未观测到的用户对物品的评价数据进行预测，基于用户对物品的评价数据进行推荐。具体的，对于未观测到评价的用户-物品对，可通过评价预测模型得到评价预测结果。对于某个用户，若向其推荐物品，可对其相关的所有用户-物品对的评价结果进行排序，提取前K个物品进行推荐。对于某个物品，若将其向用户推荐，则可对可对其相关的所有用户-物品对的评价结果进行排序，提取前K个用户向其推荐。由于采用平衡增强数据插补模型考虑了完全随机性条件下，使得选择不存在偏差，推荐结果更加精准，提高了推荐系统的性能。
实施时，观测到第u个用户对第i个物品评价的概率可采用以下方式得到：
从训练样本集中提取观察到评价数据的用户数据和物品数据，提取用户-物品对的特征xu,i；用户-物品对的特征可按照前述过程得到；
假设第u个用户对第i个物品评价的概率表示为/> 为：
采用最大似然估计得到偏回归系数β的最大似然估计值，得到观测概率计算公式；
提取训练样本中的每个用户-物品对的特征输入观测概率计算公式得到每个用户-物品对观测到评价的概率。实施时，将这个概率放在损失的分母上，对于更小的观测概率的事件赋予更高的训练权重，来去除观测到的样本和总体样本/>之间的偏差。
需要说明的是，如果对于求关于ε的导数，结果如下：
它与EC具有相同的形式，这意味着我们可以通过直接最小化来使观察到的用户-物品对的EC达到精确的零。同时，当对φ进行求导时，梯度包含ε，这表明一个良好学习的ε可以导致更准确的φ，进一步确保无偏性。此外，使用集中不等式(concentration inequality)，我们发现未观察到的用户-物品对的EC可以以较高的概率被/>概率倾向性模型的偏差和一个尾部界限控制，这也说明了通过/>来训练的平衡增强型插补模型足以控制EC。
定理3(控制未观察到的用户-物品对的EC)：
对于未观察到的用户-物品对，假设以及/>其中Kψ和Kφ为两个常数，那么至少有1-η的概率有以下结果成立：
其中，表示拉的马赫复杂度，由上式可以看出未观察到的用户-物品对的EC被/>概率倾向性模型的偏差和一个尾部界限项控制。η是一个预先指定的阈值，η越小，1-η就越大，代表条件越严格，相应的上界也会更大，根据概率近似正确理论可知，上述不等式右边的项的上界可以被控制。因此，未观察到的用户-物品对的EC可以以较高的概率被/>概率倾向性模型的偏差和一个尾部界限控制。
定理4(完全随机情况下的泛化界限)：
假设以及/>其中Kψ和Kφ为两个常数，那么至少有1-η的概率有以下结果成立：
其中，表示拉的马赫复杂度。DR方法的泛化误差界由四项组成，分别是预测的损失/>倾向性模型和插补模型的误差、/>和/>的协方差以及尾部界限。现有的DR方法只能控制前两项，而本发明的方法可以多控制一个协方差项，也就是前三项。也就是说，本发明的方法对于学习到的模型质量更有保证。
为了说明本发明的效果，本发明在三个常用的真实推荐系统数据集上进行训练，分别为Coat数据集：包含来自290位用户对300个物品的评分，在训练集中总共包含了6,960个评分；Yahoo！R3数据集：包含来自15,400位用户对1,000个物品的评分，在训练集中总共包含了311,704个评分；KuaiRec数据集：这是一个工业数据集，包含了来自1,411位用户对3,327个视频的4,676,570条观看比例记录。这些数据集将用于实验，以验证所提方法在去偏推荐中的有效性。我们采用矩阵分解作为基线模型，其中IPS，SNIPS和ASIPS为基于IPS(Inverse Propensity Score,逆概率加权方法)的基线方法，DR，DR-JL，MRDR，DR-BIAS，DR-MSE，TDR，TDR-JL，StableDR为基于DR的基线方法，BEDR-JL为本发明提出的方法。
我们使用均方误差(MSE)，ROC曲线下面积(AUC)，召回率@5(Recall@5)和归一化折损累计增益@5(NDCG@5)作为Coat数据集和Yahoo！R3数据集上的评价指标，使用均方误差(MSE)，ROC曲线下面积(AUC)，召回率@20(Recall@20)和归一化折损累计增益@20(NDCG@20)作为KuaiRec数据集上的评价指标。这四个指标中，MSE越小表明方法越有效，AUC，Recall和NDCG越大表明方法越有效。此外，所有实验都在PyTorch上实现，使用Tesla T4 GPU作为计算资源。在所有实验中，我们使用Adam作为优化器。我们在以下范围内调整学习率：{0.001,0.005,0.01,0.05,0.1}；调整权重衰减：{1e-5,5e-5,1e-4,5e-4,1e-3,5e-3,1e-2}，调整批量大小，包括Coat中的{128,256,512}，Yahoo！R3以及KuaiRec中的{1024,2048,4096}。实验结果如表1，表2，表3所示。最佳结果以粗体显示，最佳基线结果以下划线显示。
表1Coat数据集上的实验结果
表2 Yahoo！R3数据集上的实现结果
表3 KuaiRec数据集上的实验结果
表1和表2总结了各种方法在两个真实世界基准数据集Coat和Yahoo！R3上的去偏性能。首先，大多数去偏方法都优于基准模型矩阵分解，这表明了去偏的必要性。其次，像TDR和StableDR这样的基于双稳健方法达到了较好的表现。此外，本发明所提出的BEDR-JL方法在所有评估指标上都取得了最佳性能。这归因于所提出的插补平衡修正能够更无偏地估计真实损失函数，从而显著提高了去偏性能。表3显示了各种方法在大规模工业数据集KuaiRec上的性能。我们可以看到，与基线方法矩阵分解相比，DR-JL方法实现了较大的性能改进，然而，上述两种方法在完全随机下都对真实损失函数的估计有偏，从而损害了预测性能。本发明提出的BEDR-JL方法在去偏性能上取得了显著的改进。这是因为通过修正项提供了更准确的插补误差，可以极大地提高预测性能。这进一步验证了我们所提出的BEDR-JL方法的简单性和有效性。
本发明的一个具体实施例，公开了一种基于缺失数据填补的推荐系统，如图2所示，包括以下模块：
样本集构建模块，用于获取用户数据、物品数据，以及观测到的用户对物品的评价数据，构建训练样本集；
模型训练模块，用于构建平衡增强数据插补模型和评价预测模型，基于所述训练样本集对所述平衡增强数据插补模型和评价预测模型进行联合训练，得到训练好的评价预测模型；
推荐模块，基于训练好的评价预测模型对未观测到的用户对物品的评价数据进行预测，基于用户对物品的评价数据进行推荐。
优选的，采用以下公式计算平衡增强数据插补模型的损失
/>
其中，表示平衡增强数据插补模型输出的第u个用户对第i个物品的评价的插补结果，/>表示评价预测模型预测的第u个用户对第i个物品的评价预测结果，ru,i表示第u个用户对第i个物品的真实评价结果，L(·,·)表示损失函数，ou,i表示是否观测到第u个用户对第i个物品的评价数据，/>表示预测的第u个用户对第i个物品有评价的概率，/>表示训练样本集中的用户-物品对，/>表示训练样本集中用户-物品对的数量，||·||F表示Frobenius范数，φ和ε表示平衡增强数据插补模型的参数，v表示超参数。
优选的，采用以下公式计算评价预测模型的损失
其中，表示平衡增强数据插补模型输出的第u个用户对第i个物品的评价的插补结果，/>表示评价预测模型预测的第u个用户对第i个物品的评价预测结果，ru,i表示第u个用户对第i个物品的真实评价结果，L(·,·)表示损失函数，ou,i表示是否观测到第u个用户对第i个物品的评价数据，/>表示预测的第u个用户对第i个物品有评价的概率，/>表示训练样本集中的用户-物品对，/>表示训练样本集中用户-物品对的数量，||·||F表示Frobenius范数，θ表示预测模型的参数，ε表示平衡增强数据插补模型的参数，v表示超参数。
优选的，基于所述训练样本集对所述平衡增强数据插补模型和评价预测模型进行联合训练，包括：
S21、将评价预测模型的参数固定，基于观察到评价数据的用户数据和物品数据以及预测模型的预测结果训练平衡增强数据插补模型的参数；
S22、将平衡增强数据插补模型的参数固定，基于平衡增强数据插补模型的插补结果训练评价预测模型；
S23、交替进行步骤S21和步骤S22直至评价预测模型收敛，结束训练。
优选的，所述预测的第u个用户对第i个物品有评价的概率采用以下方式得到：
从训练样本集中提取观察到评价数据的用户数据和物品数据，提取用户-物品对的特征xu,i；
假设预测的第u个用户对第i个物品有评价的概率表示为/> 为：
采用最大似然估计得到偏回归系数β的最大似然估计值，得到观测概率计算公式；
提取训练样本中的每个用户-物品对的特征输入观测概率计算公式得到每个用户-物品对观测到评价的概率。
上述方法实施例和系统实施例，基于相同的原理，其相关之处可相互借鉴，且能达到相同的技术效果。具体实施过程参见前述实施例，此处不再赘述。
本领域技术人员可以理解，实现上述实施例方法的全部或部分流程，可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于计算机可读存储介质中。其中，所述计算机可读存储介质为磁盘、光盘、只读存储记忆体或随机存储记忆体等。
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。
Claims (10)
1.一种基于缺失数据填补的推荐方法，其特征在于，包括以下步骤：
获取用户数据、物品数据，以及观测到的用户对物品的评价数据，构建训练样本集；
构建平衡增强数据插补模型和评价预测模型，基于所述训练样本集对所述平衡增强数据插补模型和评价预测模型进行联合训练，得到训练好的评价预测模型；
基于训练好的评价预测模型对未观测到的用户对物品的评价数据进行预测，基于用户对物品的评价数据进行推荐。
2.根据权利要求1所述的基于缺失数据填补的推荐方法，其特征在于，采用以下公式计算平衡增强数据插补模型的损失
其中，表示平衡增强数据插补模型输出的第u个用户对第i个物品的评价的插补结果，/>表示评价预测模型预测的第u个用户对第i个物品的评价预测结果，ru,i表示第u个用户对第i个物品的真实评价结果，L(·,·)表示损失函数，ou,i表示是否观测到第u个用户对第i个物品的评价数据，/>表示预测的第u个用户对第i个物品有评价的概率，/>表示训练样本集中的用户-物品对，/>表示训练样本集中用户-物品对的数量，||·||F表示Frobenius范数，φ和ε表示平衡增强数据插补模型的参数，v表示超参数。
3.根据权利要求1所述的基于缺失数据填补的推荐方法，其特征在于，采用以下公式计算评价预测模型的损失
其中，表示平衡增强数据插补模型输出的第u个用户对第i个物品的评价的插补结果，/>表示评价预测模型预测的第u个用户对第i个物品的评价预测结果，ru,i表示第u个用户对第i个物品的真实评价结果，L(·,·)表示损失函数，ou,i表示是否观测到第u个用户对第i个物品的评价数据，/>表示预测的第u个用户对第i个物品有评价的概率，/>表示训练样本集中的用户-物品对，/>表示训练样本集中用户-物品对的数量，||·||F表示Frobenius范数，θ表示评价预测模型的参数，ε表示平衡增强数据插补模型的参数，v表示超参数。
4.根据权利要求1所述的基于缺失数据填补的推荐方法，其特征在于，基于所述训练样本集对所述平衡增强数据插补模型和评价预测模型进行联合训练，包括：
S21、将评价预测模型的参数固定，基于观察到评价数据的用户数据和物品数据以及预测模型的预测结果训练平衡增强数据插补模型的参数；
S22、将平衡增强数据插补模型的参数固定，基于平衡增强数据插补模型的插补结果训练评价预测模型；
S23、交替进行步骤S21和步骤S22直至评价预测模型收敛，结束训练。
5.根据权利要求2或3所述的基于缺失数据填补的推荐方法，其特征在于，所述预测的第u个用户对第i个物品有评价的概率采用以下方式得到：
从训练样本集中提取观察到评价数据的用户数据和物品数据，提取用户-物品对的特征xu,i；
假设预测的第u个用户对第i个物品有评价的概率表示为/> 为：
采用最大似然估计得到偏回归系数β的最大似然估计值，得到观测概率计算公式；
提取训练样本中的每个用户-物品对的特征输入观测概率计算公式得到每个用户-物品对观测到评价的概率。
6.一种基于缺失数据填补的推荐系统，其特征在于，包括以下模块：
样本集构建模块，用于获取用户数据、物品数据，以及观测到的用户对物品的评价数据，构建训练样本集；
模型训练模块，用于构建平衡增强数据插补模型和评价预测模型，基于所述训练样本集对所述平衡增强数据插补模型和评价预测模型进行联合训练，得到训练好的评价预测模型；
推荐模块，基于训练好的评价预测模型对未观测到的用户对物品的评价数据进行预测，基于用户对物品的评价数据进行推荐。
7.根据权利要求6所述的基于缺失数据填补的推荐系统，其特征在于，采用以下公式计算平衡增强数据插补模型的损失
其中，表示平衡增强数据插补模型输出的第u个用户对第i个物品的评价的插补结果，/>表示评价预测模型预测的第u个用户对第i个物品的评价预测结果，ru,i表示第u个用户对第i个物品的真实评价结果，L(·,·)表示损失函数，ou,i表示是否观测到第u个用户对第i个物品的评价数据，/>表示预测的第u个用户对第i个物品有评价的概率，/>表示训练样本集中的用户-物品对，/>表示训练样本集中用户-物品对的数量，||·||F表示Frobenius范数，φ和ε表示平衡增强数据插补模型的参数，v表示超参数。
8.根据权利要求6所述的基于缺失数据填补的推荐系统，其特征在于，采用以下公式计算评价预测模型的损失
其中，表示平衡增强数据插补模型输出的第u个用户对第i个物品的评价的插补结果，/>表示评价预测模型预测的第u个用户对第i个物品的评价预测结果，ru,i表示第u个用户对第i个物品的真实评价结果，L(·,·)表示损失函数，ou,i表示是否观测到第u个用户对第i个物品的评价数据，/>表示预测的第u个用户对第i个物品有评价的概率，/>表示训练样本集中的用户-物品对，/>表示训练样本集中用户-物品对的数量，||·||F表示Frobenius范数，θ表示评价预测模型的参数，ε表示平衡增强数据插补模型的参数，v表示超参数。
9.根据权利要求6所述的基于缺失数据填补的推荐系统，其特征在于，基于所述训练样本集对所述平衡增强数据插补模型和评价预测模型进行联合训练，包括：
S21、将评价预测模型的参数固定，基于观察到评价数据的用户数据和物品数据以及预测模型的预测结果训练平衡增强数据插补模型的参数；
S22、将平衡增强数据插补模型的参数固定，基于平衡增强数据插补模型的插补结果训练评价预测模型；
S23、交替进行步骤S21和步骤S22直至评价预测模型收敛，结束训练。
10.根据权利要求7或8所述的基于缺失数据填补的推荐系统，其特征在于，所述预测的第u个用户对第i个物品有评价的概率采用以下方式得到：
从训练样本集中提取观察到评价数据的用户数据和物品数据，提取用户-物品对的特征xu,i；
假设预测的第u个用户对第i个物品有评价的概率表示为/> 为：
采用最大似然估计得到偏回归系数β的最大似然估计值，得到观测概率计算公式；
提取训练样本中的每个用户-物品对的特征输入观测概率计算公式得到每个用户-物品对观测到评价的概率。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311206930.8A CN117216392A (zh) | 2023-09-19 | 2023-09-19 | 一种基于缺失数据填补的推荐方法和系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311206930.8A CN117216392A (zh) | 2023-09-19 | 2023-09-19 | 一种基于缺失数据填补的推荐方法和系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117216392A true CN117216392A (zh) | 2023-12-12 |
Family
ID=89050682
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311206930.8A Pending CN117216392A (zh) | 2023-09-19 | 2023-09-19 | 一种基于缺失数据填补的推荐方法和系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117216392A (zh) |
Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2017147785A1 (en) * | 2016-03-01 | 2017-09-08 | Microsoft Technology Licensing, Llc | Automated commentary for online content |
| JP6468666B1 (ja) * | 2017-11-28 | 2019-02-13 | 株式会社エムール | 寝具選択支援システム |
| CN110321494A (zh) * | 2019-06-26 | 2019-10-11 | 北京交通大学 | 基于矩阵分解与网络嵌入联合模型的社会化推荐方法 |
| CN111275521A (zh) * | 2020-01-16 | 2020-06-12 | 华南理工大学 | 一种基于用户评论与满意层面嵌入的商品推荐方法 |
| CN111291266A (zh) * | 2020-02-13 | 2020-06-16 | 腾讯科技（北京）有限公司 | 基于人工智能的推荐方法、装置、电子设备及存储介质 |
| AU2020101604A4 (en) * | 2020-07-31 | 2020-09-10 | The University of Xinjiang | A Recommendation with Item Cooccurrence based on Metric Factorization |
| CN114140171A (zh) * | 2021-12-09 | 2022-03-04 | 东北大学 | 一种应用于推荐系统的鲁棒无偏的负采样方法 |
| CN115482021A (zh) * | 2021-05-31 | 2022-12-16 | 腾讯科技（深圳）有限公司 | 多媒体信息推荐方法、装置、电子设备及存储介质 |
| CN115599972A (zh) * | 2022-10-17 | 2023-01-13 | 中国人民大学（Cn） | 一种序列推荐中的对偶增强倾向性得分估计方法 |
| CN116304706A (zh) * | 2023-03-22 | 2023-06-23 | 同济大学 | 一种基于lstm模型匹配认知训练最适参数的方法 |
| CN116452263A (zh) * | 2022-01-05 | 2023-07-18 | 腾讯科技（深圳）有限公司 | 一种信息推荐方法、装置、设备及存储介质、程序产品 |
| CN116664226A (zh) * | 2023-05-06 | 2023-08-29 | 中国科学院计算技术研究所 | 一种推荐系统流行度去偏方法和系统、存储介质 |
-
2023
- 2023-09-19 CN CN202311206930.8A patent/CN117216392A/zh active Pending
Patent Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2017147785A1 (en) * | 2016-03-01 | 2017-09-08 | Microsoft Technology Licensing, Llc | Automated commentary for online content |
| JP6468666B1 (ja) * | 2017-11-28 | 2019-02-13 | 株式会社エムール | 寝具選択支援システム |
| CN110321494A (zh) * | 2019-06-26 | 2019-10-11 | 北京交通大学 | 基于矩阵分解与网络嵌入联合模型的社会化推荐方法 |
| CN111275521A (zh) * | 2020-01-16 | 2020-06-12 | 华南理工大学 | 一种基于用户评论与满意层面嵌入的商品推荐方法 |
| CN111291266A (zh) * | 2020-02-13 | 2020-06-16 | 腾讯科技（北京）有限公司 | 基于人工智能的推荐方法、装置、电子设备及存储介质 |
| AU2020101604A4 (en) * | 2020-07-31 | 2020-09-10 | The University of Xinjiang | A Recommendation with Item Cooccurrence based on Metric Factorization |
| CN115482021A (zh) * | 2021-05-31 | 2022-12-16 | 腾讯科技（深圳）有限公司 | 多媒体信息推荐方法、装置、电子设备及存储介质 |
| CN114140171A (zh) * | 2021-12-09 | 2022-03-04 | 东北大学 | 一种应用于推荐系统的鲁棒无偏的负采样方法 |
| CN116452263A (zh) * | 2022-01-05 | 2023-07-18 | 腾讯科技（深圳）有限公司 | 一种信息推荐方法、装置、设备及存储介质、程序产品 |
| CN115599972A (zh) * | 2022-10-17 | 2023-01-13 | 中国人民大学（Cn） | 一种序列推荐中的对偶增强倾向性得分估计方法 |
| CN116304706A (zh) * | 2023-03-22 | 2023-06-23 | 同济大学 | 一种基于lstm模型匹配认知训练最适参数的方法 |
| CN116664226A (zh) * | 2023-05-06 | 2023-08-29 | 中国科学院计算技术研究所 | 一种推荐系统流行度去偏方法和系统、存储介质 |
Non-Patent Citations (2)
| Title |
|---|
| YAN CHU等: "An Attention-Based Recommendation Algorithm", 《IEEE》, 26 March 2020 (2020-03-26), pages 1505 - 1510 * |
| 康雁等: "注意力协同辅助变分推荐算法", 《计算机应用研究》, 9 January 2020 (2020-01-09), pages 3250 - 3254 * |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Chen et al. | Matrix factorization for recommendation with explicit and implicit feedback | |
| Bao et al. | Topicmf: Simultaneously exploiting ratings and reviews for recommendation | |
| WO2019029046A1 (zh) | 一种视频推荐方法及系统 | |
| CN110889747B (zh) | 商品推荐方法、装置、系统、计算机设备及存储介质 | |
| Liu et al. | Collaborative filtering with a deep adversarial and attention network for cross-domain recommendation | |
| CN111310063A (zh) | 基于神经网络的记忆感知门控因子分解机物品推荐方法 | |
| CN110930219B (zh) | 一种基于多特征融合的个性化电商推荐方法 | |
| CN113918833B (zh) | 通过社交网络关系的图卷积协同过滤实现的产品推荐方法 | |
| CN113918834B (zh) | 融合社交关系的图卷积协同过滤推荐方法 | |
| Aguilar et al. | Gene-culture coinheritance of a behavioral trait | |
| Jannach et al. | Session-based recommender systems | |
| Feng et al. | Social network regularized sparse linear model for top-n recommendation | |
| CN113918832A (zh) | 基于社交关系的图卷积协同过滤推荐系统 | |
| Yang et al. | Restricted Boltzmann machines for recommender systems with implicit feedback | |
| Jiang et al. | Retweet prediction using social-aware probabilistic matrix factorization | |
| CN110059251B (zh) | 基于多关系隐式反馈置信度的协同过滤推荐方法 | |
| Xu et al. | Causal inference for recommendation: Foundations, methods and applications | |
| Hazrati et al. | Entity representation for pairwise collaborative ranking using restricted Boltzmann machine | |
| Li et al. | Stabilized doubly robust learning for recommendation on data missing not at random | |
| Liu et al. | KDCRec: Knowledge distillation for counterfactual recommendation via uniform data | |
| Du et al. | A unified hierarchical attention framework for sequential recommendation by fusing long and short-term preferences | |
| Pang et al. | Efficient deep reinforcement learning-enabled recommendation | |
| Zhou et al. | Towards real time team optimization | |
| CN117216392A (zh) | 一种基于缺失数据填补的推荐方法和系统 | |
| CN115599972A (zh) | 一种序列推荐中的对偶增强倾向性得分估计方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |