CN114936890A - 一种基于逆倾向加权方法的反事实公平的推荐方法 - Google Patents

一种基于逆倾向加权方法的反事实公平的推荐方法 Download PDF

Info

Publication number
CN114936890A
CN114936890A CN202210345565.8A CN202210345565A CN114936890A CN 114936890 A CN114936890 A CN 114936890A CN 202210345565 A CN202210345565 A CN 202210345565A CN 114936890 A CN114936890 A CN 114936890A
Authority
CN
China
Prior art keywords
user
product
users
formula
ith
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210345565.8A
Other languages
English (en)
Inventor
吴乐
邵鹏阳
张琨
连德富
洪日昌
李勇
汪萌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hefei University of Technology
Original Assignee
Hefei University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hefei University of Technology filed Critical Hefei University of Technology
Priority to CN202210345565.8A priority Critical patent/CN114936890A/zh
Publication of CN114936890A publication Critical patent/CN114936890A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G06Q30/0601—Electronic shopping [e-shopping]
    • G06Q30/0631—Item recommendations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/953—Querying, e.g. by the use of web search engines
    • G06F16/9536—Search customisation based on social or collaborative filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Biophysics (AREA)
  • Business, Economics & Management (AREA)
  • Databases & Information Systems (AREA)
  • Finance (AREA)
  • Accounting & Taxation (AREA)
  • Development Economics (AREA)
  • Economics (AREA)
  • Marketing (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种基于逆倾向加权方法的反事实公平的推荐方法，包括：1.利用用户和产品的交互记录构建评分矩阵，利用用户的二值敏感属性构建敏感属性矩阵；2.提出推荐的反事实公平性定义；3.预训练推荐模型，获得用户和产品的表征；4.通过图卷积方式进行特征传播，构建特征到敏感属性的分类器；5.提出基于图的自监督学习正则化项；6.固定分类器参数，获得针对敏感属性取值的倾向分数；7.通过逆倾向加权技术构建推荐的损失函数，更新模型参数。本发明从因果影响估计的角度出发，避免从交互数据中构建因果图，以实现推荐的反事实公平性，同时兼顾推荐的准确度，保证推荐内容的质量，为促进推荐的公平性研究提供了有利基础。

Description

一种基于逆倾向加权方法的反事实公平的推荐方法
技术领域
本发明涉及推荐领域，具体来说是一种基于逆倾向加权方法的反事实公平的推荐方法。
技术背景
随着信息量的爆炸性增长，丰富的音视频、商品等等资源给用户带来了信息过载的难题。为了解决这个问题，个性化推荐系统技术受到了广泛研究。通过将挖掘用户的历史记录、语义特征等信息，个性化推荐系统技术建模用户潜在的偏好，并将用户潜在感兴趣的产品资源推荐给用户，提高了用户的浏览体验。
协同过滤的方法是一种被广泛采用的个性化推荐系统技术。具体地，协同过滤方法通过将用户和产品的ID映射到嵌入表征空间，比较用户和产品表征的相似性获得用户和产品的预测交互情况，然后通过缩小预测交互和历史交互的差距来优化嵌入表征空间的参数。近年来，由于用户-产品交互天然地构成一个二部图结构，通过挖掘二部图的用户和产品之间的高阶协同信息，基于图卷积的推荐系统显著提高了性能，成为了主流推荐系统算法之一。然而，传统协同过滤算法在挖掘协同信息时，往往忽略公平性的要求。基于不同的敏感属性取值，用户群体往往可以被分为多个不同的用户分组。不同用户分组往往在交互行为上有着显著的差距，因此得到的推荐结果也有非常明显的区别。这种推荐结果上的区别往往违反了法律和道德意义层面上的公平原则，比如，工作推荐系统会针对资质相似的男性用户和女性用户推荐截然不同的工作，有性别歧视的风险。
现有的以公平性为目标的协同过滤推荐模型大多从数据角度分析用户分组之间的差异；数据角度的公平性往往强烈依赖于公平性的定义，不同的公平性定义之间往往不统一，甚至有很强的冲突；因此，这些数据角度分析的公平并不是最优的公平性分析方式，反而因为强制约束不同的个体或者群体趋于一致，造成了明显的推荐系统的性能损失。
发明内容
本发明为了解决现有技术的不足之处，从因果影响估计的角度出发，避免从复杂的交互数据中构建因果图，提出一种基于逆倾向加权方法的反事实公平的推荐方法，以期能实现推荐的反事实公平性，即用户的敏感属性值变化不会对推荐结果产生影响；同时兼顾推荐的准确度性能，保证推荐内容的质量，从而为改善推荐的公平性提出简单有效的优化方式，为促进推荐系统的公平性研究发展提供有利基础。
本发明为达到上述发明目的，采用如下技术方案：
本发明一种基于逆倾向加权的反事实公平的推荐方法的特点是按如下步骤进行：
步骤1、利用用户和产品的交互记录构建评分矩阵，利用用户的二值敏感属性值构建二值敏感属性矩阵：
令U表示用户集合，且U＝{u1,...,ui,...,uM},ui表示第i个用户，M表示用户总数，1＜i＜M；令V表示产品集合V＝{v1,...,vj,...,vN},vj表示第j个产品，N表示产品总数，1＜j＜N；令r(ui,vj)表示第i个用户ui对第j个产品vj的评分值，则用户对产品的评分矩阵记为R＝{r(ui,vj)}M×N，如果第i个用户ui和第j个产品vj有交互记录，则r(ui,vj)＝1，否则，r(ui,vj)＝0；
Figure BDA0003576414920000021
代表第i个用户ui和第j个产品vj之间的预测的交互关系；根据用户对产品的评分矩阵R，以用户和产品为节点，两者交互记录为边，构建用户-产品二部图G＝U,V,R；
令用户的二值敏感属性矩阵S＝[s1,...,si,...,sM]∈{0,1}，其中，si表示第i个用户ui的敏感属性值；根据敏感属性值，用户集合U被拆分成三个子集，包括：U0(|U0|＝M0)代表敏感属性值为0的用户子集，U1(|U1|＝M1)表示敏感属性值为1的用户子集，Uwos(|Uwos|＝M-M1-M0)代表缺失敏感属性值的用户子集；
步骤2、基于估计二值敏感属性值对推荐结果的因果影响，提出反事实公平性的定义：
步骤2.1、以所有用户的二值敏感属性值为真实情况，利用式(1)表示事实世界中第i个用户ui对第j个产品vj的预测的用户偏好
Figure BDA0003576414920000022
Figure BDA0003576414920000023
以所述事实世界中所有用户的二值敏感属性值的相反值为想象情况，利用式(2)表示预测反事实世界中第i个用户ui对第j个产品vj的预测的用户偏好
Figure BDA0003576414920000024
Figure BDA0003576414920000025
式(1)和式(2)中，
Figure BDA0003576414920000026
代表当第i个用户ui的敏感属性值si被强制赋为“1”时，第i个用户ui对第j个产品vj的潜在预测偏好，
Figure BDA0003576414920000027
代表当第i个用户ui的敏感属性值si被强制赋为“0”时的潜在预测偏好；
步骤2.2、通过对比式(1)和式(2)，反映反事实世界和事实世界预测的用户偏好之间的区别，从而构建如式(3)所示的反事实公平性定义；
当满足式(3)时，事实世界和反事实世界的用户偏好完全相同，即二值敏感属性值对推荐结果没有任何因果影响；
Figure BDA0003576414920000031
式(3)中，p(ui,vj)表示训练数据的数据分布，
Figure BDA0003576414920000032
表示从训练数据中随机采样并计算数学期望；
步骤3、通过预训练的方式训练推荐模型，将用户对产品的评分矩阵R作为输入，对用户历史行为进行编码，获得用户和产品的表征：
步骤3.1、将用户和产品映射到预训练过程对应的用户嵌入表征Ρ＝[p1,...,pi,...,pM]和产品嵌入表征Q＝[q1,...,qj,...,qN]；其中，pi表示第i个用户ui的表征，共有M个用户；qj表示第j个产品vj的表征，共有N个用户；
步骤3.2、以用户的嵌入表征和产品的嵌入表征的内积作为预测的用户偏好
Figure BDA0003576414920000033
步骤3.3、建立如式(4)所示的损失函数
Figure BDA0003576414920000034
Figure BDA0003576414920000035
式(4)中，σ表示sigmoid激活函数；Di表示第i个用户ui的训练数据，包括评分矩阵R的对应的正样本和随机采样获得的负样本，即
Figure BDA0003576414920000036
Figure BDA0003576414920000037
代表第i个用户ui交互过的产品，即第i个用户ui在用户-产品二部图G中的一阶邻居；
Figure BDA0003576414920000038
代表第i个用户ui没有交互过的产品；
Figure BDA0003576414920000039
表示第i个用户ui对第w个产品vw的预测评分，λ||·||2代表L2正则化项；
步骤3.4、通过随机梯度下降法对损失函数
Figure BDA00035764149200000310
进行求解，使得式(4)达到最小，从而得到用户和产品的最优表征矩阵P*和Q*，以完成推荐模型的预训练；
步骤4、构建图卷积模块f以传播特征，并构建传播后的用户特征到敏感属性的分类器d：
步骤4.1、定义总卷积层数为K，当前卷积层为k，初始化k＝0；
初始化第k层图卷积层的用户特征向量
Figure BDA00035764149200000311
为第i个用户ui的预训练表征
Figure BDA00035764149200000312
初始化第k层图卷积层的产品特征向量
Figure BDA0003576414920000041
为第j个产品vj的预训练表征
Figure BDA0003576414920000042
步骤4.2、通过图卷积方式传播用户特征，从而利用式(5)预测第k+1层图卷积层的第i个用户ui的用户特征向量
Figure BDA0003576414920000043
和第j个产品vj的产品特征向量
Figure BDA0003576414920000044
Figure BDA0003576414920000045
式(5)中，AGG代表图卷积操作，
Figure BDA0003576414920000046
代表第j个产品vj在用户-产品二部图G的一阶邻居；步骤4.3、k+1赋值给k后，重复步骤4.2，对用户的节点特征进行传播，直到k＝K为止，从而获得第i个用户ui的第K层表征
Figure BDA0003576414920000047
进而获得所有用户的第K层表征
Figure BDA0003576414920000048
步骤4.4、利用式(6)构建用户的第K层表征
Figure BDA0003576414920000049
到用户敏感属性标签S＝[s1,...,si,...,sM]的分类器d：
Figure BDA00035764149200000410
式(6)中，MLP代表多层感知机，用于将用户的表征映射HK到预测的敏感属性
Figure BDA00035764149200000411
Figure BDA00035764149200000412
表示第i个用户ui的预测的敏感属性；
步骤4.5、利用式(7)建立交叉熵损失函数
Figure BDA00035764149200000413
在不缺失敏感属性标签的用户节点U0∪U1上计算交叉熵损失
Figure BDA00035764149200000414
并最小化交叉熵损失函数
Figure BDA00035764149200000415
以更新优化分类器的参数：
Figure BDA00035764149200000416
式(7)中，Θd表示敏感属性分类器d的可训练参数，Θf表示图卷积模块f的可训练参数；
步骤5、构建图的自监督学习正则化项，以提升敏感属性分类器d的性能：
步骤5.1、在训练过程中随机删除所述用户-产品二部图G中的节点，从而构造损坏点的图
Figure BDA00035764149200000417
在训练过程中随机删除所述用户-产品二部图G的边，从而构造损坏边的图
Figure BDA00035764149200000418
步骤5.2、按照步骤4.1-步骤4.3的过程，对损坏的点图
Figure BDA00035764149200000419
和损坏边的图
Figure BDA00035764149200000420
中用户节点进行特征传播，分别获得用户在损坏的点图
Figure BDA00035764149200000421
中的第K层表征
Figure BDA00035764149200000422
和损坏边的图
Figure BDA00035764149200000423
中的第K层表征
Figure BDA0003576414920000051
Figure BDA0003576414920000052
表示第i个用户ui在损坏的点图
Figure BDA0003576414920000053
中的第K层表征；
Figure BDA0003576414920000054
表示第i个用户ui在损坏边的图
Figure BDA0003576414920000055
中的第K层表征；
步骤5.3、利用式(8)建立自监督学习正则化项
Figure BDA0003576414920000056
Figure BDA0003576414920000057
式(8)中，c(·)表示表征之间的余弦相似度，
Figure BDA0003576414920000058
代表标记函数，当[m≠i]的条件满足时，标记函数值为1，否则值为0；Ωi表示在损坏边的图
Figure BDA0003576414920000059
和损坏点的图
Figure BDA00035764149200000510
之间，第i个用户ui的表征与其他用户表征的相似度，并有：
Figure BDA00035764149200000511
步骤5.4、合并交叉熵损失函数
Figure BDA00035764149200000512
和自监督学习正则化项
Figure BDA00035764149200000513
使得式(9)所示的损失函数最小，以更新优化分类器的参数：
Figure BDA00035764149200000514
式(10)中，β是超参数，用于控制自监督学习正则化项
Figure BDA00035764149200000515
的所占权重；
步骤6、固定训练好的分类器参数，输入所有用户的第K层表征
Figure BDA00035764149200000516
获得针对敏感属性值的倾向分数
Figure BDA00035764149200000517
表示根据用户的历史交互记录，用户的敏感属性被分类器判定为“1”的概率；并获得针对敏感属性值的倾向分数
Figure BDA00035764149200000518
表示根据用户的历史交互记录，用户的敏感属性被分类器判定为“0”的概率；
步骤7、通过逆倾向加权方法估计式(3)中的潜在预测偏好的期望
Figure BDA00035764149200000519
和
Figure BDA00035764149200000520
从而估算出用户的敏感属性对于推荐预测结果的因果效应，如(11)所示；
Figure BDA00035764149200000521
步骤8、基于所述因果效应，提出一种额外的正则化项，来实现最小化因果效应的目标；
步骤8.1、基于额外的正则化项，建立如式(12)所示的损失函数：
Figure BDA0003576414920000061
式(15)中，
Figure BDA0003576414920000062
是额外的正则化项，μ表示控制损失函数和正则化项的平衡的超参数；Ε表示用户的总训练过程对应的嵌入表征向量，且Ε＝[e1,...,ei,...,eM]，ei表示第i个用户ui的总训练过程对应的嵌入表征；T表示用户的总训练过程对应的嵌入表征向量，且T＝[t1,...,tj,...,tN]，tj表示第i个产品vj的总训练过程对应的嵌入表征；
步骤8.2、使用随机梯度下降法对总损失函数
Figure BDA0003576414920000063
进行优化求解，使得式(12)达到最小，以获得最优化的嵌入矩阵E*和T*，从而实现反事实公平的推荐预测。
与已有技术相比，本发明有益效果体现在：
1.本发明采用了反事实公平性的定义，认为个体用户应当得到公平的推荐结果而不被其敏感属性取值所影响。具体地说，本发明假设了个体用户敏感属性改变的情况，估计了个体用户敏感属性改变与否在推荐结果上的影响，并将这种影响降低到最小，以此保证了推荐的公平性。相对于相互冲突的数据性定义，本发明的反事实公平性定义具有解释性强、不对推荐性能产生大的损失等优点；
2.本发明利用了潜在因果框架中的逆倾向加权的方法，模拟了理想的随机对照实验场景，实现了推荐场景下的反事实公平性；
3.本发明在估算逆倾向的过程中，以用户的预训练表征初始化特征，利用图卷积和自监督学习的方式捕捉二部图的结构信息，充分考虑了用户历史交互中的协同信息和二部图结构信息的重要性，使得逆倾向估算的精确性得到提高。
附图说明
图1为本发明基于逆倾向加权方法的反事实公平的推荐方法的流程图。
具体实施方式
本实施例中，一种基于逆倾向加权的反事实公平的推荐方法，如图1所示，是按如下步骤进行：
步骤1、利用用户和产品的交互记录构建评分矩阵，利用用户的二值敏感属性值构建二值敏感属性矩阵：
令U表示用户集合，且U＝{u1,...,ui,...,uM},ui表示第i个用户，M表示用户总数，1＜i＜M；令V表示产品集合V＝{v1,...,vj,...,vN},vj表示第j个产品，N表示产品总数，1＜j＜N；令r(ui,vj)表示第i个用户ui对第j个产品vj的评分值，则用户对产品的评分矩阵记为R＝{r(ui,vj)}M×N，如果第i个用户ui和第j个产品vj有交互记录，则r(ui,vj)＝1，否则，r(ui,vj)＝0；
Figure BDA0003576414920000071
代表第i个用户ui和第j个产品vj之间的预测的交互关系；根据用户对产品的评分矩阵R，以用户和产品为节点，两者交互记录为边，构建用户-产品二部图G＝U,V,R；
令用户的二值敏感属性矩阵S＝[s1,...,si,...,sM]∈{0,1}，其中，si表示第i个用户ui的敏感属性值；根据敏感属性值，用户集合U被拆分成三个子集，包括：U0(|U0|＝M0)代表敏感属性值为0的用户子集，U1(|U1|＝M1)表示敏感属性值为1的用户子集，Uwos(|Uwos|＝M-M1-M0)代表缺失敏感属性值的用户子集；
步骤2、基于估计二值敏感属性值对推荐结果的因果影响，提出反事实公平性的定义：
步骤2.1、以所有用户的二值敏感属性值为真实情况，利用式(1)表示事实世界中第i个用户ui对第j个产品vj的预测的用户偏好
Figure BDA0003576414920000072
Figure BDA0003576414920000073
以所述事实世界中所有用户的二值敏感属性值的相反值为想象情况，利用式(2)表示预测反事实世界中第i个用户ui对第j个产品vj的预测的用户偏好
Figure BDA0003576414920000074
Figure BDA0003576414920000075
式(1)和式(2)中，
Figure BDA0003576414920000076
代表当第i个用户ui的敏感属性值si被强制赋为“1”时，第i个用户ui对第j个产品vj的潜在预测偏好，
Figure BDA0003576414920000077
代表当第i个用户ui的敏感属性值si被强制赋为“0”时的潜在预测偏好；
步骤2.2、通过对比式(1)和式(2)，反映反事实世界和事实世界预测的用户偏好之间的区别，从而构建如式(3)所示的反事实公平性定义；
当满足式(3)时，事实世界和反事实世界的用户偏好完全相同，即二值敏感属性值对推荐结果没有任何因果影响；
Figure BDA0003576414920000081
式(3)中，p(ui,vj)表示训练数据的数据分布，
Figure BDA0003576414920000082
表示从训练数据中随机采样并计算数学期望；
步骤3、通过预训练的方式训练推荐模型，将用户对产品的评分矩阵R作为输入，对用户历史行为进行编码，获得用户和产品的表征：
步骤3.1、将用户和产品映射到预训练过程对应的用户嵌入表征Ρ＝[p1,...,pi,...,pM]和产品嵌入表征Q＝[q1,...,qj,...,qN]；其中，pi表示第i个用户ui的表征，共有M个用户；qj表示第j个产品vj的表征，共有N个用户；
步骤3.2、以用户的嵌入表征和产品的嵌入表征的内积作为预测的用户偏好
Figure BDA0003576414920000083
步骤3.3、建立如式(4)所示的损失函数
Figure BDA0003576414920000084
Figure BDA0003576414920000085
式(4)中，σ表示sigmoid激活函数；Di表示第i个用户ui的训练数据，包括评分矩阵R的对应的正样本和随机采样获得的负样本，即
Figure BDA0003576414920000086
Figure BDA0003576414920000087
代表第i个用户ui交互过的产品，即第i个用户ui在用户-产品二部图G中的一阶邻居；
Figure BDA0003576414920000088
代表第i个用户ui没有交互过的产品；
Figure BDA0003576414920000089
表示第i个用户ui对第w个产品vw的预测评分，λ||·||2代表L2正则化项，用来防止过拟合；
步骤3.4、通过随机梯度下降法对损失函数
Figure BDA00035764149200000810
进行求解，使得式(4)达到最小，从而得到用户和产品的最优表征矩阵P*和Q*，以完成推荐模型的预训练；
步骤4、构建图卷积模块f以传播特征，并构建传播后的用户特征到敏感属性的分类器d：
步骤4.1、定义总卷积层数为K，当前卷积层为k，初始化k＝0；
初始化第k层图卷积层的用户特征向量
Figure BDA00035764149200000811
为第i个用户ui的预训练表征
Figure BDA00035764149200000812
初始化第k层图卷积层的产品特征向量
Figure BDA0003576414920000091
为第j个产品vj的预训练表征
Figure BDA0003576414920000092
步骤4.2、通过图卷积方式传播用户特征，从而利用式(5)预测第k+1层图卷积层的第i个用户ui的用户特征向量
Figure BDA0003576414920000093
和第j个产品vj的产品特征向量
Figure BDA0003576414920000094
Figure BDA0003576414920000095
式(5)中，AGG代表图卷积操作，
Figure BDA0003576414920000096
代表第j个产品vj在用户-产品二部图G的一阶邻居；
步骤4.3、k+1赋值给k后，重复步骤4.2，对用户的节点特征进行传播，直到k＝K为止；从而获得第i个用户ui的第K层表征
Figure BDA0003576414920000097
进而获得所有用户的第K层表征
Figure BDA0003576414920000098
其中，从初始化的第0层特征向量进行图卷积传播，到获得所有用户第K层表征的全部卷积过程可用
Figure BDA0003576414920000099
来表示；
步骤4.4、利用式(6)构建用户的第K层表征
Figure BDA00035764149200000910
到用户敏感属性标签S＝[s1,...,si,...,sM]的分类器d：
Figure BDA00035764149200000911
式(6)中，MLP代表多层感知机，用于将用户的表征映射HK到预测的敏感属性
Figure BDA00035764149200000912
Figure BDA00035764149200000913
表示第i个用户ui的预测的敏感属性；
步骤4.5、利用式(7)建立交叉熵损失函数
Figure BDA00035764149200000914
在不缺失敏感属性标签的用户节点U0∪U1上计算交叉熵损失
Figure BDA00035764149200000915
并最小化交叉熵损失函数
Figure BDA00035764149200000916
以更新优化分类器的参数：
Figure BDA00035764149200000917
式(7)中，Θd表示敏感属性分类器d的可训练参数，Θf表示图卷积模块f的可训练参数；
步骤5、构建图的自监督学习正则化项，以提升敏感属性分类器d的性能：
步骤5.1、在训练过程中随机删除所述用户-产品二部图G中的节点，从而构造损坏点的图
Figure BDA00035764149200000918
在训练过程中随机删除所述用户-产品二部图G的边，从而构造损坏边的图
Figure BDA00035764149200000919
步骤5.2、按照步骤4.1-步骤4.3的过程，对损坏的点图
Figure BDA00035764149200000920
和损坏边的图
Figure BDA00035764149200000921
中用户节点进行特征传播，分别获得用户在损坏的点图
Figure BDA0003576414920000101
中的第K层表征
Figure BDA0003576414920000102
和损坏边的图
Figure BDA0003576414920000103
中的第K层表征
Figure BDA0003576414920000104
Figure BDA0003576414920000105
表示第i个用户ui在损坏的点图
Figure BDA0003576414920000106
中的第K层表征；
Figure BDA0003576414920000107
表示第i个用户ui在损坏边的图
Figure BDA0003576414920000108
中的第K层表征；
步骤5.3、利用式(8)建立自监督学习正则化项
Figure BDA0003576414920000109
Figure BDA00035764149200001010
式(8)中，c(·)表示表征之间的余弦相似度，
Figure BDA00035764149200001011
代表标记函数，当[m≠i]的条件满足时，标记函数值为1，否则值为0；Ωi表示在损坏边的图
Figure BDA00035764149200001012
和损坏点的图
Figure BDA00035764149200001013
之间，第i个用户ui的表征与其他用户表征的相似度，并有：
Figure BDA00035764149200001014
步骤5.4、合并交叉熵损失函数
Figure BDA00035764149200001015
和自监督学习正则化项
Figure BDA00035764149200001016
使得式(9)所示的损失函数最小，以更新优化分类器的参数：
Figure BDA00035764149200001017
式(10)中，β是超参数，用于控制自监督学习正则化项
Figure BDA00035764149200001018
的所占权重；
步骤6、固定训练好的分类器参数，输入所有用户的第K层表征
Figure BDA00035764149200001019
获得针对敏感属性值的倾向分数
Figure BDA00035764149200001020
表示根据用户的历史交互记录，用户的敏感属性被分类器判定为“1”的概率；并获得针对敏感属性值的倾向分数
Figure BDA00035764149200001021
表示根据用户的历史交互记录，用户的敏感属性被分类器判定为“0”的概率；
步骤7、通过逆倾向加权方法估计式(3)中的潜在预测偏好的期望
Figure BDA00035764149200001022
和
Figure BDA00035764149200001023
估算出用户的敏感属性对于推荐预测结果的因果效应；
步骤7.1、根据贝叶斯法则
Figure BDA00035764149200001024
潜在预测偏好的期望
Figure BDA00035764149200001025
和
Figure BDA00035764149200001026
可转化为：
Figure BDA0003576414920000111
Figure BDA0003576414920000112
步骤7.2、用敏感属性值为1的用户子集U1(|U1|＝M1)，占有敏感属性的用户子集U1+U0(|U1+U0|＝M1+M0)的比例来估计p(si＝1)的值
Figure BDA0003576414920000113
用敏感属性值为0的用户子集U0(|U0|＝M0)占有敏感属性的用户子集U1+U0(|U1+U0|＝M1+M0)的比例来估计p(si＝0)的值
Figure BDA0003576414920000114
步骤7.3、因为用户的敏感属性只与用户有关，与对应产品无关，因此，使用根据针对敏感属性值的倾向分数
Figure BDA0003576414920000115
和
Figure BDA0003576414920000116
估计式(10)和式(11)中的条件概率p(si＝1|ui,vj)和p(si＝0|ui,vj)；则潜在预测偏好的期望
Figure BDA0003576414920000117
和
Figure BDA0003576414920000118
可以被估测为：
Figure BDA0003576414920000119
Figure BDA00035764149200001110
步骤7.4、基于估测的潜在预测偏好的期望，用户的敏感属性对于推荐预测结果的因果效应可以被表示为：
Figure BDA00035764149200001111
步骤8、基于式(14)的逆倾向加权方法估计的敏感属性对于推荐预测结果的因果效应，提出一种额外的正则化项，来实现最小化因果效应的目标；
步骤8.1、基于额外的正则化项，建立如式(15)所示的损失函数：
Figure BDA0003576414920000121
式(15)使得推荐系统的预测结果同时满足拟合用户和产品之间的真实评分的要求和反事实公平性的要求；式(15)中，
Figure BDA0003576414920000122
是额外的正则化项，最小化该正则化项可以使得式(14)最小，即满足敏感属性对于推荐结果的因果效应降低到最低的约束，以保证反事实的公平性。μ表示控制损失函数和正则化项的平衡的超参数；Ε表示用户的总训练过程对应的嵌入表征向量，且Ε＝[e1,...,ei,...,eM]，ei表示第i个用户ui的总训练过程对应的嵌入表征；T表示用户的总训练过程对应的嵌入表征向量，且T＝[t1,...,tj,...,tN]，tj表示第i个产品vj的总训练过程对应的嵌入表征。
步骤8.2、使用随机梯度下降法对总损失函数
Figure BDA0003576414920000123
进行优化求解，使得式(15)达到最小，以获得最优化的嵌入矩阵E*和T*；通过引入一个额外的正则化项，式(15)同时满足了推荐系统的精度需求和用户敏感属性对推荐系统的预测结果不存在因果效应的需求，从而实现反事实公平的推荐预测。
实施例：
为了验证本方法的有效性，本发明采用推荐系统公平性领域常用的公开数据集：Movielens-1M。本发明采用被广泛采用的HR和NDCG作为推荐系统的性能评价指标，越高的结果代表越优秀的推荐系统性能；同时，采用Demographic Parity原则、EqualOpportunity原则和Counterfactual Fairness原则在TopK产品的基础上分别定义了新的公平性评价指标DP@K,EO@K以及ATE指标。公平性指标值越低，代表推荐算法越公平。
表1本发明方法和对比方法在Movielens-1M上推荐性能结果
Figure BDA0003576414920000131
表2本发明方法和对比方法在Movielens-1M上推荐公平性结果
Figure BDA0003576414920000132
如表1所示，相比其他公平性方法(FairGo，FairGNN)，本发明(CFair-re、CFair-dn、CFair-dual)在Movielens-1M数据集上造成了更小的推荐系统的性能结果损失；如表2所示，本发明在Movielens-1M数据集上，取得了最优秀的公平性结果；实验结果充分验证了本发明的有效性。

Claims (1)

1.一种基于逆倾向加权的反事实公平的推荐方法，其特征在于，是按如下步骤进行：
步骤1、利用用户和产品的交互记录构建评分矩阵，利用用户的二值敏感属性值构建二值敏感属性矩阵：
令U表示用户集合，且U＝{u1,...,ui,...,uM},ui表示第i个用户，M表示用户总数，1＜i＜M；令V表示产品集合V＝{v1,...,vj,...,vN},vj表示第j个产品，N表示产品总数，1＜j＜N；令r(ui,vj)表示第i个用户ui对第j个产品vj的评分值，则用户对产品的评分矩阵记为R＝{r(ui,vj)}M×N，如果第i个用户ui和第j个产品vj有交互记录，则r(ui,vj)＝1，否则，r(ui,vj)＝0；
Figure FDA0003576414910000011
代表第i个用户ui和第j个产品vj之间的预测的交互关系；根据用户对产品的评分矩阵R，以用户和产品为节点，两者交互记录为边，构建用户-产品二部图G＝<U,V,R>；
令用户的二值敏感属性矩阵S＝[s1,...,si,...,sM]∈{0,1}，其中，si表示第i个用户ui的敏感属性值；根据敏感属性值，用户集合U被拆分成三个子集，包括：U0(|U0|＝M0)代表敏感属性值为0的用户子集，U1(|U1|＝M1)表示敏感属性值为1的用户子集，Uwos(|Uwos|＝M-M1-M0)代表缺失敏感属性值的用户子集；
步骤2、基于估计二值敏感属性值对推荐结果的因果影响，提出反事实公平性的定义：
步骤2.1、以所有用户的二值敏感属性值为真实情况，利用式(1)表示事实世界中第i个用户ui对第j个产品vj的预测的用户偏好
Figure FDA0003576414910000012
Figure FDA0003576414910000013
以所述事实世界中所有用户的二值敏感属性值的相反值为想象情况，利用式(2)表示预测反事实世界中第i个用户ui对第j个产品vj的预测的用户偏好
Figure FDA0003576414910000014
Figure FDA0003576414910000015
式(1)和式(2)中，
Figure FDA0003576414910000016
代表当第i个用户ui的敏感属性值si被强制赋为“1”时，第i个用户ui对第j个产品vj的潜在预测偏好，
Figure FDA0003576414910000017
代表当第i个用户ui的敏感属性值si被强制赋为“0”时的潜在预测偏好；
步骤2.2、通过对比式(1)和式(2)，反映反事实世界和事实世界预测的用户偏好之间的区别，从而构建如式(3)所示的反事实公平性定义；
当满足式(3)时，事实世界和反事实世界的用户偏好完全相同，即二值敏感属性值对推荐结果没有任何因果影响；
Figure FDA0003576414910000021
式(3)中，p(ui,vj)表示训练数据的数据分布，
Figure FDA0003576414910000022
表示从训练数据中随机采样并计算数学期望；
步骤3、通过预训练的方式训练推荐模型，将用户对产品的评分矩阵R作为输入，对用户历史行为进行编码，获得用户和产品的表征：
步骤3.1、将用户和产品映射到预训练过程对应的用户嵌入表征Ρ＝[p1,...,pi,...,pM]和产品嵌入表征Q＝[q1,...,qj,...,qN]；其中，pi表示第i个用户ui的表征，共有M个用户；qj表示第j个产品vj的表征，共有N个用户；
步骤3.2、以用户的嵌入表征和产品的嵌入表征的内积作为预测的用户偏好
Figure FDA0003576414910000023
步骤3.3、建立如式(4)所示的损失函数
Figure FDA0003576414910000024
Figure FDA0003576414910000025
式(4)中，σ表示sigmoid激活函数；Di表示第i个用户ui的训练数据，包括评分矩阵R的对应的正样本和随机采样获得的负样本，即
Figure FDA0003576414910000026
Figure FDA0003576414910000027
代表第i个用户ui交互过的产品，即第i个用户ui在用户-产品二部图G中的一阶邻居；
Figure FDA0003576414910000028
代表第i个用户ui没有交互过的产品；
Figure FDA0003576414910000029
表示第i个用户ui对第w个产品vw的预测评分，λ||·||2代表L2正则化项；
步骤3.4、通过随机梯度下降法对损失函数
Figure FDA00035764149100000210
进行求解，使得式(4)达到最小，从而得到用户和产品的最优表征矩阵P*和Q*，以完成推荐模型的预训练；
步骤4、构建图卷积模块f以传播特征，并构建传播后的用户特征到敏感属性的分类器d：
步骤4.1、定义总卷积层数为K，当前卷积层为k，初始化k＝0；
初始化第k层图卷积层的用户特征向量
Figure FDA0003576414910000031
为第i个用户ui的预训练表征
Figure FDA0003576414910000032
初始化第k层图卷积层的产品特征向量
Figure FDA0003576414910000033
为第j个产品vj的预训练表征
Figure FDA0003576414910000034
步骤4.2、通过图卷积方式传播用户特征，从而利用式(5)预测第k+1层图卷积层的第i个用户ui的用户特征向量
Figure FDA0003576414910000035
和第j个产品vj的产品特征向量
Figure FDA0003576414910000036
Figure FDA0003576414910000037
式(5)中，AGG代表图卷积操作，
Figure FDA0003576414910000038
代表第j个产品vj在用户-产品二部图G的一阶邻居；
步骤4.3、k+1赋值给k后，重复步骤4.2，对用户的节点特征进行传播，直到k＝K为止，从而获得第i个用户ui的第K层表征
Figure FDA0003576414910000039
进而获得所有用户的第K层表征
Figure FDA00035764149100000310
步骤4.4、利用式(6)构建用户的第K层表征
Figure FDA00035764149100000311
到用户敏感属性标签S＝[s1,...,si,...,sM]的分类器d：
Figure FDA00035764149100000312
式(6)中，MLP代表多层感知机，用于将用户的表征映射HK到预测的敏感属性
Figure FDA00035764149100000313
Figure FDA00035764149100000314
表示第i个用户ui的预测的敏感属性；
步骤4.5、利用式(7)建立交叉熵损失函数
Figure FDA00035764149100000315
在不缺失敏感属性标签的用户节点U0∪U1上计算交叉熵损失
Figure FDA00035764149100000316
并最小化交叉熵损失函数
Figure FDA00035764149100000317
以更新优化分类器的参数：
Figure FDA00035764149100000318
式(7)中，Θd表示敏感属性分类器d的可训练参数，Θf表示图卷积模块f的可训练参数；
步骤5、构建图的自监督学习正则化项，以提升敏感属性分类器d的性能：
步骤5.1、在训练过程中随机删除所述用户-产品二部图G中的节点，从而构造损坏点的图
Figure FDA00035764149100000319
在训练过程中随机删除所述用户-产品二部图G的边，从而构造损坏边的图
Figure FDA00035764149100000320
步骤5.2、按照步骤4.1-步骤4.3的过程，对损坏的点图
Figure FDA00035764149100000321
和损坏边的图
Figure FDA00035764149100000322
中用户节点进行特征传播，分别获得用户在损坏的点图
Figure FDA0003576414910000041
中的第K层表征
Figure FDA0003576414910000042
和损坏边的图
Figure FDA0003576414910000043
中的第K层表征
Figure FDA0003576414910000044
Figure FDA0003576414910000045
表示第i个用户ui在损坏的点图
Figure FDA0003576414910000046
中的第K层表征；
Figure FDA0003576414910000047
表示第i个用户ui在损坏边的图
Figure FDA0003576414910000048
中的第K层表征；
步骤5.3、利用式(8)建立自监督学习正则化项
Figure FDA0003576414910000049
Figure FDA00035764149100000410
式(8)中，c(·)表示表征之间的余弦相似度，
Figure FDA00035764149100000411
代表标记函数，当[m≠i]的条件满足时，标记函数值为1，否则值为0；Ωi表示在损坏边的图
Figure FDA00035764149100000412
和损坏点的图
Figure FDA00035764149100000413
之间，第i个用户ui的表征与其他用户表征的相似度，并有：
Figure FDA00035764149100000414
步骤5.4、合并交叉熵损失函数
Figure FDA00035764149100000415
和自监督学习正则化项
Figure FDA00035764149100000416
使得式(9)所示的损失函数最小，以更新优化分类器的参数：
Figure FDA00035764149100000417
式(10)中，β是超参数，用于控制自监督学习正则化项
Figure FDA00035764149100000418
的所占权重；
步骤6、固定训练好的分类器参数，输入所有用户的第K层表征
Figure FDA00035764149100000419
获得针对敏感属性值的倾向分数
Figure FDA00035764149100000420
表示根据用户的历史交互记录，用户的敏感属性被分类器判定为“1”的概率；并获得针对敏感属性值的倾向分数
Figure FDA00035764149100000421
表示根据用户的历史交互记录，用户的敏感属性被分类器判定为“0”的概率；
步骤7、通过逆倾向加权方法估计式(3)中的潜在预测偏好的期望
Figure FDA00035764149100000422
和
Figure FDA00035764149100000423
从而估算出用户的敏感属性对于推荐预测结果的因果效应，如(11)所示；
Figure FDA00035764149100000424
步骤8、基于所述因果效应，提出一种额外的正则化项，来实现最小化因果效应的目标；
步骤8.1、基于额外的正则化项，建立如式(12)所示的损失函数：
Figure FDA0003576414910000051
式(15)中，
Figure FDA0003576414910000052
是额外的正则化项，μ表示控制损失函数和正则化项的平衡的超参数；Ε表示用户的总训练过程对应的嵌入表征向量，且Ε＝[e1,...,ei,...,eM]，ei表示第i个用户ui的总训练过程对应的嵌入表征；T表示用户的总训练过程对应的嵌入表征向量，且T＝[t1,...,tj,...,tN]，tj表示第i个产品vj的总训练过程对应的嵌入表征；
步骤8.2、使用随机梯度下降法对总损失函数
Figure FDA0003576414910000053
进行优化求解，使得式(12)达到最小，以获得最优化的嵌入矩阵E*和T*，从而实现反事实公平的推荐预测。
CN202210345565.8A 2022-03-31 2022-03-31 一种基于逆倾向加权方法的反事实公平的推荐方法 Pending CN114936890A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210345565.8A CN114936890A (zh) 2022-03-31 2022-03-31 一种基于逆倾向加权方法的反事实公平的推荐方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210345565.8A CN114936890A (zh) 2022-03-31 2022-03-31 一种基于逆倾向加权方法的反事实公平的推荐方法

Publications (1)

Publication Number Publication Date
CN114936890A true CN114936890A (zh) 2022-08-23

Family

ID=82862374

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210345565.8A Pending CN114936890A (zh) 2022-03-31 2022-03-31 一种基于逆倾向加权方法的反事实公平的推荐方法

Country Status (1)

Country Link
CN (1) CN114936890A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117421661A (zh) * 2023-12-19 2024-01-19 南开大学 一种基于反事实增强的图卷积网络的群组推荐方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117421661A (zh) * 2023-12-19 2024-01-19 南开大学 一种基于反事实增强的图卷积网络的群组推荐方法
CN117421661B (zh) * 2023-12-19 2024-02-13 南开大学 一种基于反事实增强的图卷积网络的群组推荐方法

Similar Documents

Publication Publication Date Title
CN108171209B (zh) 一种基于卷积神经网络进行度量学习的人脸年龄估计方法
CN110717098B (zh) 基于元路径的上下文感知用户建模方法、序列推荐方法
CN108132968A (zh) 网络文本与图像中关联语义基元的弱监督学习方法
CN108038492A (zh) 一种基于深度学习的感性词向量及情感分类方法
CN116261731A (zh) 基于多跳注意力图神经网络的关系学习方法与系统
CN111797321A (zh) 一种面向不同场景的个性化知识推荐方法及系统
CN112287170B (zh) 一种基于多模态联合学习的短视频分类方法及装置
CN111241992B (zh) 人脸识别模型构建方法、识别方法、装置、设备及存储介质
CN111723285A (zh) 一种基于评分的深度谱卷积协同过滤推荐方法
CN112861945A (zh) 一种多模态融合谎言检测方法
CN113344053A (zh) 一种基于试题异构图表征与学习者嵌入的知识追踪方法
CN115270004B (zh) 一种基于场因子分解的教育资源推荐方法
CN111949885A (zh) 一种面向旅游景点的个性化推荐方法
CN114298851A (zh) 基于图表征学习的网络用户社交行为分析方法、装置及存储介质
CN114298122A (zh) 数据分类方法、装置、设备、存储介质及计算机程序产品
CN113628059A (zh) 一种基于多层图注意力网络的关联用户识别方法及装置
CN115588122A (zh) 一种基于多模态特征融合的新闻分类方法
CN114692732A (zh) 一种在线标签更新的方法、系统、装置及存储介质
CN112749737A (zh) 图像分类方法及装置、电子设备、存储介质
CN114997476A (zh) 一种融合商品关联关系的商品预测方法
CN113330462A (zh) 使用软最近邻损失的神经网络训练
CN113297936B (zh) 一种基于局部图卷积网络的排球群体行为识别方法
CN114936890A (zh) 一种基于逆倾向加权方法的反事实公平的推荐方法
CN116701706B (zh) 一种基于人工智能的数据处理方法、装置、设备及介质
CN113609337A (zh) 图神经网络的预训练方法、训练方法、装置、设备及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination