CN117112905A - 基于双侧对抗学习的敏感属性过滤公平性推荐方法与装置 - Google Patents

基于双侧对抗学习的敏感属性过滤公平性推荐方法与装置 Download PDF

Info

Publication number
CN117112905A
CN117112905A CN202311127004.1A CN202311127004A CN117112905A CN 117112905 A CN117112905 A CN 117112905A CN 202311127004 A CN202311127004 A CN 202311127004A CN 117112905 A CN117112905 A CN 117112905A
Authority
CN
China
Prior art keywords
user
item
sensitive
score
fairness
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202311127004.1A
Other languages
English (en)
Inventor
刘生昊
张雨
邓贤君
易源源
周欣蕾
杨天若
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huazhong University of Science and Technology
Original Assignee
Huazhong University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huazhong University of Science and Technology filed Critical Huazhong University of Science and Technology
Priority to CN202311127004.1A priority Critical patent/CN117112905A/zh
Publication of CN117112905A publication Critical patent/CN117112905A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/953—Querying, e.g. by the use of web search engines
    • G06F16/9535—Search customisation based on user profiles and personalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0475—Generative networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/094—Adversarial learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G06Q30/0601—Electronic shopping [e-shopping]
    • G06Q30/0631—Item recommendations

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • Business, Economics & Management (AREA)
  • Databases & Information Systems (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Finance (AREA)
  • Accounting & Taxation (AREA)
  • General Business, Economics & Management (AREA)
  • Strategic Management (AREA)
  • Marketing (AREA)
  • Economics (AREA)
  • Development Economics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开一种基于双侧对抗学习的敏感属性过滤公平性推荐方法：根据用户、物品信息及其之间的交互关系，确定推荐部分模型，使用经典推荐算法来预测用户对物品的评分；根据用户特征和物品评分，设计用户侧的对抗学习网络，从用户侧过滤敏感信息；根据现有数据集中物品和用户的敏感特征关系的统计信息，建立用户与物品敏感信息的潜在关联，从物品侧过滤敏感信息；结合用户评分与物品信息从用户‑物品侧过滤敏感信息。本发明方法在去除用户敏感信息方面有明显优势，不仅从多个角度提升了推荐公平性，并且在推荐准确性方面表现最佳，提升了推荐效果。本发明还提供了相应的基于双侧对抗学习的敏感属性过滤公平性推荐装置。

Description

基于双侧对抗学习的敏感属性过滤公平性推荐方法与装置
技术领域
本发明属于推荐系统领域，更具体地，涉及一种基于双侧对抗学习的敏感属性过滤公平性推荐方法与装置。
背景技术
推荐系统已成为我们日常生活中不可分割的一部分，随之而来的是推荐中的公平性问题引起了越来越多的关注，并成为研究人员关注的焦点，例如用户歧视问题。歧视性的推荐往往是基于用户的敏感信息而不是偏好来推荐物品。例如，由于性别偏见，女性用户可能会被推荐低收入的工作，而男性用户则可能会被推荐高收入的工作。为了解决这个问题，过滤推荐过程中的敏感信息作为减轻歧视的重要策略被提出。该方法的核心思想是去除用户的敏感信息，并获得一个无偏的用户表示用于预测他们对物品的偏好。
近年来，一些研究致力于通过隐藏用户的敏感信息来生成公平的推荐列表。其中一些研究使用对抗学习框架从用户表示中去除敏感信息，以获得一个无偏的用户表示来预测他们对物品的偏好。这样，推荐系统就可以更加公正地推荐物品，避免歧视性推荐的出现。另一种解决方案是正交正则化，它可以正交化有偏和无偏的用户表示，从而从无偏的表示中去除用户的敏感信息。最近有研究提出了一种基于提示的方法，它可以灵活地选择用户的多个敏感属性，并在学习的用户表示中针对不同的属性组合确保公平性，从而根据用户的具体需求实现推荐建模。尽管这些方法对提高公平性表现非常有效，但它们仅考虑从用户侧过滤敏感信息，而忽略了物品侧的影响。
事实上，物品的信息也可能与用户的敏感信息相关联，这种关联可能源于用户与物品的交互。例如，基于物品的内容信息，用户的性别信息可以很容易被预测出来。在一个电影推荐场景下，电影通常有多个属性，如流派、发行年份等。同样，用户也有一些敏感属性，如性别、年龄等。一些电影属性可能与用户的敏感属性相关联。例如，浪漫电影更受女性用户的喜爱，而动作电影更受男性用户的欢迎，从而建立了电影类型和用户性别之间的相关性。类似地，物品的其他属性也可能与用户的敏感属性相关联。
如果我们忽略物品和用户敏感信息之间的广泛相关性，仅从用户侧过滤敏感信息，仍然会导致推荐中的歧视。例如，与女性更相关的浪漫和家庭类电影可能频繁出现在女性用户的推荐列表中，而男性向的动作和犯罪电影可能更频繁地出现在男性用户的推荐列表中。这意味着性别信息可以很容易地从推荐列表中推断出来。因此，关注物品和用户之间的潜在相关性，并考虑物品侧的敏感信息是十分有必要的。
发明内容
针对现有技术的以上缺陷或改进需求，本发明提供了一种基于双侧对抗学习的敏感属性过滤公平性推荐方法，其目的在于提升针对用户敏感信息的推荐公平性。在本文中，我们提出了一种基于过滤用户端和物品端敏感信息解决歧视问题的公平感知推荐算法。该算法由两个主要部分组成：推荐部分和对抗部分。在推荐部分，用户和物品信息被嵌入，使用经典推荐算法来预测用户对物品的评分。对抗部分旨在去除敏感信息，包含三种不同的鉴别器。这些鉴别器旨在从三个不同的方面去除敏感信息：用户端、物品端和用户物品端。
为实现上述目的，按照本发明的一个方面，提供了一种基于双侧对抗学习的敏感属性过滤公平性推荐方法，包括以下步骤：
(1)根据用户、物品信息及其之间的交互关系，确定推荐部分模型，使用经典推荐算法来预测用户对物品的评分；
(2)根据用户特征和物品评分，设计用户侧的对抗学习网络，从用户侧过滤敏感信息；
(3)根据现有数据集中物品和用户的敏感特征关系的统计信息，建立用户与物品敏感信息的潜在关联，从物品侧过滤敏感信息；
(4)结合用户评分与物品信息从用户-物品侧过滤敏感信息；
(5)采用多任务学习的方式同时进行模型的推荐部分和对抗部分的训练与更新。
本发明的一个实施例中，所述步骤(1)具体包括如下子步骤：
(1.1)根据用户与物品的特征信息，通过嵌入层与全连接层得到用户嵌入与物品嵌入；设U表示用户集合，I表示物品集合；通过嵌入层和全连接层生成用户嵌入eu和物品嵌入ei，具体如下所示:
其中，P、Q分别表示用户u和物品i的属性数量，是用户u的属性分类p∈{1,…,P}的dp维的独热向量，/>是物品i的分类内容q∈{1,…,Q}的dq维的独热向量，/>是用户和物品属性p的嵌入矩阵，WU、WI和bU、bI是用于用户和物品的全连接层的参数；
(1.2)用户嵌入与物品嵌入串联后，经过一个由N层全连接神经网络构成的决策层与输出层得到预测结果，该网络表示为：
…
其中，Wn和bn是第n个决策层的权重矩阵和偏置向量，WO和bO是输出层的权重矩阵和偏置向量；δ和σ分别表示决策层和输出层的激活函数；是用户u对物品i的预测评分；
(1.3)对于用户u，推荐部分构成对于推荐的损失通过交叉熵函数计算，表示为：
其中，Hu是用户u所评分的物品集，yui是用户u对物品i的真实评分。
本发明的一个实施例中，所述步骤(2)包括如下子步骤：
(2.1)为了从用户表示中过滤掉敏感信息，设计一个判别器DI与推荐器相对抗；判别器DI基于用户表示推断用户的敏感信息；因为评分反映了用户的偏好，所以用户对物品的实际评分yui被用作外部信息来辅助预测；并对这些评分进行归一化处理；
该部分鉴别器DI由一层全连接和一个输出层构成，该网络表示为：
(2.2)该鉴别器损失通过交叉熵函数计算，公式为：
其中C是敏感特征集合，是用户u的特征c的值，/>是用户u的特征c的预测值。
本发明的一个实施例中，所述步骤(2.1)具体包括如下子步骤：
当用户给出的最高评分为S时，用户u对物品i的归一化评分rui定义为：
其中，yui是用户u对物品i，min(yu)是用户u所给出的最低分，max(yu)是用户u所给出的最高分，将评分区间映射至[1/S,1]。
本发明的一个实施例中，所述步骤(3)具体包括如下子步骤：
(3.1)为了过滤与物品相关的敏感信息，设计一个判别器DM，与推荐器相对抗，判别器DM基于物品表示推断物品的偏向性，物品的真实偏向由其属性决定，计算物品i的偏向得分s如下：
其中，Q是考虑的物品的属性集合，是物品i的敏感属性q具有的所有类别的集合，/>是其中具有敏感属性“A”偏向的类别集合，根据数据集中物品属性的自身分布确定阈值[t1,t2,…,tn]，分数降落在区间[0,t1),[t1,t2),…，[tn,|Q|]中的任一个，根据所属区间范围划分物品的真实敏感属性偏向ai。
(3.2)该部分鉴别器DM由一层全连接和一个输出层构成，该网络表示为：
其中，是预测的物品i的敏感属性偏向，该鉴别器损失/>通过交叉熵函数计算，公式为：
本发明的一个实施例中，所述步骤(4)具体包括如下子步骤：
(4.1)除了用户表示直接反映用户属性特征之外，用户对物品的评分以及被用户评分的物品也揭示了用户的敏感信息，因此引入一个判别器DG，与推荐器相对抗，旨在从用户和物品的评分中去除用户的敏感信息；该判别器基于用户对物品的评分和物品表示来推断用户的敏感属性；其中，评分信息包括物品的真实评分和预测评分，物品表示包括单个物品表示ds与物品的融合表示dt；
判别器DG由一个用于评分输入的全连接层、一个用于物品输入的全连接层和一个输出层组成，表示为：
其中是用户u的敏感信息推断结果；
(4.2)该鉴别器损失通过交叉熵函数计算，公式为：
其中C是敏感特征集合，是用户u的特征c的值，/>是用户u的特征c的预测值。
本发明的一个实施例中，所述步骤(4.1)具体包括如下子步骤：
(4.1.1)单个物品表示ds的计算公式如下：
ds＝wuiei
其中,wui是物品i对用户u的权重；评分直接反映了用户对物品的偏好，用户喜欢的物品将更大程度地决定用户的偏好，评分较高的物品将比评分较低的物品对用户偏好产生更大的影响，因此在这里使用评分作为权重：
wui＝yui。
(4.1.2)物品融合表示dt的计算公式如下：
其中N是用户u评分的物品数量，wui是物品i对用户u的权重；评分直接反映了用户对物品的偏好，用户喜欢的物品将更大程度地决定用户的偏好，评分较高的物品将比评分较低的物品对用户偏好产生更大的影响，因此在这里使用评分作为权重：
wui＝yui。
本发明的一个实施例中，所述步骤(5)具体包括如下子步骤：
(5.1)为了全面考虑多方面的公平性和敏感信息的去除，对抗部分的总损失lD描述如下：
其中λ，γ和μ是超参数，用于灵活控制损失函数；
(5.2)在元学习推荐系统框架上实现元学习推荐系统，通过一系列的任务更新元模型，从而输出的模型将更快地适应新的用户任务的微调；基于MAML的元学习推荐框架将通过多个用户任务训练一个元模型，以输出用户模型的初始化参数；框架分两个步骤进行梯度更新，分别为内循环与外循环；在内循环中，以训练多个用户的模型为目标，根据用户任务的支持集计算损失并进行用户模型更新；在外循环中，以训练输出用户模型初始化参数的元模型为目标，汇总内循环中所有任务在各自查询集上的损失进行模型的更新；
元学习中训练数据和测试数据的单位为任务，一个任务中包含支持集与查询集，支持集用于任务模型的更新，查询集用于任务模型的测试与元模型的梯度更新；在内循环中，推荐部分将不考虑欺骗鉴别器的更新，同时，此处不更新用户与物品的第一次嵌入部分；在外循环部分，元模型将进行全体的更新；用R表示模型的推荐部分，D表示模型的对抗部分；将模型包含的两部分参数记为{θr,θd}，其中θr是推荐部分的参数，θd是对抗部分的参数；模型的目标函数表示为：
其中，表示损失涉及的参数包括θr和θd。
按照本发明的另一方面，还提供了一种基于双侧对抗学习的敏感属性过滤公平性推荐装置，包括至少一个处理器和存储器，所述至少一个处理器和存储器之间通过数据总线连接，所述存储器存储能被所述至少一个处理器执行的指令，所述指令在被所述处理器执行后，用于完成所述的基于双侧对抗学习的敏感属性过滤公平性推荐方法。
总体而言，通过本发明所构思的以上技术方案与现有技术相比，具有如下有益效果：
(1)改进后的算法考虑了物品侧和用户-物品侧上存在的敏感信息，消除了导致不合理推荐的敏感信息，从而在推荐准确性上有提升；
(2)用户侧的对抗学习模块通过评分归一化方法有效地提升了用户敏感信息过滤效果，从而提高个体公平性；
(3)物品侧的对抗学习模块挖掘用户与物品属性潜在关联，从物品角度过滤用户敏感信息，有效提升算法的综合公平性；
(4)用户-物品侧的对抗学习模块在考虑单项物品时还加入了用户的物品集的融合，总体上提高了算法的公平性表现。
附图说明
图1是本发明方法的流程图；
图2是现有公平性推荐技术的归纳总结；
图3是本发明实施例中基于双侧对抗学习的敏感属性过滤公平性推荐方法的整体框架图；
图4是ML-100K数据集上超参数μ变化对模型的影响的折线图；
图5是BookCrossing数据集上超参数μ变化对模型的影响的折线图；
图6是ML-1M数据集上超参数μ变化对模型的影响的折线图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。
以下首先就本发明的技术术语进行解释和说明：
平均绝对误差(MAE，Mean Absolute Error)：表示预测值和观测值之间绝对误差的平均值，让Uf表示测试用户集，表示用户u的查询集，MAE计算方法为：
归一化折损累计增益(NDCG，Normalized Discounted Cumulative Gain)：表示归一化的DCG以衡量推荐列表的top-k排序的表现。让表示用户对top-k物品的真实评分。DCGk计算按预测评分值排序的前k个实际评分值；IDCGk计算top-k排序的实际评级值，这是可能的最佳值。NDCG的计算方法为：
曲线下面积(AUC，Area Under Curve)：ROC曲线下与坐标轴围成的面积，用于衡量推荐系统的个体公平性。
反事实公平性(CF，Counterfactual Fairness)：反转敏感信息后的推荐结果的差异，用于衡量推荐系统的反事实公平性。用au表示用户u的敏感属性，xu表示其它属性，a′u表示翻转后的敏感属性。CF可以按如下方式计算：
群体公平性(GF，GroupFairness)：具有不同敏感属性的群体间推荐表现的差异，用于衡量推荐系统的群体公平性。用A1和A2分别表示根据敏感属性A划分的两个用户群体，群体的推荐表现R由MAE计算。GF可以按如下方式计算：
针对现有技术中存在的难点的解决办法为：
现有技术在过滤用户敏感信息以获得更公平的推荐时仅仅考虑了用户侧的过滤，而忽视了物品侧同样存在着和用户敏感信息有潜在关联的信息。本发明挖掘物品与用户敏感信息之间的潜在联系，并从用户、物品双侧对敏感信息进行合理过滤，通过更全面的过滤技术实现更加公平的推荐。
如图3所示，本发明基于双侧对抗学习的敏感属性过滤公平性推荐方法包括以下步骤：
(1)根据用户、物品信息及其之间的交互关系，确定推荐部分模型，使用经典推荐算法来预测用户对物品的评分。具体包括如下子步骤：
(1.1)根据用户与物品的特征信息，通过嵌入层与全连接层得到用户嵌入与物品嵌入；设U表示用户集合，I表示物品集合；通过嵌入层和全连接层生成用户嵌入eu和物品嵌入ei，具体如下所示:
其中，P、Q分别表示用户u和物品i的属性数量，是用户u的属性分类p∈{1,…,P}的dp维的独热向量，/>是物品i的分类内容q∈{1,…,Q}的dq维的独热向量，/>是用户和物品属性p的嵌入矩阵，WU、WI和bU、bI是用于用户和物品的全连接层的参数；
(1.2)用户嵌入与物品嵌入串联后，经过一个由N层全连接神经网络构成的决策层与输出层得到预测结果，该网络表示为：
…
其中，Wn和bn是第n个决策层的权重矩阵和偏置向量，WO和bO是输出层的权重矩阵和偏置向量；δ和σ分别表示决策层和输出层的激活函数；是用户u对物品i的预测评分；
(1.3)对于用户u，推荐部分构成对于推荐的损失通过交叉熵函数计算，表示为：
其中，Hu是用户u所评分的物品集，yui是用户u对物品i的真实评分。
(2)根据用户特征和物品评分，设计用户侧的对抗学习网络，从用户侧过滤敏感信息。具体包括如下子步骤：
(2.1)为了从用户表示中过滤掉敏感信息，设计一个判别器DI，与推荐器相对抗；判别器DI基于用户表示推断用户的敏感信息；因为评分反映了用户的偏好，所以用户对物品的实际评分yui被用作外部信息来辅助预测；并对这些评分进行归一化处理；
该部分鉴别器DI由一层全连接和一个输出层构成，该网络表示为：
当用户给出的最高评分为S时，用户u对物品i的归一化评分rui定义为：
其中，yui是用户u对物品i，min(yu)是用户u所给出的最低分，max(yu)是用户u所给出的最高分，将评分区间映射至[1/S,1]。
(2.2)该鉴别器损失通过交叉熵函数计算，公式为：
其中C是敏感特征集合，是用户u的特征c的值，/>是用户u的特征c的预测值。
(3)根据现有数据集中物品和用户的敏感特征关系的统计信息，建立用户与物品敏感信息的潜在关联，从物品侧过滤敏感信息。具体包括如下子步骤：
(3.1)为了过滤与物品相关的敏感信息，设计一个判别器DM与推荐器相对抗，判别器DM基于物品表示推断物品的偏向性，物品的真实偏向由其属性决定，计算物品i的偏向得分s如下：
其中，Q是考虑的物品的属性集合，是物品i的敏感属性q具有的所有类别的集合，/>是其中具有敏感属性“A”偏向的类别集合，根据数据集中物品属性的自身分布确定阈值[t1,t2,…,tn]，分数降落在区间[0,t1),[t1,t2),…，[tn,|Q|]中的任一个，根据所属区间范围划分物品的真实敏感属性偏向ai；
(3.2)该部分鉴别器DM由一层全连接和一个输出层构成，该网络表示为：
其中，是预测的物品i的敏感属性偏向，该鉴别器损失/>通过交叉熵函数计算，公式为：
(4)结合用户评分与物品信息从用户-物品侧过滤敏感信息。具体包括如下子步骤：
(4.1)除了用户表示直接反映用户属性特征之外，用户对物品的评分以及被用户评分的物品也揭示了用户的敏感信息，因此引入一个判别器DG，与推荐器相对抗，旨在从用户和物品的评分中去除用户的敏感信息；该判别器基于用户对物品的评分和物品表示来推断用户的敏感属性；其中，评分信息包括物品的真实评分和预测评分，物品表示包括单个物品表示ds与物品的融合表示dt；
判别器DG由一个用于评分输入的全连接层、一个用于物品输入的全连接层和一个输出层组成，表示为：
其中是用户u的敏感信息推断结果；物品表示的计算包括如下子步骤：
(4.1.1)单个物品表示ds的计算公式如下：
ds＝wuiei
其中,wui是物品i对用户u的权重；评分直接反映了用户对物品的偏好，用户喜欢的物品将更大程度地决定用户的偏好，评分较高的物品将比评分较低的物品对用户偏好产生更大的影响，因此在这里使用评分作为权重：
wui＝yui。
(4.1.2)物品融合表示dt的计算公式如下：
其中N是用户u评分的物品数量，wui是物品i对用户u的权重；评分直接反映了用户对物品的偏好，用户喜欢的物品将更大程度地决定用户的偏好，评分较高的物品将比评分较低的物品对用户偏好产生更大的影响，因此在这里使用评分作为权重：
wui＝yui。
(4.2)该鉴别器损失通过交叉熵函数计算，公式为：
其中C是敏感特征集合，是用户u的特征c的值，/>是用户u的特征c的预测值。
(5)采用多任务学习的方式同时进行模型的推荐部分和对抗部分的训练与更新。具体包括如下子步骤：
(5.1)为了全面考虑多方面的公平性和敏感信息的去除，对抗部分的总损失lD描述如下：
其中λ，γ和μ是超参数，用于灵活控制损失函数；
(5.2)在元学习推荐系统框架上实现元学习推荐系统，通过一系列的任务更新元模型，从而输出的模型将更快地适应新的用户任务的微调；基于MAML的元学习推荐框架将通过多个用户任务训练一个元模型，以输出用户模型的初始化参数；框架分两个步骤进行梯度更新，分别为内循环与外循环；在内循环中，以训练多个用户的模型为目标，根据用户任务的支持集计算损失并进行用户模型更新；在外循环中，以训练输出用户模型初始化参数的元模型为目标，汇总内循环中所有任务在各自查询集上的损失进行模型的更新；
元学习中训练数据和测试数据的单位为任务，一个任务中包含支持集与查询集，支持集用于任务模型的更新，查询集用于任务模型的测试与元模型的梯度更新；在内循环中，推荐部分将不考虑欺骗鉴别器的更新，同时，此处不更新用户与物品的第一次嵌入部分；在外循环部分，元模型将进行全体的更新；用R表示模型的推荐部分，D表示模型的对抗部分；将模型包含的两部分参数记为{θr,θd}，其中θr是推荐部分的参数，θd是对抗部分的参数；模型的目标函数表示为：
其中，表示损失涉及的参数包括θr和θd。
进一步地，本发明还提供了一种基于双侧对抗学习的敏感属性过滤公平性推荐装置，包括至少一个处理器和存储器，所述至少一个处理器和存储器之间通过数据总线连接，所述存储器存储能被所述至少一个处理器执行的指令，所述指令在被所述处理器执行后，用于完成所述的基于双侧对抗学习的敏感属性过滤公平性推荐方法。
我们在三个广泛使用的公开数据集上进行实验：ML-1M、BookCrossing和ML-100K。其中ML-1M和ML-100K来自Movielens Collection，三个数据集的细节见表1。
表1数据集统计信息
表2展示了ML-1M、BookCrossing和ML-100K数据集上所有基线模型和我们提出的模型的性能。每个评估指标下的最佳结果都被加粗。总的来说，本发明在三个数据集上的所有性能指标中均优于现有的最先进算法。与不考虑公平性的传统推荐算法相比，我们的方法在公平性方面取得了更好的结果，同时在推荐性能方面也表现优异。这可能是由于我们的公平推荐方法考虑了敏感信息，使得推荐更加依赖于用户偏好而不是敏感信息。与其他公平性模块相比，我们的方法通过在过滤过程中考虑物品和用户敏感信息之间的潜在关系，在公平性方面取得了更好的结果。特别是在CF指标上，我们的方法有了数量级的提升，这意味着它几乎满足了反事实公平性的要求。在基线模型中，CLOVER和MACR表现最好。CLOVER从用户角度生成公平表示，MACR则在学习过程中引入模块检测和去除偏见信息。然而，这两种方法都忽略了物品和用户-物品双侧的残余敏感信息，导致公平性表现不理想。在推荐性能方面，我们的方法在大多数数据集上都是最好的。这表明，考虑双向过滤是一种更好的方法，可以消除可能导致有偏而不合理推荐的敏感信息。
表2本发明与现有技术在推荐效果和公平性效果上的对比
为了评估我们提出的算法中不同模块的影响，我们在三个数据集上进行了消融实验。表3分别展示了考虑用户侧评分归一化、用户-物品侧的物品表示融合、物品侧的敏感信息过滤和我们提出的最终算法的测试结果。从结果中，我们观察到当考虑用户侧评分归一化时，在三个数据集上，CF都有数量级的提高，表明用户侧的评分归一化有助于实现反事实公平性。当考虑用户-物品侧的物品表示融合时，在BookCrossing和ML-100K上GF的表现更好，比其他没有物品融合的算法更有效，这意味着这个组件对于群体公平性的有效性。当考虑物品侧的敏感信息过滤时，在三个数据集上综合提高了AUC、CF和GF的性能，表明我们从物品侧进行的过滤对于全面推荐公平性的表现非常优秀。当所有模块都被应用时，总体性能最佳。除了提高公平性，我们的最终算法还普遍实现了更好的推荐准确性。然而，当所有模块同时应用时，CF和GF有时会比单独使用每个模块时更差。我们怀疑这是因为反事实公平性和群体公平性在一定程度上相互制约。例如，在电影推荐场景中，我们希望通过反事实公平性确保即使更改用户的性别，推荐结果仍然保持不变。这意味着模型推荐的电影不应该受到性别的影响。另一方面，对于群体公平性，我们希望男性和女性的推荐表现相同。然而，在现实中，男性和女性对电影有不同的喜好，因此为了尽可能实现群体公平性，我们必须考虑用户的性别。在这种情况下，可能会影响反事实公平性。
表3消融实验的结果
为了评估超参数对模型的影响和物品侧敏感信息过滤的效率，我们在三个数据集上使用不同的参数μ进行了算法实验，结果分别如附图4、附图5、附图6所示，其中图4是ML-100K数据集上超参数μ变化对模型的影响的折线图；图5是BookCrossing数据集上超参数μ变化对模型的影响的折线图；图6是ML-1M数据集上超参数μ变化对模型的影响的折线图。在测试μ时，其他参数被固定。随着参数μ的增加，MAE和NDCG只会出现轻微波动。这是因为物品侧不能提供额外的信息来挖掘用户偏好。然而，AUC、CF和GF通常会先下降，然后随着μ的增加而增加。为平衡推荐的准确性和公平性，当μ＝1时，ML-1M数据集上表现最好，而在BookCrossing和ML-100K数据集上，μ＝5时效果最好。这表明，有着更大影响的物品侧敏感信息可以在解决推荐中的公平性问题方面发挥更重要的作用。
本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于双侧对抗学习的敏感属性过滤公平性推荐方法，其特征在于，包括以下步骤：
(1)根据用户、物品信息及其之间的交互关系，确定推荐部分模型，使用经典推荐算法来预测用户对物品的评分；
(2)根据用户特征和物品评分，设计用户侧的对抗学习网络，从用户侧过滤敏感信息；
(3)根据现有数据集中物品和用户的敏感特征关系的统计信息，建立用户与物品敏感信息的潜在关联，从物品侧过滤敏感信息；
(4)结合用户评分与物品信息从用户-物品侧过滤敏感信息；
(5)采用多任务学习的方式同时进行模型的推荐部分和对抗部分的训练与更新。
2.如权利要求1所述的基于双侧对抗学习的敏感属性过滤公平性推荐方法，其特征在于，所述步骤(1)具体包括如下子步骤：
(1.1)根据用户与物品的特征信息，通过嵌入层与全连接层得到用户嵌入与物品嵌入；设U表示用户集合，I表示物品集合；通过嵌入层和全连接层生成用户嵌入eu和物品嵌入ei，具体如下所示:
其中，P、Q分别表示用户u和物品i的属性数量，是用户u的属性分类p∈{1,…,P}的dp维的独热向量，/>是物品i的分类内容q∈{1,…,Q}的dq维的独热向量，/>是用户和物品属性p的嵌入矩阵，WU、WI和bU、bI是用于用户和物品的全连接层的参数；
(1.2)用户嵌入与物品嵌入串联后，经过一个由N层全连接神经网络构成的决策层与输出层得到预测结果，该网络表示为：
…
其中，Wn和bn是第n个决策层的权重矩阵和偏置向量，WO和bO是输出层的权重矩阵和偏置向量；δ和σ分别表示决策层和输出层的激活函数；是用户u对物品i的预测评分；
(1.3)对于用户u，推荐部分构成对于推荐的损失通过交叉熵函数计算，表示为：
其中，Hu是用户u所评分的物品集，yui是用户u对物品i的真实评分。
3.如权利要求1所述的基于双侧对抗学习的敏感属性过滤公平性推荐方法，其特征在于，所述步骤(2)具体包括如下子步骤：
(2.1)为了从用户表示中过滤掉敏感信息，设计一个判别器DI与推荐器相对抗；判别器DI基于用户表示推断用户的敏感信息；因为评分反映了用户的偏好，所以用户对物品的实际评分yui被用作外部信息来辅助预测；并对这些评分进行归一化处理；
该部分鉴别器DI由一层全连接和一个输出层构成，该网络表示为：
(2.2)该鉴别器损失通过交叉熵函数计算，公式为：
其中C是敏感特征集合，是用户u的特征c的值，/>是用户u的特征c的预测值。
4.如权利要求3所述的基于双侧对抗学习的敏感属性过滤公平性推荐方法，其特征在于，所述步骤(2.1)中归一化评分的计算公式如下：
当用户给出的最高评分为S时，用户u对物品i的归一化评分rui定义为：
其中，yui是用户u对物品i，min(yu)是用户u所给出的最低分，max(yu)是用户u所给出的最高分，将评分区间映射至[1/S,1]。
5.如权利要求1所述的基于双侧对抗学习的敏感属性过滤公平性推荐方法，其特征在于，所述步骤(3)具体包括如下子步骤：
(3.1)为了过滤与物品相关的敏感信息，设计一个判别器DM与推荐器相对抗，判别器DM基于物品表示推断物品的偏向性，物品的真实偏向由其属性决定，计算物品i的偏向得分s如下：
其中，Q是考虑的物品的属性集合，是物品i的敏感属性q具有的所有类别的集合，/>是其中具有敏感属性“A”偏向的类别集合，根据数据集中物品属性的自身分布确定阈值[t1,t2,…,tn]，分数落在区间[0,t1),[t1,t2),…，[tn,|Q|]中的任一个，根据所属区间范围划分物品的真实敏感属性偏向ai；
(3.2)该部分鉴别器DM由一层全连接和一个输出层构成，该网络表示为：
其中，是预测的物品i的敏感属性偏向，该鉴别器损失/>通过交叉熵函数计算，公式为：
6.如权利要求1所述的基于双侧对抗学习的敏感属性过滤公平性推荐方法，其特征在于，所述步骤(4)具体包括如下子步骤：
(4.1)除了用户表示直接反映用户属性特征之外，用户对物品的评分以及被用户评分的物品也揭示了用户的敏感信息，因此引入一个判别器DG，与推荐器相对抗，旨在从用户和物品的评分中去除用户的敏感信息；该判别器基于用户对物品的评分和物品表示来推断用户的敏感属性；其中，评分信息包括物品的真实评分和预测评分，物品表示包括单个物品表示ds与物品的融合表示dt；
判别器DG由一个用于评分输入的全连接层、一个用于物品输入的全连接层和一个输出层组成，表示为：
其中是用户u的敏感信息推断结果；
(4.2)该鉴别器损失通过交叉熵函数计算，公式为：
其中C是敏感特征集合，是用户u的特征c的值，/>是用户u的特征c的预测值。
7.如权利要求6所述的基于双侧对抗学习的敏感属性过滤公平性推荐方法，其特征在于，所述步骤(4.1)中单个物品表示ds的计算公式如下：
ds＝wuiei
其中,wui是物品i对用户u的权重；评分直接反映了用户对物品的偏好，用户喜欢的物品将更大程度地决定用户的偏好，评分较高的物品将比评分较低的物品对用户偏好产生更大的影响，因此在这里使用评分作为权重：
wui＝yui
8.如权利要求6所述的基于双侧对抗学习的敏感属性过滤公平性推荐方法，其特征在于，所述步骤(4.1)中物品融合表示dt的计算公式如下：
其中N是用户u评分的物品数量，wui是物品i对用户u的权重；评分直接反映了用户对物品的偏好，用户喜欢的物品将更大程度地决定用户的偏好，评分较高的物品将比评分较低的物品对用户偏好产生更大的影响，因此在这里使用评分作为权重：
wui＝yui
9.如权利要求1所述的基于双侧对抗学习的敏感属性过滤公平性推荐方法，其特征在于，所述步骤(5)具体包括如下子步骤：
(5.1)为了全面考虑多方面的公平性和敏感信息的去除，对抗部分的总损失lD描述如下：
其中λ，γ和μ是超参数，用于灵活控制损失函数；
(5.2)在元学习推荐系统框架上实现元学习推荐系统，通过一系列的任务更新元模型，从而输出的模型将更快地适应新的用户任务的微调；基于MAML的元学习推荐框架将通过多个用户任务训练一个元模型，以输出用户模型的初始化参数；框架分两个步骤进行梯度更新，分别为内循环与外循环；在内循环中，以训练多个用户的模型为目标，根据用户任务的支持集计算损失并进行用户模型更新；在外循环中，以训练输出用户模型初始化参数的元模型为目标，汇总内循环中所有任务在各自查询集上的损失进行模型的更新；
元学习中训练数据和测试数据的单位为任务，一个任务中包含支持集与查询集，支持集用于任务模型的更新，查询集用于任务模型的测试与元模型的梯度更新；在内循环中，推荐部分将不考虑欺骗鉴别器的更新，同时，此处不更新用户与物品的第一次嵌入部分；在外循环部分，元模型将进行全体的更新；用R表示模型的推荐部分，D表示模型的对抗部分；将模型包含的两部分参数记为{θr,θd}，其中θr是推荐部分的参数，θd是对抗部分的参数；模型的目标函数表示为：
其中，表示损失涉及的参数包括θr和θd。
10.一种基于双侧对抗学习的敏感属性过滤公平性推荐装置，其特征在于：
包括至少一个处理器和存储器，所述至少一个处理器和存储器之间通过数据总线连接，所述存储器存储能被所述至少一个处理器执行的指令，所述指令在被所述处理器执行后，用于完成权利要求1-9中任一项所述的基于双侧对抗学习的敏感属性过滤公平性推荐方法。
CN202311127004.1A 2023-09-01 2023-09-01 基于双侧对抗学习的敏感属性过滤公平性推荐方法与装置 Pending CN117112905A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311127004.1A CN117112905A (zh) 2023-09-01 2023-09-01 基于双侧对抗学习的敏感属性过滤公平性推荐方法与装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311127004.1A CN117112905A (zh) 2023-09-01 2023-09-01 基于双侧对抗学习的敏感属性过滤公平性推荐方法与装置

Publications (1)

Publication Number Publication Date
CN117112905A true CN117112905A (zh) 2023-11-24

Family

ID=88810779

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311127004.1A Pending CN117112905A (zh) 2023-09-01 2023-09-01 基于双侧对抗学习的敏感属性过滤公平性推荐方法与装置

Country Status (1)

Country Link
CN (1) CN117112905A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117421661A (zh) * 2023-12-19 2024-01-19 南开大学 一种基于反事实增强的图卷积网络的群组推荐方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117421661A (zh) * 2023-12-19 2024-01-19 南开大学 一种基于反事实增强的图卷积网络的群组推荐方法
CN117421661B (zh) * 2023-12-19 2024-02-13 南开大学 一种基于反事实增强的图卷积网络的群组推荐方法

Similar Documents

Publication Publication Date Title
Zhu et al. Fairness-aware tensor-based recommendation
Li et al. Interest-based real-time content recommendation in online social communities
Cui et al. An improved matrix factorization based model for many-objective optimization recommendation
Zhang et al. Content-collaborative disentanglement representation learning for enhanced recommendation
Su et al. Set-oriented personalized ranking for diversified top-n recommendation
CN109829721B (zh) 基于异质网络表征学习的线上交易多主体行为建模方法
Yang et al. Recommendation based on rational inferences in collaborative filtering
Su et al. Personalized rough-set-based recommendation by integrating multiple contents and collaborative information
Zhang et al. Multi-criteria recommender system based on social relationships and criteria preferences
CN117112905A (zh) 基于双侧对抗学习的敏感属性过滤公平性推荐方法与装置
CN113918832A (zh) 基于社交关系的图卷积协同过滤推荐系统
Stanescu et al. A hybrid recommender system: User profiling from keywords and ratings
Yalcin et al. Novel automatic group identification approaches for group recommendation
CN113918834A (zh) 融合社交关系的图卷积协同过滤推荐方法
Duan et al. A hybrid intelligent service recommendation by latent semantics and explicit ratings
CN115718826A (zh) 图结构数据中的目标节点分类方法、系统、设备及介质
CN113761359A (zh) 数据包推荐方法、装置、电子设备和存储介质
Zhu et al. A fuzzy clustering‐based denoising model for evaluating uncertainty in collaborative filtering recommender systems
Al-Sbou et al. An improved hybrid semi-stacked autoencoder for item-features of recommendation system (iHSARS)
Lu Leader-based community detection algorithm in attributed networks
CN110825965A (zh) 一种基于信任机制和时间加权的改进协同过滤推荐方法
Marin et al. Tensor-based collaborative filtering with smooth ratings scale
Bai et al. Collaborative multi-auxiliary information variational autoencoder for recommender systems
Buet-Golfouse et al. Towards fair multi-stakeholder recommender systems
Wu et al. Jointly modeling aspects, ratings and sentiments for movie recommendation

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination