CN115329872A - 一种基于对比学习的敏感属性识别方法及装置 - Google Patents

一种基于对比学习的敏感属性识别方法及装置 Download PDF

Info

Publication number
CN115329872A
CN115329872A CN202210979997.4A CN202210979997A CN115329872A CN 115329872 A CN115329872 A CN 115329872A CN 202210979997 A CN202210979997 A CN 202210979997A CN 115329872 A CN115329872 A CN 115329872A
Authority
CN
China
Prior art keywords
sensitive
training
learning model
samples
test
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210979997.4A
Other languages
English (en)
Inventor
陈晋音
陈奕芃
郑海斌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang University of Technology ZJUT
Original Assignee
Zhejiang University of Technology ZJUT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang University of Technology ZJUT filed Critical Zhejiang University of Technology ZJUT
Priority to CN202210979997.4A priority Critical patent/CN115329872A/zh
Publication of CN115329872A publication Critical patent/CN115329872A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Electrically Operated Instructional Devices (AREA)

Abstract

本发明公开了一种基于对比学习的敏感属性识别方法及装置，包括选取原始数据集，并将该原始数据集按自定义比例划分为训练集和测试集；再对训练集提取类别标签以及敏感属性标签；构建对比学习模型，对训练集中的敏感属性添加随机数噪声，将原始的训练集和添加随机数噪声后的训练集作为一对正样本对，将正样本对输入对比学习模型中进行训练；将测试集输入到训练好的对比学习模型中进行测试，计算测试集的测试结果能够识别出敏感属性的样本数达到总测试样本数的比例，直至该比例达到自定义阈值。本发明方法通过引入对比学习，针对数据集中敏感属性不可知的现象，识别敏感属性不可知的数据集中是否存在敏感属性。

Description

一种基于对比学习的敏感属性识别方法及装置
技术领域
本发明属于深度学习领域，尤其涉及一种基于对比学习的敏感属性识别方法及装置。
背景技术
随着深度学习和人工智能软件越来越多地被用于做出影响人们生活的决策，深度学习的公平性受到了广泛关注。研究表明，有时深度学习软件的行为带有偏见，给特定人群带来了不应有的决策偏见。深度学习中的这种偏见可能会在决定患者是否出院、哪些贷款申请获得批准、哪些公民获得保释或被判入狱、哪些人被大学/公司录取/聘用时产生严重后果。为了减轻深度学习中的偏见现象，已经进行了许多研究。但是如何识别数据集中的敏感属性的问题还鲜有人研究。
基于法律法规或者隐私保护的影响，某些数据集中是否存在敏感属性是不可知的，这些属性会被保护、隐藏起来，研究人员不可直接了解到这些数据集是否存在敏感属性，直接运用这些数据集可能导致模型预测结果不公平。鉴于以上客观现象，研究一种基于对比学习的敏感属性识别方法。
发明内容
针对现有技术不足，本发明提出了一种基于对比学习的敏感属性识别方法及装置。
本发明的技术方案具体为：本发明实施例的第一方面提出了一种基于对比学习的敏感属性识别方法，所述方法具体包括以下步骤：
(1)选取原始数据集，并将该原始数据集按自定义比例划分为训练集和测试集；再对训练集提取类别标签以及敏感属性标签；
(2)构建对比学习模型，对步骤(1)划分的训练集中的敏感属性添加随机数噪声，将原始的训练集和添加随机数噪声后的训练集作为一对正样本对，将正样本对输入对比学习模型中进行训练，得到训练好的对比学习模型；
将正样本对输入对比学习模型中进行训练的过程具体为：将训练集X和添加随机数噪声后的训练集
Figure RE-GDA0003874075810000011
称为一对正样本对，将X和
Figure RE-GDA0003874075810000012
分别输入到对比学习模型中的特征提取编码器f(·)和f1(·)中，经特征提取编码器f(·)和f1(·)后得到X和
Figure RE-GDA0003874075810000021
对应的隐层表示h和h′；再将隐层表示h和h′输入MLP层，MLP层输出得到z和z′；再利用损失函数进行训练，对比学习中z和z′的损失函数为infoNCE loss；
(3)将步骤(1)划分的测试集输入到步骤(2)训练好的对比学习模型中进行测试，计算测试集的测试结果能够识别出敏感属性的样本数达到总测试样本数的比例，重复步骤(2)直至该比例达到自定义阈值；利用测试好的对比学习模型对待识别数据进行敏感属性识别。
进一步地，所述原始数据集为Adult数据集、COMPAS数据集或Bank数据集。
进一步地，所述特征提取编码器为ResNet。
进一步地，所述infoNCE loss损失函数具体为：
Figure RE-GDA0003874075810000022
其中，N代表的是一个batch的样本数，即对于一个batch的N个样本，通过添加随机数噪声数据增强后的得到N对正样本对，此时共有2N个样本；z″为负样本，负样本为敏感性属性翻转后的样本；上式中sim(·)相似度函数，τ是温度系数。
本发明实施例的第二方面提出了一种基于对比学习的敏感属性识别装置，包括一个或多个处理器，用于实现上述的基于对比学习的敏感属性识别方法。
本发明实施例的第三方面提出了一种计算机可读存储介质，其上存储有程序，该程序被处理器执行时，用于实现上述的基于对比学习的敏感属性识别方法。
本发明的有益效果为：本发明提出了一种基于对比学习的敏感属性识别方法及装置，本发明方法通过引入对比学习，针对数据集中敏感属性不可知的现象，识别敏感属性不可知的数据集中是否存在敏感属性。
(1)本发明方法针对文本类的数据集，采用添加随机数噪声的方法进行数据增强。
(2)本发明在构建正样本对的过程中，只对数据集中的敏感属性这一维度的数据添加随机数噪声。
(3)本发明方法不需要其他额外的数据集构建负样本，可以减小计算量；不引入其他额外数据集还可以避免引入额外的敏感属性，提高敏感属性的识别准确率。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图做简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动前提下，还可以根据这些附图获得其他附图。
图1是发明的实施例中模型Mfair的结构图。
图2是本发明实施例提供的一种基于对比学习的敏感属性识别方法的流程示意图。
图3是本发明实施例提供的一种基于对比学习的敏感属性识别装置的示意图。
具体实施方式
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本发明相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本发明的一些方面相一致的装置和方法的例子。
在本发明使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本发明。在本发明和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
应当理解，尽管在本发明可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本发明范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。
下面结合附图，对本发明进行详细说明。在不冲突的情况下，下述的实施例及实施方式中的特征可以相互组合。
如图1和图2所示，本发明实施例提出了一种基于对比学习的敏感属性识别方法，所述方法具体包括以下步骤：
(1)选取原始数据集，并将该原始数据集按自定义比例划分为训练集和测试集；再对训练集提取类别标签以及敏感属性标签。
具体地，本发明实施例采用Adult数据集作为基于对比学习的敏感属性识别方法的预训练数据集。Adult数据集包括48,842个连续或者离散的实例，其中训练集实例32,561个，测试集实例16,281个，该数据集可用于预测一个人的年收入是否多于5万美元；该数据集包括年龄、工种、学历、职业、性别等14个属性类别，其中6个连续变量，8个名词属性变量，其中性别是敏感属性。本发明中采取性别为敏感属性，属性10为性别。Adult数据集用14个特征来对每个个体进行描述，从而预测一个人的年收入是否超过50K。
然而，经过调查研究发现，Adult数据集中对性别这一敏感属性存在偏见，其中男性相比女性而言更容易被归类为“高收入”人群。
Adult数据集由40000多个样本构成，本发明实施例以2：1的比例划分训练集和测试集。
提取类别标签以及敏感属性标签的过程具体为：
Adult数据集用14个特征来对每个样本进行描述，在本发明中，将样本的性别作为敏感属性，属性为“男性”或者“女性”我们认为它是敏感的，并对其进行二值化处理，将“男性”编码为1，“女性”编码为0。对于每个个体，训练好的对比学习模型输出的预测值是一个二进制变量，输出结果只有0或1，表明样本的年收入是否超过50K。
进一步地，本发明原始数据集还可以为COMPAS数据集、Adult数据集或 Bank数据集。
(2)构建对比学习模型，对步骤(1)划分的训练集中的敏感属性添加随机数噪声，将原始的训练集和添加随机数噪声后的训练集作为一对正样本对，将正样本对输入对比学习模型中进行训练；
所述对比学习模型包括特征提取编码器和MLP层。具体地，所述特征提取编码器使用ResNet，通过特征提取之后，再进入MLP层，MLP层的输出就是对比学习的目标函数(即损失函数)作用的地方。
首先拿到Adult数据集X，对X进行数据增强得到
Figure RE-GDA0003874075810000051
本发明中通过对 Adult数据集X的第十维性别为女性的样本属性值添加随机数噪声得到
Figure RE-GDA0003874075810000052
将 X和
Figure RE-GDA0003874075810000053
称为一对正样本对，
Figure RE-GDA0003874075810000054
为负样本，负样本是X将敏感性属性翻转后的样本，也就是性别为男性的样本。将X和
Figure RE-GDA0003874075810000055
分别输入到特征提取编码器f(·)和 f1(·)中，本发明实施例这里使用的特征提取编码器为ResNet，X和
Figure RE-GDA0003874075810000056
经过编码器f(·)和f1(·)后，得到它们的隐层表示h和h′。通过特征提取之后，再进入MLP 层，MLP层的输出就是对比学习的损失函数作用的地方，通过MLP层输出z和 z′。接下来是目标函数作用阶段，对比学习中的损失函数一般是infoNCE loss， z和z′的损失函数定义如下：
Figure RE-GDA0003874075810000057
其中，N代表的是一个batch的样本数，即对于一个batch的N个样本，通过数据增强的得到N对正样本对，此时共有2N个样本。z″为负样本
Figure RE-GDA0003874075810000058
的MLP 输出，负样本为敏感性属性翻转后的样本，也就是性别为男性的样本，负样本的个数为2(N-1)。上式中sim(·)其实就是cosin相似度的计算公式，τ是温度系数。从上式可以看出，分子中只计算正样本对的距离，负样本只会在对比损失的分母中出现，当正样本对距离越小，负样本对距离越大，损失越小。
经过上述模型训练，对比学习能够准确识别出性别为女性这一敏感属性，将此模型称为Mfair，可以将此模型运用到需要识别敏感属性的数据集中。
(3)将步骤(1)划分的测试集输入到步骤(2)训练好的对比学习模型中进行测试，计算测试集的测试结果能够识别出敏感属性的样本数达到总测试样本数的比例，重复步骤(2)直至该比例达到自定义阈值。
本发明实施例中，将步骤(1)划分的测试集输入到步骤(2)训练好的对比学习模型中进行测试，当测试集的测试结果能够识别出性别为女性的样本数达到总测试样本数的95％时，则认为此时训练好的模型能够准确识别敏感属性。
实施例1
(1)选取Adult数据集为原始数据集，并将该原始数据集按以2：1比例划分为训练集和测试集；再对训练集提取类别标签以及敏感属性标签。
Adult数据集中对性别这一敏感属性存在偏见，其中男性相比女性而言更容易被归类为“高收入”人群。
(2)构建对比学习模型，对步骤(1)划分的训练集中的敏感属性添加随机数噪声，将原始的训练集和添加随机数噪声后的训练集作为一对正样本对，将正样本对输入对比学习模型中进行训练；
所述对比学习模型包括特征提取编码器和MLP层。
经过上述训练后，对比学习模型能够准确识别出性别为女性这一敏感属性。
(3)将步骤(1)划分的测试集输入到步骤(2)训练好的对比学习模型中进行测试，计算测试集的测试结果能够识别出敏感属性的样本数达到总测试样本数的比例，重复步骤(2)直至该比例达到95％，即当测试集的测试结果能够识别出性别为女性的样本数达到总测试样本数的95％时。利用测试好的对比学习模型识别测试数据中的敏感属性。
实施例2
(1)选取COMPAS数据集为原始数据集，并将该原始数据集以2：1比例划分为训练集和测试集；再对训练集提取类别标签以及敏感属性标签。
COMPAS数据集中对性别这一敏感属性存在偏见，其中女性相比男性而言更容易被预测为“再犯”人群。
(2)构建对比学习模型，对步骤(1)划分的训练集中的敏感属性添加随机数噪声，将原始的训练集和添加随机数噪声后的训练集作为一对正样本对，将正样本对输入对比学习模型中进行训练；
所述对比学习模型包括特征提取编码器和MLP层。
经过上述训练后，对比学习模型能够准确识别出性别为女性这一敏感属性
(3)将步骤(1)划分的测试集输入到步骤(2)训练好的对比学习模型中进行测试，计算测试集的测试结果能够识别出敏感属性的样本数达到总测试样本数的比例，重复步骤(2)直至该比例达到95％，即当测试集的测试结果能够识别出性别为女性的样本数达到总测试样本数的95％时。利用测试好的对比学习模型识别测试数据中的敏感属性。
与前述基于对比学习的敏感属性识别方法的实施例相对应，本发明还提供了基于对比学习的敏感属性识别装置的实施例。
参见图3，本发明实施例提供的一种基于对比学习的敏感属性识别装置，包括一个或多个处理器，用于实现上述实施例中的基于对比学习的敏感属性识别方法。
本发明基于对比学习的敏感属性识别装置的实施例可以应用在任意具备数据处理能力的设备上，该任意具备数据处理能力的设备可以为诸如计算机等设备或装置。装置实施例可以通过软件实现，也可以通过硬件或者软硬件结合的方式实现。以软件实现为例，作为一个逻辑意义上的装置，是通过其所在任意具备数据处理能力的设备的处理器将非易失性存储器中对应的计算机程序指令读取到内存中运行形成的。从硬件层面而言，如图3所示，为本发明基于对比学习的敏感属性识别装置所在任意具备数据处理能力的设备的一种硬件结构图，除了图3 所示的处理器、内存、网络接口、以及非易失性存储器之外，实施例中装置所在的任意具备数据处理能力的设备通常根据该任意具备数据处理能力的设备的实际功能，还可以包括其他硬件，对此不再赘述。
上述装置中各个单元的功能和作用的实现过程具体详见上述方法中对应步骤的实现过程，在此不再赘述。
对于装置实施例而言，由于其基本对应于方法实施例，所以相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本发明方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。
本发明实施例还提供一种计算机可读存储介质，其上存储有程序，该程序被处理器执行时，实现上述实施例中的基于对比学习的敏感属性识别方法。
所述计算机可读存储介质可以是前述任一实施例所述的任意具备数据处理能力的设备的内部存储单元，例如硬盘或内存。所述计算机可读存储介质也可以是任意具备数据处理能力的设备，例如所述设备上配备的插接式硬盘、智能存储卡(Smart Media Card，SMC)、SD卡、闪存卡(Flash Card)等。进一步的，所述计算机可读存储介质还可以既包括任意具备数据处理能力的设备的内部存储单元也包括外部存储设备。所述计算机可读存储介质用于存储所述计算机程序以及所述任意具备数据处理能力的设备所需的其他程序和数据，还可以用于暂时地存储已经输出或者将要输出的数据。
本说明书实施例所述的内容仅仅是对发明构思的实现形式的列举，本发明的保护范围不应当被视为仅限于实施例所陈述的具体形式，本发明的保护范围也及于本领域技术人员根据本发明构思所能够想到的等同技术。

Claims (6)

1.一种基于对比学习的敏感属性识别方法，其特征在于，所述方法具体包括以下步骤：
(1)选取原始数据集，并将该原始数据集按自定义比例划分为训练集和测试集；再对训练集提取类别标签以及敏感属性标签；
(2)构建对比学习模型，对步骤(1)划分的训练集中的敏感属性添加随机数噪声，将原始的训练集和添加随机数噪声后的训练集作为一对正样本对，将正样本对输入对比学习模型中进行训练，得到训练好的对比学习模型；
将正样本对输入对比学习模型中进行训练的过程具体为：将训练集X和添加随机数噪声后的训练集
Figure FDA0003800004460000011
称为一对正样本对，将X和
Figure FDA0003800004460000012
分别输入到对比学习模型中的特征提取编码器f(·)和f1(·)中，经特征提取编码器f(·)和f1(·)后得到X和
Figure FDA0003800004460000013
对应的隐层表示h和h′；再将隐层表示h和h′输入MLP层，MLP层输出得到z和z′；再利用损失函数进行训练，对比学习中z和z′的损失函数为infoNCE loss；
(3)将步骤(1)划分的测试集输入到步骤(2)训练好的对比学习模型中进行测试，计算测试集的测试结果能够识别出敏感属性的样本数达到总测试样本数的比例，重复步骤(2)直至该比例达到自定义阈值；利用测试好的对比学习模型对待识别数据进行敏感属性识别。
2.根据权利要求1所述的基于对比学习的敏感属性识别方法，其特征在于，所述原始数据集为Adult数据集、COMPAS数据集或Bank数据集。
3.根据权利要求1所述的基于对比学习的敏感属性识别方法，其特征在于，所述特征提取编码器为ResNet。
4.根据权利要求1所述的基于对比学习的敏感属性识别方法，其特征在于，所述infoNCE loss损失函数具体为：
Figure FDA0003800004460000014
其中，N代表的是一个batch的样本数，即对于一个batch的N个样本，通过添加随机数噪声数据增强后的得到N对正样本对，此时共有2N个样本；z″为负样本，负样本为敏感性属性翻转后的样本；上式中sim(·)相似度函数，τ是温度系数。
5.一种基于对比学习的敏感属性识别装置，其特征在于，包括一个或多个处理器，用于实现权利要求1-4中任一项所述的基于对比学习的敏感属性识别方法。
6.一种计算机可读存储介质，其上存储有程序，其特征在于，该程序被处理器执行时，用于实现权利要求1-4中任一项所述的基于对比学习的敏感属性识别方法。
CN202210979997.4A 2022-08-16 2022-08-16 一种基于对比学习的敏感属性识别方法及装置 Pending CN115329872A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210979997.4A CN115329872A (zh) 2022-08-16 2022-08-16 一种基于对比学习的敏感属性识别方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210979997.4A CN115329872A (zh) 2022-08-16 2022-08-16 一种基于对比学习的敏感属性识别方法及装置

Publications (1)

Publication Number Publication Date
CN115329872A true CN115329872A (zh) 2022-11-11

Family

ID=83924246

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210979997.4A Pending CN115329872A (zh) 2022-08-16 2022-08-16 一种基于对比学习的敏感属性识别方法及装置

Country Status (1)

Country Link
CN (1) CN115329872A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116090006A (zh) * 2023-02-01 2023-05-09 北京三维天地科技股份有限公司 一种基于深度学习的敏感识别方法及系统

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116090006A (zh) * 2023-02-01 2023-05-09 北京三维天地科技股份有限公司 一种基于深度学习的敏感识别方法及系统
CN116090006B (zh) * 2023-02-01 2023-09-08 北京三维天地科技股份有限公司 一种基于深度学习的敏感识别方法及系统

Similar Documents

Publication Publication Date Title
CN111259142B (zh) 基于注意力编码和图卷积网络的特定目标情感分类方法
CN109302410B (zh) 一种内部用户异常行为检测方法、系统及计算机存储介质
CN111581046A (zh) 数据异常检测方法、装置、电子设备及存储介质
CN112860841B (zh) 一种文本情感分析方法、装置、设备及存储介质
CN112966074A (zh) 一种情感分析方法、装置、电子设备以及存储介质
US10303737B2 (en) Data analysis computer system and method for fast discovery of multiple Markov boundaries
CN112015901A (zh) 文本分类方法及装置、警情分析系统
CN113032525A (zh) 虚假新闻检测方法、装置、电子设备以及存储介质
CN112132238A (zh) 一种识别隐私数据的方法、装置、设备和可读介质
CN114048468A (zh) 入侵检测的方法、入侵检测模型训练的方法、装置及介质
CN116205482A (zh) 重点人员风险等级评估方法及相关设备
CN110782349A (zh) 一种模型训练方法和系统
CN116167010A (zh) 具有智能迁移学习能力的电力系统异常事件快速识别方法
CN115329872A (zh) 一种基于对比学习的敏感属性识别方法及装置
CN113590945B (zh) 一种基于用户借阅行为-兴趣预测的图书推荐方法和装置
CN113011689A (zh) 软件开发工作量的评估方法、装置及计算设备
CN113298254A (zh) 面向深度迁移学习的去偏方法及其装置
Simić Testing for normality with neural networks
CN115345248A (zh) 一种面向深度学习的数据去偏方法及装置
Anrig et al. The role of algorithms in profiling
CN116089605A (zh) 基于迁移学习和改进词袋模型的文本情感分析方法
CN116029760A (zh) 消息推送方法、装置、计算机设备和存储介质
US20210241147A1 (en) Method and device for predicting pair of similar questions and electronic equipment
Hamad et al. Sentiment analysis of restaurant reviews in social media using naïve bayes
CN113837836A (zh) 模型推荐方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination