CN113420878A - 基于双向特征嵌入的深度学习模型去偏方法 - Google Patents

Abstract

本发明公开了一种基于双向特征嵌入的深度学习模型去偏方法，包括：获得第一特权组样本集和第一非特权组样本集；构建双特征嵌入样本集；搭建收入预测模型，所述深度学习模型包括6层全连接网络；利用双特征嵌入样本集，在训练时，以收入判断任务的损失loss_m1，和去社会偏见损失loss_m2组成的总损失loss为最终损失；每训练一阶段，将收入预测模型输出的收入判断结果和对应的敏感性样本集通过mean difference进行测算，当mean difference计算结果满足阈值，则获得最终收入预测模型。该收入预测模型能够准确且不带有偏见的预测收入。

Description

基于双向特征嵌入的深度学习模型去偏方法

技术领域

本发明属于深度学习领域，具体涉及一种基于双向特征嵌入的深度学习模型去偏方法。

背景技术

深度学习技术是当前人工智能技术的一个重点研究对象，人工智能技术成功应用的关键之一是利用大量的原始样本数据集对深度学习模型进行训练，深度学习模型通过对输入进去的原始样本数据集进行学习，学习数据样本的潜在特征，并且对数据进行内在规律的发掘以及数据内在特征的提取，正是由于深度学习模型具有比较强大的学习能力，这种学习能力可以较好地进行数据内在规律的提取和数据内在特征的抽象，帮助人们解决更多的更复杂的模式分类难题以及做出更好的决策，因此深度学习技术被广泛应用在互联网搜索、图像识别、异常检测、自然语言处理、语音识别、推荐系统、医疗、信贷发放、刑事司法以及云存储等领域。

虽然随着深度学习技术的深入应用，通过使用深度学习技术人们可以主力业务发展，获得更为准确以及更为详细的决策结果以及更具有实用性的决策建议，但是最新的研究也表明，深度学习模型也存在比较明显缺陷。这种缺陷主要表现在：深度学习模型在做出决策时会受到原始样本数据集中部分带有敏感属性特征数据的影响。这里的敏感属性是指在深度学习模型学习的过程中会使得模型预测结果发生较大偏差，已知深度学习模型做出决策需要高度依赖输入进模型进行训练的原始样本数据，而原始样本数据中带有这部分属性的数据会使深度学习模型的决策存在偏见，这会导致深度学习模型的决策结果在较大程度上影响其决策的准备性。开发设计使用深度学习技术的初衷是帮助人类从复杂的、重复的劳动中解脱出来，同时借助现代化人工智能手段助力科技发展。如果研究人员枉顾用于训练深度学习模型的数据集并且不对深度学习模型的训练过程做任何的偏见消除操作，而是任由其发展，那么会导致深度学习模型的预测结果逐步带有偏见，这些偏见会一直存在于深度学习模型中，深度学习模型会一直保留这些偏见，并且很有可能会在后续的决策任务中加剧这种偏见。深度学习技术也逐步渗透进人们生活中的方方面面，因此研究面向深度学习模型的去偏方法就显得尤为重要。

深度学习模型存在偏见的主要原因是深度学习模型训练学习时所使用的原始样本数据中的数据类别不平衡并且部分数据带有敏感属性标签，带有敏感属性标签的这部分数据极易使得深度学习模型决策产生错误结果。基于此，目前研究人员对于带有偏见的深度学习模型的去除偏见的研究工作主要包括算法层面的去偏方法、深度学习模型层面的去偏方法以及深度学习模型的后验去除偏见方法。目前的研究工作较少涉及到原始训练数据层面的去偏方法，同时现有的去偏方法在应用过程中存在效果不佳等问题，例如现有的去偏方法在去除偏见过程中会较明显地降低深度学习模型决策的精度，或者是会引入新的偏见等。

鉴于深度学习模型存在上述容易比较明显的缺陷，研究一种深度学习模型去除偏见的方法，来帮助人们在生产生活等实际应用中做出准确并且不带有偏见的决策以及助力科技发展具有极其重要的理论意义和现实意义。

发明内容

本发提供一种能够准确且不带有偏见的双向特征嵌入的深度学习模型去偏方法。

基于双向特征嵌入的深度学习模型去偏方法，包括：

S1：获得带有多标签分类的文本数据集，筛选文本数据集中出现社会偏见的词语并标记作为敏感性样本集，将敏感性样本集划分为第一特权组样本集和第一非特权组样本集；

S2：构建双特征嵌入样本集，对第一特权组样本集中的部分数据进行特征提取得到特权组样本特征数据，同时对第一非特权组样本集中的部分样本进行特征提取得到非特权组样本特征数据；

利用特征嵌入损失函数，将特权组样本特征数据嵌入到第一非特权组样本集得到第二非特权组样本集以及将非特权组样本特征数据嵌入到第一特权组样本集得到第二特权组样本集，第二非特权组样本集和第二特权组样本集构建双特征嵌入样本集；

S3：搭建收入预测模型，所述深度学习模型包括6层全连接网络；

S4：利用双特征嵌入样本集，在训练时，以收入判断任务的损失loss-m1，和去社会偏见损失loss-m2组成的总损失loss为最终损失，其中，去社会偏见损失loss-m2为：

loss-m2＝|y(x'_up)-y(x_up)|+|y(x'_p)-y(x_p)|

其中，x'_up为第二非特权组样本集，x_up为第一非特权组样本集，x'_p为第二特权组样本集，x_p第一特权组样本集，y()为收入预测模型。

S5：每训练一阶段，将收入预测模型输出的收入判断结果和对应的敏感性样本集通过均等差异指标函数(mean difference)进行测算，当均等差异指标函数(meandifference)计算结果满足阈值，则获得最终收入预测模型。

通过对输入进深度学习模型中的原始样本数据进行数据增强操作，输入进深度学习模型的原始样本数据中的部分数据包含敏感属性，通过对这部分包含敏感属性的数据分为敏感性样本集和非敏感性样本集，对敏感性样本集和非敏感性样本集进行双向特征嵌入操作以达到去除偏见的目的。

对所述的第一特权组样本集和第一非特权组样本集进行特征特征提取前，分别去除在第一特权组样本集和第一非特权组样本集中共有特征。

对第一特权组样本集中的部分数据进行特征提取得到特权组样本特征数据，同时对第一非特权组样本集中的部分样本进行特征提取得到非特权组样本特征数据的具体步骤为：

将第一特权组样本集输入至卷积神经网络中，通过卷积神经网络中的卷积层提取特征得到特权组样本特征数据；

将第一非特权组样本集输入至卷积神经网络中，通过卷积神经网络中的卷积层提取特征得到非特权组样本特征数据。

所述的特征嵌入损失函数为特权组样本特征数据和非特权组样本特征数据的均方误差，，如果特征嵌入损失函数未收敛则继续输入特权组样本特征数据和非特权组样本特征数据，如果特征嵌入损失函数收敛则完成嵌入，以得到双特征嵌入样本集。

将特权组样本特征数据嵌入到第一非特权组样本集的具体步骤为：将第一非特权组样本集输入至第一特征嵌入模型中得到第二非特权组样本集，所述第一特征嵌入模型为：

其中，loss_-t为特征嵌入损失函数，x_p为第一特权组样本集，ε为卷积层的步长，x_up为第一非特权组样本集，x'_up为第二非特权组样本集，直至特征嵌入损失函数loss_-t收敛得到第二非特权组样本集。

将非敏感性样本特征数据嵌入到第一特权组样本集得到第二特权组样本集的具体步骤为：将第一特权组样本集输入至第二特征嵌入模型中得到第二特权组样本集，所述第一特征嵌入模型为：

其中，x'_p为第二特权组样本集，直至特征嵌入损失函数loss_-t收敛得到第二特权组样本集。

所述样本分类任务的损失loss_-m1为：

其中，n为样本总容量大小，i为样本索引，

代表收入预测值，y代表收入的实际值。

所述的mean difference计算的指标Pr_{mean_difference}为：

Pr_{mean_difference}＝Pr(Y＝1|D＝unprivileged)-Pr(Y＝1|D＝privileged)

其中，D为敏感属性，unprivileged为敏感属性中的非特权组，privileged 为敏感属性中的特权组，Pr()为敏感属性为非特权组或特权组的条件下预测为1的条件概率，通过计算在敏感属性为非特权组的条件下预测为1 的条件概率减去在敏感属性为特权组的条件下预测为1的条件概率，如果计算结果为0，则完成收入预测模型构建。

与现有技术相比，本发明具有的有益效果至少包括：

本发明实施例提供的基于双向特征嵌入的深度学习模型去偏方法，该方法在训练阶段之前通过对原始样本数据进行双向特征嵌入来增强数据，最后将获得的经过双向特征嵌入的数据集用于深度模型的鲁棒训练，从而达到去偏的目的，避免了深度学习模型存在的缺陷导致模型决策失误以及保留甚至放大并加剧偏见，同时通过这种双向特征嵌入的数据增强方法也提高了深度学习模型在决策时的准备性。

附图说明

图1为本发明实施例提供的基于双向特征嵌入的深度学习模型去偏方法的流程示意图；

图2为本发明实施例提供的双向特征嵌入的示意图。

具体实施方式

为使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例对本发明进行进一步的详细说明。应当理解，此处所描述的具体实施方式仅仅用以解释本发明，并不限定本发明的保护范围。

为了解决由于深度学习模型本身存在的缺陷导致的深度学习模型在训练学习过程中容易受到原始数据中存在的类别以及属性不平衡的问题导致的深度学习模型在训练学习过程中对数据内在规律提取和数据内在特征抽象出现偏差。本实施例提供了一种基于双向特征嵌入的深度学习模型去偏方法，如图1所示，该基于双向特征嵌入的深度学习模型去偏方法包括以下步骤：

(1)深度学习模型带有偏见的定义：

本发明将深度学习模型在进行自动决策以及给出具体决策建议时遇到的使用包含敏感属性数据的原始样本数据集进行训练，从而导致深度学习模型决策错误。其中，原始样本数据集中包含的敏感属性数据可能存在类别不平衡或者某类敏感属性特征所对应的数据样本量过少等问题，因此，本发明通过对输入进深度学习模型的原始样本数据集进行数据增强，该做法将原始样本数据集中的敏感属性特征进行双向特征嵌入操作，该双向特征嵌入操作在非特权组的数据中去除特权组和非特权组数据的共有特征，将特权组数据中独有的特征嵌入至非特权组，同时将非特权组的独有特征嵌入特权组，从而达到数据增强的目的，以使得深度模型在决策时不会受到其固有的缺陷影响，从而保证深度模型决策的准确性。

(2)深度模型决策准备性的定义：

本发明将深度模型在进行自动决策时，其输出的决策结果不会受到输入进深度模型的原始样本数据集中部分敏感属性数据的影响，从而做出带有偏见的决策的行为定义为深度学习模型的准备性。其中，敏感属性也即偏见属性，原始样本数据集中可能存在的包含敏感属性的部分数据在输入进深度模型，深度模型在学习时可能会产生偏差，导致其决策结果错误。

(3)样本数据集的构建及其预处理：

本实施例选择一个带有多标签分类的文本数据集，比如Adult数据集，将其中的一个偏见属性标签作为敏感属性标签，比如人种。同时选择该数据集中的一个或者多个不带有偏见属性的非敏感标签作为任务标签，该任务可以是预测一个人的收入是否超过50 000美元等，按照上述思路对数据集进行预处理，构建原始样本数据集。

(4)样本数据集的双向特征嵌入，如图2所示，具体步骤如下：

双向特征嵌入可以将敏感属性中的特权组数据独有的特征嵌入到非特权组，同时将非特权组数据独有的特征嵌入到特权组。以Adult文本数据集为例，在对Adult数据集进行双向特征嵌入的时候，在特权组以及非特权组数据中分别选取一部分数据而不是全部数据例如选取50％的数据，将本组数据独有的属性嵌入到另一组中，完成特征嵌入，这样，每个组中的敏感属性数据都有一部分数据属于本组，同时还融合了来自另一组的不属于自己组的数据。该特征嵌入的详细过程描述如下：将特权组特征嵌入非特权组时，第一步，以卷积神经网络为例，卷积神经网络在结构上可以分为卷积层、池化层以及全连接层等，将卷积神经网络的所有卷积层看作是特征提取层；第二步，分别将敏感属性数据对应的特权组数据x_p和非特权组数据x_up输入进卷积神经网络，在特征提取层可以得到特征提取结果，将特权组数据x_p输出的特征提取结果记为feature_p，将非特权组数据x_up输出的特征提取结果记为feature_up；第三步，求解特权组数据x_p输出的特征提取结果feature_p和非特权组数据x_up输出的特征提取结果feature_up之间的均方误差，并且将该均方误差作为整个特征嵌入过程中的损失函数，记为loss；第四步，如式(1)所示，对非特权组数据x_up添加扰动，同时求解损失函数loss对x_p的梯度，该梯度乘上步长，加上原始的x_up的值，得到新的x'_up，重复本步骤，直到损失函数loss不再收敛为止，新的x'_up即为完成了将特权组特征嵌入至非特权组的过程。

将非特权组特征嵌入特权组时，第一步，以卷积神经网络为例，卷积神经网络在结构上可以分为卷积层、池化层以及全连接层等，将卷积神经网络的所有卷积层看作是特征提取层；第二步，分别将敏感属性数据对应的特权组数据x_p和非特权组数据x_up输入进卷积神经网络，在特征提取层可以得到特征提取结果，将特权组数据x_p输出的特征提取结果记为feature_p，将非特权组数据x_up输出的特征提取结果记为feature_up；第三步，求解特权组数据x_p输出的特征提取结果feature_p和非特权组数据x_up输出的特征提取结果feature_up之间的均方误差，并且将该均方误差作为整个特征嵌入过程中的损失函数，记为loss；第四步，如式(2)所示，对特权组数据x_p添加扰动，同时求解损失函数loss对x_up的梯度，该梯度乘上步长，加上原始的x_p的值，得到新的x'_p，重复本步骤，直到损失函数loss不再收敛为止，新的x'_p即为完成了将非特权组特征嵌入至特权组的过程。

(5)双向特征嵌入后进行鲁棒训练：

在(4)中得到了新的经过了双向特征嵌入的数据集，将新的经过数据增强的数据集用来对深度学习模型进行鲁棒训练，以卷积神经网络模型为例，该深度模型同时具备两类任务，一类任务是常规分类任务，提高其鲁棒性和稳定性，最终训练出新的深度模型。

上述提供的基于双向特征嵌入的深度学习模型去偏方法，提出了一种新的深度模型去偏方法，该方法通过对包含敏感特征属性的数据进行双向嵌入进行数据增强，并且利用增强后的数据对深度模型进行鲁棒训练，这种数据增强的方法避免了在训练过程中因触发深度模型固有的缺陷导致的深度模型决策错误以及带有偏见从而损害深度模型准备性等后果的发生。提出的基于双向特征嵌入的去偏方法可以确保深度学习模型在决策时的客观性以及其决策结果的准备性，并且该方法允许根据实际场景选择结构较为简单的深度学习模型来降低资源消耗，具有较好的普适性，同时该方法也为研究如何产出高质量的深度学习技术、使人工智能技术服务于人们日常生产生活以及促进决策准备提供了参考。

以上所述的具体实施方式对本发明的技术方案和有益效果进行了详细说明，应理解的是以上所述仅为本发明的最优选实施例，并不用于限制本发明，凡在本发明的原则范围内所做的任何修改、补充和等同替换等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种基于双向特征嵌入的深度学习模型去偏方法，其特征在于，包括：

S1：获得带有多标签分类的文本数据集，筛选文本数据集中出现社会偏见的词语并标记作为敏感性样本集，将敏感性样本集划分为第一特权组样本集和第一非特权组样本集；

S2：构建双特征嵌入样本集，对第一特权组样本集中的部分数据进行特征提取得到特权组样本特征数据，同时对第一非特权组样本集中的部分数据进行特征提取得到非特权组样本特征数据；

利用特征嵌入损失函数，将特权组样本特征数据嵌入到第一非特权组样本集得到第二非特权组样本集以及将非特权组样本特征数据嵌入到第一特权组样本集得到第二特权组样本集，第二非特权组样本集和第二特权组样本集构建双特征嵌入样本集；

S3：搭建收入预测模型，所述深度学习模型包括6层全连接网络；

S4：利用双特征嵌入样本集，在训练时，以收入判断任务的损失loss_m1，和去社会偏见损失loss_m2组成的总损失loss为最终损失，其中，去社会偏见损失loss_m2为：

loss_{_}m2＝|y(x'_up)-y(x_up)|+|y(x'_p)-y(x_p)|

其中，x'_up为第二非特权组样本集，x_up为第一非特权组样本集，x'_p为第二特权组样本集，x_p第一特权组样本集，y()为收入预测模型；

S5：每训练一阶段，将收入预测模型输出的收入判断结果和对应的敏感性样本集通过均等差异指标函数进行测算，当均等差异指标函数计算结果满足阈值，则获得最终收入预测模型。

2.根据权利要求1所述的基于双向特征嵌入的深度学习模型去偏方法，其特征在于，对所述的第一特权组样本集和第一非特权组样本集进行特征特征提取前，分别去除在第一特权组样本集和第一非特权组样本集中共有特征。

3.根据权利要求1所述的基于双向特征嵌入的深度学习模型去偏方法，其特征在于，对第一特权组样本集中的部分数据进行特征提取得到特权组样本特征数据，同时对第一非特权组样本集中的部分样本进行特征提取得到非特权组样本特征数据的具体步骤为：

将第一特权组样本集输入至卷积神经网络中，通过卷积神经网络中的卷积层提取特征得到特权组样本特征数据；

将第一非特权组样本集输入至卷积神经网络中，通过卷积神经网络中的卷积层提取特征得到非特权组样本特征数据。

4.根据权利要求1或3所述的基于双向特征嵌入的深度学习模型去偏方法，其特征在于，所述的特征嵌入损失函数为特权组样本特征数据和非特权组样本特征数据的均方误差，如果特征嵌入损失函数未收敛则继续输入特权组样本特征数据和非特权组样本特征数据，如果特征嵌入损失函数收敛则完成嵌入，以得到双特征嵌入样本集。

5.根据权利要求4所述的基于双向特征嵌入的深度学习模型去偏方法，其特征在于，将特权组样本特征数据嵌入到第一非特权组样本集的具体步骤为：将第一非特权组样本集输入至第一特征嵌入模型中得到第二非特权组样本集，所述第一特征嵌入模型为：

其中，loss-t为特征嵌入损失函数，x_p为第一特权组样本集，ε为卷积层的步长，x_up为第一非特权组样本集，x'_up为第二非特权组样本集，直至特征嵌入损失函数loss-t收敛得到第二非特权组样本集。

6.根据权利要求4所述的基于双向特征嵌入的深度学习模型去偏方法，其特征在于，将非敏感性样本特征数据嵌入到第一特权组样本集得到第二特权组样本集的具体步骤为：将第一特权组样本集输入至第二特征嵌入模型中得到第二特权组样本集，所述第一特征嵌入模型为：

其中，x'_p为第二特权组样本集，直至特征嵌入损失函数loss-t收敛得到第二特权组样本集。

7.根据权利要求1所述的基于双向特征嵌入的深度学习模型去偏方法，其特征在于，所述样本分类任务的损失loss-m1为：

其中，n为样本总容量大小，i为样本索引，

代表收入预测值，y代表收入的实际值。

8.根据权利要求1所述的基于双向特征嵌入的深度学习模型去偏方法，其特征在于，所述的均等差异指标函数计算的指标Pr_{mean_difference}为：

Pr_{mean_difference}＝Pr(Y＝1|D＝unprivileged)-Pr(Y＝1|D＝privileged)

其中，D为敏感属性，unprivileged为敏感属性中的非特权组，privileged为敏感属性中的特权组，Pr()为敏感属性为非特权组或特权组的条件下预测为1的条件概率，通过计算在敏感属性为非特权组的条件下预测为1的条件概率减去在敏感属性为特权组的条件下预测为1的条件概率，如果计算结果为0，则完成收入预测模型构建。

Images