CN113692594A - 通过强化学习的公平性改进 - Google Patents

Abstract

可以提供一种用于提高有监督机器学习模型中的公平性的计算机实现的方法。该方法包括将有监督机器学习模型链接到强化学习元模型，选择超参数的列表和有监督机器学习模型的参数，以及通过由涉及强化学习元模型的强化学习引擎基于多个冲突的目标函数计算奖励函数来调整所述超参数的列表的超参数值和有监督机器学习模型的参数的参数值，控制有监督机器学习模型的至少一个方面。该方法进一步包括迭代地重复选择和控制的步骤，用于改进有监督机器学习模型的公平性值。

Description

通过强化学习的公平性改进

技术领域

本发明总体上涉及一种用于改进机器学习的方法，并且更具体地涉及一种用于在有监督机器学习模型(SML)中改进公平性并降低歧视偏差的计算机实现的方法。本发明进一步涉及一种用于改进有监督机器学习模型中的公平性的相关公平性改进系统以及一种计算机程序产品。

背景技术

人工智能、机器学习和/或认知计算当前是研究中的最热主题之一以及企业的实现。近年来，人工智能(AI)方法和应用已经激增。然而，经训练的机器学习模型只能在底层训练数据集取得良好结果。这是为什么社会的某些部分和某些行业团体关于AI技术的第一次采用持谨慎态度的原因之一。偏差偏差(bias)在本文中被定义为给予某些特别子组的系统偏好，其已经被注意到是阻碍进一步AI进展的主要问题。

已经预测AI偏差将爆炸，但仅无偏差的AI将存活。因此，假定全世界也存在相关的防判别法律，减轻机器学习模型中的偏差是当今的关键问题。

毫无疑问，AI是信息技术(IT)行业当前发展的关键驱动之一。但是如果大约70个已知的公平性度量和大约10个已知的现有技术水平的偏差缓解方法可能从研究到实际应用和与财务、人类资本管理、医疗保健和教育范围一样广泛的领域的实际实践中找到其方式，则它可能才能利用这个机会。

存在若干涉及用于控制有监督机器学习模型的计算机实现的方法：

文件US 9,008,840 B1披露了一种用于将知识从外部代理传送至机器人控制器的框架。在障碍物躲避/目标接近应用中，控制器可以被配置为基于感应输入来确定教导信号，该教导信号传达与符合感应输入的目标动作相关联的信息，其中，感应输入表示目标/障碍物。

文件US 2018/0012137 A1披露了一种控制系统和用于控制系统的方法，该系统采用表示该系统的环境的多个状态和相关联轨迹的数据集。其迭代地确定系统的最佳控制策略的估计。

已知解决方案的缺点可能是它们停留在其自身设置的边界中，从而仅在给定参数集内是灵活的。因此，可能需要克服当前已知的方法和系统的限制，特别是增加公平性并且减少机器学习系统在比当今可能的范围更宽的范围内的偏差。

发明内容

根据本发明的一个方面，可以提供用于在有监督机器学习模型中改善公平性并降低歧视偏差的计算机实现的方法。该方法可以包括：将有监督机器学习模型链接到强化学习元模型，选择超参数的列表和所述有监督机器学习模型的参数；以及通过由与所述强化学习元模型有关的强化学习引擎基于多个冲突的目标函数计算奖励函数，调整所述超参数的列表的超参数值和所述有监督机器学习模型的参数的参数值，从而由所述有监督机器学习模型的所述至少一个方面进行控制。

根据本发明的另一方面，可以提供用于在有监督机器学习模型中改善公平性并降低歧视偏差的相关的公平性改善系统。该系统可以包括链接组件，该链接组件被适配成用于将该有监督机器学习模型链接到强化学习元模型，选择器单元，该选择器单元被适配成用于选择超参数和该有监督机器学习模型的多个参数的列表，以及控制器，其适配成通过基于多个冲突的目标函数计算奖励函数，由与强化学习元模型有关的强化学习引擎通过调整超参数值和超参数的列表的参数值以及有监督机器学习模型的参数来控制有监督机器学习模型的至少一个方面。

根据一个优选实施例，该方法还可以包括如果公平性值大于预定义的公平性阈值并且性能值大于预定义的性能阈值，则中断该重复。因此，可能需要满足这两个条件来确定优化的机器学习模型已经被确定。

附图说明

在下文中，将给出附图的详细描述。附图中的所有说明都是示意性的。首先，给出了用于在有监督机器学习模型中提高公平性的本发明的计算机实现的方法的实施例的框图。之后，将描述进一步的实施例，以及用于在有监督机器学习模型中提高公平性的公平性提高系统的实施例。以上定义的方面以及本发明的其他方面从下文将要描述的实施例的实例中是清楚的并且参考实施例的实例进行解释，但是本发明不限于此。

将仅以举例方式并且参考以下附图来描述本发明的优选实施例：

图1示出了用于在有监督机器学习模型中改善公平性并降低歧视偏差的本发明的计算机实现的方法的实施例的流程图。

图2示出了不期望的偏置的框图。

图3示出在高级别上总结所提出的概念的综合流程图的框图。

图4示出了不同机器学习模型类型和/或不同模型参数的总览的实施例的框图。

图5示出了一组交互组件的流程图。

图6展示作为实例的可不具有任何性别偏差的信用评分算法的流程图。

图7示出了用于在监督机器学习模型中改善公平性并降低歧视偏差的公平性改善系统的实施例的框图。

图8示出了包括根据图7的系统的计算系统的实施例的框图。

具体实施方式

在本说明书的上下文中，可以使用以下惯例、术语和/或表达式：

在本文档的上下文中，术语“公平性”-表达为公平性值-可以表示机器学习系统和相关算法的预测相对于特定的受保护属性可以是无偏的。关于这些受保护的属性(例如，分段的相关子组等)(例如，性别、年龄、种族、物理属性、国籍、性别偏好、性别景点、性别标识、信念偏好等)预测和/或分类或机器学习系统的其他输出值，所生成的输出应该是平衡的，即，大致相等。由此，增加公平性值也可被解释为减小机器学习系统的输出的偏差值。

术语“有监督机器学习模型(SML)可以表示具有通过训练过程生成的相关参数的模型，其中，机器学习系统“可以学习”和优化函数的参数以及函数之间的加权因子。因此，该模型可以被视为描述特定机器学习系统的设置的参数集。这样的机器学习系统可以由包括示例的训练数据集来训练，根据所述示例，模型在机器学习系统中被开发或开发其自身。还可以注意到，训练数据集的示例被注释，以表示预期什么是来自机器学习系统的给定输入值的输出值。以此方式，还可根据导出的模型(在训练阶段期间)对用作机器学习系统的输入的未知数据进行分类。

除了有监督机器学习和无监督机器学习之外，术语“强化学习元模型”可以表示第三类型的AI系统。其目的在于使用从与其环境的交互收集的观察来采取将最大化奖励函数或最小化给定风险函数的动作。因此，增强学习算法(通常被实现为代理)可以使用迭代从其环境中连续地学习。在本文的上下文中，关于有监督机器学习模型的参数和超参数的改变来执行迭代，而奖励函数可以被视为约束(即，大于预定义阈值的公平性值和机器学习系统的最小性能)的组合。

术语“参数”可以表示描述给定机器学习算法或相关系统的变量。例如，对于神经网络，不同层的人工神经元之间的加权因子以及激活函数和偏移可被视为参数。与此相反，超参数可以描述机器学习模型本身。例如，对于神经网络，输入神经元的数量、输出神经元的数量、每个隐藏层的神经元的数量以及隐藏层的数量可被表示为超参数。因此，超参数可以描述机器学习模型的架构，而同一机器学习模型的参数描述可以在训练过程期间适配的内部变量。

术语“奖励函数”表示在加强机器学习系统的学习过程中可以被最大化或最小化的函数，其取决于当前的问题。可以尝试优化奖励函数的增强机器学习系统的代理还可以负责与环境参数迭代地“实验”(即，通过改变参数与其环境交互)。在所提出的概念中，这些环境参数可以是机器学习模型的参数以及相关的超参数。

术语“冲突目标函数”可以表示应当同时优化的性能值和公平性值公平。同样，至少一个第三变量(例如，机器学习模型的精确度)也可以被考虑为目标函数。由此，性能值以及公平性值应当在给定的最大迭代次数期间各自达到最小阈值。

术语“F分数算法”(还有F1评分)可以表示测试准确度的测量。可以考虑测试的精度和查全率两者来计算分数。由此，精度可以表示正确肯定结果的数量除以分类器返回的所有肯定结果的数量，其中查全率值是正确肯定结果的数量除以所有相关样本(应当被标识为肯定的所有样本)的数量。F分数还可以被视为精确度和查全率的调和平均值，其中F分数在1处达到其最佳值(完美位置和完美查全率)并且在0处最差。

术语“算法偏差”可以表示所选择的算法可以负责的偏差。它还可以反映在用于机器学习算法的训练的数据中编码、收集、选择或使用它时所涉及的程序员的隐式值。

术语“样本偏差”可以表示通过所述用于机器学习模型的训练的数据给出的偏差。如果数据集可包括90％的与男性有关的数据和仅10％的与女性有关的数据，则可能显而易见的是，样本相对于与男性有关的数据是偏差的。

术语“偏见偏差”可以以某种方式与“样本偏差”相关，并且可以表示由于有监督机器学习模型的程序员、开发者或人类训练者的未经批准的假设而对用于机器学习系统的训练的样本数据的有意识的操纵。

术语“测量偏差”可以表示由于错误测量而使所有数据偏斜的系统误差，并且其导致数据的系统失真。

术语“强化学习周期”在此可以表示有监督机器学习模型的训练周期以及相关奖励函数的评估。在下一个周期期间，强化学习系统可以改变要优化的底层有监督机器学习模型的参数和/或超参数。

术语“强化代理”可以表示增强机器学习系统的一个实现方式选项。强化代理可以改变有监督机器学习模型的参数和/或超参数，以便优化这一点。在这个意义上，强化学习模型的环境可以是有监督机器学习模型。

术语“神经网络”可以表示通过具有权重的边缘连接的人工神经元的脑启示网络。典型地，神经网络可以被组织成多个神经元层(输入层、多个隐藏层和输出层)，其中每个人工神经元可以包括激活函数。在通过示例使用带标注的数据集的训练期间，神经网络可以适配其参数(即，加权因子和激活函数变量)，以便根据已经在训练阶段期间确定的模型基于未知输入数据集递送输出值。

术语“逻辑回归模型”可以表示广泛使用的统计模型，该统计模型在其基本形式中可以使用逻辑函数来对二元因变量进行建模；存在许多更复杂的扩展。在回归分析中，逻辑回归(或logit回归)可以估计逻辑模型的参数；它是二项回归的形式。在数学上，二元逻辑模型具有因变量，该因变量具有两个可能的值，例如合格/失败、胜/失败、活/死或健康/病；这些由指示符变量表示，其中，这两个值被标记为“0”和“1”。在逻辑模型中，标记为“1”的值的对数比值(比值的对数)是一个或多个自变量(“预测器”)的线性组合；这些自变量可以各自是一个二元变量(两类，由一个指示变量编码)或一个连续变量(任何实值)。被标记为“1”的值的相应概率可以在0(必然是值“0”)和1(必然是值“1”)之间变化，因此进行标记；将对数几率转换成概率的函数是逻辑函数，因此是名称。

术语“随机森林模型”可以表示用于分类、回归和其他任务的已知的机器学习方法，其通过在学习时间构建多个决策树并且输出作为个体树的类别(分类)或均值预测(回归)的模式的类别来操作。

术语“支持向量机”可以表示具有其相关联的机器学习算法的已知的有监督机器学习模型，所述算法可以分析用于分类和回归分析的数据。支持向量机模型可被理解为作为空间映射中的点的示例的表示，使得分开的类别的示例被尽可能宽的清楚间隙(GAP)划分。新的示例然后可以被映射到相同的空间中，并且基于它们落入间隙的哪一侧而被预测为属于类别。

术语“受保护的属性”可以表示数据集(训练数据集或查询数据集)中的变量，在这方面，有监督机器学习模型应当是中性的，即，无偏的。一个示例可以是人群(例如，分段的相关子群等)的性别。对于不同的性别，机器学习模型的输出值应当大致相同。

应注意的是，参考不同的主题描述了本发明的实施例。特别地，一些实施例参考方法类型权利要求来描述，而其他实施例参考装置类型权利要求来描述。然而，本领域的技术人员将从以上和以下说明中得出，除非另有说明，除了属于一种类型的主题的特征的任何组合之外，还涉及不同主题的特征之间的任何组合，特别是方法类型权利要求的特征之间的任何组合，以及装置类型权利要求的特征被视为公开在本文件内。

图1示出用于在有监督机器学习模型中改善公平性并降低歧视偏差的计算机实现的方法100的实施例的框图。该方法包括：将有监督机器学习模型(MLM)链接102到增强学习元模型(RLMM)；选择104超参数的列表以及可以被视为有监督机器学习模型的初始设置的有监督机器学习模型的参数。在一些实施例中，参数的选择可以随机进行。在链接期间，RLMM控制和配置有监督MLM。注意，由强化学习元模型链接(即，控制和配置)有监督机器学习模型涉及至少两个因素：配置和读出。配置涉及系统微调和调整模型上的不同参数。读出涉及系统观察预测并最佳地计算奖励。

然而，可以注意到，区分作为机器学习模式的“外部变量或参数”的超参数是有用的，定义特性，如——对于神经网络——激活函数的类型、每层节点的数量，神经网络情况下的层数，或机器学习模型本身，以及有监督学习模型的参数，如学习的变量，特别是链接人工神经元的边缘的加权因子，以及激活函数和偏移(内部变量或参数)。

方法100还可以包括通过基于多个冲突的目标函数计算奖励函数、由与强化学习元模型有关的强化学习引擎通过调整超参数值和超参数的列表的参数值以及有监督机器学习模型的参数来控制(106)有监督机器学习模型的至少一个方面(具体地，涉及一个受保护的值)。

由此，奖励函数可以是指定增强引擎达到其目标的好坏程度的度量，其可以由性能度量、精确性度量和公平性度量来定义。

最后但并非最不重要，方法100包括选择和控制的步骤的迭代重复，用于改善有监督机器学习模型的公平性值。为此目的，确定108目标公平性值(由定义的阈值控制)和目标性能值是否是组合可接受的。注意，步骤108的是(未示出)分支将指示步骤108已实现基于阈值和目标性能值可接受的目标公平性值。否则，步骤108的“否”分支将重复回到步骤104。

在替代性实施例中，所述方法可以包括：接收机器学习的原始版本；接收包括多个参数值、多个超参数值和反映关于分段的相关子组的公平性的原始公平性值的机器学习模型(MLM)的原始版本。此外，在相同的替代实施例中，该方法可以调整MLM的原始版本的参数值中的至少一些和/或超参数值中的至少一些，以创建MLM的临时版本。在调整所述参数之后，所述方法可以通过包括以下各项的操作来确定所述MLM的所述临时版本的公平性值：接收定义多个公平性相关目标的强化学习元模型(RLMM)以及反映所述多个公平性相关目标的奖励函数；操作所述MLM的临时版本；在所述MLM的临时版本的操作期间，由所述RLMM基于所述奖励函数计算奖励值；以及基于所述奖励值来确定所述MLM的所述临时版本的临时公平性值。在相同的替换实施例中，该方法可以确定临时公平性值大于原始公平性值，并且用MLM的临时版本替换MLM的原始版本，并且用临时公平性值替换原始公平性值。

图2示出了不想要的偏置的框图。假设矩形200表示数据湖，则机器学习模型应当被训练成没有任何偏置，如由虚线所示。如果202可以表示该数据湖的男性群体200并且204表示该数据湖的女性群体，则理想训练的系统可以返回与女性预测一样多的男性预测，即，根据区域202与204之间的垂直线。

通常，在有监督机器学习中，基于数据集来训练模型，以便优化一些性能度量，诸如F分数或接收者操作特性(ROC)曲线下面积。然后，可以通过取得数据的子集并检查是否对某个子组给予任何不想要的偏好来完成偏差的测试。在图2的说明中，该测试例如通过考虑男性和女性亚组来实现。由此，假设标准机器学习实践是将数据集分割成训练、测试和验证数据集。然而，这种一般方法对此处呈现的想法没有影响。

在测试男性和女性亚群之后，可以确定是否存在性别偏差。如果存在这样的偏差，将必须手动返回并改变训练设置。例如，这可以包括手动地改变男性/女性训练集比率。显然，这是低效的过程。可替代地，在优化过程中，除了性能度量之外，还可以包括偏差度量。然而，这种多目标优化可能是复杂且耗时的。

图3示出了在高级别上总结所提出的概念的综合流程图300的框图。在302处，训练有监督机器学习模型。然后测试(304)偏差和性能，在此之后，做出判定(306)在所确定的性能值处的所确定的偏差是否是可接受的并且在预定限制内。如果“是”的情况，，过程结束，并且训练有监督机器学习模型。

在确定306不具有肯定结果，即“否”的情况下——机器学习模型的参数可以改变或者机器学习类型改变或者在强化学习引擎的控制下执行对训练数据的重新选择(310)。使用这些新参数和/或超参数，训练302机器学习模型的过程再次开始。否则，结束308。

图4示出了不同机器学习模型类型和/或不同模型参数的风景400的实施例的框图。总览400被示为x-y图表。在y轴上，示出了机器学习模型类型(非限制性)，例如，神经网络、逻辑回归引擎、随机森林引擎和支持向量机。这些机器学习模型中的每个模型可以具有参数和/或超参数数据集(不与训练数据集混淆)，示范性地标记为“ALPHA”、“BETHA”和“GAMMA”。

使用这种模型横向，变得可理解的是强化学习可以用于通过合适的参数调整来减轻有监督机器学习模型中的偏差。代理在不同机器学习模型类型和模型参数集的多维横向(出于简化的原因，这里示出为二维)中操作。

代理在强化学习设置中导航此总览，从而做出合适的开发探索决策。该设置包括优化至少一个目标参数，诸如F分数和偏置目标阈值。换言之，最终机器学习模型应尽可能好地执行，同时不展现超出特定阈值的偏差。因此，例如从具有参数和/或超参数数据集α的逻辑回归模型402开始，迭代步骤可以导致具有参数和/或超参数数据集beta(404)的神经网络、具有参数和/或超参数数据集beta(406)或gamma(408)的SVM。基本上，可以选择具有任何其他合适的参数集和/或超参数数据集的任何其他机器学习模型。

这种方法具有以下优点：可以有效地探索可能的机器学习模型类型和参数/超参数的大空间，以便得到性能度量优化的并且在可接受的偏差度量范围内的机器学习模型。

图5示出了落入三个阶段/三个类别：控制、训练和评估的交互组件的集合的框图500。

控制部分由框514和516表示。在该方法的核心是增强学习(RL)引擎516，其任务是控制有监督机器学习模型以优化公平性和性能。为此，RL引擎通过计算奖励来指导可能的机器学习模型(比较图4)和模型参数以及超参数的空间，所述奖励基于有监督机器学习模型的预测的性能和公平性两者。强化学习引擎516将通过探索有监督机器学习模型的若干不同配置来迭代地优化该奖励函数值，并且终止引擎514基于奖励函数的收敛来确定已经找到合适的预测器。终止引擎514还可具有在终止发生之前必须满足的其他显式准则，例如对所达成的公平性的约束。如果奖励函数结果已经收敛并且有监督机器学习模型满足预先指定的性能和公平性要求，则作为结果呈现优化的有监督机器学习模型(SML)(518)(并且尚未超过所允许的迭代的最大次数)。否则，假设不能找到合适的模型520。由此，此时，模型未被优化(公平性或性能不可接受，但已达到最大迭代次数)。

训练部分由框502表示。在每次迭代中，强化学习引擎516的输出确定有监督机器学习(SML)模型的配置，即，模型的类型及其参数和超参数。然后使用具有相应标签的属性集(被称为训练数据集)来训练所产生的有监督机器学习模型。有监督机器学习模型执行由预处理、训练和后处理组成的三步过程。所有这些步骤都可由强化学习引擎516配置。这里，预处理包括训练数据集的变换，例如，通过归一化、再平衡或所提及的零点降低。然后，训练阶段旨在学习SML模型的参数，以使得能够从预处理步骤的输出预测标签。可使用适于找到模型参数的任何算法。最后，由模型生成的预测可经受后处理步骤，诸如缩放、阈值化或其组合。可以注意到，训练该模型以学习其参数(其自身通常是迭代过程)表示控制强化学习引擎的一个步骤。

评估部分可由框504、506、508、510、512表示。在有监督机器学习模型已经被训练之后，关于预测性能和预测公平性两者来评估该模型。这通过让经训练的有监督机器学习模型对未在SML模型的训练过程中使用的验证数据集执行一组预测来实现。然后从所得的预测计算量：性能度量和公平性度量。这些度量的具体规格取决于当前问题。性能度量的示例是F分数。公平性度量的示例是仅在受保护属性上不同的数据样本之间的平均相对差异。这可以通过拆分预先选择的关键/受保护特征的测试数据集506和通过评估每个子集上的公平性测量508来完成。之后，评估阶段的一部分还可以是不同公平性测量(例如，最大函数、中值等)的合并。两个度量(即，性能和公平性)然后被用作到奖励函数的输入512。如果公平性测量太低，这可能是具有重度惩罚的F分数函数。

关于此功能的规范再次取决于问题。奖励函数的示例是性能度量(F分数)与公平性度量(仅在受保护属性上不同的数据样本之间的平均相对差)的比率504。然后将奖励函数的输出传递给控制强化学习引擎，控制强化学习引擎可以开始下一持续时间或者终止优化过程514。

图6示出了如在图5的上下文中讨论的一般方法，其被实现为信用评分算法600的示例，该信用评分算法600必须不具有性别偏置(在下文中称为受保护参数)。然而，存在多种其他属性，诸如收入、财产和预期对信用分数的指定具有显著影响的其他属性。

建立用于基于一组属性(受保护的属性和其他属性)来预测信用分数的SML模型。在该示例中，使用神经网络(NN)，但是可以应用任何其他SML算法。NN模型具有定义模型的超参数集合(例如，层数、过采样量、学习速率等)。模型类型本身也可以是超参数。随机初始化超参数，并且使用训练数据(SML算法的stuuner训练过程)训练模型602。

通过在测试数据集上计算F分值来评估(604)模型的性能度量。为了说明该实例，假设该迭代的F分数为0.8。

接下来，测量受保护度量(例如，性别)的偏差。在该实施例中，这通过随机采样一组100个女性和一组匹配的100个男性来完成，该组100个男性在除了性别之外的所有属性上尽可能接近地匹配所选择的女性，606。公平评估(608)将需要每对具有类似的信用分数，任何差异被总结(610)到公平度量中。在此实例中，公平度量被计算为所有对之间的平均相对差。在任何其他测量偏差的方法中也是可接受的。为了说明该实例，假定公平度量值为10％(平均相对差异)。

对于稍后使用的强化学习算法，计算奖励函数612，其是性能和偏差的组合。在该示例中，这通过F分数和偏差度量的总和给出。在该示例中，偏置度量被定义为：

*(-1)，如果公平性度量>0.1％，

*0，如果公平性度量<0.1％

因此，在该示例的情况下，R＝0.8-1＝-0.2的奖励(因为10％>0.1％)被馈送到RL网络。

终止引擎614使用所计算的奖励来决定是否要发起任何迭代。如果达到定义的最大迭代次数或如果奖励不再提高(没有收敛)，则终止该过程。也可以规定公平度量必须低于0.1％以终止。在所讨论的示例的情况下，还假设终止引擎发起进一步的迭代；因此，可进一步优化SML模型。因此，终止引擎614确定经优化的SML——例如，经优化的支持向量机(SVM)或神经网络(NN)(618)是否已经在预定义数量的允许迭代内找到(620)。

通过进行多次迭代，RL引擎616因此找到参数和/或超参数的最佳组合，其在维持高性能的同时降低在指定阈值之下的偏差，这导致跨性别的公平信用评分。

在下一步骤中，RL引擎使用所计算的奖励来有效地优化SML模型的参数和/或超参数。对奖励的优化导致如由公平度量测量的偏差的最小化和/或如由F分数测量的模型性能的改善。在信用评分的情况下，RL模型可以是多层神经网络，其使用奖励来微调有监督网络超参数(例如通过改变其层数、过采样量、学习速率等)。

出于完整性原因，图7示出了用于在有监督机器学习模型中改善公平性并降低歧视偏差的公平性改善系统的实施例的框图。该系统包括链接组件702，其适于将有监督机器学习模型链接到强化学习元模型，选择器单元704，该选择器单元被适配成用于选择有监督机器学习模型的参数列表，以及控制器706，其适于通过基于多个冲突的目标函数计算奖励函数来调整有监督机器学习模型的参数列表的参数值，来控制有监督机器学习模型的至少一个方面。

最后但并非最不重要，重复单元708被适配成用于迭代地触发选择器单元和控制器，以便改进有监督机器学习模型的公平性值。

本发明的实施例可以与几乎任何类型的计算机一起实现，而不管平台适于存储和/或执行程序代码。图8作为实例示出适于执行与所提出的方法相关的程序代码的计算系统800。

计算系统800仅是合适的计算机系统的一个示例，并且不旨在对在此描述的本发明的实施例的用途或功能的范围提出任何限制，而不管计算机系统800是否能够被实现和/或执行上文阐述的任何功能。在计算机系统800中，存在可与许多其他通用或专用计算系统环境或配置一起操作的组件。可以适合于与计算机系统/服务器800一起使用的众所周知的计算系统、环境和/或配置的示例包括，但不限于个人计算机系统、服务器计算机系统、瘦客户机、厚客户机，手持式或膝上型设备、多处理器系统、基于微处理器的系统、机顶盒、可编程消费电子产品，网络PC、小型计算机系统、大型计算机系统和包括任何上述系统或设备的分布式云计算环境，等等。计算机系统/服务器800可以在由计算机系统800执行的计算机系统可执行指令(诸如程序模块)的一般上下文中描述。一般而言，程序模块可包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、逻辑、数据结构等。计算机系统/服务器800可以在分布式云计算环境中实践，其中任务由通过通信网络链接的远程处理设备来执行。在分布式云计算环境中，程序模块可位于本地和远程计算机系统存储介质(包括存储器存储设备)两者中。

如图所示，计算机系统/服务器800以通用计算设备的形式示出。计算机系统/服务器800的组件可包含(但不限于)一个或一个以上处理器或处理单元802、系统存储器804和将包含系统存储器804的不同系统组件耦合到一个或一个以上处理器或处理单元802的总线806。总线806表示若干类型的总线结构中的任一种总线结构中的一种或多种，包括存储器总线或存储器控制器、外围总线、加速图形端口、以及使用各种总线架构中的任一种的处理器或局部总线。作为示例而非限制，此类架构包括工业标准架构(ISA)总线、微通道架构(MCA)总线、增强型ISA(EISA)总线、视频电子标准协会(VESA)局部总线和外围组件互连(PCI)总线。计算机系统/服务器800通常包括各种计算机系统可读媒质。这样的介质可以是可由计算机系统/服务器800访问的任何可用介质，并且它包括易失性和非易失性介质、可移动和不可移动介质两者。

系统存储器804可包括易失性存储器形式的计算机系统可读媒质，诸如随机存取存储器(RAM)808和/或高速缓存存储器810。计算机系统/服务器800还可以包括其他可移动/不可移动、易失性/非易失性计算机系统存储媒质。仅作为示例，存储系统812可被提供用于从不可移动、非易失性磁介质(未示出，并且通常被称为“硬盘驱动器”)读取和向其写入。虽然未示出，但是可以提供用于从可移除非易失性磁盘(例如，“软盘”)读取和向可移除非易失性磁盘写入的磁盘驱动器，以及用于从可移除非易失性光盘(诸如CD-ROM、DVD-ROM或其他光学介质)读取或向可移除非易失性光盘写入的光盘驱动器。在这样的实例中，每一个都可以通过一个或多个数据介质接口连接到总线806。如下面将进一步描绘和描述的，存储器804可以包括具有被配置为执行本发明的实施例的功能的一组(例如，至少一个)程序模块的至少一个程序产品。

具有一组(至少一个)程序模块816的程序/实用工具以及操作系统、一个或多个应用程序、其他程序模块和程序数据可以通过示例而非限制的方式存储在存储器804中。操作系统、一个或多个应用程序、其他程序模块和程序数据中的每一者或其某一组合可包含联网环境的实施例。程序模块816通常执行本发明的实施例的功能和/或方法，如本文所述。

计算机系统/服务器800还可以与一个或多个外部设备818通信，诸如键盘、定点设备、显示器820等；使得用户能够与计算机系统/服务器800交互的一个或多个设备；和/或使计算机系统/服务器800能够与一个或多个其他计算设备通信的任何设备(例如，网卡、调制解调器等)。这样的通信可以经由输入/输出(I/O)接口814发生。再者，计算机系统/服务器800可以经由网络适配器822与诸如局域网(LAN)、通用广域网(WAN)和/或公共网络(例如，互联网)之类的一个或多个网络通信。如所描绘的，网络适配器822可以经由总线806与计算机系统/服务器800的其他部件通信。应当理解，尽管未示出，其他硬件和/或软件组件可以与计算机系统/服务器800结合使用。示例包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动器阵列、RAID系统、磁带驱动器和数据归档存储系统等。

另外，用于改进有监督机器学习模型中的公平性的公平性改进系统700可以附接到总线806。

已经出于说明的目的呈现了本发明的不同实施例的描述，但并不旨在是穷尽性的或局限于所披露的实施例。在不背离所描述的实施例的范围和精神的情况下，许多修改和变化对本领域的普通技术人员而言将是显而易见的。这里使用的术语被选择以最佳地解释实施例的原理、实际应用或对市场上存在的技术的技术改进，或者使得本领域普通技术人员能够理解这里公开的实施例。

本发明可以体现为系统、方法和/或计算机程序产品。所述计算机程序产品可包含上面具有计算机可读程序指令的计算机可读存储媒体(或媒体)，所述计算机可读程序指令用于致使处理器执行本发明的方面。

该介质可以是用于传播介质的电子、磁性、光学、电磁、红外或半导体系统。计算机可读介质的示例可包括半导体或固态存储器、磁带、可移动计算机磁盘、随机存取存储器(RAM)、只读存储器(ROM)、刚性磁盘和光盘。光盘的当前示例包括致密盘只读存储器(CD-ROM)、致密盘读/写(CD-R/W)、DVD和蓝光盘。

计算机可读存储媒质可以是可以保留和存储指令以供指令执行设备使用的有形设备。计算机可读存储媒质可以是例如但不限于电子存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或前述各项的任何合适的组合。计算机可读存储媒质的更具体例子的非穷举列表包括以下：便携式计算机盘，硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或闪存)，静态随机存取存储器(SRAM)、便携式致密盘只读存储器(CD-ROM)，数字通用盘(DVD)、记忆棒、软盘、机械编码设备(诸如穿孔卡片)或具有记录在其上的指令的凹槽中的凸起结构)，以及上述的任意合适的组合。如本文中所使用的计算机可读存储媒质不应被解释为瞬态信号本身，诸如无线电波或其他自由传播的电磁波、通过波导或其他传输媒质传播的电磁波(例如，通过光纤电缆的光脉冲)、或通过导线传输的电信号。

本文所述的计算机可读程序指令可从计算机可读存储介质下载到相应的计算/处理设备，或经由网络(例如，互联网、局域网、广域网和/或无线网络)下载到外部计算机或外部存储设备。网络可以包括铜传输电缆、光传输光纤、无线传输、路由器、防火墙、交换机、网关计算机和/或边缘服务器。每个计算/处理设备中的网络适配器卡或网络接口从网络接收计算机可读程序指令，并转发计算机可读程序指令以存储在相应计算/处理设备内的计算机可读存储媒质中。

用于执行本发明的操作的计算机可读程序指令可以是汇编指令，指令集架构(ISA)指令、机器指令、机器相关指令、微代码、固件指令、状态设置数据，或者以一种或多种编程语言的任意组合编写的源代码或目标代码，包括面向对象的Smalltalk、C++等编程语言，以及常规的过程式编程语言，例如C编程语言或类似的编程语言。计算机可读程序指令可以完全地在用户的计算机上执行、部分地作为独立软件包在用户的计算机上执行、部分地在用户的计算机上部分在远程计算机上执行、或者完全地在远程计算机或服务器上执行。在后一种情形中，远程计算机可以通过任何类型的网络(包括局域网(LAN)或广域网(WAN))连接到用户的计算机，或者可以连接到外部计算机(例如，通过使用互联网服务提供商的互联网)。在一些实施例中，电子电路(包括例如可编程逻辑电路、现场可编程门阵列(FPGA)或可编程逻辑阵列(PLA))可以通过利用计算机可读程序指令的状态信息来执行计算机可读程序指令以使电子电路个性化，以便执行本发明的方面。

本文中参考根据本发明的实施例的方法、设备(系统)和计算机程序产品的流程图说明和/或框图描述本发明的方面。应当理解，流程图和/或框图的每个方框以及流程图和/或框图中各方框的组合，都可以由计算机可读程序指令来实现。

这些计算机可读程序指令可以被提供给通用计算机的处理器，专用计算机或其他可编程数据处理装置，以产生机器，其通过计算机或其他可编程数据处理装置的处理器执行，创建用于实现在流程图和/或方框图的一个或多个方框中指定的功能/动作的装置。这些计算机可读程序指令还可存储在可指导计算机的计算机可读存储媒质中，可编程数据处理装置，和/或以特定方式起作用的其他设备，使得具有存储在其中的指令的计算机可读存储媒质包括制品，该制品包括实现流程图和/或框图中的一个或多个方框中规定的功能/动作的各方面的指令。

计算机可读程序指令还可以加载到计算机、其他可编程数据处理装置上，或者使得在计算机上执行一系列操作步骤的另一设备，其他可编程装置或其他设备，以产生计算机实现的过程，使得在计算机上执行的指令，其他可编程装置或另一设备实现流程图和/或框图中的一个或多个方框中规定的功能/动作。

附图中的流程图和/或框图图示了根据本发明的不同实施例的系统、方法和计算机程序产品的可能实现的架构、功能和操作。对此，流程图或框图中的每个方框可以代表模块、段或指令的一部分，其包括用于实现规定的逻辑功能的一个或多个可执行指令。在一些替代实现方式中，框中所标注的功能可以不以图中所标注的顺序发生。例如，取决于所涉及的功能，连续示出的两个框实际上可以基本上同时执行，或者这些框有时可以以相反的顺序执行。还将注意的是，框图和/或流程图中的每个框、以及框图和/或流程图中的框的组合可以由基于专用硬件的系统来实现，所述基于专用硬件的系统执行指定的功能或动作或执行专用硬件与计算机指令的组合。

在此使用的术语仅用于描述具体实施例的目的并且不旨在限制本发明。如在此使用的，单数形式“一个”、“一种”和“该”旨在也包括复数形式，除非上下文另外清楚地指示。将进一步理解的是，当在本说明书中使用术语“包括(comprises)”和/或“包括(comprising)”时，其指定所陈述的特征、整体、步骤、操作、元件和/或组件的存在，但是不排除一个或多个其他特征、整体、步骤、操作、元件、组件和/或其组的存在或添加。

所附权利要求中的所有装置或步骤加上功能元件的对应结构、材料、动作和等效物旨在包括用于结合其他要求保护的元件(如具体要求保护的)来执行功能的任何结构、材料或动作。本发明的描述是出于说明和描述的目的而呈现的，但不旨在是穷尽性的或局限于所披露的形式的本发明。在不脱离本发明的范围和精神的情况下，许多修改和变化对本领域的普通技术人员将是显而易见的。选择和描述这些实施例是为了最好地解释本发明的原理和实际应用，并且使得本领域的普通技术人员能够针对适合于所考虑的具体用途的具有不同修改的不同实施例理解本发明。

最后，所提出的概念可以扼要地总结在以下条款中：

1.一种用于在有监督机器学习模型中改善公平性并降低歧视偏差的计算机实现的方法，所述方法包括：

-将该有监督机器学习模型链接到强化学习元模型，

-选择超参数和该有监督机器学习模型的参数的列表，

-通过由与该增强学习元模型相关的增强学习引擎基于多个冲突目标函数计算奖励函数调整超参数值和该超参数的列表中的参数值以及该有监督机器学习模型的参数，控制该有监督机器学习模型的至少一个方面，

-迭代地重复选择和控制的步骤，以便改善该监督机器学习模型的公平性值。

2.根据条款1所述的方法，还包括

-如果公平性值大于预定义的公平阈值，并且性能值大于预定义的性能阈值，则中断所述重复。

3.根据条款2所述的方法，还包括

-如果在预定义的迭代次数之后，所述公平性值小于所述预定义的公平性阈值或者所述性能值小于所述预定义的性能阈值，则选择新的有监督机器学习模型。

4.根据条款2所述的方法，其中该性能值是从包括速度值、预测质量值、周期数的组中选择的。

5.根据条款4所述的方法，还包括

-使用F分数、查全率和精度和/或准确度来确定预测质量值。

6.根据以上条款中任一项所述的方法，其中该公平性值是相对于算法偏差、样本偏差、偏见偏差或测量偏差来确定的。

7.根据以上条款中任一项所述的方法，其中，所述奖励函数是强化学习周期的组件。

8.根据条款7所述的方法，还包括：

-执行用于控制该增强学习周期的增强代理。

9.根据以上条款中任一项所述的方法，其中，有监督机器学习模型是从包括神经网络、逻辑回归模型、随机森林模型、支持向量机的模型和决策树模型的组中选择的。

10.根据前述条款中任一项所述的方法，其中所述冲突的目标函数包括从包括性能度量、精确性度量或公平性度量的组中选择的至少两个。

11.根据前述条款中任一项所述的方法，其中所述公平性值由仅在受保护属性的值方面不同的样本数据之间的平均相对差异来确定。

12.根据条款2至11所述的方法，还包括

-在确定所述公平性值小于所述预定义的性能阈值时，

通过改变所述超参数来修改有监督机器学习模型，其中所述超参数涉及监督机器学习模型类型、其配置、预处理步骤和/或后处理步骤，或者改变有监督机器学习模型的参数。

13.一种用于在监督机器学习模型中改善公平性并降低歧视偏差的公平性改善系统，所述系统包括：

-链接组件，该链接组件被适配成用于将该有监督机器学习模型链接至强化学习元模型，

-选择器单元，该选择器单元被适配成用于选择超参数和该有监督机器学习模型的参数的列表，

-控制器，该控制器被适配成用于通过由与强化学习元模型相关的强化学习引擎基于多个冲突目标函数计算奖励函数来调整该超参数值和该超参数列表的参数值，控制有监督机器学习模型的至少一个方面，

-重复单元，该重复单元被适配成用于迭代地触发该选择器单元和该控制器以便改善该有监督机器学习模型的公平性值。

14.根据条款13所述的系统，还包括

-如果公平性值大于预定义的公平阈值并且性能值大于预定义的性能阈值，则中断所述重复。

15.根据条款14所述的系统，还包括

-如果在预定义的迭代次数之后，所述公平性值小于所述预定义的公平性阈值或者所述性能值小于所述预定义的性能阈值，则选择新的有监督机器学习模型。

16.根据条款13所述的系统，其中所述性能值选自包括速度值、预测质量值、周期数的组。

17.根据条款16所述的系统，还包括

-确定单元，该确定单元被适配成用于使用F分数、查全率和精确度和/或准确度来确定该预测质量值。

18.根据条款13至17中任一项所述的系统，其中该公平性值是相对于算法偏差、样本偏差、偏见偏差或测量偏差来确定的。

19.根据条款13至18中任一项所述的系统，其中所述奖励函数是强化学习周期的组件。

20.根据条款19所述的系统，还包括

-用于控制该强化学习周期的强化剂系统。

21.根据条款13至20中的任一项所述的系统，其中有监督机器学习模型是从包括神经网络、逻辑回归模型、随机森林模型、支持向量机的模型和决策树模型的组中选择的。

22.根据条款13至21中任一项所述的系统，其中所述冲突目标函数包括从包括性能度量、精确性度量或公平性度量的组中选择的至少两个。

23.根据条款13至22中任一条款所述的方法，其中所述公平性值由仅在受保护属性的值方面不同的样本数据之间的平均相对差异确定。

24.根据条款14至23中任一项所述的方法，其中，该重复单元适用于：

-在确定所述公平性值小于所述预定义的性能阈值时，确定所使用的训练数据集中的维度，其中，所述训练数据集的一个特征具有最大的失衡，以及选择所述已使用的训练数据集的子集，对于所述子集，所确定的维度具有对于所述维度值的所有变体而言相等的数据向量数量加上预定义的增量值。

25.一种用于改善有监督机器学习模型中的公平性的计算机程序产品，所述计算机程序产品包括计算机可读存储介质，所述计算机可读存储介质具有随其体现的程序指令，所述程序指令可由一个或多个计算系统或控制器执行以使所述一个或多个计算系统：

-将所述有监督机器学习模型链接到强化学习元模型，

-选择超参数和有监督机器学习模型的参数的列表，

-通过基于多个冲突目标函数计算奖励函数来调整有监督机器学习模型的所述超参数和所述参数列表的超参数值和参数值，从而控制有监督机器学习模型的至少一个方面，

-迭代地重复选择和控制的步骤，以便改善该监督机器学习模型的公平性值。

Claims (20)

1.一种计算机实现的方法，所述方法包括：

接收机器学习模型(MLM)的原始版本，所述MLM的原始版本包括多个参数值、多个超参数值和反映关于被分段的相关子组的公平性的原始公平性值；

调整所述MLM的所述原始版本的所述参数值中的至少一些参数值和/或所述超参数值中的至少一些超参数值，以创建所述MLM的临时版本；

通过包括以下各项的操作来确定针对所述MLM的所述临时版本的公平性值：

接收强化学习元模型(RLMM)，所述RLMM定义多个公平性相关目标和反映所述多个公平性相关目标的奖励函数；

操作所述MLM的所述临时版本；

在所述MLM的所述临时版本的所述操作期间，由所述RLMM基于所述奖励函数计算奖励值；以及

基于所述奖励值确定针对所述MLM的所述临时版本的临时公平性值；

确定所述临时公平性值大于所述原始公平性值；以及

响应于确定所述临时公平性值大于所述原始公平性值，用所述MLM的所述临时版本替换所述MLM的所述原始版本，并且用所述临时公平性值替换所述原始公平性值。

2.根据权利要求1所述的计算机实现的方法，还包括：

迭代地重复所述操作，直到所述原始公平性值超过预定阈值。

3.根据权利要求1或2所述的计算机实现的方法，其中，所述原始MLM是有监督MLM。

4.根据权利要求1至3之一所述的计算机实现的方法，其中，所述公平性相关目标包括以下至少一项：性别、年龄、国籍、宗教信仰、种族和取向。

5.根据权利要求1至4之一所述的计算机实现的方法，还包括：

基于配置和读出将所述原始MLM链接到所述强化学习元模型。

6.根据权利要求1至5之一所述的计算机实现的方法，其中该多个参数值包括以下参数类型中的至少一个参数类型的值：加权因子和激活函数变量。

7.根据权利要求1至6所述的计算机实现的方法，其中，所述多个超参数值包括以下超参数类型中的至少一个超参数类型的值：激活功能的类型、每层节点的数量、神经网络的层数和机器学习模型。

8.一种计算机程序产品，所述计算机程序产品包括：

一个或多个非暂态计算机可读存储介质以及存储在所述一个或多个非暂态计算机可读存储介质上的程序指令，所述程序指令包括：

用于接收机器学习模型(MLM)的原始版本的程序指令，所述MLM包括多个参数值、多个超参数值和反映关于被分段的相关子组的公平性的原始公平性值；

用于调整所述MLM的所述原始版本的所述参数值中的至少一些参数值和/或所述超参数值中的至少一些超参数值以创建所述MLM的临时版本的程序指令；

用于通过包括以下各项的操作来确定针对所述MLM的所述临时版本的公平性值的程序指令：

用于接收强化学习元模型(RLMM)的程序指令，所述RLMM定义多个公平性相关目标和反映所述多个公平性相关目标的奖励函数；

用于操作所述MLM的所述临时版本的程序指令；

在所述MLM的所述临时版本的所述操作期间，用于由所述RLMM基于所述奖励函数计算奖励值的程序指令；以及

用于基于所述奖励值确定所述MLM的所述临时版本的临时公平性值的程序指令；

确定所述临时公平性值大于所述原始公平性值的程序指令；以及

响应于确定所述临时公平性值大于所述原始公平性值，用于用所述MLM的所述临时版本替换所述MLM的所述原始版本并且用所述临时公平性值替换所述原始公平性值的程序指令。

9.根据权利要求8所述的计算机程序产品，还包括：

用于迭代地重复所述操作直到所述原始公平性值超过预定阈值的程序指令。

10.根据权利要求8或9所述的计算机程序产品，其中，所述原始MLM是有监督MLM。

11.根据权利要求8至10之一所述的计算机程序产品，其中，所述公平性相关目标包括以下至少一项：性别、年龄、国籍、宗教信仰、种族和取向。

12.根据权利要求8至11之一所述的计算机程序产品，还包括：

用于基于配置和读出将所述原始MLM链接到所述增强学习元模型的程序指令。

13.根据权利要求8至12之一所述的计算机程序产品，其中，所述多个参数值包括以下参数类型中的至少一个参数类型的值：加权因子和激活函数变量。

14.根据权利要求8至13之一所述的计算机程序产品，其中，所述多个超参数值包括以下超参数类型中的至少一个超参数类型的值：激活功能的类型、每层节点的数量、神经网络的层数和机器学习模型。

15.一种计算机系统，所述计算机系统包括：

一个或多个计算机处理器；

一个或多个计算机可读存储介质；

存储在所述一个或多个计算机可读存储介质上的用于由所述一个或多个计算机处理器中的至少一个计算机处理器执行的程序指令，所述程序指令包括：

用于接收机器学习模型(MLM)的原始版本的程序指令，所述MLM包括多个参数值、多个超参数值和反映关于被分段的相关子组的公平性的原始公平性值；

用于调整所述MLM的所述原始版本的所述参数值中的至少一些参数值和/或所述超参数值中的至少一些超参数值以创建所述MLM的临时版本的程序指令；

用于通过包括以下各项的操作来确定针对所述MLM的所述临时版本的公平性值的程序指令：

用于接收强化学习元模型(RLMM)的程序指令，所述RLMM定义多个公平性相关目标和反映所述多个公平性相关目标的奖励函数；

用于操作所述MLM的所述临时版本的程序指令；

在所述MLM的所述临时版本的所述操作期间，用于由所述RLMM基于所述奖励函数计算奖励值的程序指令；以及

用于基于所述奖励值确定所述MLM的所述临时版本的临时公平性值的程序指令；

确定所述临时公平性值大于所述原始公平性值的程序指令；以及

响应于确定所述临时公平性值大于所述原始公平性值，用于用所述MLM的所述临时版本替换所述MLM的所述原始版本并且用所述临时公平性值替换所述原始公平性值的程序指令。

16.根据权利要求15所述的计算机系统，还包括：

用于迭代地重复所述操作直到所述原始公平性值超过预定阈值的程序指令。

17.根据权利要求15或16所述的计算机系统，其中，所述公平性相关目标包括以下至少一项：性别、年龄、国籍、宗教信仰、种族和取向。

18.根据权利要求15至17之一所述的计算机系统，还包括：

用于基于配置和读出将所述原始MLM链接到所述增强学习元模型的程序指令。

19.根据权利要求15至18之一所述的计算机系统，其中，所述多个参数值包括以下参数类型中的至少一个参数类型的值：加权因子和激活函数变量。

20.根据权利要求15至19之一所述的计算机系统，其中，所述多个超参数值包括以下超参数类型中的至少一个超参数类型的值：激活功能的类型、每层节点的数量、神经网络的层数和机器学习模型。

Images