CN117610398A - 反事实公平性的预测模型训练方法、预测方法及其装置 - Google Patents

反事实公平性的预测模型训练方法、预测方法及其装置 Download PDF

Info

Publication number
CN117610398A
CN117610398A CN202311236303.9A CN202311236303A CN117610398A CN 117610398 A CN117610398 A CN 117610398A CN 202311236303 A CN202311236303 A CN 202311236303A CN 117610398 A CN117610398 A CN 117610398A
Authority
CN
China
Prior art keywords
training
fairness
attributes
model
attribute
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202311236303.9A
Other languages
English (en)
Inventor
刘越
李昊轩
郑淳元
耿直
张坤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Renmin University of China
Original Assignee
Renmin University of China
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Renmin University of China filed Critical Renmin University of China
Priority to CN202311236303.9A priority Critical patent/CN117610398A/zh
Publication of CN117610398A publication Critical patent/CN117610398A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00—Computer-aided design [CAD]
    • G06F30/20—Design optimisation, verification or simulation
    • G06F30/27—Design optimisation, verification or simulation using machine learning, e.g. artificial intelligence, neural networks, support vector machines [SVM] or training a model
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • General Engineering & Computer Science (AREA)
  • Geometry (AREA)
  • Computer Hardware Design (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明提供一种反事实公平性的预测模型训练方法、预测方法及其装置，该预测模型训练方法包括：获取包括多个样本的训练数据集，每个样本包括含有敏感属性的多个属性和观测结果；基于属性和观测结果生成部分有向无环图，从中查找可能影响敏感属性的属性，生成敏感属性的多个父节点集；基于每个父节点集训练对应预设的倾向性得分模型，输出父节点集对样本的敏感属性值的倾向得分估计值；基于每个倾向得分估计值和对应的预测结果训练对应预设的因果效应模型，输出敏感属性对预测结果的因果效应估计值；基于所有因果效应估计值训练预设的预测模型，结合最小‑最大联合学习算法交替训练因果效应模型和预测模型，使训练好的预测模型满足反事实公平性。

Description

反事实公平性的预测模型训练方法、预测方法及其装置
技术领域
本发明涉及机器学习算法技术领域，尤其涉及一种基于部分有向无环图的反事实公平性的预测模型训练方法、预测方法及其装置。
背景技术
将机器学习算法变得公平对于针对具有不同敏感属性(例如性别等)的子群体或个体做出安全可信的决策至关重要。为了实现公平的预测，以前的研究已经提出了基于关联和基于因果的公平性概念。具体而言，基于关联的公平性研究了敏感属性与预测结果之间的统计独立性，而基于因果的子群公平性则限制了敏感属性对预测结果的因果影响。
在上述公平性概念中，反事实公平性考虑了在特定个体或群体内的因果效应，要求在现实世界没有干预和在对敏感属性进行干预的反事实世界中，预测结果应该相同。尽管已经开发了许多算法来实现反事实公平性，但其中大多数需要真实的因果有向无环图(Directed Acyclic Graph，DAG)是完全已知的。然而，在实践中通常无法直接获得真实的因果DAG和结构方程。此外，如果没有强假设(例如线性和附加噪声)，通常无法从仅观察到的数据中恢复出真实的因果DAG。
为了解决上述真实的因果DAG无法获得的问题，最近的一项研究提出了使用观测数据，首先将观测变量分类为三类的方法：明确的非后代、可能的后代和明确的后代，这些分类是针对敏感属性而言的。接下来，通过注意到如果预测是敏感属性的非后代的函数，则预测将在反事实情况下具有公平性，提出了两种实现反事实公平性的算法：Fair(使用明确的非后代节点进行预测)和FairRelax(进一步结合可能的后代进行预测)。
尽管这在理论上是合理的，但Fair和FairRelax两种算法在训练预测模型时都禁止了所有确定的后代，导致可用于进行预测的属性非常有限，因此可能显著降低预测的准确性。特别是，敏感属性通常是数据的固有属性，因此许多属性都是其后代。总的来说，Fair和FairRelax两种算法都没有充分利用这些属性，损害预测表现，导致预测结果不准确。FairRelax算法使用可能的后代对结果进行预测，而不施加任何公平性约束，无法通过抵消敏感属性对结果的影响进而实现反事实公平性。
发明内容
鉴于此，本发明实施例提供了一种反事实公平性的预测模型训练方法、预测方法及其装置，以消除或改善现有技术中存在的一个或更多个缺陷。
本发明的一个方面提供了一种反事实公平性的预测模型训练方法，该方法包括以下步骤：
获取训练数据集，所述训练数据集包括多个样本，每个样本包括含有敏感属性在内的多个属性和作为标签的对应的观测结果；
基于作为节点的属性和观测结果生成部分有向无环图，从所述部分有向无环图中查找可能影响所述敏感属性的属性，基于查找结果生成所述敏感属性的多个可能的父节点集；
基于每个可能的父节点集训练对应的预设的倾向性得分模型，所述倾向性得分模型用于输出所述可能的父节点集对于样本的敏感属性值的倾向得分估计值；
基于每个倾向得分估计值和对应的预测结果训练对应的预设的因果效应模型，所述因果效应模型用于输出所述敏感属性对于预测结果的因果效应估计值；
基于所有的因果效应估计值训练预设的预测模型，结合最小-最大联合学习算法交替训练所述因果效应模型和所述预测模型，以满足反事实公平性的预测模型作为训练好的公平的预测模型。
在本发明的一些实施例中，所述基于作为节点的属性和观测结果生成部分有向无环图，从所述部分有向无环图中查找可能影响所述敏感属性的属性，基于查找结果生成所述敏感属性的多个可能的父节点集的步骤，包括：
利用因果发现算法对所述训练数据集进行学习，生成完全部分有向无环图；
利用局部学习算法查找所述完全部分有向无环图中可能影响所述敏感属性的属性；
将可能影响所述敏感属性的属性进行排列组合，若所述排列组合没有引入新的对撞结构或者诱导的子图是完全图，则判定该排列组合为所述敏感属性的可能的父节点集。
在本发明的一些实施例中，在基于每个可能的父节点集训练对应的预设的倾向性得分模型的步骤中，通过每个所述可能的父节点集中的属性对所述敏感属性进行拟合，并通过最小化交叉熵损失训练对应的倾向性得分模型。
在本发明的一些实施例中，在基于每个倾向得分估计值和对应的预测结果训练对应的预设的因果效应模型，所述因果效应模型用于输出所述敏感属性对于预测结果的因果效应估计值的步骤中，通过对每个所述可能的父节点集对于样本的敏感属性值的倾向得分估计值进行逆概率加权，得到对应的敏感属性对于预测结果的因果效应的无偏估计。
在本发明的一些实施例中，在基于每个倾向得分估计值和对应的预测结果训练对应的预设的因果效应模型的步骤中，通过最小化目标损失训练对应的因果效应模型。
在本发明的一些实施例中，在基于所有的因果效应估计值训练预设的预测模型，结合最小-最大联合学习算法交替训练所述因果效应模型和所述预测模型，以满足反事实公平性的预测模型作为训练好的公平的预测模型的步骤中，根据每个样本的敏感属性对于预测结果的因果效应估计值，通过最小化平均预测误差，将所述因果效应估计值最大时的反事实公平性违反作为惩罚项对所述预测模型进行训练，并通过不断更新迭代的过程得到满足反事实公平性的预测模型。
在本发明的一些实施例中，所述观测结果包括：改变人的身体健康、性别、年龄和接受教育的水平等属性中至少一个的情况下，工作是否录用或成绩是否合格的结果；
所述敏感属性包括：人的身体健康、性别、年龄和接受教育的水平等属性中的至少一个。
本发明的另一方面提供了一种反事实公平性的预测方法，该方法包括以下步骤：
获取测试数据集，所述测试数据集包括多个样本，每个样本包括含有敏感属性在内的多个属性；
将所述测试数据集输入利用如前所述预测模型训练方法训练好的预测模型中，所述预测模型用于输出满足反事实公平性的预测结果。
本发明的又一方面提供了一种反事实公平性的预测模型训练装置，该装置包括：计算机设备，所述计算机设备包括处理器和存储器，所述存储器中存储有计算机指令，所述处理器用于执行所述存储器中存储的计算机指令，当所述计算机指令被处理器执行时该装置实现如前所述预测模型训练方法的步骤。
本发明的又一方面提供了一种反事实公平性的预测装置，该装置包括：计算机设备，所述计算机设备包括处理器和存储器，所述存储器中存储有计算机指令，所述处理器用于执行所述存储器中存储的计算机指令，当所述计算机指令被处理器执行时该装置实现如前所述预测方法的步骤。
本发明的又一方面提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如前所述反事实公平性的预测模型训练方法和预测方法的步骤。
本发明的反事实公平性的预测模型训练方法、预测方法及其装置，在真实因果图未知的情况下，能够保证预测精度的前提下实现反事实公平性，可以应用于存在不公平现象的各种场景。具体来说，通过充分利用样本的所有属性，包括敏感属性明确的后代，获得敏感属性所有可能的父节点集，据此获得敏感属性对于预测结果所有可能的因果效应。利用最大-最小联合学习算法的优化框架不断地交替更新预测模型和相应可能估计的反事实因果效应，并控制最坏情况下违反公平性的情况，可以通过抵消敏感属性所有可能的反事实因果效应来保证反事实公平性，而且进一步提高了预测的准确性。
本发明的附加优点、目的，以及特征将在下面的描述中将部分地加以阐述，且将对于本领域普通技术人员在研究下文后部分地变得明显，或者可以根据本发明的实践而获知。本发明的目的和其它优点可以通过在说明书以及附图中具体指出的结构实现到并获得。
本领域技术人员将会理解的是，能够用本发明实现的目的和优点不限于以上具体所述，并且根据以下详细说明将更清楚地理解本发明能够实现的上述和其他目的。
附图说明
此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，并不构成对本发明的限定。
图1为本发明一的反事实公平性的预测模型训练方法一种实施方式的流程示意图；
图2为本发明的反事实公平性的预测模型训练方法一种实施方式中步骤S120的流程示意图；
图3为本发明的反事实公平性的预测方法一种实施方式的流程示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白，下面结合实施方式和附图，对本发明做进一步详细说明。在此，本发明的示意性实施方式及其说明用于解释本发明，但并不作为对本发明的限定。
在此，还需要说明的是，为了避免因不必要的细节而模糊了本发明，在附图中仅仅示出了与根据本发明的方案密切相关的结构和/或处理步骤，而省略了与本发明关系不大的其他细节。
应该强调，术语“包括/包含”在本文使用时指特征、要素、步骤或组件的存在，但并不排除一个或更多个其它特征、要素、步骤或组件的存在或附加。
在下文中，将参考附图描述本发明的实施例。在附图中，相同的附图标记代表相同或类似的部件，或者相同或类似的步骤。
首先介绍以下基本概念及其定义：
部分有向无环图(PDAG)：将问题形式化，假设在图中，其中V和E分别表示中的节点集和边集；为有向图、无向图或部分有向图，分别是指图中的所有边都是有向的、无向的，或者是有向和无向边的混合。部分有向无环图(PDAG)可能包含有向边和无向边，但没有有向循环。
完全部分有向无环图(CPDAG)：在有向无环图(DAG)中，所有边都是有向的，并且没有有向循环。如果两个DAGs导致相同的条件独立关系集，那么它们是马尔可夫等价的。一个马尔可夫等价类，用表示，包含所有与等价的DAGs。马尔可夫等价类可以通过一个部分有向图唯一表示，称为完全部分有向无环图其中两个顶点仅在它们在中是相邻的情况下才相邻，而且仅当它在中的所有DAGs中都出现时才出现有向边。
最大导向部分有向无环图(MPDAGs)：如果有关变量之间的某些因果关系的明确知识、干预数据的访问或一些模型限制，那么可以获得这个类的一个细化，由最大导向部分有向无环图(MPDAGs)唯一表示。
父节点、子节点、父节点集、完全图：给定图若顶点Xi1→Xj1在图中，则称Xi1是Xj1的父节点，Xj1为Xi1的子节点，表示中Xj1的父节点集。如果图中所有不同的顶点都相邻，则该图称为完全图。
v-结构(对撞结构)、诱导子图：对于三个不同的顶点Xi，Xj和Xk，如果Xi→Xj←Xk，并且在中Xi不与Xk相邻，那么三元组(Xi，Xj，Xk)被称为在Xj上发生碰撞的v-结构或对撞结构，其中i，j，k代表不同的顶点序号。对于任意顶点集定义图在V′上的诱导子图，通过限制边E在顶点集V′上的边来定义。因此，诱导子图的边集E′被定义为E的子集，其中包含所有两个端点都在y′中的边。
将反事实公平性、反事实推断与图进行结合：将结构因果模型(SCM)定义为一个三元组(U，V，F)，用于模拟变量之间的因果关系。具体来说，V是一组可观测的内生变量，U是一组潜在的独立背景变量，不是V中任何变量的原因。F是一组函数f1，...，f|V|，每个Vi∈V对应一个函数fi，满足Vi＝fi(pai，Ui)，其中Ui∈U。这里，其中所有的i都表示下标序号。值得注意的是，方程集F在变量之间引发了一个有向图，这里假设为DAG，其中导致Vi的原因表示其在因果图中的父节点集。给定背景变量U上的分布P(U)，对变量Vi的干预被定义为将方程Vi＝fi(pai，Ui)替换为方程Vi＝v，其中v是某个值。
基于SCM，反事实推断旨在回答反事实世界中的反事实问题。例如，在公平性的背景下，假设A、Y和X分别表示敏感属性、感兴趣的结果和与敏感属性可能存在某种因果关系的其他可观测属性。对于具有背景变量U＝u和可观测变量A＝a、Y＝y和X＝x的个体(样本)，反事实问题可以表述为“如果A取另一个值a′，Y的值将是多少”。为了解决上述反事实问题，反事实推断包括以下三个步骤：诱导、干预和预测。反事实公平性是基于SCMs的公平性标准，通过上述反事实推断来检查。是由机器学习算法产生的一个对Y的预测，当一个个体在实际世界和反事实世界(在该世界中个体属于不同的人口群体)中预测相同，即反事实因果效应(或称为因果效应)为零，可以说对该个体是反事实公平的。具体定义如下，
反事实公平性：对于任意特征属性X＝x和A＝a，
上式对于所有预测结果的值y和可由敏感属性A获得的任意值a′都成立，其中，表示敏感属性的值为A＝a、与该敏感属性可能存在某种因果关系的其他属性的值为XA←a、背景属性U的值不变时反事实公平性的预测器输出的预测结果。
接下来对现有技术进行介绍：
当真正的因果图未知时，要实现反事实公平性，已知第一项工作是在图上获得反事实公平性的预测器，该工作侧重于利用因果图的性质——使用敏感属性的明确非后代(和可能的后代)进行预测。假设结构方程为：A＝UA，X1＝A+U1，X2＝A+U2，Y＝2X1+X2+UY，并且通过学习得到的CPDAG中A和X1、X2由无向边连接。在这种情况下，
现有的Fair算法阻止了所有与敏感属性存在因果关系的属性，即X1和X2，对结果Y进行预测。在学习到的CPDAG准确的时候，Fair算法虽然能保证反事实公平性，但由于舍弃的节点过多，损害预测表现，导致获得的预测结果不准确。
现有的FairRelax算法，使用可能影响敏感属性的属性，即X1和X2，对结果Y进行预测，而不施加任何公平性约束，再加上X1和X2都是A的可能的后代，因此无法通过抵消敏感属性对结果的影响进而实现反事实公平性。同时，FairRelax算法也会舍弃掉一些节点，从而损害预测表现。并且，Fair算法和FairRelax算法在学习到的CPDAG不准的时候对于公平性没有任何保证。
由于在许多实际情景中，真实的因果图和相应的结构方程都是未知的，这对估计可能的反事实因果效应构成巨大挑战。对此，为了同时解决以上现有算法中存在的问题，提高预测结果的公平性和准确性，本发明实施例提出一种反事实公平性的预测模型训练方法、预测方法及其装置，适用于任意存在不公平现象的具体应用场景。
以下结合身体的健康状况对于学生最终成绩是否合格的结果产生的公平性影响这一示例对本发明实施例提供的技术方案进行进一步说明。
图1是本发明实施例提供的反事实公平性的预测模型训练方法的流程示意图。如图1所示，本发明实施例的一种反事实公平性的预测模型训练方法的步骤包括：
步骤S110，获取训练数据集，所述训练数据集包括多个样本，每个样本包括含有敏感属性在内的多个属性和作为标签的对应的观测结果。
示例性的，训练数据集可以是包含学生的人口统计信息的OULAD(OpenUniversity Learning Analytics Dataset)数据集，该数据集包含32,593名学生和11个属性，其中，32,593名学生为训练数据集中的样本，11个属性为样本属性，分别是学生注册的模块识别码、学生在模块上注册的演示识别码、学生的id、学生的性别、学生居住的地理区域、学生的最高教育水平(highest_education)、指定学生的居住地的经济指数段、学生的年龄段、学生尝试学习该课程的次数、学生目前所学的总学分和学生的身体健康状况；“学生的身体健康状况”被视为敏感属性；对应观测到每个学生取得的最终成绩为观测结果，将该最终成绩二值化为感兴趣的结果。
步骤S120，基于作为节点的属性和观测结果生成部分有向无环图，从所述部分有向无环图中查找可能影响所述敏感属性的属性，基于查找结果生成所述敏感属性的多个可能的父节点集。
本发明实施例中，如图2所示，步骤S120中基于作为节点的属性和观测结果生成部分有向无环图，从所述部分有向无环图中查找可能影响所述敏感属性的属性，基于查找结果生成所述敏感属性的多个可能的父节点集的步骤包括：
步骤S121，利用因果发现算法对所述训练数据集进行学习，生成完全部分有向无环图；
步骤S122，利用局部学习算法查找所述完全部分有向无环图中可能影响所述敏感属性的属性；
步骤S123，将可能影响所述敏感属性的属性进行排列组合，若所述排列组合没有引入新的对撞结构或者诱导的子图是完全图，则判定该排列组合为所述敏感属性可能的父节点集。
示例性的，首先使用因果发现包(causal-learn)中的PC算法从OULAD数据集的原始数据中学习CPDAG，并且控制除性别之外的其他属性不是性别属性的原因，以及将“学生的身体健康状况”这一属性作为唯一的敏感属性。其次，从学到的CPDAG中随机生成一个因果DAG，然后将数据分成100个随机批次。对于每个批次，基于线性回归确定路径系数，并将回归的残差视为噪声。因果DAG中可能影响敏感属性-“学生的身体健康状况”的其他属性(除敏感属性之外)有学生的性别、学生居住的地理区域、学生的年龄段等，则最终得到“学生的身体健康状况”对应的所有可能的父节点集包含{性别}、{居住的地理区域}、{年龄段}、{性别,居住的地理区域}、{性别,年龄段}、{居住的地理区域,年龄段}、以及{性别,年龄段,居住的地理区域}等多个集合。
步骤S130，基于每个可能的父节点集训练对应的预设的倾向性得分模型，所述倾向性得分模型用于输出所述可能的父节点集对于样本的敏感属性值的倾向得分估计值。
本发明实施例中，通过每个所述可能的父节点集中的属性对所述敏感属性进行拟合，并通过最小化交叉熵损失训练对应的倾向性得分模型。
具体的，根据如下公式通过最小化交叉熵损失训练对应的倾向性得分模型：
其中，argmin表示最小化函数，l(·)表示交叉熵损失函数，表示倾向性得分模型，表示第m个可能的父节点集中学生的性别、年龄段、居住的地理区域等属性，m＝1,…,|S(A)|，|S(A)|表示所有可能的父节点集总数，φ(m)表示第m个倾向性得分模型的权重参数，表示第m个倾向性得分模型的权重参数的估计值，S(m)表示第m个父节点集，Ai表示第i个学生样本的敏感属性-“学生的身体健康状况”，i＝1,…,N，N表示学生样本的总数。
根据如下公式输出每个所述可能的父节点集对于样本的敏感属性值的倾向得分估计值：
其中，表示第m个可能的父节点集对于样本的敏感属性值的倾向得分估计值，将敏感属性-“学生的身体健康状况”的两个取值结果“学生的身体处于健康状态”和“学生的身体处于非健康状态”二值化，分别为1和0，对应的，此处输出的倾向得分估计值分别是或
步骤S140，基于每个倾向得分估计值和对应的预测结果训练对应的预设的因果效应模型，所述因果效应模型用于输出所述敏感属性对于预测结果的因果效应估计值。因果效应估计值用于评估预测模型对于每个学生的身体健康状况的属性对其最终成绩是否合格的预测的反事实公平性。
本发明实施例中，通过对每个所述可能的父节点集对于样本的敏感属性值的倾向得分估计值进行逆概率加权，得到对应的敏感属性对于预测结果的反事实因果效应的无偏估计。从而可以获得所有可能的反事实因果效应。
本发明实施例中，通过最小化目标损失训练对应的因果效应模型。
具体的，根据如下公式通过对每个所述可能的父节点集对于样本的敏感属性值的倾向得分估计值进行逆概率加权，得到对应的敏感属性对于预测结果的反事实因果效应的无偏估计，并通过最小化目标损失训练预设的因果效应模型：
其中，k(·)表示目标损失函数，表示第m个因果效应模型，m＝1,…,|S(A)|，|S(A)|表示所有可能的父节点集总数，i表示学生的样本序号，i＝1,…,N，N表示学生的样本总数，xi表示学生样本中除“身体健康状况”之外的性别、年龄段、居住的地理区域等其他属性，ψ(m)表示第m个因果效应模型的权重参数，表示第m个因果效应模型的权重参数的估计值，θ表示预测模型的权重参数，fA←1(xi；θ)表示当敏感属性值为“学生的身体处于健康状态”，即Ai＝1且其他属性“性别、年龄段、居住的地理区域等”的值为时，使用f(xi；θ)预测第i个学生样本的最终成绩是否合格，fA←0(xi；θ)表示当敏感属性值为“学生的身体处于非健康状态”，即Ai＝0且其他属性“性别、年龄段、居住的地理区域等”的值为时，使用f(xi；θ)预测第i个学生样本的最终成绩是否合格。
步骤S150，基于所有的因果效应估计值训练预设的预测模型，结合最小一最大联合学习算法交替训练所述因果效应模型和所述预测模型，以满足反事实公平性的预测模型作为训练好的公平的预测模型。
本发明实施例中，根据每个样本的敏感属性对于预测结果的因果效应估计值，通过最小化平均预测误差，将所述因果效应估计值最大时的反事实公平性违反作为惩罚项对所述预测模型进行训练，并通过不断更新迭代的过程得到满足反事实公平性的预测模型。也就是说，通过对反事实因果效应的最大估计值进行不断更新，结合预测模型在训练过程中每次输出的预测结果，最终实现反事实公平性。
具体的，根据如下公式通过最小化平均预测误差，将所述因果效应估计值最大时的反事实公平性违反作为惩罚项对所述预测模型不断进行训练：
其中，q(·)表示平均预测误差，ψ(1)表示第1个因果效应模型的权重参数，ψ(|S(A)|)表示第|S(A)|个因果效应模型的权重参数，γ表示在预测精度和反事实公平性之间进行权衡的超参数，由于对所有样本实现严格的反事实公平性，即敏感属性对预测模型的个体反事实因果效应为零(也就是说学生无论是否身体健康都不影响其取得合格成绩的结果)通常是不切实际的，而且会以较大的预测精度为代价，因此引入一个用于每个样本个体的松弛变量 具体表示第m个可能的父节点集对应的用于调节每个学生样本对于是否身体健康影响最终成绩是否合格的不公平性容忍度，C表示能够容忍的是否身体健康影响最终成绩是否合格的不公平程度的预设阈值标准，当时对损失进行惩罚，Yi表示对第i个学生样本实际观测到的最终成绩是否合格的真实结果，f(xi；θ)表示对第i个学生样本的最终成绩是否合格的预测结果。
当是线性时，转化为凸优化问题，等价于最小化如下公式中的损失，并对预测模型进行训练：
其中，λ表示在预测精度和反事实公平性之间进行权衡的超参数， 表示对过大反事实因果效应的惩罚，表示取与0的最大值。
需要注意的是，由于真实的因果DAG中敏感属性的父节点集是未知的，所以本发明实施例的方法中步骤S120中获得的所有父节点集为敏感属性所有可能的父节点集，因此，该方法使用最小-最大联合学习算法对预测模型的最坏情况下(所有可能的反事实因果效应最大时)反事实公平性的违反进行控制。该最小-最大联合学习算法的优化框架可以扩展到具有背景知识的CPDAGs和最大导向PDAGs(MPDAGs)。以上结合该算法交替训练可能的因果效应模型和控制最坏情况下反事实公平性违反的预测模型的过程，可以视为预测模型的反事实评估和策略改进的迭代过程。
图3是本发明实施例提供的一种反事实公平性的预测方法的示意图。如图3所示，本发明实施例的一种反事实公平性的预测方法的步骤包括：
步骤S210，获取测试数据集，所述测试数据集包括多个样本，每个样本包括含有敏感属性在内的多个属性。
示例性的，测试数据集也可以是包含学生的人口统计信息的OULAD数据集，该数据集包含不同学生及其11个属性的数据集，但该数据集不包含结果，对每个学生取得的最终成绩未知。学生属性分别是学生注册的模块识别码、学生在模块上注册的演示识别码、学生的id、学生的性别、学生居住的地理区域、学生的最高教育水平(highest_education)、指定学生的居住地的经济指数段、学生的年龄段、学生尝试学习该课程的次数、学生目前所学的总学分和学生的身体健康状况，其中，“学生的身体健康状况”被视为敏感属性。
步骤S220，将所述测试数据集输入利用如前所述反事实公平性的预测模型训练方法训练好的预测模型中，所述预测模型用于输出满足反事实公平性的预测结果。
这里输出的预测结果具体可以是学生对应的最终成绩是否合格的预测结果，该预测结果满足反事实公平性。
需要注意的是，本发明实施例提出的反事实公平性的预测模型训练方法和预测方法并不局限于上述示例“身体是否健康对于学生最终成绩是否合格的结果产生的公平性影响”的具体应用场景中，敏感属性仅有一个，敏感属性和结果的取值仅有两个的情况，对敏感属性有多个，敏感属性的取值有多个，结果的取值有多个的各种应用场景均适用。
接着，以下仍使用示例“身体是否健康对于学生最终成绩是否合格的结果产生的公平性影响”的具体应用场景对以上反事实公平性的预测模型训练方法和预测方法进行如下两个实验的验证。
实验中，通过使用Y和之间的均方根误差(RMSE)来衡量预测性能，使用和之间的RMSE来衡量反事实公平性的违反，称为不公平性。这两个指标都是越小越好。
实验例一：在OULAD数据集上的验证(真实的因果图未知)
实验中，生成数据之后的实验步骤与实验例二相同。将本发明实施例中预测模型训练方法训练好的预测模型Ours与以下四个基线预测模型进行比较：1)Full使用所有属性，2)Unaware使用除敏感属性之外的所有属性，3)FairRelax在CPDAG中使用所有明确的非后代和可能的后代属性，4)Fair在CPDAG中使用所有明确的非后代属性，结果如下表1所示。
表1：本发明实施例的方法和基线在OULAD数据测试集上RMSE和不公平性的表现
通过表1可知，基于真实数据集上的反事实公平性预测，与基线相比，本发明实施例的方法在预测性能和公平性方面都具有优势。
实验例二：在合成数据集上的验证(真实的因果图已知)
实验中，合成数据集中的数据基于真实DAG的线性结构方程模型生成，先根据-Rényi(ER)模型随机生成一个包含d个节点和2d个有向边的DAG，d∈{10，20，30，40}。有向边Xj→Xk的路径系数βjk是从均匀分布Uniform([-2，-0.5]U[0.5，2])中随机抽取的。根据如下公式生成数据：
其中，pa(Xk)表示Xk的父节点集，噪声∈i～N(0，γ)，γ∈{1.5，2.5}，n是样本大小，实验中为1,000。生成数据后，使用因果学习包中的PC算法学习CPDAG，然后随机选择两个节点作为反事实结果Y和敏感属性A，A是从二项分布Binomial([0，1])中随机抽取的，概率为其中σ(·)表示sigmoid函数。训练数据和测试数据的比例分别设置为0.8和0.2。
将本发明实施例中预测模型训练方法训练好的预测模型Ours与以下五个基线预测模型进行比较：1)Full使用所有属性，2)Unaware使用除敏感属性之外的所有属性，3)Oracle使用所有在真实DAG中作为敏感属性的非后代属性。4)FairRelax在CPDAG中使用所有明确的非后代和可能的后代属性，5)Fair在CPDAG中使用所有明确的非后代属性，结果如下表2所示。
表2：本发明实施例的方法和基线在合成数据测试集上RMSE和不公平性的表现
通过表2可知，Full和Unaware在RMSE上表现更好，但Fair，FairRelax和本发明实施例的方法在不公平性上有明显的优势。值得注意的是，在所有情况下，本发明实施例提出的方法在RMSE和不公平性指标上都优于Fair和FairRelax。这是因为本发明可以利用所有属性进行预测，并通过抵消敏感属性对结果的影响来控制不公平性。而当学习到的CPDAG不准确时，Fair和FairRelax几乎无法找到敏感属性的真正后代。
与上述方法相应地，本发明实施例的一种反事实公平性的预测模型训练装置包括计算机设备，所述计算机设备包括处理器和存储器，所述存储器中存储有计算机指令，所述处理器用于执行所述存储器中存储的计算机指令，当所述计算机指令被处理器执行时该装置实现如前所述反事实公平性的预测模型训练方法的步骤。
与上述方法相应地，本发明实施例的一种反事实公平性的预测装置包括计算机设备，所述计算机设备包括处理器和存储器，所述存储器中存储有计算机指令，所述处理器用于执行所述存储器中存储的计算机指令，当所述计算机指令被处理器执行时该装置实现如前所述反事实公平性的预测方法的步骤。
本发明实施例还提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时以实现前述反事实公平性的预测模型训练方法和预测方法的步骤。该计算机可读存储介质可以是有形存储介质，诸如随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、软盘、硬盘、可移动存储盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质。
本领域普通技术人员应该可以明白，结合本文中所公开的实施方式描述的各示例性的组成部分、系统和方法，能够以硬件、软件或者二者的结合来实现。具体究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。当以硬件方式实现时，其可以例如是电子电路、专用集成电路(ASIC)、适当的固件、插件、功能卡等等。当以软件方式实现时，本发明的元素是被用于执行所需任务的程序或者代码段。程序或者代码段可以存储在机器可读介质中，或者通过载波中携带的数据信号在传输介质或者通信链路上传送。
需要明确的是，本发明并不局限于上文所描述并在图中示出的特定配置和处理。为了简明起见，这里省略了对已知方法的详细描述。在上述实施例中，描述和示出了若干具体的步骤作为示例。但是，本发明的方法过程并不限于所描述和示出的具体步骤，本领域的技术人员可以在领会本发明的精神后，作出各种改变、修改和添加，或者改变步骤之间的顺序。
本发明中，针对一个实施方式描述和/或例示的特征，可以在一个或更多个其它实施方式中以相同方式或以类似方式使用，和/或与其他实施方式的特征相结合或代替其他实施方式的特征。
以上所述仅为本发明的优选实施例，并不用于限制本发明，对于本领域的技术人员来说，本发明实施例可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种反事实公平性的预测模型训练方法，其特征在于，该方法的步骤包括：
获取训练数据集，所述训练数据集包括多个样本，每个样本包括含有敏感属性在内的多个属性和作为标签的对应的观测结果；
基于作为节点的属性和观测结果生成部分有向无环图，从所述部分有向无环图中查找可能影响所述敏感属性的属性，基于查找结果生成所述敏感属性的多个可能的父节点集；
基于每个可能的父节点集训练对应预设的倾向性得分模型，所述倾向性得分模型用于输出所述可能的父节点集对于样本的敏感属性值的倾向得分估计值；
基于每个倾向得分估计值和对应的预测结果训练对应预设的因果效应模型，所述因果效应模型用于输出所述敏感属性对于预测结果的因果效应估计值；
基于所有的因果效应估计值训练预设的预测模型，结合最小-最大联合学习算法交替训练所述因果效应模型和所述预测模型，以满足反事实公平性的预测模型作为训练好的公平的预测模型。
2.根据权利要求1所述的方法，其特征在于，所述基于作为节点的属性和观测结果生成部分有向无环图，从所述部分有向无环图中查找可能影响所述敏感属性的属性，基于查找结果生成所述敏感属性的多个可能的父节点集的步骤，包括：
利用因果发现算法对所述训练数据集进行学习，生成完全部分有向无环图；
利用局部学习算法查找所述完全部分有向无环图中可能影响所述敏感属性的属性；
将可能影响所述敏感属性的属性进行排列组合，若所述排列组合没有引入新的对撞结构或者诱导的子图是完全图，则判定该排列组合为所述敏感属性的可能的父节点集。
3.根据权利要求1所述的方法，其特征在于，在基于每个可能的父节点集训练对应预设的倾向性得分模型的步骤中，通过每个所述可能的父节点集中的属性对所述敏感属性进行拟合，并通过最小化交叉熵损失训练对应的倾向性得分模型。
4.根据权利要求1所述的方法，其特征在于，在基于每个倾向得分估计值和对应的预测结果训练对应预设的因果效应模型，所述因果效应模型用于输出所述敏感属性对于预测结果的因果效应估计值的步骤中，通过对每个所述可能的父节点集对于样本的敏感属性值的倾向得分估计值进行逆概率加权，得到对应的敏感属性对于预测结果的因果效应的无偏估计。
5.根据权利要求4所述的方法，其特征在于，在基于每个倾向得分估计值和对应的预测结果训练对应预设的因果效应模型的步骤中，通过最小化目标损失训练对应的因果效应模型。
6.根据权利要求1所述的方法，其特征在于，在基于所有的因果效应估计值训练预设的预测模型，结合最小-最大联合学习算法交替训练所述因果效应模型和所述预测模型，以满足反事实公平性的预测模型作为训练好的公平的预测模型的步骤中，根据每个样本的敏感属性对于预测结果的因果效应估计值，通过最小化平均预测误差，将所述因果效应估计值最大时的反事实公平性违反作为惩罚项对所述预测模型进行训练，并通过不断更新迭代的过程得到满足反事实公平性的预测模型。
7.根据权利要求1-6中任一项所述的方法，其特征在于，所述观测结果包括：改变人的身体健康、性别、年龄和接受教育的水平属性中至少一个的情况下，工作是否录用或成绩是否合格的结果；
所述敏感属性包括：人的身体健康、性别、年龄和接受教育的水平属性中的至少一个。
8.一种反事实公平性的预测方法，其特征在于，该方法的步骤包括：
获取测试数据集，所述测试数据集包括多个样本，每个样本包括含有敏感属性在内的多个属性；
将所述测试数据集输入利用如权利要求1-7中任一项所述的方法训练好的预测模型中，所述预测模型用于输出满足反事实公平性的预测结果。
9.一种反事实公平性的预测模型训练装置，包括计算机设备，所述计算机设备包括处理器和存储器，其特征在于，所述存储器中存储有计算机指令，所述处理器用于执行所述存储器中存储的计算机指令，当所述计算机指令被处理器执行时该装置实现如权利要求1至7中任一项所述方法的步骤。
10.一种反事实公平性的预测装置，包括计算机设备，所述计算机设备包括处理器和存储器，其特征在于，所述存储器中存储有计算机指令，所述处理器用于执行所述存储器中存储的计算机指令，当所述计算机指令被处理器执行时该装置实现如权利要求8所述方法的步骤。
CN202311236303.9A 2023-09-22 2023-09-22 反事实公平性的预测模型训练方法、预测方法及其装置 Pending CN117610398A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311236303.9A CN117610398A (zh) 2023-09-22 2023-09-22 反事实公平性的预测模型训练方法、预测方法及其装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311236303.9A CN117610398A (zh) 2023-09-22 2023-09-22 反事实公平性的预测模型训练方法、预测方法及其装置

Publications (1)

Publication Number Publication Date
CN117610398A true CN117610398A (zh) 2024-02-27

Family

ID=89946772

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311236303.9A Pending CN117610398A (zh) 2023-09-22 2023-09-22 反事实公平性的预测模型训练方法、预测方法及其装置

Country Status (1)

Country Link
CN (1) CN117610398A (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150280968A1 (en) * 2014-04-01 2015-10-01 Ca, Inc. Identifying alarms for a root cause of a problem in a data processing system
CN115240843A (zh) * 2022-07-14 2022-10-25 山东大学 基于结构因果模型的公平性预测系统
CN115374790A (zh) * 2022-07-22 2022-11-22 浙江师范大学 基于因果图神经网络的学习者情感演化分析方法与系统

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150280968A1 (en) * 2014-04-01 2015-10-01 Ca, Inc. Identifying alarms for a root cause of a problem in a data processing system
CN115240843A (zh) * 2022-07-14 2022-10-25 山东大学 基于结构因果模型的公平性预测系统
CN115374790A (zh) * 2022-07-22 2022-11-22 浙江师范大学 基于因果图神经网络的学习者情感演化分析方法与系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
AOQI ZUO ET AL: "Counterfactual Fairness with Partially Known Causal Graph", 《36TH CONFERENCE ON NEURAL INFORMATION PROCESSING SYSTEMS(NEURIPS 2022)》, 31 December 2022 (2022-12-31), pages 1 - 15 *
马真真: "基于因果推断的肺癌患者生存时间预测方法研究", 《中国优秀硕士学位论文全文数据库医药卫生科技辑》, 15 March 2022 (2022-03-15) *

Similar Documents

Publication Publication Date Title
Huang et al. Generalized score functions for causal discovery
Lan et al. Time-varying learning and content analytics via sparse factor analysis
Russell et al. When worlds collide: integrating different counterfactual assumptions in fairness
Simeone Machine learning for engineers
Cheng et al. Evaluation methods and measures for causal learning algorithms
Hernández-Lobato et al. Generalized Spike-and-Slab Priors for Bayesian Group Feature Selection Using Expectation Propagation.
Wang et al. Efficient learning by directed acyclic graph for resource constrained prediction
Garg et al. Learning non-stationary space-time models for environmental monitoring
Tang et al. A parametric classification rule based on the exponentially embedded family
Li et al. Using deep learning to preserve data confidentiality
Giordano et al. Input variable selection in neural network models
Harada et al. Sparse estimation of linear non-Gaussian acyclic model for causal discovery
Swamy et al. The future of human-centric eXplainable Artificial Intelligence (XAI) is not post-hoc explanations
Guo et al. Learning fair representations via distance correlation minimization
Feng et al. Selective prediction‐set models with coverage rate guarantees
CN114298299A (zh) 基于课程学习的模型训练方法、装置、设备及存储介质
Michiels et al. Explaining the model and feature dependencies by decomposition of the Shapley value
Li et al. Dynamic Feature Acquisition with Arbitrary Conditional Flows
Rao et al. An empirical evaluation of Shapley additive explanations: A military implication
CN117610398A (zh) 反事实公平性的预测模型训练方法、预测方法及其装置
Luther et al. Efficient SAGE estimation via causal structure learning
Liu et al. Learning from small data: A pairwise approach for ordinal regression
O’Brien et al. Investigating Causally Augmented Sparse Learning as a Tool for Meaningful Classification
CN113486736A (zh) 一种基于活跃子空间与低秩进化策略的黑盒对抗攻击方法
Hong et al. Using spatial data support for reducing uncertainty in geospatial applications

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination