CN113807541B - 决策系统的公平性修复方法、系统、设备及存储介质 - Google Patents

决策系统的公平性修复方法、系统、设备及存储介质 Download PDF

Info

Publication number
CN113807541B
CN113807541B CN202111095511.2A CN202111095511A CN113807541B CN 113807541 B CN113807541 B CN 113807541B CN 202111095511 A CN202111095511 A CN 202111095511A CN 113807541 B CN113807541 B CN 113807541B
Authority
CN
China
Prior art keywords
decision
neuron
machine learning
learning model
sample
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111095511.2A
Other languages
English (en)
Other versions
CN113807541A (zh
Inventor
沈超
郜炫齐
蔺琛皓
王骞
李琦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xian Jiaotong University
Original Assignee
Xian Jiaotong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xian Jiaotong University filed Critical Xian Jiaotong University
Priority to CN202111095511.2A priority Critical patent/CN113807541B/zh
Publication of CN113807541A publication Critical patent/CN113807541A/zh
Application granted granted Critical
Publication of CN113807541B publication Critical patent/CN113807541B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Medical Informatics (AREA)
  • Complex Calculations (AREA)
  • Image Analysis (AREA)

Abstract

本发明属于机器学习领域，公开了一种决策系统的公平性修复方法、系统、设备及存储介质，包括获取决策系统的机器学习模型以及若干决策样本，根据各决策样本下决策系统的机器学习模型的激活路径统计，将决策样本分为特殊激活样本和正常决策样本，当决策样本为正常决策样本时，基于机器学习模型的原始训练方式训练机器学习模型；当决策样本为特殊激活样本时，基于Dropout训练方式训练机器学习模型；遍历完成后，得到优化机器学习模型；采用优化机器学习模型替代决策系统的机器学习模型，得到修复的决策系统。可以检测和修复潜在的评分决策机器学习系统的公平性问题。经过修复的决策系统公平性表现有了明显提高，不再表现出对敏感属性的明显歧视性。

Description

决策系统的公平性修复方法、系统、设备及存储介质
技术领域
本发明属于机器学习领域，涉及一种决策系统的公平性修复方法、系统、设备及存储介质。
背景技术
随着人力成本的升高，如今越来越多的决策系统依赖于自动化的评分与决策，并大量采用机器学习模型作为其实现手段。由于机器学习模型需要用到历史数据进行训练，可能包括以前的歧视和社会偏见的模式。在这些数据上训练的机器学习模型很可能继承敏感属性的偏见，如年龄、性别、肤色和地区。例如，一项研究发现美国的犯罪预测系统COMPAS存在强烈的不公平性，该系统被用来评估刑事被告成为惯犯的可能性。该系统显示出对有色人种的强烈偏见，即使他们不是惯犯，也倾向于把他们预测为惯犯。因此，基于机器学习模型的决策系统中隐藏的偏见可能会导致严重的公平性问题，这引起了人们对其在现实世界中应用的担忧，特别是在涉及重要决策的情况下。
针对这一问题，目前提出了通过优化决策系统的机器学习模型来修复其公平性。现有的优化方法集中在机器学习模型的内处理，分为添加公平性约束和使用多端神经网络进行对抗性训练。其中，添加公平性约束能够有效增加公平性，但导致机器学习模型的预测性能下降较为严重，从而很难应用到实际场景中。使用多端神经网络进行对抗性训练能够取得较好公平性改进的同时维持较高的预测性能，但这类方法效率较低，且需要对网络结构进行较大改动，在许多场景下无法实现。因此，现有的决策系统的公平性修复方法无法很好地完成，在不重构其机器学习模型的前提下，高效修复其公平性问题的同时，维持较高的决策性能。
发明内容
本发明的目的在于克服上述现有技术中的缺点，提供一种决策系统的公平性修复方法、系统、设备及存储介质。
为达到上述目的，本发明采用以下技术方案予以实现：
本发明第一方面，一种决策系统的公平性修复方法，包括以下步骤：
获取决策系统的机器学习模型以及若干决策样本，将若干决策样本依次输入所述机器学习模型，得到机器学习模型中各神经元的平均激活值；
根据机器学习模型中各神经元的平均激活值，遍历各决策样本，获取当前决策样本下的各神经元的相对激活值，根据当前决策样本下的各神经元的相对激活值，得到当前决策样本下的机器学习模型各层突触的贡献值比例，获取机器学习模型的各层突触的贡献值比例从大至小叠加至大于第一预设阈值的突触，得到目标突触；连接所有目标突触，得到当前决策样本的激活路径；遍历完成后，得到各决策样本的激活路径；
根据各决策样本的激活路径，获取同一激活路径包括的决策样本数量，将同一激活路径包括的决策样本数量小于第二预设阈值的激活路径中，包括的所有决策样本为特殊激活样本，其余激活路径中的决策样本为正常决策样本；
遍历各决策样本，当决策样本为正常决策样本时，基于机器学习模型的原始训练方式训练机器学习模型；当决策样本为特殊激活样本时，基于Dropout训练方式训练机器学习模型；遍历完成后，得到优化机器学习模型；
采用优化机器学习模型替代决策系统的机器学习模型，得到修复的决策系统。
本发明决策系统的公平性修复方法进一步的改进在于：
所述将若干决策样本依次输入所述机器学习模型，得到机器学习模型中各神经元的平均激活值的具体方法为：
将若干决策样本依次输入所述机器学习模型，得到各决策样本对应的机器学习模型中各神经元的激活值，将所有决策样本对应的机器学习模型中各神经元的激活值进行平均，得到机器学习模型中各神经元的平均激活值。
所述获取当前决策样本下的各神经元的相对激活值的具体方法为：
获取当前决策样本下的机器学习模型中各神经元的激活值，以当前决策样本下机器学习模型中各神经元的激活值减去机器学习模型中各神经元的平均激活值的差的绝对值，作为当前决策样本下的各神经元的相对激活值。
所述根据当前决策样本下的各神经元的相对激活值，得到当前决策样本下的机器学习模型各层突触的贡献值比例的具体方法为：
A1：获取当前决策样本的输出神经元，以输出神经元作为目标神经元；
A2：获取目标神经元上一层的所有神经元，根据当前决策样本下的各神经元的相对激活值，得到当前决策样本下目标神经元上一层的各神经元对目标神经元的贡献值；
A3：通过下式，得到当前决策样本下目标神经元上一层的各神经元与目标神经元之间的突触的贡献值比例：目标神经元上一层的各神经元与目标神经元之间的突触的贡献值比例＝目标神经元上一层的各神经元对目标神经元的贡献值/目标神经元上一层的各神经元对目标神经元的贡献值之和；
A4：以当前目标神经元上一层的各神经元中，对当前目标神经元的贡献值不为0的神经元替代当前目标神经元，重复执行A2～A3，至当前目标神经元不存在上一层神经元，得到当前决策样本下的机器学习模型各层突触的贡献值比例。
所述根据当前决策样本下的各神经元的相对激活值，得到当前决策样本下目标神经元上一层的各神经元对目标神经元的贡献值的具体方法为：
通过下式，得到当前决策样本下目标神经元上一层的各神经元对目标神经元的贡献值：目标神经元上一层的各神经元对目标神经元的贡献值＝(目标神经元上一层的各神经元的相对激活值×目标神经元上一层的各神经元与目标神经元之间突触的权重)/目标神经元的相对激活值。
所述获取机器学习模型的各层突触的贡献值比例从大至小叠加至大于第一预设阈值的突触，得到目标突触的具体方法为：
通过下式，获取机器学习模型的各层突触的贡献值比例从大至小叠加至大于第一预设阈值的突触，得到目标突触的集合
Figure BDA0003268970400000041
Figure BDA0003268970400000042
其中，n为神经元，L为神经元层数编号，γ为第一预设阈值，
Figure BDA0003268970400000043
为第i个突触的权重值，i为第L层神经元的编号，p为第L-1层神经元的编号。
所述第一预设阈值为0.8，所述第二预设阈值为决策样本数量×预设比例。
本发明第二方面，一种决策系统的公平性修复系统，包括：
获取模块，用于获取决策系统的机器学习模型以及若干决策样本，将若干决策样本依次输入所述机器学习模型，得到机器学习模型中各神经元的平均激活值；
激活路径确定模块，用于根据机器学习模型中各神经元的平均激活值，遍历各决策样本，获取当前决策样本下的各神经元的相对激活值，根据当前决策样本下的各神经元的相对激活值，得到当前决策样本下的机器学习模型各层突触的贡献值比例，获取机器学习模型的各层突触的贡献值比例从大至小叠加至大于第一预设阈值的突触，得到目标突触；连接所有目标突触，得到当前决策样本的激活路径；遍历完成后，得到各决策样本的激活路径；
样本分类模块，用于根据各决策样本的激活路径，获取同一激活路径包括的决策样本数量，将同一激活路径包括的决策样本数量小于第二预设阈值的激活路径中，包括的所有决策样本为特殊激活样本，其余激活路径中的决策样本为正常决策样本；
优化模块，用于遍历各决策样本，当决策样本为正常决策样本时，基于机器学习模型的原始训练方式训练机器学习模型；当决策样本为特殊激活样本时，基于Dropout训练方式训练机器学习模型；遍历完成后得到优化机器学习模型；
修复模块，用于采用优化机器学习模型替代决策系统的机器学习模型，得到修复的决策系统。
本发明第三方面，一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述的决策系统的公平性修复方法的步骤。
本发明第四方面，一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述的决策系统的公平性修复方法的步骤。
与现有技术相比，本发明具有以下有益效果：
本发明决策系统的公平性修复方法，通过获取机器学习模型中各神经元的平均激活值，以及各决策样本下的各神经元的相对激活值，进而根据各决策样本下的各神经元的相对激活值，得到各决策样本下的机器学习模型各层突触的贡献值比例，然后根据各决策样本下的机器学习模型各层突触的贡献值比例，得到各决策样本的激活路径；经过统计各决策样本的激活路径，将同一激活路径包括的决策样本数量小于第二预设阈值的激活路径中，包括的所有决策样本为特殊激活样本，其余激活路径中的决策样本为正常决策样本；实现决策样本的分类，进而针对不同类型的决策样本，采用不同的训练方式，以实现决策系统的机器学习模型的优化，继而采用优化机器学习模型替代决策系统的机器学习模型，得到修复的决策系统。可以有效检测和修复潜在的决策系统的公平性问题，经过修复的决策系统公平性表现有了明显提高，不再表现出对敏感属性的明显歧视性。并且，充分满足了维持决策系统高决策性能，维持机器学习模型大体结构等实际应用限制。
附图说明
图1为本发明的决策系统的公平性修复方法流程框图；
图2为本发明的一实施例中激活路径确定流程示意图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
下面结合附图对本发明做进一步详细描述：
参见图1，本发明一实施例中，提供一种决策系统的公平性修复方法，实现高效修复决策系统的公平性问题的同时，维持决策系统较高的决策性能，具体的，该决策系统的公平性修复方法包括以下步骤。
S1：获取决策系统的机器学习模型以及若干决策样本，将若干决策样本依次输入所述机器学习模型，得到机器学习模型中各神经元的平均激活值。
其中，所述将若干决策样本依次输入所述机器学习模型，得到机器学习模型中各神经元的平均激活值的具体方法为：将若干决策样本依次输入所述机器学习模型，得到各决策样本对应的机器学习模型中各神经元的激活值，将所有决策样本对应的机器学习模型中各神经元的激活值进行平均，得到机器学习模型中各神经元的平均激活值。
具体的，决策样本数据一般是存在偏差的历史社会统计数据，如信用决策系统，决策样本就是一个借贷者的年龄、住址及年收入，犯罪决策系统，决策样本就是一个罪犯的入狱年份，入狱时长，种族及性别等。将原始数据集中的若干决策依次输入机器学习模型中，并在列表中记录每个神经元的激活值。本实施例中，以2隐层深度神经网络的机器学习模型为例进行说明，但不以此为限。进而，通过将每个神经元对应的列表进行平均运算，即可得到每个神经元的平均激活值。
S2：根据机器学习模型中各神经元的平均激活值，遍历各决策样本，获取当前决策样本下的各神经元的相对激活值，根据当前决策样本下的各神经元的相对激活值，得到当前决策样本下的机器学习模型各层突触的贡献值比例，获取机器学习模型的各层突触的贡献值比例从大至小叠加至大于第一预设阈值的突触，得到目标突触；连接所有目标突触，得到当前决策样本的激活路径；遍历完成后，得到各决策样本的激活路径。
其中，所述获取当前决策样本下的各神经元的相对激活值的具体方法为：获取当前决策样本下的机器学习模型中各神经元的激活值，以当前决策样本下机器学习模型中各神经元的激活值减去机器学习模型中各神经元的平均激活值的差的绝对值，作为当前决策样本下的各神经元的相对激活值。
其中，所述根据当前决策样本下的各神经元的相对激活值，得到当前决策样本下的机器学习模型各层突触的贡献值比例的具体方法为：
A1：获取当前决策样本的输出神经元，以输出神经元作为目标神经元。
A2：获取目标神经元上一层的所有神经元，根据当前决策样本下的各神经元的相对激活值，得到当前决策样本下目标神经元上一层的各神经元对目标神经元的贡献值。
A3：通过下式，得到当前决策样本下目标神经元上一层的各神经元与目标神经元之间的突触的贡献值比例：目标神经元上一层的各神经元与目标神经元之间的突触的贡献值比例＝目标神经元上一层的各神经元对目标神经元的贡献值/目标神经元上一层的各神经元对目标神经元的贡献值之和。
A4：以当前目标神经元上一层的各神经元中，对当前目标神经元的贡献值不为0的神经元替代当前目标神经元，重复执行A2～A3，至当前目标神经元不存在上一层神经元，得到当前决策样本下的机器学习模型各层突触的贡献值比例。
其中，根据当前决策样本下的各神经元的相对激活值，得到当前决策样本下目标神经元上一层的各神经元对目标神经元的贡献值的具体方法为：通过下式，得到当前决策样本下目标神经元上一层的各神经元对目标神经元的贡献值：目标神经元上一层的各神经元对目标神经元的贡献值＝(目标神经元上一层的各神经元的相对激活值×目标神经元上一层的各神经元与目标神经元之间突触的权重)/目标神经元的相对激活值。
具体的，设某神经元n有k个突触(s1,s2,…,sk)，连接k个上一层的神经元(n1,n2,…,nk)到神经元n。神经元n的激活值被计算为
Figure BDA0003268970400000091
其中，wi是突触si的权重，xi是ni的激活值。第i个上一层神经元的贡献值可以用下式得到：
Figure BDA0003268970400000092
在本实施例中，新建一个空集O，添加最后一层神经元即输出神经元到O中；迭代进行一下步骤：从O中抽取一个神经元o；计算o的所有前置神经元的贡献值；将o的所有前置神经元添加到O中，将o移出O。
其中，第一预设阈值为0.8，但不以此为限，可以从一开始的若干决策样本中选取部分进行预实验，并采用同间隔的方式从0～1中提取若干初始第一预设阈值，根据预实验结果确定最优的初始第一预设阈值，作为最终的第一预设阈值。
其中，所述获取机器学习模型的各层突触的贡献值比例从大至小叠加至大于第一预设阈值的突触，得到目标突触的具体方法为：
通过下式，获取机器学习模型的各层突触的贡献值比例从大至小叠加至大于第一预设阈值的突触，得到目标突触的集合
Figure BDA0003268970400000093
Figure BDA0003268970400000094
其中，n为神经元，L为神经元层数编号，γ为第一预设阈值，
Figure BDA0003268970400000095
为第i个突触的权重值，i为第L层神经元的编号，p为第L-1层神经元的编号。
S3：根据各决策样本的激活路径，获取同一激活路径包括的决策样本数量，将同一激活路径包括的决策样本数量小于第二预设阈值的激活路径中，包括的所有决策样本为特殊激活样本，其余激活路径中的决策样本为正常决策样本。
具体的，给定若干决策样本，若干决策样本中有效激活路径为P的决策样本的数量称为P的路径统计值。
具体的，本实施例中，最大路径统计值为10382，取θ＝10-3，第二预设阈值为10382×θ＝10，则路径统计值小于10的所有激活路径即为异常激活路径，异常激活路径对应样本即为特殊激活样本。
S4：遍历各决策样本，当决策样本为正常决策样本时，基于机器学习模型的原始训练方式训练机器学习模型；当决策样本为特殊激活样本时，基于Dropout训练方式训练机器学习模型；遍历完成后，得到优化机器学习模型。
其中，Dropout是Google提出的一种正则化技术，用以在人工神经网络中对抗过拟合。Dropout有效的原因，是它能够避免在训练数据上产生复杂的相互适应。Dropout这个术语代指在神经网络中丢弃部分神经元(包括隐藏神经元和可见神经元)。在训练阶段，dropout使得每次只有部分网络结构得到更新，因而是一种高效的神经网络模型平均化的方法。
S5：采用优化机器学习模型替代决策系统的机器学习模型，得到修复的决策系统。最终，采用优化后的机器学习模型替代决策系统的机器学习模型，以实现决策系统的公平性修复。
本发明决策系统的公平性修复方法，通过获取机器学习模型中各神经元的平均激活值，以及各决策样本下的各神经元的相对激活值，进而根据各决策样本下的各神经元的相对激活值，得到各决策样本下的机器学习模型各层突触的贡献值比例，然后根据各决策样本下的机器学习模型各层突触的贡献值比例，得到各决策样本的激活路径；经过统计各决策样本的激活路径，将同一激活路径包括的决策样本数量小于第二预设阈值的激活路径中，包括的所有决策样本为特殊激活样本，其余激活路径中的决策样本为正常决策样本；实现决策样本的分类，进而针对不同类型的决策样本，采用不同的训练方式，以实现决策系统的机器学习模型的优化，继而采用优化机器学习模型替代决策系统的机器学习模型，得到修复的决策系统。可以有效检测和修复潜在的决策系统的公平性问题，经过修复的决策系统公平性表现有了明显提高，不再表现出对敏感属性的明显歧视性。并且，充分满足了维持决策系统高决策性能，维持机器学习模型大体结构等实际应用限制。
该决策系统的公平性修复方法更加贴近真实场景需求，具体体现在两方面：一，克服了现有的添加公平性约束型方法导致机器学习模型预测性能下降较为严重，从而很难应用到实际场景中的缺陷；二，克服了现有使用多端神经网络进行对抗性训练效率较低且需要对机器学习模型进行较大改动的缺陷，仅需进行Dropout训练方式进行训练即可高效地修复公平性问题。
参见图2，本发明再一个实施例中，以一个简化的2隐层神经网络的神经网络模型为例，来演示S2的具体执行过程。
训练好的原始神经网络权重如图2中的(a)所示，输入一个2维向量，输出结果为2维向量。首先从神经网络的输出中获取到每个神经元的平均激活值，在本例中为简便起见均设置为0，如图2中的(b)所示。设当前决策样本为(1,2)，接下来逐层计算各神经元的激活值，并与相对激活值作差，具体的，第一隐藏层的神经元分别为[1×3+2×1-0,1×2+2×(-2)-0,1×0+2×1-0]，即[5,2,2]，此后神经元依此类推，结果如图2中的(c)所示。从输出神经元开始迭代计算贡献值：由于最终分类至
Figure BDA0003268970400000121
对应的第一类，故
Figure BDA0003268970400000122
抽取O中神经元
Figure BDA0003268970400000123
计算其所有突触的贡献值：
Figure BDA0003268970400000124
对应突触贡献值为
Figure BDA0003268970400000125
Figure BDA0003268970400000126
对应突触贡献值为
Figure BDA0003268970400000127
同理，可计算出
Figure BDA0003268970400000128
对应突触贡献值分别为
Figure BDA0003268970400000129
Figure BDA00032689704000001210
对应突触贡献值分别为
Figure BDA00032689704000001211
Figure BDA00032689704000001212
对应突触贡献值分别为
Figure BDA00032689704000001213
Figure BDA00032689704000001214
对应突触贡献值分别为[1,2]，
Figure BDA00032689704000001215
对应突触贡献值分别为[0,1]。在本实施例中，设定第一预设阈值γ＝0.8，
Figure BDA00032689704000001216
对应突触贡献值比例为
Figure BDA00032689704000001217
故将突触
Figure BDA00032689704000001218
添加进路径；同理，
Figure BDA00032689704000001219
也逐步被添加进路径，得到当前决策样本的激活路径。通过重复上述过程，得到各决策样本的激活路径。
下述为本发明的装置实施例，可以用于执行本发明方法实施例。对于装置实施例中未纰漏的细节，请参照本发明方法实施例。
本发明再一实施例中，提供一种决策系统的公平性修复系统，能够用于实现上述的决策系统的公平性修复方法，具体的，该决策系统的公平性修复系统包括获取模块、激活路径确定模块、样本分类模块、优化模块以及修复模块。
其中，获取模块用于获取决策系统的机器学习模型以及若干决策样本，将若干决策样本依次输入所述机器学习模型，得到机器学习模型中各神经元的平均激活值；激活路径确定模块用于根据机器学习模型中各神经元的平均激活值，遍历各决策样本，获取当前决策样本下的各神经元的相对激活值，根据当前决策样本下的各神经元的相对激活值，得到当前决策样本下的机器学习模型各层突触的贡献值比例，获取机器学习模型的各层突触的贡献值比例从大至小叠加至大于第一预设阈值的突触，得到目标突触；连接所有目标突触，得到当前决策样本的激活路径；遍历完成后，得到各决策样本的激活路径；样本分类模块用于根据各决策样本的激活路径，获取同一激活路径包括的决策样本数量，将同一激活路径包括的决策样本数量小于第二预设阈值的激活路径中，包括的所有决策样本为特殊激活样本，其余激活路径中的决策样本为正常决策样本；优化模块用于遍历各决策样本，当决策样本为正常决策样本时，基于机器学习模型的原始训练方式训练机器学习模型；当决策样本为特殊激活样本时，基于Dropout训练方式训练机器学习模型；遍历完成后得到优化机器学习模型；修复模块用于采用优化机器学习模型替代决策系统的机器学习模型，得到修复的决策系统。
本发明再一个实施例中，提供了一种计算机设备，该计算机设备包括处理器以及存储器，所述存储器用于存储计算机程序，所述计算机程序包括程序指令，所述处理器用于执行所述计算机存储介质存储的程序指令。处理器可能是中央处理单元(CentralProcessing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital SignalProcessor、DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable GateArray，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等，其是终端的计算核心以及控制核心，其适于实现一条或一条以上指令，具体适于加载并执行计算机存储介质内一条或一条以上指令从而实现相应方法流程或相应功能；本发明实施例所述的处理器可以用于决策系统的公平性修复方法的操作。
本发明再一个实施例中，本发明还提供了一种存储介质，具体为计算机可读存储介质(Memory)，所述计算机可读存储介质是计算机设备中的记忆设备，用于存放程序和数据。可以理解的是，此处的计算机可读存储介质既可以包括计算机设备中的内置存储介质，当然也可以包括计算机设备所支持的扩展存储介质。计算机可读存储介质提供存储空间，该存储空间存储了终端的操作系统。并且，在该存储空间中还存放了适于被处理器加载并执行的一条或一条以上的指令，这些指令可以是一个或一个以上的计算机程序(包括程序代码)。需要说明的是，此处的计算机可读存储介质可以是高速RAM存储器，也可以是非不稳定的存储器(non-volatile memory)，例如至少一个磁盘存储器。可由处理器加载并执行计算机可读存储介质中存放的一条或一条以上指令，以实现上述实施例中有关决策系统的公平性修复方法的相应步骤。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
最后应当说明的是：以上实施例仅用以说明本发明的技术方案而非对其限制，尽管参照上述实施例对本发明进行了详细的说明，所属领域的普通技术人员应当理解：依然可以对本发明的具体实施方式进行修改或者等同替换，而未脱离本发明精神和范围的任何修改或者等同替换，其均应涵盖在本发明的权利要求保护范围之内。

Claims (10)

1.一种决策系统的公平性修复方法，其特征在于，包括以下步骤：
获取决策系统的机器学习模型以及若干决策样本，将若干决策样本依次输入所述机器学习模型，得到机器学习模型中各神经元的平均激活值；
根据机器学习模型中各神经元的平均激活值，遍历各决策样本，获取当前决策样本下的各神经元的相对激活值，根据当前决策样本下的各神经元的相对激活值，得到当前决策样本下的机器学习模型各层突触的贡献值比例，获取机器学习模型的各层突触的贡献值比例从大至小叠加至大于第一预设阈值的突触，得到目标突触；连接所有目标突触，得到当前决策样本的激活路径；遍历完成后，得到各决策样本的激活路径；
根据各决策样本的激活路径，获取同一激活路径包括的决策样本数量，将同一激活路径包括的决策样本数量小于第二预设阈值的激活路径中，包括的所有决策样本为特殊激活样本，其余激活路径中的决策样本为正常决策样本；
遍历各决策样本，当决策样本为正常决策样本时，基于机器学习模型的原始训练方式训练机器学习模型；当决策样本为特殊激活样本时，基于Dropout训练方式训练机器学习模型；遍历完成后，得到优化机器学习模型；
采用优化机器学习模型替代决策系统的机器学习模型，得到修复的决策系统。
2.根据权利要求1所述的决策系统的公平性修复方法，其特征在于，所述将若干决策样本依次输入所述机器学习模型，得到机器学习模型中各神经元的平均激活值的具体方法为：
将若干决策样本依次输入所述机器学习模型，得到各决策样本对应的机器学习模型中各神经元的激活值，将所有决策样本对应的机器学习模型中各神经元的激活值进行平均，得到机器学习模型中各神经元的平均激活值。
3.根据权利要求2所述的决策系统的公平性修复方法，其特征在于，所述获取当前决策样本下的各神经元的相对激活值的具体方法为：
获取当前决策样本下的机器学习模型中各神经元的激活值，以当前决策样本下机器学习模型中各神经元的激活值减去机器学习模型中各神经元的平均激活值的差的绝对值，作为当前决策样本下的各神经元的相对激活值。
4.根据权利要求1所述的决策系统的公平性修复方法，其特征在于，所述根据当前决策样本下的各神经元的相对激活值，得到当前决策样本下的机器学习模型各层突触的贡献值比例的具体方法为：
A1：获取当前决策样本的输出神经元，以输出神经元作为目标神经元；
A2：获取目标神经元上一层的所有神经元，根据当前决策样本下的各神经元的相对激活值，得到当前决策样本下目标神经元上一层的各神经元对目标神经元的贡献值；
A3：通过下式，得到当前决策样本下目标神经元上一层的各神经元与目标神经元之间的突触的贡献值比例：目标神经元上一层的各神经元与目标神经元之间的突触的贡献值比例＝目标神经元上一层的各神经元对目标神经元的贡献值/目标神经元上一层的各神经元对目标神经元的贡献值之和；
A4：以当前目标神经元上一层的各神经元中，对当前目标神经元的贡献值不为0的神经元替代当前目标神经元，重复执行A2～A3，至当前目标神经元不存在上一层神经元，得到当前决策样本下的机器学习模型各层突触的贡献值比例。
5.根据权利要求4所述的决策系统的公平性修复方法，其特征在于，所述根据当前决策样本下的各神经元的相对激活值，得到当前决策样本下目标神经元上一层的各神经元对目标神经元的贡献值的具体方法为：
通过下式，得到当前决策样本下目标神经元上一层的各神经元对目标神经元的贡献值：目标神经元上一层的各神经元对目标神经元的贡献值＝(目标神经元上一层的各神经元的相对激活值×目标神经元上一层的各神经元与目标神经元之间突触的权重)/目标神经元的相对激活值。
6.根据权利要求1所述的决策系统的公平性修复方法，其特征在于，所述获取机器学习模型的各层突触的贡献值比例从大至小叠加至大于第一预设阈值的突触，得到目标突触的具体方法为：
通过下式，获取机器学习模型的各层突触的贡献值比例从大至小叠加至大于第一预设阈值的突触，得到目标突触的集合
Figure FDA0003268970390000031
Figure FDA0003268970390000032
其中，n为神经元，L为神经元层数编号，γ为第一预设阈值，
Figure FDA0003268970390000033
为第i个突触的权重值，i为第L层神经元的编号，p为第L-1层神经元的编号。
7.根据权利要求1所述的决策系统的公平性修复方法，其特征在于，所述第一预设阈值为0.8，所述第二预设阈值为决策样本数量×预设比例。
8.一种决策系统的公平性修复系统，其特征在于，包括：
获取模块，用于获取决策系统的机器学习模型以及若干决策样本，将若干决策样本依次输入所述机器学习模型，得到机器学习模型中各神经元的平均激活值；
激活路径确定模块，用于根据机器学习模型中各神经元的平均激活值，遍历各决策样本，获取当前决策样本下的各神经元的相对激活值，根据当前决策样本下的各神经元的相对激活值，得到当前决策样本下的机器学习模型各层突触的贡献值比例，获取机器学习模型的各层突触的贡献值比例从大至小叠加至大于第一预设阈值的突触，得到目标突触；连接所有目标突触，得到当前决策样本的激活路径；遍历完成后，得到各决策样本的激活路径；
样本分类模块，用于根据各决策样本的激活路径，获取同一激活路径包括的决策样本数量，将同一激活路径包括的决策样本数量小于第二预设阈值的激活路径中，包括的所有决策样本为特殊激活样本，其余激活路径中的决策样本为正常决策样本；
优化模块，用于遍历各决策样本，当决策样本为正常决策样本时，基于机器学习模型的原始训练方式训练机器学习模型；当决策样本为特殊激活样本时，基于Dropout训练方式训练机器学习模型；遍历完成后得到优化机器学习模型；
修复模块，用于采用优化机器学习模型替代决策系统的机器学习模型，得到修复的决策系统。
9.一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至7任一项所述决策系统的公平性修复方法的步骤。
10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述决策系统的公平性修复方法的步骤。
CN202111095511.2A 2021-09-17 2021-09-17 决策系统的公平性修复方法、系统、设备及存储介质 Active CN113807541B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111095511.2A CN113807541B (zh) 2021-09-17 2021-09-17 决策系统的公平性修复方法、系统、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111095511.2A CN113807541B (zh) 2021-09-17 2021-09-17 决策系统的公平性修复方法、系统、设备及存储介质

Publications (2)

Publication Number Publication Date
CN113807541A CN113807541A (zh) 2021-12-17
CN113807541B true CN113807541B (zh) 2023-04-14

Family

ID=78939570

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111095511.2A Active CN113807541B (zh) 2021-09-17 2021-09-17 决策系统的公平性修复方法、系统、设备及存储介质

Country Status (1)

Country Link
CN (1) CN113807541B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114254763B (zh) * 2021-12-27 2024-04-05 西安交通大学 机器学习模型修复方法、系统、计算机设备及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109190379A (zh) * 2018-08-03 2019-01-11 清华大学 一种深度学习系统的漏洞检测方法和装置
CN109829541A (zh) * 2019-01-18 2019-05-31 上海交通大学 基于学习自动机的深度神经网络增量式训练方法及系统
CN111340227A (zh) * 2020-05-15 2020-06-26 支付宝(杭州)信息技术有限公司 通过强化学习模型对业务预测模型进行压缩的方法和装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109190379A (zh) * 2018-08-03 2019-01-11 清华大学 一种深度学习系统的漏洞检测方法和装置
CN109829541A (zh) * 2019-01-18 2019-05-31 上海交通大学 基于学习自动机的深度神经网络增量式训练方法及系统
CN111340227A (zh) * 2020-05-15 2020-06-26 支付宝(杭州)信息技术有限公司 通过强化学习模型对业务预测模型进行压缩的方法和装置

Also Published As

Publication number Publication date
CN113807541A (zh) 2021-12-17

Similar Documents

Publication Publication Date Title
WO2021155706A1 (zh) 利用不平衡正负样本对业务预测模型训练的方法及装置
US11176418B2 (en) Model test methods and apparatuses
CN108737406B (zh) 一种异常流量数据的检测方法及系统
CN107766929B (zh) 模型分析方法及装置
CN109271958B (zh) 人脸年龄识别方法及装置
CN113435509B (zh) 基于元学习的小样本场景分类识别方法及系统
CN107223260B (zh) 用于动态地更新分类器复杂度的方法
CN111178446B (zh) 一种基于神经网络的目标分类模型的优化方法、装置
CN108509996A (zh) 基于Filter和Wrapper选择算法的特征选择方法
CN107403188A (zh) 一种水质评价方法及装置
CN113807541B (zh) 决策系统的公平性修复方法、系统、设备及存储介质
CN112738098A (zh) 一种基于网络行为数据的异常检测方法及装置
CN116542701A (zh) 一种基于cnn-lstm组合模型的碳价预测方法及系统
CN116310563A (zh) 一种贵金属库存的管理方法及系统
CN106934373A (zh) 一种图书馆图书损坏评定方法及系统
CN111967973B (zh) 银行客户数据处理方法及装置
CN112084936B (zh) 一种人脸图像预处理方法、装置、设备及存储介质
CN111783688B (zh) 一种基于卷积神经网络的遥感图像场景分类方法
CN112905987B (zh) 账号识别方法、装置、服务器及存储介质
CN116977064A (zh) 一种基于损失函数的风控模型构建方法、系统及装置
CN110889316B (zh) 一种目标对象识别方法、装置及存储介质
CN116631190A (zh) 智能交通监控系统及其方法
CN113723593A (zh) 一种基于神经网络的切负荷预测方法及系统
CN116823264A (zh) 风险识别方法、装置、电子设备、介质及程序产品
CN110570093A (zh) 一种业务拓展渠道自动管理的方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant