CN117237096B - 可解释的机器学习驱动的信贷风控系统 - Google Patents

Abstract

本发明属于机器学习系统可解释性领域，公开了一种可解释的机器学习驱动的信贷风控系统。首先，根据用户的反馈，即让用户对特征变量值改变的难易程度打分，分数区间为[0,10]分，分数越高该特征对于该用户来说越容易改变，在生成反事实实例时优先考虑分数高的特征。其次，要考虑生成的样本的数据分布和改变的特征的数量。生成的反事实解释优先使用用户打分高的特征、并且使用的特征数量越少，越容易被用户理解和接受。如果生成的反事实样本，使用了大量的不相关的特征，对于用户来说是不易于理解的。除了评分高的特征这个指标外，还需要考虑稀疏性和与原始样本的接近性，即：合理性、稀疏性和接近性是评价一个好的反事实样本的关键指标。

Description

可解释的机器学习驱动的信贷风控系统

技术领域

本发明属于机器学习系统可解释性领域，涉及一种可解释的机器学习驱动的信贷风控系统，具体而言是用一种特征加权的反事实方法来解释信贷风控系统的结果。

背景技术

信贷风控系统主要由专家规则和机器学习模型组成，用于判断借款人的信用情况，从而决定是否给借款人进行贷款。当用户被拒绝贷款，该用户可能会想知道自己为什么被拒绝贷款？自己如何改进才能获得贷款？因此，需要信贷风控系统具有可解释性。专家规则很好理解，具有很好的可解释性。然而机器学习模型并不都是可解释的，例如：深度神经网络。本发明主要是提供了一种基于机器学习模型的信贷风控系统的可解释性方法。

已有很多研究是关于机器学习模型可解释性的，然而这些可解释性方法主要是解释哪些特征变量对结果影响比较显著，并不能说明如何改变这些特征变量从而可以改变模型的结果。例如：年收入到底提升多少，才能通过贷款？特征重要性的解释方法并不能给出答案。

后来有研究使用反事实的方法，例如：Wachter,S.等人提出了“COUNTERFACTUALEXPLANATIONS WITHOUT OPENING THE BLACK BOX:AUTOMATED DECISIONS AND THE GDPR”方法，来解释如何改变特征变量的值可以改变模型的结果。然而这些方法主要是针对机器学习模型进行可解释性的研究，没有从工程应用的角度和结合特定领域知识进行可解释的研究。特定领域的某些特征变量是无法改变的或者很难改变的，例如：年龄、性别、学历等，然而传统的反事实方法未考虑到特征变量改变的难易程度，例如信贷风控领域，一个反事实实例是：该用户的年龄降低10岁即可获得贷款或者改变该用户的性别可以获得贷款。然而年龄是不能降低的、性别是不能改变的。再例如：改变年收入和学历特征变量的难易程度是不同的，年收入从10万提升到11万也许很容易，然而学历却很难从专科提升到本科。因此生成反事实解释的时候要考虑到不同特征变量值改变的难易程度。

然而，现有的反事实方法没有考虑到用户的反馈，即对于不同的用户来说，同一个特征变量的改变难易程度是不同的。例如，对于用户A来说，年收入从10万提升到11万很容易，然而对于用户B来说，年收入很难从10万提升到11万；对于用户A来说，最近一个月消费从1000元提升到3000元很容易，然而对于用户B来说，最近一个月消费很难从1000元提升到3000元。

因此本发明提出了特征加权的反事实方法。根据专家经验对特征的初始权重进行设定，作为预训练的反事实方法。根据用户的反馈可以对初始权重进行调整，得到调整后的反事实实例。通过最终的反事实模型可以给出更合理的解释。

发明内容

本发明的目的是提供一种特征加权的反事实方法，可用于解释信贷风控系统的决策结果并给出如何改变决策结果的方法。本发明不仅仅是对决策结果进行解释，并且给出了如何改变决策结果的方法。本发明同时考虑到了不同特征变量值改变的难易程度是不同的，提出了一种基于用户反馈的特征加权的反事实方法。

生成反事实解释实例可以被定义为一个优化问题，通过在特征空间中寻找近似于原始特征但产生不同决策结果的扰动，来找到一个解决方案(即反事实样本)。本发明提出了一种基于用户反馈的特征加权反事实实例生成方案，将用户反馈加入到评价函数中，使用多目标遗传算法生成反事实实例，并应用于信贷风控系统的决策结果解释中，给出用户如何改进可以获得贷款的解释。具体流程图如图1所示。

使用多目标优化方法，可以考虑多个目标的权衡，可以生成更好的反事实实例，从而提高所生成的反事实实例的可理解性。首先，根据用户的反馈，即让用户对特征变量值改变的难易程度打分，分数区间为[0,10]分，分数越高该特征对于该用户来说越容易改变，在生成反事实实例时优先考虑分数高的特征。其次，要考虑生成的样本的数据分布和改变的特征的数量。生成的反事实解释优先使用用户打分高的特征、并且使用的特征数量越少，越容易被用户理解和接受。如果生成的反事实样本，使用了大量的不相关的特征，对于用户来说是不易于理解的。除了评分高的特征这个指标外，还需要考虑稀疏性和与原始样本的接近性，即：合理性、稀疏性和接近性是评价一个好的反事实样本的关键指标。在本发明中，使用这三个指标的加权值作为评价函数。

本发明的目的是找到满足多目标的用户满意的反事实解释(现实中用户可以通过改变相应特征变量值来改变决策结果)。本发明使用遗传算法来寻找最优解，遗传算法流程图如图2所示。

本发明的技术方案：

一种可解释的机器学习驱动的信贷风控系统，步骤如下：

X表示样本集，x∈X表示样本集中的一个实例，x_i表示实例x第i个特征变量的值，score_i为用户对特征变量x_i值改变所付出的代价的打分，score_i∈[0,10]，分数越高，表示特征变量x_i值改变所付出的代价越小。w_i为特征变量x_i的代价权重系数，见式(1)：

score_i分值越高，代价权重系数w_i越小，则特征变量x_i的值的改变所付出的代价越小。

适应度函数的定义如式(2)所示，其中，x∈X表示样本集中的一个实例，表示反事实的一个实例；f(·)是已经训练好的预测模型，/>是实例/>在预测模型f(·)下的输出结果；适应度函数值越高，表示相应反事实实例的效果越好；

适应度函数：

式中，为距离函数，表示反事实实例的合理性，见式(3)，/>为反事实实例的结节性，即尽量接近原始样本集，见式(4)-(6)，/>表示反事实实例的稀疏性，即特征变量值发生改变的数量，见式(7)。λ为权重系数，用来权衡三个优化目标的权重，满足约束：λ₁+λ₂+λ₃＝1。

当时，表示/>不是可行解，因此，给适应度函数赋值-∞；

适应度函数由三个子项加权组成，每个子项的具体含义如下：

适应度函数的第一项为特征的距离函数，表示生成的反事实实例的合理性，是考虑到用户反馈打分的加权特征距离函数，如式(3)：

式中，w_i为特征变量x_i的代价权重系数，见式(1)。该距离函数考虑到了不同特征变量值改变代价权重是不同的。

适应度函数的第二项表示生成的反事实实例的接近性，即生成的反事实实例要尽量接近原始的样本集，否则生成的反事实实例可能是一个离群点或在现实生活中不可能出现的情况；用局部异常因子lof来表示反事实实例在其局部区域内的异常值程度，lof越小越好；lof根据局部密度计算其得分，局部性由其k个邻居定义；可达距离的定义见式(4)，局部可达密度见式(5)；lof的计算见式(6)；通常情况下，lof值大于1，则表示该实例很有可能是异常点，因为它相较于它的相邻实例有更小的局部密度；

rd_k(o,p)＝max{k-distance(o),d(o,p)} (4)

式中，k-distance表示o和它k个邻居的平均距离，d(o,p)表示o点和p的空间距离，rd_k(o,p)为点p到点o的第k可达距离，就是在点p与点o的距离、距离点o最近k-distance的k个点距离中取较大的一个；N_k(p)表示p附近距离k-distance以内的邻居的数量，lrd_k(p)表示点p的局部可达密度，是基于点p的k个最近邻的平均可达距离的倒数；距离越大，密度越小；

适应度函数的第三项表示生成的反事实实例的稀疏性，即特征变量值发生改变的数量；改变的特征变量数量越少，反事实实例就越简洁，越容易理解；

遗传算法的种群是由一组染色体集合组成，每个染色体代表一个可行解，根据适应度函数种群不断进化，得到最优的染色体，即最优解；

初始种群由随机生成的染色体组成；每个染色体由多个基因组成，每个基因是[0,1]的实数，表示反事实的一个特征变量值。因此，染色体的基因数量与特征的数量是一致的；

算法步骤如下：

第一步，由领域专家对所有特征变量打分，计算出各个特征变量的代价权重，如式(1)；

第二步，执行遗传算法，根据第一步的特征变量的代价权重计算各个个体的适应度函数值，如式(2)，直到得到满足条件的最优个体为止，输出基于专家评分的反事实实例，作为当前结果的解释，如果用户接受该解释，则停止，否则执行第三步；

第三步，在领域专家对特征变量打分的基础上，由用户对特征变量的打分进行调整，重新计算各个特征变量的代价权重，如式(1)；

第四步，执行遗传算法，根据第三步的特征变量的代价权重计算各个个体的适应度函数值，如式(2)，直到得到满足条件的最优个体为止，输出基于用户评分的反事实实例，作为当前结果的解释，停止。

本发明的有益效果：

(1)提出了特征变量代价权重的概念，考虑到了不同特征变量改变的难易程度，使得到的结果更符合现实情况，并且是可行的；

(2)提出了专家对特征变量打分的机制，提供了一种计算特征变量代价权重的可行方法；

(3)定义了反事实生成算法的目标函数，并使用遗传算法求解，使得结果更具备可解释性和实际可行性；

(4)在专家对特征变量打分的基础上给出了用户对特征变量打分调整的机制，并进行二次迭代优化，从而考虑到每个不同用户对结果的差异化需求；

(5)本发明可以对信贷风控的结果进行很好的解释，同时具有实际可行性。

附图说明

图1是信贷风控系统结果的特征加权反事实解释流程图。

图2是基于遗传算法的特征加权反事实方法示意图。

图3是反事实实例的基因编码示例。

具体实施方式

以下结合附图和技术方案，进一步说明本发明的具体实施方式。

以某个拒贷用户为例，该用户的特征变量值如表1所示。

表1拒贷用户原始特征变量

采用传统反事实方法得到的反事实解释如表2所示。该方法给出的解释是：如果用户的网龄从1个月增加到128个月，并且当月视频播放类应用使用次数从42次增加到22905次，那么该用户将通过贷款。可见该解释并不具备实际可行性，用户网龄不可能一下子从1个月增加到128个月。

表2传统反事实算法得到的反事实实例

第一步，由领域专家对所有特征变量值改变所付出的代价进行打分，分数越高表示该特征变量值改变所花的代价越小，根据式(1)计算出各个特征变量的代价权重，如表3所示。

表3特征变量专家打分及代价权重

第二步，按照图2的流程执行遗传算法，首先随机生成遗传算法的初始种群，对特征变量值进行归一化处理，将特征变量值缩放为[0,1]之间的实数，按照图3所示进行基因浮点编码。根据公式(2)计算种群中个体的适应度函数值。然后执行选择、交叉、变异操作，直到满足停止条件为止，根据适应度函数值得到最优的反事实个体。

使用基于专家评分的反事实方法，得到的反事实解释如表4所示，近6个月平均消费值由41.66提升到226.1，当月到过福州山姆会员店，即可通过贷款。可见基于专家打分的反事实解释具有实际可行性。

表4基于专家打分的特征加权反事实方法得到的反事实实例

根据图2的流程，如果用户对于该反事实解释满意，则停止，否则进入第三步，在专家打分的基础上由用户对特征变量打分进行调整，并重新计算特征变量的代价权重，如表5所示。

表5特征变量用户打分及代价权重

第四步，前面遗传算法最后一代种群作为本次遗传算法的初始种群，使用表5的用户打分计算适应度函数值。然后执行选择、交叉、变异操作，直到满足停止条件为止，根据适应度函数值得到最优的反事实个体。

以表1拒贷用户为例，使用用户评分的反事实方法得到的反事实解释如表6所示。如果用户当月通话交往人数从1个人增加到550个人，那么该用户将通过贷款。

表6基于用户打分的特征加权反事实方法得到的反事实实例

以上，可证明本方法给出的解释是具有实际可行性的，不仅能够解释用户为什么贷款被拒绝，也能够告诉用户如何做出改变从而能够获得贷款。

Claims (1)

1.一种可解释的机器学习驱动的信贷风控系统，其特征在于，步骤如下：

设X表示样本集，x∈X表示样本集中的一个实例，x_i表示实例x第i个特征变量的值，score_i为用户对特征变量x_i值改变所付出的代价的打分，score_i∈[0,10]，分数越高，表示特征变量x_i值改变所付出的代价越小；w_i为特征变量x_i的代价权重系数，见式(1)：

score_i分值越高，代价权重系数w_i越小，则特征变量x_i的值的改变所付出的代价越小；

适应度函数的定义如式(2)所示，其中，x∈X表示样本集中的一个实例，表示反事实的一个实例；f(·)是已经训练好的预测模型，/>是实例/>在预测模型f(·)下的输出结果；适应度函数值越高，表示相应反事实实例的效果越好；

适应度函数：

式中，为距离函数，表示反事实实例的合理性，见式(3)，/>为反事实实例的结节性，即接近原始样本集，见式(4)-(6)，/>表示反事实实例的稀疏性，即特征变量值发生改变的数量，见式(7)；λ为权重系数，用来权衡三个优化目标的权重，满足约束：λ₁+λ₂+λ₃＝1；

当时，表示/>不是可行解，因此，给适应度函数赋值-∞；

适应度函数由三个子项加权组成，每个子项的具体含义如下：

适应度函数的第一项为特征的距离函数，表示生成的反事实实例的合理性，是考虑到用户反馈打分的加权特征距离函数，如式(3)：

该距离函数考虑到了不同特征变量值改变代价权重是不同的；

适应度函数的第二项表示生成的反事实实例的接近性，即生成的反事实实例要接近原始的样本集，否则生成的反事实实例是一个离群点或在现实生活中不可能出现的情况；用局部异常因子lof来表示反事实实例在其局部区域内的异常值程度，lof越小越好；lof根据局部密度计算其得分，局部性由其k个邻居定义；可达距离的定义见式(4)，局部可达密度见式(5)；lof的计算见式(6)；lof值大于1，则表示该实例是异常点，因为它相较于它的相邻实例有更小的局部密度；

rd_k(o,p)＝max{k-distance(o),d(o,p)} (4)

式中，k-distance表示o和它k个邻居的平均距离，d(o,p)表示o点和p的空间距离，rd_k(o,p)为点p到点o的第k可达距离，就是在点p与点o的距离、距离点o最近的k个点距离中取较大的一个；N_k(p)表示p附近距离k-distance以内的邻居的数量，lrd_k(p)表示点p的局部可达密度，是基于点p的k个最近邻的平均可达距离的倒数；距离越大，密度越小；

适应度函数的第三项表示生成的反事实实例的稀疏性，即特征变量值发生改变的数k-distance量；改变的特征变量数量越少，反事实实例就越简洁，越容易理解；

遗传算法的种群是由一组染色体集合组成，每个染色体代表一个可行解，根据适应度函数种群不断进化，得到最优的染色体，即最优解；

初始种群由随机生成的染色体组成；每个染色体由多个基因组成，每个基因是[0,1]的实数，表示反事实的一个特征变量值；因此，染色体的基因数量与特征的数量是一致的；

算法步骤如下：

第一步，由领域专家对所有特征变量打分，计算出各个特征变量的代价权重，如式(1)；

第二步，执行遗传算法，根据第一步的特征变量的代价权重计算各个个体的适应度函数值，如式(2)，直到得到满足条件的最优个体为止，输出基于专家评分的反事实实例，作为当前结果的解释，如果用户接受该解释，则停止，否则执行第三步；

第三步，在领域专家对特征变量打分的基础上，由用户对特征变量的打分进行调整，重新计算各个特征变量的代价权重，如式(1)；

第四步，执行遗传算法，根据第三步的特征变量的代价权重计算各个个体的适应度函数值，如式(2)，直到得到满足条件的最优个体为止，输出基于用户评分的反事实实例，作为当前结果的解释，停止。