CN115544569A

CN115544569A - 一种应用于金融场景的隐私XGBoost方法

Info

Publication number: CN115544569A
Application number: CN202211251314.XA
Authority: CN
Inventors: 何金广; 李升林
Original assignee: Shanghai Qianfang Technology Co ltd
Current assignee: Shanghai Qianfang Technology Co ltd
Priority date: 2022-10-13
Filing date: 2022-10-13
Publication date: 2022-12-30

Abstract

本发明涉及隐私计算技术领域，具体公开了一种应用于金融场景的隐私XGBoost方法步骤S1，特征工程处理：步骤S2，模型训练，依据特征工程处理的数据进行模型训练；步骤S3，模型预测，利用上述步骤得到的模型对测试集进行预测，在各参与方分别得到预测结果；步骤S4，计算SHAP，利用XGBoost的模型结构计算SHAP计算SHAP；步骤S5，模型解释，过秘密分享的SHAP值可对参与方的每个特征进行详细解释。本发明底层基于密码学的安全多方计算框架，不需要可信第三方参与，安全性在数学上可证；本发明在保护数据隐私的情况下对模型做出较全面的解释，对于金融场景有较好的适用性；本发明利用隐私XGBoost模型的树结构来计算SHAP，计算性能较高。

Description

一种应用于金融场景的隐私XGBoost方法

技术领域

本发明涉及隐私计算技术领域，具体是一种应用于金融场景的隐私XGBoost方法。

背景技术

随着人工智能的高速发展，传统金融行业开始拥抱前沿的机器学习算法，如XGBoost、深度学习等，而为了进一步提升模型效果，往往又需要在保护数据隐私安全的情况下进行跨机构或跨部门的数据合作，隐私计算技术应运而生。目前已经有了一些可以保护数据隐私的机器学习算法，但由于可解释性较弱，在金融场景中的落地依然存在较大困难。在联邦学习中的XGBoost和SHAP；XGBoost是提升树(Boosting Tree)算法的一种，处理低维结构化数据具有较高的速度和精度。联邦学习是隐私计算的一种框架，来源于分布式机器学习，可以在原始数据不出域的情况下，通过共享模型参数来实现联合机器学习，但由于模型参数可能会泄露模型，并反推出原始数据，目前大多联邦学习会使用密码学相关技术将加密后的参数进行共享，但仍需要可信第三方作为中心计算节点SHAP全称是SHapleyAdditive exPlanation，其中Shapley值概念来源于博弈论，用于解决合作博弈中的分配均衡问题，SHAP在机器学习中可用于解释复杂模型，计算每个特征对模型预测的贡献度。联邦学习将其引入用来计算各参与方的贡献度。

综上所述为了解决现有技术可解释性较弱，在金融场景中的落地依然存在较大困难，我们提出一种应用于金融场景的隐私XGBoost方法。

发明内容

本发明的目的在于提供一种应用于金融场景的隐私XGBoost方法，本发明底层基于密码学的安全多方计算框架，不需要可信第三方参与，安全性在数学上可证。

为实现上述目的，本发明提供如下技术方案：一种应用于金融场景的隐私XGBoost方法，包括如下步骤：

步骤S1，特征工程处理：

步骤S2，模型训练，依据特征工程处理的数据进行模型训练；

步骤S3，模型预测，利用上述步骤得到的模型对测试集进行预测，在各参与方分别得到预测结果；

步骤S4，计算SHAP，利用XGBoost的模型结构计算SHAP计算SHAP；

步骤S5，模型解释，过秘密分享的SHAP值可对参与方的每个特征进行详细解释。

作为本发明的一种优选实施方案，在本方法中参与方设置有多个，在方案中对特征不做具体区分，且每个参与方拥有的特征均为数值型，本方法中用X表示特征(N×m矩阵),x_j表示第j个特征，y表示标签即N维向量。

作为本发明的一种优选实施方案，所述步骤S1特征工程处理包括如下步骤：

S1.1特征分箱，将特征数据进行通过分箱算法进行分箱处理；

S1.2进行WOE编码，标签y的拥有方在本地对特征进行WOE编码计算，其他参与方通过秘密分享的标签y对其特征进行WOE编码；

S1.3特征选择，设置IV值的取值范围[L,U]，通过秘密分享选择IV值大于等于L且小于等于U的特征，选择合适的IV值。

作为本发明的一种优选实施方案，所述步骤S1.3特征选择，设置IV值的取值范围[L,U]，通过秘密分享选择IV值大于等于L且小于等于U的特征，选择合适的IV值理的计算详细步骤如下：

其中,X为N×m矩阵,y为N维向量，U为常数；L为常数。

作为本发明的一种优选实施方案，所述步骤S2模型训练详细步骤如下：S2.1初始化

将经过特征工程的数据通过秘密分享方式划分为训练集和测试集；

定义损失函数，并配置正则化参数；

配置树深度；

将集成树初始化为空值；

S2.2通过秘密分享进行数据交互，包括特征矩阵、特征分箱、标签向量；S2.3将模型结构保存在各参与方。

作为本发明的一种优选实施方案，所述模型训练的详细步骤如下：

作为本发明的一种优选实施方案，所述步骤S3模型预测详细步骤如下：

作为本发明的一种优选实施方案，所述步骤S4计算SHAP详细步骤如下：

作为本发明的一种优选实施方案，所述步骤S5模型解释中，解释内容包括全局特征重要性、各参与方总体贡献度、以及样本的局部解释。

作为本发明的一种优选实施方案，所述步骤S5模型解释中全局特征重要性、各参与方总体贡献度可明文授权给所有参与方，样本的局部特征解释仅供样本所有者查看。

与现有技术相比，本发明的有益效果是：本发明底层基于密码学的安全多方计算框架，不需要可信第三方参与，安全性在数学上可证；本发明在保护数据隐私的情况下对模型做出较全面的解释，对于金融场景有较好的适用性；本发明利用隐私XGBoost模型的树结构来计算SHAP，计算性能较高。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例。

图1为本发明的方法流程图。

具体实施方式

为了使本发明所要解决的技术问题、技术方案及有益效果更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

本发明提供一种应用于金融场景的隐私XGBoost方法，包括如下步骤：

步骤S1，特征工程处理：

步骤S4，计算SHAP，利用XGBoost的模型结构计算SHAP计算SHAP；

进一步的，在本方法中参与方设置有多个，在方案中对特征不做具体区分，且每个参与方拥有的特征均为数值型，本方法中用X表示特征(N×m矩阵),x_j表示第j个特征，y表示标签即N维向量。

进一步的，所述步骤S1特征工程处理包括如下步骤：

S1.1特征分箱，将特征数据进行通过分箱算法进行分箱处理；

进一步的，所述步骤S1.3特征选择，设置IV值的取值范围[L,U]，通过秘密分享选择IV值大于等于L且小于等于U的特征，选择合适的IV值理的计算详细步骤如下：

其中,X为N×m矩阵,y为N维向量，U为常数；L为常数。

进一步的，所述步骤S2模型训练详细步骤如下：

S2.1初始化

定义损失函数，并配置正则化参数；

配置树深度；

将集成树初始化为空值；

进一步的，所述步骤S2模型训练的详细步骤如下：

进一步的，所述步骤S3模型预测详细步骤如下：

进一步的，所述步骤S4计算SHAP详细步骤如下：

进一步的，所述步骤S5模型解释中，解释内容包括全局特征重要性、各参与方总体贡献度、以及样本的局部解释。

进一步的，所述步骤S5模型解释中全局特征重要性、各参与方总体贡献度可明文授权给所有参与方，样本的局部特征解释仅供样本所有者查看；

实施例：本发明基于金融行业多方联合机器学习场景，利用秘密分享构建隐私XGBoost模型，并基于XGBoost模型的树结构计算SHAP，最后对模型结果和特征进行评估和解释；

详细步骤如下：

1、特征工程

假设参与方为多个金融机构(如银行、保险、证券)，在方案中对特征不做具体区分，假设每个参与方拥有的特征均为数值型。用X表示特征(N×m矩阵),x_j表示第j个特征，y表示标签(N维向量)。

(1)特征分箱

特征都被分成B箱，B为明文，支持等频分箱、等距分箱和卡方分箱。由于机构合作场景中，以纵向隐私建模为主，所以本方案的特征分箱在各参与方本地明文处理，既可以保护隐私，也可以提升性能和可解释性。

(2)WOE编码

y的拥有方在本地对特征进行WOE编码计算，其他参与方通过秘密分享的y对其特征进行WOE编码

(3)特征选择(IV值)

设置IV值的取值范围[L,U]，通过秘密分享选择IV值大于等于L且小于等于U的特征

2、模型训练。包括如下步骤：

a)初始化

-将经过特征工程的数据通过秘密分享方式划分为训练集和测试集-定义损失函数类型，并配置正则化参数

-配置树深度

-将集成树初始化为空值

b)通过秘密分享进行数据交互，包括特征矩阵、特征分箱、标签向量

c)模型保存

将模型结构保存在各参与方，任何一方无法单独使用模型

主要操作如下：

3、模型预测

利用得到的模型对测试集进行预测，在各参与方分别得到预测结果，操作如下：

4、计算SHAP

利用XGBoost的模型结构计算SHAP

5、模型解释

通过秘密分享的SHAP值可对参与方的每个特征进行详细解释，包括全局特征重要性、各参与方总体贡献度、以及样本的局部解释，其中全局特征重要性、各参与方总体贡献度可明文授权给所有参与方，样本的局部特征解释仅供样本所有者查看。

示例性的，处理器从存储器中逐条取出指令、分析指令，然后根据指令要求完成相应操作，产生一系列控制命令，使计算机各部分自动、连续并协调动作，成为一个有机的整体，实现程序的输入、数据的输入以及运算并输出结果，这一过程中产生的算术运算或逻辑运算均由运算器完成；所述存储器包括只读存储器(Read-Only Memory，ROM)，所述只读存储器用于存储计算机程序，所述存储器外部设有保护装置。

示例性的，计算机程序可以被分割成一个或多个模块，一个或者多个模块被存储在存储器中，并由处理器执行，以完成本发明。一个或多个模块可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述计算机程序在终端设备中的执行过程。

本领域技术人员可以理解，上述服务设备的描述仅仅是示例，并不构成对终端设备的限定，可以包括比上述描述更多或更少的部件，或者组合某些部件，或者不同的部件，例如可以包括输入输出设备、网络接入设备、总线等。

所称处理器可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等，上述处理器是上述终端设备的控制中心，利用各种接口和线路连接整个用户终端的各个部分。

上述存储器可用于存储计算机程序和/或模块，上述处理器通过运行或执行存储在存储器内的计算机程序和/或模块，以及调用存储在存储器内的数据，实现上述终端设备的各种功能。存储器可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如信息采集模板展示功能、产品信息发布功能等)等；存储数据区可存储根据泊位状态显示系统的使用所创建的数据(比如不同产品种类对应的产品信息采集模板、不同产品提供方需要发布的产品信息等)等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如硬盘、内存、插接式硬盘，智能存储卡(Smart Media Card，SMC)，安全数字(Secure Digital，SD)卡，闪存卡(Flash Card)、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。

终端设备集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述实施例系统中的全部或部分模块/单元，也可以通过计算机程序来指令相关的硬件来完成，上述的计算机程序可存储于计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个系统实施例的功能。其中，计算机程序包括计算机程序代码，计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。计算机可读介质可以包括：能够携带计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random AccessMemory)、电载波信号、电信信号以及软件分发介质等。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。

以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims

1.一种应用于金融场景的隐私XGBoost方法，其特征在于，包括如下步骤：

步骤S1，特征工程处理：

步骤S4，计算SHAP，利用XGBoost的模型结构计算SHAP计算SHAP；

2.根据权利要求1所述的一种应用于金融场景的隐私XGBoost方法，其特征在于，在本方法中参与方设置有多个，在方案中对特征不做具体区分，且每个参与方拥有的特征均为数值型，本方法中用X表示特征(N×m矩阵)，x_j表示第j个特征，y表示标签即N维向量。

3.根据权利要求2所述的一种应用于金融场景的隐私XGBoost方法，其特征在于，所述步骤S1特征工程处理包括如下步骤：

S1.1特征分箱，将特征数据进行通过分箱算法进行分箱处理；

S1.3特征选择，设置IV值的取值范围[L，U]，通过秘密分享选择IV值大于等于L且小于等于U的特征，选择合适的IV值。

4.根据权利要求3所述的一种应用于金融场景的隐私XGBoost方法，其特征在于，所述步骤S1.3特征选择，设置IV值的取值范围[L，U]，通过秘密分享选择IV值大于等于L且小于等于U的特征，选择合适的IV值理的计算详细步骤如下：

输入：-X，特征矩阵

-[[y]]，秘密分享的标签向量

-U，IV值上限

-L，IV值下限

输出：秘密分享经过分箱和IV值筛选的特征矩阵[[X′]]

1：X′＝{}

2：forj←1tom do

3：X_j′：＝Bucket(X_j)

4：forb←1tolen(Bin(X_j))do

5：

6：

7：

8：end

8：ifIV^(j)≥LandIV^(j)≤U

9：Add[[X_j′]]to[[X′]]

8：end

9：return[[X′]]

其中，X为N×m矩阵，y为N维向量，U为常数；L为常数。

5.根据权利要求1所述的一种应用于金融场景的隐私XGBoost方法，其特征在于，所述步骤S2模型训练详细步骤如下：

S2.1初始化

定义损失函数，并配置正则化参数；

配置树深度；

将集成树初始化为空值；

S2.2通过秘密分享进行数据交互，包括特征矩阵、特征分箱、标签向量；

S2.3将模型结构保存在各参与方。

6.根据权利要求5所述的一种应用于金融场景的隐私XGBoost方法，其特征在于，所述步骤S2模型训练的计算步骤如下：

输入：-[[X]]，秘密分享的训练集特征矩阵，X为R×k矩阵

-[[y]]，秘密分享的训练集标签向量，y为R维向量

-loss，损失函数

-λ，正则化参数

-T，集成树大小

-D，树深度D

输出：集成树ensemble＝{Tree⁽¹⁾，Tree⁽²⁾，…，Tree^(T)}，每棵树包括以下数据：

秘密分享的每个非叶子节点n的阈值选择器

秘密分享的每个非叶子节点n的特征选择器

秘密分享的每个叶子节点l的权重

-[[Tree^(t)(X)]]，秘密分享的训练集的预测向量

1：

2：ensemble＝{}

3：fort←1toRdo

4：

5：

6：[[Tree^(t)]]：＝grow_tree(g^(t-1)，h^(t-1))

7：Add[[Tree^(t)]]to[[ensemble]]

8：endfor

9：return[[ensemble]]。

7.根据权利要求6所述的一种应用于金融场景的隐私XGBoost方法，其特征在于，所述步骤S3模型预测详细步骤如下：

输入：-[[X]]，秘密分享的特征矩阵，X为N×m矩阵

-[[ensemble]]，秘密分享的集成树，即训练好的模型

输出：-[[S]]，秘密分享的Shapley值向量，S为N维向量

1：[[y]]＝[]，[[S]]＝[]

2：forj←1toNdo

3：[[S_j]]：＝TreeShap([[X]]，[[ensemble]])

4：Add[[S_j]]to[[S]]

5：endfor

6：return[[S]]。

8.根据权利要求7所述的一种应用于金融场景的隐私XGBoost方法，其特征在于，所述步骤S4计算SHAP详细步骤如下：

输入：-[[X]]，秘密分享的特征矩阵，X为N×m矩阵

-[[ensemble]]，秘密分享的集成树，即训练好的模型

输出：-[[S]]，秘密分享的Shapley值向量，S为N维向量

1：[[y]]＝[]，[[S]]＝[]

2：forj←1toNdo

3：[[S_j]]：＝TreeShap([[X]]，[[ensemble]])

4：Add[[S_j]]to[[S]]

5：endfor

6：return[[S]]。

9.根据权利要求1所述的一种应用于金融场景的隐私XGBoost方法，其特征在于，所述步骤S5模型解释中，解释内容包括全局特征重要性、各参与方总体贡献度、以及样本的局部解释。

10.根据权利要求9所述的一种应用于金融场景的隐私XGBoost方法，其特征在于，所述步骤S5模型解释中全局特征重要性、各参与方总体贡献度可明文授权给所有参与方，样本的局部特征解释仅供样本所有者查看。