CN109508864B - 一种基于xgboost的企业违约风险模型的建立方法 - Google Patents

Abstract

本发明公开了一种基于xgboost的企业违约风险模型的建立方法。该方法为：首先对源数据进行整理，按照月进行拼接，形成企业的宽表L1，任意一条数据为该企业按照自然月递增的顺序的集合，且每个月的数据包含相同的特征；然后利用自定义的滑动窗口函数进行宽表L1的切割，形成企业滑动窗口数据L2；最后利用xgboost算法，使用滑动窗口数据L2进行建模，并对模型进行优化。本发明方法能够提高企业违约风险模型的预测准确率，并建立效果良好的风控模型。

Description

一种基于xgboost的企业违约风险模型的建立方法

技术领域

本发明涉及企业风险控制技术领域，特别是一种基于xgboost的企业违约风险模型的建立方法。

背景技术

随着机器学习的广泛应用，数据挖掘技术正在改变违约风险的预测模式，不同于传统方法所使用的涉及统计学特征、财务指标等“硬信息”，基于数据挖掘技术的风险模型可以由计算机自己识别重要的特征，将各种软信息加入到模型中，帮助计算机更好进行企业违约风险的预测。数据挖掘技术的应用势必会对传统的风险信用评估体系带来巨大冲击。

相较于传统的信用风险评估模型，数据挖掘模型主要有三点优势。第一，传统的信用风险评估模型大多使用参数模型或者回归分析，有较严格的前提假设，比如OLS回归要求样本服从正态分布、无噪声且序列不相关，Logistic模型要求解释变量之间相关性较小，而数据挖掘模型的样本则基本没有相关限制。第二，数据挖掘模型可以利用更多的信息，包括“软信息”和“硬信息”，只要计算机的性能允许，可以不考虑特征选择的问题。第三，不同的数据挖掘模型分别针对的问题有所差异，所以可以选择在不同情况下表现最优的数据挖掘模型进行预测，相应的准确率更高。

boosting集成学习，由多个相关联的决策树联合决策，xgboost是在GBDT基础上发展而来。传统GBDT在优化时只用到一阶导数信息，xgboost则对代价函数进行了二阶泰勒展开，同时用到一阶和二阶导数。且xgboost工具支持自定义代价函数，只要函数可一阶和二阶求导。Xgboost对缺失值不敏感，对数据容忍度高，预测结果准确，同时速度快，可以媲美大型模型的架构，在预测违约信息当中可以发挥重大作用。

综上，现有的信用风险评估模型仍然大多建立在人工打分卡的基础之上，工作人员依据经验建立模型，这样的模型可移植性差、业务适用局限。尚未有成熟的数据挖掘模型报道，因此无法解决面向业务流程复杂的问题，也难以避免人为经验所造成的误差。

发明内容

本发明的目的在于提供一种可以提高预测企业违约风险准确率的基于xgboost的企业违约风险模型的建立方法。

实现本发明目的的技术解决方案为：一种基于xgboost的企业违约风险模型的建立方法，包括以下步骤：

步骤1，对源数据进行整理，按照月进行拼接，形成企业的宽表L1；

步骤2，利用自定义的滑动窗口函数进行宽表L1的切割，形成企业滑动窗口数据L2；

步骤3，利用xgboost算法，使用滑动窗口数据L2进行建模，并对模型进行优化得到企业违约风险模型，进行企业违约风险的预测。

进一步地，步骤1所述的对源数据进行整理，按照月进行拼接，形成企业的宽表L1，具体为：

对源数据进行整理，按照月进行拼接，依次读取企业的数据，获得该企业按照月横向的宽表数据L1，任意一条数据为该企业按照自然月递增的顺序的集合，且每个月的数据包含相同的特征，即每一条数据σ＝{t₁,t₂,t₃,…,t_r}，其中t₁……t_r为不同的月的数据，t中的特征数目和特征字段相同。

进一步地，步骤2所述的利用自定义的滑动窗口函数进行宽表L1的切割，形成企业滑动窗口数据L2，具体为：

步骤2-1，对宽表L1进行分析，根据窗口月的数量，以及每个月的特征数目，定义滑动窗口；

步骤2-2，利用定义好的滑动窗口，对L1进行滑动，形成企业滑动窗口数据L2，即对于任意一条数据σ＝{t₁,t₂,t₃,…,t_r}，若滑动窗口定义为n个月，则任意一条数据变为：

σ1＝{t₁,t₂,t₃,…,t_n},σ2＝{t₂,t₃,t₄,…,t_n+1}…σr-n＝{t_r-n,t_r-n+1,t_r-n+2,…,t_r}。

进一步地，步骤3所述的利用xgboost算法，使用滑动窗口数据L2进行建模，并对模型进行优化得到企业违约风险模型，进行企业违约风险的预测，具体为：

步骤3-1，根据历史违约信息，使用业务逻辑确定违约作用于哪个月，在滑动窗口处下个月生成标签；

步骤3-2，将数据样本划分为测试集和训练集；

步骤3-3，利用xgboost算法进行训练，得到初步模型；

步骤3-4，建立好xgboost树模型后，利用f1Score来进行模型的评价：

其中precision，recall分别对应模型测试后的正确率与召回率。

进一步地，步骤3-3所述利用xgboost算法进行训练，得到初步模型，具体如下：

步骤3-3-1、将目标函数obj(θ)定义为：

obj(θ)＝L(θ)+Ω(θ)

其中L(θ)为损失函数，Ω(θ)为正则化惩罚项，且回归树中的预测结果

为：

其中K为回归树的数量，f_k(x_i)为每一棵的得分值，x_i为样本，i为样本编号，θ为使目标函数最小时所需要求出的参数；

步骤3-3-2、整理后的目标函数为：

其中i表示第i个样本，

表示第i个样本的预测误差，Ω(f_k)为第k棵树的复杂度；

步骤3-3-3、对于目标函数中的模型复杂度Ω(f_k)，有：

f_t(x)＝w_q(x),w∈R^T

对于每一棵回归树，w为叶子节点的得分值，q(x)为样本x对应的叶子节点，T为该树的叶子节点个数；

将树f拆分成结构q和叶子权重部分w，将q的输入映射到叶子的索引上；

步骤3-3-4、将目标函数转换成：

其中gi为t-1的损失函数对t-1棵树的预测值的偏导，hi为t-1的损失函数对t-1棵树的预测值的2阶偏导，T为第t棵树中总叶子节点的个数，I_j表示在第j个叶子节点上的样本，w_j表示第j个叶子节点的得分值，γ为正则惩罚项中的参数；

步骤3-3-5、目标函数中包含了T个独立的单变量二次函数，该目标函数对w_j求导并且导数为0，求得：

其中G_j＝Σ_i∈Igi,H_j＝Σ_i∈Ihi,Obj为目标函数，λ为惩罚项中的参数。

本发明与现有技术相比，其显著优点在于：能够准确地计算企业违约的信息，建立效果良好的风控模型。

附图说明

图1为本发明基于xgboost的企业违约风险模型的建立方法的流程示意图。

图2为本发明中数据未切割组织形式示意图。

图3为本发明中利用滑动窗口进行数据切割的示意图。

图4为本发明中的xgboost原理图。

具体实施方式

下面结合说明书附图对本发明的内容做进一步的说明。

本发明基于xgboost的企业违约风险模型的建立方法，包括以下步骤：

步骤1，对源数据进行整理，按照月进行拼接，形成企业的宽表L1；

步骤2，利用自定义的滑动窗口函数进行宽表L1的切割，形成企业滑动窗口数据L2；

步骤3，利用xgboost算法，使用滑动窗口数据L2进行建模，并对模型进行优化得到企业违约风险模型，进行企业违约风险的预测。

作为一种具体示例，步骤1所述的对源数据进行整理，按照月进行拼接，形成企业的宽表L1，具体为：

对源数据进行整理，按照月进行拼接，依次读取企业的数据，获得该企业按照月横向的宽表数据L1，任意一条数据为该企业按照自然月递增的顺序的集合，且每个月的数据包含相同的特征，即每一条数据σ＝{t₁,t₂,t₃,…,t_r}，其中t₁……t_r为不同的月的数据，t中的特征数目和特征字段相同。

作为一种具体示例，步骤2所述的利用自定义的滑动窗口函数进行宽表L1的切割，形成企业滑动窗口数据L2，具体为：

步骤2-1，对宽表L1进行分析，根据窗口月的数量，以及每个月的特征数目，定义滑动窗口；

步骤2-2，利用定义好的滑动窗口，对L1进行滑动，形成企业滑动窗口数据L2，即对于任意一条数据σ＝{t₁,t₂,t₃,…,t_r}，若滑动窗口定义为n个月，则任意一条数据变为：

σ1＝{t₁,t₂,t₃,…,t_n},σ2＝{t₂,t₃,t₄,…,t_n+1}…σr-n＝{t_r-n,t_r-n+1,t_r-n+2,…,t_r}。

作为一种具体示例，步骤3所述的利用xgboost算法，使用滑动窗口数据L2进行建模，并对模型进行优化得到企业违约风险模型，进行企业违约风险的预测，具体为：

步骤3-1，根据历史违约信息，使用业务逻辑确定违约作用于哪个月，在滑动窗口处下个月生成标签；

步骤3-2，将数据样本划分为测试集和训练集；

步骤3-3，利用xgboost算法进行训练，得到初步模型，具体步骤如下：

步骤3-3-1、将目标函数obj(θ)定义为：

obj(θ)＝L(θ)+Ω(θ)

其中L(θ)为损失函数，Ω(θ)为正则化惩罚项，且回归树中的预测结果

为：

其中K为回归树的数量，f_k(x_i)为每一棵的得分值，x_i为样本，i为样本编号，θ为使目标函数最小时所需要求出的参数；

步骤3-3-2、整理后的目标函数为：

其中i表示第i个样本，

表示第i个样本的预测误差，误差越小越好，Ω(f_k)为第k棵树的复杂度；

步骤3-3-3、对于目标函数中的模型复杂度Ω(f_k)，有：

f_t(x)＝w_q(x),w∈R^T

对于每一棵回归树，w为叶子节点的得分值，q(x)为样本x对应的叶子节点，T为该树的叶子节点个数；

将树f拆分成结构q和叶子权重部分w，将q的输入映射到叶子的索引上；

步骤3-3-4、将目标函数转换成：

其中gi为t-1的损失函数对t-1棵树的预测值的偏导，hi为t-1的损失函数对t-1棵树的预测值的2阶偏导，T为第t棵树中总叶子节点的个数，I_j表示在第j个叶子节点上的样本，w_j表示第j个叶子节点的得分值，γ为正则惩罚项中的参数；

步骤3-3-5、目标函数中包含了T个独立的单变量二次函数，该目标函数对w_j求导并且导数为0，求得：

其中G_j＝Σ_i∈Igi,H_j＝Σ_i∈Ihi,Obj为目标函数，λ为惩罚项中的参数；

步骤3-4，建立好xgboost树模型后，为了验证模型的准确程度，利用f1Score来进行模型的评价：

其中precision，recall分别对应模型测试后的正确率与召回率。

实施例

结合图1，本发明基于xgboost的企业违约风险模型的建立方法，包括以下步骤：

步骤1，对源数据进行整理，按照月进行拼接，形成企业的宽表L1，具体如下：

其中宽表的组织形式如图2。对源数据进行整理，按照月进行拼接，依次读取企业的数据，获得该企业按照月横向的宽表数据L1，任意一条数据为该企业按照自然月递增的顺序的集合，且每个月的数据包含相同的特征，即每一条数据σ＝{t₁,t₂,t₃,…,t_r}，t₁……t_r为不同的月的数据，t中的特征数目和特征字段相同。

步骤2，结合图3，利用自定义的滑动窗口函数进行宽表L1的切割，形成企业滑动窗口数据L2，具体如下：

步骤2-1，对表L1进行分析，根据窗口月的数量，以及每个月的特征数目，定义滑动窗口；

步骤2-2，利用定义好的滑动窗口，对L1进行滑动，形成企业滑动窗口数据L2，即对于任意一条数据σ＝{t₁,t₂,t₃,…,t_r}，若滑动窗口定义为6个月，则任意一条数据变为：

σ1＝{t₁,t₂,t₃,t₄,t₅,t₆},σ2＝{t₂,t₃,t₄,t₅,t₆,t₇}…σr-n＝{t_r-n,t_r-n+1,t_r-n+2,…,t_r}。

算法1：get_month_list

输入：源数据宽表L1,起始月month

输出：滑动后的窗口月标签list

算法2：get_month_window

输入：源数据宽表L1，起始时间start_time,结束时间,end_time

输出：窗口数据L2

步骤3，结合图4，利用xgboost算法，应用滑动窗口数据L2进行建模，并对模型进行优化，具体如下：

步骤3-1，根据历史违约信息，根据业务逻辑确定违约作用于哪个月，在滑动窗口处下个月生成标签，例如在σ数据中t7为违约月，则σ1＝{t₁,t₂,t₃,t₄,t₅,t₆}样本的label为违约；

步骤3-2，对数据样本划分为测试集和训练集；

步骤3-3，利用xgboost算法进行训练，得到初步模型，具体步骤如下：

步骤3-3-1、将目标函数定义为：

obj(θ)＝L(θ)+Ω(θ)

其中L(θ)为损失函数，Ω(θ)为正则化惩罚项,且回归树中的预测结果为：

其中K为回归树的数量，f_k(x_i)为每一棵的得分值，x_i为样本，i为样本编号，θ为使目标函数最小时所需要求出的参数。

步骤3-3-2、整理后的目标函数为：

其中i表示第i个样本，

表示第i个样本的预测误差，误差越小越好，Ω(f_k)为第k棵树的复杂度。

步骤3-3-3、对于目标函数中的模型复杂度Ω(f_k)，有：

f_t(x)＝w_q(x),w∈R^T

对于每一棵回归树，w为叶子节点的得分值，q(x)为样本x对应的叶子节点，T为该树的叶子节点个数。

将树f拆分成结构q和叶子权重部分w，将q的输入映射到叶子的索引上；

步骤3-3-4、将目标函数转换成：

其中gi为t-1的损失函数对第t-1棵树的预测值的偏导，hi为第t-1的损失函数对t-1棵树的预测值的2阶偏导，T为第t棵树中总叶子节点的个数，I_j表示在第j个叶子节点上的样本，w_j表示第j个叶子节点的得分值，γ为正则惩罚项中的参数。

步骤3-3-5、目标函数中包含了T个独立的单变量二次函数，该目标函数对w_j求导并且导数为0，可以求得：

其中G_j＝Σ_i∈Igi,H_j＝Σ_i∈Ihi,Obj为目标函数，λ为惩罚项中的参数。

步骤3-4，建立好xgboost树模型后，为了验证模型的准确程度，利用f1Score来进行模型的评价：

其中precision，recall分别为模型测试后的正确率与召回率。

算法3：xgboost

输入：L2中的样本，特征维度d

输出：分裂后的得分值

综上所述，本发明能够准确地计算企业违约的信息，建立效果良好的风控模型。

Claims (2)

1.一种基于xgboost的企业违约风险模型的建立方法，其特征在于，包括以下步骤：

步骤1，对源数据进行整理，按照月进行拼接，形成企业的宽表L1；

步骤2，利用自定义的滑动窗口函数进行宽表L1的切割，形成企业滑动窗口数据L2：

步骤3，利用xgboost算法，使用滑动窗口数据L2进行建模，并对模型进行优化得到企业违约风险模型，进行企业违约风险的预测；

步骤1所述的对源数据进行整理，按照月进行拼接，形成企业的宽表L1，具体为：

对源数据进行整理，按照月进行拼接，依次读取企业的数据，获得该企业按照月横向的宽表数据L1，任意一条数据为该企业按照自然月递增的顺序的集合，且每个月的数据包含相同的特征，即每一条数据σ＝{t₁，t₂，t₃，...，t_r}，其中t₁......t_r为不同的月的数据，其中的特征数目和特征字段相同；

步骤2所述的利用自定义的滑动窗口函数进行宽表L1的切割，形成企业滑动窗口数据L2，具体为：

步骤2-1，对宽表L1进行分析，根据窗口月的数量，以及每个月的特征数目，定义滑动窗口；

步骤2-2，利用定义好的滑动窗口，对L1进行滑动，形成企业滑动窗口数据L2，即对于任意一条数据σ＝{t₁，t₂，t₃，...，t_r}，若滑动窗口定义为n个月，则任意一条数据变为：

σ1＝{t₁，t₂，t₃，...，t_n}，σ2＝{t₂，t₃，t₄，...，t_n+1}...σr-n＝{t_r-n，t_r-n+1，t_r-n+2，...，t_r}；

步骤3所述的利用xgboost算法，使用滑动窗口数据L2进行建模，并对模型进行优化得到企业违约风险模型，进行企业违约风险的预测，具体为：

步骤3-1，根据历史违约信息，使用业务逻辑确定违约作用于哪个月，在滑动窗口处下个月生成标签；

步骤3-2，将数据样本划分为测试集和训练集；

步骤3-3，利用xgboost算法进行训练，得到初步模型；

步骤3-4，建立好xgboost树模型后，利用f1Score来进行模型的评价：

其中precision，recall分别对应模型测试后的正确率与召回率。

2.根据权利要求1所述的基于xgboost的企业违约风险模型的建立方法，其特征在于，步骤3-3所述利用xgboost算法进行训练，得到初步模型，具体如下：

步骤3-3-1、将目标函数obj(θ)定义为：

obj(θ)＝L(θ)+Ω(θ)

其中L(θ)为损失函数，Ω(θ)为正则化惩罚项，且回归树中的预测结果

为：

其中K为回归树的数量，f_k(x_i)为每一棵的得分值，x_i为样本，i为样本编号，θ为使目标函数最小时所需要求出的参数；

步骤3-3-2、整理后的目标函数为：

其中i表示第i个样本，

表示第i个样本的预测误差，Ω(f_k)为第k棵树的复杂度；

步骤3-3-3、对于目标函数中的模型复杂度Ω(f_k)，有：

f_t(x)＝w_q(x)，w∈R^T

对于每一棵回归树，w为叶子节点的得分值，q(x)为样本x对应的叶子节点，T为该树的叶子节点个数；

将树f拆分成结构q和叶子权重部分w，将q的输入映射到叶子的索引上；

步骤3-3-4、将目标函数转换成：

其中gi为t-1的损失函数对t-1棵树的预测值的偏导，hi为t-1的损失函数对t-1棵树的预测值的2阶偏导，T为第t棵树中总叶子节点的个数，I_j表示在第j个叶子节点上的样本，w_j表示第j个叶子节点的得分值，γ为正则惩罚项中的参数；

步骤3-3-5、目标函数中包含了T个独立的单变量二次函数，该目标函数对w_j求导并且导数为0，求得：

其中G_j＝∑_i∈Igi，H_j＝∑_i∈Ihi，Obj为目标函数，λ为惩罚项中的参数。

Images