CN112365342A - 一种基于Transformer的信用风险评估方法 - Google Patents
一种基于Transformer的信用风险评估方法 Download PDFInfo
- Publication number
- CN112365342A CN112365342A CN202011374544.6A CN202011374544A CN112365342A CN 112365342 A CN112365342 A CN 112365342A CN 202011374544 A CN202011374544 A CN 202011374544A CN 112365342 A CN112365342 A CN 112365342A
- Authority
- CN
- China
- Prior art keywords
- layer
- transformer
- user
- input
- network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 11
- 238000012502 risk assessment Methods 0.000 title claims abstract description 8
- 230000004913 activation Effects 0.000 claims description 3
- 230000006399 behavior Effects 0.000 description 7
- 230000008901 benefit Effects 0.000 description 5
- 238000007477 logistic regression Methods 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000015556 catabolic process Effects 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 238000006731 degradation reaction Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000004445 quantitative analysis Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000003313 weakening effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q40/00—Finance; Insurance; Tax strategies; Processing of corporate or income taxes
- G06Q40/03—Credit; Loans; Processing thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- Mathematical Physics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Finance (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Health & Medical Sciences (AREA)
- Accounting & Taxation (AREA)
- Technology Law (AREA)
- Evolutionary Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- General Business, Economics & Management (AREA)
- Strategic Management (AREA)
- Marketing (AREA)
- Economics (AREA)
- Development Economics (AREA)
- Financial Or Insurance-Related Operations Such As Payment And Settlement (AREA)
Abstract
本发明公开了一种基于Transformer的信用风险评估方法，包括Transformer的网络，Transformer的网络分为三大部分，Embedding部分和Encoder部分和分类器部分，其中行为日志输入Embedding由三部分组成：(1)用户当前的操作，(2)用户当前操作的时间，(3)用户操作时的授信及账单状态，Encoder部分由六个Encoder Block堆叠而成，同时Encoder Block会把上一层的输入和结果同时拼接到一起作为本层的输入；分类器用于最后输出用户是否为黑样本。本发明基于Transformer的网络可以更好的提取复杂数据结构中的信息，模型性能会更优；同时给出了多空间维度的特征同时训练的方式。
Description
技术领域
本发明涉及互联网金融信用评估领域，特别涉及一种基于Transformer的信用风险评估方法。
背景技术
个人信用风险评估是指信用评估机构利用信用评分模型对消费者个人信用信息进行量化分析，其结果以分数形式展示个人信用高低。提升信用评分模型效果的关键是，在更多的数据维度上提取更多的信贷相关信息，并把这些信息用一种适合模型学习地方式表示。
目前最主流的是评分卡模型，主要使用逻辑回归。有简单、稳定、可解释性强、监管认可等优势。另外行业上也有应用XGBoost、LightGBM等集成学习模型。这类集成学习模型对比评分卡来说模型性能更好，但是有模型复杂，可解释性较差，稳定性可能较差等缺点。
但是上述模型在面对复杂的数据结构，如各应用自己的用户行为数据时，需要大量构造人工特征，在没有领域专家的情况下可能只能达到次优解。
发明内容
本发明要解决的技术问题是克服现有技术的缺陷，提供一种基于Transformer的信用风险评估方法，基于Transformer的网络可以更好的提取复杂数据结构中的信息，模型性能会更优，同时给出了多空间维度的特征同时训练的方式。
为了解决上述技术问题，本发明提供了如下的技术方案：
本发明一种基于Transformer的信用风险评估方法，包括Transformer的网络，所述Transformer的网络分为三大部分，Embedding部分和Encoder部分和分类器部分，其中行为日志输入Embedding由三部分组成：(1)用户当前的操作，(2)用户当前操作的时间，(3)用户操作时的授信及账单状态，所述Encoder部分由六个Encoder Block堆叠而成，同时Encoder Block会把上一层的输入和结果同时拼接到一起作为本层的输入；在每个所述Encoder Block的内部结构中，输入先经过一层CNN提取特征，再经过LayerNorm层，之后经过由一层ReLU和一层线性激活全连接组成的Feed Forward层，最后再经过LayerNorm层、Dropout层后得到输出，所述分类器用于最后输出用户是否为黑样本。
与现有技术相比，本发明的有益效果如下：
1.相对于逻辑回归和LightGBM等模型，基于Transformer的网络可以更好的提取复杂数据结构中的信息，模型性能会更优。
2.相对于Transformer：(1)目前主流的基于Attention的特征抽取器，使用CNN训练速度快，结构简单，易于并行，易于训练调参，同时在资源受限条件下有较强的应用优势且在小数据集上表现更优；(2)使用行为发生时间的Embedding来代替PositionEmbedding，更好的描述动作之间时间间隔关系；(3)Block层之间引入残差网络的思想，来解决深层级带来的网络退化问题。
3.同时给出了多空间维度的特征同时训练的方式。
附图说明
附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。在附图中：
图1是本发明的整体网络架构图；
图2是本发明的每个Encoder Block中内部结构图。
具体实施方式
以下结合附图对本发明的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本发明，并不用于限定本发明。
实施例1
如图1所示，整个网络分为三大部分，Embedding部分和Encoder部分和分类器部分。
行为日志输入Embedding由三部分组成：(1)用户当前的操作(如登陆、支用、交易等)(2)用户当前操作的时间；(3)用户操作时的授信及账单状态(如：当前授信金额、当前支用金额、当前在贷金额、当前逾期金额等)。注意这几部分特征并不在同一特征空间内，传统方式无法直接处理；每次用户进行业务操作时，便生成一条行为日志，我们使用一个用户全部的行为日志序列来表征这个用户。
Encoder部分由六个Encoder Block堆叠而成，同时Encoder Block会把上一层的输入和结果同时拼接到一起作为本层的输入，这会减轻模型衰弱带来的性能下降，使得我们可以构建深层的CNN网络，而深层CNN可以更好的捕捉序列中的长距离特征。
图2是每个Encoder Block中内部结构，输入先经过一层CNN提取特征，再经过LayerNorm层，之后经过由一层ReLU和一层线性激活全连接组成的Feed Forward层，最后再经过LayerNorm层、Dropout层后得到输出。
分类器则用来最后输出用户是否为黑样本。
与现有技术相比，本发明的有益效果如下：
1.相对于逻辑回归和LightGBM等模型，基于Transformer的网络可以更好的提取复杂数据结构中的信息，模型性能会更优。
2.相对于Transformer：(1)目前主流的基于Attention的特征抽取器，使用CNN训练速度快，结构简单，易于并行，易于训练调参，同时在资源受限条件下有较强的应用优势且在小数据集上表现更优；(2)使用行为发生时间的Embedding来代替PositionEmbedding，更好的描述动作之间时间间隔关系；(3)Block层之间引入残差网络的思想，来解决深层级带来的网络退化问题。
3.同时给出了多空间维度的特征同时训练的方式。
最后应说明的是：以上所述仅为本发明的优选实施例而已，并不用于限制本发明，尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (1)
1.一种基于Transformer的信用风险评估方法，包括Transformer的网络，其特征在于，所述Transformer的网络分为三大部分，Embedding部分和Encoder部分和分类器部分，其中行为日志输入Embedding由三部分组成：(1)用户当前的操作，(2)用户当前操作的时间，(3)用户操作时的授信及账单状态，所述Encoder部分由六个Encoder Block堆叠而成，同时Encoder Block会把上一层的输入和结果同时拼接到一起作为本层的输入；在每个所述Encoder Block的内部结构中，输入先经过一层CNN提取特征，再经过LayerNorm层，之后经过由一层ReLU和一层线性激活全连接组成的Feed Forward层，最后再经过LayerNorm层、Dropout层后得到输出，所述分类器用于最后输出用户是否为黑样本。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011374544.6A CN112365342A (zh) | 2020-11-30 | 2020-11-30 | 一种基于Transformer的信用风险评估方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011374544.6A CN112365342A (zh) | 2020-11-30 | 2020-11-30 | 一种基于Transformer的信用风险评估方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112365342A true CN112365342A (zh) | 2021-02-12 |
Family
ID=74536558
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011374544.6A Pending CN112365342A (zh) | 2020-11-30 | 2020-11-30 | 一种基于Transformer的信用风险评估方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112365342A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113591958A (zh) * | 2021-07-21 | 2021-11-02 | 杭州海康威视数字技术股份有限公司 | 融合物联网数据和信息网数据的方法、装置及设备 |
-
2020
- 2020-11-30 CN CN202011374544.6A patent/CN112365342A/zh active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113591958A (zh) * | 2021-07-21 | 2021-11-02 | 杭州海康威视数字技术股份有限公司 | 融合物联网数据和信息网数据的方法、装置及设备 |
| CN113591958B (zh) * | 2021-07-21 | 2024-03-19 | 杭州海康威视数字技术股份有限公司 | 融合物联网数据和信息网数据的方法、装置及设备 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Björkegren et al. | The potential of digital credit to bank the poor | |
| CN110399609B (zh) | 意图识别方法、装置、设备及计算机可读存储介质 | |
| CN110414780B (zh) | 一种基于生成对抗网络的金融交易数据的欺诈检测方法 | |
| Meng et al. | A case study in credit fraud detection with SMOTE and XGboost | |
| CN106022708A (zh) | 一种预测员工离职的方法 | |
| CN107992941A (zh) | 一种合同条款分类方法 | |
| CN108876193A (zh) | 一种基于信用分的风控模型构建方法 | |
| CN111177390A (zh) | 基于混合模型的事故车辆识别方法和装置 | |
| CN110046345A (zh) | 一种数据提取方法和装置 | |
| Saaudi et al. | Insider threats detection using CNN-LSTM model | |
| Wang et al. | Credit fraud risk detection based on XGBoost-LR hybrid model | |
| CN112365342A (zh) | 一种基于Transformer的信用风险评估方法 | |
| CN112396437A (zh) | 一种基于知识图谱的贸易合同验证方法及装置 | |
| Feng et al. | Technology investment, firm performance and market value: Evidence from banks | |
| CN116071150A (zh) | 数据处理方法、银行产品推广、风控系统、服务器及介质 | |
| CN111429155A (zh) | 银行卡争议处理方法及装置 | |
| CN110400129A (zh) | 一种事项审批的方法和装置 | |
| Wang et al. | Joint loan risk prediction based on deep learning‐optimized stacking model | |
| CN111813893B (zh) | 基于深度迁移学习的房地产市场分析方法、装置及设备 | |
| CN111639916A (zh) | 一种基于区块链技术及深度学习的在线审计方法、系统和可读存储介质 | |
| CN113256404A (zh) | 数据处理方法及装置 | |
| CN110853623A (zh) | 一种基于语音问答的自动金融催收方法及装置 | |
| CN110634067A (zh) | 银行账户异常交易识别方法 | |
| CN115878765B (zh) | 一种融合意图识别降噪的催款话术挖掘方法及装置 | |
| CN110020802A (zh) | 一种金融行业的理财安全系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WD01 | Invention patent application deemed withdrawn after publication | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20210212 |