CN117235444A - 一种融合深度学习与专家经验的金融风控方法及系统 - Google Patents
一种融合深度学习与专家经验的金融风控方法及系统 Download PDFInfo
- Publication number
- CN117235444A CN117235444A CN202311478976.5A CN202311478976A CN117235444A CN 117235444 A CN117235444 A CN 117235444A CN 202311478976 A CN202311478976 A CN 202311478976A CN 117235444 A CN117235444 A CN 117235444A
- Authority
- CN
- China
- Prior art keywords
- data
- model
- expert
- feature
- module
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 73
- 238000013135 deep learning Methods 0.000 title claims abstract description 18
- 238000004140 cleaning Methods 0.000 claims abstract description 27
- 238000005516 engineering process Methods 0.000 claims abstract description 26
- 238000005457 optimization Methods 0.000 claims abstract description 25
- 238000012216 screening Methods 0.000 claims abstract description 21
- 230000002452 interceptive effect Effects 0.000 claims abstract description 17
- 230000002159 abnormal effect Effects 0.000 claims abstract description 13
- 238000011156 evaluation Methods 0.000 claims description 15
- 238000012545 processing Methods 0.000 claims description 14
- 238000012549 training Methods 0.000 claims description 13
- 238000012217 deletion Methods 0.000 claims description 12
- 230000037430 deletion Effects 0.000 claims description 12
- 230000008569 process Effects 0.000 claims description 11
- 238000012795 verification Methods 0.000 claims description 11
- 238000004422 calculation algorithm Methods 0.000 claims description 10
- 238000013480 data collection Methods 0.000 claims description 9
- 238000010801 machine learning Methods 0.000 claims description 9
- 238000004458 analytical method Methods 0.000 claims description 8
- 238000003066 decision tree Methods 0.000 claims description 7
- 230000007246 mechanism Effects 0.000 claims description 7
- 230000003044 adaptive effect Effects 0.000 claims description 6
- 238000010200 validation analysis Methods 0.000 claims description 6
- 238000012800 visualization Methods 0.000 claims description 5
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 claims description 4
- 238000006243 chemical reaction Methods 0.000 claims description 4
- 238000011157 data evaluation Methods 0.000 claims description 4
- 230000006870 function Effects 0.000 claims description 4
- 238000011478 gradient descent method Methods 0.000 claims description 4
- 230000004927 fusion Effects 0.000 claims description 3
- 230000000007 visual effect Effects 0.000 claims description 3
- 230000008859 change Effects 0.000 claims description 2
- 230000014759 maintenance of location Effects 0.000 claims description 2
- 238000012552 review Methods 0.000 claims description 2
- 238000007637 random forest analysis Methods 0.000 description 6
- 238000013528 artificial neural network Methods 0.000 description 5
- 238000007781 pre-processing Methods 0.000 description 5
- 238000001514 detection method Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 230000008676 import Effects 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 238000007477 logistic regression Methods 0.000 description 3
- 238000003672 processing method Methods 0.000 description 3
- 238000007619 statistical method Methods 0.000 description 3
- 208000025174 PANDAS Diseases 0.000 description 2
- 208000021155 Paediatric autoimmune neuropsychiatric disorders associated with streptococcal infection Diseases 0.000 description 2
- 240000004718 Panda Species 0.000 description 2
- 235000016496 Panda oleosa Nutrition 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000002790 cross-validation Methods 0.000 description 2
- 238000013136 deep learning model Methods 0.000 description 2
- 230000001419 dependent effect Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000011269 treatment regimen Methods 0.000 description 2
- 101000734702 Homo sapiens Proline-, glutamic acid- and leucine-rich protein 1 Proteins 0.000 description 1
- 238000007476 Maximum Likelihood Methods 0.000 description 1
- 102100034729 Proline-, glutamic acid- and leucine-rich protein 1 Human genes 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000007635 classification algorithm Methods 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000008602 contraction Effects 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 238000013479 data entry Methods 0.000 description 1
- 238000013524 data verification Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000008034 disappearance Effects 0.000 description 1
- 238000011985 exploratory data analysis Methods 0.000 description 1
- 238000004880 explosion Methods 0.000 description 1
- 230000002068 genetic effect Effects 0.000 description 1
- 238000012905 input function Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- ZLIBICFPKPWGIZ-UHFFFAOYSA-N pyrimethanil Chemical compound CC1=CC(C)=NC(NC=2C=CC=CC=2)=N1 ZLIBICFPKPWGIZ-UHFFFAOYSA-N 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000012502 risk assessment Methods 0.000 description 1
- 238000010187 selection method Methods 0.000 description 1
- 230000001502 supplementing effect Effects 0.000 description 1
- 238000012706 support-vector machine Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Landscapes
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明涉及一种融合深度学习与专家经验的金融风控方法及系统，所述方法包括：用自动化技术进行数据异常和缺失值检测；根据专家规则库对数据进行清洗和修正；融合自动化技术与专家经验进行特征筛选与模型选择；对所选模型进行自动化参数调整；利用交互式界面收集与整理专家的反馈及建议。本发明通过使用混合的特征选择策略和模型优化技术，大大提高了模型的预测准确性和稳健性。本发明提供了一种集自动化、精准度和业务解释于一体的金融风控技术方案，对金融行业在面对复杂风险环境时具有极大的实用价值。
Description
技术领域
本发明涉及金融风控技术领域，更具体地说，涉及一种融合深度学习与专家经验的金融风控方法及系统。
背景技术
随着金融科技的快速发展，数据处理和建模的效率问题日益凸显。在传统的风控技术中，从数据探索、清洗、特征工程到模型建立，都需要人工参与，经常需要数周甚至数月的时间才能完成。此外，由于模型建设过程中的各个环节对人工的依赖过重，模型的稳定性、效果和准确性都容易受到影响。尤其在数据清洗阶段，由于其复杂性和细致性，经常占据整个建模过程的大部分时间。
其次，业务理解的缺失。自动化技术在分析和建模过程中，往往过于依赖数据，而忽略了业务背景和实际应用场景。这可能导致模型在理论上表现良好，但在实际应用中效果却不尽如人意。真实的业务场景往往涉及到众多的非线性和复杂的关联性，单纯依赖数据进行模型训练无法完全捕捉到这些复杂性。
再者，模型解释性的问题。尽管深度学习和复杂的机器学习模型在预测性能上展现出了卓越的能力，但它们的“黑箱”特性使得模型的决策过程难以解释和理解。在金融风控领域，模型的透明度和解释性是至关重要的，因为它们直接关系到金融机构的决策质量和对外的信任度。
考虑到以上问题，面对当前金融风控技术的挑战，我们迫切需要一种既高效、准确又灵活的金融风控技术方案来解决问题。
发明内容
本发明要解决的技术问题在于，针对现有技术的上述缺陷，一种融合深度学习与专家经验的金融风控方法及系统。
本发明解决其技术问题所采用的技术方案是：
一种融合深度学习与专家经验的金融风控方法，包括以下步骤：
a. 使用自动化技术进行数据异常和缺失值检测，使用自动化技术通过Z-score方法检测数值型数据的异常值和检测缺失值，并结合数据的性质和业务背景进行分析;数据的性质包括数据分布、数据类型、数据量及数据相关性；根据分析结果在预设策略数据库中自动匹配处理策略，所述预设策略数据库的所述处理策略包括异常值的替换、删除、保留、转换以及缺失值的删除、填充、插值、使用缺失值指示器；
b. 根据专家规则库对数据进行清洗和修正，通过预先定义的金融领域专家规则库对数据进行清洗和修正，所述专家规则库是一个预先定义包含字段的合法范围或验证条件的数据清洗规则集合，通过读取所述数据清洗规则集合，对数据中的每个字段应用这些规则，以校验数据值是否位于指定的合法范围或验证条件中；
c. 融合自动化技术与专家经验进行特征筛选与模型选择，融合决策树方法、量化特征贡献度函数及筛选特征公式以及专家经验进行特征筛选与模型选择，所述专家经验包括预设的经济指标、政策变化数据，所述筛选公式如下:
其中，是/>第个特征的重要性分数，/>和/>分别是节点分裂前后的基尼指数；
d. 对所选模型进行自动化参数调整，该调整结合交叉验证与网格搜索技术，同时采用自适应学习率、早停策略以及L1/L2正则化方法，确保对模型参数的深度优化；
e. 利用交互式界面收集与整理专家的反馈及建议，系统采用交互式界面，所述界面能够收集金融领域专家的反馈与建议，并根据所述反馈与建议自动更新与调整数据清洗的所述专家规则库。
进一步地，所述融合自动化技术与专家经验进行特征筛选与模型选择步骤还应用混合策略，所述混合策略包括利用机器学习算法自动评估特征的重要性，并结合专家在业务领域的经验进行最终的特征选择，所述专家在业务领域的经验为专家经验数据库。
进一步地，所述融合自动化技术与专家经验进行特征筛选与模型选择步骤的模型选择过程中，采用基于数据的自动化模型评估，所述自动化模型评估包括数据输入、特征分析、模型评估、模型推荐以及结果输出步骤。
进一步地，所述对所选模型进行自动化参数调整包括自适应调整, 所述自适应调整基于梯度下降法，其中学习率会根据验证集上的性能进行动态调整。
进一步地，所述交互式界面提供对数据和模型结果的可视化工具, 所述可视化工具包括数据分布直方图、模型损失曲线和特征重要性排名。
进一步地，所述方法基于Apache Spark或Hadoop分布式计算框架实现。
进一步地，在所述融合自动化技术与专家经验进行特征筛选与模型选择步骤的特征选择阶段采用自编码器和注意力机制识别并优化数据特性；在所述对所选模型进行自动化参数调整步骤的模型优化阶段，利用深度残差网络确保深层模型的稳定训练，并结合Dropout策略与Adam优化器提高模型的泛化能力和收敛速度。
一种融合深度学习与专家经验的金融风控系统，包括：
数据收集模块：用于获取原始金融数据；
数据清洗模块：通过专家规则库对数据进行自动清洗和修正，确保数据的完整性和准确性；
特征选择模块：融合自动化技术与专家经验进行特征选择；
模型选择模块：基于数据评估与专家经验为模型选择提供支持；
模型优化模块：通过自适应学习率、早停策略和L1/L2正则化策略，结合交叉验证和网格搜索，确保对模型参数的深度优化。
进一步地，所述数据收集模块与所述数据清洗模块相连接，所述数据清洗模块与所述特征选择模块相连接，所述特征选择模块与所述模型选择模块相连接，所述模型选择模块与所述模型优化模块相连接。
进一步地，包含交互式界面模块，所述交互式界面模块与所有其他模块相连，为专家提供数据与模型结果的视觉审查及反馈输入功能。
本发明的有益效果在于：针对现有金融风控技术问题，本发明提供了一种高效、全面的金融风控方法及系统，融合了先进的深度学习自动化技术与专家的深度经验。该方法不仅能快速、准确地进行数据清洗和特征选择，而且确保了模型在实际业务场景中的适用性和稳定性。通过使用混合的特征选择策略和模型优化技术，大大提高了模型的预测准确性和稳健性。本发明提供了一种集自动化、精准度和业务解释于一体的金融风控技术方案，对金融行业在面对复杂风险环境时具有极大的实用价值。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将结合附图及实施例对本发明作进一步说明，下面描述中的附图仅仅是本发明的部分实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获取其他附图：
图1是本发明实施例的一种融合深度学习与专家经验的金融风控方法的数据处理流程示意图；
图2是本发明实施例的一种融合深度学习与专家经验的金融风控方法的分布式计算框架结构图；
图3是本发明实施例的一种融合深度学习与专家经验的金融风控系统的模块框架示意图。
具体实施方式
为了使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的技术方案进行清楚、完整的描述，显然，所描述的实施例是本发明的部分实施例，而不是全部实施例。基于本发明的实施例，本领域普通技术人员在没有付出创造性劳动的前提下所获取的所有其他实施例，都属于本发明的保护范围。
如图1所示，本发明提供了一种融合深度学习与专家经验的金融风控方法，具体实施步骤如下：
数据预处理步骤：使用自动化技术进行数据异常和缺失值检测步骤，由于原始数据经常受到各种因素的影响，包括人为输入错误、系统故障或其他未知因素，这可能导致数据中存在异常值和缺失值。首先，我们使用Z-score方法来检测数值型数据的异常值。检测公式如下：其中，X是观测值，μ是平均值，σ是标准偏差。Z得分的绝对值大于3的数据点通常被认为是异常的，也就是异常值，3这个数据可以预先被设定。异常值处理的方法有多种，例如：替换为均值、中值，或通过线性插值方法补充等。以下通过使用Python的pandas和numpy库进行数据处理进行举例：
import pandas as pd
import numpy as np
def detect_outliers(data):
threshold = 3
mean = np.mean(data)
std = np.std(data)
z_scores = [(y - mean) / std for y in data]
return np.where(np.abs(z_scores) > threshold)
data = pd.read_csv('data.csv')
outliers = detect_outliers(data['ColumnName'])
此代码首先计算给定数据列的Z-score，然后标记那些Z-score绝对值大于3的数据为异常值。
所述异常值的处理方法：
对数据的性质考量:
a. 数据分布:
对于正态分布的数据，可以采用Z-score等方法检测异常值；
对于偏态分布的数据，中位数和四分位数范围（IQR）可能是更合适的方法。
b. 数据类型:
对于连续型数据，可以使用统计方法，如平均值、标准偏差等；
对于离散型或分类数据，可以考虑使用众数或特定的替代策略。
c. 数据量:
在小数据集中，每一个数据点都可能很重要，异常值的处理要谨慎；
在大数据集中，可以更大胆地处理或删除异常值。
业务背景考量:
a. 领域知识:
在某些金融领域，异常值可能代表了欺诈或风险，因此可能需要特殊处理；
在其他领域，异常值可能仅仅是数据输入的错误。
b. 数据来源:
了解数据是如何收集的可以帮助确定异常值是真实的异常还是收集错误。例如，手动输入的数据可能有更多的错误。
c. 业务目标:
如果业务目标是识别罕见的风险事件，那么异常值可能是有价值的；
如果业务目标是预测常见的客户行为，那么异常值可能会扭曲模型的预测。
综合处理策略:
a. 替换:
对于那些由于输入错误或其他可识别原因出现的异常值，可以用中位数、均值或其他适当的值进行替换。
b. 删除:
如果异常值数量较少并且对业务目标没有影响，可以考虑删除这些值。
c. 保留:
在某些业务场景中，例如欺诈检测，异常值可能是有意义的，可以考虑保留。
d. 转换:
在某些情况下，对数据进行转换（如对数转换）可以减少异常值的影响。
e. 专家咨询:
在不确定如何处理异常值时，咨询领域内的专家或利用领域知识是非常有价值的。对于缺失值的处理，我们首先进行统计分析，确定缺失值的分布情况和缺失原因。常见的处理方法包括：均值/中位数/众数填充、线性插值、基于模型的预测填充。具体选择哪种方法，取决于数据的性质和业务背景。可通过Python实现，具体代码为：
def fill_missing_values(data):
# 如果数据类型为数字，使用中位数填充
if pd.api.types.is_numeric_dtype(data):
return data.fillna(data.median())
# 对于非数值型数据，使用众数填充
return data.fillna(data.mode()[0])
data['ColumnName'] = fill_missing_values(data['ColumnName'])
所述缺失值的处理方法：
数据的性质考量:
a. 缺失值的程度:
如果只有少量的数据点有缺失值，简单地删除这些数据点可能是可行的。
如果缺失值广泛分布在数据集中，则需要其他策略，如填充或使用能够处理缺失值的模型。
b. 数据类型:
连续数据：可以使用均值、中位数或基于模型的预测值来填充缺失值。
分类数据：可以使用众数、基于模型的预测值或特定的填充策略，如"未知"标签。
c. 数据相关性:
如果某些变量与缺失的变量高度相关，可以使用这些变量为缺失值提供预测。
业务背景考量:
a. 业务重要性:
如果某个具有大量缺失值的变量对业务十分关键，可能需要进行额外的数据收集或使用专业知识来进行填充。
b. 缺失机制:
完全随机缺失（MCAR）：缺失是随机的，不依赖于其他变量。在这种情况下，简单删除或平均填充可能是可行的。
随机缺失（MAR）：缺失依赖于其他观察到的数据。在这种情况下，可以考虑模型驱动的填充方法。
非随机缺失（MNAR）：缺失依赖于未观察到的数据。这是最复杂的情况，可能需要领域知识或更复杂的方法。
c. 业务目标:
如果业务目标是建立预测模型，那么处理缺失值的方式可能会影响模型的准确性。
如果是探索性数据分析，可能可以容忍更多的缺失值，但需要明确标出。
综合处理策略:
a. 删除:
完全删除含有缺失值的行或列。
b. 填充:
统计方法：如均值、中位数或众数填充。
模型驱动：使用如K近邻、决策树或深度学习模型预测缺失值。
c. 插值:
对于时间序列数据，线性插值或多项式插值可能是一个好方法。
d. 使用缺失值指示器:
为具有缺失值的数据点创建一个新的二值指示器变量。
e. 领域知识:
在不确定如何处理缺失值时，咨询领域内的专家或利用领域知识是非常有价值的。
根据专家规则库对数据进行清洗和修正步骤：结合金融领域的专家规则库，专家规则库基于领域知识定义了一系列数据验证的规则，针对特定的字段进行清洗和修正。例如，对于年收入字段，不可能出现负值；对于年龄字段，不可能超过150或小于0。例如某些字段值不应超过某个阈值，或某些字段组合是不合逻辑的（例如，年龄字段为负数或者超过120）等。这些规则可以帮助我们快速定位数据中的异常和错误，并进行相应的修正。所述专家规则库是一个预先定义的数据清洗规则集合，通常由金融领域的专家编写和维护。例如，规则库可以是一个JSON文件，其中包含多个规则，这些规则描述了字段的合法范围或其他验证条件。如下所示：
{
"annual_income": {
"min_value": 0,
"max_value": 1000000
},
"age": {
"min_value": 0,
"max_value": 150
}
}
实施这些规则的Python代码如下：
import json
with open('rules.json', 'r') as file:
rules = json.load(file)
def apply_rules(data, rules):
for column, rule in rules.items():
if 'min_value' in rule:
data[column] = np.where(data[column] < rule['min_value'],rule['min_value'], data[column])
if 'max_value' in rule:
data[column] = np.where(data[column] > rule['max_value'],rule['max_value'], data[column])
return data
data = apply_rules(data, rules)
给定的Python代码展示了如何根据预先定义的规则库来清洗数据。在这段代码中，我们首先从JSON文件中读取规则，然后对数据中的每个字段应用这些规则，校验数据值是否位于指定的合法范围或验证条件中。这样，任何不符合规则的数据都会被自动修正到合法范围。
融合自动化技术与专家经验进行特征筛选与模型选择步骤：特征选择是机器学习模型效果好坏的关键。一个好的特征选择不仅可以提高模型的预测准确性，还可以大大减少模型的计算复杂度。使用基于树的方法，对预测变量空间进行切分的规则可以总结为一个数，这类方法也称为决策树方法（decision tree），如随机森林、梯度提升树等，通过模型的feature_importances_属性，即量化特征贡献度函数，采用feature_importances_属性可以获取特征重要性分布,来初步筛选特征。筛选公式如下:
其中，是/>第个特征的重要性分数，/>和/>分别是节点分裂前后的基尼指数。
为提升特征选择的准确性和模型的有效性，引入了一种混合策略进行特征筛选与模型选择。
自动化技术评估特征重要性：
数据集首先经过预处理，包括缺失值填充、异常值处理等；
利用机器学习算法，例如随机森林或XGBoost，自动评估每个特征的重要性。这些算法通过多次迭代和模型训练，为每个特征赋予一个重要性分数；
根据重要性分数，将特征按照其重要性降序排列。
所述模型选择采用基于数据的自动化模型评估，所述自动化模型评估可以采用自动化模型评估工具AutoEval或者Google的AutoML、H2O's AutoML、Microsoft的AzureAutoML，所述自动化模型评估包括数据输入、特征分析、模型评估、模型推荐以及结果输出步骤。
数据输入：银行将近两年的客户数据输入到AutoEval中。这些数据包括了各种特征，如客户年龄、月收入、信用卡使用率、历史贷款数量等。
特性分析：AutoEval首先对数据进行特性分析，判断任务的复杂性、数据的分布和潜在的数据问题。
模型评估：基于元学习的知识库，AutoEval快速地对各种模型，如逻辑回归、决策树、神经网络等，进行预测性能的估计。
模型推荐：AutoEval在评估结束后，向银行推荐了三个最有可能达到高准确性的模型，同时为每个模型给出了预期的准确率、召回率和F1分数。
结果输出：根据AutoEval的推荐，银行选择了神经网络模型进行了实际训练，并发现该模型在验证集上的表现与AutoEval给出的估计非常接近。
专家经验进行最终特征选择：
为获得专家在业务领域的经验，建立了一个“专家经验数据库”。这个数据库储存了多名金融领域专家对于各种特征的看法、经验和评价，其中可能包括特征的业务解释、特征在过去案例中的表现等；
在特征选择过程中，系统会访问这个数据库，检索与当前数据集中的特征相关的专家评价；特征选择阶段采用自编码器和注意力机制识别并优化数据特性，使用自编码器（Autoencoder）对输入数据进行编码，从而实现数据的降维和特征压缩。自编码器能够学习到数据的重要特性，保留主要信息，而过滤掉冗余和噪声信息；利用注意力机制（AttentionMechanism）评估特征的重要性，该机制可以为每一个特征分配一个权重值，从而突出对结果预测最有帮助的特征。
为了确保模型的业务逻辑性和准确性，结合机器学习算法给出的特征重要性分数和专家经验数据库的内容，进行最终的特征筛选。例如，某一特征虽然在机器学习算法中得分较高，但在“专家经验数据库”中被多名专家标注为不稳定或易受外部因素影响，那么在最终的特征选择中可能会考虑不采用该特征。
除了自动化特征选择方法外，还可结合专家经验，对自动化筛选的结果进行进一步筛选。例如，某些经济指标、政策变化等，尽管在数据中显示为不太重要，但基于业务逻辑仍然需要被包括。
模型选择几种常见的分类算法，如逻辑回归、随机森林、支持向量机、XGBoost和神经网络。针对每种算法，分别进行如下处理：
逻辑回归:
其中,P(y=1)是事件发生的概率,是特征,/>是要估计的参数, 通过最大似然估计法估计参数, e 是自然对数的底数，也称为欧拉数。
随机森林和XGBoost:随机森林是一种基于树的集成学习方法，它通过建立多棵决策树，利用基于树的方法进行模型建立，并采用多数投票机制来进行预测。XGBoost则是梯度提升方法的一种，通过迭代地添加新的树来减少预测误差。
神经网络: 设定输入层、隐藏层和输出层，利用反向传播算法优化权重。
深度学习已经在许多领域，如图像识别、自然语言处理等，取得了显著的效果。在金融风控领域，深度神经网络可以自动学习数据的高层特征，从而提高模型的预测准确性。
对所选模型进行自动化参数调整步骤：为了确保模型的泛化能力和减少过拟合，我们首先使用k-fold交叉验证来评估模型的稳健性。为了找到最佳的超参数组合，我们运用了网格搜索技术，系统地测试了不同的学习率、批大小和隐藏层单元数。所述自动化参数调整包括自适应调整，所述自适应调整基于梯度下降法，其中学习率会根据验证集上的性能进行动态调整。利用深度残差网络确保深层模型的稳定训练，并结合Dropout策略与Adam优化器提高模型的泛化能力和收敛速度。采用深度残差网络（Residual Networks orResNets）结构，允许模型在多个层之间建立“捷径”连接，从而解决深度模型中的梯度消失或爆炸问题，提高模型的收敛速度和准确性；使用Dropout策略，随机丢弃部分神经元，增强模型的鲁棒性和泛化能力，防止过拟合；结合自适应学习率调整策略，如Adam优化器，确保模型参数在训练过程中快速且稳定地收敛。
在模型的训练过程中，我们使用了自适应学习率，这样可以确保模型在逼近最优解时更加精确。同时，为了防止过拟合，并且节省计算资源，我们采用了早停策略；当模型在连续若干次迭代中，验证集的表现不再有显著提升时，我们停止了训练。
为了进一步提高模型的稳健性和防止过拟合，我们还引入了L1和L2正则化。通过这些策略，我们能够确保模型在训练数据上的表现与在未知数据上的表现相近，从而达到了我们的目标。网格搜索技术 (Grid Search): 是一种系统地遍历多种参数组合的技术，用于模型的超参数优化。其目的是找到最佳的参数组合，以优化模型的性能。
自适应学习率 (Adaptive Learning Rate): 指的是在模型的训练过程中，根据模型的表现动态调整学习率。当模型开始收敛时，减小学习率可以帮助模型更精确地找到误差的最小值。
早停策略 (Early Stopping): 是为了防止模型过拟合而采用的策略。在训练模型时，如果在一定的迭代次数后，验证集的性能不再提高，就停止训练。
L1/L2正则化 (L1/L2 Regularization): 是机器学习中防止过拟合的策略。L1正则化会使得部分特征的权重为零，从而实现特征选择；L2正则化则会使得特征的权重接近于零但不会为零，它可以限制模型权重的大小。
模型优化包括参数调优和特征工程两部分。参数调优通常使用网格搜索、随机搜索等方法，结合交叉验证来确定最佳参数组合。特征工程则包括特征选择、特征变换、特征创建等步骤，目的是提高模型的预测效果和解释性。一旦选择了模型，我们使用各种技术进行优化。例如，对于梯度提升树，我们可以使用GridSearchCV来找到最佳的学习率、树的深度等参数。对于神经网络，我们可以使用dropout、early stopping等技术来防止过拟合。使用GridSearchCV进行自动化参数优化：
from sklearn.model_selection import GridSearchCV
param_grid = {
'n_estimators': [50, 100, 150],
'max_depth': [None, 10, 20, 30],
'min_samples_split': [2, 5, 10]
}
grid_search = GridSearchCV(clf, param_grid, cv=5)
grid_search.fit(X_new, y_train)
best_clf = grid_search.best_estimator_
利用交互式界面收集与整理专家的反馈及建议步骤：为了让非技术人员也能够方便地使用和理解模型，我们设计了一个交互式界面。这个界面使用Web前端技术如HTML,CSS, JavaScript，结合Python后端框架如Flask或Django进行开发。这个界面不仅可以展示模型的评估结果，如混淆矩阵、ROC曲线等，还可以让用户上传新的数据、调整模型参数、查看模型的特征重要性等。所述交互式界面提供对数据和模型结果的可视化工具, 所述可视化工具包括数据分布直方图、模型损失曲线和特征重要性排名
考虑到金融数据的量级和处理速度的要求，建议使用分布式计算框架如ApacheSpar或Hadoop分布式计算框架进行处理。Spark支持Scala、Java、Python等多种语言，能高效处理大数据，并且具有丰富的机器学习库，分布式计算框架设计参考附图2。
系统可以部署在云平台如阿里云或腾讯云上，确保了系统的高可用性、弹性伸缩和安全性。同时，通过设置访问控制、数据加密和备份等策略，确保数据的安全和完整性。
如图3所示，一种融合深度学习与专家经验的金融风控方法及系统，主要由以下模块构成：数据收集模块、数据清洗模块、特征选择模块、模型选择模块、模型优化模块、交互式界面模块；
数据收集模块：用于获取原始金融数据；所述数据收集模块负责从各种金融数据源中收集原始数据。可以通过API接口、文件上传、数据库连接等方式进行数据输入。确保数据的完整性和及时性是该模块的主要目标。
数据清洗模块：通过专家规则库对数据进行自动清洗和修正，确保数据的完整性和准确性；所述数据清洗模块负责数据经过收集后，可能存在异常值、缺失值或其他不规范的内容。该模块整合自动化技术与专家规则库，对数据进行清洗。例如，通过算法自动检测异常值，而根据专家规则库修正某些特定的数据偏差。
在大数据环境下，不是所有的数据特征都是对模型有用的。所述特征选择模块融合自动化技术与专家经验，筛选出最具代表性和相关性的特征。例如，使用深度学习技术自动分析特征重要性，同时让专家对某些特征给出优先级建议。
特征选择模块：融合自动化技术与专家经验进行特征选择；
模型选择模块：基于数据评估与专家经验为模型选择提供支持；所述模型选择模块基于数据评估与专家经验为模型选择提供支持。它可以自动比较不同模型的性能，如精确度、召回率等，并根据专家的业务逻辑评估，挑选最适合的模型。
模型优化模块：通过自适应学习率、早停策略和L1/L2正则化等策略，结合交叉验证和网格搜索，确保对模型参数的深度优化。所述模型优化模块进行参数调整与优化，确保模型的最佳表现。例如，可以使用遗传算法或梯度下降法等技术来调整深度学习模型的参数。
所述数据收集模块与所述数据清洗模块相连接，所述数据清洗模块与所述特征选择模块相连接，所述特征选择模块与所述模型选择模块相连接，所述模型选择模块与所述模型优化模块相连接。
为了保证专家与系统的有效交互，所述交互式界面模块与所有其他模块相连，为专家提供数据与模型结果的视觉审查及反馈输入功能,所述交互式界面模块提供了一个直观的用户界面。专家可以通过这个界面，视觉上审查数据和模型结果，同时输入反馈和建议。此外，界面还提供了数据和模型的可视化工具，帮助专家更好地理解整个流程和结果。
考虑一家金融机构，它每天处理数万笔交易，并希望通过本系统预测交易的风险。
数据采集：首先，从交易系统中收集数据，包括交易金额、交易时间、客户信息等。
数据预处理：应用数据预处理模块，对数据进行异常值检测和缺失值处理。例如，对于超出正常范围的交易金额，系统会根据专家经验库给出建议，决定是否将其视为异常。
特征选择：应用特征选择模块，使用CNN或RNN自动筛选出关键特征，如交易频率、客户历史交易记录等。
模型选择与优化：根据业务需求选择合适的模型，例如，对于大量数据，可能选择深度神经网络；对于解释性要求高的场景，可能选择随机森林。然后应用模型优化模块进行参数调整。
结果展示：通过交互式界面模块，业务人员可以清晰地看到每笔交易的风险评估结果，并根据需要进行调整或干预。
本系统具有模块化的设计，各模块之间逻辑连接清晰，数据流连续，确保了系统的高效运行和准确输出。此外，系统支持分布式计算框架，可轻松应对大数据环境下的金融风控挑战。
本实施方式为金融机构提供了一个全面、详细、实用的风控方法和系统方案。不仅涵盖了数据预处理、特征选择、模型选择和优化等关键步骤，还考虑了系统的实际部署和应用，确保了模型的实用性和可靠性。
应当理解的是，对本领域普通技术人员来说，可以根据上述说明加以改进或变换，而所有这些改进和变换都应属于本发明所附权利要求的保护范围。
Claims (10)
1.一种融合深度学习与专家经验的金融风控方法，其特征在于：
包括以下步骤：
a. 使用自动化技术进行数据异常和缺失值检测，使用自动化技术通过Z-score方法检测数值型数据的异常值和检测缺失值，并结合数据的性质和业务背景进行分析;数据的性质包括数据分布、数据类型、数据量及数据相关性；根据分析结果在预设策略数据库中自动匹配处理策略，所述预设策略数据库的所述处理策略包括异常值的替换、删除、保留、转换以及缺失值的删除、填充、插值、使用缺失值指示器；
b. 根据专家规则库对数据进行清洗和修正，通过预先定义的金融领域专家规则库对数据进行清洗和修正，所述专家规则库是一个预先定义包含字段的合法范围或验证条件的数据清洗规则集合，通过读取所述数据清洗规则集合，对数据中的每个字段应用这些规则，以校验数据值是否位于指定的合法范围或验证条件中；
c. 融合自动化技术与专家经验进行特征筛选与模型选择，融合决策树方法、量化特征贡献度函数及筛选特征公式以及专家经验进行特征筛选与模型选择，所述专家经验包括预设的经济指标、政策变化数据，所述筛选公式如下:其中，/>是第/>个特征的重要性分数，/>和/>分别是节点分裂前后的基尼指数；
d. 对所选模型进行自动化参数调整，该调整结合交叉验证与网格搜索技术，同时采用自适应学习率、早停策略以及L1/L2正则化方法，确保对模型参数的深度优化；
e. 利用交互式界面收集与整理专家的反馈及建议，系统采用交互式界面，所述界面能够收集金融领域专家的反馈与建议，并根据所述反馈与建议自动更新与调整数据清洗的所述专家规则库。
2.根据权利要求1所述方法，其特征在于，所述融合自动化技术与专家经验进行特征筛选与模型选择步骤还应用混合策略，所述混合策略包括利用机器学习算法自动评估特征的重要性，并结合专家在业务领域的经验进行最终的特征选择，所述专家在业务领域的经验为专家经验数据库。
3.根据权利要求1或2所述方法，其特征在于，所述融合自动化技术与专家经验进行特征筛选与模型选择步骤的模型选择过程中，采用基于数据的自动化模型评估，所述自动化模型评估包括数据输入、特征分析、模型评估、模型推荐以及结果输出步骤。
4. 根据权利要求3所述方法，其特征在于，所述对所选模型进行自动化参数调整包括自适应调整, 所述自适应调整基于梯度下降法，其中学习率会根据验证集上的性能进行动态调整。
5. 根据权利要求1所述方法，其特征在于，所述交互式界面提供对数据和模型结果的可视化工具, 所述可视化工具包括数据分布直方图、模型损失曲线和特征重要性排名。
6. 根据权利要求5所述方法，其特征在于，所述方法基于Apache Spark或Hadoop分布式计算框架实现。
7.根据权利要求6所述方法，其特征在于，在所述融合自动化技术与专家经验进行特征筛选与模型选择步骤的特征选择阶段采用自编码器和注意力机制识别并优化数据特性；在所述对所选模型进行自动化参数调整步骤的模型优化阶段，利用深度残差网络确保深层模型的稳定训练，并结合Dropout策略与Adam优化器提高模型的泛化能力和收敛速度。
8.一种为实施权利要求1至7任意一项所述融合深度学习与专家经验的金融风控方法的系统，包括：
数据收集模块：用于获取原始金融数据；
数据清洗模块：通过专家规则库对数据进行自动清洗和修正，确保数据的完整性和准确性；
特征选择模块：融合自动化技术与专家经验进行特征选择；
模型选择模块：基于数据评估与专家经验为模型选择提供支持；
模型优化模块：通过自适应学习率、早停策略和L1/L2正则化策略，结合交叉验证和网格搜索，确保对模型参数的深度优化。
9.根据权利要求8所述系统，其特征在于，所述数据收集模块与所述数据清洗模块相连接，所述数据清洗模块与所述特征选择模块相连接，所述特征选择模块与所述模型选择模块相连接，所述模型选择模块与所述模型优化模块相连接。
10.根据权利要求8或9所述系统，其特征在于，进一步包含交互式界面模块，所述交互式界面模块与所有其他模块相连，为专家提供数据与模型结果的视觉审查及反馈输入功能。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311478976.5A CN117235444A (zh) | 2023-11-08 | 2023-11-08 | 一种融合深度学习与专家经验的金融风控方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311478976.5A CN117235444A (zh) | 2023-11-08 | 2023-11-08 | 一种融合深度学习与专家经验的金融风控方法及系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117235444A true CN117235444A (zh) | 2023-12-15 |
Family
ID=89091542
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311478976.5A Pending CN117235444A (zh) | 2023-11-08 | 2023-11-08 | 一种融合深度学习与专家经验的金融风控方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117235444A (zh) |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106897067A (zh) * | 2017-02-26 | 2017-06-27 | 广州衡昊数据科技有限公司 | 一种基于人机交互技术建模的方法和专家系统 |
| CN113859306A (zh) * | 2020-06-30 | 2021-12-31 | 株洲中车时代电气股份有限公司 | 一种机车数据专家诊断分析方法、装置及系统 |
| CN115511525A (zh) * | 2022-09-27 | 2022-12-23 | 欧冶云商股份有限公司 | 一种针对b2b平台用户的会员流失预警方法和系统 |
-
2023
- 2023-11-08 CN CN202311478976.5A patent/CN117235444A/zh active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106897067A (zh) * | 2017-02-26 | 2017-06-27 | 广州衡昊数据科技有限公司 | 一种基于人机交互技术建模的方法和专家系统 |
| CN113859306A (zh) * | 2020-06-30 | 2021-12-31 | 株洲中车时代电气股份有限公司 | 一种机车数据专家诊断分析方法、装置及系统 |
| CN115511525A (zh) * | 2022-09-27 | 2022-12-23 | 欧冶云商股份有限公司 | 一种针对b2b平台用户的会员流失预警方法和系统 |
Non-Patent Citations (1)
| Title |
|---|
| 蒋胜利 等: "网络应用程序分类的多样化组合特征选择算法", 《聊城大学学报(自然科学版)》, pages 18 - 27 * |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10600005B2 (en) | System for automatic, simultaneous feature selection and hyperparameter tuning for a machine learning model | |
| US10311368B2 (en) | Analytic system for graphical interpretability of and improvement of machine learning models | |
| EP3910571A1 (en) | Methods and systems for server failure prediction using server logs | |
| EP3404593A1 (en) | Method and system for data based optimization of performance indicators in process and manufacturing industries | |
| KR102068715B1 (ko) | 변수 중요도에 따른 가중치가 적용된 변수를 이용한 이상값 탐지 장치 및 방법 | |
| KR102361423B1 (ko) | 인공지능 기반의 정비 수요 예측 시스템 및 방법 | |
| CN117455417B (zh) | 一种智能风控审批策略自动迭代优化方法及系统 | |
| CN111738331A (zh) | 用户分类方法及装置、计算机可读存储介质、电子设备 | |
| CN117349782B (zh) | 智能数据预警决策树分析方法及系统 | |
| CN116861331A (zh) | 一种融合专家模型决策的数据识别方法及系统 | |
| CN116340726A (zh) | 一种能源经济大数据清洗方法、系统、设备及存储介质 | |
| CN117787569B (zh) | 一种智能辅助评标方法及系统 | |
| Dabab et al. | A decision model for data mining techniques | |
| KR102307132B1 (ko) | 플랜트 엔지니어링 업무 단계별 의사결정 지원을 위한 머신러닝 자동화 플랫폼 장치 | |
| CN116522912B (zh) | 一种包装设计语言模型的训练方法、装置、介质及设备 | |
| CN117522607A (zh) | 一种企业财务管理系统 | |
| CN116862658A (zh) | 信用评估方法、装置、电子设备、介质和程序产品 | |
| CN113891342A (zh) | 基站巡检方法、装置、电子设备及存储介质 | |
| Jeyaraman et al. | Practical Machine Learning with R: Define, build, and evaluate machine learning models for real-world applications | |
| CN111143533A (zh) | 一种基于用户行为数据的客服方法及系统 | |
| CN117235444A (zh) | 一种融合深度学习与专家经验的金融风控方法及系统 | |
| CN111737319B (zh) | 用户集群的预测方法、装置、计算机设备和存储介质 | |
| Zang | Construction of Mobile Internet Financial Risk Cautioning Framework Based on BP Neural Network | |
| EP4372593A1 (en) | Method and system for anonymizsing data | |
| WO2022254607A1 (ja) | 情報処理装置、差分抽出方法、及び非一時的なコンピュータ可読媒体 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |