CN110472817A - 一种结合深度神经网络的XGBoost集成信用评价系统及其方法 - Google Patents

一种结合深度神经网络的XGBoost集成信用评价系统及其方法 Download PDF

Info

Publication number
CN110472817A
CN110472817A CN201910595039.5A CN201910595039A CN110472817A CN 110472817 A CN110472817 A CN 110472817A CN 201910595039 A CN201910595039 A CN 201910595039A CN 110472817 A CN110472817 A CN 110472817A
Authority
CN
China
Prior art keywords
training
neural network
xgboost
deep neural
credit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910595039.5A
Other languages
English (en)
Other versions
CN110472817B (zh
Inventor
贺小伟
李思奇
王宾
贺心畋
王文强
张翔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Northwest University
Original Assignee
Northwest University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Northwest University filed Critical Northwest University
Priority to CN201910595039.5A priority Critical patent/CN110472817B/zh
Publication of CN110472817A publication Critical patent/CN110472817A/zh
Application granted granted Critical
Publication of CN110472817B publication Critical patent/CN110472817B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
    • G06F18/2193—Validation; Performance evaluation; Active pattern learning techniques based on specific statistical tests
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/243—Classification techniques relating to the number of classes
    • G06F18/24323—Tree-organised classifiers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0635—Risk analysis of enterprise or organisation activities
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q40/00—Finance; Insurance; Tax strategies; Processing of corporate or income taxes
    • G06Q40/03—Credit; Loans; Processing thereof

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Human Resources & Organizations (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Strategic Management (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Economics (AREA)
  • Finance (AREA)
  • General Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Accounting & Taxation (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Development Economics (AREA)
  • Biomedical Technology (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Tourism & Hospitality (AREA)
  • Technology Law (AREA)
  • Probability & Statistics with Applications (AREA)
  • Quality & Reliability (AREA)
  • Operations Research (AREA)
  • Game Theory and Decision Science (AREA)
  • Educational Administration (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种结合深度神经网络的XGBoost集成信用评价系统及其方法，包括数据预处理单元、数据划分单元、特征提取单元、训练单元和结果处理单元，利用深度神经网络提取训练集中的隐藏特征，将提取出来的隐藏特征进一步作为XGBoost的输入进行训练，最后对测试集进行预测，所得预测结果为信用概率。原始数据被分为训练集和测试集，在训练集中采用装袋采样方法生成可变训练子集：每个训练子集训练深度神经网络模型，选取出最后一个隐藏层的模型，将训练集和测试集进行特征提取以获得更多隐藏特征；将获得的训练集特征再通过XGBoost进行训练，对提取的测试集特征进行预测，将不同的基分类器的预测结果进行平均获得最终分类结果。该集成方法的准确性有明显的提高。

Description

一种结合深度神经网络的XGBoost集成信用评价系统及其 方法
技术领域
本发明属于金融信用风险评估技术领域，涉及一种结合深度神经网络的XGBoost集成信用评价系统及其方法。
背景技术
信用风险一直以来都是金融机构面临的最重要问题之一。随着大众消费观念的改变以及金融行业的发展，信贷业务发展迅速，相对应的金融机构面临的挑战也越来越严峻。信用评分在其中发挥着重要作用，它可以对信用申请人的潜在风险进行建模，将信用申请人划分为“好客户”或“坏客户”，是一个二元分类技术。对于银行，金融机构或者其他互联网金融公司而言，将“坏客户”的申请人划分为“好客户”的损失远远大于将“好客户”的申请人划分为“坏客户”的损失。如何构建一个稳定可靠的信用评分模型引起了学术界和商业界的广泛关注。
信用风险评估有两种主流的分类技术，分别是统计技术和机器学习技术。在统计技术中，常用的方法是线性判别分析(Linear discriminant analysis，LDA)和逻辑回归(Logistic regression，LR)。但LDA和LR都有理想性的统计假设，对复杂的金融系统建模是非常困难的。机器学习技术也被广泛应用于信用评分，其中包括k-最近邻(K-nearestneighbor，KNN)，支持向量机(Support vector machine，SVM)，决策树(Decision tree，DT)，数学规划以及具有单个隐藏层的多层感知机(Multi-layer perceptron，MLP)。
研究人员提出了一种基于滤波方法和多种群遗传算法(Hybrid multiplepopulation genetic algorithm，HMPGA)的两阶段混合模型，该方法在特征选择方面是有效的，参见D.Wang,Z.Zhang,R.Bai,and Y.Mao,“A hybrid system with filter approachand multiple population genetic algorithm for feature selection in creditscoring,”Journal of Computational and Applied Mathematics,vol.329,pp.307–321,2018.虽然单分类器相对容易实现，并且在简单场景中可以得到较满意的结果，但是对于复杂的场景来说，单分类器不能捕捉到个体之间的细微差别。因此有研究人员提出了集成学习方法，He等人构建了一个新的三阶段集成模型，通过扩展的监督欠采样方法构建可调数据子集，随机森林和极端梯度增强算法作为三阶段集成模型的基分类器，采用堆叠的方式进行集成，并通过粒子群优化算法进行参数优化。结果表明，该模型的平均性能优于其他算法。参见H.He,W.Zhang,and S.Zhang,“A novel ensemble method for credit scoring:Adaption of different imbalance ratios,”Expert Systems with Applications,vol.98,pp.105–117,2018.但是该模型主要关注于集成策略，很少关注于原始数据中隐藏的有价值的信息。
发明内容
针对现有技术中的缺陷和不足，本发明提供了一种结合深度神经网络(Deepneural network，DNN)的XGBoost集成信用评价系统及其方法，解决了现有技术中存在的上述问题。通过深度神经网络对原始数据中隐藏的有价值的信息进行充分的提取，采用集成学习方法提高分类器的多样性。
为达到上述目的，本发明采取如下的技术方案：
本发明提供一种结合深度神经网络的XGBoost集成信用评价系统，包括：
数据预处理单元，用于对缺失数据的原始数据集进行缺失值处理，且对原始数据集中的分类属性进行转化；
数据划分单元，用于将从数据预处理单元得到的数据集划分测试集与训练集，并将训练集划分为多个训练子集；采用装袋算法将训练集生成不同的训练子集，给定训练集D，其数据大小为P，使用装袋算法有放回的随机采样N个训练子集，每个训练子集的数据大小为m，其中，m<P；
特征提取单元，用于通过深度神经网络对每一个训练子集进行特征提取，同时根据该训练子集的模型提取测试集特征：对于在数据划分单元中生成的每一个训练子集，训练深度神经网络模型，所述深度神经网络模型包括输入层、多个隐藏层和输出层；选取出每一个训练子集对应的深度神经网络模型中最后一个隐藏层，针对不同的训练子集对应的深度神经网络模型分别对测试集进行特征提取，得到测试集特征，以获得训练集中的隐藏特征；
训练单元，用于通过XGBoost对提取后的训练子集进行训练，并预测信用概率：对于特征提取单元中每一个提取特征后的训练子集进一步使用XGBoost算法进行训练，每一个训练子集训练得到的XGBoost模型为一个基分类器，通过所述基分类器对得到的所述测试集特征进行信用概率预测；
结果处理单元，用于将多个基分类器的结果进行平均，得到最终信用表现：将不同的基分类器所得的测试集的信用概率进行平均，获得最终信用表现。
本发明还包括如下技术特征：
具体的，所述数据处理单元包括：缺失值处理模块，用于在原始数据集中某个数值属性的缺失值大于样本总数的2％时，采用均值的方法进行填充，否则用0填充；并且用于在原始数据集中有分类属性时，填充为新的类别；
还包括分类属性转化模块，用于采用虚拟变量代替分类属性，对分类属性进行处理。
具体的，所述数据划分单元用于分别将数据集中的正样本和负样本的20％用作测试集，剩余的80％用作训练集；
每一个训练子集中样本数量为原始训练集样本数量的90％，训练子集的数量为10-15个。
具体的，所述深度神经网络模型的隐藏层数为3层，DNN的输入层激活函数采用ReLU；输出层的激活函数采用Softmax；代价函数为分类交叉熵；优化器采用Rmsprop；迭代数量为500，Batch_size为30。
具体的，所述XGBoost的学习率为0.03，树的最大深度为5，属性采样比为0.8，迭代次数为100。
本发明还提供一种结合深度神经网络的XGBoost集成信用评价方法，该方法利用深度神经网络提取训练集中的隐藏特征，将提取出来的隐藏特征进一步作为XGBoost的输入进行训练，最后对测试集进行预测，所得预测结果为信用概率[0,1]，其中信用概率大于0.5表示信用良好的申请人，小于0.5为信用不良的申请人。
本发明还包括如下技术特征：
该方法包括如下步骤：
S1：数据预处理：对缺失数据的原始数据集进行缺失值处理，且对原始数据集中的分类属性进行转化；
S2，将步骤一得到的数据集划分测试集与训练集，并将训练集划分为多个训练子集；
其中，采用装袋算法将训练集生成不同的训练子集，给定训练集D，其数据大小为P，使用装袋算法有放回的随机采样N个训练子集，每个训练子集的数据大小为m(m<P)；
S3，使用深度神经网络对每一个训练子集进行特征提取，同时根据该训练子集的模型提取测试集特征：
对于步骤S2中生成的每一个训练子集，训练深度神经网络模型，所述深度神经网络模型包括输入层、多个隐藏层和输出层；选取出每一个训练子集对应的深度神经网络模型中最后一个隐藏层，针对不同的训练子集对应的深度神经网络模型分别对测试集进行特征提取，得到测试集特征，以获得训练集中的隐藏特征；
步骤S4，使用XGBoost对提取后的训练子集进行训练，并预测信用概率：
对于步骤S3中每一个提取特征后的训练子集进一步使用XGBoost算法进行训练，每一个训练子集训练得到的XGBoost模型为一个基分类器，通过所述基分类器对步骤S3中得到的所述测试集特征进行信用概率预测；
步骤S5，多个基分类器的结果进行平均，得到最终信用表现：
将步骤S4中不同的基分类器所得的测试集的信用概率进行平均，获得最终信用表现。
具体的，所述步骤S1中：
进行缺失值处理具体为：若原始数据集中某个数值属性的缺失值大于样本总数的2％，采用均值的方法进行填充，否则用0填充；若原始数据集中有分类属性，则填充为新的类别；
对分类属性的转化是采用虚拟变量代替分类属性(分类特征)，对分类属性进行处理；例如分类属性A4的值包括u，y，l，t。这里分别使用虚拟变量0，1，2，3来代替对应的u，y，l，t，进而转化为离散数值属性。
具体的，所述步骤S2中：分别将数据集中的正样本和负样本的20％用作测试集，剩余的80％用作训练集；正样本是好客户即信用良好的申请人，负样本是坏客户即信用不良的申请人；
每一个训练子集中样本数量为原始训练集样本数量的90％，训练子集的数量为10-15个。
具体的，所述步骤S3中：深度神经网络的隐藏层数设置为3层，可达到最优效果，DNN的输入层激活函数采用ReLU；输出层的激活函数采用Softmax；代价函数为分类交叉熵；优化器采用Rmsprop；迭代数量为500，Batch_size为30。
具体的，所述步骤S4中：XGBoost的学习率为0.03，树的最大深度为5，属性采样比为0.8，迭代次数为100。
本发明与现有技术相比，有益的技术效果是：
(Ⅰ)本发明提出了一种结合深度神经网络的集成分类模型用于信用评分。原始数据被分为训练集和测试集，在训练集中采用装袋采样(Bagging)方法来生成可变训练子集。所提出的模型的框架如图1所示，该过程主要分为两个步骤：(1)就每一个训练子集而言，训练深度神经网络(DNN)模型，然后选取出最后一个隐藏层的模型，将训练集和测试集进行特征提取以获得更多有价值的信息。(2)将第一步获得的训练集特征再通过XGBoost进行训练，对提取的测试集特征进行预测。最后将不同的基分类器的预测概率结果进行简单平均以获得最终分类结果。
(Ⅱ)深层提取原始数据特征。在本发明中，利用深度神经网络对原始数据进行了深层的挖掘，生成了原始数据中更高级别的特征，为后面基分类器的训练提供支持。
(Ⅲ)提高分类器的多样性。采用集成学习的方法，随机有放回的从正样本训练集和负样本训练集中抽取一定的比例生成多个训练子集，利用深度神经网络对特征进行提取，进而作为XGBoost的输入进行训练，这有助于提高基分类器的多样性。
(Ⅳ)提高准确性。该集成方法在UCI数据库中的三个公共信用数据集中的准确性都有了明显的提高，并且相比于其他方法，本发明方法的AUC值也有了明显的提高。
附图说明
图1是本发明技术方案的算法流程示意图
图2是本发明技术方案的结合深度神经网络的XGBoost的信用评分集成模型框架图；
图3是本发明中深度神经网络隐藏层数对模型影响的曲线对比图，其中(a)是澳大利亚数据集，(b)是德国数据集，(c)是日本数据集。
具体实施方式
信用风险评估除了应用这些单一分类器进行信用评分外，集合分类往往是提高单个分类器准确性和稳定性的有效方法。集成学习是从不同的算法、特征和训练子集派生出来的分类器以某种方式组合在一起，对未知样本进行类标签的预测。集成分类可以利用基本分类器的多样性来避免他们的弱点，从理论和实验表明，基于集成学习的分类相比于单一分类器在信用评分方面表现更好。近年来，深度神经网络也被广泛用于分类问题中，并且预测效果较浅层架构更好。这种深层结构增加了特征提取能力，可以获取到更多隐藏层的信息。但是深度神经网络应用在信用风险评估中却很少。
本发明提供一种结合深度神经网络的XGBoost集成信用评价系统及其方法，
该系统包括：数据预处理单元，用于对缺失数据的原始数据集进行缺失值处理，且对原始数据集中的分类属性进行转化；
数据划分单元，用于将从数据预处理单元得到的数据集划分测试集与训练集，并将训练集划分为多个训练子集；采用装袋算法将训练集生成不同的训练子集，给定训练集D，其数据大小为P，使用装袋算法有放回的随机采样N个训练子集，每个训练子集的数据大小为m，其中，m<P；
特征提取单元，用于通过深度神经网络对每一个训练子集进行特征提取，同时根据该训练子集的模型提取测试集特征：对于在数据划分单元中生成的每一个训练子集，训练深度神经网络模型，所述深度神经网络模型包括输入层、多个隐藏层和输出层；选取出每一个训练子集对应的深度神经网络模型中最后一个隐藏层，针对不同的训练子集对应的深度神经网络模型分别对测试集进行特征提取，得到测试集特征，以获得训练集中的隐藏特征；
训练单元，用于通过XGBoost对提取后的训练子集进行训练，并预测信用概率：对于特征提取单元中每一个提取特征后的训练子集进一步使用XGBoost算法进行训练，每一个训练子集训练得到的XGBoost模型为一个基分类器，通过所述基分类器对得到的所述测试集特征进行信用概率预测；
结果处理单元，用于将多个基分类器的结果进行平均，得到最终信用表现：将不同的基分类器所得的测试集的信用概率进行平均，获得最终信用表现。
数据处理单元包括：缺失值处理模块，用于在原始数据集中某个数值属性的缺失值大于样本总数的2％时，采用均值的方法进行填充，否则用0填充；并且用于在原始数据集中有分类属性时，填充为新的类别；还包括分类属性转化模块，用于采用虚拟变量代替分类属性，对分类属性进行处理。
数据划分单元用于分别将数据集中的正样本和负样本的20％用作测试集，剩余的80％用作训练集；每一个训练子集中样本数量为原始训练集样本数量的90％，训练子集的数量为10-15个。
深度神经网络模型的隐藏层数为3层，DNN的输入层激活函数采用ReLU；输出层的激活函数采用Softmax；代价函数为分类交叉熵；优化器采用Rmsprop；迭代数量为500，Batch_size为30。
XGBoost的学习率为0.03，树的最大深度为5，属性采样比为0.8，迭代次数为100。
该方法利用深度神经网络提取训练集中的隐藏特征，将提取出来的隐藏特征进一步作为XGBoost的输入进行训练，最后对测试集进行预测，所得预测结果为信用概率[0,1]，其中信用概率大于0.5表示信用良好的申请人，小于0.5为信用不良的申请人。该方法包括如下步骤：
S1：数据预处理：对缺失数据的原始数据集进行缺失值处理，且对原始数据集中的分类属性进行转化；进行缺失值处理具体为：若原始数据集中某个数值属性的缺失值大于样本总数的2％，采用均值的方法进行填充，否则用0填充；若原始数据集中有分类属性，则填充为新的类别；对分类属性的转化是采用虚拟变量代替分类属性(分类特征)，对分类属性进行处理；
S2，将步骤一得到的数据集划分测试集与训练集，并将训练集划分为多个训练子集；
其中，采用装袋算法将训练集生成不同的训练子集，给定训练集D，其数据大小为P，使用装袋算法有放回的随机采样N个训练子集，每个训练子集的数据大小为m(m＜P)；
S3，使用深度神经网络对每一个训练子集进行特征提取，同时根据该训练子集的模型提取测试集特征：对于步骤S2中生成的每一个训练子集，训练深度神经网络模型，所述深度神经网络模型包括输入层、多个隐藏层和输出层；选取出每一个训练子集对应的深度神经网络模型中最后一个隐藏层，针对不同的训练子集对应的深度神经网络模型分别对测试集进行特征提取，得到测试集特征，以获得训练集中的隐藏特征；
步骤S4，使用XGBoost对提取后的训练子集进行训练，并预测信用概率：对于步骤S3中每一个提取特征后的训练子集进一步使用XGBoost算法进行训练，每一个训练子集训练得到的XGBoost模型为一个基分类器，通过所述基分类器对步骤S3中得到的所述测试集特征进行信用概率预测；
步骤S5，多个基分类器的结果进行平均，得到最终信用表现：将步骤S4中不同的基分类器所得的测试集的信用概率进行平均，获得最终信用表现。
深度神经网络(DNN)是一个具有三层以上的人工神经网络。它通过深层非线性网络结构，可以实现复杂函数的逼近，表征输入数据分布式表示，并展现了强大的从少数样本集中学习数据集本质特征的能力。
DNN内部的神经网络层可以分为三类：输入层，隐藏层和输出层。层与层之间是全连接的，即，第i层的任意一个神经元一定与第i+1层的任意一个神经元相连。
DNN模型的每一层是一个线性关系：
z＝∑ωixi+b
加上一个激活函数σ(z)。其中xi表示第i个神经元的值，ωi是第i个神经元的权重，b是偏移量。输入层没有ω和b参数。这里，我们使用ReLU激活函数：
σ(z)＝max(0，z)
若大于等于0则不变，若小于0则激活后为0。假设第l-1层共有m个神经元，第l层共有n个神经元，则第l层的线性系数ω组成了一个n×m的矩阵Wl，第l层的偏倚b组成了一个n×1的向量bl，第l-1层输出a组成了一个m×1的向量al-1。则第l层的输出为：
al＝σ(zl)＝σ(Wlal-1+bl)
采用分类交叉熵损失函数用梯度下降法进行迭代优化求极小值，达到一定的迭代次数后，获取到最后一个隐藏层的输出值。将获取到的隐藏层输出值，进一步作为XGBoost的输入。
XGBoost是由Chen Tianqi基于梯度提升算法的改进。它不仅具有传统增强算法的高精度优势，而且可以灵活地实现分布式和并行计算。
给定训练集特征向量其对应的类标签为yi∈{-1，+1}，i∈1，…，n。XGBoost的预测模型可以表示为：
其中fk(xi)表示第k颗树，K为树的总个数，表示样本xi的预测结果。通过最小化以下目标函数来学习函数fk：
其中为样本xi的训练误差，Ω(fk)表示第k颗树的正则项。对于目标函数的正则项部分，我们从单一的树来考虑。对于其中每一颗回归树，其模型可以写成：
ft(x)＝wq(x)，w∈Rr，q：Rd→{1，2，…，T}
其中w为叶子节点的得分值，q(x)表示样本x对应的叶子节点。T为该树的叶子节点个数。因此，我们将该树的复杂度写成：
其中γ是复杂度参数，λ是固定系数。
XGBoost用泰勒展开式来近似原来的目标函数，则原目标函数可以近似地表示为：
其中，Ij＝{i|q(xi)＝j}表示在第j个叶子节点上的样本，wj为第j个叶子节点的得分值。通过定义将目标函数改写成了包含T个相互独立的单变量二次函数。因此，XGBoost中每一个叶子节点的最优分数和目标函数的解方程如下所示：
Obj只与树的结构q(x)有关，与叶子节点的得分值无关，因此只要确定树的结构就可以计算出相应的目标函数。
XGBoost采用精确贪婪算法，定义增益公式来启发式的寻找最优树结构，若当前树结构I能被分裂成IL与IR，I＝IL∪IR，增益公式可以表示为：
其中γ表示引入额外叶子节点的复杂性成本。
遵从上述技术方案，以下给出本发明的具体实施例，需要说明的是本发明并不局限于以下具体实施例，凡在本申请技术方案基础上做的等同变换均落入本发明的保护范围。下面结合实施例对本发明做进一步详细说明。
实施例1：
本发明实施例1提供一种结合深度神经网络的XGBoost集成信用评价系统，包括：
数据预处理单元，用于对缺失数据的原始数据集进行缺失值处理，且对原始数据集中的分类属性进行转化；
数据划分单元，用于将从数据预处理单元得到的数据集划分测试集与训练集，并将训练集划分为多个训练子集；采用装袋算法将训练集生成不同的训练子集，给定训练集D，其数据大小为P，使用装袋算法有放回的随机采样N个训练子集，每个训练子集的数据大小为m，其中，m<P；
特征提取单元，用于通过深度神经网络对每一个训练子集进行特征提取，同时根据该训练子集的模型提取测试集特征：对于在数据划分单元中生成的每一个训练子集，训练深度神经网络模型，所述深度神经网络模型包括输入层、多个隐藏层和输出层；选取出每一个训练子集对应的深度神经网络模型中最后一个隐藏层，针对不同的训练子集对应的深度神经网络模型分别对测试集进行特征提取，得到测试集特征，以获得训练集中的隐藏特征；
训练单元，用于通过XGBoost对提取后的训练子集进行训练，并预测信用概率：对于特征提取单元中每一个提取特征后的训练子集进一步使用XGBoost算法进行训练，每一个训练子集训练得到的XGBoost模型为一个基分类器，通过所述基分类器对得到的所述测试集特征进行信用概率预测；
结果处理单元，用于将多个基分类器的结果进行平均，得到最终信用表现：将不同的基分类器所得的测试集的信用概率进行平均，获得最终信用表现。
数据处理单元包括：缺失值处理模块，用于在原始数据集中某个数值属性的缺失值大于样本总数的2％时，采用均值的方法进行填充，否则用0填充；并且用于在原始数据集中有分类属性时，填充为新的类别；还包括分类属性转化模块，用于采用虚拟变量代替分类属性，对分类属性进行处理。
数据划分单元用于分别将数据集中的正样本和负样本的20％用作测试集，剩余的80％用作训练集；每一个训练子集中样本数量为原始训练集样本数量的90％，训练子集的数量为10-15个。
深度神经网络模型的隐藏层数为3层，DNN的输入层激活函数采用ReLU；输出层的激活函数采用Softmax；代价函数为分类交叉熵；优化器采用Rmsprop；迭代数量为500，Batch_size为30。
XGBoost的学习率为0.03，树的最大深度为5，属性采样比为0.8，迭代次数为100。
实施例2：
如图1和图2所示，本发明实施例2提供一种结合深度神经网络的XGBoost集成信用评价系统的评价方法，该方法利用深度神经网络提取训练集中的隐藏特征，将提取出来的隐藏特征进一步作为XGBoost的输入进行训练，最后对测试集进行预测，所得预测结果为信用概率[0,1]，其中信用概率大于0.5表示信用良好的申请人，小于0.5为信用不良的申请人。该方法包括如下步骤：
S1：数据预处理：对缺失数据的原始数据集进行缺失值处理，且对原始数据集中的分类属性进行转化；具体的，步骤S1中：进行缺失值处理具体为：若原始数据集中某个数值属性的缺失值大于样本总数的2％，采用均值的方法进行填充，否则用0填充；若原始数据集中有分类属性，则填充为新的类别；对分类属性的转化是采用虚拟变量代替分类属性(分类特征)，对分类属性进行处理；
S2，将步骤一得到的数据集划分测试集与训练集，并将训练集划分为多个训练子集；
其中，采用装袋算法将训练集生成不同的训练子集，给定训练集D，其数据大小为P，使用装袋算法有放回的随机采样N个训练子集，每个训练子集的数据大小为m(m<P)；具体的，在本实施例中，分别将数据集中的正样本和负样本的20％用作测试集，剩余的80％用作训练集；正样本是好客户即信用良好的申请人，负样本是坏客户即信用不良的申请人；每一个训练子集中样本数量为原始训练集样本数量的90％，训练子集的数量为10-15个。
S3，使用深度神经网络对每一个训练子集进行特征提取，同时根据该训练子集的模型提取测试集特征：
对于步骤S2中生成的每一个训练子集，训练深度神经网络模型，所述深度神经网络模型包括输入层、多个隐藏层和输出层；选取出每一个训练子集对应的深度神经网络模型中最后一个隐藏层，针对不同的训练子集对应的深度神经网络模型分别对测试集进行特征提取，得到测试集特征，以获得训练集中的隐藏特征；
图3中(a)(b)(c)分别展示了三个数据集中不同深度神经网络隐藏层数对模型性能的影响。对于澳大利亚数据集，隐藏层数为3和6时，模型的性能均较好。而隐藏层低于3的性能明显有所下降。隐藏层数为3的Ⅰ型和Ⅱ型错误率分别为0.0658、0.0656。隐藏层数为6时的AUC值为0.9592，准确率为0.9270，F分数也较高为0.9167，Ⅰ型和Ⅱ型错误率分别为0.0526、0.0984。但是更多的隐藏层数意味着时间成本的增加。同样在德国和日本数据集上，隐藏层数为3的性能也明显较更高层数的性能要好。除了Ⅰ型错误率有明显的差异之外，其他的度量指标波动幅度都较小。综上所述，当隐藏层数为3时，提出的模型的性能最佳；因此步骤S3中：深度神经网络的隐藏层数设置为3层，可达到最优效果；更具体的，DNN的输入层激活函数采用ReLU；输出层的激活函数采用Softmax；代价函数为分类交叉熵；优化器采用Rmsprop；迭代数量为500，Batch_size为30。
步骤S4，使用XGBoost对提取后的训练子集进行训练，并预测信用概率：对于步骤S3中每一个提取特征后的训练子集进一步使用XGBoost算法进行训练，每一个训练子集训练得到的XGBoost模型为一个基分类器，通过所述基分类器对步骤S3中得到的所述测试集特征进行信用概率预测；在本实施例中，XGBoost的学习率为0.03，树的最大深度为5，属性采样比为0.8，迭代次数为100。
步骤S5，多个基分类器的结果进行平均，得到最终信用表现：将步骤S4中不同的基分类器所得的测试集的信用概率进行平均，获得最终信用表现。
将本发明技术方案与常用的十个基础分类器方法进行性能比较如表1-3所示：
表1澳大利亚数据集在不同基分类器的结果
表2德国数据集在不同基分类器的结果
表3日本数据集在不同基分类器的结果
AUC表示ROC曲线下面积，ACC为准确率，PREC表示精确率，REC表示召回率，以下所有表中的表示均相同，粗体表示最佳的性能。根据表1-3的结果显示，XGBoost，SVM，GBDT，LDA，LR在三个数据集上都能表现出比较好的性能，而DT和NB的性能相对较差。SVM的Ⅰ型错误率在三个数据集中都比较高，在德国数据集上已经高达0.71，这对于信用评分来说，不是一种好的情况，意味着将更多的不良信用的客户预测为了良好信用，会对金融机构造成巨大的损失。相比之下，本发明技术方案的模型性能较基础分类器有显著的提高。与最好的基本分类器的单个性能相比，澳大利亚，德国，日本的AUC分别提高了2.7％，8.6％，1.6％，同时Ⅰ型错误率分别降低了23.6％，9.5％,54.2％。

Claims (10)

1.一种结合深度神经网络的XGBoost集成信用评价系统，其特征在于，包括：
数据预处理单元，用于对缺失数据的原始数据集进行缺失值处理，且对原始数据集中的分类属性进行转化；
数据划分单元，用于将从数据预处理单元得到的数据集划分测试集与训练集，并将训练集划分为多个训练子集；
特征提取单元，用于通过深度神经网络对每一个训练子集进行特征提取，同时根据该训练子集的模型提取测试集特征；
训练单元，用于通过XGBoost对提取后的训练子集进行训练，并预测信用概率，每一个训练子集训练得到的XGBoost模型为一个基分类器，通过所述基分类器对得到的测试集特征进行信用概率预测；
结果处理单元，用于将多个基分类器的结果进行平均，得到最终信用表现。
2.如权利要求1所述的结合深度神经网络的XGBoost集成信用评价系统，其特征在于，所述数据处理单元包括：缺失值处理模块，用于在原始数据集中某个数值属性的缺失值大于样本总数的2％时，采用均值的方法进行填充，否则用0填充；并且用于在原始数据集中有分类属性时，填充为新的类别；
还包括分类属性转化模块，用于采用虚拟变量代替分类属性，对分类属性进行处理。
3.如权利要求1所述的结合深度神经网络的XGBoost集成信用评价系统，其特征在于，所述数据划分单元用于分别将数据集中的正样本和负样本的20％用作测试集，剩余的80％用作训练集；每一个训练子集中样本数量为原始训练集样本数量的90％，训练子集的数量为10-15个。
4.如权利要求1所述的结合深度神经网络的XGBoost集成信用评价系统，其特征在于，所述深度神经网络的隐藏层数为3层，DNN的输入层激活函数采用ReLU；输出层的激活函数采用Softmax；代价函数为分类交叉熵；优化器采用Rmsprop；迭代数量为500，Batch_size为30；所述XGBoost的学习率为0.03，树的最大深度为5，属性采样比为0.8，迭代次数为100。
5.一种权利要求1至4任一权利要求所述的结合深度神经网络的XGBoost集成信用评价系统的评价方法，其特征在于，该方法利用深度神经网络提取训练集中的隐藏特征，将提取出来的隐藏特征进一步作为XGBoost的输入进行训练，最后对测试集进行预测，所得预测结果为信用概率。
6.如权利要求5所述的结合深度神经网络的XGBoost集成信用评价系统的评价方法，其特征在于，该方法包括如下步骤：
S1：数据预处理：对缺失数据的原始数据集进行缺失值处理，且对原始数据集中的分类属性进行转化；
S2，将步骤一得到的数据集划分测试集与训练集，并将训练集划分为多个训练子集；
其中，采用装袋算法将训练集生成不同的训练子集，给定训练集D，其数据大小为P，使用装袋算法有放回的随机采样N个训练子集，每个训练子集的数据大小为m，其中，m<P；
S3，使用深度神经网络对每一个训练子集进行特征提取，同时根据该训练子集的模型提取测试集特征：
对于步骤S2中生成的每一个训练子集，训练深度神经网络模型，所述深度神经网络模型包括输入层、多个隐藏层和输出层；选取出每一个训练子集对应的深度神经网络模型中最后一个隐藏层，针对不同的训练子集对应的深度神经网络模型分别对测试集进行特征提取，得到测试集特征，以获得训练集中的隐藏特征；
步骤S4，使用XGBoost对提取后的训练子集进行训练，并预测信用概率：
对于步骤S3中每一个提取特征后的训练子集进一步使用XGBoost算法进行训练，每一个训练子集训练得到的XGBoost模型为一个基分类器，通过所述基分类器对步骤S3中得到的所述测试集特征进行信用概率预测；
步骤S5，多个基分类器的结果进行平均，得到最终信用表现：
将步骤S4中不同的基分类器所得的测试集的信用概率进行平均，获得最终信用表现。
7.如权利要求5所述的结合深度神经网络的XGBoost集成信用评价系统的评价方法，其特征在于，所述步骤S1中：
进行缺失值处理具体为：若原始数据集中某个数值属性的缺失值大于样本总数的2％，采用均值的方法进行填充，否则用0填充；若原始数据集中有分类属性，则填充为新的类别；
对分类属性的转化是采用虚拟变量代替分类属性，对分类属性进行处理。
8.如权利要求5所述的结合深度神经网络的XGBoost集成信用评价系统的评价方法，其特征在于，所述步骤S2中：分别将数据集中的正样本和负样本的20％用作测试集，剩余的80％用作训练集；
每一个训练子集中样本数量为原始训练集样本数量的90％，训练子集的数量为10-15个。
9.如权利要求5所述的结合深度神经网络的XGBoost集成信用评价系统的评价方法，其特征在于，所述步骤S3中：深度神经网络的隐藏层数设置为3层，可达到最优效果，DNN的输入层激活函数采用ReLU；输出层的激活函数采用Softmax；代价函数为分类交叉熵；优化器采用Rmsprop；迭代数量为500，Batch_size为30。
10.如权利要求5所述的结合深度神经网络的XGBoost集成信用评价系统的评价方法，其特征在于，所述步骤S4中：XGBoost的学习率为0.03，树的最大深度为5，属性采样比为0.8，迭代次数为100。
CN201910595039.5A 2019-07-03 2019-07-03 一种结合深度神经网络的XGBoost集成信用评价系统及其方法 Active CN110472817B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910595039.5A CN110472817B (zh) 2019-07-03 2019-07-03 一种结合深度神经网络的XGBoost集成信用评价系统及其方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910595039.5A CN110472817B (zh) 2019-07-03 2019-07-03 一种结合深度神经网络的XGBoost集成信用评价系统及其方法

Publications (2)

Publication Number Publication Date
CN110472817A true CN110472817A (zh) 2019-11-19
CN110472817B CN110472817B (zh) 2023-03-24

Family

ID=68506705

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910595039.5A Active CN110472817B (zh) 2019-07-03 2019-07-03 一种结合深度神经网络的XGBoost集成信用评价系统及其方法

Country Status (1)

Country Link
CN (1) CN110472817B (zh)

Cited By (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111104975A (zh) * 2019-12-10 2020-05-05 恒瑞通（福建）信息技术有限公司 一种基于广度学习的信用评估模型
CN111242358A (zh) * 2020-01-07 2020-06-05 杭州策知通科技有限公司 一种双层结构的企业情报流失预测方法
CN111311338A (zh) * 2020-03-30 2020-06-19 网易（杭州）网络有限公司 用户价值的预测方法以及用户价值预测模型的训练方法
CN111478904A (zh) * 2020-04-08 2020-07-31 莆田学院 一种基于概念漂移的物联网设备通信异常检测方法及装置
CN111476713A (zh) * 2020-03-26 2020-07-31 中南大学 基于多深度卷积神经网络融合的天气图像智能识别方法及系统
CN111507648A (zh) * 2020-06-30 2020-08-07 航天宏图信息技术股份有限公司 一种国土空间规划评价系统
CN111667187A (zh) * 2020-06-10 2020-09-15 中交第二公路勘察设计研究院有限公司 基于多源遥感数据的公路滑坡危险性评价方法
CN111784080A (zh) * 2020-07-28 2020-10-16 南方电网能源发展研究院有限责任公司 售电公司客户信用预测方法、装置、设备及存储介质
CN112153636A (zh) * 2020-10-29 2020-12-29 浙江鸿程计算机系统有限公司 一种基于机器学习预测电信业用户携号转出的方法
CN112182221A (zh) * 2020-10-12 2021-01-05 哈尔滨工程大学 一种基于改进随机森林的知识检索优化方法
CN112232951A (zh) * 2020-12-17 2021-01-15 中证信用云科技（深圳）股份有限公司 基于多维度交叉特征的信用评价方法、装置、设备及介质
CN112541536A (zh) * 2020-12-09 2021-03-23 长沙理工大学 用于信用评分的欠采样分类集成方法、设备及存储介质
CN112634059A (zh) * 2020-12-31 2021-04-09 中国移动通信集团江苏有限公司 一种联邦学习优化方法、装置、设备及计算机存储介质
CN112766298A (zh) * 2020-08-20 2021-05-07 同济大学 基于XGBoost回归的技术成果定价评估方法
CN112819604A (zh) * 2021-01-19 2021-05-18 浙江省农村信用社联合社 基于融合神经网络特征挖掘的个人信用评估方法与系统
CN112926640A (zh) * 2021-02-22 2021-06-08 齐鲁工业大学 一种基于两阶段深度特征选择的癌症基因分类方法、设备及存储介质
CN112990284A (zh) * 2021-03-04 2021-06-18 安徽大学 一种基于XGBoost算法的个体出行行为预测方法、系统及终端
CN113239199A (zh) * 2021-05-18 2021-08-10 重庆邮电大学 一种基于多方数据集的信用分类方法
CN113449459A (zh) * 2021-04-09 2021-09-28 江西高创保安服务技术有限公司 一种通用的提升神经网络推理准确性和保持运算速度的分布式计算系统设计方法
CN113506167A (zh) * 2021-07-23 2021-10-15 北京淇瑀信息科技有限公司 基于排序的风险预测方法、装置、设备和介质
CN113538132A (zh) * 2021-07-26 2021-10-22 天元大数据信用管理有限公司 一种基于回归树算法的信用评分方法、设备及介质
CN113904801A (zh) * 2021-09-03 2022-01-07 北京科东电力控制系统有限责任公司 一种网络入侵检测方法及系统
CN114581425A (zh) * 2022-03-10 2022-06-03 四川大学 一种基于深度神经网络的心肌段缺损图像处理方法
CN114662623A (zh) * 2022-05-25 2022-06-24 山东师范大学 基于XGBoost的凝血检测中血液样本的分类方法及系统
CN116702052A (zh) * 2023-08-02 2023-09-05 云南香农信息技术有限公司 一种社区社会信用体系信息处理系统及方法
CN117045217A (zh) * 2023-10-13 2023-11-14 深圳市奋达智能技术有限公司 一种无袖带血压测量方法及其相关设备
CN117422306A (zh) * 2023-10-30 2024-01-19 广州金财智链数字科技有限公司 基于动态神经网络的跨境电商风险控制方法及系统
CN118035457A (zh) * 2024-04-12 2024-05-14 广东省特种设备检测研究院佛山检测院 电梯故障描述文本分类方法、系统和计算机可读存储介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107273429A (zh) * 2017-05-19 2017-10-20 哈工大大数据产业有限公司 一种基于深度学习的缺失值填充方法及系统
CN108564286A (zh) * 2018-04-19 2018-09-21 天合泽泰（厦门）征信服务有限公司 一种基于大数据征信的人工智能金融风控授信评定方法和系统
CN108596757A (zh) * 2018-04-23 2018-09-28 大连火眼征信管理有限公司 一种智能组合的个人信用评估方法及系统
CN108596758A (zh) * 2018-05-03 2018-09-28 湖南大学 一种基于归类规则分类器的信用评级方法
CN108717869A (zh) * 2018-05-03 2018-10-30 中国石油大学(华东) 基于卷积神经网络的糖尿病视网膜并发症诊断辅助系统
CN108829763A (zh) * 2018-05-28 2018-11-16 电子科技大学 一种基于深度神经网络的影评网站用户的属性预测方法
US20190035015A1 (en) * 2016-02-29 2019-01-31 Alibaba Group Holding Limited Method and apparatus for obtaining a stable credit score

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190035015A1 (en) * 2016-02-29 2019-01-31 Alibaba Group Holding Limited Method and apparatus for obtaining a stable credit score
CN107273429A (zh) * 2017-05-19 2017-10-20 哈工大大数据产业有限公司 一种基于深度学习的缺失值填充方法及系统
CN108564286A (zh) * 2018-04-19 2018-09-21 天合泽泰（厦门）征信服务有限公司 一种基于大数据征信的人工智能金融风控授信评定方法和系统
CN108596757A (zh) * 2018-04-23 2018-09-28 大连火眼征信管理有限公司 一种智能组合的个人信用评估方法及系统
CN108596758A (zh) * 2018-05-03 2018-09-28 湖南大学 一种基于归类规则分类器的信用评级方法
CN108717869A (zh) * 2018-05-03 2018-10-30 中国石油大学(华东) 基于卷积神经网络的糖尿病视网膜并发症诊断辅助系统
CN108829763A (zh) * 2018-05-28 2018-11-16 电子科技大学 一种基于深度神经网络的影评网站用户的属性预测方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
CHONGREN WANG 等: ""A Deep Learning Approach for Credit Scoring of Peer-to-Peer Lending Using Attention Mechanism LSTM"", 《IEEE ACCESS》 *
陈耀飞等: ""基于XGBoost的信用评分预测模型"", 《2017年（第五届）全国大学生统计建模大赛获奖论文选》 *

Cited By (40)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111104975A (zh) * 2019-12-10 2020-05-05 恒瑞通（福建）信息技术有限公司 一种基于广度学习的信用评估模型
CN111104975B (zh) * 2019-12-10 2023-04-07 恒瑞通（福建）信息技术有限公司 一种基于广度学习的信用评估方法
CN111242358A (zh) * 2020-01-07 2020-06-05 杭州策知通科技有限公司 一种双层结构的企业情报流失预测方法
CN111476713A (zh) * 2020-03-26 2020-07-31 中南大学 基于多深度卷积神经网络融合的天气图像智能识别方法及系统
CN111476713B (zh) * 2020-03-26 2022-07-22 中南大学 基于多深度卷积神经网络融合的天气图像智能识别方法及系统
CN111311338A (zh) * 2020-03-30 2020-06-19 网易（杭州）网络有限公司 用户价值的预测方法以及用户价值预测模型的训练方法
CN111478904B (zh) * 2020-04-08 2022-05-03 莆田学院 一种基于概念漂移的物联网设备通信异常检测方法及装置
CN111478904A (zh) * 2020-04-08 2020-07-31 莆田学院 一种基于概念漂移的物联网设备通信异常检测方法及装置
CN111667187B (zh) * 2020-06-10 2023-09-15 中交第二公路勘察设计研究院有限公司 基于多源遥感数据的公路滑坡危险性评价方法
CN111667187A (zh) * 2020-06-10 2020-09-15 中交第二公路勘察设计研究院有限公司 基于多源遥感数据的公路滑坡危险性评价方法
CN111507648A (zh) * 2020-06-30 2020-08-07 航天宏图信息技术股份有限公司 一种国土空间规划评价系统
CN111784080A (zh) * 2020-07-28 2020-10-16 南方电网能源发展研究院有限责任公司 售电公司客户信用预测方法、装置、设备及存储介质
CN112766298A (zh) * 2020-08-20 2021-05-07 同济大学 基于XGBoost回归的技术成果定价评估方法
CN112182221A (zh) * 2020-10-12 2021-01-05 哈尔滨工程大学 一种基于改进随机森林的知识检索优化方法
CN112182221B (zh) * 2020-10-12 2022-04-05 哈尔滨工程大学 一种基于改进随机森林的知识检索优化方法
CN112153636A (zh) * 2020-10-29 2020-12-29 浙江鸿程计算机系统有限公司 一种基于机器学习预测电信业用户携号转出的方法
CN112541536A (zh) * 2020-12-09 2021-03-23 长沙理工大学 用于信用评分的欠采样分类集成方法、设备及存储介质
CN112232951A (zh) * 2020-12-17 2021-01-15 中证信用云科技（深圳）股份有限公司 基于多维度交叉特征的信用评价方法、装置、设备及介质
CN112232951B (zh) * 2020-12-17 2021-04-27 中证信用云科技（深圳）股份有限公司 基于多维度交叉特征的信用评价方法、装置、设备及介质
CN112634059A (zh) * 2020-12-31 2021-04-09 中国移动通信集团江苏有限公司 一种联邦学习优化方法、装置、设备及计算机存储介质
CN112819604A (zh) * 2021-01-19 2021-05-18 浙江省农村信用社联合社 基于融合神经网络特征挖掘的个人信用评估方法与系统
CN112926640A (zh) * 2021-02-22 2021-06-08 齐鲁工业大学 一种基于两阶段深度特征选择的癌症基因分类方法、设备及存储介质
CN112990284A (zh) * 2021-03-04 2021-06-18 安徽大学 一种基于XGBoost算法的个体出行行为预测方法、系统及终端
CN112990284B (zh) * 2021-03-04 2022-11-22 安徽大学 一种基于XGBoost算法的个体出行行为预测方法、系统及终端
CN113449459B (zh) * 2021-04-09 2023-04-07 江西高创保安服务技术有限公司 一种通用的提升神经网络推理准确性和保持运算速度的分布式计算系统设计方法
CN113449459A (zh) * 2021-04-09 2021-09-28 江西高创保安服务技术有限公司 一种通用的提升神经网络推理准确性和保持运算速度的分布式计算系统设计方法
CN113239199B (zh) * 2021-05-18 2022-09-23 重庆邮电大学 一种基于多方数据集的信用分类方法
CN113239199A (zh) * 2021-05-18 2021-08-10 重庆邮电大学 一种基于多方数据集的信用分类方法
CN113506167A (zh) * 2021-07-23 2021-10-15 北京淇瑀信息科技有限公司 基于排序的风险预测方法、装置、设备和介质
CN113538132A (zh) * 2021-07-26 2021-10-22 天元大数据信用管理有限公司 一种基于回归树算法的信用评分方法、设备及介质
CN113538132B (zh) * 2021-07-26 2024-04-23 天元大数据信用管理有限公司 一种基于回归树算法的信用评分方法、设备及介质
CN113904801A (zh) * 2021-09-03 2022-01-07 北京科东电力控制系统有限责任公司 一种网络入侵检测方法及系统
CN113904801B (zh) * 2021-09-03 2024-02-06 北京科东电力控制系统有限责任公司 一种网络入侵检测方法及系统
CN114581425A (zh) * 2022-03-10 2022-06-03 四川大学 一种基于深度神经网络的心肌段缺损图像处理方法
CN114662623A (zh) * 2022-05-25 2022-06-24 山东师范大学 基于XGBoost的凝血检测中血液样本的分类方法及系统
CN116702052A (zh) * 2023-08-02 2023-09-05 云南香农信息技术有限公司 一种社区社会信用体系信息处理系统及方法
CN116702052B (zh) * 2023-08-02 2023-10-27 云南香农信息技术有限公司 一种社区社会信用体系信息处理系统及方法
CN117045217A (zh) * 2023-10-13 2023-11-14 深圳市奋达智能技术有限公司 一种无袖带血压测量方法及其相关设备
CN117422306A (zh) * 2023-10-30 2024-01-19 广州金财智链数字科技有限公司 基于动态神经网络的跨境电商风险控制方法及系统
CN118035457A (zh) * 2024-04-12 2024-05-14 广东省特种设备检测研究院佛山检测院 电梯故障描述文本分类方法、系统和计算机可读存储介质

Also Published As

Publication number Publication date
CN110472817B (zh) 2023-03-24

Similar Documents

Publication Publication Date Title
CN110472817A (zh) 一种结合深度神经网络的XGBoost集成信用评价系统及其方法
CN110728224B (zh) 一种基于注意力机制深度Contourlet网络的遥感图像分类方法
CN112308158B (zh) 一种基于部分特征对齐的多源领域自适应模型及方法
CN107194433B (zh) 一种基于深度自编码网络的雷达一维距离像目标识别方法
CN102521656B (zh) 非平衡样本分类的集成迁移学习方法
CN107194803A (zh) 一种p2p网贷借款人信用风险评估的装置
CN109685653A (zh) 一种融合深度信念网络和孤立森林算法的信贷风险监测的方法
CN106919951A (zh) 一种基于点击与视觉融合的弱监督双线性深度学习方法
CN116108758B (zh) 滑坡易发性评价方法
CN101807254A (zh) 面向数据特点的合成核支持向量机的实现方法
CN111914728A (zh) 高光谱遥感影像半监督分类方法、装置及存储介质
CN107423705A (zh) 基于多层概率统计模型的sar图像目标识别方法
CN112926645B (zh) 一种基于边缘计算的窃电检测方法
CN110298434A (zh) 一种基于模糊划分和模糊加权的集成深度信念网络
CN105512675B (zh) 一种基于记忆性多点交叉引力搜索的特征选择方法
CN103886030A (zh) 基于代价敏感决策树的信息物理融合系统数据分类方法
CN103093247A (zh) 一种植物图片的自动分类方法
CN113837266B (zh) 一种基于特征提取和Stacking集成学习的软件缺陷预测方法
Zhu et al. Loan default prediction based on convolutional neural network and LightGBM
Rofik et al. The Optimization of Credit Scoring Model Using Stacking Ensemble Learning and Oversampling Techniques
CN114065831A (zh) 基于多尺度随机深度残差网络的高光谱图像分类方法
Sinha et al. Neural architecture search using covariance matrix adaptation evolution strategy
CN117408699A (zh) 一种基于银行卡数据的电信诈骗识别方法
Rethik et al. Attention Based Mapping for Plants Leaf to Classify Diseases using Vision Transformer
CN112529684A (zh) 一种基于fwa_dbn的客户信用评估方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant