CN110046708A - 一种基于无监督深度学习算法的信用评分方法 - Google Patents

一种基于无监督深度学习算法的信用评分方法 Download PDF

Info

Publication number
CN110046708A
CN110046708A CN201910322890.0A CN201910322890A CN110046708A CN 110046708 A CN110046708 A CN 110046708A CN 201910322890 A CN201910322890 A CN 201910322890A CN 110046708 A CN110046708 A CN 110046708A
Authority
CN
China
Prior art keywords
max
search
grid
value
training
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910322890.0A
Other languages
English (en)
Inventor
田羽
岳帅
兰翔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan Zhongbang Bank Co Ltd
Original Assignee
Wuhan Zhongbang Bank Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan Zhongbang Bank Co Ltd filed Critical Wuhan Zhongbang Bank Co Ltd
Priority to CN201910322890.0A priority Critical patent/CN110046708A/zh
Publication of CN110046708A publication Critical patent/CN110046708A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/29—Graphical models, e.g. Bayesian networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/088—Non-supervised learning, e.g. competitive learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Medical Informatics (AREA)
  • Image Analysis (AREA)

Abstract

发明涉及风控技术领域，提供了一种基于无监督深度学习算法的信用评分方法。主旨在于实现能够对无标签样本数据进行高效精准的分类，达到提高AUC值的目的。其主要方案包括：通过高斯模型对无标签样本实现聚类，最后聚类为标签为0和1的样本数据，将样本数据作为神经网络模型的训练样本输入，然后通过基于等分方法配置搜索步长的网格搜索调参方法设置神经网络模型的学习速率和Epoch训练次数的最优值，实现AUC值大于0.9的目的。

Description

一种基于无监督深度学习算法的信用评分方法
技术领域
本发明涉及风控技术领域，提供了一种基于深度学习构建信用评分方法。
背景技术
以往评分卡建模用到机器学习算法较多，基于变量的可解释性，比如LR模型，基于梯度提升，比如GBDT。但是在实际的业务中，当数据量呈现几何级数的增长，达到几亿，几十亿，甚至上百亿，传统的统计学习和机器学习算法在精确度方面远远不如深度学习网络。
深度学习网络不需要特征工程。经典的机器学习算法通常需要复杂的特征工程。首先在数据集上执行深度探索性数据分析，然后做一个简单的降低维数的处理。最后，必须仔细选择最佳功能以传递给机器学习算法。当使用深度网络时，不需要这样做，因为只需将数据直接传递到网络，通常就可以实现良好的性能。这完全消除了整个过程的大型和具有挑战性的特征工程阶段。
传统机器学习评分卡AUC值在0.70左右，而基于深度学习神经网络算法构建评分卡AUC值往往可达0.90以上。当AUC值达到0.90以上的时候，我们的信用评分卡可以更加精准地识别出违约客户，实时对违约客户进行拒绝服务。
目前现有技术中机器学习样本获取困难，深度机器学习样本大概需要20万个样本，对于属性复杂繁多的用户，其通过人为的提供机器学习样本，并将原始样本分类其基本上不可能实现。
发明内容
本发明的目的在于提高一种基于无监督度学习算法，其能够对无标签样本数据进行高效精准的分类，达到提高AUC值的目的。
本发明为解决上述技术问题，提高以下技术方案：
一种基于无监督深度学习算法的信用评分方法，其特征在于，包括以下步骤：S1、确定申请用户的置信度分类标准，并根据置信度大小分别标记1和0：
S2、选择申请用户申请信息簇的数量并随机初始化每个簇的高斯分布参数；
S3、给定每个簇的高斯分布
上式中，N(x|uk，∑k)是第k个高斯模型的概率密度函数，表示选定第k个模型后，该模型产生x的概率；πk第k个高斯模型的权重，uk第k个高斯模型的的均值；
计算每个申请信息数据点属于每个簇的概率p(xi)，一个点越靠近高斯分布的中心就越可能属于该簇；
S4、通过这些概率我们基于EM算法估计高斯分布参数使得数据点的概率最大化；
S41、定义分量数目K，对每个分量k设置πk，uk和∑K的初始值，然后计算式的对数似然函数；
S42、E step
根据当前的πk、uk、∑k计算后验概率r(Znk)
分子πk是第k个高斯模型的权重，分母πj是第j个高斯模型的权重，根据条件概率和贝叶斯公式计算出后验概率：
S43、M step
根据E step中计算的r(znk)再计算新的πk、uk、∑k
其中
改写等价于：
其对数似然函数为：
S5、检查参数是否收敛或对数函数是否收敛，若不收敛则返回第2步，直至收敛为止，最后聚类为标签为0和1的样本数据，将样本数据作为神经网络模型的训练样本输入；
S6、输出各隐藏层与输出层的线性关系系数矩阵W和偏倚向量b；
S7、通过DNN反向传播算法，求得隐藏层与输出层的线性关系矩阵W和偏倚向量b；
S8、确定输入层节点个数，并设置隐藏层层数和每层的节点数，每次迭代中，每个隐藏层节点被忽略的概率为0.5；
S9、设置学习速率经验参数和Epoch训练次数经验差数，通过网格搜索，得到最优经学习速率和Epoch训练次数，学习速率为0.05，Epoch训练次数为1200。
S10、以累计好样本数、累计坏样本数分别为曲线坐标的x、y值，首先计算该曲线与x轴围成的面积AUC，
第i组梯形面积计算公式为：(yi+y(i-1))*(xi-x(i-1))/2；
AUC值为所有梯形面积加和：∑(yi+y(i-1))*(xi-x(i-1))/2。
上述技术方案中，S9中所述网格搜索包括如下方法：
步骤1、设置AUC期望值；
步骤2、设置网络中学习速率的搜索范围l和Epoch训练次数的搜索范围e；
步骤3、将搜索范围l表述为[lmin，lmax]，将搜索范围e表示为[emin，emax]，
步骤4、对于学习速率：第n次搜索的网格个数为网格个数2n-1，网格值为：[lmin+|lmin-lmax|/2n，......，lmin+|lmin-lmax|/2n+(2n-1-1)*(|lmin-lmax|/2n-1)]，令lmin+|lmin-lmax|/2n＝an，|lmin-lmax|/2n＝bn
则有在网格搜索范围[lmin，lmax]内，第n次搜索，其搜索网格个数2n-1个，网格值为[an，an+1*bn-1，an+2*bn-1，……，an+(2n-1-1)*bn-1]；
步骤5、对Epoch训练次数：第n次搜索的网格个数为网格个数2n-1，网格值为：[emin+|emin-emax|/2n，......，emin+|emin-emax|/2n+(2n-1-1)*(|emin-emax|/2n-1)]，令|emin-emax|/2n＝cn，|emin-emax|/2n＝dn
则有在网格搜索范围[lmin，lmax]内，第n次搜索，其搜索网格个数2n-1个，网格值为[cn，cn+1*dn-1，cn+2*dn-1，……，cn+(2n-1-1)*dn-1]；
步骤6、初始化n＝1，
步骤7、将对应的网格值分别带入模型给学习速率、Epoch训练次数，计算模型AUC值，并判断ACU值是否大于步骤1中所述AUC期望值，如大于，则记录当前网格值为准最优值，并进行步骤8，否则n++，通过步骤4和步骤5重新求得n++时新的网格值，继续进行步骤7；
步骤8、在准最优值附近以步距x进行小范围搜索，最终得到学习速率和Epoch训练次数最优值。
本发明因为采用上述技术方案，所以具有以下有益效果：
1.本发明基于深度学习建立信用评分卡AUC值达到了0.913，大大超越传统机器学习构建评分卡精度。
2.因本发明是基于深度神经网络框架建模，深度神经网络是由隐藏层层数，隐藏层联结状态等结构组成的，因此只需要确定隐藏层层数，隐藏层联结状态，学习速率即可。因传统机器学习算法的自身结构，基于传统的机器学习建立评分卡需要做特征处理，IV值分析，以及WOE权重处理。在这点上，深度神经网络的建模流程大大简化很多。
3.本发明采用基于等分方法配置搜索步长的网格搜索调参方法，不需要给定具体网格参数，只需设置网格搜索范围即可，相比传统单一的以固定步长寻参，执行效率高。
4.传统网格搜索也有限设置一个较大的步长，确定一个大致的准最优值区域，然后再通过小步长进行精确寻参，这种做法的问题在于，在实际工作中，如果较大的步长设置较大，则有可能错过最优值区域，如果设置较大步长设置较小则其执行效率则会变低，且较大步长的设置每次都需要人工干预，无法实现自动化，而本申请创造性的设置期望输出值，通过将网格搜索范围等分的方法，根据实际需要动态的实现自动分配较大步长，找到符合期望输出值的网格参数。
具体实施方式
下面将结合具体实施方式对本发明作进一步的描述。
确定客户风险分类标准
即模型学习的标签，在业务上是对借款人未来还款状况预测的一种定性描述，一般而言是划分为两类，写为1和0，分别代表高风险客户(违约可能性大)和低风险客户(违约可能性小)。
未来还款状况的预测是基于过往借款人历史信息的分析，借款人数据主要分为两部分，一是申请资料数据集，另一部分是放款后还款状况的数据集，即贷后表现数据集，故分析工作也由两部分组成。
对借款人申请数据进行检测，发现多变量呈现高斯分布(多变量正态分布)。申请数据的分析采取高斯混合模型(GMM)，依次将借款人分为2簇(类)，即高风险客户(违约可能性大)和低风险客户(违约可能性小)，分别记为1和0。
1、高斯混合模型(GMM)解释：
S1、确定申请用户的置信度分类标准，并根据置信度大小分别标记1和0；
S2、选择申请用户申请信息簇的数量并随机初始化每个簇的高斯分布参数；
S3、给定每个簇的高斯分布
上式中，N(x|uk，∑k)是第k个高斯模型的概率密度函数，表示选定第k个模型后，该模型产生x的概率；πk第k个高斯模型的权重，uk第k个高斯模型的的均值；
计算每个申请信息数据点属于每个簇的概率p(xi)，一个点越靠近高斯分布的中心就越可能属于该簇；
S4、通过这些概率我们基于EM算法估计高斯分布参数使得数据点的概率最大化；
S41、定义分量数目K，对每个分量k设置πk，uk和∑K的初始值，然后计算式的对数似然函数；
S42、E step
根据当前的πk、uk、∑k计算后验概率r(Znk)
分子πk是第k个高斯模型的权重，分母πj是第j个高斯模型的权重，根据条件概率和贝叶斯公式计算出后验概率：
S43、M step
根据E step中计算的r(Znk)再计算新的πk、uk、∑k
其中：
改写等价于：
其对数似然函数为：
S5、检查参数是否收敛或对数函数是否收敛，若不收敛则返回第2步，直至收敛为止，最后聚类为标签为0和1的样本数据，将样本数据作为神经网络模型的训练样本输入；
2、建立信用评分人工神经网络模型
确立标签为0和1及通过和拒绝的申请用户数据后，下面我们将建立模型并输出评价模型的AUC值的大小，来判断我们的模型是否优秀。
S1.传统的机器学习算法是用一个合适的损失函数来度量训练样本的输出损失，接着对这个损失函数进行优化求最小的极值，对应的一系列线性系数矩阵W，偏倚向量b即为我们的最终结果。在深度神经网络中，损失函数优化极值求解的过程最常见的一般是通过梯度下降法来一步步迭代完成的，当然也可以是其他的迭代方法比如牛顿法与拟牛顿法。DNN的损失函数用梯度下降法进行迭代优化求极小值的过程即为我们的反向传播算法：
选择均方误差来度量损失函数，即对于每个样本，我们期望最小化下式：
其中，aL和y为特征维度为的向量。
损失函数有了，现在我们开始用梯度下降法迭代求解每一层的W，b。
首先是输出层第L层。注意到输出层的W，b满足下式：
aL＝σ(ZL)＝σ(WLaL-1+bL)
这样对于输出层的参数，我们的损失函数变为：
这样求解W，b的梯度就简单了：
我们注意到在求解输出层的W，b的时候，有公共的部分因此我们可以把公共的部分即对zL先算出来，记为
现在我们把输出层的梯度算出来了，接下来计算上一层L-1层的梯度，上上层L-2层的梯度。这里我们进一步往上递推，对于第L层的未激活输出zL，它的梯度可以表示为：
根据前向传播算法，我们有：
zl＝Wlal-1+bl
根据上式我们可以很方便的计算出第L层的W1，b1的梯度如下：
现在我们的关键问题是求出δ1。用数学归纳法，第L层的δL上面我们已经求出，假设第l+1层的δl+1
已经求出来了，那么我们求第1层的δ1就容易了。我们注意到：
可见，用归纳法递推δl+1和δ1的关键在于求解
而zl+1和zl的关系为：
zl+1＝Wl+1al+bl+1＝Wl+1σ(zl)+bl+1
这样代入易求得：
更新第1层的Wl，bl即可：
S2.确定输入层节点个数
确定人工神经网络的接下来我们可以将特征全部放进去训练数据；其次可以通过over sample按照1∶1抽样再通过validationset逐步挑选；再次利用先验知识，最终选择10个入模特征。
S3.设置神经网络隐藏层层数
首先，Hidden_units的长度代表隐藏层层数，第i个元素代表第i层隐藏节点数；根据10个入模特征，这里我们将隐藏层层数设置为Hidden_units＝[40，50]。
S4.设置神经网络隐藏层联结状态
每次迭代中，每个隐藏层节点被忽略的概率为0.5(本轮迭代完成后)；
S5.设置学习速率
这里初始化先设置学习速率为0.01，下面根据网格搜索调试参数：
如果学习速率太大，可能造成越走越高，跳过局部最低点，但学习速率太小，学习的速度太慢。在保持其他参数不变的前提下，学习速率可以从0.001，0.01，0.1，1，10开始尝试，如果发现损失值开始增大，停止，进行更小的微调。此时发现学习速率＝0.1时效果最好，这时再尝试学习速率＝0.05和0.5两个值。经过反复微调试参数当学习速率＝0.05时，损失值＝0.000002最小。因此，我们的学习速率设置为0.05。
S6.设置Epoch训练次数
这里初始化先设置Epoch的训练次数为1000，下面根据网格搜索调试参数，我们可以先将Epoch的次数设置为1100，1200，1300，1400这样调试，当损失值在一定次数内变化很小时，此时的Epoch训练次数就是最佳的。经过微调试发现，当Epoch训练次数＝1200时，损失值＝0.000002最小。因此，我们的Epoch训练次数设置为1200。
S7模型效果
信用评分评价模型是否优秀的指标AUC值，
AUC值的计算公式为：
以累计好样本数、累计坏样本数分别为曲线坐标的x、y值，首先计算该曲线与x轴围成的面积AUC。
第i组梯形面积计算公式为：(yi+y(i-1))*(xi-x(i-1))/2；
AUC值为所有梯形面积加和：∑(yi+y(i-l))*(xi-x(i-1))/2。
通常AUC值，超过0.7为佳，越大说明模型效果越好，对好坏样本的区分度更好。本发明基于人工神经网络建立的评分卡AUC值达到了0.913，对违约客户识别的准确率大大超过了传统机器学习评分卡。
本发明提供了一种基于等分方法配置搜索步长的网格搜索调参方法，
1、设置最低AUC期望值；
2、设置网络中学习速率的搜索范围l和Epoch训练次数的搜索范围e；
3、将搜索范围l表述为[lmin，lmax]，将搜索范围e表示为[emin，emax]，
4、对于学习速率：第n次搜索的网格个数为网格个数2n-1，网格值为：[lmin+|lmin-lmax|/2n，……，lmin+|lmin-lmax|/2n+(2n-1-1)*(|lmin-lmax|/2n-1)]，令lmin+|lmin-lmax|/2n＝an|lmin-lmax|/2n＝bn
则有在网格搜索范围[lmin，lmax]内，第n次搜索，其搜索网格个数2n-1个，网格值为[an，an+1*bn-1，an+2*bn-1，……，an+(2n-1-1)*bn-1]；
5、对Epoch训练次数：第n次搜索的网格个数为网格个数2n-1，网格值为：[emin+|emin-emax|/2n，......，emin+|emin-emax|/2n+(2n-1-1)*(|emin-emax|/2n-1)]，令|emin-emax|/2n＝cn|emin-emax|/2n＝dn
则有在网格搜索范围[lmin，lmax]内，第n次搜索，其搜索网格个数2n-1个，网格值为[cn，cn+1*dn-1，cn+2*dn-1，……，cn+(2n-1-1)*dn-1]；
如，当n＝1，lmin＝1，lmax＝5
则有网格个数2n-1＝21-1＝1，an＝a1＝1+|1-5|/2＝3，bn＝b1＝|1-5|/2＝2
当n＝1时网格内值为：[an，an+bn-1，an+2*bn-1，……，an+(2n-1-1)*bn-1]＝[an，an+(2n -1-1)*bn-1]＝[an，an]＝[a1，a1]＝[3]。
值得注意的是n＝1是一个特殊的解，为方便表示，可直接将n＝1时，将网格赋值为an；
当n＝2时，则有网格个数22-1＝21＝2，an＝a2＝1+|1-5|/4＝2，bn＝b2＝|1-5|/4＝1；
当n＝2时网格内值为：
[an，an+bn-1，an+2*bn-1，……，an+(2n-1-1)*bn-1]＝[an，an+(2n-1-1)*bn-1]＝[a2，a2+(22-1-1)*b2-1]＝[2，2+1*2]＝[2，4]。
当n＝3时，则有网格个数23-1＝22＝4，an＝a3＝1+|1-5|/8＝1.5，bn＝b3＝|1-5|/8＝0.5；
当n＝3时网格内值为：
[an，an+bn-1，an+2*bn-1，……，an+(2n-1-1)*bn-1]
＝[an，an+(2n-1-1)*bn-1]
＝[a3，a3+1*b2，2*b2，3*b2]
＝[1.5，1.5+1，1.5+2*1，1.5+3*1]＝[1.5，2.5，3.5，4.5]。
值得注意的是本申请lmin＝1，lmax＝5仅为方便更好的说明本申请技术方案，其具体值可根据实际情况进行设置。对于实际使用中，可更具实际情况设置n阈值，当n++到阈值后若仍然未匹配到最优值，则跳出执行。

Claims (4)

1.一种基于无监督深度学习算法的信用评分方法，其特征在于，包括以下步骤：S1、确定申请用户的置信度分类标准，并根据置信度大小分别标记1和0：
S2、选择申请用户申请信息簇的数量并随机初始化每个簇的高斯分布参数；
S3、给定每个簇的高斯分布
上式中，N(x|uk，∑k)是第k个高斯模型的概率密度函数，表示选定第k个模型后，该模型产生x的概率；πk第k个高斯模型的权重，uk第k个高斯模型的的均值；
计算每个申请信息数据点属于每个簇的概率p(xi)，一个点越靠近高斯分布的中心就越可能属于该簇；
S4、通过这些概率我们基于EM算法估计高斯分布参数使得数据点的概率最大化；
S41、定义分量数目K，对每个分量k设置πk，uk和∑K的初始值，然后计算式的对数似然函数；
S42、E step
根据当前的πk、uk、∑k计算后验概率r(znk)
分子πk是第k个高斯模型的权重，分母πj是第j个高斯模型的权重，根据条件概率和贝叶斯公式计算出后验概率：
S43、M step
根据E step中计算的r(znk)再计算新的πk、uk、∑k
其中：
改写等价于：
其对数似然函数为：
S5、检查参数是否收敛或对数函数是否收敛，若不收敛则返回第2步，直至收敛为止，最后聚类为标签为0和1的样本数据，将样本数据作为神经网络模型的训练样本输入；
S6、输出各隐藏层与输出层的线性关系系数矩阵W和偏倚向量b；
S7、通过DNN反向传播算法，求得隐藏层与输出层的线性关系矩阵W和偏倚向量b；
S8、确定输入层节点个数，并设置隐藏层层数和每层的节点数，每次迭代中，每个隐藏层节点被忽略的概率为0.5；
S9、设置学习速率经验参数和Epoch训练次数经验差数，通过网格搜索，得到最优经学习速率和Epoch训练次数；
S10、以累计好样本数、累计坏样本数分别为曲线坐标的x、y值，首先计算该曲线与x轴围成的面积AUC，
第i组梯形面积计算公式为：(yi+y(i-1))*(xi-x(i-1))/2；
AUC值为所有梯形面积加和：∑(yi+y(i-1))*(xi-x(i-1))/2。
2.根据权利要求1所述的一种基于无监督深度学习算法的信用评分方法，其特征在于，学习速率为0.05。
3.根据权利要求1所述的一种基于无监督深度学习算法的信用评分方法，其特征在于，Epoch训练次数为1200。
4.根据权利要求1所述的一种基于无监督深度学习算法的信用评分方法，其特征在于，S9中所述网格搜索包括如下方法：
步骤1、设置AUC期望值；
步骤2、设置网络中学习速率的搜索范围l和Epoch训练次数的搜索范围e；
步骤3、将搜索范围/表述为[lmin，lmax]，将搜索范围e表示为[emin，emax]，
步骤4、对于学习速率：第n次搜索的网格个数为2n-1，网格值为：[lmin+|lmin-lmax|/2n，......，lmin+|lmin-lmax|/2n+(2n-1-1)*(|lmin-lmax|/2n-1)]，令lmin+|lmin-lmax|/2n＝an，|lmin-lmax|/2n＝bn
则有在网格搜索范围[lmin，lmax]内，第n次搜索，其搜索网格个数2n-1个，网格值为[an，an+1*bn-1，an+2*bn-1，……，an+(2n-1-1)*bn-1]；
步骤5、对Epoch训练次数：第n次搜索的网格个数为2n-1，网格值为：[emin+|emin-emax|/2n，......，emin+|emin-emax|/2n+(2n-1-1)*(|emin-emax|/2n-1)]，令|emin-emax|/2n＝cn，|emin-emax|/2n＝dn
则有在网格搜索范围[lmin，lmax]内，第n次搜索，其搜索网格个数2n-1个，网格值为[cn，cn+1*dn-1，cn+2*dn-1，……，cn+(2n-1-1)*dn-1]；
步骤6、初始化n＝1；
步骤7、将对应的网格值分别带入模型给学习速率、Epoch训练次数，计算模型AUC值，并判断ACU值是否大于步骤1中所述AUC期望值，如大于，则记录当前网格值为准最优值，并进行步骤8，否则n++，通过步骤4和步骤5重新求得n++时新的网格值，继续进行步骤7；
步骤8、在准最优值附近以步距x进行小范围搜索，最终得到学习速率和Epoch训练次数的最优值。
CN201910322890.0A 2019-04-22 2019-04-22 一种基于无监督深度学习算法的信用评分方法 Pending CN110046708A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910322890.0A CN110046708A (zh) 2019-04-22 2019-04-22 一种基于无监督深度学习算法的信用评分方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910322890.0A CN110046708A (zh) 2019-04-22 2019-04-22 一种基于无监督深度学习算法的信用评分方法

Publications (1)

Publication Number Publication Date
CN110046708A true CN110046708A (zh) 2019-07-23

Family

ID=67278246

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910322890.0A Pending CN110046708A (zh) 2019-04-22 2019-04-22 一种基于无监督深度学习算法的信用评分方法

Country Status (1)

Country Link
CN (1) CN110046708A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113205443A (zh) * 2020-02-03 2021-08-03 中国移动通信集团浙江有限公司 异常用户的识别方法及装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150161232A1 (en) * 2013-12-10 2015-06-11 University Of Southern California Noise-enhanced clustering and competitive learning
CN105701693A (zh) * 2015-12-31 2016-06-22 浙江图讯科技股份有限公司 一种基于深度学习的企业信用评价方法
CN107506941A (zh) * 2017-09-09 2017-12-22 杭州数立方征信有限公司 一种基于大数据技术的建筑施工企业信用评价方法和系统
CN109242143A (zh) * 2018-07-31 2019-01-18 中国电力科学研究院有限公司 一种神经网络风电功率预测方法及系统
CN109378014A (zh) * 2018-10-22 2019-02-22 华中师范大学 一种基于卷积神经网络的移动设备源识别方法及系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150161232A1 (en) * 2013-12-10 2015-06-11 University Of Southern California Noise-enhanced clustering and competitive learning
CN105701693A (zh) * 2015-12-31 2016-06-22 浙江图讯科技股份有限公司 一种基于深度学习的企业信用评价方法
CN107506941A (zh) * 2017-09-09 2017-12-22 杭州数立方征信有限公司 一种基于大数据技术的建筑施工企业信用评价方法和系统
CN109242143A (zh) * 2018-07-31 2019-01-18 中国电力科学研究院有限公司 一种神经网络风电功率预测方法及系统
CN109378014A (zh) * 2018-10-22 2019-02-22 华中师范大学 一种基于卷积神经网络的移动设备源识别方法及系统

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113205443A (zh) * 2020-02-03 2021-08-03 中国移动通信集团浙江有限公司 异常用户的识别方法及装置

Similar Documents

Publication Publication Date Title
CN114841257B (zh) 一种基于自监督对比约束下的小样本目标检测方法
CN111860982A (zh) 一种基于vmd-fcm-gru的风电场短期风电功率预测方法
CN112101430B (zh) 用于图像目标检测处理的锚框生成方法及轻量级目标检测方法
CN108846512B (zh) 基于择优分类的水质预测方法
CN106537422A (zh) 用于捕获信息内的关系的系统和方法
CN106228185A (zh) 一种基于神经网络的通用图像分类识别系统及方法
Lin et al. Machine learning templates for QCD factorization in the search for physics beyond the standard model
CN110346831A (zh) 一种基于随机森林算法的智能化地震流体识别方法
CN112613536B (zh) 一种基于smote和深度学习的近红外光谱柴油牌号识别方法
CN105760821A (zh) 基于核空间的分类聚集稀疏表示的人脸识别方法
CN109325517A (zh) 一种基于Attention的循环神经网络模型的图分类方法
CN110276679A (zh) 一种面向深度学习的网络个人信贷欺诈行为检测方法
CN111200141B (zh) 基于深度信念网络的质子交换膜燃料电池性能预测及寻优方法
Yuan et al. Evoq: Mixed precision quantization of dnns via sensitivity guided evolutionary search
CN108647772B (zh) 一种用于边坡监测数据粗差剔除的方法
CN112529684A (zh) 一种基于fwa_dbn的客户信用评估方法及系统
CN111340069A (zh) 基于交替学习的不完整数据精细建模及缺失值填补方法
CN111523728A (zh) 一种四阶段混合短时风向预测方法
CN116226629A (zh) 一种基于特征贡献的多模型特征选择方法及系统
CN114330135B (zh) 分类模型构建方法及装置、存储介质及电子设备
CN109408896B (zh) 一种污水厌氧处理产气量多元智能实时监控方法
CN113095501A (zh) 一种基于深度强化学习的不平衡分类决策树生成方法
CN110046708A (zh) 一种基于无监督深度学习算法的信用评分方法
CN112418504A (zh) 一种基于混合变量选择优化深度信念网络风速预测方法
CN112651499A (zh) 一种基于蚁群优化算法和层间信息的结构化模型剪枝方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20190723