CN112634018A - 一种基于蚁群算法优化循环神经网络的逾期监控方法 - Google Patents
一种基于蚁群算法优化循环神经网络的逾期监控方法 Download PDFInfo
- Publication number
- CN112634018A CN112634018A CN202011536733.9A CN202011536733A CN112634018A CN 112634018 A CN112634018 A CN 112634018A CN 202011536733 A CN202011536733 A CN 202011536733A CN 112634018 A CN112634018 A CN 112634018A
- Authority
- CN
- China
- Prior art keywords
- neural network
- recurrent neural
- data
- model
- pheromone
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000000306 recurrent effect Effects 0.000 title claims abstract description 159
- 238000013528 artificial neural network Methods 0.000 title claims abstract description 131
- 238000000034 method Methods 0.000 title claims abstract description 40
- 238000012544 monitoring process Methods 0.000 title claims abstract description 39
- 238000012549 training Methods 0.000 claims abstract description 55
- 238000003062 neural network model Methods 0.000 claims abstract description 46
- 230000006399 behavior Effects 0.000 claims abstract description 41
- 230000014509 gene expression Effects 0.000 claims abstract description 26
- 125000004122 cyclic group Chemical group 0.000 claims abstract description 19
- 238000011156 evaluation Methods 0.000 claims abstract description 16
- 238000012360 testing method Methods 0.000 claims abstract description 11
- 238000002372 labelling Methods 0.000 claims abstract description 4
- 238000007781 pre-processing Methods 0.000 claims abstract description 4
- 239000003016 pheromone Substances 0.000 claims description 71
- 230000006870 function Effects 0.000 claims description 37
- 238000005457 optimization Methods 0.000 claims description 30
- 241000257303 Hymenoptera Species 0.000 claims description 27
- 210000002569 neuron Anatomy 0.000 claims description 13
- 238000010606 normalization Methods 0.000 claims description 13
- 238000004364 calculation method Methods 0.000 claims description 12
- 230000000694 effects Effects 0.000 claims description 12
- 239000002245 particle Substances 0.000 claims description 11
- 238000012546 transfer Methods 0.000 claims description 10
- 230000002068 genetic effect Effects 0.000 claims description 9
- 230000008034 disappearance Effects 0.000 claims description 8
- 230000008569 process Effects 0.000 claims description 8
- 230000004044 response Effects 0.000 claims description 7
- 230000009471 action Effects 0.000 claims description 6
- 238000001514 detection method Methods 0.000 claims description 5
- 238000004880 explosion Methods 0.000 claims description 5
- 230000002159 abnormal effect Effects 0.000 claims description 4
- 230000007547 defect Effects 0.000 claims description 4
- 239000011159 matrix material Substances 0.000 claims description 4
- 238000009825 accumulation Methods 0.000 claims description 3
- 230000004913 activation Effects 0.000 claims description 3
- 238000004140 cleaning Methods 0.000 claims description 3
- 230000003247 decreasing effect Effects 0.000 claims description 3
- RXKJFZQQPQGTFL-UHFFFAOYSA-N dihydroxyacetone Chemical compound OCC(=O)CO RXKJFZQQPQGTFL-UHFFFAOYSA-N 0.000 claims description 3
- 230000002650 habitual effect Effects 0.000 claims description 3
- 238000013507 mapping Methods 0.000 claims description 3
- 230000007246 mechanism Effects 0.000 claims description 3
- 230000028327 secretion Effects 0.000 claims description 3
- 230000011218 segmentation Effects 0.000 claims description 3
- 230000011273 social behavior Effects 0.000 claims description 3
- 230000006403 short-term memory Effects 0.000 claims 1
- 238000011897 real-time detection Methods 0.000 abstract description 2
- 238000013135 deep learning Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000007704 transition Effects 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000005034 decoration Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000002349 favourable effect Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q40/00—Finance; Insurance; Tax strategies; Processing of corporate or income taxes
- G06Q40/03—Credit; Loans; Processing thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/004—Artificial life, i.e. computing arrangements simulating life
- G06N3/006—Artificial life, i.e. computing arrangements simulating life based on simulated virtual individual or collective life forms, e.g. social simulations or particle swarm optimisation [PSO]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- General Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Mathematical Physics (AREA)
- Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Molecular Biology (AREA)
- Business, Economics & Management (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Finance (AREA)
- Accounting & Taxation (AREA)
- General Business, Economics & Management (AREA)
- Development Economics (AREA)
- Economics (AREA)
- Marketing (AREA)
- Strategic Management (AREA)
- Technology Law (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明公开了一种基于蚁群算法优化循环神经网络的逾期监控方法，包括以下的步骤：首先，选取建模样本及采集样本的信用数据及表现数据标签化；对采集到的信用数据进行预处理，对建模样本随机切分训练集和测试集；根据训练集特征确定循环神经网络拓扑结构及初始化网络参数，建立循环神经网络模型；采用蚁群算法对循环神经网络中的权重和偏置进行预训练，再使用梯度下降算法对循环神经网络进行训练；输入测试集样本到训练后的循环神经网络进行预测对比和评估；本发明利用蚁群算法确定了循环神经网络最优的权值和偏置，加快了神经网络的收敛速度，并提高了预测模型的准度，可满足互联网金融欺诈行为实时检测的需求。
Description
技术领域
本发明涉及互联网金融行业的风控技术领域，具体为一种基于蚁群算法优化循环神经网络的逾期监控方法。
背景技术
深度学习体系包括深度神经网络、卷积神经网络、循环神经网络，深度学习的好处是可以自动利用非监督式或半监督式的特征学习和分层特征提取高效算法来替代手工获取特征，其应用效果已明显超过了传统的机器学习算法。
循环神经网络(Recurrent Neural Network，RNN)是一类以序列数据为输入，在序列的演进方向进行递归且所有循环单元按链式连接形成闭合回路的递归神经网络。循环神经网络具有记忆性、参数共享特点，在对序列的非线性特征进行学习时具有一定优势，适用于金融逾期及欺诈检测问题，因此，对一种基于蚁群算法优化循环神经网络的逾期监控方法的需求日益增长。
常见的循环神经网络训练学习算法以反向传播算法和实时递归神经网络算法为主，随着时间的推移数据量增大以及网络隐藏层神经元之自身的循环问题，算法误差会产生指数增长或消失的问题，容易出现梯度爆炸或梯度消失现象，从而陷入局部最优值，算法的收敛速度和预测精度降低很大。对权重矩阵进行合理的初始化可以减少梯度爆炸或梯度消失的影响。
目前常见的对循环神经网络优化的方式主要有粒子群算法和遗传算法等，在一定程度上，各类优化算法在对循环神经网络初始权值和偏置优化中取得一定的效果，但智能算法本身又存在自己的缺陷。使用遗传算法前期收敛速度过快，容易陷入局部最优解；使用粒子群算法虽然操作简单，且能够快速收敛，但是随着迭代次数的不断增加，在种群收敛集中的同时，各粒子也越来越相似，可能在局部最优解周边无法跳出，得到的模型的收敛速度和预测精度还是不够理想。如何选择一种更加适合的只能优化算法来优化循环神经网络初始权值和偏置一直是研究的难点，因此，针对上述问题提出一种基于蚁群算法优化循环神经网络的逾期监控方法。
发明内容
本发明的目的在于提供一种基于蚁群算法优化循环神经网络的逾期监控方法，以解决上述背景技术中提出的问题。
为实现上述目的，本发明提供如下技术方案：
一种基于蚁群算法优化循环神经网络的逾期监控方法，包括以下六个步骤：
S1、采集一定比例数量的正常和逾期还款表现客户作为建模样本，并采集建模样本的客户账户注册个人基本信息、用户的还款、逾期、消费等行为数据作为信用数据，根据正常和逾期还款表现对客户做标签化处理；
S2、对步骤S1中采集到的信用数据进行预处理，包括剔除异常数据、降低噪声和归一化处理，得到预处理的数据随机切分训练集和测试集；
S3、根据训练集特征确定循环神经网络拓扑结构及初始化网络参数，以归一化后的信用数据作为输入，客户标签表现数据作为输出，建立循环神经网络模型；
S4、采用蚁群算法对循环神经网络中的权重和偏置进行预训练，达到最优的初始权重和偏置赋给循环神经网络模型，输入训练集样本使用梯度下降算法对循环神经网络进行训练；
S5、输入测试集样本到训练后的循环神经网络进行预测，以模型精度评价指标与遗传算法、粒子群算法优化的循环神经网络预测模型的进行对比和评估；
S6、将优化循环神经网络模型部署至在线监测系统，将实时监测得到数据作为训练好的循环神经网络模型的输入数据，将循环神经网络模型的输出数据作为客户逾期的预测，实现客户逾期的监控，并定期对模型迭代更新。
优选的，在S1中，从互联网金融平台后端根据贷后表现选取一定比例和数量正常还款和逾期客户作为建模样本，采集样本客户账户注册申请时的个人基本信息、贷款行为数据。其中用户的个人申请信息包括：手机号、学历、婚姻状况、工作单位、住址、联系人信息；所述贷款行为数据包括申贷行为、活跃行为、账户特征、负债压力、消费行为、还款行为等。申贷行为：本平台历史申请次数、拒绝次数；活跃行为：登录APP的频率、社交行为、营销响应行为；账户特征：授信额度使用率，代偿余额；消费行为：消费金额、类目、笔数；负债压力：用户在内部所在产品的总负债，外部负债；还款行为：提前还款、月还款率、习惯性逾期、催收响应行为、还款金额和期限；另外在合规要求下，不限于获取移动互联网行为数据、贷款APP内行为数据、信贷历史、运营商数据在内的全域多维度大数据。
优选的，在S2中，由于网络对于输入数据比较敏感，需要填充缺失值，输入数据有着不同的单位和取值范围，所以必须对预处理后的数据进行归一化处理，使其值在[0,1]范围之内，具体包括以下步骤：
S21、利用部分填补缺失值法对初始信用数据样本集D中的特征数据进行数据清理；
S22、利用直接赋值法对初始信用数据样本集D中的特征数据进行数据赋值；
S23、采用Min-Max标准化法，利用最大最小归一化方法对初始信用数据样本集D中的特征数据进行数据归一化，将其映射到[0,1]区间，归一化计算公式如下：
其中，dij'是第i个信用数据样本的第j个特征数据的归一化结果，mindij和maxdij分别是dij的极小值和极大值；
S24、利用dij'构建信用数据样本集D'，记为：X＝{x1,x2,…,xn}，xi表示X中第i个信用数据样本，表示为xi＝{xi1,xi2,…,xiD}，特征维数记作D。
优选的，在S3中，循环神经网络(Recurrent Neural Network，RNN)是一类以序列数据为输入，在序列的演进方向进行递归且所有循环单元按链式连接形成闭合回路的递归神经网络。
构建循环神经网络模型，并将步骤S2所述归一化的信用数据作为所述循环神经网络模型的输入，对应客户的标签数据作为输出，具体包括以下步骤：
S31、确定循环神经网络拓扑结构及初始化网络参数
根据样本的输入输出数据确定循环神经网络的结构，初始化循环神经网络的网络结构，设定其输入层、隐藏层及输出层的神经元个数。将循环神经网络输入层和隐藏层、隐藏层和输出层之间的参数(权重和偏置)用行向量X表示：
X＝[w,b]
其中，w是网络权重的行向量表示，它的维数是N×M+M×M+M×L；b是网络偏置的行向量表示，它的维数是M+L；N、M、L分别为输入层、隐藏层和输出层的神经元个数；将X的维数记作D。
S32、构建循环神经网络模型
假设当前的状态只与前面的几个状态相关，x为一个序列的输入，即为步骤S2所述归一化的信用数据，标记为{x1,x2,…,xt}，xt代表时刻为t时刻的输入，s为隐含单元，标记为{S1,S2,…,St}，St为t时刻的隐藏层状态，作为下一层的输入，第一个隐藏层状态初始化为0。模型每一层的输入有两个，一个是xt，一个是上一层的状态St-1，Ot代表时刻t的输出，o为输出单元，标记为{o1,o2,…,ot}。
在循环神经网络中，每输入一步，每一层各自都共享参数U，V，W，其反映着循环神经网络中的每一步都在做相同的事，只是输入不同，因此大大地降低了网络中需要学习的参数，而且循环神经网络的关键之处在于隐藏层，隐藏层能够捕捉序列的信息。
所构建循环神经网络模型的数学表达式：
St＝f(U·xt+W·St-1+b)
Ot＝f(V·St+c)
其中，U，W，V，b，c为模型需要学习更新的参数；f(·)为非线性的激活函数tanh，其表达式为：
其中ez表示指数函数，z为函数的输入。
S33、设置损失函数
对所述循环神经网络模型进行网络训练，并采用最小化损失函数来更新模型参数，损失函数的公式为：
其中，N表示数据数目，xt代表时刻为t时刻的输入，Ot代表时刻t的输出；
S34、网络输出
当所述循环神经网络模型训练好以后，即损失函数足够小时，将处理后的t时刻数据输入训练好的所述循环神经网络模型中，得到t+1时刻的数据，即为预测值。
常见的网络训练学习算法以反向传播算法和实时递归神经网络算法为主，随着时间的推移，数据量增大以及网络隐藏层神经元之自身的循环问题，训练过程中可能会存在的梯度消失或梯度爆炸现象，而达不到较好的训练效果，而对权重矩阵进行合理的初始化可以减少梯度消失的影响,所以选择使用蚁群算法对循环神经网络的初始权重和偏置进行优化。
优选的，在S4中，针对循环神经网络算法在逾期监控中存在易陷入局部最小值和全局搜索能力较弱的缺陷采用蚁群算法对初始权值和偏置进行寻优，以测量值与预测值的误差作为评价依据，从而实现模型参数的优化选择。
蚁群优化算法(Ant Colony Optimization，ACO)是模拟蚂蚁群体通过信息积累和传递优化机制来寻找食物的一种智能优化算法。蚂蚁在寻找食物时会在经过的路径上留下一种称为信息素的分泌物，蚁群中其他蚂蚁通过前面蚂蚁留下的信息素的浓度自适应地寻找出到达食物源最短路径，促使整个群体找到最优路径，实现最快捷搜索食物源的目的。
S41、初始化蚁群算法参数
需要初始化的参数包括，蚁群中蚂蚁个数m(与循环神经网络权重个数N相等)，信息素初始值C，信息素挥发因子ρ，信息素释放总量Q、后代蚂蚁信息素的贡献值I，当前迭代次数t＝0，最大迭代次数Tmax等。
令集合Ipi(1≤i≤m)中的元素j的信息素τj(Ipi)，且Δτj(Ipi)＝0(1≤j≤N)，将m只蚂蚁放置到起始位置上，令各条路径上的信息素量相等。
S42、蚁群算法与循环神经网络编码
蚁群随机产生m个候选解组成种群P＝{p1,p2,…,pi,…,pm}，将循环神经网络中各神经元间的权值和偏置编码成实数串表示的个体，候选解组成种群pi存储了循环神经网络的初始权值和偏置pi＝[W1,W2,…,Wn，b1,b2,…,bn]，将pi(1≤i≤m)设定成N个非零随机数，并形成集合Ipi。
S43、蚂蚁转移概率
每只蚂蚁k(k＝1,2,…,m)在运动过程中根据各条路径上的信息素量决定转移方向，且在搜索过程中，蚂蚁状态的转移概率是根据各条路径上的信息素浓度及路径的启发信息来计算的，计算表达式如下：
其中，
是蚂蚁k选择从结点i到结点j的转移概率，τi(Ipi)是集合Ipi(1≤i≤m)中的结点i的信息素。
S43、信息素更新
所有蚂蚁均由集合Ipi出发搜索食物，按照集合Ipi每个元素的信息素状态，从集合Ipi随机并选择唯一元素，而且对其信息素进行及时更新，更新集合Ipi元素的信息素，信息素更新表达式如下：
τj(Ipi)(t+1)＝ρτj(Ipi)(t)+Δτj(Ipi)
其中，参数ρ(0≤ρ＜1)表示信息素挥发系数，Δτj k(Ipi)为集合Ipi中第k只蚂蚁在第j个元素Pj(Ipi)上留下的信息素，该信息素大小计算公式如下：
其中，Q表示信息素浓度，一般设定为常数；ek是蚁群中第k只蚂蚁在本次循环所经历的路径总长度。
为克服蚁群算法早熟和局部收敛问题，这里采取自适应更新信息素方法。将信息素量值限制在[τmin，τmax]，信息素更新变换为：
其中，φ(m)表示与迭代次数成正比的函数。
S44、设置适应度值函数
将每只蚂蚁选取值作为循环神经网络参数训练样本，然后按照下式求取网络输出平均相对误差作为适应度值函数，记录目前循环神经网络结构参数最好解，且根据蚁群算法对全部集合中各元素信息素更新调整，适应度值函数表达式如下：
其中，ek定义为循环神经网络期望输出与实际值的平均相对误差，yi表示循环神经网络的实际输出值，Oi代表循环神经网络期望输出值，m为蚂蚁样本数量。
因此当网络训练输出误差ek减小时，相应信息素浓度就增大。
S45、迭代得到最优
重复步骤S42和S44，直到所有蚂蚁全部收敛到一条路径或达到最大迭代次数Tmax，输出最优解，算法结束。
记录最后一次迭代时蚂蚁位置向量
对蚂蚁位置向量对于的初始权值和偏置赋予循环神经网络pi＝[W1,W2,…,Wn，b1,b2,…,bn]。
S46、梯度下降算法训练
将训练集样本输入循环神经网络学习训练，采用梯度下降算法进行模型训练，当迭代次数到达规定次数，若损失函数收敛，则训练完成；若未收敛，则继续迭代直至收敛。
优选的，在S5中，将测试集输入到已经训练测试好的循环神经网络输出申请检测结果，计算模型的预测精度。
优选的，在S5中，分别采用均方根误差(RMSE)、平均绝对百分比误差(MAPE)和平均绝对误差(MAE)作为模型性能评价指标，各指标计算公式分别如下:
其中，n为训练集的样本数量；yi和
分别为第i个样本的实际值和预测值；
评价指标RMSE和MAPE分别用于衡量模型的离散程度和整体误差，二者的数值越小，则说明模型的预测误差越小、模型越稳定、效果越好。MAE为绝对误差的平均值，主要用来反映预测值误差的实际情况，其值越小表示模型预测的绝对误差越小，说明模型的预测效果越好。
与遗传算法、粒子群算法优化循环神经网络预测模型对比，实际算例比较表明，蚁群优化的循环网络预测模型具有更高的收敛速度和预测精度。
优选的，在S6中，将优化循环神经网络模型部署至在线监测系统，将实时监测得到数据作为训练好的循环神经网络模型的输入数据，将循环神经网络模型的输出数据作为客户逾期的预测，完成客户逾期的监控，并定期对模型迭代更新。
与现有技术相比，本发明的有益效果是：
1、本发明中，相比于BP、RBF和SOM等神经网络，循环神经网络具有记忆性、参数共享特点，在对序列的非线性特征进行学习时具有一定优势，适用于异常值检测问题。
2、本发明中，同遗传算法和粒子群算法，蚁群算法具有信息分布式性、动态性、随机性、异步性、信息正反馈和启发式搜索等特点，不容易陷入局部最优，易于寻找到全局最优解。
3、本发明中，结合蚁群算法对循环神经网络进行了优化，利用蚁群算法确定了循环神经网络最优的权值和偏置，加快了神经网络的收敛速度，并提高了预测模型的准度，可实现互联网金融欺诈行为实时检测。
附图说明
图1为本发明流程图。
具体实施方式
实施例1：
请参阅图1，本发明提供一种技术方案：
一种基于蚁群算法优化循环神经网络的逾期监控方法，一种基于蚁群算法优化循环神经网络的逾期监控方法，一种基于蚁群算法优化循环神经网络的逾期监控方法，包括以下六个步骤：
S1、采集一定比例数量的正常和逾期还款表现客户作为建模样本，并采集建模样本的客户账户注册个人基本信息、用户的还款、逾期、消费等行为数据作为信用数据，根据正常和逾期还款表现对客户做标签化处理；
S2、对步骤S1中采集到的信用数据进行预处理，包括剔除异常数据、降低噪声和归一化处理，得到预处理的数据随机切分训练集和测试集；
S3、根据训练集特征确定循环神经网络拓扑结构及初始化网络参数，以归一化后的信用数据作为输入，客户标签表现数据作为输出，建立循环神经网络模型；
S4、采用蚁群算法对循环神经网络中的权重和偏置进行预训练，达到最优的初始权重和偏置赋给循环神经网络模型，输入训练集样本使用梯度下降算法对循环神经网络进行训练；
S5、输入测试集样本到训练后的循环神经网络进行预测，以模型精度评价指标与遗传算法、粒子群算法优化的循环神经网络预测模型的进行对比和评估；
S6、将优化循环神经网络模型部署至在线监测系统，将实时监测得到数据作为训练好的循环神经网络模型的输入数据，将循环神经网络模型的输出数据作为客户逾期的预测，实现客户逾期的监控，并定期对模型迭代更新。
在S1中，从互联网金融平台后端根据贷后表现选取一定比例和数量正常还款和逾期客户作为建模样本，采集样本客户账户注册申请时的个人基本信息、用户的还款、逾期、消费等行为数据。其中用户的个人申请信息包括：手机号、学历、婚姻状况、工作单位、住址、联系人信息；所述贷款行为数据包括申贷行为、活跃行为、账户特征、负债压力、消费行为、还款行为等。申贷行为：本平台历史申请次数、拒绝次数；活跃行为：登录APP的频率、社交行为、营销响应行为；账户特征：授信额度使用率，代偿余额；消费行为：消费金额、类目、笔数；负债压力：用户在内部所在产品的总负债，外部负债；还款行为：提前还款、月还款率、习惯性逾期、催收响应行为、还款金额和期限；另外在合规要求下，不限于获取移动互联网行为数据、贷款APP内行为数据、信贷历史、运营商数据在内的全域多维度大数据。
在S2中，由于网络对于输入数据比较敏感，需要填充缺失值，输入数据有着不同的单位和取值范围，所以必须对预处理后的数据进行归一化处理，使其值在[0,1]范围之内，具体包括以下步骤：
S21、利用部分填补缺失值法对初始信用数据样本集D中的特征数据进行数据清理；
S22、利用直接赋值法对初始信用数据样本集D中的特征数据进行数据赋值；
S23、采用Min-Max标准化法，利用最大最小归一化方法对初始信用数据样本集D中的特征数据进行数据归一化，将其映射到[0,1]区间，归一化计算公式如下：
其中，dij'是第i个信用数据样本的第j个特征数据的归一化结果，mindij和maxdij分别是dij的极小值和极大值；
S24、利用dij'构建信用数据样本集D'，记为：X＝{x1,x2,…,xn}，xi表示X中第i个信用数据样本，表示为xi＝{xi1,xi2,…,xiD}，特征维数记作D。
在S3中，循环神经网络(Recurrent Neural Network，RNN)是一类以序列数据为输入，在序列的演进方向进行递归且所有循环单元按链式连接形成闭合回路的递归神经网络。
构建循环神经网络模型，将步骤S2得到的归一化信用数据作为所述循环神经网络模型的输入，对应客户的标签数据作为输出，具体包括以下步骤：
S31、确定循环神经网络拓扑结构及初始化网络参数
根据样本的输入输出数据确定循环神经网络的结构，初始化循环神经网络的网络结构，设定其输入层、隐藏层及输出层的神经元个数。将循环神经网络输入层和隐藏层、隐藏层和输出层之间的参数(权重和偏置)用行向量X表示：
X＝[w,b]
其中，w是网络权重的行向量表示，它的维数是N×M+M×M+M×L；b是网络偏置的行向量表示，它的维数是M+L；N、M、L分别为输入层、隐藏层和输出层的神经元个数，将X的维数记作D。
S32、构建循环神经网络模型
假设当前的状态只与前面的几个状态相关，x为一个序列的输入，即为步骤S2所述归一化的信用数据，标记为{x1,x2,…,xt}，xt代表时刻为t时刻的输入，s为隐含单元，标记为{S1,S2,…,St}，St为t时刻的隐藏层状态，作为下一层的输入，第一个隐藏层状态初始化为0。模型每一层的输入有两个，一个是xt，一个是上一层的状态St-1，Ot代表时刻t的输出，o为输出单元，标记为{o1,o2,…,ot}。
在循环神经网络中，每输入一步，每一层各自都共享参数U，V，W，其反映着循环神经网络中的每一步都在做相同的事，只是输入不同，因此大大地降低了网络中需要学习的参数，而且循环神经网络的关键之处在于隐藏层，隐藏层能够捕捉序列的信息。得到所述循环神经网络模型的数学表达式：
St＝f(U·xt+W·St-1+b)
Ot＝f(V·St+c)
其中，U，W，V，b，c为模型需要学习更新的参数；f(·)为非线性的激活函数tanh，其表达式为：
其中ez表示指数函数，z为函数的输入；
S33、设定损失函数
对所述循环神经网络模型进行网络训练，并采用最小化损失函数来更新模型参数，损失函数的公式为：
其中，N表示数据数目，xt代表时刻为t时刻的输入，Ot代表时刻t的输出；
S34、网络输出
当所述循环神经网络模型训练好以后，即损失函数足够小时，将处理后的t时刻数据输入训练好的所述循环神经网络模型中，得到t+1时刻的数据，即为预测值。
常见的网络训练学习算法以反向传播算法和实时递归神经网络算法为主，随着时间的推移，数据量增大以及网络隐藏层神经元之自身的循环问题，训练过程中可能会存在的梯度消失或梯度爆炸现象，而达不到较好的训练效果，而对权重矩阵进行合理的初始化可以减少梯度消失的影响,所以选择使用蚁群算法对循环神经网络的初始权重和偏置进行优化。
在S4中，针对循环神经网络算法在逾期监控中存在易陷入局部最小值和全局搜索能力较弱的缺陷采用蚁群算法对初始权值和偏置进行寻优，以测量值与预测值的误差作为评价依据，从而实现模型参数的优化选择。
蚁群优化算法(Ant Colony Optimization，ACO)是一种模拟蚂蚁群体寻找食物时信息积累和传递优化机制的智能优化算法。蚂蚁在寻找食物时会在经过的路径上留下一种称为信息素的分泌物，蚁群中其他蚂蚁通过前面蚂蚁留下的信息素的浓度自适应地寻找出到达食物源最短路径，促使整个群体找到最优路径，实现最快捷搜索食物源的目的的方法。
S41、初始化蚁群算法参数
需要初始化的参数包括，蚁群中蚂蚁个数m(与循环神经网络权重个数N相等)，信息素初始值C，信息素挥发因子ρ，信息素释放总量Q、后代蚂蚁信息素的贡献值I，当前迭代次数t＝0，最大迭代次数Tmax等。
令集合Ipi(1≤i≤m)中的元素j的信息素τj(Ipi)，且Δτj(Ipi)＝0(1≤j≤N)，将m只蚂蚁放置到起始位置上，令各条路径上的信息素量相等。
S42、蚁群算法与循环神经网络编码
蚁群随机产生m个候选解组成种群P＝{p1,p2,…,pi,…,pm}，将循环神经网络中各神经元间的权值和偏置编码成实数串表示的个体，候选解组成种群pi存储了循环神经网络的初始权值和偏置pi＝[W1,W2,…,Wn，b1,b2,…,bn]，将pi(1≤i≤m)设定成N个非零随机数，并形成集合Ipi。
S43、蚂蚁转移概率
每只蚂蚁k(k＝1,2,…,m)在运动过程中根据各条路径上的信息素量决定转移方向，在搜索过程中，蚂蚁状态的转移概率是根据各条路径上的信息素浓度及路径的启发信息来计算的计算表达式为：
其中，
是蚂蚁k选择从结点i到结点j的转移概率
S43、信息素更新
所有蚂蚁均由集合Ipi出发搜索食物，按照集合Ipi每个元素的信息素状态，从集合Ipi随机并选择唯一元素，而且对其信息素进行及时更新，更新集合Ipi元素的信息素，信息素更新表达式如下：
τj(Ipi)(t+1)＝ρτj(Ipi)(t)+Δτj(Ipi)
其中，参数ρ(0≤ρ＜1)表示信息素挥发系数，
为集合Ipi中第k只蚂蚁在第j个元素Pj(Ipi)上留下的信息素，该信息素大小计算公式如下：
其中，Q表示信息素浓度，一般设定为常数；ek是蚁群中第k只蚂蚁在本次循环所经历的路径总长度。
为克服蚁群算法早熟和局部收敛问题，这里采取自适应更新信息素方法。将信息素量值限制在[τmin，τmax]，将(7)式变换为：
其中，φ(m)表示与迭代次数成正比的函数。
S44、设置适应度值函数
将每只蚂蚁选取值作为循环神经网络参数训练样本，然后按照下式求取网络输出平均相对误差作为适应度值函数，记录目前循环神经网络结构参数最好解，且根据蚁群算法对全部集合中各元素信息素更新调整，适应度值函数表达式如下：
其中，ek定义为循环神经网络期望输出与实际值的平均相对误差，yi表示循环神经网络的实际输出值，Oi代表循环神经网络期望输出值，m为蚂蚁样本数量。
因此当网络训练输出误差ek减小时，相应信息素浓度就增大。
S45、迭代得到最优
重复步骤S42和S44，直到所有蚂蚁全部收敛到一条路径或达到最大迭代次数Tmax，输出最优解，算法结束。
记录最后一次迭代时蚂蚁位置向量
对蚂蚁位置向量对于的初始权值和偏置赋予循环神经网络pi＝[W1,W2,…,Wn，b1,b2,…,bn]。
S46、梯度下降算法训练
将训练集样本输入循环神经网络学习训练，采用梯度下降算法进行模型训练，当迭代次数到达规定次数，若损失函数收敛，则训练完成；若未收敛，则继续迭代直至收敛，这种设置通过反复迭代得到收敛的损失函数。
在S5中，将测试集输入到已经训练测试好的循环神经网络输出申请检测结果，计算模型的预测精度。
在S5中，分别采用均方根误差(RMSE)、平均绝对百分比误差(MAPE)和平均绝对误差(MAE)作为模型性能评价指标，各指标计算公式分别如下:
其中，n为训练集的样本数量；yi和
分别为第i个样本的实际值和预测值；
评价指标RMSE和MAPE分别用于衡量模型的离散程度和整体误差，二者的数值越小，则说明模型的预测误差越小、模型越稳定、效果越好。MAE为绝对误差的平均值，主要用来反映预测值误差的实际情况，其值越小表示模型预测的绝对误差越小，说明模型的预测效果越好。
与遗传算法、粒子群算法优化循环神经网络预测模型对比，实际算例比较表明，蚁群优化的循环网络预测模型具有更高的收敛速度和预测精度。
在S6中，将优化循环神经网络模型部署至在线监测系统，将实时监测得到数据作为训练好的循环神经网络模型的输入数据，将循环神经网络模型的输出数据作为客户逾期的预测，完成客户逾期的监控，并定期对模型迭代更新，这种设置有利于应对新的逾期风险。
本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实例的说明只是用于帮助理解本发明的方法及其核心思想。以上所述仅是本发明的优选实施方式，应当指出，由于文字表达的有限性，而客观上存在无限的具体结构，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进、润饰或变化，也可以将上述技术特征以适当的方式进行组合；这些改进润饰、变化或组合，或未经改进将发明的构思和技术方案直接应用于其它场合的，均应视为本发明的保护范围。
Claims (8)
1.一种基于蚁群算法优化循环神经网络的逾期监控方法，其特征在于，包括以下六个步骤：
S1、采集一定比例数量的正常和逾期还款表现客户作为建模样本，并采集建模样本的客户账户注册个人基本信息、用户的还款、逾期、消费等行为数据作为信用数据，根据正常和逾期还款表现对客户做标签化处理；
S2、对步骤S1中采集到的信用数据进行预处理，包括剔除异常数据、降低噪声和归一化处理，得到预处理的数据随机切分训练集和测试集；
S3、根据训练集特征确定循环神经网络拓扑结构及初始化网络参数，以归一化后的信用数据作为输入，客户标签表现数据作为输出，建立循环神经网络模型；
S4、采用蚁群算法对循环神经网络中的权重和偏置进行预训练，达到最优的初始权重和偏置赋给循环神经网络模型，输入训练集样本使用梯度下降算法对循环神经网络进行训练；
S5、输入测试集样本到训练后的循环神经网络进行预测，以模型精度评价指标与遗传算法、粒子群算法优化的循环神经网络预测模型的进行对比和评估；
S6、将优化循环神经网络模型部署至在线监测系统，将实时监测得到数据作为训练好的循环神经网络模型的输入数据，将循环神经网络模型的输出数据作为客户逾期的预测，实现客户逾期的监控，并定期对模型迭代更新。
2.根据权利要求1所述的一种基于蚁群算法优化循环神经网络的逾期监控方法，其特征在于，在S1中，从互联网金融平台后端根据贷后表现选取一定比例和数量正常还款和逾期客户作为建模样本，采集样本客户账户注册申请时的个人基本信息、用户的还款、逾期、消费等行为数据。其中用户的个人申请信息包括：手机号、学历、婚姻状况、工作单位、住址、联系人信息；所述贷款行为数据包括申贷行为、活跃行为、账户特征、负债压力、消费行为、还款行为等。申贷行为：本平台历史申请次数、拒绝次数；活跃行为：登录APP的频率、社交行为、营销响应行为；账户特征：授信额度使用率，代偿余额；消费行为：消费金额、类目、笔数；负债压力：用户在内部所在产品的总负债，外部负债；还款行为：提前还款、月还款率、习惯性逾期、催收响应行为、还款金额和期限；另外在合规要求下，不限于获取移动互联网行为数据、贷款APP内行为数据、信贷历史、运营商数据在内的全域多维度大数据。
3.根据权利要求1所述的一种基于蚁群算法优化循环神经网络的逾期监控方法，其特征在于，在S2中，由于循环神经网络对于输入数据比较敏感，需要填充缺失值，输入数据有着不同的单位和取值范围，所以必须对预处理后的数据进行归一化处理，使其值在[0,1]范围之内，具体包括以下步骤：
S21、利用部分填补缺失值法对初始信用数据样本集D中的特征数据进行数据清理；
S22、利用直接赋值法对初始信用数据样本集D中的特征数据进行数据赋值；
S23、采用Min-Max标准化法，利用最大最小归一化方法对初始信用数据样本集D中的特征数据进行数据归一化，将其映射到[0,1]区间，归一化计算公式如下：
其中，dij'是第i个信用数据样本的第j个特征数据的归一化结果，mindij和maxdij分别是dij的极小值和极大值；
S24、利用dij'构建信用数据样本集D'，记为：X＝{x1,x2,…,xn}，xi表示X中第i个信用数据样本，表示为xi＝{xi1,xi2,…,xiD}，特征维数记作D。
4.根据权利要求1所述的基一种基于蚁群算法优化循环神经网络的逾期监控方法，其特征在于，在S3中，循环神经网络(RecurrentNeuralNetwork，RNN)是一类具有短期记忆能力的递归神经网络，循环神经网络以序列数据为输入，在序列的演进方向进行递归且所有循环单元按链式连接形成闭合回路。
构建循环神经网络模型，将步骤S2所述归一化的信用数据作为所述循环神经网络模型的输入，对应客户的标签数据作为输出，具体包括以下步骤：
S31、确定循环神经网络拓扑结构及初始化网络参数
根据样本的输入输出数据确定循环神经网络的结构，初始化循环神经网络的网络结构，设定其输入层、隐藏层及输出层的神经元个数。将循环神经网络输入层和隐藏层、隐藏层和输出层之间的参数(权重和偏置)用行向量X表示：
X＝[w,b]
其中，w是网络权重的行向量表示，它的维数是N×M+M×M+M×L；b是网络偏置的行向量表示，它的维数是M+L；N、M、L分别为输入层、隐藏层和输出层的神经元个数，将X的维数记作D。
S32、构建循环神经网络模型
假设当前的状态只与前面的几个状态相关，x为一个序列的输入，即为步骤S2所述归一化的信用数据，标记为{x1,x2,…,xt}，xt代表时刻为t时刻的输入，s为隐含单元，标记为{S1,S2,…,St}，St为t时刻的隐藏层状态，作为下一层的输入，第一个隐藏层状态初始化为0。模型每一层的输入有两个，一个是xt，一个是上一层的状态St-1，Ot代表时刻t的输出，o为输出单元，标记为{o1,o2,…,ot}。
在循环神经网络中，每输入一步，每一层各自都共享参数U，V，W，其反映着循环神经网络中的每一步都在做相同的事，只是输入不同，因此大大地降低了网络中需要学习的参数，而且循环神经网络的关键之处在于隐藏层，隐藏层能够捕捉序列的信息。
构建所述循环神经网络模型的数学表达式：
St＝f(U·xt+W·St-1+b)
Ot＝f(V·St+c)
其中，U，W，V，b，c为模型需要学习更新的参数；f(·)为非线性的激活函数tanh，其表达式为：
其中，ez表示指数函数，z为函数的输入；
S33、设定损失函数
对所述循环神经网络模型进行网络训练，并采用最小化损失函数来更新模型参数，损失函数的公式为：
其中，N表示数据数目，xt代表时刻为t时刻的输入，Ot代表时刻t的输出；
S34、网络输出
当达到最大迭代次数或损失函数足够小，完成循环神经网络模型训练，将处理后的t时刻数据输入训练好的所述循环神经网络模型中，得到t+1时刻的数据，即为预测值。
常见的网络训练学习算法以反向传播算法和实时递归神经网络算法为主，随着时间的推移，数据量增大以及网络隐藏层神经元之自身的循环问题，训练过程中可能会存在的梯度消失或梯度爆炸现象，而达不到较好的训练效果，而对权重矩阵进行合理的初始化可以减少梯度消失的影响,所以选择使用蚁群算法对循环神经网络的初始权重和偏置进行优化。
5.根据权利要求1所述的一种基于蚁群算法优化循环神经网络的逾期监控方法，其特征在于，在S4中，针对循环神经网络算法在逾期监控中存在易陷入局部最小值和全局搜索能力较弱的缺陷采用蚁群算法对初始权值和偏置进行寻优，以测量值与预测值的误差作为评价依据，从而实现模型参数的优化选择。
蚁群优化算法(Ant Colony Optimization，ACO)是一种模拟蚂蚁群体通过信息积累和传递优化机制来寻找食物的智能优化算法。蚂蚁在寻找食物时会在经过的路径上留下一种称为信息素的分泌物，蚁群中其他蚂蚁通过前面蚂蚁留下的信息素的浓度自适应地寻找出到达食物源最短路径，促使整个群体找到最优路径，实现最快捷搜索食物源的目的。
S41、初始化蚁群算法参数
需要初始化的参数包括，蚁群中蚂蚁个数m(与循环神经网络权重个数N相等)，信息素初始值C，信息素挥发因子ρ，信息素释放总量Q、后代蚂蚁信息素的贡献值I，当前迭代次数t＝0，最大迭代次数Tmax等。
令集合Ipi(1≤i≤m)中的元素j的信息素τj(Ipi)，且Δτj(Ipi)＝0(1≤j≤N)，将m只蚂蚁放置到起始位置上，令各条路径上的信息素量相等。
S42、蚁群算法与循环神经网络编码
蚁群随机产生m个候选解组成种群P＝{p1,p2,…,pi,…,pm}，将循环神经网络中各神经元间的权值和偏置编码成实数串表示的个体，候选解组成种群pii(1≤i≤m)存储了循环神经网络的初始权值和偏置pi＝[W1,W2,…,Wn，b1,b2,…,bn]，将p设定成N个非零随机数，并形成集合Ipi。
S43、蚂蚁转移概率
每只蚂蚁k(k＝1,2,…,m)在运动过程中根据各条路径上的信息素量决定转移方向，且在搜索过程中，蚂蚁状态的转移概率是根据各条路径上的信息素浓度及路径的启发信息来计算的，计算表达式如下：
其中，
是蚂蚁k选择从结点i到结点j的转移概率；τi(Ipi)是集合Ipi(1≤i≤m)中的结点i的信息素。
S43、信息素更新
所有蚂蚁均由集合Ipi出发搜索食物，按照集合Ipi每个元素的信息素状态，从集合Ipi随机并选择唯一元素，而且对其信息素进行及时更新，更新集合Ipi元素的信息素，信息素更新表达式如下：
τj(Ipi)(t+1)＝ρτj(Ipi)(t)+Δτj(Ipi)
其中，参数ρ(0≤ρ＜1)表示信息素挥发系数，
为集合Ipi中第k只蚂蚁在第j个元素Pj(Ipi)上留下的信息素，该信息素大小计算公式如下：
其中，Q表示信息素浓度，一般设定为常数；ek是蚁群中第k只蚂蚁在本次循环所经历的路径总长度。
为克服蚁群算法早熟和局部收敛问题，这里采取自适应更新信息素方法,将信息素量值限制在[τmin，τmax]，信息素更新公式变换为：
其中，φ(m)表示与迭代次数成正比的函数。
S44、设置适应度值函数
将每只蚂蚁选取值作为循环神经网络参数训练样本，然后按照下式求取网络输出平均相对误差作为应度值函数，记录目前循环神经网络结构参数最好解，根据蚁群算法对全部集合中各元素信息素更新调整。适应度值函数如下：
其中，ek定义为循环神经网络期望输出与实际值的平均相对误差，yi表示循环神经网络的实际输出值，Oi代表循环神经网络期望输出值，m为蚂蚁样本数量。
当网络训练输出误差ek减小时，相应信息素浓度就增大。
S45、迭代得到最优
重复步骤S42和S44，直到所有蚂蚁全部收敛到一条路径或达到最大迭代次数Tmax，输出最优解，算法结束。
记录最后一次迭代时蚂蚁位置向量
对蚂蚁位置向量对于的初始权值和偏置赋予循环神经网络pi＝[W1,W2,…,Wn，b1,b2,…,bn]。
S46、梯度下降算法训练
将训练集样本输入循环神经网络学习训练，采用梯度下降算法进行模型训练，当迭代次数到达规定次数，若损失函数收敛，则训练完成；若未收敛，则继续迭代直至收敛。
6.根据权利要求1所述的一种基于蚁群算法优化循环神经网络的逾期监控方法，其特征在于，在S5中，将测试集输入到已经训练测试好的循环神经网络输出申请检测结果，计算模型的预测精度。
7.根据权利要求1所述的一种基于蚁群算法优化循环神经网络的逾期监控方法，其特征在于，在S5中，分别采用均方根误差(RMSE)、平均绝对百分比误差(MAPE)和平均绝对误差(MAE)作为模型性能评价指标，各指标计算公式分别如下:
其中，n为训练集的样本数量；yi和
分别为第i个样本的实际值和预测值；
评价指标RMSE和MAPE分别用于衡量模型的离散程度和整体误差，二者的数值越小，则说明模型的预测误差越小、模型越稳定、效果越好。MAE为绝对误差的平均值，主要用来反映预测值误差的实际情况，其值越小表示模型预测的绝对误差越小，说明模型的预测效果越好。
与遗传算法、粒子群算法优化循环神经网络预测模型对比，实际算例比较表明，蚁群优化的循环网络预测模型具有更高的收敛速度和预测精度。
8.根据权利要求1所述的一种基于蚁群算法优化循环神经网络的逾期监控方法，其特征在于，在S6中，将优化循环神经网络模型部署至在线监测系统，将实时监测得到数据作为训练好的循环神经网络模型的输入数据，将循环神经网络模型的输出数据作为客户逾期的预测，完成客户逾期的监控，并定期对模型迭代更新。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011536733.9A CN112634018A (zh) | 2020-12-23 | 2020-12-23 | 一种基于蚁群算法优化循环神经网络的逾期监控方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011536733.9A CN112634018A (zh) | 2020-12-23 | 2020-12-23 | 一种基于蚁群算法优化循环神经网络的逾期监控方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112634018A true CN112634018A (zh) | 2021-04-09 |
Family
ID=75321465
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011536733.9A Pending CN112634018A (zh) | 2020-12-23 | 2020-12-23 | 一种基于蚁群算法优化循环神经网络的逾期监控方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112634018A (zh) |
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113240070A (zh) * | 2021-05-19 | 2021-08-10 | 上海应用技术大学 | 基于pso-aco-bp神经网络的自动评分方法 |
| CN113283161A (zh) * | 2021-04-28 | 2021-08-20 | 江西核工业测绘院集团有限公司 | 一种改进bp神经网络的滑坡形变位移预测方法 |
| CN113379536A (zh) * | 2021-06-29 | 2021-09-10 | 百维金科(上海)信息科技有限公司 | 一种基于引力搜索算法优化递归神经网络的违约概率预测方法 |
| CN113538125A (zh) * | 2021-06-29 | 2021-10-22 | 百维金科(上海)信息科技有限公司 | 一种基于萤火虫算法优化Hopfield神经网络的风险评级方法 |
| CN113869486A (zh) * | 2021-06-07 | 2021-12-31 | 四川大学华西医院 | 基于循环神经网络的语音重放监测方法 |
| CN114339857A (zh) * | 2021-12-07 | 2022-04-12 | 重庆邮电大学 | 超密集异构无线网络中基于网络相似性的垂直切换方法 |
| CN115271137A (zh) * | 2022-07-21 | 2022-11-01 | 广州市美瀛信息科技有限公司 | 一种在线预订变动处理方法 |
| CN115310285A (zh) * | 2022-08-08 | 2022-11-08 | 重庆大学 | 新能源汽车电机温度场数字孪生模型构建方法 |
| CN115801463A (zh) * | 2023-02-06 | 2023-03-14 | 山东能源数智云科技有限公司 | 工业互联网平台入侵检测的方法、装置和电子设备 |
| CN115994629A (zh) * | 2023-03-23 | 2023-04-21 | 南京信息工程大学 | 一种基于gn-rbf的空气湿度预测方法及系统 |
| CN118333102A (zh) * | 2024-06-12 | 2024-07-12 | 上海岩芯数智人工智能科技有限公司 | 链状生成式神经网络模型构建方法及其模型优化方法 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108846520A (zh) * | 2018-06-22 | 2018-11-20 | 北京京东金融科技控股有限公司 | 贷款逾期预测方法、装置以及计算机可读存储介质 |
| CN109242672A (zh) * | 2018-09-29 | 2019-01-18 | 北京京东金融科技控股有限公司 | 贷款的还款信息预测方法、装置以及计算机可读存储介质 |
-
2020
- 2020-12-23 CN CN202011536733.9A patent/CN112634018A/zh active Pending
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108846520A (zh) * | 2018-06-22 | 2018-11-20 | 北京京东金融科技控股有限公司 | 贷款逾期预测方法、装置以及计算机可读存储介质 |
| CN109242672A (zh) * | 2018-09-29 | 2019-01-18 | 北京京东金融科技控股有限公司 | 贷款的还款信息预测方法、装置以及计算机可读存储介质 |
Non-Patent Citations (3)
| Title |
|---|
| ABDEIRAHMAN EISAID等: "Optimizing Long Short-Term Memory Recurrent Neural Networks Using Ant Colony Optimization to Predict Turbine Engine Vibration", 《ARXIV:1710.03753V1》 * |
| 乔维德等: "基于蚁群一粒子群的模糊神经网络超声波电动机控制", 《微特电机》 * |
| 郝志峰主编: "《数据科学与数学建模》", 31 January 2019 * |
Cited By (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113283161A (zh) * | 2021-04-28 | 2021-08-20 | 江西核工业测绘院集团有限公司 | 一种改进bp神经网络的滑坡形变位移预测方法 |
| CN113240070A (zh) * | 2021-05-19 | 2021-08-10 | 上海应用技术大学 | 基于pso-aco-bp神经网络的自动评分方法 |
| CN113240070B (zh) * | 2021-05-19 | 2024-05-21 | 上海应用技术大学 | 基于pso-aco-bp神经网络的自动评分方法 |
| CN113869486A (zh) * | 2021-06-07 | 2021-12-31 | 四川大学华西医院 | 基于循环神经网络的语音重放监测方法 |
| CN113379536A (zh) * | 2021-06-29 | 2021-09-10 | 百维金科(上海)信息科技有限公司 | 一种基于引力搜索算法优化递归神经网络的违约概率预测方法 |
| CN113538125A (zh) * | 2021-06-29 | 2021-10-22 | 百维金科(上海)信息科技有限公司 | 一种基于萤火虫算法优化Hopfield神经网络的风险评级方法 |
| CN114339857B (zh) * | 2021-12-07 | 2023-07-25 | 重庆邮电大学 | 超密集异构无线网络中基于网络相似性的垂直切换方法 |
| CN114339857A (zh) * | 2021-12-07 | 2022-04-12 | 重庆邮电大学 | 超密集异构无线网络中基于网络相似性的垂直切换方法 |
| CN115271137A (zh) * | 2022-07-21 | 2022-11-01 | 广州市美瀛信息科技有限公司 | 一种在线预订变动处理方法 |
| CN115310285A (zh) * | 2022-08-08 | 2022-11-08 | 重庆大学 | 新能源汽车电机温度场数字孪生模型构建方法 |
| CN115310285B (zh) * | 2022-08-08 | 2024-06-04 | 重庆大学 | 新能源汽车电机温度场数字孪生模型构建方法 |
| CN115801463B (zh) * | 2023-02-06 | 2023-04-18 | 山东能源数智云科技有限公司 | 工业互联网平台入侵检测的方法、装置和电子设备 |
| CN115801463A (zh) * | 2023-02-06 | 2023-03-14 | 山东能源数智云科技有限公司 | 工业互联网平台入侵检测的方法、装置和电子设备 |
| CN115994629A (zh) * | 2023-03-23 | 2023-04-21 | 南京信息工程大学 | 一种基于gn-rbf的空气湿度预测方法及系统 |
| CN118333102A (zh) * | 2024-06-12 | 2024-07-12 | 上海岩芯数智人工智能科技有限公司 | 链状生成式神经网络模型构建方法及其模型优化方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112634018A (zh) | 一种基于蚁群算法优化循环神经网络的逾期监控方法 | |
| CN112581263A (zh) | 一种基于灰狼算法优化广义回归神经网络的信用评估方法 | |
| US10832123B2 (en) | Compression of deep neural networks with proper use of mask | |
| US10984308B2 (en) | Compression method for deep neural networks with load balance | |
| CN109657156B (zh) | 一种基于循环生成对抗网络的个性化推荐方法 | |
| CN113538125A (zh) | 一种基于萤火虫算法优化Hopfield神经网络的风险评级方法 | |
| CN112581262A (zh) | 一种基于鲸鱼算法优化lvq神经网络的欺诈行为检测方法 | |
| CN107729999A (zh) | 考虑矩阵相关性的深度神经网络压缩方法 | |
| CN107346464A (zh) | 业务指标预测方法及装置 | |
| CN112581264A (zh) | 一种基于蝗虫算法优化mlp神经网络的信用风险预测方法 | |
| JP2017509953A (ja) | 低スパイキングレートのためのニューラルネットワークを構成すること | |
| CN112529685A (zh) | 一种基于bas-fnn的贷款用户信用评级方法及系统 | |
| CN112215446A (zh) | 一种基于神经网络的单位动态火灾风险评估方法 | |
| CN112529683A (zh) | 一种基于cs-pnn的客户信贷风险的评估方法及系统 | |
| CN113379536A (zh) | 一种基于引力搜索算法优化递归神经网络的违约概率预测方法 | |
| CN113705922A (zh) | 一种改进的超短期风电功率预测算法及模型建立方法 | |
| CN112634019A (zh) | 基于细菌觅食算法优化灰色神经网络的违约概率预测方法 | |
| CN108832663A (zh) | 微电网光伏发电系统的发电功率的预测方法及设备 | |
| CN112686376A (zh) | 一种基于时序图神经网络的节点表示方法及增量学习方法 | |
| CN113239638A (zh) | 一种基于蜻蜓算法优化多核支持向量机的逾期风险预测方法 | |
| CN116362836A (zh) | 基于用户行为序列的农产品推荐算法 | |
| CN111932091A (zh) | 一种基于梯度生存提升树的生存分析风险函数预测方法 | |
| CN111292121A (zh) | 一种基于园区画像的园区负荷预测方法及系统 | |
| CN112348656A (zh) | 一种基于ba-wnn的个人贷款信用评分方法 | |
| CN116956160A (zh) | 一种基于自适应树种算法的数据分类预测方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20210409 |
|
| RJ01 | Rejection of invention patent application after publication |