CN106997484A - 一种优化用户信用模型建模过程的方法及装置 - Google Patents

一种优化用户信用模型建模过程的方法及装置 Download PDF

Info

Publication number
CN106997484A
CN106997484A CN201610052278.2A CN201610052278A CN106997484A CN 106997484 A CN106997484 A CN 106997484A CN 201610052278 A CN201610052278 A CN 201610052278A CN 106997484 A CN106997484 A CN 106997484A
Authority
CN
China
Prior art keywords
layer
data
output data
weight matrix
depth network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201610052278.2A
Other languages
English (en)
Inventor
席炎
杨强鹏
余舟华
姜晓燕
王晓光
褚崴
曾海峰
俞吴杰
杨军
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Alibaba Group Holding Ltd
Original Assignee
Alibaba Group Holding Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alibaba Group Holding Ltd filed Critical Alibaba Group Holding Ltd
Priority to CN201610052278.2A priority Critical patent/CN106997484A/zh
Publication of CN106997484A publication Critical patent/CN106997484A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/086—Learning methods using evolutionary algorithms, e.g. genetic algorithms or genetic programming
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q40/00—Finance; Insurance; Tax strategies; Processing of corporate or income taxes
    • G06Q40/03—Credit; Loans; Processing thereof

Abstract

本申请实施例公开了一种优化用户信用模型建模过程的方法及装置。该方法包括：获取用于建立用户信用模型的样本数据；将所述样本数据作为输入数据输入到所述深度网络，对所述深度网络的第i-1层、第i层以及第i+1层进行如下操作：将第i-1层的输出数据作为第i层的输入数据，利用所述第i层的输入数据对第i层与第i+1层之间的权值矩阵进行训练，得到与第i层与第i+1层之间的权值矩阵，所述i大于等于2，小于N；用训练得到的相应层的权值矩阵初始化所述深度网络的相应层，以实现对用户信用模型建模过程的优化。应用本申请实施例在对用户信用模型训练之前，对该模型进行预训练，使得该模型中各层权值在训练之前就处于良好的状态。

Description

一种优化用户信用模型建模过程的方法及装置
技术领域
本申请涉及计算机技术领域，尤其涉及一种优化用户信用模型建模过程的方法及装置。
背景技术
目前，个人征信系统帮助消费贷款等机构对用户的个人信用进行分析，同时，用户也可以根据个人信用进行相关消费或贷款。通常个人的征信系统的建立需要用户不断的对用户信用模型进行训练，获得正确的个人征信系统模型，这里正确的模型是指：根据输入的用户的相关特征值，正确的输出该用户对应的信用度等。
训练用户信用模型通常会采用深度算法，该算法基于建立模拟人脑分析学习的神经网络(这里简称为深度网络)，从而达到分析数据的目的，这里的数据可以是图片数据、声音数据或文本数据等。在训练该深度网络时，首先采用正向传播的方法在该深度网络的输入层中输入相应的值，然后通过随机的方式分配深度网络中各层之间的权值，从而获得最终的输出数据，这时获得的输出数据可能不是用户想要得到的期望输出数据，在这种情况下，需要对深度网络中各层之间的权值进行调整，使得最终获得的输出数据与期望输出数据之间的误差值小于预设的误差阈值。
通常现有技术在调整模型中各层之间权值的步骤是：首先算出深度网络中的实际输出数据与期望输出数据之间的误差值，然后将该误差值分摊给该深度网络中各层中各个单元，并根据梯度下降法对深度网络中各层之间的权值进行调整，当模型中实际输出数据与期望输出数据之间的误差值小于预设的误差阈值时，则完成了权值的调整过程，即完成了该深度网络的训练。
上述调整模型权值的方法是比较有效的方法，但是在建立征信系统模型时是采用随机的方法分配深度网络中的各层之间的权值，这样可能导致建立的模型与正确的模型之间的差距增大，具体是指建立的模型中各层之间的权值与正确模型中的权值差距较大；且随着征信系统模型中的数据逐渐增大以及神经网络的结构不断复杂化，采用上述调整权值的方法直接对整个网络进行训练时，由于网络中隐藏层可能有很多层，因此可能导致输出层的梯度传递到网络前层时会变得非常小，产生一种梯度弥散的现象，即使得网络前层的权值不再发生变化，造成在训练模型时过早的出现局部最优值。
发明内容
鉴于此问题，本申请实施例提供一种优化用户信用模型建模过程的方法，用于解决现有技术在调整用户信用模型中各层权值时使得模型过早陷于局部最优值的问题。
本申请实施例提供了一种优化用户信用模型建模过程的方法，所述方法应用于深度网络，所述深度网络包括N层，该方法包括：获取用于建立用户信用模型的样本数据；将所述样本数据作为输入数据输入到所述深度网络，对所述深度网络的第i-1层、第i层以及第i+1层进行如下操作：将第i-1层的输出数据作为第i层的输入数据，利用所述第i层的输入数据对第i层与第i+1层之间的权值矩阵进行训练，得到第i层与第i+1层之间的权值矩阵，所述i大于等于2，小于N；用所述权值矩阵初始化所述深度网络的相应层，以实现对用户信用模型建模过程的优化。
有选地，所述利用所述第i层的输入数据对第i层与第i+1层之间的权值矩阵进行训练具体包括：
根据所述第i层的输入数据，计算获得第i+1层的输出数据；
将所述第i+1层的输出数据作为输入数据，计算获得第i层的输出数据；
将所述第i层的输出数据作为输入数据，计算获得第i+1层中输出数据为预设数据的概率；
根据所述第i层的输入数据、第i+1层的输出数据、第i层的输出数据和第i+1层中输出数据为预设数据的概率，对第i层与第i+1层之间的权值矩阵进行训练。
优选地，所述根据所述第i层的输入数据获取第i+1层的输出数据具体包括：
根据所述第i层的输入数据，计算获得第i+1层的输出数据为预设数据的概率，并将所述概率与预设的概率阈值比较，如果所述概率小于所述预设的概率阈值，则第i+1层的输出数据为所述预设数据。
优选地，所述方法还包括：
根据所述第i层的输入数据和第i层的输出数据，对第i层的偏置项进行训练，并根据所述第i+1层的输出数据和第i+1层中输出数据为预设数据的概率，对第i+1层的偏置项进行训练，所述对第i层的偏置项和第i+1层的偏置项进行训练用以实现对用户信用模型建模过程的优化。
有选地，将所述深度网络的第i-1层、第i层以及第i+1层作为受限玻尔兹曼机进行训练。
优选地，在所述用训练得到的相应层的权值矩阵初始化所述深度网络的相应层之后，该方法还包括：
在所述深度网络中输入所述建立用户信用模型的样本数据，并根据所述相应层的权值矩阵获取所述深度网络中的第N层的输出数据；
计算所述第N层的输出数据和期望输出数据之间的误差值，如果所述误差值小于预设的误差阈值时，则所述相应层的权值矩阵为所述深度网络的最终权值矩阵；如果所述误差值大于所述预设的误差阈值时，则对所述相应层的权值矩阵进行调整，直到调整后的权值使得所述深度网络中的第N层的输出数据与期望输出数据之间的误差值小于所述预设的误差阈值时，则所述调整后的权值为所述深度网络的最终权值。
优选地，对所述相应层的权值矩阵进行调整具体包括：
根据所述第N层输出与期望输出之间的误差函数，获取所述相应层的权值矩阵的修正值；
根据所述权值矩阵的修正值对所述相应层的权值矩阵进行调整。
本申请实施例还提供了一种优化用户信用模型建模过程的装置，该装置包括获取单元、处理单元、优化单元，其中：
所述获取单元，用于获取用于建立用户信用模型的样本数据；
所述处理单元，用于将所述样本数据作为输入数据输入到所述深度网络，并对所述深度网络的第i-1层、第i层以及第i+1层进行如下操作：
将第i-1层的输出数据作为第i层的输入数据，利用所述第i层的输入数据对第i层与第i+1层之间的权值矩阵进行训练，得到第i层与第i+1层之间的权重矩阵权值矩阵，所述i大于等于2，小于N；
所述优化单元，用于用所述权值矩阵初始化所述深度网络的相应层，以实现对用户信用模型建模过程的优化。
优选地，所述处理单元具体包括输入子单元、第一计算子单元、第二计算子单元、第三计算子单元和训练子单元，其中：
所述输入子单元，用于在所述第i层中输入数据；
所述第一计算子单元，用于根据所述第i层的输入数据，计算获得第i+1层的输出数据；
所述第二计算子单元，用于将所述第i+1层的输出数据作为输入数据，计算获得第i层的输出数据；
所述第三计算子单元，用于将所述第i层的输出数据作为输入数据，计算获得第i+1层中输出数据为预设数据的概率；
所述训练子单元，用于根据所述第i层的输入数据、第i+1层的输出数据、第i层的输出数据和第i+1层中输出数据为预设数据的概率，对第i层与第i+1层之间的权值矩阵进行训练。
优选地，所述优化单元还包括获取子单元和第四计算子单元，其中：
所述获取子单元，用于在用所述权值矩阵初始化所述深度网络的相应层之后，在所述深度网络中的输入所述建立用户信用模型的样本数据，并根据所述相应层的权值矩阵获取所述深度网络中的第N层的输出数据；
所述计算子单元，用于计算所述第N层的输出数据和期望输出数据之间的误差值，如果所述误差值小于预设的误差阈值时，则所述相应层的权值矩阵为所述深度网络的最终权值矩阵；如果所述误差值大于所述预设的误差阈值时，则对所述相应层的权值矩阵进行调整，直到调整后的权值使得所述深度网络中的第N层的输出数据与期望输出数据之间的误差值小于所述预设的误差阈值时，则所述调整后的权值为所述深度网络的最终权值。
应用本申请实施例提供的优化用户信用模型建模过程的方法，在对网络模型各层中的权值进行调控之前，先将网络模型中的各层当做玻尔兹曼机进行预训练，即将模型中前一层网络的输出作为后一层的输入，然后再逐层的对模型中的每一层进行训练，获得各层训练好的权值，最后使用训练好的权值去初始化整个网络模型。相比于现有技术中训练用户信用模型的方法，在训练用户信用模型之前，对该模型进行预训练，使得该模型各层的权值在训练前已经处于良好的状态，这样可以避免在训练模型时过早的获得局部最优值。
附图说明
此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
图1为本申请实施例提供的一种优化用户信用模型建模过程的方法的具体流程示意图；
图2为本申请实施例提供的现有技术中一种神经网络的基本模型示意图；
图3为本申请实施例提供的现有技术中一种对用户信用模型进行训练的方法的具体流程示意图；
图4为本申请实施例提供的一种受限玻尔兹曼机的示意图；
图5为本申请实施例提供的对用户信用模型进行预训练的示意图；
图6为本申请实施例提供的对用户信用模型进行训练的示意图；
图7为本申请实施例提供的对用户信用模型进行训练后获得用户信用模型中各层权值的示意图；
图8为本申请实施例提供的一种优化用户信用模型建模过程的装置的具体结构示意图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚，下面将结合本申请具体实施例及相应的附图对本申请技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
以下结合附图，详细说明本申请各实施例提供的技术方案。
本申请实施例提供了一种优化用户信用模型建模过程的方法，用于在训练用户信用模型之前对该模型进行预训练，使得该用户信用模型在训练之前模型中各层的权值处于良好的状态。该方法的具体流程示意图如图1所示，包括下述步骤：
步骤11:获取用于建立用户信用模型的样本数据。
在建立用户信用模型时需要对模型进行训练，常用的训练模型的算法有多种，例如多元线性回归、决策树、神经网络以及遗传算法等，本申请实施例主要是基于神经网络来建立用户信用模型。通常神经网络中有一层输入层、一层输出层和一层或多层的隐藏层，其中，多层的隐藏层合起来组成网络模型中的中间层；网络模型中的每一层中有多个神经元节点，如图2为神经网络的基本模型：可见层中的vj表示样本输入数据，hi表示隐藏层的数据，O1、O2、O3为输出层中的输出数据，其中，v1～vm是输入层的各神经元节点，h1～hn是隐藏层的各神经元节点，Wij为隐藏层和输入层之间的权值矩阵，例如，W12是可见层中的v2节点和隐藏层中的h1节点之间的权值。
为了更加清楚的说明本申请实施例，有必要对现有技术中训练神经网络的方法进行说明，在神经网络中，对于模型的训练方法有很多种，这里重点对其中一种训练模型的方法进行详细说明，具体训练的步骤如图3所示：
步骤S301：获取训练的样本数据，这里的样本数据可以是用户的身份信息、消费信息、贷款信息等。
步骤S302：将获取的样本数据进行归一化。
步骤S303：根据归一化后的样本数据，并随机的分配模型中各层之间的权值，获得网络模型结构和初始参数，这里的初始参数包括网络模型中各层的权值；
步骤S304：在获得的模型中输入样本数据，获得输出数据，在用户信用模型中的输出数据可以是用户逾期或者不逾期的概率值，或者是根据该概率获得的用户的信用度等，并计算获得的输出数据与期望输出数据之间的误差值。
步骤S305：判断计算的得到的误差值是否大于预设的误差阈值，如果计算获得的误差值比设定的误差阈值大(即误差值>δ)，则执行步骤S306：调整网络模型各层的参数，这里的参数包括各层之间的权值等；如果计算获得的误差值比设定的误差阈值小，则执行步骤S307：将步骤S303获得的网络模型应用于计算用户的信用度。
在步骤S302中，将样本数据归一化通常采用的方式有两种，其中一种方法是是：其中，min是样本的最小值，max是样本的最大值，x是原来的样本值，x′是归一化的样本值，这个公式是对原始的输入样本数据进行线性变化，可以将计算得到x′的结果映射到[0,1]之间。另一种方式是利用样本数据间隔相等的分位点对样本数据进行归一化，具体的步骤是：首先将样本数据的某一特征按数值大小进行排序，然后统计出排序后该样本数据的分位点，例如，有100个样本数据，则可以将该样本数据分成5份，这时该样本数据的分位点分别为20、40、60、80，再根据各分位点的信息将样本数据划分为不同的区间，例如，每个样本数据落在哪个区间，就将该区间的特征值设置为1，否则，设置为0，最后对该样本数据进行分位点阶梯型连续归一化处理，例如，某样本数据有10个分位点，如果有样本落在第一个区间，则将该样本值设置为0.1，如果有样本数据落在第二个区间，则将该样本值设置为0.2，以此类推，如果有样本落在第十个区间，则将该样本值设置为1。
在步骤S304中，计算输出数据与期望输出数据之间的误差值的方法是：第j个单元节点输出数据的误差值为总误差值为其中，Tij是j节点的输出期望输出数据，yij是j节点的实际输出数据；假设Oij表示中间层中输入第i个样本且第j个节点的输出数据，具体为：Oij＝f(∑Wijvj+bj)，这里f(x)表示下层输入对上层节点刺激脉冲强度的函数，通常取x在区间(0,1)的Sigmoid函数，即bj是第j个节点的偏置项，且vj是第j个的节点的样本输入数据，Wij表示为输出层到中间层的权值矩阵。
现有技术在计算模型中各层的权值时，通常使用梯度下降法进行迭代计算每一层的权值，即迭代公式为：其中，ε是学习率，即权值变化率,通常取0～1之间的数值，表示网络模型中第l层中输入单元i和输出单元j之间的权值矩阵。
上述为现有技术对网络模型进行训练的详细步骤，本步骤中获取用于建立用户信用模型的样本数据同样可以包括用户的身份信息、消费信息或者贷款的信息等。
步骤12:将所述样本数据作为输入数据输入到所述深度网络，对所述深度网络的第i-1层、第i层以及第i+1层进行如下操作：将第i-1层的输出数据作为第i层的输入数据，利用所述第i层的输入数据对第i层与第i+1层之间的权值矩阵进行训练，得到第i层与第i+1层之间的权值矩阵，所述i大于等于2，小于N。
步骤11中提到现有技术对于训练用户信用模型的方法，其中，网络模型中各层的权值的迭代公式采用如图2中的神经网络模型是比较简单的模型，而在实际应用中，通常中间层的隐藏层会有很多层，因此在求各层中的权值时，当权值的迭代公式计算到模型中的前层时，权值将变得非常小，即此时该迭代公式对于模型中的权值的影响变得很小，从而导致模型中的前层中权值不再发生变化，使得整个网络模型陷入局部最优的情况。
本申请实施例针对上述情况，将网络模型中的各层当作一个受限玻尔兹曼机，在对模型进行训练之前对整个模型进行预训练，即将网络模型中前一层网络中的输出作为下一层网络的输入，具体的，将网络模型中的第i-1层的输出数据，作为第i层中的输入数据，然后使用第i层的输入数据对第i层与第i+1层之间的权值矩阵进行训练，获得第i层与第i+1层之间的权值矩阵。
如图2所示为简单的受限玻尔兹曼机的结构，其中，可见层中的vj表示样本输入数据，则该样本输入数据是在步骤11中获得的样本输入数据，hi表示隐藏层的数据，v1～vm是输入层的各个节点，h1～hn是隐藏层的各个节点，Wm×n为隐藏层和输入层之间的权值,可见层中的偏置变量为b＝(b1,b2…bm)，隐藏层中的偏置变量为c＝(c1,c2…cn)。
受限玻尔兹曼模型具有特殊的结构，具体是指：可见层中的变量与隐藏层中的变量之间是条件独立的，因此可以将相应的条件概率分解，具体如下：
在玻尔兹曼机中，每个神经元中对应的vj和hi通常的取值集合均为{0,1}，对隐藏层中的第i个特征取值为1的概率为 即根据v的值计算hi＝1的概率；然后根据设定的概率阈值和计算获得的p(hi＝1|v)，确定hi取值，该概率阈值的取值范围通常为[0,1]。具体确定hi方法是通过比较p(hi＝1|v)和概率阈值的大小来进行确定，即：当p(hi＝1|v)大于该概率阈值时，hi的取值为1，反之为0，例如，设定的概率阈值为0.5，如果计算获得的p(hi＝1|v)为0.6时，这时hi的取值为1，如果计算获得的p(hi＝1|v)为0.4时，这时的hi的取值为0。又因为这里的hi通常为1或者0，即在计算出p(hi＝1|v)后，根据 可以获得当v一定时hi为0的概率；或者用上述同样的方法先根据v的值计算hi＝0的概率，再根据 获得当v一定时hi为1的概率。
同理，根据公式可以根据h的值获取vj为1的概率；然后设定一个概率阈值，且该概率阈值的范围也为[0,1]，如果该p(vj＝1|h)大于所述概率阈值，则hi的取值为1，否则为0，且
在深度网络中，针对上述玻尔兹曼机的训练算法有很多种，这里主要对其中的一种训练方法进行详细说明：假设输入样本数据为x0，隐藏层中的节点个数为n，ε为学习率，bj为可见层的偏置向量，ci为隐藏层中的偏置向量，Wij为连接可见层与隐藏层之间的权值矩阵，最大的训练周期为T，具体的训练过程如下：
令可见层的初始状态v1＝x0，Wij、bj、ci的初始值为随机的较小的数值，例如，这里的bj和ci的初始值可以设定为0；当t＝1、2、3…T时，对于隐藏层中的所有节点(即i＝1、2、3…n)，计算p(h1i＝1|v1)，即p(h1i＝1|v1)＝sigmoid(ci+∑iWij v1i)，其中，h1i表示h1中任意的一维的向量值，且p(h1i＝1|v1)表示的是当可见层中的输入值为v1时输出值h1i为1的概率；当获得输入值为v1时h1中的每一维向量为1的概率后，同理，根据上述方法获取h1i的值，即：通过将h1i为1的概率与预设的阈值比较，从而确定h1i的取值为1或0。
通过上述方法分别获得h11～h1n的取值，从而获得h1的值，且这里h1i的取值为1或0是用户经常设定的两个取值，在实际应用中，用户可以根据需要进行自行设定。
另外，通过上述方法分别计算获得当输入值为v1时h11～h1n为1的概率，这里可以根据h11～h1n为1的概率获得当输入值为v1时h1为1的概率，具体的，因为本申请实施例是针对玻尔兹曼机进行训练，所以根据P(h|v)＝∏ip(hi|v)可得：p(h1＝1|v1)＝p(h11＝1|v1)p(h12＝1|v1)…p(h1n＝1|v1)。
对于可见层中的所有节点(即j＝1、2、3…m),计算p(v2j＝1|h1)，即p(v2j＝1|h1)＝sigmoid(bj+∑iWijh1i)，根据上述获得的h1的值获取v2j的取值，确定v2j取值的方法与上述根据v1确定h1i的取值的方法相同，为避免重复，这里不再赘述。同理，用相同的方法根据v2获取隐藏层中的h2的值，即：对于隐藏层中的所有节点(即i＝1、2、3…n)，计算p(h2i＝1|v2)，即p(h2i＝1|v2)＝sigmoid(ci+∑jWijv2j)。
通过上述方法分别计算获得当输入值为v2时h21～h2n为1的概率，这里可以根据h21～h2n为1的概率获得当输入值为v2时h2为1的概率，即p(h2＝1|v2)＝p(h21＝1|v2)p(h22＝1|v2)…p(h2n＝1|v2)。
在获取h1、v2、h2、p(h2＝1|v2)的取值后，按照下式更新参数：
bj＝bj+ε(v1-v2)；
cj＝cj+ε(h1-P(h2＝1|v2))。
通过上述方法对玻尔兹曼机进行预训练，逐层的获得整个网络模型的权值，具体的，当获得网络模型中的某一层的权值后，固定该层的权值不变，再通过计算获得下一层的权值，从而获得整个模型的权值。这样通过对网络模型的预训练，获得整个网络模型的结构和初始参数值，这里的初始参数值是指模型中各层的权值，且该权值不是随机分配的，而是采用上述训练方法对模型中的各层权值进行预训练，最终获得与目标权值接近的权值，即使得网络模型中各层的权值在进行训练之前就处于良好的状态，这里的目标权值是指最终获得的正确网络模型中各层的权值。
另外，为了使得训练前的模型更加的精确，在对模型进行预训练时，不仅对模型各层的权值进行训练，还要对可见层和隐藏层的偏置项进行训练，例如，上述更新参数时，除了对Wij更新以外，还对可见层中的偏置项bj和隐藏层的cj进行更新，使得训练前的模型更加接近正确模型。
需要说明的是，上述对用户信用模型预训练的方法只是示例性的说明，在实际操作中，还可以采用其他算法对网络模型进行预训练，这里不作具体限定。
步骤13:用所述权值矩阵初始化所述深度网络的相应层，以实现对用户信用模型建模过程的优化。
步骤12中，通过对整个网络模型进行预训练获得网络模型各层的权值矩阵，本步骤中，根据步骤12中获得的权值对整个网络进行初始化，初始化后需要对该网络模型进行训练，具体的训练方法有很多种，可以采用前述提到的现有技术训练模型的方法，具体的步骤已经在步骤11中详细说明，为避免重复，这里不再赘述。
下面再完整的对用户信用模型优化的过程进行说明：首先，对用户信用模型进行预训练，如图5所示为对网络模型进行预训练的示意图：在“输入数据”模块中输入样本数据，根据输入的样本数据，通过步骤12提到的训练的方法获得权值W1和该样本数据对应的输出数据，即该输出数据作为下一层中的输入数据；同理，再根据该输入数据运用步骤12提到的训练的方法，获得权值W2和相应的输出数据，再将该输出数据作为下一层的输入数据，通过步骤12提到的训练的方法，获得权值W3和最终的输出数据；以上就完成了用户信用模型的预训练，即通过对模型进行预训练获得模型的结构和模型中各层的权值，则该权值已经接近模型的目标权值。
接下来，在对信用模型预训练后，需要再对信用模型进行训练，如图6所示为对模型进行训练的示意图：首先，通过正向传播获得实际输出数据，再计算出实际输出数据和期望输出数据之间的误差值，然后再根据该误差值，并采用梯度下降法对信用模型中各层的权值矩阵进行调控，因为在对模型进行预训练后，模型中各层的权值已经处于较好的状态，即该权值与目标权值接近，因此这里的对权值矩阵进行调控只是微调，并最终获得目标权值W1、W2和W3。
最后根据训练后得到的W1、W2和W3，对这三个权值矩阵进行转置变化，获得相应的转置矩阵，即W1 T、W2 T和W3 T(如图7所示)，当在该模型中输入样本数据后，通过W1 T、W2 T和W3 T权值矩阵的作用后，最终获得输出值，这里的输出值可以是用户逾期或者不逾期的概率值，这时还要将计算得到的输出值通过分类器，最终获得用户的信用度，具体如图7所示：通过W4矩阵对计算得到输出值进行作用后，得到最终结果，这里的最终结果可以是判断用户的信用度好或坏。
上述内容是本申请实施例提供的一种优化用户信用模型建模过程的方法，相应的，本申请实施例还提供了一种优化用户信用模型建模过程的装置，用于在训练用户信用模型之前对该模型进行预训练，使得该用户信用模型在训练之前模型中各层的权值处于良好的状态。该装置的具体流程示意图如图8所示，该装置具体包括：
获取单元81、处理单元82、优化单元83；其中，
所述获取单元81，可以用于获取用于建立用户信用模型的样本数据；
所述处理单元82，可以用于将所述样本数据作为输入数据输入到所述深度网络，并对所述深度网络的第i-1层、第i层以及第i+1层进行如下操作：
将第i-1层的输出数据作为第i层的输入数据，利用所述第i层的输入数据对第i层与第i+1层之间的权值矩阵进行训练，得到第i层与第i+1层之间的权值矩阵，所述i大于等于2，小于N；
所述优化单元83，可以用所述权值矩阵初始化所述深度网络的相应层，以实现对用户信用模型建模过程的优化。
上述装置实施例子的具体工作流程是：首先获取单元81获取用于建立用户信用模型的样本数据，然后处理单元82将该样本数据作为输入数据输入到该深度网络，具体的，针对该深度网络的第i-1层、第i层以及第i+1层进行如下操作：将第i-1层的输出数据作为第i层的输入数据，利用该第i层的输入数据对第i层与第i+1层之间的权值矩阵进行训练，得到第i层与第i+1层之间的权值矩阵，最后优化单元83用该权值矩阵初始化该深度网络的相应层，以实现对用户信用模型建模过程的优化。
对于上述装置实施例对用户信用模型的优化方式有很多种，例如，在一种实施方式中，所述处理单元82具体包括：
输入子单元、第一计算子单元、第二计算子单元、第三计算子单元和训练子单元；其中，
所述输入子单元，可以用于在所述第i层中输入数据；
所述第一计算子单元，可以用于根据所述第i层的输入数据，计算获得第i+1层的输出数据；
所述第二计算子单元，可以用于将所述第i+1层的输出数据作为输入数据，计算获得第i层的输出数据；
所述第三计算子单元，可以用于将所述第i层的输出数据作为输入数据，计算获得第i+1层中输出数据为预设数据的概率；
所述训练子单元，可以用于根据所述第i层的输入数据、第i+1层的输出数据、第i层的输出数据和第i+1层中输出数据为预设数据的概率，对第i层与第i+1层之间的权值矩阵进行训练。
上述处理单元82的训练模型的方法获得该深度网络中各层的权值矩阵，相比于现有技术中不通过对用户信用模型进行预训练，而是通过随机的方式分配模型各层的权值矩阵，本申请实施例获得的权值矩阵与目标模型中各层的权值矩阵更为接近。
在另一种实施方式中，所述优化单元83还包括：
获取子单元和第四计算子单元；其中，
所述获取子单元，可以用于在用所述权值矩阵初始化所述深度网络的相应层之后，在所述深度网络中输入所述建立用户信用模型的样本数据，并根据所述相应层的权值矩阵获取所述深度网络中的第N层的输出数据；
所述第四计算子单元，用于计算所述第N层的输出数据和期望输出数据之间的误差值，如果所述误差值小于预设的误差阈值时，则所述相应层的权值矩阵为所述深度网络的最终权值矩阵；如果所述误差值大于所述预设的误差阈值时，则对所述相应层的权值矩阵进行调整，直到调整后的权值使得所述深度网络中的第N层的输出数据与期望输出数据之间的误差值小于所述预设的误差阈值时，则所述调整后的权值为所述深度网络的最终权值。
应用本申请实施例提供的优化用户信用模型建模过程的方法及装置，在对网络模型各层中的权值进行调控之前，先将网络模型中的各层当做玻尔兹曼机进行预训练，即将模型中前一层网络的输出作为后一层的输入，然后再逐层的对模型中的每一层进行预训练，获得各层训练好的权值，最后使用训练好的权值去初始化整个网络模型；相比于现有技术中训练用户信用模型的方法，在训练模型之前，对网络模型进行预训练，使的网络模型各层在训练前已经处于良好的状态，这样可以避免在训练模型时网络模型过早的获得局部最优值。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括要素的过程、方法、商品或者设备中还存在另外的相同要素。
本领域技术人员应明白，本申请的实施例可提供为方法、系统或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
以上仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。

Claims (10)

1.一种优化用户信用模型建模过程的方法，所述方法应用于深度网络，所述深度网络包括N层，其特征在于，该方法包括：
获取用于建立用户信用模型的样本数据；
将所述样本数据作为输入数据输入到所述深度网络，对所述深度网络的第i-1层、第i层以及第i+1层进行如下操作：将第i-1层的输出数据作为第i层的输入数据，利用所述第i层的输入数据对第i层与第i+1层之间的权值矩阵进行训练，得到第i层与第i+1层之间的权值矩阵，所述i大于等于2，小于N；
用所述权值矩阵初始化所述深度网络的相应层，以实现对用户信用模型建模过程的优化。
2.根据权利要求1所述的方法，其特征在于，所述利用所述第i层的输入数据对第i层与第i+1层之间的权值矩阵进行训练具体包括：
根据所述第i层的输入数据，计算获得第i+1层的输出数据；
将所述第i+1层的输出数据作为输入数据，计算获得第i层的输出数据；
将所述第i层的输出数据作为输入数据，计算获得第i+1层中输出数据为预设数据的概率；
根据所述第i层的输入数据、第i+1层的输出数据、第i层的输出数据和第i+1层中输出数据为预设数据的概率，对第i层与第i+1层之间的权值矩阵进行训练。
3.根据权利要求1所述的方法，其特征在于，所述根据所述第i层的输入数据获取第i+1层的输出数据具体包括：
根据所述第i层的输入数据，计算获得第i+1层的输出数据为预设数据的概率，并将所述概率与预设的概率阈值比较，如果所述概率小于所述预设的概率阈值，则第i+1层的输出数据为所述预设数据。
4.根据权利要求2所述的方法，其特征在于，所述方法还包括：
根据所述第i层的输入数据和第i层的输出数据，对第i层的偏置项进行训练，并根据所述第i+1层的输出数据和第i+1层中输出数据为预设数据的概率，对第i+1层的偏置项进行训练，所述对第i层的偏置项和第i+1层的偏置项进行训练用以实现对用户信用模型建模过程的优化。
5.根据权利要求1所述的方法，其特征在于，将所述深度网络的第i-1层、第i层以及第i+1层作为受限玻尔兹曼机进行训练。
6.根据权利要求1所述的方法，其特征在于，在所述用训练得到的相应层的权值矩阵初始化所述深度网络的相应层之后，该方法还包括：
在所述深度网络中输入所述建立用户信用模型的样本数据，并根据所述相应层的权值矩阵获取所述深度网络中的第N层的输出数据；
计算所述第N层的输出数据和期望输出数据之间的误差值，如果所述误差值小于预设的误差阈值时，则所述相应层的权值矩阵为所述深度网络的最终权值矩阵；如果所述误差值大于所述预设的误差阈值时，则对所述相应层的权值矩阵进行调整，直到调整后的权值使得所述深度网络中的第N层的输出数据与期望输出数据之间的误差值小于所述预设的误差阈值时，则所述调整后的权值为所述深度网络的最终权值。
7.根据权利要求6所述的方法，其特征在于，对所述相应层的权值矩阵进行调整具体包括：
根据所述第N层输出与期望输出之间的误差函数，获取所述相应层的权值矩阵的修正值；
根据所述权值矩阵的修正值对所述相应层的权值矩阵进行调整。
8.一种优化用户信用模型建模过程的装置，其特征在于，该装置包括获取单元、处理单元、优化单元，其中：
所述获取单元，用于获取用于建立用户信用模型的样本数据；
所述处理单元，用于将所述样本数据作为输入数据输入到所述深度网络，并对所述深度网络的第i-1层、第i层以及第i+1层进行如下操作：
将第i-1层的输出数据作为第i层的输入数据，利用所述第i层的输入数据对第i层与第i+1层之间的权值矩阵进行训练，得到第i层与第i+1层之间的权重矩阵权值矩阵，所述i大于等于2，小于N；
所述优化单元，用于用所述权值矩阵初始化所述深度网络的相应层，以实现对用户信用模型建模过程的优化。
9.根据权利要求8所述的装置，其特征在于，所述处理单元具体包括输入子单元、第一计算子单元、第二计算子单元、第三计算子单元和训练子单元，其中：
所述输入子单元，用于在所述第i层中输入数据；
所述第一计算子单元，用于根据所述第i层的输入数据，计算获得第i+1层的输出数据；
所述第二计算子单元，用于将所述第i+1层的输出数据作为输入数据，计算获得第i层的输出数据；
所述第三计算子单元，用于将所述第i层的输出数据作为输入数据，计算获得第i+1层中输出数据为预设数据的概率；
所述训练子单元，用于根据所述第i层的输入数据、第i+1层的输出数据、第i层的输出数据和第i+1层中输出数据为预设数据的概率，对第i层与第i+1层之间的权值矩阵进行训练。
10.根据权利要求8所述的装置，其特征在于，所述优化单元还包括获取子单元和第四计算子单元，其中：
所述获取子单元，用于在用所述权值矩阵初始化所述深度网络的相应层之后，在所述深度网络中的输入所述建立用户信用模型的样本数据，并根据所述相应层的权值矩阵获取所述深度网络中的第N层的输出数据；
所述计算子单元，用于计算所述第N层的输出数据和期望输出数据之间的误差值，如果所述误差值小于预设的误差阈值时，则所述相应层的权值矩阵为所述深度网络的最终权值矩阵；如果所述误差值大于所述预设的误差阈值时，则对所述相应层的权值矩阵进行调整，直到调整后的权值使得所述深度网络中的第N层的输出数据与期望输出数据之间的误差值小于所述预设的误差阈值时，则所述调整后的权值为所述深度网络的最终权值。
CN201610052278.2A 2016-01-26 2016-01-26 一种优化用户信用模型建模过程的方法及装置 Pending CN106997484A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610052278.2A CN106997484A (zh) 2016-01-26 2016-01-26 一种优化用户信用模型建模过程的方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610052278.2A CN106997484A (zh) 2016-01-26 2016-01-26 一种优化用户信用模型建模过程的方法及装置

Publications (1)

Publication Number Publication Date
CN106997484A true CN106997484A (zh) 2017-08-01

Family

ID=59428655

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610052278.2A Pending CN106997484A (zh) 2016-01-26 2016-01-26 一种优化用户信用模型建模过程的方法及装置

Country Status (1)

Country Link
CN (1) CN106997484A (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109345112A (zh) * 2018-09-28 2019-02-15 深圳市元征科技股份有限公司 一种维修技师评级方法、系统及电子设备和存储介质
CN109359120A (zh) * 2018-11-09 2019-02-19 阿里巴巴集团控股有限公司 一种模型训练中的数据更新方法、装置及设备
CN110555749A (zh) * 2019-07-26 2019-12-10 阿里巴巴集团控股有限公司 基于神经网络的信用行为预测方法以及装置
WO2021051556A1 (zh) * 2019-09-16 2021-03-25 平安科技（深圳）有限公司 深度学习权值更新方法、系统、计算机设备及存储介质
CN113112011A (zh) * 2020-01-13 2021-07-13 中移物联网有限公司 一种数据预测方法及装置
US20210398210A1 (en) * 2020-06-17 2021-12-23 Notto Intellectual Property Holdings Systems and methods of transaction tracking and analysis for near real-time individualized credit scoring

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109345112A (zh) * 2018-09-28 2019-02-15 深圳市元征科技股份有限公司 一种维修技师评级方法、系统及电子设备和存储介质
CN109359120A (zh) * 2018-11-09 2019-02-19 阿里巴巴集团控股有限公司 一种模型训练中的数据更新方法、装置及设备
CN110555749A (zh) * 2019-07-26 2019-12-10 阿里巴巴集团控股有限公司 基于神经网络的信用行为预测方法以及装置
CN110555749B (zh) * 2019-07-26 2021-10-29 创新先进技术有限公司 基于神经网络的信用行为预测方法以及装置
WO2021051556A1 (zh) * 2019-09-16 2021-03-25 平安科技（深圳）有限公司 深度学习权值更新方法、系统、计算机设备及存储介质
CN113112011A (zh) * 2020-01-13 2021-07-13 中移物联网有限公司 一种数据预测方法及装置
CN113112011B (zh) * 2020-01-13 2024-02-27 中移物联网有限公司 一种数据预测方法及装置
US20210398210A1 (en) * 2020-06-17 2021-12-23 Notto Intellectual Property Holdings Systems and methods of transaction tracking and analysis for near real-time individualized credit scoring

Similar Documents

Publication Publication Date Title
CN106997484A (zh) 一种优化用户信用模型建模过程的方法及装置
CN110796190A (zh) 具有深度学习特征的指数建模
JP7376731B2 (ja) 画像認識モデル生成方法、装置、コンピュータ機器及び記憶媒体
CN110807154A (zh) 一种基于混合深度学习模型的推荐方法与系统
CN109902222A (zh) 一种推荐方法及装置
CN103838836B (zh) 基于判别式多模态深度置信网多模态数据融合方法和系统
CN106548190A (zh) 模型训练方法和设备以及数据识别方法
CN104751842B (zh) 深度神经网络的优化方法及系统
CN108647233A (zh) 一种用于问答系统的答案排序方法
CN110059716B (zh) 一种cnn-lstm-svm网络模型的构建及mooc辍学预测方法
CN108804677A (zh) 结合多层级注意力机制的深度学习问题分类方法及系统
CN109117943B (zh) 利用多属性信息增强网络表征学习的方法
CN106971200A (zh) 一种基于自适应迁移学习的图像记忆度预测方法
CN110110372B (zh) 一种用户时序行为自动切分预测方法
JP2017199355A (ja) レコメンデーション生成
CN110825850A (zh) 一种自然语言主题分类方法及装置
CN111178986B (zh) 用户-商品偏好的预测方法及系统
Zhang et al. Multi-view RBM with posterior consistency and domain adaptation
CN110188978B (zh) 一种基于深度学习的大学生专业推荐方法
Gong Deep belief network-based multifeature fusion music classification algorithm and simulation
CN106897388A (zh) 预测微博事件热度的方法及装置
CN112529684A (zh) 一种基于fwa_dbn的客户信用评估方法及系统
Laskar et al. Artificial Neural Networks and Gene Expression Programing based age estimation using facial features
CN115422357A (zh) 文本分类方法、装置、计算机设备和存储介质
Jiao A Factorization Deep Product Neural Network for Student Physical Performance Prediction

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20170801