CN111177644A

CN111177644A - 模型参数的优化方法、装置、设备及存储介质

Info

Publication number: CN111177644A
Application number: CN201911328229.7A
Authority: CN
Inventors: 樊巧云; 赵雨; 陆天珺; 方海贝; 孙苑苑; 李树春
Original assignee: China Mobile Communications Group Co Ltd; China Mobile Group Jiangsu Co Ltd
Current assignee: China Mobile Communications Group Co Ltd; China Mobile Group Jiangsu Co Ltd
Priority date: 2019-12-20
Filing date: 2019-12-20
Publication date: 2020-05-19
Anticipated expiration: 2039-12-20
Also published as: CN111177644B

Abstract

本发明实施例公开了一种模型参数的优化方法、装置、设备及存储介质。该方法包括：获取第一样本数据，第一样本数据包括多个维度的特征信息；将第一样本数据输入预设模型，得到根据第一样本数据的多个特征信息生成的第一样本数据的预测值；根据预测值和第一样本数据的真实值确定第一目标泛函；根据第一目标泛函确定参数调整步长；根据参数调整步长、预设初始矩阵、预设模型的初始参数和第一目标泛函，对初始参数进行调整，得到优化后的模型。本发明实施例的模型参数的优化方法、装置、设备及存储介质，可以通过拟牛顿的最优化算法L‑BFGS算法对信用分模型参数进行优化，获得较低的计算压力和较高的模型精度。

Description

模型参数的优化方法、装置、设备及存储介质

技术领域

本发明涉及模型参数处理领域，尤其涉及一种模型参数的优化方法、装置、设备及存储介质。

背景技术

在现有的信用分评估模型优化过程中，通常使用网格遍历法，随机搜索法以及传统梯度法进行最优参数的寻找。

但是网格遍历法需要对所有参数进行遍历，计算量巨大，且在步长的选择上，很容易造成精度不够，难以满足模型需求。

随机搜索法在理想情况下能够提高参数的优化精度，但是，当参数数量众多时，同样具有计算量暴增的问题。

传统的梯度类方法，往往容易陷入局部最小，且优化效果不好或计算及其复杂。

所以，在现有的技术方案中，存在计算量巨大，精度不足及容易陷入局部最优解的问题，效果不理想。

发明内容

本发明实施例提供一种模型参数的优化方法、装置、设备及存储介质，使用一种拟牛顿的最优化算法L-BFGS算法对信用分模型参数进行优化，该优化过程给出了数据预处理过程与初始参数选择策略，并结合优化的抛物拟合步长求取算法，实现了较低的计算压力和较高的模型精度。

第一方面，提供了一种模型参数的优化方法，该方法包括：

获取第一样本数据，第一样本数据包括多个维度的特征信息，其中，每个维度包括至少一种特征信息；

将第一样本数据输入预设模型，得到根据第一样本数据的多个特征信息生成的第一样本数据的预测值；

根据预测值和第一样本数据的真实值确定第一目标泛函；

根据第一目标泛函确定参数调整步长；

根据参数调整步长、预设初始矩阵、预设模型的初始参数和第一目标泛函，对初始参数进行调整，得到优化后的模型。

在第一方面的一些实现方式中，

在根据参数调整步长、预设初始矩阵、预设模型的初始参数和第一目标泛函，对初始参数进行调整之前，还包括：

获取第二样本数据；

采用边缘滤波算法确定第二样本数据的特征信息；

根据第二样本数据的特征信息的预设评分最大值和预设评分最小值，确定第二样本数据的特征信息的评分值；

根据评分值确定初始参数。

在第一方面的一些实现方式中，根据第一目标泛函确定参数调整步长，包括：

根据第一目标泛函和预设的步长搜索策略确定参数调整步长。

在第一方面的一些实现方式中，根据参数调整步长、预设初始矩阵、预设模型的初始参数和第一目标泛函，对初始参数进行调整，得到优化后的模型，包括：

根据参数调整步长、初始矩阵、预设模型的初始参数和第一偏导泛函，对初始参数进行调整，得到第二参数，其中，第一偏导泛函是第一目标泛函对预设模型的参数的一阶导数；

当第二参数满足预设条件时，得到优化后的模型，模型的参数为第二参数。

在第一方面的一些实现方式中，还包括：

根据第一目标泛函和预设初始矩阵确定第一矩阵；

根据参数调整步长、第一矩阵、第二参数和第二偏导泛函，对第二参数进行调整。

在第一方面的一些实现方式中，根据第一目标泛函和初始矩阵确定第一矩阵，包括：

根据第一目标泛函确定第一目标泛函对预设模型的参数的一阶导数，得到第一偏导泛函；

根据第一偏导泛函得到相邻两次调整预设模型的参数的第一偏导泛函变化量；

根据第一偏导泛函变化量、相邻两次调整预设模型的参数的变化量和预设初始矩阵，确定第一矩阵。

在第一方面的一些实现方式中，

第二偏导泛函是第二目标泛函对预设模型的参数的一阶导数。

在第一方面的一些实现方式中，

第二目标泛函根据第二参数对应模型的预测值和第一样本数据的真实值确定。

在第一方面的一些实现方式中，

根据第一偏导泛函变化量、相邻两次调整预设模型的参数的变化量和预设初始矩阵，确定第一矩阵，满足以下公式：

其中，

为第一矩阵，

为V_k的逆矩阵，

为预设初始矩阵，

s_k为相邻两次调整预设模型的参数的变化量，s_k＝δm_k+1-δm_k，

为相邻两次调整预设模型的参数的变化量的转置矩阵，y_k为第一偏导泛函变化量，

为第一偏导泛函变化量的转置矩阵，

为第一目标泛函关于预设模型的参数的一阶导数，δm_k为初始参数的变化量，δm_k+1为第二参数的变化量。

在第一方面的一些实现方式中，

根据参数调整步长、初始矩阵、预设模型的初始参数和第一偏导泛函，对初始参数进行调整，得到第二参数，参数调整满足公式：

其中，m_k+1为第二参数，m_k为初始参数，α_k为参数调整步长，

为初始矩阵，

为第一偏导泛函。

第二方面，提供了一种模型参数的优化装置，该装置包括：

获取模块，用于获取第一样本数据，第一样本数据包括多个维度的特征信息，其中，每个维度包括至少一种特征信息；

处理模块，用于将第一样本数据输入预设模型，得到根据第一样本数据的多个特征信息生成的第一样本数据的预测值；

处理模块，还用于根据预测值和第一样本数据的真实值确定第一目标泛函；

处理模块，还用于根据第一目标泛函确定参数调整步长；

处理模块，还用于根据参数调整步长、预设初始矩阵、预设模型的初始参数和第一目标泛函，对初始参数进行调整，得到优化后的模型。

在第二方面的一些实现方式中，在根据参数调整步长、预设初始矩阵、预设模型的初始参数和第一目标泛函，对初始参数进行调整之前，

获取模块，还用于获取第二样本数据；

处理模块，还用于采用边缘滤波算法确定第二样本数据的特征信息；

处理模块，还用于根据第二样本数据的特征信息的预设评分最大值和预设评分最小值，确定第二样本数据的特征信息的评分值；

处理模块，还用于根据评分值确定初始参数。

在第二方面的一些实现方式中，

处理模块，还用于根据第一目标泛函和预设的步长搜索策略确定参数调整步长。

在第二方面的一些实现方式中，

处理模块，还用于根据参数调整步长、初始矩阵、预设模型的初始参数和第一偏导泛函，对初始参数进行调整，得到第二参数，其中，第一偏导泛函是第一目标泛函对预设模型的参数的一阶导数；

处理模块，还用于当第二参数满足预设条件时，得到优化后的模型，模型的参数为第二参数。

在第二方面的一些实现方式中，

处理模块，还用于根据第一目标泛函和预设初始矩阵确定第一矩阵；

处理模块，还用于根据参数调整步长、第一矩阵、第二参数和第二偏导泛函，对第二参数进行调整。

在第二方面的一些实现方式中，

处理模块，还用于根据第一目标泛函确定第一目标泛函对预设模型的参数的一阶导数，得到第一偏导泛函；

处理模块，还用于根据第一偏导泛函得到相邻两次调整预设模型的参数的第一偏导泛函变化量；

处理模块，还用于根据第一偏导泛函变化量、相邻两次调整预设模型的参数的变化量和预设初始矩阵，确定第一矩阵。

在第二方面的一些实现方式中，

处理模块，还用于根据第二参数对应模型的预测值和第一样本数据的真实值确定第二目标泛函。

在第二方面的一些实现方式中，

处理模块根据第一偏导泛函变化量、相邻两次调整预设模型的参数的变化量和预设初始矩阵，确定第一矩阵，满足以下公式：

其中，

为第一矩阵，

为V_k的逆矩阵，

为预设初始矩阵，

为相邻两次调整预设模型的参数的变化量的转置矩阵，y_k为偏导泛函变化量，

为偏导泛函变化量的转置矩阵，

在第二方面的一些实现方式中，

处理模块根据参数调整步长、初始矩阵、预设模型的初始参数和第一偏导泛函，对初始参数进行调整，得到第二参数；

参数调整满足公式：

为初始矩阵，

为第一偏导泛函。

第三方面，提供了一种设备，设备包括：处理器以及存储有计算机程序指令的存储器；

处理器执行计算机程序指令时实现第一方面，以及第一方面的一些实现方式中模型参数的优化方法。

第四方面，提供了一种计算机存储介质，计算机存储介质上存储有计算机程序指令，计算机程序指令被处理器执行时实现第一方面，以及第一方面的一些实现方式中模型参数的优化方法。

本发明实施例提供一种模型参数的优化方法、装置、设备及存储介质，使用一种拟牛顿的最优化算法L-BFGS算法对信用分模型参数进行优化，该优化过程还给出了数据预处理过程与初始参数选择策略，并结合优化的抛物拟合步长求取算法，实现了较低的计算压力和较高的模型精度。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例中所需要使用的附图作简单地介绍，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例提供的一种模型参数的优化方法的流程示意图；

图2是本发明实施例提供的一种抛物拟合算法的示意图；

图3(a)是本发明实施例提供的一种经过边缘保持平滑方法处理后的指标情况示意图；

图3(b)是本发明实施例提供的一种未经处理的指标情况示意图；

图4是本发明实施例提供的一种L-BFGS算法的目标函数优化过程变化对比图；

图5是本发明实施例提供的一种模型参数的优化装置的结构示意图；

图6是本发明实施例提供的一种计算设备的示例性硬件架构的结构图。

具体实施方式

下面将详细描述本发明的各个方面的特征和示例性实施例，为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细描述。应理解，此处所描述的具体实施例仅被配置为解释本发明，并不被配置为限定本发明。对于本领域技术人员来说，本发明可以在不需要这些具体细节中的一些细节的情况下实施。下面对实施例的描述仅仅是为了通过示出本发明的示例来提供对本发明更好的理解。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

目前，信用分评估模型优化问题涉及数量众多的参数优化问题，例如对指标评分阈值、指标分段评分值、指标权重、维度权重等参数的优化问题。现阶段针对参数的优化主要有三种算法。

第一种是网格遍历法，如随机森林算法中的单指标分段算法。该类算法通过指定参数的上下限值以及参数改变步长。遍历测试所有参数值对应的目标函数值，选取目标函数值的最大(最小)值对应的参数值为最优。该方法对通过对参数空间进行网格定义和全局搜索，能够查找到全局最优参数，但是该方法由于需要对所有参数按照预设的步长进行遍历，当参数多了，计算量会成指数级增长，步长过小计算量也可能会过大，如果步长过大，则精度就会有限，所以网格遍历法存在对参数的数目有限制和参数精度有限的问题。

第二种是随机搜索法，如模拟退火法等。通过采样函数以及参数值的上下限制，通过固定次数的迭代，采用随机采样分布的方式搜索合适的参数；每次搜索参数之间没有关联，并且由于不需要指定参数步长，理想情况下随机采样查找的参数值更加准确，但在高维空间下采样函数需要指数级增长的抽样次数以反映目标函数的分布性态，所以当参数数量众多时同样存在计算量暴增的问题。

第三种是传统梯度法，例如牛顿法或最速下降法，通过计算目标泛函的精确导数，实现对最优参数的查找，但梯度类方法往往具有两个极端：最速下降法计算简单快捷，但是极易陷入局部极小，并且优化过程缓慢，存在参数抖动现象，优化效果往往较差；牛顿法需要获得目标泛函关于参数的二次导数矩阵，计算极为复杂。

信用分评估模型参数在往往在数百数量级，因此采用这三种算法会存在计算量巨大、优化精度不足的问题。

为了解决现有的技术方案中存在的计算量巨大、优化精度不足的问题，本申请的技术方案通过使用一种拟牛顿的最优化算法L-BFGS算法对信用分模型参数进行优化，该优化过程给出了数据预处理过程与初始参数选择策略，并结合优化的抛物拟合步长求取算法，实现了较低的计算压力和较高的模型精度，解决了现有技术方案中存在的计算量巨大的，且优化精度不足的问题。

本发明实施例提供了一种模型参数的优化方法、装置、设备及存储介质。下面结合附图对本发明实施例提供的技术方案进行描述。

图1示出了本发明实施例提供的一种模型参数的优化方法的流程示意图。如图1所示，模型参数的优化方法可以包括：

S101：获取第一样本数据。

其中，第一样本数据可以包括多个维度的特征信息，每个维度包括至少一种特征信息。

具体的，多个维度的特征信息可以包括运营商数据中的身份特征、行为特征、消费能力、履约历史和社交行为5个维度的特征信息，身份特征信息还可以包括年龄段信息。

由于运营商数据具有数据维度丰富，类型多样等特征。为了使得数据具有统一的分布特征，便于后期模型优化，还可以采用归一化、正则化、L1范数最小化等方法对原始采集数据进行预处理，用以保证不同数据具有类似的分布特征和相同的量纲范围。

由于参数个数与参与模型训练的指标呈正比关系，因此在模型训练之前可以进行初步的指标筛选。除了可以根据专家意见进行初步选择之外，还可以通过卡方分析等方法对指标数据特征与正负样本之间的关联度进行分析，筛选具有强关联度的指标。例如，对于身份特征信息，身份特征信息可以包括，年龄、性别、籍贯、身高、体重等信息，可以按照与正负样本之间的关联度进行关进行筛选，可以只保留关联度最高的年龄信息，或者保留关联度高的前几种身份特征信息，将其余的身份特征信息进行剔除。

S102：将第一样本数据输入预设模型，得到根据第一样本数据的多个特征信息生成的第一样本数据的预测值。

该预设模型可以采用国际通用的5C信用评估理论(道德品质(Character)、还款能力(Capacity)、资本实力(Capital)、担保(Collateral)和经营环境条件(Condition)五个方面)全面的定性分析评估用户的信用。具体的，运营商可以通过用户的身份特征、行为特征、消费能力、履约历史和社交行为5个维度的信息，进行信用评估，其中每个维度含有不同的指标，指标在维度分数中占有一定的权重。最终信用评估分数由5个维度得分的加权和组成，而各个维度分数由各个指标的得分权重和组成。

具体的，可以将包括用户身份特征、行为特征、消费能力、履约历史和社交行为5个维度的信息的第一样本数据输入预设模型中，并输出的预设模型的预测值。因为预设模型为尚未优化的初始模型，所以输出的预测值并不准确，需要进行优化。其中，需要优化的模型参数可以包括各个指标分段的阈值，各个指标在维度中的权重值以及维度在信用总分中的所占权重。

为了更直观的表示出指标与评分的关系，表1示出了一种年龄段与评分的对应关系，对于指标的评分准则可以采用阈值+分数进行评定。

表1

S103：根据预测值和第一样本数据的真实值确定第一目标泛函。

具体的，该第一目标泛函的计算公式(1)可以为：

其中，m为模型参数。

Ns为样本个数。

u_obs为样本实际值。

u_cal为模型预测值。

s_n第n个样本数据。

由计算公式(1)可以看出，可以将模型预测结果与样本数据实际结果之差的二范数和定义为第一目标泛函。

此外，计算公式(1)也可以用来进行第二目标泛函的计算。

S104：根据第一目标泛函确定参数调整步长。

具体的，可以根据第一目标泛函的计算公式(1)和预设的步长搜索策略确定参数调整步长。

可选的，在一个实施例中，可以使用随机抽样目标泛函和迭代搜索的方法来确定初始步长，根据第一目标泛函的计算公式(1)可以确定随机抽样目标泛函的计算公式(2)为：

其中，m为模型参数。

N_p为全量数据Ns随机抽取的子集，经过多次测试可以将其定义为公式(3)：

N_p＝0.2*Ns (3)

u_obs为样本实际值。

u_cal为模型预测值。

s_n第n个样本数据。

可选的，在一个实施例中，可以定义步长搜索策略α₀，α₁，α₂如下：

其中，δ_m为模型参数的变化量。

m为模型参数。

将步长α₀，α₁，α₂代入计算公式(1)进行计算，测试步长α₀，α₁，α₂是否满足关系(4)：

如果满足关系(4)，则将α₀，α₁，α₂代入步长确定公式(5)抛物拟合算法中，确定参数调整步长α_opt：

其中，α_opt为确定后的步长(参数调整步长)。

对于不满足关系(4)可能存在的两种关系：

若E(α₀)＜E(α₁)＜E(α₂)，则令α₂＝α₁，α₁＝α₀，α₀＝α₀/2

若E(α₀)＞E(α₁)＞E(α₂)，则令α₀＝α₁，α₁＝α₂，α₂＝α₂*2

直至搜索到满足关系(4)的α₀，α₁，α₂，将满足关系(4)的α₀，α₁，α₂带入步长确定公式(5)中确定参数调整步长α_opt。

图2示出了该抛物拟合算法的示意图。

如图2所示，拟合前的E(α)曲线随α的波动比较大，且在有些地方不够平缓，拟合后的E(α)曲线随α波动比较平缓，且跟抛物线相似，波动比较小。

根据第一目标泛函确定参数调整步长，即S104之后，执行S105。

S105：根据参数调整步长、预设初始矩阵、预设模型的初始参数和第一目标泛函，对初始参数进行调整，得到优化后的模型。

具体的，可以根据牛顿迭代公式(6)，对模型参数进行更新。

其中，m_k+1为更新后的参数，m_k为更新前的参数，α_k为参数调整步长。

在对预设模型的初始参数(m₁)进行更新确定第二参数(m₂)时，当m_k中的k＝1时，m_k＝m₁，m_k+1＝m₂，因为迭代的缘故，对初始参数进行更新时，公式中的

可以为预设初始矩阵。可选的，在一个实施例中，该预设初始矩阵

可以为单位矩阵，

为第一目标泛函对预设模型的参数的一阶导数，可以称为第一偏导泛函，即，根据S104中确定的步长(参数调整步长)、初始矩阵(单位矩阵)、预设模型的初始参数(m₁)和第一偏导泛函，对初始参数(m₁)进行调整，得到第二参数(m₂)。

在对第二参数(m₂)进行更新确定第三参数(m₃)时，此时，k＝2，m_k即m₂，

可以为第一矩阵，

为第二目标泛函对预设模型的参数的一阶导数，可以称为第二偏导泛函，即，根据S104中确定的步长(参数调整步长)、第一矩阵、第二参数(m₂)和第二偏导泛函，对第二参数(m₂)进行调整，得到第三参数(m₃)。

更新第n参数(m_n)的过程可以按照公式(6)的关系递推，n可以为大于3的整数。

在公式(6)中，矩阵

在不同的参数m更新时代表不同的矩阵。

具体的，在对初始参数(m₁)进行更新确定第二参数(m₂)时，

为确定好的预设初始矩阵(单位矩阵)；在对第二参数(m₂)进行更新确定第三参数(m₃)时，

为第一矩阵；在对第三参数(m₃)进行更新时，

为第二矩阵；在对第n参数(m_n)进行更新时，以此类推。具体的，

的更新公式(7)为：

在对第二参数(m₂)进行更新确定第三参数(m₃)时，在公式(7)中，k＝1，

为要确定的第一矩阵，

为V_k的逆矩阵，

为预设初始矩阵(单位矩阵)，

为第一偏导泛函变化量的转置矩阵，

在对第三参数(m₃)进行更新确定第四参数(m₄)时，在公式(7)中，k＝2，

为要确定的第二矩阵，

为V_k的逆矩阵，

为第一矩阵，

为相邻两次调整预设模型的参数的变化量的转置矩阵，y_k为第二偏导泛函变化量，

为第二偏导泛函变化量的转置矩阵，

为第二目标泛函关于预设模型的参数的一阶导数，δm_k为第二参数的变化量，δm_k+1为第三参数的变化量。在对第四参数(m₄)到第n参数(m_n)的更新过程以此类推。

具体的，偏导泛函，即目标泛函对于模型参数的公式(8)可以表示为：

其中，

为欲求的偏导泛函。

E(m+δ_m)为更新后的目标泛函。

E(m)为原目标泛函。

δ_m为模型参数的变化量。

用公式(8)可以计算第一目标泛函或第二目标泛函。

包括公式(1)、(2)、(3)、(5)、(6)、(7)、(8)及关系(4)等判断关系的算法称为BFGS算法，该算法可以实现模型参数的优化过程，但需要存储每次迭代的历史量，对内存的需求较高。为了减少内存占用，可以采用有限内存的BFGS算法(即limited BFGS，L-BFGS算法)。L-BFGS算法不直接存储

在每次迭代过程中利用最近m次的模型更新信息进行隐式计算，计算公式(9)如下：

具体的，L-BFGS算法的算法流程可以表示为表2：

表2

其中，对于初始阈值和分数的选择，本发明的技术方案采用基于边缘滤波方法和熵最小方法进行选取：

首先将相关指标进行排序，然后采用边缘保持的滤波方法，尽量减少指标取值的抖动，相比于普通的平滑方法，边缘保持的平滑滤波一方面可以平滑平稳变化的数据，另一方面又可以有效保留初始分数随样本指标取值的变化形态，其运算过程可以表示为：

设样本初始值为f(x)，x为指标值，设定平滑窗口为w1，则当前指标取值的平滑数据可以表示为计算公式(10)：

设边缘保持平滑滤波的窗口为w2，则对源数据做边缘保持平滑滤波后的数据可以表示为：

经过边缘滤波过程反复迭代，可以去除指标的抖动现象，结合最小熵算法，能够有效确定指标初始分组情况，图3示出了边缘保持平滑方法处理前后的指标情况示意图，明显可以看出，优化后的图3(a)相比优化前的图3(b)，去除了特征信息(指标)的抖动现象。

对于初始分数或阈值选择标准，可以采用平均选取的方法：

其中，s_i为初始分数或阈值。

S_min和s_max分别代表阈值或者分数的最小、最大值。

对于终止条件的确定，可以包括3种迭代终止条件的确定方法：

a.指定最大迭代次数，一般指定为几十到几百次。

b.当目标泛函值小于某一阈值时停止，即：E(m)＜threshold，其中threshold为阈值，一般定义为初始误差的10％左右。

c.目标泛函变化量小于某一阈值，即：E(m_k+1)-E(m_k)＜threshold，其中threshold为阈值，一般定义为初始误差的1％左右。

此外，由于模型不断对参数进行更新，可能会出现更新异常问题，输出的参数结果可能不符合常规约束，本技术方案中给出一种边界约束方法：

m>M_max？M_max:m

m<M_min？M_min:m

其中M_max和M_min分别表示某一模型参数的上下界限值，在实际应用中需要根据参数含义进行确定。

即，当模型参数m大于上界限M_max数值时，模型参数m取上界限M_max的数值。

当模型参数m小于下界限M_min数值时，模型参数m取上界限M_min的数值。

可选的，在L-BFGS算法的模型参数的优化过程中，对外数据接口可以为：

1)输入：待优化参数集合与初始值。

2)输入：目标函数计算函数矩阵。

3)输入：终止条件参数设定。

4)输入：设定的参数边界条件。

5)输出：最优参数集合。

6)输出：最优条件下的目标函数值。

7)输出：目标函数优化过程变化数据。

图4示出L-BFGS算法的目标函数优化过程变化数据，以及网格搜索法(GlobalSearch，GS)，随机梯度法(Random Gradient，RG)的目标函数优化过程变化数据的对比图。

可见在同等迭代次数情况下，L-BFGS在优化效果以及优化效率上有明显优势：网格搜索法精度明显不足，而随机梯度法由于具有一定随机性，因此优化过程不够稳定。

因此，本发明实施例提供的模型参数的优化方法，使用拟牛顿的最优化算法L-BFGS算法对信用分模型参数进行优化，该优化过程给出了数据预处理过程与初始参数选择策略，并结合优化的抛物拟合步长求取算法，实现了较低的计算压力和较高的模型精度。

与模型参数的优化方法的实施例相对应，本发明实施例还提供了一种模型参数的优化装置。

如图5所示，图5示出了本发明实施例提供的一种模型参数的优化装置的结构示意图。

模型参数的优化装置可以包括：获取模块501和处理模块502，其中，获取模块501，用于获取第一样本数据，第一样本数据包括多个维度的特征信息，其中，每个维度包括至少一种特征信息；

处理模块502，用于将第一样本数据输入预设模型，得到根据第一样本数据的多个特征信息生成的第一样本数据的预测值；

处理模块502，还用于根据预测值和第一样本数据的真实值确定第一目标泛函；

处理模块502，还用于根据第一目标泛函确定参数调整步长；

处理模块502，还用于根据参数调整步长、预设初始矩阵、预设模型的初始参数和第一目标泛函，对初始参数进行调整，得到优化后的模型。

在根据参数调整步长、预设初始矩阵、预设模型的初始参数和第一目标泛函，对初始参数进行调整之前，

获取模块501，还用于获取第二样本数据；

处理模块502，还用于采用边缘滤波算法确定第二样本数据的特征信息；

处理模块502，还用于根据第二样本数据的特征信息的预设评分最大值和预设评分最小值，确定第二样本数据的特征信息的评分值；

处理模块502，还用于根据评分值确定初始参数。

处理模块502，还用于根据第一目标泛函和预设的步长搜索策略确定参数调整步长。

处理模块502，还用于根据参数调整步长、初始矩阵、预设模型的初始参数和第一偏导泛函，对初始参数进行调整，得到第二参数，其中，第一偏导泛函是第一目标泛函对预设模型的参数的一阶导数；

处理模块502，还用于当第二参数满足预设条件时，得到优化后的模型，模型的参数为第二参数。

处理模块502，还用于根据第一目标泛函和预设初始矩阵确定第一矩阵；

处理模块502，还用于根据参数调整步长、第一矩阵、第二参数和第二偏导泛函，对第二参数进行调整。

处理模块502，还用于根据第一目标泛函确定第一目标泛函对预设模型的参数的一阶导数，得到第一偏导泛函；

处理模块502，还用于根据第一偏导泛函得到相邻两次调整预设模型的参数的第一偏导泛函变化量；

处理模块502，还用于根据第一偏导泛函变化量、相邻两次调整预设模型的参数的变化量和预设初始矩阵，确定第一矩阵。

处理模块502，还用于根据第二参数对应模型的预测值和第一样本数据的真实值确定第二目标泛函。

处理模块502根据第一偏导泛函变化量、相邻两次调整预设模型的参数的变化量和预设初始矩阵，确定第一矩阵，满足以下公式：

其中，

为第一矩阵，

为V_k的逆矩阵，

为预设初始矩阵，

为偏导泛函变化量的转置矩阵，

处理模块502根据参数调整步长、初始矩阵、预设模型的初始参数和第一偏导泛函，对初始参数进行调整，得到第二参数；

参数调整满足公式：

为初始矩阵，

为第一偏导泛函。

本发明实施例提供的模型参数的优化装置，使用拟牛顿的最优化算法L-BFGS算法对信用分模型参数进行优化，该优化过程还给出了数据预处理过程与初始参数选择策略，并结合优化的抛物拟合步长求取算法，实现了较低的计算压力和较高的模型精度。

图6示出了能够实现根据本发明实施例的模型参数的优化方法及装置的计算设备的示例性硬件架构的结构图。如图6所示，计算设备600包括输入设备601、输入接口602、中央处理器603、存储器604、输出接口605、以及输出设备606。其中，输入接口602、中央处理器603、存储器604、以及输出接口605通过总线610相互连接，输入设备601和输出设备606分别通过输入接口602和输出接口605与总线610连接，进而与计算设备600的其他组件连接。

具体地，输入设备601接收来自外部的输入信息，并通过输入接口602将输入信息传送到中央处理器603；中央处理器603基于存储器604中存储的计算机可执行指令对输入信息进行处理以生成输出信息，将输出信息临时或者永久地存储在存储器604中，然后通过输出接口605将输出信息传送到输出设备606；输出设备606将输出信息输出到计算设备600的外部供用户使用。

也就是说，图6所示的计算设备也可以被实现为模型参数的优化设备，该模型参数的优化设备可以包括：存储有计算机可执行指令的存储器；以及处理器，该处理器在执行计算机可执行指令时可以实现本发明实施例提供的模型参数的优化方法和装置。

本发明实施例还提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序指令；该计算机程序指令被处理器执行时实现本发明实施例提供的模型参数的优化方法。

需要明确的是，本发明并不局限于上文所描述并在图中示出的特定配置和处理。为了简明起见，这里省略了对已知方法的详细描述。在上述实施例中，描述和示出了若干具体的步骤作为示例。但是，本发明的方法过程并不限于所描述和示出的具体步骤，本领域的技术人员可以在领会本发明的精神后，作出各种改变、修改和添加，或者改变步骤之间的顺序。

以上所述的结构框图中所示的功能块可以实现为硬件、软件、固件或者它们的组合。当以硬件方式实现时，其可以例如是电子电路、专用集成电路(ASIC)、适当的固件、插件、功能卡等等。当以软件方式实现时，本发明的元素是被用于执行所需任务的程序或者代码段。程序或者代码段可以存储在机器可读介质中，或者通过载波中携带的数据信号在传输介质或者通信链路上传送。“机器可读介质”可以包括能够存储或传输信息的任何介质。机器可读介质的例子包括电子电路、半导体存储器设备、ROM、闪存、可擦除ROM(EROM)、软盘、CD-ROM、光盘、硬盘、光纤介质、射频(RF)链路，等等。代码段可以经由诸如因特网、内联网等的计算机网络被下载。

还需要说明的是，本发明中提及的示例性实施例，基于一系列的步骤或者装置描述一些方法或系统。但是，本发明不局限于上述步骤的顺序，也就是说，可以按照实施例中提及的顺序执行步骤，也可以不同于实施例中的顺序，或者若干步骤同时执行。

以上所述，仅为本发明的具体实施方式，所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，上述描述的系统、模块和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。应理解，本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。