CN105989441A - 模型参数调整方法和装置 - Google Patents

模型参数调整方法和装置 Download PDF

Info

Publication number
CN105989441A
CN105989441A CN201510073393.3A CN201510073393A CN105989441A CN 105989441 A CN105989441 A CN 105989441A CN 201510073393 A CN201510073393 A CN 201510073393A CN 105989441 A CN105989441 A CN 105989441A
Authority
CN
China
Prior art keywords
model
theta
current
making device
control decision
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201510073393.3A
Other languages
English (en)
Inventor
陈露佳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Alibaba Group Holding Ltd
Original Assignee
Alibaba Group Holding Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alibaba Group Holding Ltd filed Critical Alibaba Group Holding Ltd
Priority to CN201510073393.3A priority Critical patent/CN105989441A/zh
Publication of CN105989441A publication Critical patent/CN105989441A/zh
Pending legal-status Critical Current

Links

Landscapes

  • Feedback Control In General (AREA)

Abstract

本申请公开了一种模型参数调整方法和装置,通过应用本申请实施例的技术方案,风控决策装置监控当前模型的表现情况,当所述表现情况达到调整阈值时,所述风控决策装置调取所述当前模型的模型参数,并获取最近一个训练周期内的完成预处理的训练数据,所述风控决策装置根据所述训练数据对所述当前模型的模型参数进行调整,并根据调整后的模型参数对所述当前模型进行更新,从而,可以使风控决策装置基于对模型表现情况的监控,在不改变模型结构以及变量的基础上,自动对模型进行调整和更新,增进当前所应用的模型的准确度,从而以低成本实现模型改进与优化。

Description

模型参数调整方法和装置
技术领域
本申请涉及系统测试领域,尤其涉及一种模型参数调整方法和装置。
背景技术
风险模型是风控系统的重要组成部分,风险模型往往被直接用来判别用户环境或用户的交易是否存在风险。比如网上银行等涉及个人资产或信息安全的账户是否存在被盗风险,网上银行的每一笔资金交易是否是账户本人自己操作的,等等。而风险模型是根据历史信息训练得来的,随着时间的推移,样本会发生变化迁移导致模型的精度出现下降。
精度下降的其中一个表现就是点估计偏高或者偏低。点估计也称定值估计,点估计值偏高意味着模型高估了样本的事件发生概率(在风控模型中,指的是有风险的概率),而偏低则是低估了样本的事件发生概率。这种模型精度的下降会直接导致高危风险交易被漏过(点估计偏低),而这会给账户所有者直接带来经济上的损失;精度的下降还同时意味着正常用户将被误认为是高危用户(点估计偏高),从而被风控系统所打扰,影响到这些正常用户的交易,给用户体验带来较大的负面影响。
为了解决这种模型性能下降的问题,目前普遍使用的方法包括以下两种:
方法一、在一段时间之后重建模型,对变量参数进行调整,或再开发出一个全新的模型,然后在系统中对原来的模型进行更新或替换。
方法二、利用原有模型的分值作为自变量,最新收集到的样本标签作为应变量,通过基于原有模型再新建一个模型。新建模型的建模的方法可以是线性模型,也可以为非线性模型,是实现原有模型分值的再调整的一个过程。由于利用了最新数据信息对分值进行了调整,这样得到的调整后的新的分值可以更好的体现最新数据形态,因此精度会比原始模型高。
在实现本申请的过程中,本申请的申请人发现现有技术存在以下缺陷:
显然,对于方法一,这种方法的时间成本非常高,需要花费相当长的时间进行数据的收集与清洗,并且需要花很长的时间进行变量选择,这种方法已经抛弃了原有的模型,且原有模型对新模型并无贡献。
而对于方法二,这种分值建模再调整的过程,无法保证分值模型的稳定性,并且新分值无法解释为什么相对于旧分值而言被高估或低估了。
基于上述的缺陷,如何在低成本的基础上,快速、准确并灵活的进行模型参数的自适应调整,以达到优化原有模型的目的,成为了现有技术方案亟待解决的重要问题。
发明内容
本申请提供了一种模型参数调整方法和装置,能够解决现有技术中,无法在低成本的基础上,快速、准确并灵活的进行模型参数的自适应调整的问题。
为达到上述目的,本申请实施例一方面提供了一种模型参数调整方法,所述方法包括:
风控决策装置监控当前模型的表现情况;
当所述表现情况达到调整阈值时,所述风控决策装置调取所述当前模型的模型参数,并获取最近一个训练周期内的完成预处理的训练数据;
所述风控决策装置根据所述训练数据对所述当前模型的模型参数进行调整;
所述风控决策装置根据调整后的模型参数对所述当前模型进行更新。
优选的,所述风控决策装置监控当前模型的表现情况,具体包括:
所述风控决策装置调用所述当前模型所对应的预设时间区间范围内的分值数据和标签数据,对所述当前模型进行模型表现评估。
优选的,所述当前模型的模型参数,具体包括所述当前模型的模型信息θ和模型结构,所述完成预处理的训练数据,具体包括经过清洗处理的模型变量x以及真实的数据标签y;
相应的,所述风控决策装置根据所述训练数据对所述当前模型的模型参数进行调整,具体包括:
所述风控决策装置根据所述模型信息θ、所述模型变量x以及所述真实的数据标签y,计算得到J(θ);
所述风控决策装置按照预设的调整规则,通过最小化J(θ),对所述模型信息θ进行调整。
优选的,对于逻辑回归模型,所述风控决策装置根据所述训练数据对所述当前模型的模型参数进行调整,具体包括:
所述风控决策装置根据所述模型信息θ、所述模型变量x以及所述真实的数据标签y,按照如下公式,计算得到J(θ):
J ( θ ) = 1 m Σ i = 1 m Cost ( h θ ( x i ) , y i ) ,
其中,m为用来进行自适应参数调整的样本个数,hθ(x)表示研究对象有风险的概率,
Cost ( h θ ( x ) , y ) = - log ( h θ ( x ) ) ify = 1 - log ( 1 - h θ ( x ) ) ify = 0 ,
h θ ( x ) = g ( θ T x ) = 1 1 + e - θ T x ;
所述风控决策装置按照如下的调整规则,通过最小化J(θ),对所述模型信息θ进行调整:
θ j : = θ j - α ∂ ∂ θ j J ( θ ) = θ j - α Σ i = 1 m ( h θ ( x i ) - y i ) x i , j = 0 , . . . , n ,
其中,α为学习步长,n为参数调整迭代次数。
优选的,所述方法还包括:
所述风控决策装置根据距离当前时刻的时间差异,分别为不同的训练数据设置不同的权值;
所述风控决策装置根据通过相应的权值进行加权后的训练数据,对所述当前模型的模型参数进行调整。
另一方面,本申请实施例还提出了一种风控决策装置,具体包括:
监控模块,用于监控当前模型的表现情况;
数据获取模块,用于在所述监控模块监控所述表现情况达到调整阈值时,调取所述当前模型的模型参数,并获取最近一个训练周期内的完成预处理的训练数据;
调整模块,用于根据所述数据获取模块所获取到的训练数据对所述当前模型的模型参数进行调整;
更新模块,用于根据所述调整模块调整后的模型参数对所述当前模型进行更新。
优选的,所述监控模块,具体用于:
调用所述当前模型所对应的预设时间区间范围内的分值数据和标签数据,对所述当前模型进行模型表现评估。
优选的,所述当前模型的模型参数,具体包括所述当前模型的模型信息θ和模型结构,所述完成预处理的训练数据,具体包括经过清洗处理的模型变量x以及真实的数据标签y;
相应的,所述调整模块,具体用于:
根据所述模型信息θ、所述模型变量x以及所述真实的数据标签y,计算得到J(θ);
按照预设的调整规则,通过最小化J(θ),对所述模型信息θ进行调整。
优选的,对于逻辑回归模型,所述调整模块,具体用于:
根据所述模型信息θ、所述模型变量x以及所述真实的数据标签y,按照如下公式,计算得到J(θ):
J ( θ ) = 1 m Σ i = 1 m Cost ( h θ ( x i ) , y i ) ,
其中,m为用来进行自适应参数调整的样本个数,hθ(x)表示研究对象有风险的概率,
Cost ( h θ ( x ) , y ) = - log ( h θ ( x ) ) ify = 1 - log ( 1 - h θ ( x ) ) ify = 0 ,
h θ ( x ) = g ( θ T x ) = 1 1 + e - θ T x ;
按照如下的调整规则,通过最小化J(θ),对所述模型信息θ进行调整:
θ j : = θ j - α ∂ ∂ θ j J ( θ ) = θ j - α Σ i = 1 m ( h θ ( x i ) - y i ) x i , j = 0 , . . . , n ,
其中,α为学习步长,n为参数调整迭代次数。
优选的,所述风控决策装置,还包括:
权值配置模块,用于根据距离当前时刻的时间差异,分别为不同的训练数据设置不同的权值;
所述调整模块,还用于根据通过所述权值配置模块所配置的权值进行加权后的训练数据,对所述当前模型的模型参数进行调整。
与现有技术相比,本申请所提出的技术方案至少具有以下优点:
通过应用本申请实施例的技术方案,风控决策装置监控当前模型的表现情况,当所述表现情况达到调整阈值时,所述风控决策装置调取所述当前模型的模型参数,并获取最近一个训练周期内的完成预处理的训练数据,所述风控决策装置根据所述训练数据对所述当前模型的模型参数进行调整,并根据调整后的模型参数对所述当前模型进行更新,从而,可以使风控决策装置基于对模型表现情况的监控,在不改变模型结构以及变量的基础上,自动对模型进行调整和更新,增进当前所应用的模型的准确度,从而以低成本实现模型改进与优化。
附图说明
图1为本申请实施例提供的一种模型参数调整方法的流程示意图;
图2为现有的一般的风控决策系统的处理流程示意图;
图3为本申请实施例提供的一种具体应用场景中的模型参数调整方法的流程示意图;
图4为本申请实施例提供的一种具体应用场景中的利用持续最小化J(θ)函数进行模型参数调整的方法的流程示意图;
图5为本申请实施例提供的一种风控决策装置的结构示意图。
具体实施方式
如背景技术所述,方法一所提出的模型重建是现有的比较普遍的一种处理方式,可以解决模型性能下降的问题,但是,在已成熟的行业中,如CRM(Customer Relationship Management,客户关系管理)系统、商业银行决策系统里,重建模型的过程需要投入很多资源,而且耗时很长;另外,模型从重建到重新部署上线需要一定的时间,导致模型更新存在着一定的滞后性。特别的,在风控领域,由于用户行为特征变化很快,需要模型能够快速、高效的进行调整响应,而模型重建的方法显然是无法达到这种要求的。另外一种方法二所提出的做法,则是仅使用原始模型分值进行再建模,进行原有模型分值再调整,这种做法无法保证其模型的稳定性,且缺乏解释性。
为了解决现有技术中存在的问题,本申请提出了一种模型参数调整方法,解决了如何在低成本的基础上,快速、准确并灵活的进行模型参数的自适应调整,以达到优化原有模型的目的,该方法不改变原有模型的模型结构以及模型变量,仅通过最新数据对模型变量参数进行调整,使得模型整体精度得到提升与优化,并且,从参数的调整幅度上可以直接看出调整后的模型在哪些参数上有显著变化,因此达到模型可解释性的要求。
如图1所示,为本申请实施例提供的一种模型参数调整方法的流程示意图,本方法包括:
步骤S101、风控决策装置监控当前模型的表现情况。
在具体的应用场景中,本步骤的处理过程具体为:
所述风控决策装置调用所述当前模型所对应的预设时间区间范围内的分值数据和标签数据,对所述当前模型进行模型表现评估。
这样的处理过程可以是实时进行的,也可以是按照一个预设的检测周期来完成,检测周期的长短可以根据对模型处理精度的需求来设置,从而,通过本步骤可以对当前模型的运行状况进行及时的监控,及时发现模型表现的下降情况,采取后续处理进行调整,保证模型的实际应用效果。
在能够实现表现情况即时监控的基础上,具体的监控方案,以及监控周期长短的变化并不会影响本申请的保护范围。
当上述处理所监控的表现情况达到调整阈值时,执行步骤S102,否则,直接进入下一个监控过程,如此循环,保证表现情况的及时监控。
步骤S102、所述风控决策装置调取所述当前模型的模型参数,并获取最近一个训练周期内的完成预处理的训练数据。
在具体的应用场景中,所述当前模型的模型参数,具体包括所述当前模型的模型信息θ和模型结构;所述完成预处理的训练数据,具体包括经过清洗处理的模型变量x以及真实的数据标签y。
需要说明的是,上述的训练周期的长短可以根据对模型处理精度的需求来设置。
当然,根据具体模型类型的变化和具体调整方案对相应参数的需求,上述的参数内容可能会发生相应的调整,这样的变化并不会影响本申请的保护范围。
步骤S103、所述风控决策装置根据所述训练数据对所述当前模型的模型参数进行调整。
在对应上述的步骤S102所给出的参数场景中,本步骤的操作过程具体为:
所述风控决策装置根据所述模型信息θ、所述模型变量x以及所述真实的数据标签y,计算得到J(θ),然后,所述风控决策装置按照预设的调整规则,通过最小化J(θ),对所述模型信息θ进行调整。
这样的操作过程可以根据具体模型类型的差异进行相应的调整,例如,对于逻辑回归模型,相应的再调整方法可以为梯度下降法,而对于BP神经网络模型,相应的再调整方法则可以为误差反向传播,在后续的实施例中,会进行进一步的详细说明,在此不再赘述。
需要进一步指出的是,为了更好的体现临近时间的训练数据对模型更新结果的影响,本申请实施例所提出的技术方案中,可以进一步引入如下操作:
所述风控决策装置根据距离当前时刻的时间差异,分别为不同的训练数据设置不同的权值;
所述风控决策装置根据通过相应的权值进行加权后的训练数据,对所述当前模型的模型参数进行调整。
通过这样的处理,可以为更加临近当前时间点的训练数据添加更高的权重,从而,使其在模型调整过程中起到更大的影响效果,因为离当前时间越近,其越能说明模型的当前实际表现情况,以此为据,就越能对模型实现更准确的调整,当然,权重的配置方式可以根据实际需要进行调整,这样的变化,以及是否添加权重完全是根据应用场景变化而做出的调整,这样的变化并不会影响本申请的保护范围。
步骤S104、所述风控决策装置根据调整后的模型参数对所述当前模型进行更新。
与现有技术相比,本申请实施例所提出的技术方案具有以下优点:
通过应用本申请实施例的技术方案,风控决策装置监控当前模型的表现情况,当所述表现情况达到调整阈值时,所述风控决策装置调取所述当前模型的模型参数,并获取最近一个训练周期内的完成预处理的训练数据,所述风控决策装置根据所述训练数据对所述当前模型的模型参数进行调整,并根据调整后的模型参数对所述当前模型进行更新,从而,可以使风控决策装置基于对模型表现情况的监控,在不改变模型结构以及变量的基础上,自动对模型进行调整和更新,增进当前所应用的模型的准确度,从而以低成本实现模型改进与优化。
下面将结合本申请中的附图,对本申请中的技术方案进行清楚、完整的描述,显然,所描述的实施例是本申请的一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例,都属于本申请保护的范围。
首先,为了方便对比,更清楚的看到本申请技术方案对现有技术的显著改进,发明人在此,对现有技术进行说明如下:
如图2所示,为现有的一般的风控决策系统的处理流程示意图。
在现有的一般风控决策系统中,“数据存储模块”的功能包括数据收集、数据清洗、数据合并、数据计算以及数据沉淀;“模型模块”的功能包括储存模型参数以及模型打分;“决策模块”的功能包括储存决策规则以及进行决策输出。
在一条交易数据进入模型决策系统时,首先进入“数据存储模块”进行数据清洗,并进行数据合并、计算,生成“模型模块”中需要的数据,包括数据标签以及模型变量。
在完成上述处理之后,如图2中的箭头1所示,“数据储存模块”将清洗并计算好的数据送至“模型模块”进行模型打分。
“模型模块”在结束模型打分后,如图2中的箭头2所示,“模型模块”将打分的数据送至“数据存储模块”进行数据沉淀,以备其他可能的分析需求。
同时,如图2中的箭头3所示,“模型模块”也将打分数据送至“决策模块”,进行最终的决策输出。
当“决策模块”拿到“模型模块”的分值时,如图2中的箭头4所示,根据决策计算需要,“决策模块”向“数据存储模块”调用相应数据,比如用户年龄,性别,把这些数据与模型分值放在一起,进行最终的决策计算。
在结束决策计算后,如图2中的箭头5所示,“决策模块”将最终的决策送至“数据存储模块”进行数据沉淀以备其他的分析需求,同时,将最后的决策结果输出。
在具体的应用场景中,最后的决策包括:低风险且通过该交易,以及高风险且拒绝该交易。
但是,如之前的背景技术所说,这样的处理方案无法快速、准确并灵活的进行模型参数的自适应调整。
针对这样的问题,本申请实施例在一般的风控模型组成的风控决策系统中,加入了“模型监控模块”以及“自适应参数调整模块”:
“模型监控模块”的功能包括定期监控“模型模块”的模型表现,当“模型模块”中的模型表现下降时,提示“自适应参数调整模块”进行自适应参数调整。
“自适应参数调整模块”的功能包括模型的自适应系数调整。
如图3所示,为本申请实施例提供的一种具体应用场景中的模型参数调整方法的流程示意图,本方法包括:
步骤S301、“模型监控模块”定期监控“模型模块”中的模型表现。
该模块通过向“数据储存模块”中调用最近一段时间(比如近1周,该时间段的长短可以根据对模型处理精度的需求来设置)的分值数据以及标签数据进行模型表现评估。
如果“模型监控模块”发现模型的表现下降至了一个事先设定的临界值时,执行步骤S302。
步骤S302、“模型监控模块”激活“自适应参数调整模块”进行模块参数的更新。
这个临界值为事先设定好的值,其表征了模型表现弱化的临界值,低于该临界值,则表示当前模型的表现已经不符合当前系统的精度要求,该临界值可以根据需要进行更改。
步骤S303、“自适应参数调整模块”向“数据储存模块”调用最近一段时间(比如近1周,该时间段的长短可以根据对模型处理精度的需求来设置)的清洗好的模型变量数据以及标签数据,并向“模型模块”调用当前的模型参数与结构。
步骤S304、“自适应参数调整模块”根据获取到的信息,对当前模型进行参数再调整处理(图中未示出)。
在具体的应用场景中模型参数再调整的方法可以为梯度下降法(适用于逻辑回归模型),误差反向传播(适用于BP神经网络模型)等,根据具体模型类型的差异,相应的处理方法也可以进行相应的调整,在能够保证模型参数调整效果的基础上,这样的变化并不会影响本申请的保护范围。
步骤S305、当“自适应参数调整模块”完成了参数调整以后,将更新后的模型参数输出至“模型模块”。
至此,自适应模型决策系统完成了模型参数的自适应调整。
之后的流程如图中的步骤S306至步骤S310与前述的一般的风控模型组成的风控决策系统中的箭头1~5相一致,在此不再重复说明。
下面,为了更加清楚的说明步骤S304中“自适应参数调整模块”如何对当前模型进行参数再调整处理的过程,本申请实施例进行进一步说明如下。
首先,本领域技术人员可以知晓的是,一般模型的要素包括以下几个方面:
要素1、一个合适的预测函数,一般表示为h函数,即分类函数。
该函数用来预测输入数据的判断结果。这个过程非常关键,需要对数据有一定的了解或分析,知道或者猜测预测函数的“大概”形式,比如是线性函数还是非线性函数。
要素2、Cost函数,即损失函数。
该函数表示预测的输出(h)与训练数据类别(y)之间的偏差,可以是两者之间差(h-y)或其他的形式。综合考虑所有训练数据的“损失”,将Cost求和或求平均,记为J(θ)函数,表示所有训练数据预测值与实际类别的偏差。
要素3、J(θ)函数的最小值的确定。
由要素2的说明可以看出,J(θ)函数的值越小表示预测函数越准确(即h函数越准确),所以需要找到J(θ)函数的最小值。找到J(θ)函数最小值有不同的方法,比如梯度下降法(逻辑回归中使用)以及误差反向传播(BP神经网络中使用)。
而在具体的应用场景中,模型训练就是寻找最优的模型参数的过程。本申请实施例利用持续最小化J(θ)函数来达到对模型系统参数θ进行自适应调整的目的。
如图4所示,为本申请实施例提供的一种具体应用场景中的利用持续最小化J(θ)函数进行模型参数调整的方法的流程示意图,本方法包括:
步骤S401、“自适应参数调整模块”调用“模型模块”中的模型参数θ以及模型结构。
举例来说,对于逻辑回归模型,“模型模块”中需要储存逻辑回归模型中的参数;对于BP神经网络,“模型模块”中需要存储神经网络的激活函数,以及每一层激活函数最后训练得到的参数。
步骤S402、“自适应参数调整模块”调用“数据储存模块”中的模型变量x以及真实的数据标签y。
这里所调用的信息均是“数据储存模块”所存储的在最近一段时间的清洗好的模型变量数据以及标签数据。
本步骤和步骤S401相当于前述的步骤S303中的信息获取过程,为后续的信息处理提供信息和数据依据。
步骤S403、“自适应参数调整模块”根据获取到的信息计算得到J(θ)。
在具体的应用场景中,逻辑回归模型的J(θ)函数的计算公式如下:
J ( θ ) = 1 m Σ i = 1 m Cost ( h θ ( x i ) , y i ) ,
其中,m为用来进行自适应参数调整的样本个数,hθ(x)表示研究对象有风险的概率,
步骤S404、“自适应参数调整模块”通过最小化J(θ),对原始的θ进行参数调整。
在具体的应用场景中,同样以逻辑回归模型为例,可以使用梯度下降法,对θ进行调整,具体的调整方式可以依据以下迭代公式进行:
θ j : = θ j - α ∂ ∂ θ j J ( θ ) = θ j - α Σ i = 1 m ( h θ ( x i ) - y i ) x i , j = 0 , . . . , n ,
其中,α为学习步长,n为参数调整迭代次数,这样的参数可以根据需要进行具体取值的调整。
至此,完成了前述的步骤S304的所有处理过程,即完成了模型参数的自适应调整操作。可以看到,该方法仅使用最新数据,在原始模型的基础上,对参数进行调整,使模型的精度能够优化与提升。
在具体的应用场景中,对于任何有监督学习功能的模型,只要将训练完成的模型结构参数进行保存,后期就可以根据最新的数据,方便、快速、灵活地对模型进行参数的再训练。这里免去了收集大量数据进行重新模型训练的时间成本与人力成本,基于已有模型,不改变已有模型的结构与变量,而仅仅对模型的现有参数进行修正,从而达到了快速进行模型自适应调整的目的。
如前所述,为了更好的体现临近时间的训练数据对模型更新结果的影响,“自适应参数调整模块”可以根据需要,对进入该模块进行参数训练的数据设置不同的权重,比如离现在越近的数据权重可以设置的大一点,而越远的数据权重可以设置的小一些。这样做的好处是离现在越近的数据可以对模型参数的贡献设置的更大一些。另外,“自适应参数调整模块”也可以根据需要,对相应的模型参数设置不同的权重,以放大或缩小对模型参数的调整幅度。
在具体的应用场景中,权重的配置方式可以根据实际需要进行调整,这样的变化,以及是否添加权重完全是根据应用场景变化而做出的调整,这样的变化并不会影响本申请的保护范围。
与现有技术相比,本申请实施例所提出的技术方案具有以下优点:
通过应用本申请实施例的技术方案,风控决策装置监控当前模型的表现情况,当所述表现情况达到调整阈值时,所述风控决策装置调取所述当前模型的模型参数,并获取最近一个训练周期内的完成预处理的训练数据,所述风控决策装置根据所述训练数据对所述当前模型的模型参数进行调整,并根据调整后的模型参数对所述当前模型进行更新,从而,可以使风控决策装置基于对模型表现情况的监控,在不改变模型结构以及变量的基础上,自动对模型进行调整和更新,增进当前所应用的模型的准确度,从而以低成本实现模型改进与优化。
为了实现上述的技术方案,本申请实施例提供了一种风控决策装置,其结构示意图如图5所示,具体包括:
监控模块51,用于监控当前模型的表现情况;
数据获取模块52,用于在所述监控模块51监控所述表现情况达到调整阈值时,调取所述当前模型的模型参数,并获取最近一个训练周期内的完成预处理的训练数据;
调整模块53,用于根据所述数据获取模块52所获取到的训练数据对所述当前模型的模型参数进行调整;
更新模块54,用于根据所述调整模块53调整后的模型参数对所述当前模型进行更新。
优选的,所述监控模块51,具体用于:
调用所述当前模型所对应的预设时间区间范围内的分值数据和标签数据,对所述当前模型进行模型表现评估。
优选的,所述当前模型的模型参数,具体包括所述当前模型的模型信息θ和模型结构,所述完成预处理的训练数据,具体包括经过清洗处理的模型变量x以及真实的数据标签y;
相应的,所述调整模块53,具体用于:
根据所述模型信息θ、所述模型变量x以及所述真实的数据标签y,计算得到J(θ);
按照预设的调整规则,通过最小化J(θ),对所述模型信息θ进行调整。
优选的,对于逻辑回归模型,所述调整模块53,具体用于:
根据所述模型信息θ、所述模型变量x以及所述真实的数据标签y,按照如下公式,计算得到J(θ):
J ( θ ) = 1 m Σ i = 1 m Cost ( h θ ( x i ) , y i ) ,
其中,m为用来进行自适应参数调整的样本个数,hθ(x)表示研究对象有风险的概率,
Cost ( h θ ( x ) , y ) = - log ( h θ ( x ) ) ify = 1 - log ( 1 - h θ ( x ) ) ify = 0 ,
h θ ( x ) = g ( θ T x ) = 1 1 + e - θ T x ;
按照如下的调整规则,通过最小化J(θ),对所述模型信息θ进行调整:
θ j : = θ j - α ∂ ∂ θ j J ( θ ) = θ j - α Σ i = 1 m ( h θ ( x i ) - y i ) x i , j = 0 , . . . , n ,
其中,α为学习步长,n为参数调整迭代次数。
优选的,所述风控决策装置,还包括:
权值配置模块55,用于根据距离当前时刻的时间差异,分别为不同的训练数据设置不同的权值;
所述调整模块53,还用于根据通过所述权值配置模块55所配置的权值进行加权后的训练数据,对所述当前模型的模型参数进行调整。
与现有技术相比,本申请实施例所提出的技术方案具有以下优点:
通过应用本申请实施例的技术方案,风控决策装置监控当前模型的表现情况,当所述表现情况达到调整阈值时,所述风控决策装置调取所述当前模型的模型参数,并获取最近一个训练周期内的完成预处理的训练数据,所述风控决策装置根据所述训练数据对所述当前模型的模型参数进行调整,并根据调整后的模型参数对所述当前模型进行更新,从而,可以使风控决策装置基于对模型表现情况的监控,在不改变模型结构以及变量的基础上,自动对模型进行调整和更新,增进当前所应用的模型的准确度,从而以低成本实现模型改进与优化。
本领域技术人员可以理解实施例中的装置中的模块可以按照实施例描述进行分布于实施例的装置中,也可以进行相应变化位于不同于本实施例的一个或多个装置中。上述实施例的模块可以合并为一个模块,也可以进一步拆分成多个子模块。
上述本申请实施例序号仅仅为了描述,不代表实施例的优劣。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到本申请可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台终端设备(可以是手机,个人计算机,服务器,或者网络设备等)执行本申请各个实施例所述的方法。
以上所述仅是本申请的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本申请原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视本申请的保护范围。

Claims (10)

1.一种模型参数调整方法,其特征在于,所述方法包括:
风控决策装置监控当前模型的表现情况;
当所述表现情况达到调整阈值时,所述风控决策装置调取所述当前模型的模型参数,并获取最近一个训练周期内的完成预处理的训练数据;
所述风控决策装置根据所述训练数据对所述当前模型的模型参数进行调整;
所述风控决策装置根据调整后的模型参数对所述当前模型进行更新。
2.如权利要求1所述的方法,其特征在于,所述风控决策装置监控当前模型的表现情况,具体包括:
所述风控决策装置调用所述当前模型所对应的预设时间区间范围内的分值数据和标签数据,对所述当前模型进行模型表现评估。
3.如权利要求1所述的方法,其特征在于,所述当前模型的模型参数,具体包括所述当前模型的模型信息θ和模型结构,所述完成预处理的训练数据,具体包括经过清洗处理的模型变量x以及真实的数据标签y;
相应的,所述风控决策装置根据所述训练数据对所述当前模型的模型参数进行调整,具体包括:
所述风控决策装置根据所述模型信息θ、所述模型变量x以及所述真实的数据标签y,计算得到J(θ);
所述风控决策装置按照预设的调整规则,通过最小化J(θ),对所述模型信息θ进行调整。
4.如权利要求3所述的方法,其特征在于,对于逻辑回归模型,所述风控决策装置根据所述训练数据对所述当前模型的模型参数进行调整,具体包括:
所述风控决策装置根据所述模型信息θ、所述模型变量x以及所述真实的数据标签y,按照如下公式,计算得到J(θ):
J ( θ ) = 1 m Σ i = 1 m Cost ( h θ ( x i ) , y i ) ,
其中,m为用来进行自适应参数调整的样本个数,hθ(x)表示研究对象有风险的概率,
Cost ( h θ ( x ) , y ) = - log ( h θ ( x ) ) if y = 1 - log ( 1 - h θ ( x ) ) if y = 0 ,
h θ ( x ) = g ( θ T x ) = 1 1 + e - θ T x ;
所述风控决策装置按照如下的调整规则,通过最小化J(θ),对所述模型信息θ进行调整:
θ j : = θ j - α ∂ ∂ θ j J ( θ ) = θ j - α Σ i = 1 m ( h θ ( x i ) - y i ) x i , j = 0 , . . . , n ,
其中,α为学习步长,n为参数调整迭代次数。
5.如权利要求3或4所述的方法,其特征在于,还包括:
所述风控决策装置根据距离当前时刻的时间差异,分别为不同的训练数据设置不同的权值;
所述风控决策装置根据通过相应的权值进行加权后的训练数据,对所述当前模型的模型参数进行调整。
6.一种风控决策装置,其特征在于,具体包括:
监控模块,用于监控当前模型的表现情况;
数据获取模块,用于在所述监控模块监控所述表现情况达到调整阈值时,调取所述当前模型的模型参数,并获取最近一个训练周期内的完成预处理的训练数据;
调整模块,用于根据所述数据获取模块所获取到的训练数据对所述当前模型的模型参数进行调整;
更新模块,用于根据所述调整模块调整后的模型参数对所述当前模型进行更新。
7.如权利要求6所述的风控决策装置,其特征在于,所述监控模块,具体用于:
调用所述当前模型所对应的预设时间区间范围内的分值数据和标签数据,对所述当前模型进行模型表现评估。
8.如权利要求6所述的风控决策装置,其特征在于,所述当前模型的模型参数,具体包括所述当前模型的模型信息θ和模型结构,所述完成预处理的训练数据,具体包括经过清洗处理的模型变量x以及真实的数据标签y;
相应的,所述调整模块,具体用于:
根据所述模型信息θ、所述模型变量x以及所述真实的数据标签y,计算得到J(θ);
按照预设的调整规则,通过最小化J(θ),对所述模型信息θ进行调整。
9.如权利要求8所述的风控决策装置,其特征在于,对于逻辑回归模型,所述调整模块,具体用于:
根据所述模型信息θ、所述模型变量x以及所述真实的数据标签y,按照如下公式,计算得到J(θ):
J ( θ ) = 1 m Σ i = 1 m Cost ( h θ ( x i ) , y i ) ,
其中,m为用来进行自适应参数调整的样本个数,hθ(x)表示研究对象有风险的概率,
Cost ( h θ ( x ) , y ) = - log ( h θ ( x ) ) if y = 1 - log ( 1 - h θ ( x ) ) if y = 0 ,
h θ ( x ) = g ( θ T x ) = 1 1 + e - θ T x ;
按照如下的调整规则,通过最小化J(θ),对所述模型信息θ进行调整:
θ j : = θ j - α ∂ ∂ θ j J ( θ ) = θ j - α Σ i = 1 m ( h θ ( x i ) - y i ) x i , j = 0 , . . . , n ,
其中,α为学习步长,n为参数调整迭代次数。
10.如权利要求8或9所述的风控决策装置,其特征在于,还包括:
权值配置模块,用于根据距离当前时刻的时间差异,分别为不同的训练数据设置不同的权值;
所述调整模块,还用于根据通过所述权值配置模块所配置的权值进行加权后的训练数据,对所述当前模型的模型参数进行调整。
CN201510073393.3A 2015-02-11 2015-02-11 模型参数调整方法和装置 Pending CN105989441A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510073393.3A CN105989441A (zh) 2015-02-11 2015-02-11 模型参数调整方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510073393.3A CN105989441A (zh) 2015-02-11 2015-02-11 模型参数调整方法和装置

Publications (1)

Publication Number Publication Date
CN105989441A true CN105989441A (zh) 2016-10-05

Family

ID=57041194

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510073393.3A Pending CN105989441A (zh) 2015-02-11 2015-02-11 模型参数调整方法和装置

Country Status (1)

Country Link
CN (1) CN105989441A (zh)

Cited By (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108573355A (zh) * 2018-05-08 2018-09-25 阿里巴巴集团控股有限公司 模型更新后替换运行的方法、装置、及业务服务器
CN108764290A (zh) * 2018-04-26 2018-11-06 阿里巴巴集团控股有限公司 模型异动的原因确定方法及装置和电子设备
CN109120429A (zh) * 2017-06-26 2019-01-01 苏宁云商集团股份有限公司 一种风险识别方法及系统
CN109120428A (zh) * 2017-06-26 2019-01-01 苏宁云商集团股份有限公司 一种用于风控分析的方法及系统
CN109308418A (zh) * 2017-07-28 2019-02-05 阿里巴巴集团控股有限公司 一种基于共享数据的模型训练方法及装置
CN109389412A (zh) * 2017-08-02 2019-02-26 阿里巴巴集团控股有限公司 一种训练模型的方法及装置
CN109426912A (zh) * 2017-08-31 2019-03-05 阿里巴巴集团控股有限公司 风控系统优化方法、系统、装置以及电子设备
WO2019056502A1 (zh) * 2017-09-25 2019-03-28 平安科技(深圳)有限公司 综艺比赛结果预测方法、装置及存储介质
WO2019091189A1 (zh) * 2017-11-13 2019-05-16 阿里巴巴集团控股有限公司 风控决策临界值的确定方法及装置
CN109840838A (zh) * 2018-12-26 2019-06-04 天翼电子商务有限公司 风控规则模型双引擎系统、控制方法及服务器
CN109873790A (zh) * 2017-12-04 2019-06-11 中国电信股份有限公司 网络安全检测方法、装置以及计算机可读存储介质
CN110020425A (zh) * 2019-01-16 2019-07-16 阿里巴巴集团控股有限公司 模型运营方法和装置
CN110310206A (zh) * 2019-07-01 2019-10-08 阿里巴巴集团控股有限公司 用于更新风险控制模型的方法和系统
CN110428137A (zh) * 2019-07-04 2019-11-08 阿里巴巴集团控股有限公司 一种风险防控策略的更新方法及装置
CN110503279A (zh) * 2018-05-16 2019-11-26 北京牡丹电子集团有限责任公司 提供自适应调整的波特五力决策建议系统及其方法
CN110533268A (zh) * 2018-05-23 2019-12-03 深圳福莱信息科技有限公司 一种风险控制方法、风控系统及终端设备
CN110691084A (zh) * 2019-09-27 2020-01-14 武汉极意网络科技有限公司 风控规则引擎的适配方法及装置
CN110888535A (zh) * 2019-12-05 2020-03-17 上海工程技术大学 一种可以提高现场真实感的ar系统
CN111177644A (zh) * 2019-12-20 2020-05-19 中国移动通信集团江苏有限公司 模型参数的优化方法、装置、设备及存储介质
CN111226238A (zh) * 2017-11-07 2020-06-02 华为技术有限公司 一种预测方法及终端、服务器
CN111353850A (zh) * 2020-02-26 2020-06-30 支付宝(杭州)信息技术有限公司 一种风险识别策略的更新、风险商户的识别方法和装置

Cited By (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109120429A (zh) * 2017-06-26 2019-01-01 苏宁云商集团股份有限公司 一种风险识别方法及系统
CN109120428A (zh) * 2017-06-26 2019-01-01 苏宁云商集团股份有限公司 一种用于风控分析的方法及系统
CN109120428B (zh) * 2017-06-26 2022-04-19 南京星云数字技术有限公司 一种用于风控分析的方法及系统
CN109120429B (zh) * 2017-06-26 2022-04-15 南京星云数字技术有限公司 一种风险识别方法及系统
CN109308418A (zh) * 2017-07-28 2019-02-05 阿里巴巴集团控股有限公司 一种基于共享数据的模型训练方法及装置
CN109308418B (zh) * 2017-07-28 2021-09-24 创新先进技术有限公司 一种基于共享数据的模型训练方法及装置
CN109389412A (zh) * 2017-08-02 2019-02-26 阿里巴巴集团控股有限公司 一种训练模型的方法及装置
CN109389412B (zh) * 2017-08-02 2022-03-04 创新先进技术有限公司 一种训练模型的方法、装置、服务设备以及用户设备
CN109426912A (zh) * 2017-08-31 2019-03-05 阿里巴巴集团控股有限公司 风控系统优化方法、系统、装置以及电子设备
WO2019056502A1 (zh) * 2017-09-25 2019-03-28 平安科技(深圳)有限公司 综艺比赛结果预测方法、装置及存储介质
CN111226238A (zh) * 2017-11-07 2020-06-02 华为技术有限公司 一种预测方法及终端、服务器
CN111226238B (zh) * 2017-11-07 2023-10-24 华为技术有限公司 一种预测方法及终端、服务器
US11004026B2 (en) 2017-11-13 2021-05-11 Advanced New Technologies Co., Ltd. Method and apparatus for determining risk management decision-making critical values
WO2019091189A1 (zh) * 2017-11-13 2019-05-16 阿里巴巴集团控股有限公司 风控决策临界值的确定方法及装置
CN109873790A (zh) * 2017-12-04 2019-06-11 中国电信股份有限公司 网络安全检测方法、装置以及计算机可读存储介质
CN108764290B (zh) * 2018-04-26 2021-07-30 创新先进技术有限公司 模型异动的原因确定方法及装置和电子设备
CN108764290A (zh) * 2018-04-26 2018-11-06 阿里巴巴集团控股有限公司 模型异动的原因确定方法及装置和电子设备
CN108573355A (zh) * 2018-05-08 2018-09-25 阿里巴巴集团控股有限公司 模型更新后替换运行的方法、装置、及业务服务器
CN108573355B (zh) * 2018-05-08 2021-07-13 创新先进技术有限公司 模型更新后替换运行的方法、装置、及业务服务器
CN110503279A (zh) * 2018-05-16 2019-11-26 北京牡丹电子集团有限责任公司 提供自适应调整的波特五力决策建议系统及其方法
CN110533268A (zh) * 2018-05-23 2019-12-03 深圳福莱信息科技有限公司 一种风险控制方法、风控系统及终端设备
CN109840838A (zh) * 2018-12-26 2019-06-04 天翼电子商务有限公司 风控规则模型双引擎系统、控制方法及服务器
CN109840838B (zh) * 2018-12-26 2021-08-31 天翼数智科技(北京)有限公司 风控规则模型双引擎系统、控制方法及服务器
CN110020425A (zh) * 2019-01-16 2019-07-16 阿里巴巴集团控股有限公司 模型运营方法和装置
CN110310206A (zh) * 2019-07-01 2019-10-08 阿里巴巴集团控股有限公司 用于更新风险控制模型的方法和系统
CN110428137A (zh) * 2019-07-04 2019-11-08 阿里巴巴集团控股有限公司 一种风险防控策略的更新方法及装置
CN110691084A (zh) * 2019-09-27 2020-01-14 武汉极意网络科技有限公司 风控规则引擎的适配方法及装置
CN110888535A (zh) * 2019-12-05 2020-03-17 上海工程技术大学 一种可以提高现场真实感的ar系统
CN111177644A (zh) * 2019-12-20 2020-05-19 中国移动通信集团江苏有限公司 模型参数的优化方法、装置、设备及存储介质
CN111177644B (zh) * 2019-12-20 2023-10-27 中国移动通信集团江苏有限公司 模型参数的优化方法、装置、设备及存储介质
CN111353850A (zh) * 2020-02-26 2020-06-30 支付宝(杭州)信息技术有限公司 一种风险识别策略的更新、风险商户的识别方法和装置

Similar Documents

Publication Publication Date Title
CN105989441A (zh) 模型参数调整方法和装置
Lin et al. Using machine learning to assist crime prevention
EP3690763A1 (en) Machine learning model training method and device, and electronic device
US7243049B1 (en) Method for modeling system performance
Jalal et al. Forecasting incoming call volumes in call centers with recurrent neural networks
CN106097043A (zh) 一种信用数据的处理方法及服务器
Chen et al. A study of ANFIS-based multi-factor time series models for forecasting stock index
CN112433896B (zh) 一种服务器磁盘故障预测方法、装置、设备及存储介质
CN110794308B (zh) 列车电池容量预测方法及装置
CN111625516A (zh) 检测数据状态的方法、装置、计算机设备和存储介质
CN113486584B (zh) 设备故障的预测方法、装置、计算机设备及计算机可读存储介质
CN104866922B (zh) 一种用户离网的预测方法及装置
WO2017071369A1 (zh) 一种预测用户离网的方法和设备
CN113723692A (zh) 数据处理方法、装置、设备、介质及程序产品
CN114037518A (zh) 风险预测模型的构建方法、装置、电子设备和存储介质
CN110796450B (zh) 可信关系处理方法以及装置
CN111400964A (zh) 一种故障发生时间预测方法及装置
CN109872183A (zh) 智能服务评价方法、计算机可读存储介质和终端设备
CN115600818A (zh) 多维评分方法、装置、电子设备和存储介质
CN112990946B (zh) 一种企业违约预测方法、装置、介质及电子设备
CN115099988A (zh) 模型训练方法、数据处理方法、设备及计算机介质
CN111783487B (zh) 一种读卡器设备的故障预警方法及装置
CN111625720B (zh) 数据决策项目执行策略的确定方法、装置、设备和介质
AU2021218217A1 (en) Systems and methods for preventative monitoring using AI learning of outcomes and responses from previous experience.
CN111310964B (zh) 一种负荷预测方法及装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20161005