CN108109066A - 一种信用评分模型更新方法及系统 - Google Patents

一种信用评分模型更新方法及系统 Download PDF

Info

Publication number
CN108109066A
CN108109066A CN201711308017.3A CN201711308017A CN108109066A CN 108109066 A CN108109066 A CN 108109066A CN 201711308017 A CN201711308017 A CN 201711308017A CN 108109066 A CN108109066 A CN 108109066A
Authority
CN
China
Prior art keywords
credit scoring
scoring model
model
current
new
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201711308017.3A
Other languages
English (en)
Inventor
孙佰清
鲍鑫
孙鸿雁
何同国
张鹏
昌黎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Pre Long Mdt Infotech Ltd
Original Assignee
Shanghai Pre Long Mdt Infotech Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Pre Long Mdt Infotech Ltd filed Critical Shanghai Pre Long Mdt Infotech Ltd
Priority to CN201711308017.3A priority Critical patent/CN108109066A/zh
Publication of CN108109066A publication Critical patent/CN108109066A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q40/00—Finance; Insurance; Tax strategies; Processing of corporate or income taxes
    • G06Q40/03—Credit; Loans; Processing thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0639—Performance analysis of employees; Performance analysis of enterprise or organisation operations
    • G06Q10/06393—Score-carding, benchmarking or key performance indicator [KPI] analysis

Landscapes

  • Business, Economics & Management (AREA)
  • Human Resources & Organizations (AREA)
  • Engineering & Computer Science (AREA)
  • Strategic Management (AREA)
  • Development Economics (AREA)
  • Economics (AREA)
  • General Business, Economics & Management (AREA)
  • Accounting & Taxation (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Physics & Mathematics (AREA)
  • Finance (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Marketing (AREA)
  • Educational Administration (AREA)
  • Technology Law (AREA)
  • Game Theory and Decision Science (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Tourism & Hospitality (AREA)
  • Financial Or Insurance-Related Operations Such As Payment And Settlement (AREA)

Abstract

本发明提供一种信用评分模型更新方法和系统，以构建当前信用评分模型的样本为基准，对所述当前信用评分模型的属性可获得性以及所述当前信用评分模型的稳定性和准确性进行判断，且当所述当前信用评分模型的属性不可获得或所述当前信用评分模型的稳定性超出预设稳定性阈值或所述当前信用评分模型的准确性超出预设准确性阈值时，构建新的信用评分模型以对所述当前信用评分模型进行更新；否则，继续使用所述当前信用评分模型。本发明可实时监测当前信用评分模型的运行情况，且在当前信用评分模型失效或者运行结果不准确时，可及时进行更行，保证信用评分的可靠性和准确性。

Description

一种信用评分模型更新方法及系统
技术领域
本发明涉及信用评价领域，特别是涉及一种信用评分模型更新方法及系统。
背景技术
近年来，随着机器学习技术在征信领域的进一步应用，应用在征信系统中模型处于多样化、融合化的阶段，尤其以有监督学习方法为主，对训练数据的依赖程度高，能较好的满足机构对于用户信用的评价需求。现多服务于各类互联网征信机构、借贷机构，应用较多的是信用评分系统。
目前，个人征信的信用评分系统广泛采用线下建立模型并验证，验证通过后上线运行的技术路线。但上线后，模型的更新主要依靠着用户设定的固定周期(一般为一个月甚至更长)或用户需求。但，用户数据的模式往往随时间发生明显变化，原有的属性体系可能在更新周期内出现较大的信息量波动，最终导致模型结果出现较大偏差，甚至失效，这对用户信用水平评估的准确性将产生较大的影响。综上，目前应用于各类信用评分系统中的模型更新效率较低，将产生较大的外在成本和机会成本。
发明内容
鉴于以上所述现有技术的缺点，本发明的目的在于提供一种信用评分模型更新方法及系统，用于解决现有技术中不能及时更新信用评分模型导致信用评分不准确等的问题。
为实现上述目的及其他相关目的，本发明提供一种信用评分模型更新方法，所述方法包括：启动当前应用的当前信用评分模型，并获取所述当前信用评分模型对当前应用对象的评分结果；以构建所述当前信用评分模型的样本为基准，对所述当前信用评分模型的属性可获得性以及所述当前信用评分模型的稳定性和准确性进行判断，当所述当前信用评分模型的属性不可获得或所述当前信用评分模型的稳定性超出预设稳定性阈值或所述当前信用评分模型的准确性超出预设准确性阈值时，构建新的信用评分模型以对所述当前信用评分模型进行更新；当所述当前信用评分模型的属性可获得且所述当前信用评分模型的稳定性未超出所述预设稳定性阈值且所述当前信用评分模型的准确性未超出所述预设准确性阈值时，继续保留所述当前信用评分模型。
于本发明一具体实施例中，采用以下算法中的一种或多种的融合构建所述新的信用评分模型：基于逻辑回归的算法、基于决策树的算法、基于随机森林的算法以及基于神经网络的算法。
于本发明一具体实施例中，根据预设的判断策略，选择由所述算法中的一种或多种融合构建的多个备选信用评分模型中的最优备选评分模型作为所述新的信用评分模型。
于本发明一具体实施例中，在构建所述新的信用评分模型后，还用以在预设的测试平台运行所述新的信用评分模型，以判断所述新的信用评分模型是否可用，且在所述新的信用评分模型是否可用时，根据所述新的信用评分模型对所述当前信用评分模型进行更新。
于本发明一具体实施例中，当所述新的信用评分模型的稳定性未超出所述预设稳定性阈值且所述新的信用评分模型的准确性未超出所述预设准确性阈值时，判断所述新的信用评分模型可用。
为实现上述目的及其他相关目的，本发明还提供一种信用评分模型更新系统，所述系统包括：信用评价模块，用以启动当前应用的当前信用评分模型，并获取所述当前信用评分模型对当前应用对象的评分结果；判断模块，用以以构建所述当前信用评分模型的样本为基准，对所述当前信用评分模型的属性可获得性以及所述当前信用评分模型的稳定性和准确性进行判断，当所述当前信用评分模型的属性不可获得或所述当前信用评分模型的稳定性超出预设稳定性阈值或所述当前信用评分模型的准确性超出预设准确性阈值时，执行更新模块；当所述当前信用评分模型的属性可获得且所述当前信用评分模型的稳定性未超出所述预设稳定性阈值且所述当前信用评分模型的准确性未超出所述预设准确性阈值时，继续保留所述当前信用评分模型；所述更新模块，用以构建新的信用评分模型以对所述当前信用评分模型进行更新。
于本发明一具体实施例中，所述更新模块采用以下算法中的一种或多种的融合构建所述新的信用评分模型：基于逻辑回归的算法、基于决策树的算法、基于随机森林的算法以及基于神经网络的算法。
于本发明一具体实施例中，所述更新模块根据预设的判断策略，选择由所述算法中的一种或多种融合构建的多个备选信用评分模型中的最优备选评分模型作为所述新的信用评分模型。
于本发明一具体实施例中，还包括测试模块，用以在所述更新模块构建所述新的信用评分模型后，在预设的测试平台运行所述新的信用评分模型，以判断所述新的信用评分模型是否可用，且在所述新的信用评分模型是否可用时，令所述更新模块根据所述新的信用评分模型对所述当前信用评分模型进行更新。
于本发明一具体实施例中，所述测试模块用以在所述新的信用评分模型的稳定性未超出所述预设稳定性阈值且所述新的信用评分模型的准确性未超出所述预设准确性阈值时，判断所述新的信用评分模型可用。
如上所述，本发明的一种信用评分模型更新方法和系统，以构建当前信用评分模型的样本为基准，对所述当前信用评分模型的属性可获得性以及所述当前信用评分模型的稳定性和准确性进行判断，且当所述当前信用评分模型的属性不可获得或所述当前信用评分模型的稳定性超出预设稳定性阈值或所述当前信用评分模型的准确性超出预设准确性阈值时，构建新的信用评分模型以对所述当前信用评分模型进行更新；否则，继续使用所述当前信用评分模型。本发明可实时监测当前信用评分模型的运行情况，且在当前信用评分模型失效或者运行结果不准确时，可及时进行更行，保证信用评分的可靠性和准确性。
附图说明
图1显示为本发明的信用评分模型更新方法在一具体实施例中的流程示意图。
图2显示为本发明的信用评分模型更新方法在一具体实施例中的应用示意图。
图3显示为本发明的信用评分模型更新系统在一具体实施例中的组成示意图。
图4显示为本发明的信用评分模型更新系统在一具体实施例中的组成示意图。
元件标号说明
1 信用评分模型更新系统
11 信用评价模块
12 判断模块
13 更新模块
100 信用评分模型更新系统
101 实时请求消息获取单元
102 用户信用评分评价单元
103 当前模型基准样本保留以及计算单元
104 信息属性可获得性监测单元
105 当前模型准确性和稳定性监测单元
106 新模型生成单元
107 新模型测试单元
108 模型更新单元
S1～S5、I～IV 步骤
具体实施方式
以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。
需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，遂图示中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。
请参阅图1，显示为本发明的信用评分模型更新方法在一具体实施例中的流程示意图。所述方法包括：
步骤I：启动当前应用的当前信用评分模型，并获取所述当前信用评分模型对当前应用对象的评分结果；
步骤II：以构建所述当前信用评分模型的样本为基准，对所述当前信用评分模型的属性可获得性以及所述当前信用评分模型的稳定性和准确性进行判断，当所述当前信用评分模型的属性不可获得或所述当前信用评分模型的稳定性超出预设稳定性阈值或所述当前信用评分模型的准确性超出预设准确性阈值时，执行步骤III；所述当前信用评分模型的属性可获得且所述当前信用评分模型的稳定性未超出所述预设稳定性阈值且所述当前信用评分模型的准确性未超出所述预设准确性阈值时，执行步骤IV；即，步骤II为：以构建所述当前信用评分模型的样本为基准，判断所述当前信用评分模型的属性是否可获得且所述当前信用评分模型的稳定性是否未超出所述预设稳定性阈值且所述当前信用评分模型的准确性是否未超出所述预设准确性阈值。当为是时，执行步骤IV；当为否时，执行步骤III。于一具体实施例中，所述当前信用评分模型的属性的可获得性，包括：利用实时网络爬虫爬取相关的舆情信息，关注媒体、公报等信息源中对原有模型中属性群的舆情、法律、政策边界，结合上述边界构建属性集的可行域，若属性合规，处于可行域当中，那么所述当前信用评分模型的属性可获得。
优选的，所述当前信用评分模型的稳定性判断包括：(1)实时计算变量稳定性结果(VSI)，对当天模型中各个属性的分布与建立模型时的基准样本进行对比，计算出变量稳定性指数。(2)实时监测模型的KS-PSI联合指数，PSI指数计算的基准预测为建立模型时的基准样本结果，其中，KS-PSI的取值在0～1之间。结合应用模型的实际需求，设置KS-PSI联合指数的稳定性阈值。
可选地，所述当前信用评分模型的准确性判断包括：根据平台反馈的用户还款数据更新对应的样本数据，且根据更新后的样本数据监控所述当前信用评分模型的准确性。
步骤III：构建新的信用评分模型以对所述当前信用评分模型进行更新；
步骤IV：继续保留所述当前信用评分模型。
于一具体实施例中，采用以下算法中的一种或多种的融合构建所述新的信用评分模型：基于逻辑回归的算法、基于决策树的算法、基于随机森林的算法以及基于神经网络的算法。
进一步的，根据预设的判断策略，选择由所述算法中的一种或多种融合构建的多个备选信用评分模型中的最优备选评分模型作为所述新的信用评分模型。在本发明实施例中，进行算法筛选时包含筛选使用算法融合后的新算法，并按照如下策略实现算法的优选。按照多种算法分别生成的新信用评分模型或者多种算法融合而生成的新信用评分模型。若存在多个可用的新信用评分模型，按照设定策略选择最优的可用的新信用评分模型；若基于加权准确率检测判断新信用评分模型是否可用,设定策略为准确率最高；若基于KS值检测判断新信用评分模型是否可用,设定策略为KS值最大；若基于基尼值判断新信用评分模型是否可用,设定策略为基尼值最大；若基于ROC值判断新信用评分模型是否可用,设定策略为ROC值最大。
进一步的，在构建所述新的信用评分模型后，还用以在预设的测试平台运行所述新的信用评分模型，以判断所述新的信用评分模型是否可用，且在所述新的信用评分模型是否可用时，根据所述新的信用评分模型对所述当前信用评分模型进行更新。优选的，当所述新的信用评分模型的稳定性未超出所述预设稳定性阈值且所述新的信用评分模型的准确性未超出所述预设准确性阈值时，判断所述新的信用评分模型可用。
在一具体实施例中,在测试平台运行所述新信用评分模型以判断所述新信用评分模型是否可用，包括：仅采用离线检验模型性能的方法对模型进行筛选，测试集来自已有数据样本；或将实时数据引流到测试新信用评分模型的测试平台，并在测试平台同时运行已有结果的离线检验样本集，实时结果与已有结果同时进行性能测试，使得筛选后的新信用评分模型结果更符合场景化评分需求。
本发明可实时监控当前信用评分模型的信息属性的稳定性判断结果，对目前的用户客群波动进行分析，结果可初步判断信用评分模型稳定性，进一步可用于反欺诈监测。所述当前信用评分模型的信息属性可获得性监测，从目前舆情、政策、条例中分离出信息属性可用性风险，减少目前政策波动期中面临的外部风险，进一步提升了信用评分模型的适应性，即可合理地设置信用评分模型的更新周期，提高信用评分系统的性能，降低了成本。且对当前应用模型的准确性或稳定性的实时监控，对信用评分模型的更新周期的合理化设置有积极作用。
以下结合图2对本发明的信用评分模型更新方法做进一步的说明，图2显示为本发明的信用评分模型更新方法在一具体实施例中的应用示意图。
信用评分模型更新方法方法包括：
步骤S1：启动当前应用的信用评分模型，并获取应用对象的评分结果何其对应的实时评分状况。
步骤S2：启动模型的实时监控系统，利用建立模型时的信用评分模型的样本作为基准，监控当前模型的属性稳定性指标，实现模型属性集稳定性的实时监控。
步骤S3：构建当前模型的属性的可获得性可以保证，则仍保留原模型；若当前模型的属性的可获得性存在问题，则需考虑替代属性，更新原有属性，构建新的信用评分模型。
步骤S4：结合模型用户的最终信用水平，计算当前信用评分模型的准确性和稳定性。若当前信用评分模型稳定且准确，那么仍保留原模型。若当前信用评分模型不稳定或者不准确，则对模型进行调整，构建新的信用评分模型。
步骤S5：构建的新信用评分模型的准确性和可靠性过检后，将原有的信用评分模型更新为新信用评分模型。
本发明实施例提供的方法，对新增数据样本的数据模式和属性可获得性进行考量，对外部法律环境、政策环境等因素对模型中各属性的影响进行实时监测，对属性波动的提示使得企业的信用评分模型更加合规，合理安排信用评分模型的更新周期，为企业的信用评分产品争取研发时间,提高借贷款系统的性能,降低了成本。
本发明实施例中,监控模块分为两个部分。
一部分信用评分模型采集的信息主体可收集属性的监测。为更好地实现这一部分的监控，本发明实施例提供步骤S3的一种实时归纳方式：利用实时网络爬虫爬取相关的舆情信息，关注媒体、公报等信息源中对原有模型中属性群的舆情、法律、政策边界，结合上述边界构建属性集的可行域，若属性合规，处于可行域当中那么原有模型属性集可以保留；反之，则重新构建属性集。
另一部分是是监控现有模型的稳定性和可靠性。为更好的监控信用评分模型的稳定性，本发明实施例提供步骤S4的一种优选实现方式：(1)实时计算变量稳定性结果(VSI)，对当天模型中各个属性的分布与建立模型时的基准样本进行对比，计算出变量稳定性指数。(2)实时监测模型的KS-PSI联合指数，PSI指数计算的基准预测为建立模型时的基准样本结果，其中，KS-PSI的取值在0～1之间。结合应用模型的实际需求，设置KS-PSI联合指数的数据阈值。
本发明实施例中，监控模型准确性的技术手段有多种。为了更好地实现企业场景化的信用评分需求，本实施例结合企业处于的阶段，设置了第一类错误和第二类错误的动态权重函数，重新评估本实施例中信用评分模型的准确程度。
本发明实施例中，步骤S3、S4中建立新的信用模型的实现方式有多种。为了得到可行的信用评分模型，本发明实施例中新的信用模型的属性集为属性集可行域的子集。基于属性集性质进一步确定新信用评分模型使用的算法。目前，可应用于生成信用评分模型的算法种类较多。例如：基于逻辑回归，基于随机森林，基于GBDT等等。在本发明实施例中，进行算法筛选时包含使用算法融合后的新算法，并按照如下策略实现算法的优选。
本发明实施例中，步骤S5的实现方法有多种。为了获得较为稳定可靠的新信用评分模型。本发明实施例提供步骤S5的一种优选实现方式：按照多种算法分别生成的新信用评分模型或者多种算法融合而生成的新信用评分模型，基于本实施例的应用要求，采用离线检验模型性能的方法对模型进行筛选，测试集来自已有数据样本。针对本实施例的要求——模型的稳定性要求高于准确性要求，在存在多个可用的新信用评分模型的情况下，若针对测试样本，其中PSI结果较小的前50％且小于0.1的备选模型将进一步进行准确性结果考虑。在针对准确性进行判决时，若基于加权准确率检测判断新信用评分模型是否可用，设定策略为准确率最高；若基于KS值检测判断新信用评分模型是否可用,设定策略为KS值最大；若基于基尼值判断新信用评分模型是否可用,设定策略为基尼值最大；若基于ROC值判断新信用评分模型是否可用，设定策略为ROC值最大。
为了获得准确的新信用评分模型，本发明实施例还提供步骤S5的另一种优选实现方式：将实时数据引流到测试新信用评分模型的测试平台，并在测试平台同时运行已有结果的离线检验样本集，实时结果与已有结果同时进行性能测试，使得筛选后的新信用评分模型结果更符合场景化评分需求。
请参阅图3，显示为本发明的信用评分模型更新系统在一具体实施例中的组成示意图。所述信用评分模型更新系统1包括：信用评价模块11、判断模块12以及更新模块13。
所述信用评价模块11用以启动当前应用的当前信用评分模型，并获取所述当前信用评分模型对当前应用对象的评分结果；
所述判断模块12用以以构建所述当前信用评分模型的样本为基准，对所述当前信用评分模型的属性可获得性以及所述当前信用评分模型的稳定性和准确性进行判断，当所述当前信用评分模型的属性不可获得或所述当前信用评分模型的稳定性超出预设稳定性阈值或所述当前信用评分模型的准确性超出预设准确性阈值时，执行更新模块13；当所述当前信用评分模型的属性可获得且所述当前信用评分模型的稳定性未超出所述预设稳定性阈值且所述当前信用评分模型的准确性未超出所述预设准确性阈值时，继续保留所述当前信用评分模型；
所述更新模块13，用以构建新的信用评分模型以对所述当前信用评分模型进行更新。
进一步的，所述更新模块13采用以下算法中的一种或多种的融合构建所述新的信用评分模型：基于逻辑回归的算法、基于决策树的算法、基于随机森林的算法以及基于神经网络的算法。
进一步的，所述更新模块13根据预设的判断策略，选择由所述算法中的一种或多种融合构建的多个备选信用评分模型中的最优备选评分模型作为所述新的信用评分模型。
进一步的，所述信用评分模型更新系统1还包括测试模块，用以在所述更新模块13构建所述新的信用评分模型后，在预设的测试平台运行所述新的信用评分模型，以判断所述新的信用评分模型是否可用，且在所述新的信用评分模型是否可用时，令所述更新模块根据所述新的信用评分模型对所述当前信用评分模型进行更新。
其中，所述测试模块用以在所述新的信用评分模型的稳定性未超出所述预设稳定性阈值且所述新的信用评分模型的准确性未超出所述预设准确性阈值时，判断所述新的信用评分模型可用。
以下结合图4对本发明的信用评分模型更新系统做进一步的说明，图4显示为本发明的信用评分模型更新系统在一具体实施例中的组成示意图。
所述信用评分模型更新系统100包括：实时请求消息获取单元101、用户信用评分评价单元102、当前模型基准样本保留以及计算单元103、信息属性可获得性监测单元104、当前模型准确性和稳定性监测单元105、新模型生成单元106、新模型测试单元107以及模型更新单元108。
所述实时请求消息获取单元101用于获取企业需要信用评分的客户的请求消息、信息属性并分配用户标识码。
所述用户信用评分评价单元102用于运行当前平台已有的信用评分模型，获取信用评分结果。
所述当前模型基准样本保留以及计算单元103，用以对目前各变量分布情况和基准分布情况进行对比，计算实时属性的VSI结果。
所述信息属性可获得性监测单元104，用以对目前模型内属性集中信息属性的可靠性进行监测，对有潜在失效风险的信息属性进行合理替换并构建新信用评分模型。
所述当前模型准确性和稳定性监测单元105，用以对目前模型的准确性和稳定性结果进行监测。
所述新模型生成单元106，用以当模型属性集存在潜在失效风险或当前模型结果的准确性或稳定性出现问题时，应用现有算法技术生成新的信用评分模型。
所述新模型测试单元107用以对新模型进行实时或离线样本测试，获得各备选模型的准确性结果和稳定性结果。
所述模型更新单元108用于完成模型筛选后，将新信用模型应用于目前的信用评分平台。
本实施例提出的所述信用评分模型更新系统100，可自动识别目前舆情、法律、条例等对模型信息属性集中属性的可靠性，减少目前政策波动期中面临的外部风险，进一步提升了信用评分模型的适应性，合理地设置信用评分模型的更新周期，提高信用评分系统的性能，降低了成本。
所述当前模型基准样本保留、计算单元103具体用于：保留构建当前应用的信用评分模型的基准数据集，以此作为基准，将实时(当天、一周、一个月等)的样本数据的属性分布进行记录，计算实时的VSI结果。实时监控VSI指标，以VSI指标是否超出阈值作为数据样本稳定性的初步监测结果。
其中，VSI的取值结果取决于目前评分模型评分卡值域，VSI监控的具体实现方式不限。
所述新模型生成单元106具体用于：按照多种算法分别生成新信用评分模型；若存在多个可用的新信用评分模型，按照设定策略选择最优的可用的新信用评分模型。目前，可应用于生成信用评分模型的算法种类较多。例如：基于逻辑回归，基于随机森林，基于GBDT等等。在本发明实施例中，进行算法筛选时包含使用算法融合后的新算法。
所述新模型测试单元107具体用于：对生成的可用的信用评分模型集进行筛选。且在考虑模型的稳定性时，若针对离线测试样本，其中PSI结果较小的前50％且小于0.1的备选模型将进一步进行准确性结果考虑。在考虑模型的准确性时，若基于加权准确率检测判断新信用评分模型是否可用,设定策略为准确率最高；若基于KS值检测判断新信用评分模型是否可用,设定策略为KS值最大；若基于基尼值判断新信用评分模型是否可用,设定策略为基尼值最大；若基于ROC值判断新信用评分模型是否可用,设定策略为ROC值最大。
综上所述，本发明的信用评分模型更新方法和系统，以构建当前信用评分模型的样本为基准，对所述当前信用评分模型的属性可获得性以及所述当前信用评分模型的稳定性和准确性进行判断，且当所述当前信用评分模型的属性不可获得或所述当前信用评分模型的稳定性超出预设稳定性阈值或所述当前信用评分模型的准确性超出预设准确性阈值时，构建新的信用评分模型以对所述当前信用评分模型进行更新；否则，继续使用所述当前信用评分模型。本发明可实时监测当前信用评分模型的运行情况，且在当前信用评分模型失效或者运行结果不准确时，可及时进行更行，保证信用评分的可靠性和准确性。所以，本发明有效克服了现有技术中的种种缺点而具高度产业利用价值。
上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本发明的权利要求所涵盖。

Claims (10)

1.一种信用评分模型更新方法，其特征在于，所述方法包括：
启动当前应用的当前信用评分模型，并获取所述当前信用评分模型对当前应用对象的评分结果；
以构建所述当前信用评分模型的样本为基准，对所述当前信用评分模型的属性可获得性以及所述当前信用评分模型的稳定性和准确性进行判断，
当所述当前信用评分模型的属性不可获得或所述当前信用评分模型的稳定性超出预设稳定性阈值或所述当前信用评分模型的准确性超出预设准确性阈值时，构建新的信用评分模型以对所述当前信用评分模型进行更新；
当所述当前信用评分模型的属性可获得且所述当前信用评分模型的稳定性未超出所述预设稳定性阈值且所述当前信用评分模型的准确性未超出所述预设准确性阈值时，继续保留所述当前信用评分模型。
2.根据权利要求1所述的信用评分模型更新方法，其特征在于：采用以下算法中的一种或多种的融合构建所述新的信用评分模型：基于逻辑回归的算法、基于决策树的算法、基于随机森林的算法以及基于神经网络的算法。
3.根据权利要求2所述的信用评分模型更新方法，其特征在于：根据预设的判断策略，选择由所述算法中的一种或多种融合构建的多个备选信用评分模型中的最优备选评分模型作为所述新的信用评分模型。
4.根据权利要求1所述的信用评分模型更新方法，其特征在于：在构建所述新的信用评分模型后，还用以在预设的测试平台运行所述新的信用评分模型，以判断所述新的信用评分模型是否可用，且在所述新的信用评分模型是否可用时，根据所述新的信用评分模型对所述当前信用评分模型进行更新。
5.根据权利要求4所述的信用评分模型更新方法，其特征在于：当所述新的信用评分模型的稳定性未超出所述预设稳定性阈值且所述新的信用评分模型的准确性未超出所述预设准确性阈值时，判断所述新的信用评分模型可用。
6.一种信用评分模型更新系统，其特征在于，所述系统包括：
信用评价模块，用以启动当前应用的当前信用评分模型，并获取所述当前信用评分模型对当前应用对象的评分结果；
判断模块，用以以构建所述当前信用评分模型的样本为基准，对所述当前信用评分模型的属性可获得性以及所述当前信用评分模型的稳定性和准确性进行判断，当所述当前信用评分模型的属性不可获得或所述当前信用评分模型的稳定性超出预设稳定性阈值或所述当前信用评分模型的准确性超出预设准确性阈值时，执行更新模块；当所述当前信用评分模型的属性可获得且所述当前信用评分模型的稳定性未超出所述预设稳定性阈值且所述当前信用评分模型的准确性未超出所述预设准确性阈值时，继续保留所述当前信用评分模型；
所述更新模块，用以构建新的信用评分模型以对所述当前信用评分模型进行更新。
7.根据权利要求6所述的信用评分模型更新系统，其特征在于：所述更新模块采用以下算法中的一种或多种的融合构建所述新的信用评分模型：基于逻辑回归的算法、基于决策树的算法、基于随机森林的算法以及基于神经网络的算法。
8.根据权利要求7所述的信用评分模型更新系统，其特征在于：所述更新模块根据预设的判断策略，选择由所述算法中的一种或多种融合构建的多个备选信用评分模型中的最优备选评分模型作为所述新的信用评分模型。
9.根据权利要求6所述的信用评分模型更新系统，其特征在于：还包括测试模块，用以在所述更新模块构建所述新的信用评分模型后，在预设的测试平台运行所述新的信用评分模型，以判断所述新的信用评分模型是否可用，且在所述新的信用评分模型是否可用时，令所述更新模块根据所述新的信用评分模型对所述当前信用评分模型进行更新。
10.根据权利要求9所述的信用评分模型更新系统，其特征在于：所述测试模块用以在所述新的信用评分模型的稳定性未超出所述预设稳定性阈值且所述新的信用评分模型的准确性未超出所述预设准确性阈值时，判断所述新的信用评分模型可用。
CN201711308017.3A 2017-12-11 2017-12-11 一种信用评分模型更新方法及系统 Pending CN108109066A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711308017.3A CN108109066A (zh) 2017-12-11 2017-12-11 一种信用评分模型更新方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711308017.3A CN108109066A (zh) 2017-12-11 2017-12-11 一种信用评分模型更新方法及系统

Publications (1)

Publication Number Publication Date
CN108109066A true CN108109066A (zh) 2018-06-01

Family

ID=62209623

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711308017.3A Pending CN108109066A (zh) 2017-12-11 2017-12-11 一种信用评分模型更新方法及系统

Country Status (1)

Country Link
CN (1) CN108109066A (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109035003A (zh) * 2018-07-04 2018-12-18 北京玖富普惠信息技术有限公司 基于机器学习的反欺诈模型建模方法和反欺诈监控方法
CN109214298A (zh) * 2018-08-09 2019-01-15 盈盈（杭州）网络技术有限公司 一种基于深度卷积网络的亚洲女性颜值评分模型方法
CN109636243A (zh) * 2019-01-03 2019-04-16 深圳壹账通智能科技有限公司 模型故障检测方法、装置、计算机设备以及存储介质
CN109800947A (zh) * 2018-12-14 2019-05-24 平安科技（深圳）有限公司 基于机器学习的贷款业务处理方法、装置、计算机设备
CN110928859A (zh) * 2019-11-26 2020-03-27 太平金融科技服务（上海）有限公司 模型监控方法、装置、计算机设备和存储介质
CN111383100A (zh) * 2020-03-25 2020-07-07 中国建设银行股份有限公司 基于风险模型的全生命周期管控方法和装置
CN111583031A (zh) * 2020-05-15 2020-08-25 上海海事大学 一种基于集成学习的申请评分卡模型建立方法
CN112579047A (zh) * 2020-12-15 2021-03-30 安徽兆尹信息科技股份有限公司 模型配置方法以及存储介质
CN112861955A (zh) * 2021-02-01 2021-05-28 深圳无域科技技术有限公司 风险模型策略生成系统及方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130332338A1 (en) * 2010-01-13 2013-12-12 Corelogic Solutions, Llc System and method of detecting and assessing multiple types of risks related to mortgage lending
CN106022892A (zh) * 2016-05-30 2016-10-12 深圳市华傲数据技术有限公司 信用评分模型的更新方法及系统
CN106022912A (zh) * 2016-05-30 2016-10-12 深圳市华傲数据技术有限公司 评价模型的更新方法及系统

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130332338A1 (en) * 2010-01-13 2013-12-12 Corelogic Solutions, Llc System and method of detecting and assessing multiple types of risks related to mortgage lending
CN106022892A (zh) * 2016-05-30 2016-10-12 深圳市华傲数据技术有限公司 信用评分模型的更新方法及系统
CN106022912A (zh) * 2016-05-30 2016-10-12 深圳市华傲数据技术有限公司 评价模型的更新方法及系统

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109035003A (zh) * 2018-07-04 2018-12-18 北京玖富普惠信息技术有限公司 基于机器学习的反欺诈模型建模方法和反欺诈监控方法
CN109214298A (zh) * 2018-08-09 2019-01-15 盈盈（杭州）网络技术有限公司 一种基于深度卷积网络的亚洲女性颜值评分模型方法
CN109214298B (zh) * 2018-08-09 2021-06-08 盈盈（杭州）网络技术有限公司 一种基于深度卷积网络的亚洲女性颜值评分模型方法
CN109800947A (zh) * 2018-12-14 2019-05-24 平安科技（深圳）有限公司 基于机器学习的贷款业务处理方法、装置、计算机设备
CN109800947B (zh) * 2018-12-14 2023-04-18 平安科技（深圳）有限公司 基于机器学习的贷款业务处理方法、装置、计算机设备
CN109636243A (zh) * 2019-01-03 2019-04-16 深圳壹账通智能科技有限公司 模型故障检测方法、装置、计算机设备以及存储介质
CN110928859A (zh) * 2019-11-26 2020-03-27 太平金融科技服务（上海）有限公司 模型监控方法、装置、计算机设备和存储介质
CN111383100A (zh) * 2020-03-25 2020-07-07 中国建设银行股份有限公司 基于风险模型的全生命周期管控方法和装置
CN111583031A (zh) * 2020-05-15 2020-08-25 上海海事大学 一种基于集成学习的申请评分卡模型建立方法
CN112579047A (zh) * 2020-12-15 2021-03-30 安徽兆尹信息科技股份有限公司 模型配置方法以及存储介质
CN112861955A (zh) * 2021-02-01 2021-05-28 深圳无域科技技术有限公司 风险模型策略生成系统及方法

Similar Documents

Publication Publication Date Title
CN108109066A (zh) 一种信用评分模型更新方法及系统
Haddad et al. Selection of discrete multiple criteria decision making methods in the presence of risk and uncertainty
Tse et al. Managing product quality risk and visibility in multi-layer supply chain
Mehregan et al. Analysis of interactions among sustainability supplier selection criteria using ISM and fuzzy DEMATEL
CN110111198A (zh) 用户金融风险预估方法、装置、电子设备及可读介质
JP2019519021A (ja) パフォーマンスモデル悪影響補正
CN110162566A (zh) 业务数据的关联分析方法、装置、计算机设备及存储介质
CN109583782B (zh) 支持多数据源的汽车金融风控方法
CN113609193A (zh) 训练用于预测客户交易行为的预测模型的方法及装置
CN108596765A (zh) 一种金融电子资源推荐方法和装置
Saisridhar et al. Assessing supply chain responsiveness, resilience and robustness (Triple-R) by computer simulation: a systematic review of the literature
CN111563673A (zh) 一种计算机技术数字化程度评估方法和装置
CN109146667B (zh) 一种基于量化统计的外部接口综合应用模型的构建方法
Nourbakhsh et al. Considering supply risk for supplier selection using an integrated framework of data envelopment analysis and neural networks
Meng et al. A decision method to maximize service quality under budget constraints: the kano study of a Chinese machinery manufacturer
CV et al. An approach for measuring a manufacturer’s preferred supplier status
Kabak et al. A holistic evaluation of the e-procurement website by using a hybrid MCDM methodology
Friberg et al. Analysis of information quality criteria in a crisis situation as a characteristic of complex situations.
Barzanti et al. A decision support system for fund raising management based on the Choquet integral methodology
KR102499182B1 (ko) 인공지능을 이용한 가계대출 사기/부실 상시감사지원시스템
Lin et al. Developing T ω fuzzy DEMATEL method for evaluating green supply chain management practices
Tudor et al. Data mining algorithms and techniques research in CRM systems
Sahoo et al. Faulty diagnostics model in e-commerce using AI
Mojtahedi et al. Risk identification and analysis concurrently: Group Decision Making afpproach
CN113674013A (zh) 一种基于商户自定义规则的广告竞价调整方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20180601