CN110322143B - 模型实体化管理方法、装置、设备及计算机存储介质 - Google Patents

模型实体化管理方法、装置、设备及计算机存储介质 Download PDF

Info

Publication number
CN110322143B
CN110322143B CN201910584180.5A CN201910584180A CN110322143B CN 110322143 B CN110322143 B CN 110322143B CN 201910584180 A CN201910584180 A CN 201910584180A CN 110322143 B CN110322143 B CN 110322143B
Authority
CN
China
Prior art keywords
model
target
grade
management
materialization
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910584180.5A
Other languages
English (en)
Other versions
CN110322143A (zh
Inventor
刘堃
桑晓临
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
WeBank Co Ltd
Original Assignee
WeBank Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by WeBank Co Ltd filed Critical WeBank Co Ltd
Priority to CN201910584180.5A priority Critical patent/CN110322143B/zh
Publication of CN110322143A publication Critical patent/CN110322143A/zh
Application granted granted Critical
Publication of CN110322143B publication Critical patent/CN110322143B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00Administration; Management
    • G06Q10/06Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063Operations research, analysis or management
    • G06Q10/0635Risk analysis of enterprise or organisation activities
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00Administration; Management
    • G06Q10/06Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063Operations research, analysis or management
    • G06Q10/0639Performance analysis of employees; Performance analysis of enterprise or organisation operations
    • G06Q10/06393Score-carding, benchmarking or key performance indicator [KPI] analysis
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q40/00Finance; Insurance; Tax strategies; Processing of corporate or income taxes

Landscapes

  • Business, Economics & Management (AREA)
  • Human Resources & Organizations (AREA)
  • Engineering & Computer Science (AREA)
  • Strategic Management (AREA)
  • Economics (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Development Economics (AREA)
  • General Business, Economics & Management (AREA)
  • Educational Administration (AREA)
  • Physics & Mathematics (AREA)
  • Marketing (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Game Theory and Decision Science (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Tourism & Hospitality (AREA)
  • Finance (AREA)
  • Technology Law (AREA)
  • Accounting & Taxation (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明公开了一种模型实体化管理方法、装置、设备及计算机存储介质,包括:在接收到模型风险评估请求时,确定所述模型风险评估请求对应的目标模型;根据所述目标模型的属性确定所述目标模型的模型类型,根据所述目标模型的应用场景信息确定所述目标模型的模型等级;获取所述目标模型的当前阶段,根据所述当前阶段、所述模型类型和所述模型等级,配置所述目标模型的模型管理工具;通过所述模型管理工具评估所述目标模型,得到所述目标模型的风险评估结果。本发明中根据目标模型的当前阶段、模型类型和模型等级,配置模型管理工具,并利用模型管理工具进行模型管理,实现了规范化地模型管理,同时提高了模型的管理效率。

Description

模型实体化管理方法、装置、设备及计算机存储介质
技术领域
本发明涉及金融科技(Fintech)技术领域,尤其涉及一种模型实体化管理方法、装置、设备及计算机存储介质。
背景技术
近年来,随着计算机技术的发展,越来越多的技术(大数据、分布式、区块链Blockchain、人工智能等)应用在金融领域,传统金融业正在逐步向金融科技(Fintech)转变。
金融科技依赖于实现金融数据分析的模型和策略,优化的模型和策略可以更好地服务于金融业务,因此需要对模型与策略进行管理;当前的模型和策略的没有统一框架,只要模型稍微不同,就需要做大量的管理要求修改,导致模型管理工具不可以复用,且管理过程中缺乏客观标准、管理不规范。
发明内容
本发明的主要目的在于提供一种模型实体化管理方法、装置、设备及计算机存储介质,旨在解决当前模型管理不规范,管理效率低的技术问题。
为实现上述目的,本发明提供一种模型实体化管理方法,所述模型实体化管理方法包括以下步骤:
在接收到模型风险评估请求时,确定所述模型风险评估请求对应的目标模型;
根据所述目标模型的属性确定所述目标模型的模型类型,根据所述目标模型的应用场景信息确定所述目标模型的模型等级;
获取所述目标模型的当前阶段,根据所述当前阶段、所述模型类型和所述模型等级,配置所述目标模型的模型管理工具;
通过所述模型管理工具评估所述目标模型,得到所述目标模型的风险评估结果。
可选地,所述根据所述目标模型的属性确定所述目标模型的模型类型的步骤,包括:
获取所述目标模型的属性,其中,所述属性包括模型样本来源、模型分析方法和模型监督信息;
查询预设分类表,获取与所述模型样本来源、所述模型分析方法和模型监督信息对应的目标类型,并将所述目标类型作为所述目标模型的模型类型。
可选地,所述根据所述目标模型的应用场景信息确定所述目标模型的模型等级的步骤,包括:
获取所述目标模型的应用场景信息,根据所述应用场景信息确定所述目标模型对应的业务场景,及所述业务场景对应的影响因子;
将各所述影响因子对应的影响系数与权重进行加权计算,得到各所述影响因子的权重系数;
将各所述影响因子的权重系数相加,得到所述目标模型的总分值,将所述总分值对应的等级作为所述目标模型的模型等级。
可选地,所述根据所述目标模型的应用场景信息确定所述目标模型的模型等级的步骤之前,包括:
判断是否存在与所述目标模型对应的目标策略;
若存在与所述目标模型对应的目标策略,则将所述目标策略的等级作为所述目标模型的模型等级;
若不存在与所述目标模型对应的目标策略,则执行所述根据所述目标模型的应用场景信息确定所述目标模型的模型等级的步骤。
可选地,所述若存在与所述目标模型对应的目标策略,则将所述目标策略的等级作为所述目标模型的模型等级的步骤,包括:
若存在与所述目标模型对应的目标策略,则判断所述目标策略的数量是否为至少两个;
若所述目标策略的数量是至少两个,则获取各所述目标策略的等级,并将最高的等级作为所述目标模型的模型等级。
可选地,所述获取所述目标模型的当前阶段,根据所述当前阶段、所述模型类型和所述模型等级,配置所述目标模型的模型管理工具的步骤,包括:
获取所述目标模型的当前阶段,其中,所述当前阶段包括开发阶段、上线阶段或维护阶段;
获取所述当前阶段对应的评估指标集合,从所述评估指标集合中选择所述模型类型和所述模型等级对应的目标评估指标;
根据所述目标评估指标,配置所述目标模型的模型管理工具。
可选地,所述通过所述模型管理工具评估所述目标模型,得到所述目标模型的风险评估结果的步骤,包括:
通过所述模型管理工具评估所述目标模型,得到所述目标模型的风险值;
根据所述风险值与所述模型管理工具中的标准分值的比较结果,得到所述目标模型的风险评估结果。
此外,为了实现上述目的,本发明还提供一种模型实体化管理装置,其所述模型实体化管理装置包括:
请求接收模块,用于在接收到模型风险评估请求时,确定所述模型风险评估请求对应的目标模型;
分类与等级确定模块,用于根据所述目标模型的属性确定所述目标模型的模型类型,根据所述目标模型的应用场景信息确定所述目标模型的模型等级;
工具配置模块,用于获取所述目标模型的当前阶段,根据所述当前阶段、所述模型类型和所述模型等级,配置所述目标模型的模型管理工具;
结果输出模块,用于通过所述模型管理工具评估所述目标模型,得到所述目标模型的风险评估结果。
可选地,所述分类与等级确定模块,包括:
属性获取单元,用于获取所述目标模型的属性,其中,所述属性包括模型样本来源、模型分析方法和模型监督信息;
分类确定单元,用于查询预设分类表,获取与所述模型样本来源、所述模型分析方法和模型监督信息对应的目标类型,并将所述目标类型作为所述目标模型的模型类型。
可选地,分类与等级确定模块,包括:
场景确定单元,用于获取所述目标模型的应用场景信息,根据所述应用场景信息确定所述目标模型对应的业务场景,及所述业务场景对应的影响因子;
权重计算单元,用于将各所述影响因子对应的影响系数与权重进行加权计算,得到各所述影响因子的权重系数;
等级确定单元,用于将各所述影响因子的权重系数相加,得到所述目标模型的总分值,将所述总分值对应的等级作为所述目标模型的模型等级。
可选地,所述模型实体化管理装置,包括:
策略判断模块,用于判断是否存在与所述目标模型对应的目标策略;
第一判定模块,用于若存在与所述目标模型对应的目标策略,则将所述目标策略的等级作为所述目标模型的模型等级;
第二判定模块,用于若不存在与所述目标模型对应的目标策略,则执行所述根据所述目标模型的应用场景信息确定所述目标模型的模型等级的步骤。
可选地,所述第一判定模块包括:
数量判断单元,用于若存在与所述目标模型对应的目标策略,则判断所述目标策略的数量是否为至少两个;
等级确定单元,用于若所述目标策略的数量是至少两个,则获取各所述目标策略的等级,并将最高的等级作为所述目标模型的模型等级。
可选地,所述工具配置模块,包括:
阶段获取单元,用于获取所述目标模型的当前阶段,其中,所述当前阶段包括开发阶段、上线阶段或维护阶段;
指标获取单元,用于获取所述当前阶段对应的评估指标集合,从所述评估指标集合中选择所述模型类型和所述模型等级对应的目标评估指标;
工具配置单元,用于根据所述目标评估指标,配置所述目标模型的模型管理工具。
可选地,所述结果输出模块,包括:
评估单元,用于通过所述模型管理工具评估所述目标模型,得到所述目标模型的风险值;
输出单元,用于根据所述风险值与所述模型管理工具中的标准分值的比较结果,得到所述目标模型的风险评估结果。
此外,本发明还提供一种模型实体化管理设备,所述设备包括:存储器、处理器及存储在所述存储器上并可在所述处理器上运行的模型实体化管理程序,所述模型实体化管理程序被所述处理器执行时实现如上任一项所述的模型实体化管理方法的步骤。
此外,本发明还提供一种计算机存储介质,应用于计算机,所述计算机存储介质上存储有模型实体化管理对应的计算机程序,所述模型实体化管理对应的计算机程序被处理器执行时实现如上任一项所述的模型实体化管理方法的步骤。
本发明实施例提供一种模型实体化管理方法、装置、设备及计算机存储介质,本发明在接收到模型风险评估请求时,确定所述模型风险评估请求对应的目标模型;根据所述目标模型的属性确定所述目标模型的模型类型,根据所述目标模型的应用场景信息确定所述目标模型的模型等级;获取所述目标模型的当前阶段,根据所述当前阶段、所述模型类型和所述模型等级,配置所述目标模型的模型管理工具;通过所述模型管理工具评估所述目标模型,得到所述目标模型的风险评估结果。本发明实施例中,模型实体化管理设备根据目标模型的当前阶段、模型类型和模型等级,配置目标模型的模型管理工具,而不需要模型管理人员针对每一个模型定制对应的模型管理工具,使得模型管理的效率提高,与此同时,通过配置化的模型管理工具,得到的评估结果更加客观,使得模型的管理更加规范。
附图说明
图1是本发明实施例方案涉及的硬件运行环境的结构示意图;
图2为本发明模型实体化管理方法第一实施例的流程示意图;
图3为本发明模型实体化管理方法第三实施例的流程示意图;
图4为本发明模型实体化管理方法第五实施例的流程示意图;
图5为本发明模型实体化管理装置一实施例的功能模块示意图。
本发明目的的实现、功能特点及优点将结合实施例,参照附图做进一步说明。
具体实施方式
应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
如图1所示,图1是本发明实施例方案涉及的硬件运行环境的结构示意图。图1为模型实体化管理设备的硬件运行环境的结构示意图。本发明实施例模型实体化管理设备既可以是终端还可以是服务器,本实施例中的模型实体化管理设备可以是PC,便携计算机等设备。
如图1所示,该模型实体化管理设备可以包括:处理器1001,例如CPU,网络接口1004,用户接口1003,存储器1005,通信总线1002。其中,通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏(Display)、输入单元比如键盘(Keyboard),可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如WI-FI接口)。存储器1005可以是高速RAM存储器,也可以是稳定的存储器(non-volatile memory),例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。
本领域技术人员可以理解,图1中示出的模型实体化管理设备结构并不构成对模型实体化管理设备的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。
如图1所示,作为一种计算机可读存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及模型实体化管理程序。其中,操作系统是管理和控制模型实体化管理设备硬件和软件资源的程序,支持模型实体化管理程序以及其它软件或程序的运行。
在图1所示的模型实体化管理设备中,用户接口1003主要用于与各个终端进行数据通信;网络接口1004主要用于连接后台服务器,与后台服务器进行数据通信;而处理器1001可以用于调用存储器1005中存储的模型实体化管理程序,并执行以下操作:
在接收到模型风险评估请求时,确定所述模型风险评估请求对应的目标模型;
根据所述目标模型的属性确定所述目标模型的模型类型,根据所述目标模型的应用场景信息确定所述目标模型的模型等级;
获取所述目标模型的当前阶段,根据所述当前阶段、所述模型类型和所述模型等级,配置所述目标模型的模型管理工具;
通过所述模型管理工具评估所述目标模型,得到所述目标模型的风险评估结果。
进一步地,处理器1001还可以用于调用存储器1005中存储的模型实体化管理程序,并执行根据所述目标模型的属性确定所述目标模型的模型类型的步骤,包括:
获取所述目标模型的属性,其中,所述属性包括模型样本来源、模型分析方法和模型监督信息;
查询预设分类表,获取与所述模型样本来源、所述模型分析方法和模型监督信息对应的目标类型,并将所述目标类型作为所述目标模型的模型类型。
进一步地,处理器1001还可以用于调用存储器1005中存储的模型实体化管理程序,并执行所述根据所述目标模型的应用场景信息确定所述目标模型的模型等级的步骤,包括:
获取所述目标模型的应用场景信息,根据所述应用场景信息确定所述目标模型对应的业务场景,及所述业务场景对应的影响因子;
将各所述影响因子对应的影响系数与权重进行加权计算,得到各所述影响因子的权重系数;
将各所述影响因子的权重系数相加,得到所述目标模型的总分值,将所述总分值对应的等级作为所述目标模型的模型等级。
进一步地,处理器1001还可以用于调用存储器1005中存储的模型实体化管理程序,并执行根据所述目标模型的应用场景信息确定所述目标模型的模型等级的步骤之前,包括:
判断是否存在与所述目标模型对应的目标策略;
若存在与所述目标模型对应的目标策略,则将所述目标策略的等级作为所述目标模型的模型等级;
若不存在与所述目标模型对应的目标策略,则执行所述根据所述目标模型的应用场景信息确定所述目标模型的模型等级的步骤。
进一步地,处理器1001还可以用于调用存储器1005中存储的模型实体化管理程序,并执行所述若存在与所述目标模型对应的目标策略,则将所述目标策略的等级作为所述目标模型的模型等级的步骤,包括:
若存在与所述目标模型对应的目标策略,则判断所述目标策略的数量是否为至少两个;
若所述目标策略的数量是至少两个,则获取各所述目标策略的等级,并将最高的等级作为所述目标模型的模型等级。
进一步地,处理器1001还可以用于调用存储器1005中存储的模型实体化管理程序,并执行所述获取所述目标模型的当前阶段,根据所述当前阶段、所述模型类型和所述模型等级,配置所述目标模型的模型管理工具的步骤,包括:
获取所述目标模型的当前阶段,其中,所述当前阶段包括开发阶段、上线阶段或维护阶段;
获取所述当前阶段对应的评估指标集合,从所述评估指标集合中选择所述模型类型和所述模型等级对应的目标评估指标;
根据所述目标评估指标,配置所述目标模型的模型管理工具。
进一步地,处理器1001还可以用于调用存储器1005中存储的模型实体化管理程序,并执行通过所述模型管理工具评估所述目标模型,得到所述目标模型的风险评估结果的步骤,包括:
通过所述模型管理工具评估所述目标模型,得到所述目标模型的风险值;
根据所述风险值与所述模型管理工具中的标准分值的比较结果,得到所述目标模型的风险评估结果。
基于上述的结构,提出本发明模型实体化管理方法的各个实施例。
参照图2,图2为本发明模型实体化管理方法第一实施例的流程示意图,可以理解的是,虽然在流程图中示出了逻辑顺序,但是在某些情况下,可以不同于此处的顺序执行所示出或描述的步骤。
本实施例模型实体化管理方法包括:
步骤S10,在接收到模型风险评估请求时,确定所述模型风险评估请求对应的目标模型。
本实施例中,用户在模型实体化管理设备上触发模型风险评估请求,其中模型风险评估请求的触发方式不作具体限定,即,模型风险评估请求可以是用户主动触发的,例如,用户在模型实体化管理设备上点击:xxx模型的评估按键,主动触发模型风险评估请求;此外,模型风险评估请求还可以是自动触发的,例如,用户在模型实体化管理设备上设置预设时间自动触发模型风险评估请求,在模型风险评估请求模型风险评估请求检测到达预设时间时自动触发模型风险评估请求。
模型实体化管理设备在接收到模型风险评估请求时,模型实体化管理设备获取模型风险评估请求对应的模型标识,例如,模型编号,模型实体化管理设备获取该模型编号对应待评估的目标模型。
步骤S20,根据所述目标模型的属性确定所述目标模型的模型类型,根据所述目标模型的应用场景信息确定所述目标模型的模型等级。
本实施例中,模型实体化管理设备将模型分为不同的模型类型,并为每一类模型定制对应的模型评估工具,使得模型管理更加规范,具体的,模型实体化管理设备获取目标模型的属性,并根据目标模型的属性将确定目标模型的模型类型;例如,根据属性中的数据分析处理方式,模型实体化管理设备将模型分为标识化模型和非标准化模型;再比如,根据属性是否对应有监督信息,模型实体化管理设备将模型分为监督模型和非监督模型等等。
在确定目标模型的模型类型之后,为了实现更加合理的模型管理,本实施例中模型实体化管理设备根据目标模型的应用场景信息,确定目标模型的模型等级,具体地:
模型实体化管理设备获取目标模型的应用场景信息,模型实体化管理设备根据应用场景信息确定目标模型直接或间接的对业务运作的影响情况,然后,模型实体化管理设备根据目标模型对业务运作的影响情况设置对应的等级作为模型等级,例如,目标模型是产品类模型,模型实体化管理设备根据目标模型影响的客户数量确定模型等级;或者,目标模型是营销类模型,模型实体化管理设备根据目标模型影响的营销金额高低确定模型等级;再或者,目标模型是管理类模型,模型实体化管理设备根据外部关注程度与模型成熟程度确定模型等级。
本实施例中由于不同类型模型的重要程度不同,为了使得模型的管理更加合理,本实施例中对模型进行等级划分,使得模型实体化管理设备能够按照不同管理力度对模型进行管理,同时在量化评估的参考标准上也能够因为等级等差异而灵活制定。
步骤S30,获取所述目标模型的当前阶段,根据所述当前阶段、所述模型类型和所述模型等级,配置所述目标模型的模型管理工具。
模型实体化管理设备获取目标模型的当前阶段,并根据目标模型的当前阶段、模型类型和模型等级,配置目标模型的模型管理工具,即,模型实体化管理设备中预先设置了不同的管理模板,模型实体化管理设备可以获取与当前阶段、模型类型和模型等级对应的管理模板,模型实体化管理设备将各管理模板组合,得到可执行的模型管理工具。
本实施例中,模型实体化管理设备按照目标模型的当前阶段,模型类型和模型等级选择管理目标配置得到对应的模型管理工具,实现了模型管理工具的智能配置。
步骤S40,通过所述模型管理工具评估所述目标模型,得到所述目标模型的风险评估结果。
本实施例中,步骤S40,包括:
步骤a1,通过所述模型管理工具评估所述目标模型,得到所述目标模型的风险值;
步骤a2,将所述风险值与所述模型管理工具中的标准分值进行比较,得到所述目标模型的风险评估结果。
本实施例中,模型实体化管理设备按照配置得到的模型管理工具评估目标模型,得到目标模型的风险值;然后,模型实体化管理设备获取模型管理工具中的标准分值,模型实体化管理设备将风险值与标准分值进行比较,若风险值大于标准分值,则输出评估不通过;若风险值小于或等于标准分值,则输出评估通过。
本实施例中,模型实体化管理设备根据目标模型的当前阶段、模型类型和模型等级,配置目标模型的模型管理工具,而不需要模型管理人员针对每一个模型定制对应的模型管理工具,使得模型管理的效率提高,与此同时,通过配置化的模型管理工具,得到的评估结果更加客观,使得模型的管理更加规范。
进一步地,在模型实体化管理方法第一实施例的基础上,提出本发明模型实体化管理方法第二实施例,
本实施例是第一实施例中步骤S20的细化,本实施例中给出了一种根据目标模型的属性确定目标模型的模型类型的具体实现方式,包括:
步骤S21,获取所述目标模型的属性。
模型实体化管理设备获取目标模型的属性,其中,属性包括模型样本来源、模型分析方法和模型监督信息。
步骤S22,查询预设分类表,获取与所述模型样本来源、所述模型分析方法和模型监督信息对应的目标类型,将所述目标类型作为所述目标模型的模型类型。
模型实体化管理设备查询预设分类表,预设分类表是指预先设置的模型属性与模型类别映射表,模型实体化管理设备获取与模型样本来源、模型分析方法和模型监督信息对应的目标类型,模型实体化管理设备将目标类型作为目标模型的模型类型。
本实施例中,模型实体化管理设备中预设分类表,模型实体化管理设备可以根据目标模型的属性查询预设分类表,确定目标模型的类型,使得目标模型的分类更加标准,以根据不同的模型类型设置不同的模型评估工具,使得模型评估更加灵活。
进一步地,在模型实体化管理方法第一实施例的基础上,还提出本发明模型实体化管理方法第三实施例。
参照图3,图3为本发明模型实体化管理方法第三实施例的流程示意图,本实施例是第一实施例中步骤S20的细化,本实施例中给出了一种根据目标模型的应用场景信息确定目标模型的模型等级的具体实现方法,包括:
步骤S23,获取所述目标模型的应用场景信息,根据所述应用场景信息确定所述目标模型对应的业务场景。
模型实体化管理设备获取目标模型的应用场景信息,其中,应用场景信息包括应用环节、应用场景或者显示界面等等,模型实体化管理根据应用场景信息确定目标模型对应的业务场景,即,模型实体化按照应用场景信息,将目标模型划分为产品模型、管理模型、营销模型、风险控制模型等等。
步骤S24,获取所述业务场景对应的影响因子,将各所述影响因子的影响系数与权重进行加权计算,得到各所述影响因子的权重系数。
模型实体化管理设备获取业务场景对应的影响因子,例如,营销类模型的影响因子为:投入金融、客户数量和成本,模型实体化管理设备将各影响因子的影响系数与权重进行加权计算,得到各影响因子的权重系数。
步骤S25,将各所述影响因子的权重系数相加,得到所述目标模型的总分值,将所述总分值对应的等级作为所述目标模型的模型等级。
模型实体化管理设备将各影响因子的权重系数相加,得到目标模型的总分值,然后,模型实体化管理设备将总分值对应的等级作为目标模型的模型等级。
在本实施例中,模型实体化管理设备根据目标模型的应用场景信息,确定目标模型的业务场景,然后获取该业务场景对应的影响因子,以利用影响因子,评估目标模型的等级,使得目标模型的等级划分更加智能,此外,本实施例中通过将目标模型进行等级划分,以按照不同的标准评价目标模型,使得目标模型的评估更加合理。
进一步地,基于模型实体化管理方法的上述实施例,提出本发明模型实体化管理方法第四实施例。
本实施例是第一实施例步骤根据所述目标模型的应用场景信息确定所述目标模型的模型等级之前的步骤,本实施例中给出了根据目标模型对应的目标策略,确定目标模型的模型等级的方式,包括:
步骤S50,判断是否存在与所述目标模型对应的目标策略。
模型实体化管理设备判断是否存在与目标模型对应的目标策略,即,目标模型得到产出后,需要通过设定阈值或配套入某个策略中进行应用,因此,本实施例中先判断是否存在与目标模型对应的目标策略。
步骤S60,若存在与所述目标模型对应的目标策略,则将所述目标策略的等级作为所述目标模型的模型等级。
若存在与所述目标模型对应的目标策略,则将目标策略的等级作为目标模型的模型等级,本实施例中目标策略的等级指预先设置的,例如,营销类目标策略根据投入资金确定等级,例如,投入金额小于10万则等级为三级;投入金额在10万到100万则等级为二级,投入金额大于100万则等级为一级。
此外,还会出现一个模型应用在多个策略的情况,因此本实施例中步骤S60包括:
步骤b1,若存在与所述目标模型对应的目标策略,则判断所述目标策略的数量是否为至少两个;
步骤b2,若所述目标策略的数量是至少两个,则获取各所述目标策略的等级,并将最高的等级作为所述目标模型的模型等级。
即,若存在与目标模型对应的目标策略,则判断目标策略的数量是否为至少两个,若目标策略的数量是至少两个,则获取各目标策略的等级,并将最高的等级作为目标模型的模型等级;本实施例中,在遇到一个模型适用于多个策略时,则该模型的分级标准将使用策略中影响最大的情况定义的级别,使得目标模型的等级划分更加合理。
此外,步骤S50之后,还包括若不存在与所述目标模型对应的目标策略,则执行所述根据所述目标模型的应用场景信息确定所述目标模型的模型等级的步骤。
本实施例中在不存在与目标模型对应的目标策略,则执行所述根据所述目标模型的应用场景信息确定所述目标模型的模型等级的步骤,保证了目标模型等级划分的合理性。
进一步地,参照图4,在模型实体化管理方法的上述实施例上述实施例的基础上,提出本发明模型实体化管理方法第五实施例。
本实施例是第一实施例中步骤S30的细化,本实施例中具体说明了配置模型管理工具的方法,本实施例包括:
步骤S31,获取所述目标模型的当前阶段,其中,所述当前阶段包括开发阶段、上线阶段或维护阶段。
模型实体化管理设备获取目标模型的当前阶段,即,通常情况下模型的生命周期包括:开发阶段、上线阶段和维护阶段。开发阶段包括需求提出、开发工作、模型策略的验证复核;上线阶段则包括部署验收以及上线应用;而维护阶段,则需要持续监控,在特定条件被触发的情况下,考虑模型的退役或者重启等。
步骤S32,获取所述当前阶段对应的评估指标集合,从所述评估指标集合中选择所述模型类型和所述模型等级对应的目标评估指标。
模型实体化管理设备获取当前阶段对应的评估指标集合,即,模型不同阶段对应不同的评估指标集合,模型实体化管理设备从评估指标集合中选择模型类型和模型等级对应的目标评估指标。
步骤S33,根据所述目标评估指标,配置所述目标模型的模型管理工具。
模型实体化管理设备获取目标评估指标对应的评估模板,并将各个评估模板进行组合,得到目标模型的模型管理工具,本实施例中,模型实体化管理设备通过灵活得配置模型管理工具,以通过模型管理工具实现目标模型的合理管理。
此外,参照图5,本发明实施例还提出一种模型实体化管理装置,所述模型实体化管理装置包括:
请求接收模块,用于在接收到模型风险评估请求时,确定所述模型风险评估请求对应的目标模型;
分类与等级确定模块,用于根据所述目标模型的属性确定所述目标模型的模型类型,根据所述目标模型的应用场景信息确定所述目标模型的模型等级;
工具配置模块,用于获取所述目标模型的当前阶段,根据所述当前阶段、所述模型类型和所述模型等级,配置所述目标模型的模型管理工具;
结果输出模块,用于通过所述模型管理工具评估所述目标模型,得到所述目标模型的风险评估结果。
在一实施例中,所述分类与等级确定模块,包括:
属性获取单元,用于获取所述目标模型的属性,其中,所述属性包括模型样本来源、模型分析方法和模型监督信息;
分类确定单元,用于查询预设分类表,获取与所述模型样本来源、所述模型分析方法和模型监督信息对应的目标类型,并将所述目标类型作为所述目标模型的模型类型。
在一实施例中,分类与等级确定模块,包括:
场景确定单元,用于获取所述目标模型的应用场景信息,根据所述应用场景信息确定所述目标模型对应的业务场景,及所述业务场景对应的影响因子;
权重计算单元,用于将各所述影响因子对应的影响系数与权重进行加权计算,得到各所述影响因子的权重系数;
等级确定单元,用于将各所述影响因子的权重系数相加,得到所述目标模型的总分值,将所述总分值对应的等级作为所述目标模型的模型等级。
在一实施例中,所述模型实体化管理装置,包括:
策略判断模块,用于判断是否存在与所述目标模型对应的目标策略;
第一判定模块,用于若存在与所述目标模型对应的目标策略,则将所述目标策略的等级作为所述目标模型的模型等级;
第二判定模块,用于若不存在与所述目标模型对应的目标策略,则执行所述根据所述目标模型的应用场景信息确定所述目标模型的模型等级的步骤。
在一实施例中,所述第一判定模块包括:
数量判断单元,用于若存在与所述目标模型对应的目标策略,则判断所述目标策略的数量是否为至少两个;
等级确定单元,用于若所述目标策略的数量是至少两个,则获取各所述目标策略的等级,并将最高的等级作为所述目标模型的模型等级。
在一实施例中,所述工具配置模块,包括:
阶段获取单元,用于获取所述目标模型的当前阶段,其中,所述当前阶段包括开发阶段、上线阶段或维护阶段;
指标获取单元,用于获取所述当前阶段对应的评估指标集合,从所述评估指标集合中选择所述模型类型和所述模型等级对应的目标评估指标;
工具配置单元,用于根据所述目标评估指标,配置所述目标模型的模型管理工具。
在一实施例中,所述结果输出模块,包括:
评估单元,用于通过所述模型管理工具评估所述目标模型,得到所述目标模型的风险值;
输出单元,用于根据所述风险值与所述模型管理工具中的标准分值的比较结果,得到所述目标模型的风险评估结果。
本实施例提出的模型实体化管理装置各个模块运行时实现如上所述的模型实体化管理方法的步骤,在此不再赘述。
此外,本发明实施例还提出一种可读存储介质,应用于计算机,该计算机可读存储介质上存储有模型实体化管理程序,所述模型实体化管理程序被处理器执行时实现如上所述的模型实体化管理方法的步骤。
其中,在所述处理器上运行的模型实体化管理程序被执行时所实现的方法可参照本发明模型实体化管理方法各个实施例,此处不再赘述。
需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。
上述本发明实施例序号仅仅为了描述,不代表实施例的优劣。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中,包括若干指令用以使得一台终端设备(可以是手机,计算机,服务器,空调器,或者网络设备等)执行本发明各个实施例所述的方法。
以上仅为本发明的优选实施例,并非因此限制本发明的专利范围,凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其他相关的技术领域,均同理包括在本发明的专利保护范围内。

Claims (9)

1.一种模型实体化管理方法,其特征在于,所述模型实体化管理方法包括以下步骤:
在接收到模型风险评估请求时,确定所述模型风险评估请求对应的目标模型;
根据所述目标模型的属性确定所述目标模型的模型类型,根据所述目标模型的应用场景信息确定所述目标模型的模型等级;
获取所述目标模型的当前阶段,根据所述当前阶段、所述模型类型和所述模型等级,配置所述目标模型的模型管理工具,其中,所述当前阶段包括开发阶段、上线阶段或维护阶段;
通过所述模型管理工具评估所述目标模型,得到所述目标模型的风险评估结果;
所述根据所述目标模型的应用场景信息确定所述目标模型的模型等级的步骤,包括:
获取所述目标模型的应用场景信息,根据所述应用场景信息确定所述目标模型对应的业务场景,及所述业务场景对应的影响因子;
将各所述影响因子对应的影响系数与权重进行加权计算,得到各所述影响因子的权重系数;
将各所述影响因子的权重系数相加,得到所述目标模型的总分值,将所述总分值对应的等级作为所述目标模型的模型等级。
2.如权利要求1所述的模型实体化管理方法,其特征在于,所述根据所述目标模型的属性确定所述目标模型的模型类型的步骤,包括:
获取所述目标模型的属性,其中,所述属性包括模型样本来源、模型分析方法和模型监督信息;
查询预设分类表,获取与所述模型样本来源、所述模型分析方法和模型监督信息对应的目标类型,并将所述目标类型作为所述目标模型的模型类型。
3.如权利要求1所述的模型实体化管理方法,其特征在于,所述根据所述目标模型的应用场景信息确定所述目标模型的模型等级的步骤之前,包括:
判断是否存在与所述目标模型对应的目标策略;
若存在与所述目标模型对应的目标策略,则将所述目标策略的等级作为所述目标模型的模型等级;
若不存在与所述目标模型对应的目标策略,则执行所述根据所述目标模型的应用场景信息确定所述目标模型的模型等级的步骤。
4.如权利要求3所述的模型实体化管理方法,其特征在于,所述若存在与所述目标模型对应的目标策略,则将所述目标策略的等级作为所述目标模型的模型等级的步骤,包括:
若存在与所述目标模型对应的目标策略,则判断所述目标策略的数量是否为至少两个;
若所述目标策略的数量是至少两个,则获取各所述目标策略的等级,并将最高的等级作为所述目标模型的模型等级。
5.如权利要求1所述的模型实体化管理方法,其特征在于,所述获取所述目标模型的当前阶段,根据所述当前阶段、所述模型类型和所述模型等级,配置所述目标模型的模型管理工具的步骤,包括:
获取所述目标模型的当前阶段;
获取所述当前阶段对应的评估指标集合,从所述评估指标集合中选择所述模型类型和所述模型等级对应的目标评估指标;
根据所述目标评估指标,配置所述目标模型的模型管理工具。
6.如权利要求1-5中任一项所述的模型实体化管理方法,其特征在于,所述通过所述模型管理工具评估所述目标模型,得到所述目标模型的风险评估结果的步骤,包括:
通过所述模型管理工具评估所述目标模型,得到所述目标模型的风险值;
根据所述风险值与所述模型管理工具中的标准分值的比较结果,得到所述目标模型的风险评估结果。
7.一种模型实体化管理装置,其特征在于,所述模型实体化管理装置包括:
请求接收模块,用于在接收到模型风险评估请求时,确定所述模型风险评估请求对应的目标模型;
分类与等级确定模块,用于根据所述目标模型的属性确定所述目标模型的模型类型,根据所述目标模型的应用场景信息确定所述目标模型的模型等级;
工具配置模块,用于获取所述目标模型的当前阶段,根据所述当前阶段、所述模型类型和所述模型等级,配置所述目标模型的模型管理工具,其中,所述当前阶段包括开发阶段、上线阶段或维护阶段;
结果输出模块,用于通过所述模型管理工具评估所述目标模型,得到所述目标模型的风险评估结果;
所述分类与等级确定模块,包括:
场景确定单元,用于获取所述目标模型的应用场景信息,根据所述应用场景信息确定所述目标模型对应的业务场景,及所述业务场景对应的影响因子;
权重计算单元,用于将各所述影响因子对应的影响系数与权重进行加权计算,得到各所述影响因子的权重系数;
等级确定单元,用于将各所述影响因子的权重系数相加,得到所述目标模型的总分值,将所述总分值对应的等级作为所述目标模型的模型等级。
8.一种模型实体化管理设备,其特征在于,所述设备包括:存储器、处理器及存储在所述存储器上并可在所述处理器上运行的模型实体化管理程序;
所述模型实体化管理程序被所述处理器执行时实现如权利要求1至6中任一项所述的模型实体化管理方法的步骤。
9.一种计算机存储介质,其特征在于,应用于计算机,所述计算机存储介质上存储有模型实体化管理程序;
所述模型实体化管理程序被处理器执行时实现如权利要求1至6中任一项所述的模型实体化管理方法的步骤。
CN201910584180.5A 2019-06-28 2019-06-28 模型实体化管理方法、装置、设备及计算机存储介质 Active CN110322143B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910584180.5A CN110322143B (zh) 2019-06-28 2019-06-28 模型实体化管理方法、装置、设备及计算机存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910584180.5A CN110322143B (zh) 2019-06-28 2019-06-28 模型实体化管理方法、装置、设备及计算机存储介质

Publications (2)

Publication Number Publication Date
CN110322143A CN110322143A (zh) 2019-10-11
CN110322143B true CN110322143B (zh) 2023-03-24

Family

ID=68122130

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910584180.5A Active CN110322143B (zh) 2019-06-28 2019-06-28 模型实体化管理方法、装置、设备及计算机存储介质

Country Status (1)

Country Link
CN (1) CN110322143B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111652525B (zh) * 2020-06-16 2024-05-03 深圳前海微众银行股份有限公司 风险尾端客户分析方法、装置、设备及计算机存储介质
CN112580965A (zh) * 2020-12-15 2021-03-30 中国建设银行股份有限公司 一种风险强度识别方法、装置及设备
CN114240097B (zh) * 2021-12-02 2024-07-12 支付宝(杭州)信息技术有限公司 一种风险评估的方法及装置
CN115081787A (zh) * 2022-03-10 2022-09-20 上海数中科技有限公司 一种模型管理方法及系统

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107038167A (zh) * 2016-02-03 2017-08-11 普华诚信信息技术有限公司 基于模型评估的大数据挖掘分析系统及其分析方法
CN108665143A (zh) * 2018-04-11 2018-10-16 阿里巴巴集团控股有限公司 风控模型的评估方法及装置

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140279695A1 (en) * 2013-03-15 2014-09-18 National Cheng Kung University System and method for rating and selecting models
CN104346372B (zh) * 2013-07-31 2018-03-27 国际商业机器公司 用于评估预测模型的方法和装置
CN107045506A (zh) * 2016-02-05 2017-08-15 阿里巴巴集团控股有限公司 评估指标获取方法及装置
CN109711165A (zh) * 2018-11-29 2019-05-03 中国科学院软件研究所 一种深度学习算法的可靠性评估方法及系统

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107038167A (zh) * 2016-02-03 2017-08-11 普华诚信信息技术有限公司 基于模型评估的大数据挖掘分析系统及其分析方法
CN108665143A (zh) * 2018-04-11 2018-10-16 阿里巴巴集团控股有限公司 风控模型的评估方法及装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于场景校验的风险评估算法研究;石峰等;《信息安全与通信保密》;20100910(第09期);第75-77页 *

Also Published As

Publication number Publication date
CN110322143A (zh) 2019-10-11

Similar Documents

Publication Publication Date Title
CN110322143B (zh) 模型实体化管理方法、装置、设备及计算机存储介质
US10453165B1 (en) Computer vision machine learning model execution service
CN107909330B (zh) 工作流数据处理方法、装置、存储介质和计算机设备
CN108492005B (zh) 项目数据处理方法、装置、计算机设备和存储介质
CN110956269B (zh) 数据模型的生成方法、装置、设备以及计算机存储介质
CN109543891B (zh) 容量预测模型的建立方法、设备及计算机可读存储介质
CN104615661A (zh) 面向云平台应用的服务推荐方法、设备及系统
CN113626241B (zh) 应用程序的异常处理方法、装置、设备及存储介质
CN112669084B (zh) 策略确定方法、设备及计算机可读存储介质
CN111124791A (zh) 一种系统测试方法及装置
CN112101674A (zh) 基于群智能算法资源配置匹配方法、装置、设备及介质
CN114693220B (zh) 基于数字孪生DaaS平台的算法仓库管理方法及系统
KR102129817B1 (ko) 텍스트 기반 상담 품질 관리 시스템 및 방법
CN114253746A (zh) 一种基于SaaS的产品应用服务管理方法、装置、设备和介质
CN109902196B (zh) 一种商标类别推荐方法、装置、计算机设备及存储介质
CN112860736A (zh) 大数据查询优化方法、设备及可读存储介质
CN117350497A (zh) 业务决策方法、装置、终端设备以及计算机可读存储介质
US20100070458A1 (en) Rule creation method and rule creating apparatus
CN114003300B (zh) 基于微服务的服务逻辑确定方法及系统
CN113570114B (zh) 一种资源服务智能匹配方法、系统和计算机设备
CN116089490A (zh) 数据分析方法、装置、终端和存储介质
CN114721945A (zh) 基于图数据库的分配方法及其装置、电子设备及存储介质
CN114579398A (zh) 一种日志的存储方法、装置、设备及存储介质
CN114281677A (zh) 基于多标签体系的测试用例管理方法、装置、设备和介质
JP7015725B2 (ja) データ利活用に係るデータ準備方法及びデータ利活用システム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant