CN111861488A - 机器学习模型对比方法及装置 - Google Patents

机器学习模型对比方法及装置 Download PDF

Info

Publication number
CN111861488A
CN111861488A CN202010678538.3A CN202010678538A CN111861488A CN 111861488 A CN111861488 A CN 111861488A CN 202010678538 A CN202010678538 A CN 202010678538A CN 111861488 A CN111861488 A CN 111861488A
Authority
CN
China
Prior art keywords
machine learning
learning model
target
version data
comparison
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010678538.3A
Other languages
English (en)
Inventor
丁凯文
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Industrial and Commercial Bank of China Ltd ICBC
Original Assignee
Industrial and Commercial Bank of China Ltd ICBC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Industrial and Commercial Bank of China Ltd ICBC filed Critical Industrial and Commercial Bank of China Ltd ICBC
Priority to CN202010678538.3A priority Critical patent/CN111861488A/zh
Publication of CN111861488A publication Critical patent/CN111861488A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q20/00—Payment architectures, schemes or protocols
    • G06Q20/38—Payment protocols; Details thereof
    • G06Q20/40—Authorisation, e.g. identification of payer or payee, verification of customer or shop credentials; Review and approval of payers, e.g. check credit lines or negative lists
    • G06Q20/401—Transaction verification
    • G06Q20/4016—Transaction verification involving fraud or risk level assessment in transaction processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G06N20/20—Ensemble learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/01—Dynamic search techniques; Heuristics; Dynamic trees; Branch-and-bound

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Business, Economics & Management (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Accounting & Taxation (AREA)
  • Computer Security & Cryptography (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Finance (AREA)
  • Computational Linguistics (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本申请实施例提供一种机器学习模型对比方法及装置，方法包括：根据属于同一类型的目标机器学习模型的历史版本数据和当前版本数据，确定目标机器学习模型的多个目标特征指标；获取并输出显示各个目标特征指标分别对应在目标机器学习模型的历史版本数据和当前版本数据的对比结果信息，以基于各个目标特征指标的对比结果信息在历史版本数据和当前版本数据中择一作为风险预测模型，并根据该风险预测模型进行目标事物风险预测。本申请能够有效提高机器学习模型对比结果的输出直观性及效率，能够有效提高用户选择机器学习模型的准确性、便捷性及效率，进而能够有效提高应用选定的机器学习模型进行如金融服务风险预测等事物预测的适用准确性及有效性。

Description

机器学习模型对比方法及装置
技术领域
本申请涉及数据处理技术领域，具体涉及机器学习模型对比方法及装置。
背景技术
随着大数据和人工智能的发展，机器学习技术得到越来越广泛的应用。在机器学习中，可以通过大量的历史样例数据对模型进行训练，从而训练出的模型能够针对新的样例数据给出预测结果。相同的算法使用不同参数及数据训练出来的模型效果差别较大。为了帮助用户选择机器学习模型，会提供一些指标来评价训练出的模型的预测效果，比如AUC(Area under curve，曲线下面积)、准确度、精确度等，将数据组合在一起分别形成各自模型的评估报告。
目前，由于各个算法的评估指标数量众多标准相差较大，并且由不同数据训练出来的模型的评估指标会带有训练数据的特征用户需要结合数据分析改评估指标是否合理。由具有不同特征的数据训练出来的模型，各个指标对于模型效果的描述能力不同，如二分类中正反样本比例对最终模型的指标有较大影响，需要经验丰富的建模人员才能快速判断不同模型评估报告之间的差距。另外，用户虽然可以直接对比模型的指标数据，但是这些数据不够直观，逐项对比耗时耗力，缺少解释性，不利于用户理解不同模型之间的差距。若训练的模型较多就会增加大量的重复工作，降低工作效率。用户虽然可对评估报告进行一些统计分析，但是这些分析需要熟练掌握机器学习技术和相关的知识积累才可以完成。因此，现有技术缺少一种能够帮助建模经验较少的用户直观且快速地对比机器学习模型的方式，会影响用户选择机器学习模型的准确性，进而会导致后续模型应用(例如进行金融服务风险预测等)的适用准确性及有效性。
发明内容
针对现有技术中的问题，本申请提供一种机器学习模型对比方法及装置，能够有效提高机器学习模型对比结果的输出直观性及效率，能够有效提高用户选择机器学习模型的准确性、便捷性及效率，进而能够有效提高应用选定的机器学习模型进行如金融服务风险预测等事物预测的适用准确性及有效性。
为解决上述技术问题，本申请提供以下技术方案：
第一方面，本申请提供一种机器学习模型对比方法，包括：
根据属于同一类型的目标机器学习模型的历史版本数据和当前版本数据，确定所述目标机器学习模型的多个目标特征指标；
获取并输出显示各个所述目标特征指标分别对应在所述目标机器学习模型的历史版本数据和当前版本数据的对比结果信息，以基于各个所述目标特征指标的对比结果信息在所述历史版本数据和当前版本数据中择一作为风险预测模型，并根据该风险预测模型进行目标事物风险预测。
进一步地，在所述根据属于同一类型的目标机器学习模型的历史版本数据和当前版本数据，确定所述目标机器学习模型的多个特征指标之前，还包括：
接收针对所述目标机器学习模型的版本对比请求，其中，所述版本对比请求中包含有所述目标机器学习模型的历史版本数据和当前版本数据。
进一步地，在所述根据属于同一类型的目标机器学习模型的历史版本数据和当前版本数据，确定所述目标机器学习模型的多个特征指标之前，还包括：
实时监控所述目标机器学习模型的模型训练过程；
在经检测获知所述目标机器学习模型当前的模型训练过程结束之时或之后，生成针对该目标机器学习模型的版本对比请求，其中，所述版本对比请求中包含有所述目标机器学习模型的历史版本数据和当前版本数据。
进一步地，所述根据属于同一类型的目标机器学习模型的历史版本数据和当前版本数据，确定所述目标机器学习模型的多个目标特征指标，包括：
自所述目标机器学习模型的历史版本数据和当前版本数据中分别提取各自对应的模型特征指标和训练用数据特征指标；
将所述历史版本数据和当前版本数据各自对应的模型特征指标中的相同指标进行去重处理，并将所述历史版本数据和当前版本数据各自对应的训练用数据特征指标进行去重处理，得到由所述模型特征指标和训练用数据特征指标组成的所述目标机器学习模型的多个特征指标；
对所述目标机器学习模型的多个特征指标进行筛选，以得到目标机器学习模型的多个目标特征指标。
进一步地，所述对所述目标机器学习模型的多个特征指标进行筛选，以得到目标机器学习模型的多个目标特征指标，包括：
获取所述目标机器学习模型的多个特征指标中的各个所述训练用数据特征指标各自对应的权重值；
基于各个所述训练用数据特征指标各自对应的权重值，在所述目标机器学习模型的多个特征指标中各个所述训练用数据特征指标进行筛选。
进一步地，所述对所述目标机器学习模型的多个特征指标进行筛选，以得到目标机器学习模型的多个目标特征指标，包括：
将所述目标机器学习模型的多个特征指标中的所述模型特征指标和训练用数据特征指标均进行输出显示；
根据当前接收的指标筛选指令对所述目标机器学习模型的多个特征指标进行筛选，以得到目标机器学习模型的多个目标特征指标。
进一步地，在所述获取并输出显示各个所述目标特征指标分别对应在所述目标机器学习模型的历史版本数据和当前版本数据的对比结果信息之前，还包括：
根据各个所述训练用数据特征指标各自对应的权重值，对所述目标机器学习模型的多个目标特征指标中的各个所述训练用数据特征指标进行排序；
以及，根据各个所述模型特征指标的标识，对所述目标机器学习模型的多个目标特征指标中的各个所述模型特征指标进行排序。
进一步地，所述获取并输出显示各个所述目标特征指标分别对应在所述目标机器学习模型的历史版本数据和当前版本数据的对比结果信息，包括：
基于预设的指标对比规则，分别获取均包含在所述历史版本数据和当前版本数据中的各个目标特征指标各自对应的第一对比信息，其中，所述第一对比信息用于表示对应的目标特征指标分别对应在所述历史版本数据的统计信息和对应在当前版本数据的统计信息；
若存在仅包含在所述历史版本数据和当前版本数据中之一的目标特征指标，则将该目标特征指标的特性信息作为该目标特征指标的第二对比信息；
基于所述第一对比信息和所述第二对比信息生成各个所述目标特征指标分别对应在所述目标机器学习模型的历史版本数据和当前版本数据的对比结果信息，以形成对比报告；
输出所述对比报告，并对该对比报告进行图形化显示。
第二方面，本申请提供一种机器学习模型对比装置，包括：
指标确定模块，用于根据属于同一类型的目标机器学习模型的历史版本数据和当前版本数据，确定所述目标机器学习模型的多个目标特征指标；
指标对比模块，用于获取并输出显示各个所述目标特征指标分别对应在所述目标机器学习模型的历史版本数据和当前版本数据的对比结果信息，以基于各个所述目标特征指标的对比结果信息在所述历史版本数据和当前版本数据中择一作为风险预测模型，并根据该风险预测模型进行目标事物风险预测。
进一步地，还包括：
第一请求获取模块，用于接收针对所述目标机器学习模型的版本对比请求，其中，所述版本对比请求中包含有所述目标机器学习模型的历史版本数据和当前版本数据。
进一步地，还包括：
模型训练监控模块，用于实时监控所述目标机器学习模型的模型训练过程；
第二请求获取模块，用于在经检测获知所述目标机器学习模型当前的模型训练过程结束之时或之后，生成针对该目标机器学习模型的版本对比请求，其中，所述版本对比请求中包含有所述目标机器学习模型的历史版本数据和当前版本数据。
进一步地，所述指标确定模块包括：
指标提取单元，用于自所述目标机器学习模型的历史版本数据和当前版本数据中分别提取各自对应的模型特征指标和训练用数据特征指标；
指标去重单元，用于将所述历史版本数据和当前版本数据各自对应的模型特征指标中的相同指标进行去重处理，并将所述历史版本数据和当前版本数据各自对应的训练用数据特征指标进行去重处理，得到由所述模型特征指标和训练用数据特征指标组成的所述目标机器学习模型的多个特征指标；
指标筛选单元，用于对所述目标机器学习模型的多个特征指标进行筛选，以得到目标机器学习模型的多个目标特征指标。
进一步地，所述指标筛选单元用于执行下述内容：
获取所述目标机器学习模型的多个特征指标中的各个所述训练用数据特征指标各自对应的权重值；
基于各个所述训练用数据特征指标各自对应的权重值，在所述目标机器学习模型的多个特征指标中各个所述训练用数据特征指标进行筛选。
进一步地，所述指标筛选单元用于执行下述内容：
将所述目标机器学习模型的多个特征指标中的所述模型特征指标和训练用数据特征指标均进行输出显示；
根据当前接收的指标筛选指令对所述目标机器学习模型的多个特征指标进行筛选，以得到目标机器学习模型的多个目标特征指标。
进一步地，还包括：指标排序模块，该指标排序模块用于执行下述内容：
根据各个所述训练用数据特征指标各自对应的权重值，对所述目标机器学习模型的多个目标特征指标中的各个所述训练用数据特征指标进行排序；
以及，根据各个所述模型特征指标的标识，对所述目标机器学习模型的多个目标特征指标中的各个所述模型特征指标进行排序。
进一步地，所述指标对比模块用于执行下述内容：
基于预设的指标对比规则，分别获取均包含在所述历史版本数据和当前版本数据中的各个目标特征指标各自对应的第一对比信息，其中，所述第一对比信息用于表示对应的目标特征指标分别对应在所述历史版本数据的统计信息和对应在当前版本数据的统计信息；
若存在仅包含在所述历史版本数据和当前版本数据中之一的目标特征指标，则将该目标特征指标的特性信息作为该目标特征指标的第二对比信息；
基于所述第一对比信息和所述第二对比信息生成各个所述目标特征指标分别对应在所述目标机器学习模型的历史版本数据和当前版本数据的对比结果信息，以形成对比报告；
输出所述对比报告，并对该对比报告进行图形化显示。
第三方面，本申请提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现所述的机器学习模型对比方法。
第四方面，本申请提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现所述的机器学习模型对比方法。
由上述技术方案可知，本申请提供的一种机器学习模型对比方法及装置，方法包括：根据属于同一类型的目标机器学习模型的历史版本数据和当前版本数据，确定所述目标机器学习模型的多个目标特征指标；获取并输出显示各个所述目标特征指标分别对应在所述目标机器学习模型的历史版本数据和当前版本数据的对比结果信息，以基于各个所述目标特征指标的对比结果信息在所述历史版本数据和当前版本数据中择一作为风险预测模型，并根据该风险预测模型进行目标事物风险预测，能够有效提高机器学习模型对比结果的输出直观性及效率，且机器学习模型的对比过程可靠且高效，能够有效提高用户选择机器学习模型的准确性、便捷性及效率，以帮助建模经验较少的用户直观且快速地对比机器学习模型，进而能够有效提高应用选定的机器学习模型进行如金融服务风险预测等事物预测的适用准确性及有效性。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请实施例中的机器学习模型对比方法的流程示意图。
图2是本申请实施例中的包含有步骤300至步骤500的机器学习模型对比方法的流程示意图。
图3是本申请实施例中的包含有步骤010的机器学习模型对比方法的流程示意图。
图4是本申请实施例中的包含有步骤020和步骤030的机器学习模型对比方法的流程示意图。
图5是本申请实施例中的机器学习模型对比方法中步骤100的具体流程示意图。
图6是本申请实施例中的机器学习模型对比方法中步骤130的第一种具体流程示意图。
图7是本申请实施例中的机器学习模型对比方法中步骤130的第二种具体流程示意图。
图8是本申请实施例中的包含有步骤040和步骤050的机器学习模型对比方法的流程示意图。
图9是本申请实施例中的机器学习模型对比方法中步骤200的具体流程示意图。
图10是本申请实施例中的机器学习模型对比装置的第一种结构示意图。
图11是本申请实施例中的机器学习模型对比装置的第二种结构示意图。
图12是本申请实施例中的机器学习模型对比装置的第三种结构示意图。
图13是本申请实施例中的机器学习模型对比装置中指标确定模块10的结构示意图。
图14是本申请实施例中的机器学习模型对比装置的第四种结构示意图。
图15是本申请应用实例提供的机器学习模型对比系统的结构示意图。
图16是本申请应用实例提供的机器学习模型对比方法的流程示意图。
图17是本申请实施例中的电子设备的结构示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整的描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
考虑到现有技术缺少一种能够帮助建模经验较少的用户直观且快速地对比机器学习模型的方式，本申请提供一种机器学习模型对比方法、机器学习模型对比装置、电子设备和计算机可读存储介质，根据属于同一类型的目标机器学习模型的历史版本数据和当前版本数据，确定所述目标机器学习模型的多个目标特征指标；获取并输出显示各个所述目标特征指标分别对应在所述目标机器学习模型的历史版本数据和当前版本数据的对比结果信息，以基于各个所述目标特征指标的对比结果信息在所述历史版本数据和当前版本数据中择一作为风险预测模型，并根据该风险预测模型进行目标事物风险预测，能够有效提高机器学习模型对比结果的输出直观性及效率，且机器学习模型的对比过程可靠且高效，能够有效提高用户选择机器学习模型的准确性、便捷性及效率，以帮助建模经验较少的用户直观且快速地对比机器学习模型，进而能够有效提高应用选定的机器学习模型进行如金融服务风险预测等事物预测的适用准确性及有效性。
具体通过下述多个实施例分别进行说明。
为了解决现有技术缺少一种能够帮助建模经验较少的用户直观且快速地对比机器学习模型的方式的问题，本申请提供一种机器学习模型对比方法的实施例，参见图1，所述机器学习模型对比方法具体包含有如下内容：
步骤100：根据属于同一类型的目标机器学习模型的历史版本数据和当前版本数据，确定所述目标机器学习模型的多个目标特征指标。
在步骤100中，属于同一类型的目标机器学习模型是指应用不同的训练用数据训练得到的同一类型的机器学习模型，且历史版本数据和当前版本数据中包含有机器学习模型本身的模型参数，也包含有用于训练机器学习模型的训练用数据。
其中，所述当前版本数据是指相较于历史版本数据中更靠近当前时间获取得到的版本数据，也就是说，所述当前版本数据只是相对于获取时间更早的历史版本数据而言的，本质上，本申请的一个或多个实施例提及的历史版本数据和当前版本数据可以理解为获取时间不同的两组历史数据。
可以理解的是，所述目标机器学习模型的历史版本数据和当前版本数据也可以以初始评估报告的形式存在，且初始评估报告中包含有各项目标特征指标与各个特征值之间的对应关系。基于此，在步骤100中，若所述目标机器学习模型的历史版本数据和当前版本数据尚未形成初始评估报告，则在目标机器学习模型的历史版本数据和当前版本数据中提取对应的目标特征指标。若所述目标机器学习模型的历史版本数据和当前版本数据以初始评估报告的形式存在，则直接在初始评估报告中提取对应的目标特征指标。
步骤200：获取并输出显示各个所述目标特征指标分别对应在所述目标机器学习模型的历史版本数据和当前版本数据的对比结果信息，以基于各个所述目标特征指标的对比结果信息在所述历史版本数据和当前版本数据中择一作为风险预测模型，并根据该风险预测模型进行目标事物风险预测。
在步骤200中，所述各个所述目标特征指标分别对应在所述目标机器学习模型的历史版本数据和当前版本数据的对比结果信息的举例可以如表1所示。
表1
Figure BDA0002585017910000081
Figure BDA0002585017910000091
在表1中，指标A是目标机器学习模型的历史版本数据和当前版本数据中都有的目标特征指标，指标A分别对应在所述目标机器学习模型的历史版本数据和当前版本数据的对比结果信息为对比结果信息A1和对比结果信息A2。指标B是仅对应在目标机器学习模型的历史版本数据中的目标特征指标，指标B对应在所述目标机器学习模型的历史版本数据的对比结果信息为对比结果信息B1。指标C是仅对应在目标机器学习模型的当前版本数据中的目标特征指标，指标C对应在所述目标机器学习模型的当前版本数据的对比结果信息为对比结果信息C2。
另外，在一种举例中，若所述目标机器学习模型为用于进行预测金融服务风险的风险预测模型，则在步骤200之后，参见图2，还具体包含有如下的机器学习模型应用的内容：
步骤300：接收用户终端发送的模型选定指令，其中，该模型选定指令为持有所述用户终端的用户基于输出显示的各个所述目标特征指标的对比结果信息，在所述历史版本数据和当前版本数据中选定其中之一作为风险预测模型后发送的。
步骤400：将当前获取的金融机构中目标用户的用户信息输入应用所述模型选定指令对应的风险预测模型中，并将该风险预测模型的输出作为所述金融机构为所述目标用户提供金融服务的风险预测结果。
步骤500：输出所述金融机构为所述目标用户提供金融服务的风险预测结果。
可以理解的是，所述金融机构能够根据所述金融机构为所述目标用户提供金融服务的风险预测结果来有效提高金融机构运转的安全性及稳定性。
也就是说，通过应用风险预测模型对目标用户进行金融服务风险预测，能够有效提高金融服务风险预测过程的准确性、效率及自动化程度，并有效降低金融机构的人力成本及时间成本，进而能够有效提高金融机构识别风险用户的准确性及效率，例如可以对金融机构的用户申请各类金融贷款的用户或企业的包括贷前、贷中和贷后的信用风险评级或违约风险概率进行快速且准确地预测，并能够有效提高金融机构运转的安全性及稳定性。
可以理解的是，所述风险预测模型的举例可以为逻辑回归LR模型，广义线性回归GLM模型，梯度提升决策树GBDT模型以及提升树XGBoost模型等。具体根据实际应用场景进行选取。
从上述描述可知，本申请实施例提供的机器学习模型对比方法，能够有效提高机器学习模型对比结果的输出直观性及效率，且机器学习模型的对比过程可靠且高效，能够有效提高用户选择机器学习模型的准确性、便捷性及效率，以帮助建模经验较少的用户直观且快速地对比机器学习模型，进而能够有效提高应用选定的机器学习模型进行如金融服务风险预测等事物预测的适用准确性及有效性。
为了提供一种基于人工触发的模型对比的启动过程，在本申请提供的机器学习模型对比方法的一个实施例中，参见图3，所述机器学习模型对比方法的步骤100之前还具体包含有如下内容：
步骤010：接收针对所述目标机器学习模型的版本对比请求，其中，所述版本对比请求中包含有所述目标机器学习模型的历史版本数据和当前版本数据。
从上述描述可知，本申请实施例提供的机器学习模型对比方法，能够通过人工触发的方式启动机器学习模型对比过程，进而能够有效提高确定所述目标机器学习模型的多个特征指标的有效性及可靠性，进而能够进一步提高应用选定的机器学习模型进行如金融服务风险预测等事物预测的适用准确性及有效性。
为了提供一种基于自动触发的模型对比的启动过程，在本申请提供的机器学习模型对比方法的一个实施例中，参见图4，所述机器学习模型对比方法的步骤100之前还具体包含有如下内容：
步骤020：实时监控所述目标机器学习模型的模型训练过程。
步骤030：在经检测获知所述目标机器学习模型当前的模型训练过程结束之时或之后，生成针对该目标机器学习模型的版本对比请求，其中，所述版本对比请求中包含有所述目标机器学习模型的历史版本数据和当前版本数据。
从上述描述可知，本申请实施例提供的机器学习模型对比方法，能够通过自动触发的方式启动机器学习模型对比过程，进而能够有效提高确定所述目标机器学习模型的多个特征指标的时效性、有效性及智能化程度，进而能够进一步提高应用选定的机器学习模型进行如金融服务风险预测等事物预测的适用准确性及有效性。
为了提供一种选取指标的优选方式，在本申请提供的机器学习模型对比方法的一个实施例中，参见图5，所述机器学习模型对比方法的步骤100具体包含有如下内容：
步骤110：自所述目标机器学习模型的历史版本数据和当前版本数据中分别提取各自对应的模型特征指标和训练用数据特征指标。
步骤120：将所述历史版本数据和当前版本数据各自对应的模型特征指标中的相同指标进行去重处理，并将所述历史版本数据和当前版本数据各自对应的训练用数据特征指标进行去重处理，得到由所述模型特征指标和训练用数据特征指标组成的所述目标机器学习模型的多个特征指标。
步骤130：对所述目标机器学习模型的多个特征指标进行筛选，以得到目标机器学习模型的多个目标特征指标。
从上述描述可知，本申请实施例提供的机器学习模型对比方法，能够有效提高确定选取所述目标机器学习模型的多个目标特征指标的有效性及可靠性，进而能够进一步提高应用选定的机器学习模型进行如金融服务风险预测等事物预测的适用准确性及有效性。
为了提供一种训练用数据特征指标的自动筛选方式，在本申请提供的机器学习模型对比方法的一个实施例中，参见图6，所述机器学习模型对比方法的步骤130具体包含有如下内容：
步骤131：获取所述目标机器学习模型的多个特征指标中的各个所述训练用数据特征指标各自对应的权重值。
步骤132：基于各个所述训练用数据特征指标各自对应的权重值，在所述目标机器学习模型的多个特征指标中各个所述训练用数据特征指标进行筛选。
从上述描述可知，本申请实施例提供的机器学习模型对比方法，能够有效提高特征指标筛选的效率、可靠性及准确性，进而能够有效提高获取各个所述目标特征指标分别对应在所述目标机器学习模型的历史版本数据和当前版本数据的对比结果信息的效率、可靠性及准确性，而能够进一步提高应用选定的机器学习模型进行如金融服务风险预测等事物预测的适用准确性及有效性。
为了提供一种训练用数据特征指标的自动筛选方式，在本申请提供的机器学习模型对比方法的一个实施例中，参见图7，所述机器学习模型对比方法的步骤130具体包含有如下内容：
步骤133：将所述目标机器学习模型的多个特征指标中的所述模型特征指标和训练用数据特征指标均进行输出显示。
步骤134：根据当前接收的指标筛选指令对所述目标机器学习模型的多个特征指标进行筛选，以得到目标机器学习模型的多个目标特征指标。
从上述描述可知，本申请实施例提供的机器学习模型对比方法，能够有效提高特征指标筛选的适用广泛性及准确性，进而能够有效提高获取各个所述目标特征指标分别对应在所述目标机器学习模型的历史版本数据和当前版本数据的对比结果信息的可靠性及准确性，而能够进一步提高应用选定的机器学习模型进行如金融服务风险预测等事物预测的适用准确性及有效性。
为了提供一种指标排序的优选方式，在本申请提供的机器学习模型对比方法的一个实施例中，参见图8，所述机器学习模型对比方法的步骤100之后和步骤200之前还具体包含有如下内容：
步骤040：根据各个所述训练用数据特征指标各自对应的权重值，对所述目标机器学习模型的多个目标特征指标中的各个所述训练用数据特征指标进行排序。
步骤050：根据各个所述模型特征指标的标识，对所述目标机器学习模型的多个目标特征指标中的各个所述模型特征指标进行排序。
从上述描述可知，本申请实施例提供的机器学习模型对比方法，能够更直观地展示不同的指标对模型预测结果的不同影响，进而能够有效提高用户选择机器学习模型的准确性、便捷性及效率。
为了提供一种获取并显示对比结果信息的优选方式，在本申请提供的机器学习模型对比方法的一个实施例中，参见图9，所述机器学习模型对比方法的步骤200具体包含有如下内容：
步骤210：基于预设的指标对比规则，分别获取均包含在所述历史版本数据和当前版本数据中的各个目标特征指标各自对应的第一对比信息，其中，所述第一对比信息用于表示对应的目标特征指标分别对应在所述历史版本数据的统计信息和对应在当前版本数据的统计信息。
步骤220：若存在仅包含在所述历史版本数据和当前版本数据中之一的目标特征指标，则将该目标特征指标的特性信息作为该目标特征指标的第二对比信息。
步骤230：基于所述第一对比信息和所述第二对比信息生成各个所述目标特征指标分别对应在所述目标机器学习模型的历史版本数据和当前版本数据的对比结果信息，以形成对比报告。
步骤240：输出所述对比报告，并对该对比报告进行图形化显示。
从上述描述可知，本申请实施例提供的机器学习模型对比方法，使用可视化的方式展示评估报告对比结果，详细展示不同评估结果图像之间的差异，以帮助建模经验较少的用户直观且快速地对比机器学习模型，进而能够有效提高应用选定的机器学习模型进行如金融服务风险预测等事物预测的适用准确性及有效性。
从软件层面来说，为了解决现有技术缺少一种能够帮助建模经验较少的用户直观且快速地对比机器学习模型的方式的问题，本申请提供一种用于实现所述机器学习模型对比方法中全部或部分内容的机器学习模型对比装置的实施例，参见图10，所述机器学习模型对比装置具体包含有如下内容：
指标确定模块10，用于根据属于同一类型的目标机器学习模型的历史版本数据和当前版本数据，确定所述目标机器学习模型的多个目标特征指标。
指标对比模块20，用于获取并输出显示各个所述目标特征指标分别对应在所述目标机器学习模型的历史版本数据和当前版本数据的对比结果信息，以基于各个所述目标特征指标的对比结果信息在所述历史版本数据和当前版本数据中择一作为风险预测模型，并根据该风险预测模型进行目标事物风险预测。
从上述描述可知，本申请实施例提供的机器学习模型对比装置，能够有效提高机器学习模型对比结果的输出直观性及效率，且机器学习模型的对比过程可靠且高效，能够有效提高用户选择机器学习模型的准确性、便捷性及效率，以帮助建模经验较少的用户直观且快速地对比机器学习模型，进而能够有效提高应用选定的机器学习模型进行如金融服务风险预测等事物预测的适用准确性及有效性。
为了提供一种基于人工触发的模型对比的启动过程，在本申请提供的机器学习模型对比装置的一个实施例中，参见图11，所述机器学习模型对比装置中还具体包含有如下内容：
第一请求获取模块01，用于接收针对所述目标机器学习模型的版本对比请求，其中，所述版本对比请求中包含有所述目标机器学习模型的历史版本数据和当前版本数据。
从上述描述可知，本申请实施例提供的机器学习模型对比装置，能够通过人工触发的方式启动机器学习模型对比过程，进而能够有效提高确定所述目标机器学习模型的多个特征指标的有效性及可靠性，进而能够进一步提高应用选定的机器学习模型进行如金融服务风险预测等事物预测的适用准确性及有效性。
为了提供一种基于自动触发的模型对比的启动过程，在本申请提供的机器学习模型对比装置的一个实施例中，参见图12，所述机器学习模型对比装置中还具体包含有如下内容：
模型训练监控模块02，用于实时监控所述目标机器学习模型的模型训练过程。
第二请求获取模块03，用于在经检测获知所述目标机器学习模型当前的模型训练过程结束之时或之后，生成针对该目标机器学习模型的版本对比请求，其中，所述版本对比请求中包含有所述目标机器学习模型的历史版本数据和当前版本数据。
从上述描述可知，本申请实施例提供的机器学习模型对比装置，能够通过自动触发的方式启动机器学习模型对比过程，进而能够有效提高确定所述目标机器学习模型的多个特征指标的时效性、有效性及智能化程度，进而能够进一步提高应用选定的机器学习模型进行如金融服务风险预测等事物预测的适用准确性及有效性。
为了提供一种选取指标的优选方式，在本申请提供的机器学习模型对比装置的一个实施例中，参见图13，所述机器学习模型对比装置的指标确定模块10具体包含有如下内容：
指标提取单元11，用于自所述目标机器学习模型的历史版本数据和当前版本数据中分别提取各自对应的模型特征指标和训练用数据特征指标。
指标去重单元12，用于将所述历史版本数据和当前版本数据各自对应的模型特征指标中的相同指标进行去重处理，并将所述历史版本数据和当前版本数据各自对应的训练用数据特征指标进行去重处理，得到由所述模型特征指标和训练用数据特征指标组成的所述目标机器学习模型的多个特征指标。
指标筛选单元13，用于对所述目标机器学习模型的多个特征指标进行筛选，以得到目标机器学习模型的多个目标特征指标。
从上述描述可知，本申请实施例提供的机器学习模型对比装置，能够有效提高确定选取所述目标机器学习模型的多个目标特征指标的有效性及可靠性，进而能够进一步提高应用选定的机器学习模型进行如金融服务风险预测等事物预测的适用准确性及有效性。
为了提供一种训练用数据特征指标的自动筛选方式，在本申请提供的机器学习模型对比装置的一个实施例中，所述机器学习模型对比装置的指标筛选单元13具体用于执行下述内容：
步骤131：获取所述目标机器学习模型的多个特征指标中的各个所述训练用数据特征指标各自对应的权重值。
步骤132：基于各个所述训练用数据特征指标各自对应的权重值，在所述目标机器学习模型的多个特征指标中各个所述训练用数据特征指标进行筛选。
从上述描述可知，本申请实施例提供的机器学习模型对比装置，能够有效提高特征指标筛选的效率、可靠性及准确性，进而能够有效提高获取各个所述目标特征指标分别对应在所述目标机器学习模型的历史版本数据和当前版本数据的对比结果信息的效率、可靠性及准确性，而能够进一步提高应用选定的机器学习模型进行如金融服务风险预测等事物预测的适用准确性及有效性。
为了提供一种训练用数据特征指标的自动筛选方式，在本申请提供的机器学习模型对比装置的一个实施例中，所述机器学习模型对比装置的指标筛选单元13具体用于执行下述内容：
步骤133：将所述目标机器学习模型的多个特征指标中的所述模型特征指标和训练用数据特征指标均进行输出显示。
步骤134：根据当前接收的指标筛选指令对所述目标机器学习模型的多个特征指标进行筛选，以得到目标机器学习模型的多个目标特征指标。
从上述描述可知，本申请实施例提供的机器学习模型对比装置，能够有效提高特征指标筛选的适用广泛性及准确性，进而能够有效提高获取各个所述目标特征指标分别对应在所述目标机器学习模型的历史版本数据和当前版本数据的对比结果信息的可靠性及准确性，而能够进一步提高应用选定的机器学习模型进行如金融服务风险预测等事物预测的适用准确性及有效性。
为了提供一种指标排序的优选方式，在本申请提供的机器学习模型对比装置的一个实施例中，参见图14，所述机器学习模型对比装置还具体包含有如下内容：
指标排序模块04，该指标排序模块04用于执行下述内容：
步骤040：根据各个所述训练用数据特征指标各自对应的权重值，对所述目标机器学习模型的多个目标特征指标中的各个所述训练用数据特征指标进行排序。
步骤050：根据各个所述模型特征指标的标识，对所述目标机器学习模型的多个目标特征指标中的各个所述模型特征指标进行排序。
从上述描述可知，本申请实施例提供的机器学习模型对比装置，能够更直观地展示不同的指标对模型预测结果的不同影响，进而能够有效提高用户选择机器学习模型的准确性、便捷性及效率。
为了提供一种获取并显示对比结果信息的优选方式，在本申请提供的机器学习模型对比装置的一个实施例中，所述机器学习模型对比装置的指标对比模块20具体用于执行下述内容：
步骤210：基于预设的指标对比规则，分别获取均包含在所述历史版本数据和当前版本数据中的各个目标特征指标各自对应的第一对比信息，其中，所述第一对比信息用于表示对应的目标特征指标分别对应在所述历史版本数据的统计信息和对应在当前版本数据的统计信息。
步骤220：若存在仅包含在所述历史版本数据和当前版本数据中之一的目标特征指标，则将该目标特征指标的特性信息作为该目标特征指标的第二对比信息。
步骤230：基于所述第一对比信息和所述第二对比信息生成各个所述目标特征指标分别对应在所述目标机器学习模型的历史版本数据和当前版本数据的对比结果信息，以形成对比报告。
步骤240：输出所述对比报告，并对该对比报告进行图形化显示。
从上述描述可知，本申请实施例提供的机器学习模型对比装置，使用可视化的方式展示评估报告对比结果，详细展示不同评估结果图像之间的差异，以帮助建模经验较少的用户直观且快速地对比机器学习模型，进而能够有效提高应用选定的机器学习模型进行如金融服务风险预测等事物预测的适用准确性及有效性。
为进一步说明本方案，本申请还提供一种应用机器学习模型对比系统实现所述机器学习模型对比方法的具体应用实例，通过结合训练数据的特征如数据量，正负样本比例，异常样本数量，和各个指标对模型效果的描述优缺点综合比较各个算法的评估指标。能够帮助建模经验较少的用户直观快速地理解评估报告的。克服现有技术中难以有效地对比机器学习评估报告的各个指标的不同点的缺陷。
参见图15，所述机器学习模型对比系统包括如下组成部分：
请求接受模块1、获取数据模块2、分组统计模块3、对比模块4和展示模块5。
其中，请求接受模块1作为整合系统的输入点，接收报告对比的请求，并对请求参数进行简单处理，转换为系统内部查询评估报数据所需要的参数。
获取数据模块2可以读取调用参数、报告数据处理脚本、报告存放地址或数据库对应唯一ID、报告返回格式、是否加密、加密算法等。
分组统计模块3将评估报告数据进行分组统计。
对比模块4将特定格式的评估报告进行对比，对比规则可由脚本进行自定义设置，或者系统自动选择对比规则(可以设置图形对比规则，如AUC面积相同时的处理，可以根据规则自动切换版本选择最优版本)。
展示模块5是一个图形化展示模块，该模块负责将数据转换为图形对评估报告的对比数据进行展示。
参见图16，所述机器学习模型对比方法的应用实例具体包含有如下内容：
S1：接受对比展示请求：接收对比评估报告的请求并解析请求中的参数。
S2：获取评估报告信息：根据接收到的对评估报告对比展示请求获取不同模型的评估预测数据，包括模型的各项评价指标。
S3：分组统计：对上述所有的数据进行处理，主要为分组统计等。
S4：对评估报告进行逐项对比：针对不同模型的每一项指标进行逐一对比得出对比信息。这些指标不仅有算法生成的指标，还有绘图后通过图形展示获取的信息(如曲线的下面积，分段斜率等)其中，可以根据不同指标的权重对对比的结果进行排序，也可以选择图像对比的阈值。
S5：可视化展示结果：通过图形化界面来展示所述的对比结果，可以自主选择显示的对比指标并高亮出异同处，对不同的图像指标进行不同渲染，以做区分。
具体说明如下：
(一)请求接受模块1执行的S1的具体实施内容如下：
接收不同历史版本模型报告的对比请求。如根据不同数据集训练生成的模型的评估报告。报告中包含有多项数据特征，如：分类样本中的正负比例及总样本数量，连续型变量的分布及异常值等数据特点，模型的各个特征及特征权重等。无论是在新的机器学习算法模型被训练出的同时自动触发对该模型与历史模型的报告对比，还是事后对已经训练好的历史模型进行评估报告对比，都会首先接收对评估报告进行对比的请求，这里，作为示例，所述解释请求可以是来自用户的手动指示，也可以是由于模型训练完毕而自动触发的请求等等。
(二)获取数据模块2执行S2的具体实施内容如下：
根据所述对比请求，获取指定模型的模型参数，所述模型参数包括所述模型中的各特征及各个相关指标。根据请求分析对比模型参数及训练数据集的特征是否相同，若模型参数相同训练数据集不同则要统计训练数据集的特征包括分类正负样本的比例，连续型数据分布及异常值。在此步骤中，可根据数据特征而获得各特征的权重值。更进一步地，也可以通过设置的人机交互界面，界面显示内容包括指标可选项自主选择想要展示的模型参数。若为自动发送请求，则系统通过权重值自动筛选模型参数。
(三)分组统计模块3执行S3的具体实施内容如下：
对获取的所述模型参数中的各指标按所属指标名进行分组统计。
由于模型的指标可能有很多，特别地，如果包括特征值的话，特征规模巨大(例如，常常达到千万级特征维度)，为了更直观地展示不同的指标对模型预测结果的不同影响，本步骤中，可以将模型参数中的所有指标按照设定的权重值进行排序，筛选等，从而提高对比效率。
(四)对比模块4执行S4的具体实施内容如下：
针对每一指标进行对比分析以获得各指标的统计信息。例如，如果一个逻辑回归模型的正负样本比例大于1000，则评估结果的正样本准确率指标的权重则相应降低0.1。本步骤中，可对每一个指标名下所包括的数据进行统计，以便得到模型的各指标统计信息。统计信息包括评估结果不能通过数字展示的图像结果(面积、斜率、间隔等)根据数据形成的结果图形其中，同一指标名下各特征的权重值的分布信息可以指示同一特征名下的各特征的权重值(全部权重值或非零权重值)是如何分布的，从而帮助用户了解不同模型上线性能。
(五)展示模块5执行S5的具体实施内容如下：
通过图形化界面来展示所述对比指标名及对应的所述指标统计信息。按照特征的重要性的顺序来展示各个特征，对所述各个特征之中的一部分特征进行突出显示，其中，包括与高重要性对应的重要特征、与低重要性对应的不重要特征与异常重要性对应的异常特征。可以通过以下指标对不同模型进行评分，二分类的AUC和回归的MSE，准确率，混淆矩阵，ROC曲线，响应率和捕获率等。根据各个指标的对比结果获取相应的分值；根据各个指标的权重对分值进行加和处理；将加和处理后的指标进行平均计算，得到当前模型的最终分值；将各个模型中分值最高或排名前几的模型推荐给用户。其中权重可以是用户自主设计，也可以通过历史模型表现计算出的综合权重。
从上述描述可知，本申请应用实例提供的机器学习模型对比方法，有效地实现了不同版本机器学习算法的效果对比；比对根据数据产生的图像的指标；使用可视化的方式展示评估报告对比结果，详细展示不同评估结果图像之间的差异。可自主选择对比项，并根据对比结果自动选择应用的算法。
从硬件层面来说，为了解决现有技术缺少一种能够帮助建模经验较少的用户直观且快速地对比机器学习模型的方式的问题，本申请提供一种用于实现所述机器学习模型对比方法中的全部或部分内容的电子设备的实施例，所述电子设备具体包含有如下内容：
图17为本申请实施例的电子设备9600的系统构成的示意框图。如图17所示，该电子设备9600可以包括中央处理器9100和存储器9140；存储器9140耦合到中央处理器9100。值得注意的是，该图17是示例性的；还可以使用其他类型的结构，来补充或代替该结构，以实现电信功能或其他功能。
在一实施例中，机器学习模型对比功能可以被集成到中央处理器中。其中，中央处理器可以被配置为进行如下控制：
步骤100：根据属于同一类型的目标机器学习模型的历史版本数据和当前版本数据，确定所述目标机器学习模型的多个目标特征指标。
在步骤100中，属于同一类型的目标机器学习模型是指应用不同的训练用数据训练得到的同一类型的机器学习模型，且历史版本数据和当前版本数据中包含有机器学习模型本身的模型参数，也包含有用于训练机器学习模型的训练用数据。
其中，所述当前版本数据是指相较于历史版本数据中更靠近当前时间获取得到的版本数据，也就是说，所述当前版本数据只是相对于获取时间更早的历史版本数据而言的，本质上，本申请的一个或多个实施例提及的历史版本数据和当前版本数据可以理解为获取时间不同的两组历史数据。
可以理解的是，所述目标机器学习模型的历史版本数据和当前版本数据也可以以初始评估报告的形式存在，且初始评估报告中包含有各项目标特征指标与各个特征值之间的对应关系。基于此，在步骤100中，若所述目标机器学习模型的历史版本数据和当前版本数据尚未形成初始评估报告，则在目标机器学习模型的历史版本数据和当前版本数据中提取对应的目标特征指标。若所述目标机器学习模型的历史版本数据和当前版本数据以初始评估报告的形式存在，则直接在初始评估报告中提取对应的目标特征指标。
步骤200：获取并输出显示各个所述目标特征指标分别对应在所述目标机器学习模型的历史版本数据和当前版本数据的对比结果信息，以基于各个所述目标特征指标的对比结果信息在所述历史版本数据和当前版本数据中择一作为风险预测模型，并根据该风险预测模型进行目标事物风险预测。
另外，在一种举例中，若所述目标机器学习模型为用于进行预测金融服务风险的风险预测模型，则在步骤200之后还具体包含有如下的机器学习模型应用的内容：
步骤300：接收用户终端发送的模型选定指令，其中，该模型选定指令为持有所述用户终端的用户基于输出显示的各个所述目标特征指标的对比结果信息，在所述历史版本数据和当前版本数据中选定其中之一作为风险预测模型后发送的。
步骤400：将当前获取的金融机构中目标用户的用户信息输入应用所述模型选定指令对应的风险预测模型中，并将该风险预测模型的输出作为所述金融机构为所述目标用户提供金融服务的风险预测结果。
步骤500：输出所述金融机构为所述目标用户提供金融服务的风险预测结果。
可以理解的是，所述金融机构能够根据所述金融机构为所述目标用户提供金融服务的风险预测结果来有效提高金融机构运转的安全性及稳定性。
也就是说，通过应用风险预测模型对目标用户进行金融服务风险预测，能够有效提高金融服务风险预测过程的准确性、效率及自动化程度，并有效降低金融机构的人力成本及时间成本，进而能够有效提高金融机构识别风险用户的准确性及效率，例如可以对金融机构的用户申请各类金融贷款的用户或企业的包括贷前、贷中和贷后的信用风险评级或违约风险概率进行快速且准确地预测，并能够有效提高金融机构运转的安全性及稳定性。
可以理解的是，所述风险预测模型的举例可以为逻辑回归LR模型，广义线性回归GLM模型，梯度提升决策树GBDT模型以及提升树XGBoost模型等。具体根据实际应用场景进行选取。
从上述描述可知，本申请实施例提供的电子设备，能够有效提高机器学习模型对比结果的输出直观性及效率，且机器学习模型的对比过程可靠且高效，能够有效提高用户选择机器学习模型的准确性、便捷性及效率，以帮助建模经验较少的用户直观且快速地对比机器学习模型，进而能够有效提高应用选定的机器学习模型进行如金融服务风险预测等事物预测的适用准确性及有效性。
在另一个实施方式中，机器学习模型对比装置可以与中央处理器9100分开配置，例如可以将机器学习模型对比装置配置为与中央处理器9100连接的芯片，通过中央处理器的控制来实现机器学习模型对比功能。
如图17所示，该电子设备9600还可以包括：通信模块9110、输入单元9120、音频处理器9130、显示器9160、电源9170。值得注意的是，电子设备9600也并不是必须要包括图17中所示的所有部件；此外，电子设备9600还可以包括图17中没有示出的部件，可以参考现有技术。
如图17所示，中央处理器9100有时也称为控制器或操作控件，可以包括微处理器或其他处理器装置和/或逻辑装置，该中央处理器9100接收输入并控制电子设备9600的各个部件的操作。
其中，存储器9140，例如可以是缓存器、闪存、硬驱、可移动介质、易失性存储器、非易失性存储器或其它合适装置中的一种或更多种。可储存上述与失败有关的信息，此外还可存储执行有关信息的程序。并且中央处理器9100可执行该存储器9140存储的该程序，以实现信息存储或处理等。
输入单元9120向中央处理器9100提供输入。该输入单元9120例如为按键或触摸输入装置。电源9170用于向电子设备9600提供电力。显示器9160用于进行图像和文字等显示对象的显示。该显示器例如可为LCD显示器，但并不限于此。
该存储器9140可以是固态存储器，例如，只读存储器(ROM)、随机存取存储器(RAM)、SIM卡等。还可以是这样的存储器，其即使在断电时也保存信息，可被选择性地擦除且设有更多数据，该存储器的示例有时被称为EPROM等。存储器9140还可以是某种其它类型的装置。存储器9140包括缓冲存储器9141(有时被称为缓冲器)。存储器9140可以包括应用/功能存储部9142，该应用/功能存储部9142用于存储应用程序和功能程序或用于通过中央处理器9100执行电子设备9600的操作的流程。
存储器9140还可以包括数据存储部9143，该数据存储部9143用于存储数据，例如联系人、数字数据、图片、声音和/或任何其他由电子设备使用的数据。存储器9140的驱动程序存储部9144可以包括电子设备的用于通信功能和/或用于执行电子设备的其他功能(如消息传送应用、通讯录应用等)的各种驱动程序。
通信模块9110即为经由天线9111发送和接收信号的发送机/接收机9110。通信模块(发送机/接收机)9110耦合到中央处理器9100，以提供输入信号和接收输出信号，这可以和常规移动通信终端的情况相同。
基于不同的通信技术，在同一电子设备中，可以设置有多个通信模块9110，如蜂窝网络模块、蓝牙模块和/或无线局域网模块等。通信模块(发送机/接收机)9110还经由音频处理器9130耦合到扬声器9131和麦克风9132，以经由扬声器9131提供音频输出，并接收来自麦克风9132的音频输入，从而实现通常的电信功能。音频处理器9130可以包括任何合适的缓冲器、解码器、放大器等。另外，音频处理器9130还耦合到中央处理器9100，从而使得可以通过麦克风9132能够在本机上录音，且使得可以通过扬声器9131来播放本机上存储的声音。
本申请的实施例还提供能够实现上述实施例中的机器学习模型对比方法中全部步骤的一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，该计算机程序被处理器执行时实现上述实施例中的执行主体为服务器或客户端的机器学习模型对比方法的全部步骤，例如，所述处理器执行所述计算机程序时实现下述步骤：
步骤100：根据属于同一类型的目标机器学习模型的历史版本数据和当前版本数据，确定所述目标机器学习模型的多个目标特征指标。
在步骤100中，属于同一类型的目标机器学习模型是指应用不同的训练用数据训练得到的同一类型的机器学习模型，且历史版本数据和当前版本数据中包含有机器学习模型本身的模型参数，也包含有用于训练机器学习模型的训练用数据。
其中，所述当前版本数据是指相较于历史版本数据中更靠近当前时间获取得到的版本数据，也就是说，所述当前版本数据只是相对于获取时间更早的历史版本数据而言的，本质上，本申请的一个或多个实施例提及的历史版本数据和当前版本数据可以理解为获取时间不同的两组历史数据。
可以理解的是，所述目标机器学习模型的历史版本数据和当前版本数据也可以以初始评估报告的形式存在，且初始评估报告中包含有各项目标特征指标与各个特征值之间的对应关系。基于此，在步骤100中，若所述目标机器学习模型的历史版本数据和当前版本数据尚未形成初始评估报告，则在目标机器学习模型的历史版本数据和当前版本数据中提取对应的目标特征指标。若所述目标机器学习模型的历史版本数据和当前版本数据以初始评估报告的形式存在，则直接在初始评估报告中提取对应的目标特征指标。
步骤200：获取并输出显示各个所述目标特征指标分别对应在所述目标机器学习模型的历史版本数据和当前版本数据的对比结果信息，以基于各个所述目标特征指标的对比结果信息在所述历史版本数据和当前版本数据中择一作为风险预测模型，并根据该风险预测模型进行目标事物风险预测。
另外，在一种举例中，若所述目标机器学习模型为用于进行预测金融服务风险的风险预测模型，则在步骤200之后还具体包含有如下的机器学习模型应用的内容：
步骤300：接收用户终端发送的模型选定指令，其中，该模型选定指令为持有所述用户终端的用户基于输出显示的各个所述目标特征指标的对比结果信息，在所述历史版本数据和当前版本数据中选定其中之一作为风险预测模型后发送的。
步骤400：将当前获取的金融机构中目标用户的用户信息输入应用所述模型选定指令对应的风险预测模型中，并将该风险预测模型的输出作为所述金融机构为所述目标用户提供金融服务的风险预测结果。
步骤500：输出所述金融机构为所述目标用户提供金融服务的风险预测结果。
可以理解的是，所述金融机构能够根据所述金融机构为所述目标用户提供金融服务的风险预测结果来有效提高金融机构运转的安全性及稳定性。
也就是说，通过应用风险预测模型对目标用户进行金融服务风险预测，能够有效提高金融服务风险预测过程的准确性、效率及自动化程度，并有效降低金融机构的人力成本及时间成本，进而能够有效提高金融机构识别风险用户的准确性及效率，例如可以对金融机构的用户申请各类金融贷款的用户或企业的包括贷前、贷中和贷后的信用风险评级或违约风险概率进行快速且准确地预测，并能够有效提高金融机构运转的安全性及稳定性。
可以理解的是，所述风险预测模型的举例可以为逻辑回归LR模型，广义线性回归GLM模型，梯度提升决策树GBDT模型以及提升树XGBoost模型等。具体根据实际应用场景进行选取。
从上述描述可知，本申请实施例提供的计算机可读存储介质，能够有效提高机器学习模型对比结果的输出直观性及效率，且机器学习模型的对比过程可靠且高效，能够有效提高用户选择机器学习模型的准确性、便捷性及效率，以帮助建模经验较少的用户直观且快速地对比机器学习模型，进而能够有效提高应用选定的机器学习模型进行如金融服务风险预测等事物预测的适用准确性及有效性。
本领域内的技术人员应明白，本发明的实施例可提供为方法、装置、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(装置)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
本发明中应用了具体实施例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (18)

1.一种机器学习模型对比方法，其特征在于，包括：
根据属于同一类型的目标机器学习模型的历史版本数据和当前版本数据，确定所述目标机器学习模型的多个目标特征指标；
获取并输出显示各个所述目标特征指标分别对应在所述目标机器学习模型的历史版本数据和当前版本数据的对比结果信息，以基于各个所述目标特征指标的对比结果信息在所述历史版本数据和当前版本数据中择一作为风险预测模型，并根据该风险预测模型进行目标事物风险预测。
2.根据权利要求1所述的机器学习模型对比方法，其特征在于，在所述根据属于同一类型的目标机器学习模型的历史版本数据和当前版本数据，确定所述目标机器学习模型的多个特征指标之前，还包括：
接收针对所述目标机器学习模型的版本对比请求，其中，所述版本对比请求中包含有所述目标机器学习模型的历史版本数据和当前版本数据。
3.根据权利要求1所述的机器学习模型对比方法，其特征在于，在所述根据属于同一类型的目标机器学习模型的历史版本数据和当前版本数据，确定所述目标机器学习模型的多个特征指标之前，还包括：
实时监控所述目标机器学习模型的模型训练过程；
在经检测获知所述目标机器学习模型当前的模型训练过程结束之时或之后，生成针对该目标机器学习模型的版本对比请求，其中，所述版本对比请求中包含有所述目标机器学习模型的历史版本数据和当前版本数据。
4.根据权利要求1所述的机器学习模型对比方法，其特征在于，所述根据属于同一类型的目标机器学习模型的历史版本数据和当前版本数据，确定所述目标机器学习模型的多个目标特征指标，包括：
自所述目标机器学习模型的历史版本数据和当前版本数据中分别提取各自对应的模型特征指标和训练用数据特征指标；
将所述历史版本数据和当前版本数据各自对应的模型特征指标中的相同指标进行去重处理，并将所述历史版本数据和当前版本数据各自对应的训练用数据特征指标进行去重处理，得到由所述模型特征指标和训练用数据特征指标组成的所述目标机器学习模型的多个特征指标；
对所述目标机器学习模型的多个特征指标进行筛选，以得到目标机器学习模型的多个目标特征指标。
5.根据权利要求4所述的机器学习模型对比方法，其特征在于，所述对所述目标机器学习模型的多个特征指标进行筛选，以得到目标机器学习模型的多个目标特征指标，包括：
获取所述目标机器学习模型的多个特征指标中的各个所述训练用数据特征指标各自对应的权重值；
基于各个所述训练用数据特征指标各自对应的权重值，在所述目标机器学习模型的多个特征指标中各个所述训练用数据特征指标进行筛选。
6.根据权利要求4所述的机器学习模型对比方法，其特征在于，所述对所述目标机器学习模型的多个特征指标进行筛选，以得到目标机器学习模型的多个目标特征指标，包括：
将所述目标机器学习模型的多个特征指标中的所述模型特征指标和训练用数据特征指标均进行输出显示；
根据当前接收的指标筛选指令对所述目标机器学习模型的多个特征指标进行筛选，以得到目标机器学习模型的多个目标特征指标。
7.根据权利要求5所述的机器学习模型对比方法，其特征在于，在所述获取并输出显示各个所述目标特征指标分别对应在所述目标机器学习模型的历史版本数据和当前版本数据的对比结果信息之前，还包括：
根据各个所述训练用数据特征指标各自对应的权重值，对所述目标机器学习模型的多个目标特征指标中的各个所述训练用数据特征指标进行排序；
以及，根据各个所述模型特征指标的标识，对所述目标机器学习模型的多个目标特征指标中的各个所述模型特征指标进行排序。
8.根据权利要求7所述的机器学习模型对比方法，其特征在于，所述获取并输出显示各个所述目标特征指标分别对应在所述目标机器学习模型的历史版本数据和当前版本数据的对比结果信息，包括：
基于预设的指标对比规则，分别获取均包含在所述历史版本数据和当前版本数据中的各个目标特征指标各自对应的第一对比信息，其中，所述第一对比信息用于表示对应的目标特征指标分别对应在所述历史版本数据的统计信息和对应在当前版本数据的统计信息；
若存在仅包含在所述历史版本数据和当前版本数据中之一的目标特征指标，则将该目标特征指标的特性信息作为该目标特征指标的第二对比信息；
基于所述第一对比信息和所述第二对比信息生成各个所述目标特征指标分别对应在所述目标机器学习模型的历史版本数据和当前版本数据的对比结果信息，以形成对比报告；
输出所述对比报告，并对该对比报告进行图形化显示。
9.一种机器学习模型对比装置，其特征在于，包括：
指标确定模块，用于根据属于同一类型的目标机器学习模型的历史版本数据和当前版本数据，确定所述目标机器学习模型的多个目标特征指标；
指标对比模块，用于获取并输出显示各个所述目标特征指标分别对应在所述目标机器学习模型的历史版本数据和当前版本数据的对比结果信息，以基于各个所述目标特征指标的对比结果信息在所述历史版本数据和当前版本数据中择一作为风险预测模型，并根据该风险预测模型进行目标事物风险预测。
10.根据权利要求9所述的机器学习模型对比装置，其特征在于，还包括：
第一请求获取模块，用于接收针对所述目标机器学习模型的版本对比请求，其中，所述版本对比请求中包含有所述目标机器学习模型的历史版本数据和当前版本数据。
11.根据权利要求9所述的机器学习模型对比装置，其特征在于，还包括：
模型训练监控模块，用于实时监控所述目标机器学习模型的模型训练过程；
第二请求获取模块，用于在经检测获知所述目标机器学习模型当前的模型训练过程结束之时或之后，生成针对该目标机器学习模型的版本对比请求，其中，所述版本对比请求中包含有所述目标机器学习模型的历史版本数据和当前版本数据。
12.根据权利要求9所述的机器学习模型对比装置，其特征在于，所述指标确定模块包括：
指标提取单元，用于自所述目标机器学习模型的历史版本数据和当前版本数据中分别提取各自对应的模型特征指标和训练用数据特征指标；
指标去重单元，用于将所述历史版本数据和当前版本数据各自对应的模型特征指标中的相同指标进行去重处理，并将所述历史版本数据和当前版本数据各自对应的训练用数据特征指标进行去重处理，得到由所述模型特征指标和训练用数据特征指标组成的所述目标机器学习模型的多个特征指标；
指标筛选单元，用于对所述目标机器学习模型的多个特征指标进行筛选，以得到目标机器学习模型的多个目标特征指标。
13.根据权利要求12所述的机器学习模型对比装置，其特征在于，所述指标筛选单元用于执行下述内容：
获取所述目标机器学习模型的多个特征指标中的各个所述训练用数据特征指标各自对应的权重值；
基于各个所述训练用数据特征指标各自对应的权重值，在所述目标机器学习模型的多个特征指标中各个所述训练用数据特征指标进行筛选。
14.根据权利要求12所述的机器学习模型对比装置，其特征在于，所述指标筛选单元用于执行下述内容：
将所述目标机器学习模型的多个特征指标中的所述模型特征指标和训练用数据特征指标均进行输出显示；
根据当前接收的指标筛选指令对所述目标机器学习模型的多个特征指标进行筛选，以得到目标机器学习模型的多个目标特征指标。
15.根据权利要求13所述的机器学习模型对比装置，其特征在于，还包括：指标排序模块，该指标排序模块用于执行下述内容：
根据各个所述训练用数据特征指标各自对应的权重值，对所述目标机器学习模型的多个目标特征指标中的各个所述训练用数据特征指标进行排序；
以及，根据各个所述模型特征指标的标识，对所述目标机器学习模型的多个目标特征指标中的各个所述模型特征指标进行排序。
16.根据权利要求15所述的机器学习模型对比装置，其特征在于，所述指标对比模块用于执行下述内容：
基于预设的指标对比规则，分别获取均包含在所述历史版本数据和当前版本数据中的各个目标特征指标各自对应的第一对比信息，其中，所述第一对比信息用于表示对应的目标特征指标分别对应在所述历史版本数据的统计信息和对应在当前版本数据的统计信息；
若存在仅包含在所述历史版本数据和当前版本数据中之一的目标特征指标，则将该目标特征指标的特性信息作为该目标特征指标的第二对比信息；
基于所述第一对比信息和所述第二对比信息生成各个所述目标特征指标分别对应在所述目标机器学习模型的历史版本数据和当前版本数据的对比结果信息，以形成对比报告；
输出所述对比报告，并对该对比报告进行图形化显示。
17.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现权利要求1至8任一项所述的机器学习模型对比方法。
18.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现权利要求1至8任一项所述的机器学习模型对比方法。
CN202010678538.3A 2020-07-15 2020-07-15 机器学习模型对比方法及装置 Pending CN111861488A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010678538.3A CN111861488A (zh) 2020-07-15 2020-07-15 机器学习模型对比方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010678538.3A CN111861488A (zh) 2020-07-15 2020-07-15 机器学习模型对比方法及装置

Publications (1)

Publication Number Publication Date
CN111861488A true CN111861488A (zh) 2020-10-30

Family

ID=72984536

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010678538.3A Pending CN111861488A (zh) 2020-07-15 2020-07-15 机器学习模型对比方法及装置

Country Status (1)

Country Link
CN (1) CN111861488A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112685547A (zh) * 2020-12-29 2021-04-20 平安普惠企业管理有限公司 话术模板评估方法、装置、电子设备及存储介质
CN113159619A (zh) * 2021-05-11 2021-07-23 中电福富信息科技有限公司 一种视频分析算法的自动化评估系统及方法
CN113742216A (zh) * 2021-07-26 2021-12-03 科大讯飞股份有限公司 一种检测机器学习引擎的效率的方法、装置和存储介质
CN113780287A (zh) * 2021-07-30 2021-12-10 武汉中海庭数据技术有限公司 一种多深度学习模型的最优选取方法及系统

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112685547A (zh) * 2020-12-29 2021-04-20 平安普惠企业管理有限公司 话术模板评估方法、装置、电子设备及存储介质
CN113159619A (zh) * 2021-05-11 2021-07-23 中电福富信息科技有限公司 一种视频分析算法的自动化评估系统及方法
CN113742216A (zh) * 2021-07-26 2021-12-03 科大讯飞股份有限公司 一种检测机器学习引擎的效率的方法、装置和存储介质
CN113742216B (zh) * 2021-07-26 2023-12-01 科大讯飞股份有限公司 一种检测机器学习引擎的效率的方法、装置和存储介质
CN113780287A (zh) * 2021-07-30 2021-12-10 武汉中海庭数据技术有限公司 一种多深度学习模型的最优选取方法及系统

Similar Documents

Publication Publication Date Title
CN111861488A (zh) 机器学习模型对比方法及装置
CN110413488B (zh) 服务器使用率预警方法及装置
CN111816312B (zh) 基于模型解释的健康状态检测方法、设备及可读存储介质
CN113110833A (zh) 机器学习模型可视化建模方法、装置、设备及存储介质
CN112751711B (zh) 告警信息处理方法和装置、存储介质和电子设备
CN111931809A (zh) 数据的处理方法、装置、存储介质及电子设备
JPWO2017104119A1 (ja) ログ分析システム、方法およびプログラム
CN112598294A (zh) 在线建立评分卡模型的方法、装置、机器可读介质及设备
CN110909005B (zh) 一种模型特征分析方法、装置、设备及介质
CN113222913A (zh) 一种电路板缺陷检测定位方法、装置和存储介质
CN111241381A (zh) 信息推荐方法、装置、电子设备及计算机可读存储介质
CN109240916B (zh) 信息输出控制方法、装置及计算机可读存储介质
CN111291666A (zh) 游戏直播视频识别方法、装置、电子设备及存储介质
CN116450907A (zh) 工艺路线可视化设置方法、系统和可读存储介质
CN111582341A (zh) 用户异常操作预测方法及装置
CN111683280A (zh) 视频处理方法、装置及电子设备
CN116167454A (zh) 智能化的二分类模型训练方法及装置
CN113515577A (zh) 数据预处理方法及装置
CN112905451B (zh) 应用程序的自动化测试方法及装置
CN114334696A (zh) 质量检测方法及装置、电子设备和计算机可读存储介质
CN114637917A (zh) 基于人工智能的资讯头条推荐方法及装置
CN114240928A (zh) 板卡质量的分区检测方法、装置、设备及可读存储介质
CN110730342B (zh) 一种视频质量分析方法、装置、服务器及终端
CN112329943A (zh) 组合指标的甄选方法、装置、计算机设备及介质
CN112163861A (zh) 交易风险要素特征提取方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination