CN111950738B - 机器学习模型优化效果评估方法、装置、终端及存储介质 - Google Patents

Abstract

本发明涉及人工智能技术领域，提供一种机器学习模型优化效果评估方法、装置、终端及存储介质，包括：将历史样本数据集切分为多个测试样本数据集；使用多个机器学习模型对所述多个测试样本数据集进行预测得到多个预测值；基于业务指标和技术指标构建评估函数，并根据所述多个预测值和所述评估函数计算多个评估分值；基于所述多个评估分值构建评估矩阵；根据预设优化效果评估模型及所述评估矩阵评估出每个机器学习模型的优化效果值。本发明能够结合业务指标和技术指标对多次迭代优化的机器学习模型进行评估。

Description

机器学习模型优化效果评估方法、装置、终端及存储介质

技术领域

本发明涉及人工智能技术领域，具体涉及一种机器学习模型优化效果评估方法、装置、终端及存储介质。

背景技术

随着机器学习的快速发展，有越来越多的业务场景利用机器学习模型进行预测。例如，保险业务场景中利用机器学习模型预测用户的留存率等。

现有技术中，会对机器学习模型进行多次迭代优化并选取最新一次的优化模型来进行预测。然而，发明人在实现本发明的过程中发现，最新一次的优化模型的预测准确率并一定高于历史的优化模型的预测准确率，且机器学习模型虽能够对某一样本进行预测，但可能需要很长的时间才能确定机器学习模型对该样本的预测结果是否准确。

因此，有必要提供一种对多次迭代优化的机器学习模型进行评估的技术方案。

发明内容

鉴于以上内容，有必要提出一种机器学习模型优化效果评估方法、装置、终端及存储介质，首次结合业务指标和技术指标对多次迭代优化的机器学习模型进行评估。

本发明的第一方面提供一种机器学习模型优化效果评估方法，所述方法包括：

将历史样本数据集切分为多个测试样本数据集；

使用多个机器学习模型对所述多个测试样本数据集进行预测得到多个预测值；

基于业务指标和技术指标构建评估函数，并根据所述多个预测值和所述评估函数计算多个评估分值；

基于所述多个评估分值构建评估矩阵；

根据预设优化效果评估模型及所述评估矩阵评估出每个机器学习模型的优化效果值。

优选的，所述将历史样本数据集切分为多个测试样本数据集包括：

获取每个机器学习模型的上线时间；

对所述上线时间进行排序，并将排序后的上线时间确定为切分时间节点；

根据所述切分时间节点将所述历史样本数据集切分为多个测试样本数据集。

优选的，所述根据所述多个预测值和所述评估函数计算多个评估分值包括：

获取每个机器学习模型对应的多个预测值中的多个第一预测值；

获取所述多个第一预测值对应的多个实际值；

根据所述多个预测值及所述多个实际值计算得到业务指标；

根据所述多个预测值计算性能指标；

输入所述业务指标及所述性能指标至所述评估函数中得到每个机器学习模型的评估分值。

优选的，所述评估函数为：Score＝(a+b)/(a/AUC+b/RR)，其中，AUC为技术指标，RR为业务指标，a为所述技术指标的权重系数，b为所述业务指标的权重系数，a+b＝1。

优选的，所述根据预设优化效果评估模型及所述评估矩阵评估出每个机器学习模型的优化效果值包括：

针对每一个机器学习模型，从所述评估矩阵中获取所述机器学习模型的上线时间所在列的所有其他机器学习模型的评估分值；

确定所有其他机器学习模型的评估分值的最大评估分值；

计算所述机器学习模型的评估分值与所述最大评估分值之间的差值，作为所述机器学习模型的优化效果值。

优选的，在所述根据预设优化效果评估模型及所述评估矩阵评估出每个机器学习模型的优化效果值之后，所述方法还包括：

选取最大的优化效果值对应的机器学习模型为目标机器学习模型；

使用所述目标机器学习模型对至少一个目标用户进行预测并获取至少一个预测结果。

优选的，所述方法还包括：

比较所述至少一个预测结果与多个预设范围；

将每个预设范围内的预测结果对应的目标用户的信息写入每个预设范围对应的数据队列中。

本发明的第二方面提供一种机器学习模型优化效果评估装置，所述装置包括：

样本切分模块，用于将历史样本数据集切分为多个测试样本数据集；

模型预测模块，用于使用多个机器学习模型对所述多个测试样本数据集进行预测得到多个预测值；

分值计算模块，用于基于业务指标和技术指标构建评估函数，并根据所述多个预测值和所述评估函数计算多个评估分值；

矩阵构建模块，用于基于所述多个评估分值构建评估矩阵；

优化评估模块，用于根据预设优化效果评估模型及所述评估矩阵评估出每个机器学习模型的优化效果值。

本发明的第三方面一种终端，所述终端包括：

存储器，用于存储计算机程序；

处理器，所述处理器用于执行所述计算机程序时实现所述的机器学习模型优化效果评估方法。

本发明的第四方面提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现所述的机器学习模型优化效果评估方法。

综上所述，本发明所述的机器学习模型优化效果评估方法、装置、终端及存储介质，基于业务指标和技术指标构建评估函数，使用所述评估函数计算多个机器学习模型输出的多个预测值得到评估分值，基于评估分值构建评估矩阵，最后根据预设优化效果评估模型及所述评估矩阵评估出每个机器学习模型的优化效果值，实现了对多次迭代优化的机器学习模型进行评估的效果。基于评估效果值，便于从多次迭代优化的机器学习模型中选取出预测准确率最高的机器学习模型，从而使用预测准确率最高的机器学习模型进行预测，能够提升预测的准确率。

附图说明

图1是本发明实施例一提供的机器学习模型优化效果评估方法的流程图。

图2是本发明实施例二提供的机器学习模型优化效果评估装置的结构图。

图3是本发明实施例三提供的终端的结构示意图。

具体实施方式

为了能够更清楚地理解本发明的上述目的、特征和优点，下面结合附图和具体实施例对本发明进行详细描述。需要说明的是，在不冲突的情况下，本发明的实施例及实施例中的特征可以相互组合。

除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本文中在本发明的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本发明。

图1是本发明实施例一提供的机器学习模型优化效果评估方法的流程图。所述机器学习模型优化效果评估方法由终端执行，可应用于智慧政务中，推动智慧城市的建设。所述机器学习模型优化效果评估方法具体包括以下步骤，根据不同的需求，该流程图中步骤的顺序可以改变，某些可以省略。

S11，将历史样本数据集切分为多个测试样本数据集。

终端定期或者不定期的对机器学习模型进行迭代优化，例如，在2019年9月至2020年2月期间，每个月对机器学习模型进行一次迭代优化，每个月的优化方案均不同。

在代理人留存场景中，由于优化的机器学习模型对当月的用户进行预测所带来效果的提升无法立即观察到，需要待用户留存满几个月后才能观察到，因此，每次迭代优化的机器学习模型的预测效果可达到的上限不同且未知，不能以某一固定基准线对机器学习模型的优化性能进行评价。其中，机器学习模型的优化性能是指机器学习模型对所述多个历史样本数据集的预测准确率。

在一个可选的实施例中，所述将历史样本数据集切分为多个测试样本数据集包括：

获取每个机器学习模型的上线时间；

对所述上线时间进行排序，并将排序后的上线时间确定为切分时间节点；

根据所述切分时间节点将所述历史样本数据集切分为多个测试样本数据集。

其中，所述机器学习模型的上线时间是指机器学习模型首次进行在线预测的时间。

为了评估迭代优化的多个机器学习模型的优化性能，终端获取多个历史样本数据集，并基于所述多个历史样本数据集对所述多个机器学习模型的优化性能进行评估。所述历史样本数据集中的每个样本数据对应一个采集时间。终端先按照采集时间对所述历史样本数据集中的样本数据进行排序，并以多个机器学习模型的多个上线时间为切分时间节点，对所述历史样本数据集进行切分，从而得到多个测试样本数据集。

该可选的实施例中，根据机器学习模型的上线时间对历史样本数据集中的样本数据进行切分，使得每个机器学习模型对应有一个测试样本数据集，且每个机器学习模型对应的测试样本数据集均为所述机器学习模型上线之前且上一个机器学习模型上线之后的历史样本数据，如此使得机器学习模型对对应的测试样本数据集进行预测符合实际场景，从而保证对机器学习模型的优化性能的评估的有效性。

S12，使用多个机器学习模型对所述多个测试样本数据集进行预测得到多个预测值。

终端使用每个机器学习模型对每个测试样本数据集进行预测，并获取每个机器学习模型输出的每个测试样本数据集的多个预测值。

由于机器学习模型在上线时仅能预测上线时间之前的测试样本数据集，而为了保证数据的对称性，对于无法进行预测的测试样本数据集的预测值记为0。

示例性的，假设有3个机器学习模型，每个机器学习模型对应1个测试样本数据集，每个测试样本数据集中包括4个测试样本，则每个机器学习模型对每个测试样本数据集进行测试并输出4个预测值，即每个机器学习模型输出共计12个预测值。其中，所述预测值为0和1之间的任意值。其中，对于第1个机器学习模型预测第2个测试样本数据集时输出的4个预测值和预测第3个测试样本数据集时输出的4个预测值记为0，对于第2个机器学习模型预测第3个测试样本数据集时输出的4个预测值记为0。

S13，基于业务指标和技术指标构建评估函数，并根据所述多个预测值和所述评估函数计算多个评估分值。

在代理人留存场景中，业务指标是指留存率，技术指标是指受试者工作特征(Receiver Operating Characteristic)曲线下与坐标轴围成的面积(Area Under Curve，AUC)，留存率和AUC可能出现矛盾，因此，需要综合预测值和AUC共同基于业务指标和技术指标构建评估函数。关于AUC的计算过程，为现有技术，本发明在此不再详细阐述。

在一个可选的实施例中，所述评估函数为：Score＝(a+b)/(a/AUC+b/RR)。

其中，AUC为技术指标，RR为业务指标，a为所述技术指标的权重系数，b为所述业务指标的权重系数，a+b＝1。终端可以初始化a＝b＝0.5。

在一个可选的实施例中，终端可以根据实际需求设置a和b的大小，例如，当实际需求为预测业务场景中的业务指标时，设置b>0.5>a，当实际需求仅为评估各个机器学习模型的优化性能并进行智能推荐时，设置a>0.5>b。

由于所述评估函数结合了机器学习模型本身的性能指标及机器学习模型应用在实际业务场景中进行预测得到的业务指标，因而通过评估函数能够有效的评估出机器学习模型应用在实际业务场景中的优化性能。

在一个可选的实施例中，所述根据所述多个预测值和所述评估函数计算多个评估分值包括：

获取每个机器学习模型对应的多个预测值中的多个第一预测值；

获取所述多个第一预测值对应的多个实际值；

根据所述多个预测值及所述多个实际值计算得到业务指标；

根据所述多个预测值计算性能指标；

输入所述业务指标及所述性能指标至所述评估函数中得到每个机器学习模型的评估分值。

由于在分类时，通常都会手动设置一个阈值来将对应的概率转化成类别，这个阈值也就很大程度上影响了机器学习模型准确率的计算。机器学习模型的性能实际上较差时，但从准确率上看却适得其反。此外在分类模型中，预测结果都是以概率的形式表现，而AUC能很好的描述模型整体性能的高低，是衡量二分类模型优劣的一种评价指标，表示正例排在负例前面的概率。因此，终端采用AUC作为机器学习模型的性能指标。

S14，基于所述多个评估分值构建评估矩阵。

终端设置一个初始化矩阵，以机器学习模型为行键，以测试样本数据集为列键，将与所述机器学习模型及所述测试样本数据集对应的预测值写入初始化矩阵对应的位置处，从而得到评估矩阵。

示例性的，假设评估矩阵如下所示：

其中，所述评估矩阵的横轴为每个月迭代的机器学习模型的版本，纵轴为测评月份的预测样本数据集。每一列从上到下代表如果某月机器学习模型停止迭代优化后，在以后的预测效果的变化情况。例如1908模型如果在19年9月后一直在线，那么1908模型的预测效果会从11.5％下降到5.2％。每一行从左到右表明，对于某月的预测样本数据集，使用迭代优化后的机器学习模型后的预测效果的变化情况。例如在19年9月，新上线的1909模型对比上月的1908模型效果从10.5％提升至10.8％，代表1909对模型进行迭代优化是有正向收益的。第一列1908模型代表用19年8月上线的机器学习模型对19年8月-20年2月的测试样本数据集进行预测，并用评估函数评估了19年8月上线的机器学习模型的优化效果。可以看到，19年8月上线的机器学习模型的预测值从11.5％下降到5.2％。同理可以推广到1909模型至2002模型。当月模型为矩阵主对角线的优化效果值。

在一个可选的实施例中，在所述基于所述多个评估分值构建评估矩阵之后，所述方法还包括：

根据所述评估矩阵拟合出评估走势曲线。

以所述切分时间节点为横轴，以所述多个评估分值为纵轴，采用最小二乘函数为每个机器学习模型拟合出一条评估走势曲线。

该可选的实施例中，通过拟合评估走势曲线，能够更加直观的显示每个机器学习模型的优化性能的变化趋势。

S15，根据预设优化效果评估模型及所述评估矩阵评估出每个机器学习模型的优化效果值。

终端可以预先设置优化效果评估模型，用以评估每个机器学习模型的优化效果值。

在一个可选的实施例中，所述根据预设优化效果评估模型及所述评估矩阵评估出每个机器学习模型的优化效果值包括：

针对每一个机器学习模型，从所述评估矩阵中获取所述机器学习模型的上线时间所在列的所有其他机器学习模型的评估分值；

确定所有其他机器学习模型的评估分值的最大评估分值；

计算所述机器学习模型的评估分值与所述最大评估分值之间的差值，作为所述机器学习模型的优化效果值。

优化效果值定义为任一主对角线的数值减去左侧数据的最大值。在评估矩阵中，(2002模型，2002)数据单元格代表20年2月优化后的机器学习模型，对20年2月的测试样本数据集进行预测得到的预测效果。则优化效果为(2002模型，2002)–max[(1908模型，2002)，(1909模型，2002)，(1910模型，2002)，(1911模型，2002)，(1912模型，2002)，(2001模型，2002)]。通过计算得出其优化效果为0.25％，表明2002模型的优化效果较佳。

在一个可选的实施例中，在所述根据预设优化效果评估模型及所述评估矩阵评估出每个机器学习模型的优化效果值之后，所述方法还包括：

选取最大的优化效果值对应的机器学习模型为目标机器学习模型；

使用所述目标机器学习模型对至少一个目标用户进行预测并获取至少一个预测结果。

通过对机器学习模型对应的优化效果值进行比较，确定出最大的优化效果值。优化效果值越大，表明对应的机器学习模型应用于真实的业务场景中的性能就越佳。优化效果值越小，表明对应的机器学习模型应用于真实的业务场景中的性能就越差。

通过选取最大的优化效果值对应的机器学习模型为目标机器学习模型，并在后续在线使用目标机器学习模型对目标用户进行预测，能够得到准确率较高的预测结果，所述预测结果的置信度较大。

在一个可选的实施例中，所述方法还包括：

比较所述至少一个预测结果与多个预设范围；

将每个预设范围内的预测结果对应的目标用户的信息写入每个预设范围对应的数据队列中。

终端中预先存储有多个预设范围，例如，第一预设范围[x1，x2]，第二预设范围[x2，x3]，第三预设范围[x3，x4]，其中，x1<x2<x3<x4。

每个预设范围对应一个数据队列，用于存储所述预设范围内的预测结果对应的用户的信息。将第一预设范围内的预测结果对应的目标用户的信息写入第一数据队列中，将第二预设范围内的预测结果对应的目标用户的信息写入第二数据队列中，将第三预设范围内的预测结果对应的目标用户的信息写入第三数据队列中。

该可选的实施例中，根据预测结果将目标用户的信息写入对应的数据队列中，可以方便管理者直接从数据队列中获取信息，并采取措施。例如，在保险业务员留存场景中，将不同的预测结果写入不同的数据队列中，能够方便管理者直观的确定哪些是属于留存时间较长的保险业务员，则将这些留存时间较长的保险业务员作为重点培养对象，淘汰掉留存时间较短的保险业务员，从而提高业务员的筛选效率，节约企业成本。

本发明基于业务指标和技术指标构建评估函数，使用所述评估函数计算多个机器学习模型输出的多个预测值得到评估分值，基于评估分值构建评估矩阵，最后根据预设优化效果评估模型及所述评估矩阵评估出每个机器学习模型的优化效果值，实现了对多次迭代优化的机器学习模型进行评估的效果。基于评估效果值，便于从多次迭代优化的机器学习模型中选取出预测准确率最高的机器学习模型，从而使用预测准确率最高的机器学习模型进行预测，能够提升预测的准确率。

需要强调的是，为进一步保证上述评估函数的私密性和安全性，上述评估函数可存储于区块链的节点中。

图2是本发明实施例二提供的机器学习模型优化效果评估装置的结构图。

在一些实施例中，所述机器学习模型优化效果评估装置20可以包括多个由计算机程序段所组成的功能模块。所述机器学习模型优化效果评估装置20中的各个程序段的计算机程序可以存储于终端的存储器中，并由至少一个处理器所执行，以执行(详见图1描述)机器学习模型优化效果评估的功能。

本实施例中，所述机器学习模型优化效果评估装置20根据其所执行的功能，可以被划分为多个功能模块。所述功能模块可以包括：样本切分模块201、模型预测模块202、分值计算模块203、矩阵构建模块204、曲线拟合模块205、优化评估模块206、模型确定模块207及信息写入模块208。本发明所称的模块是指一种能够被至少一个处理器所执行并且能够完成固定功能的一系列计算机程序段，其存储在存储器中。在本实施例中，关于各模块的功能将在后续的实施例中详述。

所述样本切分模块201，用于将历史样本数据集切分为多个测试样本数据集。

终端定期或者不定期的对机器学习模型进行迭代优化，例如，在2019年9月至2020年2月期间，每个月对机器学习模型进行一次迭代优化，每个月的优化方案均不同。

在代理人留存场景中，由于优化的机器学习模型对当月的用户进行预测所带来效果的提升无法立即观察到，需要待用户留存满几个月后才能观察到，因此，每次迭代优化的机器学习模型的预测效果可达到的上限不同且未知，不能以某一固定基准线对机器学习模型的优化性能进行评价。其中，机器学习模型的优化性能是指机器学习模型对所述多个历史样本数据集的预测准确率。

在一个可选的实施例中，所述样本切分模块201将历史样本数据集切分为多个测试样本数据集包括：

获取每个机器学习模型的上线时间；

对所述上线时间进行排序，并将排序后的上线时间确定为切分时间节点；

根据所述切分时间节点将所述历史样本数据集切分为多个测试样本数据集。

其中，所述机器学习模型的上线时间是指机器学习模型首次进行在线预测的时间。

为了评估迭代优化的多个机器学习模型的优化性能，终端获取多个历史样本数据集，并基于所述多个历史样本数据集对所述多个机器学习模型的优化性能进行评估。所述历史样本数据集中的每个样本数据对应一个采集时间。终端先按照采集时间对所述历史样本数据集中的样本数据进行排序，并以多个机器学习模型的多个上线时间为切分时间节点，对所述历史样本数据集进行切分，从而得到多个测试样本数据集。

该可选的实施例中，根据机器学习模型的上线时间对历史样本数据集中的样本数据进行切分，使得每个机器学习模型对应有一个测试样本数据集，且每个机器学习模型对应的测试样本数据集均为所述机器学习模型上线之前且上一个机器学习模型上线之后的历史样本数据，如此使得机器学习模型对对应的测试样本数据集进行预测符合实际场景，从而保证对机器学习模型的优化性能的评估的有效性。

所述模型预测模块202，用于使用多个机器学习模型对所述多个测试样本数据集进行预测得到多个预测值。

终端使用每个机器学习模型对每个测试样本数据集进行预测，并获取每个机器学习模型输出的每个测试样本数据集的多个预测值。

由于机器学习模型在上线时仅能预测上线时间之前的测试样本数据集，而为了保证数据的对称性，对于无法进行预测的测试样本数据集的预测值记为0。

示例性的，假设有3个机器学习模型，每个机器学习模型对应1个测试样本数据集，每个测试样本数据集中包括4个测试样本，则每个机器学习模型对每个测试样本数据集进行测试并输出4个预测值，即每个机器学习模型输出共计12个预测值。其中，所述预测值为0和1之间的任意值。其中，对于第1个机器学习模型预测第2个测试样本数据集时输出的4个预测值和预测第3个测试样本数据集时输出的4个预测值记为0，对于第2个机器学习模型预测第3个测试样本数据集时输出的4个预测值记为0。

所述分值计算模块203，用于基于业务指标和技术指标构建评估函数，并根据所述多个预测值和所述评估函数计算多个评估分值。

在代理人留存场景中，业务指标是指留存率，技术指标是指受试者工作特征(Receiver Operating Characteristic)曲线下与坐标轴围成的面积(Area Under Curve，AUC)，留存率和AUC可能出现矛盾，因此，需要综合预测值和AUC共同基于业务指标和技术指标构建评估函数。关于AUC的计算过程，为现有技术，本发明在此不再详细阐述。

在一个可选的实施例中，所述评估函数为：Score＝(a+b)/(a/AUC+b/RR)。

其中，AUC为技术指标，RR为业务指标，a为所述技术指标的权重系数，b为所述业务指标的权重系数，a+b＝1。终端可以初始化a＝b＝0.5。

在一个可选的实施例中，终端可以根据实际需求设置a和b的大小，例如，当实际需求为预测业务场景中的业务指标时，设置b>0.5>a，当实际需求仅为评估各个机器学习模型的优化性能并进行智能推荐时，设置a>0.5>b。

由于所述评估函数结合了机器学习模型本身的性能指标及机器学习模型应用在实际业务场景中进行预测得到的业务指标，因而通过评估函数能够有效的评估出机器学习模型应用在实际业务场景中的优化性能。

在一个可选的实施例中，所述分值计算模块203根据所述多个预测值和所述评估函数计算多个评估分值包括：

获取每个机器学习模型对应的多个预测值中的多个第一预测值；

获取所述多个第一预测值对应的多个实际值；

根据所述多个预测值及所述多个实际值计算得到业务指标；

根据所述多个预测值计算性能指标；

输入所述业务指标及所述性能指标至所述评估函数中得到每个机器学习模型的评估分值。

由于在分类时，通常都会手动设置一个阈值来将对应的概率转化成类别，这个阈值也就很大程度上影响了机器学习模型准确率的计算。机器学习模型的性能实际上较差时，但从准确率上看却适得其反。此外在分类模型中，预测结果都是以概率的形式表现，而AUC能很好的描述模型整体性能的高低，是衡量二分类模型优劣的一种评价指标，表示正例排在负例前面的概率。因此，终端采用AUC作为机器学习模型的性能指标。

所述矩阵构建模块204，用于基于所述多个评估分值构建评估矩阵。

终端设置一个初始化矩阵，以机器学习模型为行键，以测试样本数据集为列键，将与所述机器学习模型及所述测试样本数据集对应的预测值写入初始化矩阵对应的位置处，从而得到评估矩阵。

示例性的，假设评估矩阵如下所示：

其中，所述评估矩阵的横轴为每个月迭代的机器学习模型的版本，纵轴为测评月份的预测样本数据集。每一列从上到下代表如果某月机器学习模型停止迭代优化后，在以后的预测效果的变化情况。例如1908模型如果在19年9月后一直在线，那么1908模型的预测效果会从11.5％下降到5.2％。每一行从左到右表明，对于某月的预测样本数据集，使用迭代优化后的机器学习模型后的预测效果的变化情况。例如在19年9月，新上线的1909模型对比上月的1908模型效果从10.5％提升至10.8％，代表1909对模型进行迭代优化是有正向收益的。第一列1908模型代表用19年8月上线的机器学习模型对19年8月-20年2月的测试样本数据集进行预测，并用评估函数评估了19年8月上线的机器学习模型的优化效果。可以看到，19年8月上线的机器学习模型的预测值从11.5％下降到5.2％。同理可以推广到1909模型至2002模型。当月模型为矩阵主对角线的优化效果值。

所述曲线拟合模块205，用于根据所述评估矩阵拟合出评估走势曲线。

以所述切分时间节点为横轴，以所述多个评估分值为纵轴，采用最小二乘函数为每个机器学习模型拟合出一条评估走势曲线。

该可选的实施例中，通过拟合评估走势曲线，能够更加直观的显示每个机器学习模型的优化性能的变化趋势。

所述优化评估模块206，用于根据预设优化效果评估模型及所述评估矩阵评估出每个机器学习模型的优化效果值。

终端可以预先设置优化效果评估模型，用以评估每个机器学习模型的优化效果值。

在一个可选的实施例中，所述优化评估模块206根据预设优化效果评估模型及所述评估矩阵评估出每个机器学习模型的优化效果值包括：

针对每一个机器学习模型，从所述评估矩阵中获取所述机器学习模型的上线时间所在列的所有其他机器学习模型的评估分值；

确定所有其他机器学习模型的评估分值的最大评估分值；

计算所述机器学习模型的评估分值与所述最大评估分值之间的差值，作为所述机器学习模型的优化效果值。

优化效果值定义为任一主对角线的数值减去左侧数据的最大值。在评估矩阵中，(2002模型，2002)数据单元格代表20年2月优化后的机器学习模型，对20年2月的测试样本数据集进行预测得到的预测效果。则优化效果为(2002模型，2002)–max[(1908模型，2002)，(1909模型，2002)，(1910模型，2002)，(1911模型，2002)，(1912模型，2002)，(2001模型，2002)]。通过计算得出其优化效果为0.25％，表明2002模型的优化效果较佳。

所述模型确定模块207，用于在所述根据预设优化效果评估模型及所述评估矩阵评估出每个机器学习模型的优化效果值之后，选取最大的优化效果值对应的机器学习模型为目标机器学习模型；使用所述目标机器学习模型对至少一个目标用户进行预测并获取至少一个预测结果。

通过对机器学习模型对应的优化效果值进行比较，确定出最大的优化效果值。优化效果值越大，表明对应的机器学习模型应用于真实的业务场景中的性能就越佳。优化效果值越小，表明对应的机器学习模型应用于真实的业务场景中的性能就越差。

通过选取最大的优化效果值对应的机器学习模型为目标机器学习模型，并在后续在线使用目标机器学习模型对目标用户进行预测，能够得到准确率较高的预测结果，所述预测结果的置信度较大。

信息写入模块208，用于比较所述至少一个预测结果与多个预设范围；将每个预设范围内的预测结果对应的目标用户的信息写入每个预设范围对应的数据队列中。

终端中预先存储有多个预设范围，例如，第一预设范围[x1，x2]，第二预设范围[x2，x3]，第三预设范围[x3，x4]，其中，x1<x2<x3<x4。

每个预设范围对应一个数据队列，用于存储所述预设范围内的预测结果对应的用户的信息。将第一预设范围内的预测结果对应的目标用户的信息写入第一数据队列中，将第二预设范围内的预测结果对应的目标用户的信息写入第二数据队列中，将第三预设范围内的预测结果对应的目标用户的信息写入第三数据队列中。

该可选的实施例中，根据预测结果将目标用户的信息写入对应的数据队列中，可以方便管理者直接从数据队列中获取信息，并采取措施。例如，在保险业务员留存场景中，将不同的预测结果写入不同的数据队列中，能够方便管理者直观的确定哪些是属于留存时间较长的保险业务员，则将这些留存时间较长的保险业务员作为重点培养对象，淘汰掉留存时间较短的保险业务员，从而提高业务员的筛选效率，节约企业成本。

本发明基于业务指标和技术指标构建评估函数，使用所述评估函数计算多个机器学习模型输出的多个预测值得到评估分值，基于评估分值构建评估矩阵，最后根据预设优化效果评估模型及所述评估矩阵评估出每个机器学习模型的优化效果值，实现了对多次迭代优化的机器学习模型进行评估的效果。基于评估效果值，便于从多次迭代优化的机器学习模型中选取出预测准确率最高的机器学习模型，从而使用预测准确率最高的机器学习模型进行预测，能够提升预测的准确率。

需要强调的是，为进一步保证上述评估函数的私密性和安全性，上述评估函数可存储于区块链的节点中。

参阅图3所示，为本发明实施例三提供的终端的结构示意图。在本发明较佳实施例中，所述终端3包括存储器31、至少一个处理器32、至少一条通信总线33及收发器34。

本领域技术人员应该了解，图3示出的终端的结构并不构成本发明实施例的限定，既可以是总线型结构，也可以是星形结构，所述终端3还可以包括比图示更多或更少的其他硬件或者软件，或者不同的部件布置。

在一些实施例中，所述终端3是一种能够按照事先设定或存储的指令，自动进行数值计算和/或信息处理的终端，其硬件包括但不限于微处理器、专用集成电路、可编程门阵列、数字处理器及嵌入式设备等。所述终端3还可包括客户设备，所述客户设备包括但不限于任何一种可与客户通过键盘、鼠标、遥控器、触摸板或声控设备等方式进行人机交互的电子产品，例如，个人计算机、平板电脑、智能手机、数码相机等。

需要说明的是，所述终端3仅为举例，其他现有的或今后可能出现的电子产品如可适应于本发明，也应包含在本发明的保护范围以内，并以引用方式包含于此。

在一些实施例中，所述存储器31中存储有计算机程序，所述计算机程序被所述至少一个处理器32执行时实现如所述的机器学习模型优化效果评估方法中的全部或者部分步骤。所述存储器31包括只读存储器(Read-Only Memory，ROM)、可编程只读存储器(Programmable Read-Only Memory，PROM)、可擦除可编程只读存储器(ErasableProgrammable Read-Only Memory，EPROM)、一次可编程只读存储器(One-timeProgrammable Read-Only Memory，OTPROM)、电子擦除式可复写只读存储器(Electrically-Erasable Programmable Read-Only Memory，EEPROM)、只读光盘(CompactDisc Read-Only Memory，CD-ROM)或其他光盘存储器、磁盘存储器、磁带存储器、或者能够用于携带或存储数据的计算机可读的任何其他介质。

进一步地，所述计算机可读存储介质可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序等；存储数据区可存储根据区块链节点的使用所创建的数据等。

本发明所指区块链是分布式数据存储、点对点传输、共识机制、加密算法等计算机技术的新型应用模式。区块链(Blockchain)，本质上是一个去中心化的数据库，是一串使用密码学方法相关联产生的数据块，每一个数据块中包含了一批次网络交易的信息，用于验证其信息的有效性(防伪)和生成下一个区块。区块链可以包括区块链底层平台、平台产品服务层以及应用服务层等。

在一些实施例中，所述至少一个处理器32是所述终端3的控制核心(ControlUnit)，利用各种接口和线路连接整个终端3的各个部件，通过运行或执行存储在所述存储器31内的程序或者模块，以及调用存储在所述存储器31内的数据，以执行终端3的各种功能和处理数据。例如，所述至少一个处理器32执行所述存储器中存储的计算机程序时实现本发明实施例中所述的机器学习模型优化效果评估方法的全部或者部分步骤；或者实现机器学习模型优化效果评估装置的全部或者部分功能。所述至少一个处理器32可以由集成电路组成，例如可以由单个封装的集成电路所组成，也可以是由多个相同功能或不同功能封装的集成电路所组成，包括一个或者多个中央处理器(Central Processing unit，CPU)、微处理器、数字处理芯片、图形处理器及各种控制芯片的组合等。

在一些实施例中，所述至少一条通信总线33被设置为实现所述存储器31以及所述至少一个处理器32等之间的连接通信。

尽管未示出，所述终端3还可以包括给各个部件供电的电源(比如电池)，优选的，电源可以通过电源管理装置与所述至少一个处理器32逻辑相连，从而通过电源管理装置实现管理充电、放电、以及功耗管理等功能。电源还可以包括一个或一个以上的直流或交流电源、再充电装置、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。所述终端3还可以包括多种传感器、蓝牙模块、Wi-Fi模块等，在此不再赘述。

上述以软件功能模块的形式实现的集成的单元，可以存储在一个计算机可读取存储介质中。上述软件功能模块存储在一个存储介质中，包括若干指令用以使得一台终端(可以是个人计算机，终端，或者网络设备等)或处理器(processor)执行本发明各个实施例所述方法的部分。

在本发明所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。

所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能模块的形式实现。

对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化涵括在本发明内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。此外，显然“包括”一词不排除其他单元或，单数不排除复数。装置权利要求中陈述的多个单元或装置也可以由一个单元或装置通过软件或者硬件来实现。第一，第二等词语用来表示名称，而并不表示任何特定的顺序。

最后应说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或等同替换，而不脱离本发明技术方案的精神和范围。

Claims (6)

1.一种机器学习模型优化效果评估方法，其特征在于，所述方法包括：

将历史样本数据集切分为多个测试样本数据集，包括：获取每个机器学习模型的上线时间；对所述上线时间进行排序，并将排序后的上线时间确定为切分时间节点；根据所述切分时间节点将所述历史样本数据集切分为多个测试样本数据集；

使用多个机器学习模型对所述多个测试样本数据集进行预测得到多个预测值；

基于业务指标和技术指标构建评估函数，并根据所述多个预测值和所述评估函数计算多个评估分值，所述业务指标是指用户留存率，所述技术指标是指受试者工作特征曲线下与坐标轴围成的面积；

基于所述多个评估分值构建评估矩阵；

根据预设优化效果评估模型及所述评估矩阵评估出每个机器学习模型的优化效果值，包括：针对每一个机器学习模型，从所述评估矩阵中获取所述机器学习模型的上线时间所在列的所有其他机器学习模型的评估分值；确定所有其他机器学习模型的评估分值的最大评估分值；计算所述机器学习模型的评估分值与所述最大评估分值之间的差值，作为所述机器学习模型的优化效果值；

选取最大的优化效果值对应的机器学习模型为目标机器学习模型；使用所述目标机器学习模型对至少一个目标用户进行预测并获取至少一个预测结果；比较所述至少一个预测结果与多个预设范围；将每个预设范围内的预测结果对应的目标用户的信息写入每个预设范围对应的数据队列中。

2.如权利要求1所述的机器学习模型优化效果评估方法，其特征在于，所述根据所述多个预测值和所述评估函数计算多个评估分值包括：

获取每个机器学习模型对应的多个预测值中的多个第一预测值；

获取所述多个第一预测值对应的多个实际值；

根据所述多个预测值及所述多个实际值计算得到业务指标；

根据所述多个预测值计算性能指标；

输入所述业务指标及所述性能指标至所述评估函数中得到每个机器学习模型的评估分值。

3.如权利要求1所述的机器学习模型优化效果评估方法，其特征在于，所述评估函数为：Score=（a+b）/（a/AUC+b/RR），其中，AUC为技术指标，RR为业务指标，a为所述技术指标的权重系数，b为所述业务指标的权重系数，a+b=1。

4.一种机器学习模型优化效果评估装置，其特征在于，所述装置包括：

样本切分模块，用于将历史样本数据集切分为多个测试样本数据集，包括：获取每个机器学习模型的上线时间；对所述上线时间进行排序，并将排序后的上线时间确定为切分时间节点；根据所述切分时间节点将所述历史样本数据集切分为多个测试样本数据集；

模型预测模块，用于使用多个机器学习模型对所述多个测试样本数据集进行预测得到多个预测值；

分值计算模块，用于基于业务指标和技术指标构建评估函数，并根据所述多个预测值和所述评估函数计算多个评估分值，所述业务指标是指用户留存率，所述技术指标是指受试者工作特征曲线下与坐标轴围成的面积；

矩阵构建模块，用于基于所述多个评估分值构建评估矩阵；

优化评估模块，用于根据预设优化效果评估模型及所述评估矩阵评估出每个机器学习模型的优化效果值，包括：针对每一个机器学习模型，从所述评估矩阵中获取所述机器学习模型的上线时间所在列的所有其他机器学习模型的评估分值；确定所有其他机器学习模型的评估分值的最大评估分值；计算所述机器学习模型的评估分值与所述最大评估分值之间的差值，作为所述机器学习模型的优化效果值；

选取最大的优化效果值对应的机器学习模型为目标机器学习模型；使用所述目标机器学习模型对至少一个目标用户进行预测并获取至少一个预测结果；比较所述至少一个预测结果与多个预设范围；将每个预设范围内的预测结果对应的目标用户的信息写入每个预设范围对应的数据队列中。

5.一种计算机终端，其特征在于，所述终端包括：

存储器，用于存储计算机程序；

处理器，所述处理器用于执行所述计算机程序时实现如权利要求1至3中任意一项所述的机器学习模型优化效果评估方法。

6.一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至3中任意一项所述的机器学习模型优化效果评估方法。