CN111860698A - 确定学习模型的稳定性的方法和装置 - Google Patents

Abstract

本发明的实施例涉及人工智能领域，提供一种确定学习模型的稳定性的方法和装置。所述方法包括：获取对照信息；获取实验样本集；获取实验信息；根据稳定性信息确定学习模型稳定性，所述稳定性信息表征所述对照信息和所述实验信息之间的偏离程度。根据本发明实施例的确定学习模型的稳定性的方法和装置能够适用于多种类型的学习模型，并且能够客观、准确的确定学习模型的稳定性。

Description

确定学习模型的稳定性的方法和装置

技术领域

本发明涉及人工智能领域，特别是涉及一种确定学习模型的稳定性的方法和装置。

背景技术

稳定性是指学习模型在面对无关数据的干扰时还能否保持稳定。

现有技术中存在使用对抗数据集、干扰数据集等对模型进行训练的方法，来增强学习模型的稳定性，但是仍需要一种稳定性判定方法来判定这样的学习模型是否真的稳定，现有技术中还存在针对某些特定的模型的稳定性进行评价的方法，但是这些方法的局限性较高，并不能够进行广泛的适用。

发明内容

鉴于上述问题，提出了本发明以便提供一种克服上述问题或者至少部分地解决上述问题的基于人工智能技术领域的学习模型稳定性的判定方法和装置。

根据本发明实施例的一个方面提供一种确定学习模型的稳定性的方法，包括：获取对照信息，所述对照信息包括将对照样本集输入所述学习模型由所述学习模型输出的对照结果集和\或对照评价指标，其中所述对照样本集包括M个对照样本，每个对照样本各自具有L个特征值，M和L为大于1的整数；获取实验样本集，所述实验样本集包括M个实验样本，所述M个实验样本与所述M个对照样本一一对应，其中每个所述实验样本是通过改变所述对照样本集中的每个所述对照样本L个特征值中的N个特征值来获取的，N为大于等于1且小于等于L的整数；获取实验信息，所述实验信息包括将所述实验样本集输入所述学习模型由所述学习模型输出的实验结果集和\或实验评价指标，其中所述实验结果集与所述对照结果集相对应，所述实验评价指标与所述对照评价指标相对应；根据稳定性信息确定所述学习模型的稳定性，所述稳定性信息表征所述对照信息和所述实验信息之间的偏离程度。

可选地，在所述对照信息包括对照结果集且所述实验信息包括实验结果集的情况下，所述稳定性信息包括第一属性值，所述第一属性值表征所述对照结果集和所述实验结果集之间的偏离程度；在所述对照信息包括对照评价指标且所述实验信息包括实验评价指标的情况下，所述稳定性信息包括第二属性值，所述第二属性值表征所述对照评价指标和所述实验评价指标之间的偏离程度。

可选地，在所述对照信息包括对照结果集和对照评价指标且所述实验信息包括实验结果集和实验评价指标的情况下，所述稳定性信息包括：第一属性值，所述第一属性值表征所述对照结果集和所述实验结果集之间的偏离程度；第二属性值，所述第二属性值表征所述对照评价指标和所述实验评价指标之间的偏离程度；第三属性值，所述第三属性值是通过对所述第一属性值和所述第二属性值进行加权获取的。

可选地，根据稳定性信息确定所述学习模型的稳定性包括：确定所述第一属性值是否大于第一预设阈值；在确定所述第一属性值大于第一预设阈值的情况下，根据所述第一属性值确定所述学习模型的稳定性；在确定所述第一属性值小于等于第一预设阈值的情况下，根据所述第三属性值确定所述学习模型的稳定性。

可选地，所述N个特征值是根据特征值重要程度信息从所述对照样本的L个所述特征值中筛选出的；所述特征值重要程度信息包括以下中的至少一个：所述学习模型本身具有的特征值重要程度信息；通过针对所述对照样本集构建特征值分析模型获取的特征值重要程度信息；利用特征值评估公式计算得到的特征值重要程度信息。

可选地改变所述对照样本集中的每个所述对照样本L个特征值中的N个特征值包括：利用预定规则将每个所述特征值与随机数进行运算；或者分别将每个所述特征值替换为所述特征值的取值范围内的其他任意值。

可选地，所述对照结果集包括M个对照结果，所述实验结果集包括M个实验结果，所述对照结果和所述实验结果一一对应；所述第一属性值的获取包括：获取与对应的所述对照结果之间的偏离程度大于第二预设阈值的所述实验结果在所有所述实验结果中所占的比例；根据所述比例获取所述第一属性值。

根据本发明实施例的又一方面，提供一种确定学习模型稳定性的装置，包括：对照模块，用于获取对照信息，所述对照信息包括将对照样本集输入所述学习模型由所述学习模型输出的对照结果集和\或对照评价指标，其中所述对照样本集包括M个对照样本，每个对照样本各自具有L个特征值，M和L为大于1的整数；扰动模块，用于获取实验样本集，所述实验样本集包括M个实验样本，所述M个实验样本与所述M个对照样本一一对应，其中每个所述实验样本是通过改变所述对照样本集中的每个所述对照样本L个特征值中的N个特征值来获取的，N为大于等于1且小于等于L的整数；实验模块，用于获取实验信息，所述实验信息包括将所述实验样本集输入所述学习模型由所述学习模型输出的实验结果集和\或实验评价指标，其中所述实验结果集与所述对照结果集相对应，所述实验评价指标与所述对照评价指标相对应；稳定性确定模块，用于根据稳定性信息确定所述学习模型的稳定性，所述稳定性信息表征所述对照信息和所述实验信息之间的偏离程度。

根据本发明实施例的再一方面，提供一种电子设备，包括：一个或多个处理器；存储装置，用于存储一个或多个程序，其中，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器执行根据如上任一所述的方法。

根据本发明实施例的再一方面，提供一种计算机可读存储介质，其上存储有可执行指令，该指令被处理器执行时使处理器执行根据如上任一所述的方法。

根据本发明实施例的确定学习模型稳定的方法和装置能够适用于多种类型的学习模型，并且能够给出较为客观、准确的稳定性判定结果。

附图说明

图1为根据本发明实施例的确定学习模型的稳定性的方法的示意图；

图2为根据本发明的又一个实施例的确定学习模型的稳定性的方法的示意图；

图3为根据本发明的再一个实施例的确定学习模型的稳定性的方法的示意图；

图4为根据本发明实施例的选择N个特征值的示意图；

图5为根据本发明实施例的改变N个特征值的示意图；

图6为根据本发明实施例的确定学习模型稳定性的装置的示意图；

图7为根据本发明实施例的确定学习模型稳定性的装置使用场景示意图；

图8为根据本发明实施例的电子设备示意图；

图9为根据本发明实施例的计算机可读储存介质示意图。

具体实施方式

下面结合附图，对本发明的实施例进行详细地说明。另外，在下面的详细描述中，为便于解释，阐述了许多具体的细节以提供对本披露实施例的全面理解。然而明显地，一个或多个实施例在没有这些具体细节的情况下也可以被实施。

学习模型可以广泛应用在各个领域并且具有多种分类，从宏观上来讲，通常包括：分类型学习模型，这样的学习模型用于将数据进行分类，最终输出的结果通常是类别信息；回归型学习模型，这样的学习模型用于对输入的数据进行回归分析，最终输出预测值。

学习模型的构建过程中使用的数据集通常本分类成训练集和测试集，训练集用来对神经网络模型进行训练从而获取学习模型，而测试集用来对学习模型进行测试从而获取一个或者多个评价指标，针对分类型学习模型，常用的评价指标包括：AUC值(Area UnderCurve，接受者操作特性曲线下与坐标轴围成的面积)，准确率、召回率、预测精度等，针对回归型学习模型，常用的评价指标包括：均方误差、均方根误差、R2系数等。这些评价指标用于评价学习模型的性能，作为中止训练的依据，当评价指标达标后意味着模型训练完成可以投入使用。

在模型的实际使用过程中，由于真实数据通常会与训练模型时使用的测试集和训练集数据不同，并且随着时间的推移这种差异将会逐渐增大，导致学习模型的性能出现不同程度的衰减，性能衰减可以体现为：分类错误或预测偏离的结果增加、评价指标的下滑等等，因此提出了根据本发明实施例的确定学习模型的稳定性的方法，来针对实际使用过程中学习模型的性能稳定性进行评价，下面通过几个实施例来对根据本发明实施例的确定学习模型的稳定性的方法进行说明。

根据本发明的实施例首先提供一种确定学习模型的稳定性的方法，参照图1，包括：

步骤S102：获取对照信息。

所述对照信息包括将对照样本集输入所述学习模型由所述学习模型输出的对照结果集和\或对照评价指标，其中所述对照样本集包括M个对照样本，每个对照样本各自具有L个特征值，M和L为大于1的整数。

步骤S102中的学习模型可以是针对刚刚训练和测试完成还未正式投入使用的学习模型，用于预先确定其面对噪声时的稳定性，从而避免由于学习模型稳定性差导致的实际使用中的损失，在一些实施方式中，可以理解的，该方法也可以应用于已经投入实际使用一段时间后的学习模型，本领域技术人员可以根据实际需求使用根据本发明实施例的方法对任何需要进行稳定性判定的学习模型进行稳定性的判定。

步骤S102中的对照信息包括将对照样本集输入所述学习模型由所述学习模型输出的对照结果集和\或对照评价指标，也就是说可以选择对照结果集或者对照评价指标作为对照信息，也可以同时选择二者作为对照信息。对照评价指标中所述的评价指标可以是评价指标可以是前述的学习模型常用评价指标中的一个或多个，本领域技术人员可以针对具体的学习模型和稳定性需求，来选择合适的一个或多个评价指标，在此不做具体的限定。

步骤S102中的对照样本集包括M个对照样本，每个对照样本包括L个特征值，M和L是大于1的整数，在一些实施方式中对照样本集可以是构建该学习模型时所使用的测试集，尤其是针对刚刚测试完成的学习模型而言，在确定待判定的学习模型的时候，可以一并获取到测试集和测试结果集来作为步骤S102中的对照样本集和对照结果集。当然本领域技术人员也可以使用其他合适的数据集来作为对照样本集，优选地，该数据集使用噪声较小的数据集，也就是和训练集、测试集的数据差异较小的数据集，以便更好地反应学习模型期望的性能。

步骤S104：获取实验样本集。

所述实验样本集包括M个实验样本，所述M个实验样本与所述M个对照样本一一对应，其中每个所述实验样本是通过改变所述对照样本集中的每个所述对照样本L个特征值中的N个特征值来获取的，N为大于等于1且小于等于L的整数。

可以理解的，对照样本集中的一个对照样本L个特征值中的N个特征值进行改变后获取实验样本集中的一个实验样本，其中N为大于等于1小于等于L的整数，也就是说可以仅改变一个特征值，可以改变所有的特征值，也可以根据实际需求从特征值中选取某些特征值进行改变，例如可以剔除一些对性能影响较小的特征值选择剩余的特征值进行改变，也可以选择一些对性能具有重要影响的特征值或者在应用的领域中具有重要意义的特征值来进行改变。

在L个特征值中选定了N个需要改变的特征值后，对每个对照样本的这N个特征值进行改变，这里的改变可以是随机的改变、也可以是具有一定预设规则的改变，优选地，在保证不超过特征值取值范围的情况下进行随机的改变，使得改变后的特征值变得分散，也就是使得实验样本集是噪声较大的样本集，从而能够使得稳定性判定的灵敏度增高。

可以理解，对上述M个样本中每个样本的N个特征值进行改变后，将会获取M个实验样本，并组成实验样本集，从而对照样本和实验样本是一一对应的。

步骤S106：获取实验信息。

实验信息包括将所述实验样本集输入所述学习模型由所述学习模型输出的实验结果集和\或实验评价指标，其中所述实验结果集与所述对照结果集相对应，所述实验评价指标与所述对照评价指标相对应。

将实验样本输入学习模型后，学习模型将会输出实验结果集和实验评价指标，如果选择对照结果集作为对照信息，则实验信息为实验结果集，如果选择对照评价指标作为对照信息，则实验信息为实验评价指标，如果同时选择对照结果集和对照评价指标作为对照信息，那么实验信息为实验结果集和实验评价指标。

步骤S108：根据稳定性信息确定所述学习模型的稳定性。

稳定性信息表征所述对照信息和所述实验信息之间的偏离程度。

在一些实施方式中，在所述对照信息包括对照结果集且所述实验信息包括实验结果集的情况下，所述稳定性信息包括第一属性值，所述第一属性值表征所述对照结果集和所述实验结果集之间的偏离程度。

可以理解的，获取第一属性值需要计算实验结果集和对照结果集之间的偏离程度，具体计算方法可以使用本领域技术人员熟知的对两个对应的数据集合中的数据进行偏离程度分析(差异性分析)的方法中的一种并将分析结果转化为第一属性值，例如针对回归型学习模型，其结果集中的结果为具体的数值，因此可以将对应的结果求差值后再取平均值、方差、标准差等来代表偏离程度，也可以视情况使用配对T检验等方法来进行差异显著性分析，又例如针对分类型学习模型，可以选择合适的数字来表示类别以及各类别之间的关系，从而将分类结果转换为数值结果后进行偏离程度计算，如果是二分类的学习模型，还可以直接统计预测错误的结果数目。上述偏离程度分析(差异性分析)的结果可以直接作为第一属性值使用，也可以进行一定的运算后得到第一属性值以使得第一属性值更为直观的反应偏离程度，在此不做具体的限定。

在一些实施方式中，在所述对照信息包括对照评价指标且所述实验信息包括实验评价指标的情况下，所述稳定性信息包括第二属性值，所述第二属性值表征所述对照评价指标和所述实验评价指标之间的偏离程度。

第二属性值的获取需要计算对照评价指标和实验评价指标之间的偏离程度，在一些实施方式中，如果对照评价指标和实验评价指标仅包括一种评价指标，可以直接对这两个评价指标进行一定的运算来表示其偏离程度，获取第一属性值，如果对照评价指标和实验评价指标分别包括了多种评价指标，可以对这些评价指标进行求均值等计算后在进行偏离程度计算，也可以采用类似于前述内容中的第一属性值的计算方法，在此不再赘述。

进一步的，上述步骤获取的第一属性值反映了学习模型在面对噪声较小或无噪声的对照样本集和噪声较大的实验样本集时的结果差异，若确定的第一属性值较高，也就是对照结果集和实验结果集之间的偏离程度较大，意味着该学习模型在受到噪声干扰时结果的准确定将会下降，则将该学习模型判定为不稳定，也就是在这样的实施方式中针对学习模型的预测结果稳定性来确定学习模型的稳定性。

同样的，参照前述内容，第二属性值反映了学习模型的性能稳定性，也就是说在这样的实施方式中针对学习结果的性能稳定性来确定学习模型的稳定性。

进一步的，由于上述步骤中提出的改变每个对照样本的N个特征值获取实验样本集的方法对于样本集的类型并不需要进行限制，因此发明人提出的获取对照样本集、实验样本集并分别对学习模型进行测试的技术方案适用性较为广泛，能够用于多种类型的学习模型的稳定性检测。

在一些实施方式中，参照图2中的操作S202、操作S204、操作S206、操作S208和操作S210。在所述对照信息包括对照结果集和对照评价指标且所述实验信息包括实验结果集和实验评价指标的情况下，所述稳定性信息包括：第一属性值，所述第一属性值表征所述对照结果集和所述实验结果集之间的偏离程度；第二属性值，所述第二属性值表征所述对照评价指标和所述实验评价指标之间的偏离程度；第三属性值，所述第三属性值是通过对所述第一属性值和所述第二属性值进行加权获取的。

也就是说，在利用上述方法计算了第一属性值和第二属性值后，对第一属性值和第二属性值进行加权获得第三属性值。可以理解的，第三属性值实际上综合考虑了学习模型的结果稳定性和性能稳定性，因此在一些实施方式中根据稳定性信息确定学习模型的稳定性时，可以直接使用第三属性值来确定稳定性。

在对第一属性值和第二属性值进行加权的时候，具体的权重可以根据实际情况由本领域技术人员自行选择，例如在更加注重学习模型的结果稳定性时，使第一属性值的权重大于第二属性值的权重，在更加注重学习模型的性能稳定性时，使第二属性值的权重大于第一属性值等等。

在一些实施方式中，参照图3中的操作S301～操作S307，根据稳定性信息确定所述学习模型的稳定性包括：确定所述第一属性值是否大于第一预设阈值；在确定所述第一属性值大于第一预设阈值的情况下，根据所述第一属性值确定所述学习模型的稳定性；在确定所述第一属性值小于等于第一预设阈值的情况下，根据所述第三属性值确定所述学习模型的稳定性。。

确定第一属性值是否大于第一预设阈值，也就是首先通过结果的稳定性来确定学习模型的稳定性，当第一属性值大于第一预设阈值时，意味着实验结果的偏离程度较大，结果的稳定性较差，此时将不再通过第三属性值来确定稳定性，当第一属性值小于等于第一预设阈值时，也就是当结果的稳定性符合预期时，使用第三属性值来确定模型的稳定性。在这些实施方式中将结果稳定性与性能稳定性结合起来确定学习模型的稳定性的同时，还赋予了结果稳定性“一票否决权”，当结果稳定性或性能稳定性没有达到期望的时候，直接认为学习模型的稳定性没有达到期望，而不再进行综合的考虑，相当于使得结果稳定性拥有的更优先的级别。当然，在一些实施方式中，还可以将上述第一属性值替换为第二属性值，也就是说赋予性能稳定性“一票否决权”，当性能稳定性没有达到期望的时候，直接认为学习模型的稳定性没有达到期望。

图3中示出的流程中，在确定第一属性值大于第一预设阈值的情况下才进行第三属性值的计算，实际上在获取到第一属性值和第二属性值后就可以直接进行第三属性值的计算，也就是说不管是否需要第三属性值来确定学习模型的稳定性，都对第三属性值进行计算。

在一些实施方式中，由于第一属性值、第二属性值和第三属性值都是经过一定的计算规则计算后获取的，也就是说其具体数值不仅可以用于定性的判断，还可以用于定量的分析，在模型不稳定时，还可以针对第一属性值、第二属性值、第三属性值进行定量的分析，用于对稳定性进行更细化的评价，以及为学习模型下一步的优化方向提供线索，甚至还可以用于对两个模型的稳定性进行量化的比较，尤其是针对同一训练集训练出的两个模型，可以共用对照样本集和实验样本集来确定稳定性并进行稳定性的比较。

在上述任一实施方式中，N个特征值是根据特征值重要程度信息在对照样本的L个所述特征值中筛选出的N个所述特征值，所述特征值重要程度信息包括：所述学习模型本身具有的特征值重要程度信息；通过针对所述对照样本集构建特征值分析模型获取的特征值重要程度信息；利用特征值评估公式计算得到的特征值重要程度信息。

可以理解的，这里的特征值重要程度信息用来反映每一个特征值对于样本或学习模型而言的重要性。

具体而言，在一些实施方式中，参照图4中的步骤S401～步骤S405，步骤S401中获取到对照样本的L个特征值，然后进行步骤S402的判断，如果学习模型本身包含有特征值重要程度信息，那么可以直接使用，如果学习模型本身没有提供特征值重要程度信息，那么可以根据实际情况选择构建一个特征值分析模型，来对对照样本集中的样本进行分析，特征值重要程度信息，该特征值分析模型构建方法可以参照现有技术，在此不再赘述，还可以选择通过特征值评估公式来计算每个特征值的IV(information value，信息价值评估指标)，来获取特征值重要程度信息，具体的IV值计算公式可以参照现有技术，例如使用对WOE(weight of evidence″，即证据权重)进行加权的方法来获得IV值，在此不再赘述。当然本领域技术人员可以视情况选择同时使用上述几种获取方法来从多个维度获取特征值重要程度信息。

获取到特征值重要程度信息后，根据特征值重要程度信息对L个特征值进行重要程度的排序，然后视情况选择其中的N个特征值来进行改变。

进一步的，在上述任一实施方式中，改变所述对照样本集中的每个对照样本L个特征值中的N个特征值可以包括：将每个所述特征值与随机数进行运算，其中所述运算的规则是预先设定的；或者分别将每个所述特征值替换为所述特征值的取值范围内的其他值。

具体的，参照图5中的操作S501～操作S504，针对N个特征值，首先判断每个特征值的类别，来选择相应的改变方法，针对数值形式的特征值，可以采用随机数运算的方法，例如获取一个预定范围内的随机数，将该特征值与随机数进行相乘、相加等运算，具体的随机数取值范围和运算方式可以根据实际情况进行选择，在此不做具体的限定。对于类别形式的特征值，其取值范围被限定在了多个具体值中，因此可以将其替换为取值范围内的其他值，该替换可以是随机的替换，也可以预先统计该特征值的所有取值可能出现的频率，根据频率设置每个值在进行替换时被选取到的概率，本领域技术人员可以根据实际情况自行选择。

进一步的，一些实施方式中，所述对照结果集包括M个对照结果，所述实验结果集包括M个实验结果，所述对照结果和所述实验结果一一对应；所述第一属性值的获取包括：获取与对应的所述对照结果之间的偏离程度大于第二预设阈值的所述实验结果在所有所述实验结果中所占的比例；根据所述比例获取所述第一属性值。

具体而言，结合前述内容，对照样本与实验样本是一一对应的，M个对照样本输入学习模型中输出的对照结果集中将会含有M个对照结果，也就是说对照样本和对照结果也是一一对应的，同样的，实验样本和实验结果也是一一对应的，因此根据对照样本和实验样本的对应关系，可以获取对照结果和实验结果的对应关系，计算实验结果与对应的对照结果之间的偏离程度，并判断该偏离程度是否大于第二预设阈值，然后统计偏离程度大于第二预设阈值的实验结果在所有的实验结果中所占的比例，该比例表示了实验结果集与对照结果集之间的偏离程度，因此可以直接将该比例值作为第一属性值来使用。

计算实验结果和对照结果之间的偏离程度的具体方法可以根据结果的实际情况来进行选择，如果实验结果和对照结果是二分类学习模型的结果，也就是说只存在两个类别，那么如果实验结果和对照结果类别不同，则直接认为偏离程度大于第二预设阈值；如果实验结果和对照结果均为数值结果，那么可以利用本领域常用的两个数值之间的差异性计算方法来进行计算，在此不再赘述。如果学习模型是分类模型，并且有超过两种分类结果，可以考虑根据每种分类结果之间的逻辑关系，将分类结果赋值后使用前述方法进行计算。

下面结合一个具体的实施例来对上述实施例中涉及到的技术方案进行进一步的说明。

以银行业信贷业务风险管理模型为例，特征值包括财务数据、工商数据、征信数据、资金交易数据、舆情数据等，预测目标客户是否发生违约风险，是典型的二分类问题。

该学习模型在训练集上训练gbdt(梯度提升树)模型A和B，使用测试集作为对照样本集，测试集样本量为10000，使用AUC值作为评价指标。模型A在测试集(对照样本集)上测试，获取对照结果集，并根据测试结果计算AUC值(对照评价指标)，得到评价指标AUC值分别为0.9。

将上述特征值按照重要程度进行排序，挑选前3个重要特征值：分别是盈利能力、运营增长、行外违约。使用上述的改变特征值的方法，改变每个对照样本中的这三个特征值后，获取实验样本集。

将模型A在实验样本集中进行测试，获取实验结果集和AUC值(实验评价指标)，得到值为0.97。

由于该模型为二分类模型，因此统计实验结果集中发生类别反转的结果，共计200个。

计算第一属性值的具体公式为：

其中N_T为偏离程度大于第二预设阈值的实验结果数，N₀为实验结果总数。

计算第二属性值的具体公式为：

其中S₀为对照评价指标(本例中的对照样本集测试后的AUC)，ST为实验评价指标(本例中的实验样本集测试后的AUC)。

计算第三属性值的具体公式为

其中a表示权重，在这样的加权公式下第三属性值越接近1意味着稳定性越高。

接下来带入具体的数值进行计算，在本例中第一预设阈值设置为0.05，第二预设阈值设定为0.95。

首先带入第一属性值的公式，计算获取第一属性值为0.02，小于第一预设阈值，然后计算第二属性值和第三属性值，第三属性值计算结果为0.9670，大于第二预设阈值，也就是说模型A是稳定的，由于模型B和模型A是由同一训练集训练出来的，也就是说同样的对照样本集和实验样本集也可以对模型B进行稳定性的评价，假设模型B的第三属性值为0.9892，则可以判定模型B也是稳定的，进一步的，由于模型B的第三属性值大于模型A的第三属性值，实际上还可以得出综合考虑结果稳定性和性能稳定性的情况下，模型B的稳定性高于模型A。进一步的，还可以选择再细化地比较两个模型的第一属性值、第二属性值，以对两个模型进行更全面的比较，在此不再赘述。

根据本发明的实施例还提供一种确定学习模型的稳定性的装置100，参照图6，包括：

对照模块10，用于获取对照信息，所述对照信息包括将对照样本集输入所述学习模型由所述学习模型输出的对照结果集和\或对照评价指标，其中所述对照样本集包括M个对照样本，每个对照样本各自具有L个特征值，M和L为大于1的整数；

扰动模块20，用于获取实验样本集，所述实验样本集包括M个实验样本，所述M个实验样本与所述M个对照样本一一对应，其中每个所述实验样本是通过改变所述对照样本集中的每个所述对照样本L个特征值中的N个特征值来获取的，N为大于等于1且小于等于L的整数；

实验模块30，用于获取实验信息，所述实验信息包括将所述实验样本集输入所述学习模型由所述学习模型输出的实验结果集和\或实验评价指标，其中所述实验结果集与所述对照结果集相对应，所述实验评价指标与所述对照评价指标相对应；

稳定性确定模块40，用于根据稳定性信息确定所述学习模型的稳定性，所述稳定性信息表征所述对照信息和所述实验信息之间的偏离程度。

在一些实施方式中，在所述对照模块10获取的对照信息包括对照结果集且所述实验模块30获取的所述实验信息包括实验结果集的情况下，所述稳定性信息包括第一属性值，所述第一属性值表征所述对照结果集和所述实验结果集之间的偏离程度；所述对照模块10获取到所述对照信息包括对照评价指标，所述实验模块30获取的所述实验信息包括实验评价指标时，所述稳定性信息包括第二属性值，所述第二属性值表征所述对照评价指标和所述实验评价指标之间的偏离程度。

在一些实施方式中，在所述对照模块10获取的所述对照信息包括对照结果集和对照评价指标且所述实验模块20获取的所述实验信息包括实验结果集和实验评价指标的情况下，所述稳定性信息包括：第一属性值，所述第一属性值表征所述对照结果集和所述实验结果集之间的偏离程度；第二属性值，所述第二属性值表征所述对照评价指标和所述实验评价指标之间的偏离程度；第三属性值，所述第三属性值是通过对所述第一属性值和所述第二属性值进行加权获取的。

在一些实施方式中，稳定性确定模块40包括判定单元41，用于确定所述第一属性值是否大于第一预设阈值；在确定所述第一属性值大于第一预设阈值的情况下，根据所述第一属性值确定所述学习模型的稳定性；在确定所述第一属性值小于等于第一预设阈值的情况下，根据所述第三属性值确定所述学习模型的稳定性。

在一些实施方式中，所述N个特征值是根据特征值重要程度信息从所述对照样本的L个所述特征值中筛选出的；所述特征值重要程度信息包括以下中的至少一个：所述学习模型本身具有的特征值重要程度信息；通过针对所述对照样本集构建特征值分析模型获取的特征值重要程度信息；利用特征值评估公式计算得到的特征值重要程度信息。

在一些实施方式中，所述扰动模块20包括：第一扰动单元21，用于利用预定规则将每个所述特征值与随机数进行运算；第二扰动单元22，用于分别将每个所述特征值替换为所述特征值的取值范围内的其他任意值。

在一些实施方式中，所述对照结果集包括M个对照结果，所述实验结果集包括M个实验结果，所述对照结果和所述实验结果一一对应；所述第一属性值的获取包括：获取与对应的所述对照结果之间的偏离程度大于第二预设阈值的所述实验结果在所有所述实验结果中所占的比例；根据所述比例获取所述第一属性值。

可以理解的，参照上述确定学习模型的稳定性的方法中的多种实施方式，可以对装置100中一些模块的功能进行调整，或增加一些功能单元，以使其能够实现上述方法中所包含的步骤，具体的实施方式在此不在赘述。

图7示出了根据本发明实施例的确定学习模型的稳定性装置100的部分使用场景示意图。装置100可以安装在一个判定终端上，该判定终端可以是智能终端，例如智能手机、电脑、平板电脑等等，从而用户可以完成对准备使用或正在使用的学习模型的稳定性的判定，该判定终端还可以是本地或云端的一个或多个服务器，进一步的，待判定的学习模型和对照样本集的来源可以来自云端的服务器，也可以来自本地，例如本地服务器，甚至智能终端的本地储存系统等等，学习模型和对照样本集可以是同一来源也可以是不同的来源。在装置100进行稳定性确定过程中的计算可以通过本地计算完成，也可以通过云计算完成。

根据本发明的实施例还提供一种电子设备，参照图8，包括：一个或多个处理器；存储装置，用于存储一个或多个程序，其中，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器执行根据如上任一所述的方法。

根据本发明实施例还提供一种计算机可读存储介质，参照图9，其上存储有可执行指令，该指令被处理器执行时使处理器执行根据如上任一所述的方法。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

此外，术语“第一”、“第二”、“第三”等仅用于描述目的，用于区别不同的特征，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”、“第三”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。

此外，对于“大于预设阈值”、“小于等于预设阈值”等描述，仅用于表示存在一个预设的阈值，用于判断该数值的某些特性是否符合预期，根据实际应用中具体计算公式的不同，“大于”、“小于等于”等符号可以根据其实际应表达的意愿进行相应的改变。

流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或者更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本发明的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序来执行功能，这应被本发明的实施例所属技术领域的技术人员所理解。

在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，″计算机可读介质″可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式光盘只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获取所述程序，然后将其存储在计算机存储器中。

应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。

本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。

此外，在本发明各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。上述提到的存储介质可以是只读存储器，磁盘或光盘等。

尽管上面已经示出和描述了本发明的实施例，可以理解的是，以上所揭露的仅为本发明较佳实施例而已，当然不能以此来限定本发明之权利范围，因此依本发明权利要求所作的等同变化，仍属本发明所涵盖的范围。

Claims (10)

1.一种确定学习模型的稳定性的方法，包括：

获取对照信息，所述对照信息包括将对照样本集输入所述学习模型由所述学习模型输出的对照结果集和\或对照评价指标，其中所述对照样本集包括M个对照样本，每个对照样本各自具有L个特征值，M和L为大于1的整数；

获取实验样本集，所述实验样本集包括M个实验样本，所述M个实验样本与所述M个对照样本一一对应，其中每个所述实验样本是通过改变所述对照样本集中的每个所述对照样本L个特征值中的N个特征值来获取的，N为大于等于1且小于等于L的整数；

获取实验信息，所述实验信息包括将所述实验样本集输入所述学习模型由所述学习模型输出的实验结果集和\或实验评价指标，其中所述实验结果集与所述对照结果集相对应，所述实验评价指标与所述对照评价指标相对应；

根据稳定性信息确定所述学习模型的稳定性，所述稳定性信息表征所述对照信息和所述实验信息之间的偏离程度。

2.根据权利要求1所述的方法，其中，

在所述对照信息包括对照结果集且所述实验信息包括实验结果集的情况下，所述稳定性信息包括第一属性值，所述第一属性值表征所述对照结果集和所述实验结果集之间的偏离程度；

在所述对照信息包括对照评价指标且所述实验信息包括实验评价指标的情况下，所述稳定性信息包括第二属性值，所述第二属性值表征所述对照评价指标和所述实验评价指标之间的偏离程度。

3.根据权利要求1所述的方法，其中：

在所述对照信息包括对照结果集和对照评价指标且所述实验信息包括实验结果集和实验评价指标的情况下，所述稳定性信息包括：

第一属性值，所述第一属性值表征所述对照结果集和所述实验结果集之间的偏离程度；

第二属性值，所述第二属性值表征所述对照评价指标和所述实验评价指标之间的偏离程度；

第三属性值，所述第三属性值是通过对所述第一属性值和所述第二属性值进行加权获取的。

4.根据权利要求3所述的方法，其中，根据稳定性信息确定所述学习模型的稳定性包括：

确定所述第一属性值是否大于第一预设阈值；

在确定所述第一属性值大于第一预设阈值的情况下，根据所述第一属性值确定所述学习模型的稳定性；

在确定所述第一属性值小于等于第一预设阈值的情况下，根据所述第三属性值确定所述学习模型的稳定性。

5.根据权利要求1-4中任意一项所述的方法，其中，所述N个特征值是根据特征值重要程度信息从所述对照样本的L个所述特征值中筛选出的；所述特征值重要程度信息包括以下中的至少一个：

所述学习模型本身具有的特征值重要程度信息；

通过针对所述对照样本集构建特征值分析模型获取的特征值重要程度信息；

利用特征值评估公式计算得到的特征值重要程度信息。

6.根据权利要求1-4中任意一项所述的方法，其中，改变所述对照样本集中的每个所述对照样本L个特征值中的N个特征值包括：

利用预定规则将每个所述特征值与随机数进行运算；或者

分别将每个所述特征值替换为所述特征值的取值范围内的其他任意值。

7.根据权利要求1-4中任意一项所述的方法，其中，所述对照结果集包括M个对照结果，所述实验结果集包括M个实验结果，所述对照结果和所述实验结果一一对应；

所述第一属性值的获取包括：

获取与对应的所述对照结果之间的偏离程度大于第二预设阈值的所述实验结果在所有所述实验结果中所占的比例；

根据所述比例获取所述第一属性值。

8.一种确定学习模型稳定性的装置，包括：

对照模块，用于获取对照信息，所述对照信息包括将对照样本集输入所述学习模型由所述学习模型输出的对照结果集和\或对照评价指标，其中所述对照样本集包括M个对照样本，每个对照样本各自具有L个特征值，M和L为大于1的整数；

扰动模块，用于获取实验样本集，所述实验样本集包括M个实验样本，所述M个实验样本与所述M个对照样本一一对应，其中每个所述实验样本是通过改变所述对照样本集中的每个所述对照样本L个特征值中的N个特征值来获取的，N为大于等于1且小于等于L的整数；

实验模块，用于获取实验信息，所述实验信息包括将所述实验样本集输入所述学习模型由所述学习模型输出的实验结果集和\或实验评价指标，其中所述实验结果集与所述对照结果集相对应，所述实验评价指标与所述对照评价指标相对应；

稳定性确定模块，用于根据稳定性信息确定所述学习模型的稳定性，所述稳定性信息表征所述对照信息和所述实验信息之间的偏离程度。

9.一种电子设备，包括：

一个或多个处理器；

存储装置，用于存储一个或多个程序，

其中，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器执行根据权利要求1-7中任一项所述的方法。

10.一种计算机可读存储介质，其上存储有可执行指令，该指令被处理器执行时使处理器执行根据权利要求1-7中任一项所述的方法。

Images