CN117112445B - 一种机器学习模型稳定性检测方法、装置、设备及介质 - Google Patents

Abstract

本发明实施例公开了一种机器学习模型稳定性检测方法、装置、设备及介质，包括：获取待检测机器学习模型，与待检测机器学习模型对应的待检测数据集、以及对照数据集；根据待检测机器学习模型确定与对照数据集以及待检测数据集分别对应的第一特征分布数据和第二特征分布数据；根据待检测数据集，确定各特征分别对应的特征重要性值；根据第一特征分布数据、第二特征分布数据、以及特征重要性值，确定待检测机器学习模型的目标稳定性值。本发明实施例的技术方案通过考虑各特征分布之间的差异性，可以实现准确、可靠地检测机器学习模型的稳定性。

Description

一种机器学习模型稳定性检测方法、装置、设备及介质

技术领域

本发明涉及机器学习技术领域，尤其涉及一种机器学习模型稳定性检测方法、装置、设备及介质。

背景技术

机器学习是让计算机像人类一样学习和行动的科学，可以通过计算机程序自主学习数据中存在的规律，实现对未来数据的预测。机器学习模型是机器学习的核心组成要素，是运行在数据上的机器学习算法的输出。

现有技术中，通常通过模型效果和模型稳定性两方面，对机器学习模型的性能进行评估。模型效果可以是模型的预测能力，通常通过精确率、召回率和曲线下面积等指标对模型效果进行评估。模型稳定性可以是模型的预测能力在时间维度上的一致性。目前，通常通过观察群体稳定性指数（Population Stability Index，PSI）和特征稳定性指数（Characteristic Stability Index，CSI），对模型稳定性进行评估。

然而，PSI通过观察模型预测结果的分布变化，衡量预测结果的预期分布与真实分布的差异来评估模型稳定性，忽视了对特征分布变化的观察。CSI通过观察模型特征的分布变化，统一量化各特征，以实现对模型稳定性的评估，但是未考虑各特征对模型的重要性程度差异。从而，采用PSI或者CSI进行机器学习模型稳定性评估不准确、不可靠。

发明内容

本发明提供了一种机器学习模型稳定性检测方法、装置、设备及介质，可以实现准确地检测机器学习模型的稳定性。

第一方面，提供了一种机器学习模型稳定性检测方法，该方法包括：

获取待检测机器学习模型，与待检测机器学习模型对应的待检测数据集、以及对照数据集；

根据待检测机器学习模型确定与对照数据集以及待检测数据集分别对应的第一特征分布数据和第二特征分布数据；

根据待检测数据集，确定各特征分别对应的特征重要性值；

根据第一特征分布数据、第二特征分布数据、以及特征重要性值，确定待检测机器学习模型的目标稳定性值。

可选的，根据第一特征分布数据、第二特征分布数据、以及特征重要性值，确定待检测机器学习模型的目标稳定性值，包括：根据第一特征分布数据以及第二特征分布数据，确定与各特征对应的特征稳定性值；根据各特征稳定性值以及特征重要性值，确定待检测机器学习模型的目标稳定性值。

可选的，根据各特征稳定性值以及特征重要性值，确定待检测机器学习模型的目标稳定性值，包括：按照各特征重要性值对各特征进行排序，并根据排序结果筛选目标数量的目标特征；根据目标特征、与目标特征对应的特征稳定性值以及特征重要性值，确定待检测机器学习模型的目标稳定性值。

可选的，根据所述目标特征、与所述目标特征对应的特征稳定性值以及特征重要性值，确定所述待检测机器学习模型的目标稳定性值，包括：根据公式，确定所述待检测机器学习模型的目标稳定性值；其中，m为所述目标数量，m≤n，n为特征总数量；/>为第i个目标特征的特征重要性值，/>为第i个目标特征的特征稳定性值，MSI为所述目标稳定性值。

可选的，根据第一特征分布数据以及第二特征分布数据，确定与各特征对应的特征稳定性值，包括：根据描述数据分布差异的稳定性指标，确定第一特征分布数据以及第二特征分布数据各对应特征间的稳定性差异值；将各稳定性差异值，分别确定为与各特征对应的特征稳定性值。

可选的，根据待检测机器学习模型确定与对照数据集以及待检测数据集分别对应的第一特征分布数据和第二特征分布数据，包括：将对照数据集以及待检测数据集分别输入至待检测机器学习模型中，并获取对应输出的第一特征数据和第二特征数据；在预设统计指标下，分别确定第一特征数据和第二特征数据对应的第一特征分布数据和第二特征分布数据。

可选的，根据待检测数据集，确定各特征分别对应的特征重要性值，包括：将第二特征数据按照各特征进行掩码处理，得到与各特征对应的掩码结果；采用待检测机器学习模型对各掩码结果进行检测识别，得到特征掩码识别结果；根据各特征掩码识别结果与待检测机器学习模型对待检测数据集的目标识别结果，确定各特征与目标识别结果的相关性；根据各相关性，确定各特征分别对应的特征重要性值。

第二方面，提供了一种机器学习模型稳定性检测装置，该装置包括：

数据集获取模块，用于获取待检测机器学习模型，与待检测机器学习模型对应的待检测数据集、以及对照数据集；

数据确定模块，用于根据待检测机器学习模型确定与对照数据集以及待检测数据集分别对应的第一特征分布数据和第二特征分布数据；

特征重要性值确定模块，用于根据待检测数据集，确定各特征分别对应的特征重要性值；

目标稳定性值确定模块，用于根据第一特征分布数据、第二特征分布数据、以及特征重要性值，确定待检测机器学习模型的目标稳定性值。

第三方面，提供了一种电子设备，该电子设备包括：

至少一个处理器；以及

与至少一个处理器通信连接的存储器；其中，

存储器存储有可被至少一个处理器执行的计算机程序，计算机程序被至少一个处理器执行，以使至少一个处理器能够执行本发明任一实施例的机器学习模型稳定性检测方法。

第四方面，提供了一种计算机可读存储介质，计算机可读存储介质存储有计算机指令，计算机指令用于使处理器执行时实现本发明任一实施例的机器学习模型稳定性检测方法。

本发明实施例的技术方案，通过获取待检测机器学习模型，与待检测机器学习模型对应的待检测数据集、以及对照数据集，根据待检测机器学习模型确定与对照数据集以及待检测数据集分别对应的第一特征分布数据和第二特征分布数据，根据待检测数据集，确定各特征分别对应的特征重要性值，根据第一特征分布数据、第二特征分布数据、以及特征重要性值，确定待检测机器学习模型的目标稳定性值的技术手段，解决了现有技术机器学习模型稳定性检测不准确的问题，通过考虑各特征分布之间的差异性，可以提高机器学习模型稳定性检测的准确性。便于用户及时地对机器学习模型进行调整，进而提高机器学习模型在应用时的识别准确性。

应当理解，本部分所描述的内容并非旨在标识本发明的实施例的关键或重要特征，也不用于限制本发明的范围。本发明的其它特征将通过以下的说明书而变得容易理解。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是根据本发明实施例一提供的一种机器学习模型稳定性检测方法的流程图；

图2是根据本发明实施例二提供的另一种机器学习模型稳定性检测方法的流程图；

图3是根据本发明实施例三提供的一种机器学习模型稳定性检测装置的结构示意图；

图4是根据本发明实施例四提供的一种机器学习模型稳定性检测方法的电子设备的结构示意图。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。

需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

实施例一

图1是根据本发明实施例一提供的一种机器学习模型稳定性检测方法的流程图，本实施例可适用于对机器学习模型稳定性进行检测的情况，该方法可以由机器学习模型稳定性检测装置来执行，该机器学习模型稳定性检测装置可以采用硬件和/或软件的形式实现，该机器学习模型稳定性检测装置可配置于电子设备中。

如图1所示，本实施例公开的一种机器学习模型稳定性检测方法包括：

步骤110、获取待检测机器学习模型，与待检测机器学习模型对应的待检测数据集、以及对照数据集。

在本实施例中，待检测机器学习模型可以是已经过训练完成投入使用的机器学习模型。在实际应用中，由于诸多原因，随着时间的推移机器学习模型的预测能力可能会下降，导致机器学习模型预测能力不稳定。因此，通过本发明的技术方案可以对已经投入使用的机器学习模型进行稳定性检测。

待检测数据集可以是在检测待检测机器学习模型稳定性时，采用的具体应用中的数据集。在针对待检测数据集进行待检测机器学习模型的稳定性评估时，可以采用对照数据集作为参照。

示例性的，待检测数据集可以是待检测机器学习模型在实际进行目标识别时，所采用的数据集。例如，待检测机器学习模型对目标图片进行物体识别时，待检测数据集可以是由目标图片构成的数据集。为了保证模型稳定性评估的可靠性，对照数据集可以采用待检测机器学习模型训练时所采用的训练样本集或者测试样本集。在本发明实施例中可以优选，对照数据集为测试样本集。

步骤120、根据待检测机器学习模型确定与对照数据集以及待检测数据集分别对应的第一特征分布数据和第二特征分布数据。

在本实施例中，第一特征分布数据可以是与对照数据集对应的第一特征数据所服从的分布，以及第一特征数据。第二特征分布数据可以是与待检测数据集对应的第二特征数据所服从的分布，以及第二特征数据。

其中，第一特征数据和第二特征数据可以分别是对对照数据集以及待检测数据集分别进行特征提取得到的数据。例如，第一特征数据和第二特征数据可以分别是将对照数据集和待检测数据集输入至待检测机器学习模型得到的特征数据。

特征数据所服从的分布可以是基于特征数据所具有的统计学特征确定的。例如，可以通过期望、方差、均值、以及极值等统计学指标确定特征数据所服从的分布，本发明实施例对此不做具体限定。

步骤130、根据待检测数据集，确定各特征分别对应的特征重要性值。

在本实施例中，特征重要性值可以用于反映各特征对于待检测机器学习模型的重要程度。具体的，该特征对于待检测机器学习模型越重要，特征重要性值越大。特征重要性值的确定方式可以有多种。例如，可以通过经验值，为各特征确定对应的特征重要性值。又如，可以根据特征与待检测机器学习模型识别结果的相关性，为各特征确定对应的特征重要性值。其中，相关性越大，特征重要性值越大。具体的，可以针对各特征在统计指标下进行识别结果相关性确定，再根据相关性确定特征重要性值。

步骤140、根据第一特征分布数据、第二特征分布数据、以及特征重要性值，确定待检测机器学习模型的目标稳定性值。

在本实施例中，机器学习模型的稳定性可以反映随着时间的推移，该模型的预测能力是否保持不变。目标稳定性值可以用于评估待检测机器学习模型的稳定性。例如，可以通过预设的模型稳定性阈值判断机器学习模型的稳定性。如果目标稳定性值大于预设模型稳定性阈值，则可以认为该模型不稳定，此时可以进一步分析是否需要对该模型进行调整。模型稳定性阈值可以根据用户需求进行调整。

在本发明实施例中，通过在确定目标稳定性值时，考虑特征重要性值，可以在通过第一特征分布数据、第二特征分布数据进行稳定性评估的基础上，进一步体现出各特征之间的差异性，考虑特征本身对模型稳定性的影响；从而，提高模型稳定性评估的可靠性与准确性。

其中，目标稳定值的确定方式可以有多种。例如，可以是依据第一特征分布数据与第二特征分布数据确定特征稳定性值，再在各特征模型稳定性值的基础上体现特征重要性值，确定目标稳定性值。又如，可以依据特征重要性值对特征数据进行筛选，再依据筛选的特征数据所对应的特征模型稳定性值，确定目标稳定性值。再如，可以依据特征重要性值对特征数据进行筛选，再依据筛选的特征数据所对应的特征模型稳定性值，以及特征重要性，确定目标稳定性值。

本发明的实施例中，机器学习模型上线使用后，随着时间的推移，可能导致特征数据的分布产生差异，进而使得机器学习模型的预测能力下滑，直接影响了用户决策的合理性。通过采用本实施例的技术方案可以提供一种有效的机器学习模型稳定性检测方法，可以提高机器学习模型稳定性检测的准确性。

本实施例的技术方案，通过获取待检测机器学习模型，与待检测机器学习模型对应的待检测数据集、以及对照数据集，根据待检测机器学习模型确定与对照数据集以及待检测数据集分别对应的第一特征分布数据和第二特征分布数据，根据待检测数据集，确定各特征分别对应的特征重要性值，根据第一特征分布数据、第二特征分布数据、以及特征重要性值，确定待检测机器学习模型的目标稳定性值的技术手段。解决了现有技术机器学习模型稳定性检测不准确的问题。通过考虑各特征分布之间的差异性，可以准确、可靠地检测机器学习模型的稳定性。其次，便于用户及时地对机器学习模型进行调整，进而提高机器学习模型在应用时的识别准确性。

实施例二

图2是根据本发明实施例二提供的另一种机器学习模型稳定性检测方法的流程图，本实施例是基于上述各实施例的进一步优化与扩展，并可以与上述实施方式中各个可选技术方案结合。

如图2所示，本实施例公开的另一种机器学习模型稳定性检测方法包括：

步骤210、获取待检测机器学习模型，与待检测机器学习模型对应的待检测数据集、以及对照数据集。

步骤220、根据待检测机器学习模型确定与对照数据集以及待检测数据集分别对应的第一特征分布数据和第二特征分布数据。

在本发明实施例的一个可选实施方式中，将对照数据集以及待检测数据集分别输入至待检测机器学习模型中，并获取对应输出的第一特征数据和第二特征数据；在预设统计指标下，分别确定第一特征数据和第二特征数据对应的第一特征分布数据和第二特征分布数据。

在本实施例中，第一特征数据和第二特征数据可以是待检测机器学习模型分别对对照数据集以及待检测数据集进行特征提取，得到的特征数据。特征数据的确定方式可以有多种。例如，待检测机器学习模型可以对数据集进行特征提取，得到特征数据。

示例性的，第一特征数据和第二特征数据可以分别是待检测机器学习模型中第一个全连接层针对对照数据集以及待检测数据集分别输出的特征数据。或者，第一特征数据和第二特征数据可以分别是待检测机器学习模型中最后一个全连接层针对对照数据集以及待检测数据集分别输出的特征数据。采用最后一个全连接层输出的特征数据，可以使特征数据更切合模型检测的实际情况。

预设统计指标可以是期望、方差、均值、以及极值等统计学指标。这样设置的好处在于，可以更为直观地获取第一特征数据和第二特征数据中各特征的分布情况，便于后续计算各特征的稳定性值。其次，可以筛选出偏离第一特征分布数据和第二特征分布数据总体分布的数据。

步骤230、根据待检测数据集，确定各特征分别对应的特征重要性值。

在本发明实施例的一个可选实施方式中，将第二特征数据按照各特征进行掩码处理，得到与各特征对应的掩码结果；采用待检测机器学习模型对各掩码结果进行检测识别，得到特征掩码识别结果；根据各特征掩码识别结果与待检测机器学习模型对待检测数据集的目标识别结果，确定各特征与目标识别结果的相关性；根据各相关性，确定各特征分别对应的特征重要性值。

在本实施例中，可以通过一串二进制代码对各特征进行位与运算，屏蔽当前的输入位，以实现掩码处理。可以逐个对第二特征数据中各特征进行掩码处理，得到各特征对应的掩码结果。例如，可以对第二特征数据中的一个特征进行掩码处理，输出该特征对应的掩码结果。然后，可以对第二特征数据中的另一个特征进行掩码处理，输出上述另一个特征对应的掩码结果。重复执行上述操作，直至第二特征数据中的每一个特征均经过掩码处理。

可以将掩码结果输入至待检测机器学习模型进行检测识别，输出与上述掩码结果对应的特征掩码识别结果。目标识别结果可以是采用待检测机器学习模型对待检测数据集进行检测识别得到的结果。可以通过对比各特征掩码识别结果与目标识别结果，输出各特征与目标识别结果的相关性。可以通过各特征掩码识别结果与目标识别结果的支持度、置信度、提升度，以及相符程度等，确定各特征与目标识别结果的相关性。各特征掩码识别结果与目标识别结果相符程度的判断方法可以有多种。例如，可以预设一个待检测数据集，上述待检测数据集的所有目标图片中均只包含一个待检测对象。可以将上述待检测对象对应的一个特征进行掩码处理，并将上述掩码处理的结果输入至待检测机器学习模型中，输出特征掩码识别结果。上述特征掩码识别结果中检测到的对象与上述待检测对象不符，此时可以认为上述经掩码处理的特征与目标识别结果的相关性高。

示例性的，可以分别将第一掩码结果、第二掩码结果和待检测数据集输入至待检测机器学习模型中，输出第一特征掩码识别结果、第二特征掩码识别结果和目标识别结果。如果上述第一特征掩码识别结果、第二特征掩码识别结果和目标识别结果检测到的对象相同。但是第一特征掩码识别结果的置信度低于第二特征掩码识别结果，且第二特征掩码识别结果的置信度低于目标识别结果，则可以认为第一特征与目标识别结果的相关性高于第二特征与目标识别结果的相关性。

在此步骤，可选的，可以按照各特征与目标识别结果的相关性对各特征进行排序，并根据排序结果确定特征重要性值的大小。例如，可以将排序结果的编号作为确定各特征分别对应的特征重要性值的依据。或者，可以根据各特征与目标识别结果的相关程度，调整特征重要性值。示例性的，如果各特征与目标识别结果的相关性超过用户预设值，则上述各特征分别对应的特征重要性值可以设置为第一特征重要性值。如果各特征与目标识别结果的相关性低于用户预设值，则可以将上述各特征分别对应的特征重要性值设置为第二特征重要性值。其中，第一特征重要性值可以大于第二特征重要性值。进一步的，在实际应用中可以设置多个用户预设值，根据不同的范围设置对应的特征重要性值。

步骤240、根据第一特征分布数据以及第二特征分布数据，确定与各特征对应的特征稳定性值。

在本实施例中，特征稳定性值可以反映第一特征分布数据与第二特征分布数据间的稳定性差异。具体的，特征稳定性值可以是通过描述数据分布差异的稳定性指标确定的。例如，特征稳定性值可以是通过CSI确定的。

步骤250、根据各特征稳定性值以及特征重要性值，确定待检测机器学习模型的目标稳定性值。

在此步骤，可选的，可以将各特征重要性值与对应特征的特征稳定性值相乘，将各特征相乘得到的结果相加，得到目标稳定性值。或者，可以对各特征重要性值进行逻辑运算，并根据上述逻辑运算得出的结果与对应的特征稳定性值，得到目标稳定性值。示例性的，首先可以将各特征重要性值相加，然后可以选择一个特征，采用与该特征对应的特征重要性值除以上述相加的结果，得出初始结果。最后，可以将上述初始结果与上述一个特征对应的特征稳定性值相乘，将各个相乘得到的结果相加，得到目标稳定性值。

在本发明实施例的一个可选实施方式中，根据第一特征分布数据以及第二特征分布数据，确定与各特征对应的特征稳定性值，包括：根据描述数据分布差异的稳定性指标，确定第一特征分布数据以及第二特征分布数据各对应特征间的稳定性差异值；将各稳定性差异值，分别确定为与各特征对应的特征稳定性值。

在本实施例中，稳定性指标可以用于描述特征数据分布的差异。例如，特征稳定性指标可以是CSI。对于各特征，稳定性差异值可以是依据第一特征分布数据以及第二特征分布数据，采用描述数据分布差异的稳定性指标进行计算确定的。例如，对于各特征，稳定性差异值可以是依据第一特征分布数据以及第二特征分布数据，采用CSI指标在确定模型稳定性之前，所确定的各特征所对应的稳定差异值。在CSI指标下，各特征所对应的稳定差异值之和，可作为一种可靠性不高的模型稳定值。

在本发明实施例的一个可选实施方式中，根据各特征稳定性值以及特征重要性值，确定待检测机器学习模型的目标稳定性值，包括：按照各特征重要性值对各特征进行排序，并根据排序结果筛选目标数量的目标特征；根据目标特征、与目标特征对应的特征稳定性值以及特征重要性值，确定待检测机器学习模型的目标稳定性值。

在本实施例中，可以根据特征重要性值的大小，从高到低对各特征进行排序。目标数量可以是根据排序结果筛选出的目标特征的数量。目标数量可以小于等于进行排序的特征的数量。相比于排序结果中未被选中的特征，目标特征与目标识别结果的相关性更大。

在此步骤，具体的，可以根据各目标特征与目标识别结果的相关性，确定各目标特征对应的特征重要性值。然后可以根据各目标特征对应的特征重要性值和特征稳定性值，确定各特征所对应的目标稳定性值。最后，可以将各特征所对应的目标稳定性值之和，确定为待检测机器学习模型的目标稳定性值。

在本发明实施例的一个可选实施方式中，根据目标特征、与目标特征对应的特征稳定性值以及特征重要性值，确定待检测机器学习模型的目标稳定性值，包括：根据公式，确定待检测机器学习模型的目标稳定性值；其中，m为目标数量，m≤n，n为特征总数量；/>为第i个目标特征的特征重要性值，/>为第i个目标特征的特征稳定性值，MSI为目标稳定性值。

在本实施例中，可以将作为各目标特征的模型稳定性值。上述各目标特征的模型稳定性值考虑了各特征对于待检测机器学习模型的重要程度。可以将m个模型稳定性值相加，得出待检测机器学习模型的目标稳定性值。其中，该m个目标特征可以是根据特征重要性值在全部特征中选择的最重要的m个特征。这样设置的好处在于，在评估模型稳定性时可以注重更为重要的特征，而忽略低重要性特征带来的偏差，进一步提高模型评估的可靠性与精准度。

在本发明的实施例中，由于各特征对机器学习模型的重要程度不同，可以通过考虑各特征分布之间的差异性，提高机器学习模型稳定性评估的准确性。

本实施例的技术方案，通过获取待检测机器学习模型，与待检测机器学习模型对应的待检测数据集、以及对照数据集，根据待检测机器学习模型确定与对照数据集以及待检测数据集分别对应的第一特征分布数据和第二特征分布数据，根据待检测数据集，确定各特征分别对应的特征重要性值，根据第一特征分布数据以及第二特征分布数据，确定与各特征对应的特征稳定性值，根据各特征稳定性值以及特征重要性值，确定待检测机器学习模型的目标稳定性值的技术手段，解决了现有技术机器学习模型稳定性检测不准确的问题，通过考虑各特征的差异性，可以实现准确、可靠地检测机器学习模型的稳定性。

实施例三

图3是根据本发明实施例三提供的一种机器学习模型稳定性检测装置的结构示意图。如图3所示，该装置包括：

数据集获取模块31，用于获取待检测机器学习模型，与待检测机器学习模型对应的待检测数据集、以及对照数据集；

数据确定模块32，用于根据待检测机器学习模型确定与对照数据集以及待检测数据集分别对应的第一特征分布数据和第二特征分布数据；

特征重要性值确定模块33，用于根据待检测数据集，确定各特征分别对应的特征重要性值；

目标稳定性值确定模块34，用于根据第一特征分布数据、第二特征分布数据、以及特征重要性值，确定待检测机器学习模型的目标稳定性值。

本实施例中的技术方案，通过数据集获取模块、数据确定模块、特征重要性值确定模块以及目标稳定性值确定模块相互配合，解决了现有技术机器学习模型稳定性检测不准确的问题，通过考虑各特征的差异性，可以实现准确、可靠地检测机器学习模型的稳定性。

可选的，目标稳定性值确定模块34，包括：

特征稳定性值确定单元，用于根据第一特征分布数据以及第二特征分布数据，确定与各特征对应的特征稳定性值；

目标稳定性值确定单元，用于根据各特征稳定性值以及特征重要性值，确定待检测机器学习模型的目标稳定性值。

可选的，目标稳定性值确定单元，包括：

目标特征筛选子单元，用于按照各特征重要性值对各特征进行排序，并根据排序结果筛选目标数量的目标特征；

目标稳定性值确定子单元，用于根据目标特征、与目标特征对应的特征稳定性值以及特征重要性值，确定待检测机器学习模型的目标稳定性值。

可选的，目标稳定性值确定子单元，具体用于：

根据公式，确定待检测机器学习模型的目标稳定性值；

其中，m为目标数量，m≤n，n为特征总数量；为第i个目标特征的特征重要性值，为第i个目标特征的特征稳定性值，MSI为目标稳定性值。

可选的，特征稳定性值确定单元，包括：

稳定性差异值确定子单元，用于根据描述数据分布差异的稳定性指标，确定第一特征分布数据以及第二特征分布数据各对应特征间的稳定性差异值；

特征稳定性值确定子单元，用于将各稳定性差异值，分别确定为与各特征对应的特征稳定性值。

可选的，数据确定模块32，包括：

特征数据确定单元，用于将对照数据集以及待检测数据集分别输入至待检测机器学习模型中，并获取对应输出的第一特征数据和第二特征数据；

特征分布数据确定子单元，用于在预设统计指标下，分别确定第一特征数据和第二特征数据对应的第一特征分布数据和第二特征分布数据。

可选的，特征重要性值确定模块33，包括：

掩码结果获取单元，用于将第二特征数据按照各特征进行掩码处理，得到与各特征对应的掩码结果；

掩码识别结果获取单元，用于采用待检测机器学习模型对各掩码结果进行检测识别，得到特征掩码识别结果；

相关性确定单元，用于根据各特征掩码识别结果与待检测机器学习模型对待检测数据集的目标识别结果，确定各特征与目标识别结果的相关性；

特征重要性值确定单元，用于根据各相关性，确定各特征分别对应的特征重要性值。

本发明实施例所提供的机器学习模型稳定性检测装置可执行本发明任意实施例所提供的机器学习模型稳定性检测方法，具备执行方法相应的功能模块和有益效果。本实施例中未详尽描述的内容可以参考本申请任意方法实施例中的描述。

实施例四

图4示出了可以用来实施本发明的实施例的电子设备10的结构示意图。电子设备10旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备10还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备（如头盔、眼镜、手表等）和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本发明的实现。

如图4所示，电子设备10包括至少一个处理器11，以及与至少一个处理器11通信连接的存储器，如只读存储器（ROM）12、随机访问存储器（RAM）13等，其中，存储器存储有可被至少一个处理器执行的计算机程序，处理器11可以根据存储在只读存储器（ROM）12中的计算机程序或者从存储单元18加载到随机访问存储器（RAM）13中的计算机程序，来执行各种适当的动作和处理。在RAM 13中，还可存储电子设备10操作所需的各种程序和数据。处理器11、ROM 12以及RAM 13通过总线14彼此相连。输入/输出（I/O）接口15也连接至总线14。

电子设备10中的多个部件连接至I/O接口15，包括：输入单元16，例如键盘、鼠标等；输出单元17，例如各种类型的显示器、扬声器等；存储单元18，例如磁盘、光盘等；以及通信单元19，例如网卡、调制解调器、无线通信收发机等。通信单元19允许电子设备10通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。

处理器11可以是各种具有处理和计算能力的通用和/或专用处理组件。处理器11的一些示例包括但不限于中央处理单元（CPU）、图形处理单元（GPU）、各种专用的人工智能（AI）计算芯片、各种运行机器学习模型算法的处理器、数字信号处理器（DSP）、以及任何适当的处理器、控制器、微控制器等。处理器11执行上文所描述的各个方法和处理，例如机器学习模型稳定性检测方法。

在一些实施例中，机器学习模型稳定性检测方法可被实现为计算机程序，其被有形地包含于计算机可读存储介质，例如存储单元18。在一些实施例中，计算机程序的部分或者全部可以经由ROM 12和/或通信单元19而被载入和/或安装到电子设备10上。当计算机程序加载到RAM 13并由处理器11执行时，可以执行上文描述的机器学习模型稳定性检测方法的一个或多个步骤。备选地，在其他实施例中，处理器11可以通过其他任何适当的方式（例如，借助于固件）而被配置为执行机器学习模型稳定性检测方法。

本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列（FPGA）、专用集成电路（ASIC）、专用标准产品（ASSP）、芯片上系统的系统（SOC）、负载可编程逻辑设备（CPLD）、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。

用于实施本发明的方法的计算机程序可以采用一个或多个编程语言的任何组合来编写。这些计算机程序可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器，使得计算机程序当由处理器执行时使流程图和/或框图中所规定的功能/操作被实施。计算机程序可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。

在本发明的上下文中，计算机可读存储介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的计算机程序。计算机可读存储介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。备选地，计算机可读存储介质可以是机器可读信号介质。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器（RAM）、只读存储器（ROM）、可擦除可编程只读存储器（EPROM或快闪存储器）、光纤、便捷式紧凑盘只读存储器（CD-ROM）、光学储存设备、磁储存设备、或上述内容的任何合适组合。

为了提供与用户的交互，可以在电子设备上实施此处描述的系统和技术，该电子设备具有：用于向用户显示信息的显示装置（例如，CRT（阴极射线管）或者LCD（液晶显示器）监视器）；以及键盘和指向装置（例如，鼠标或者轨迹球），用户可以通过该键盘和该指向装置来将输入提供给电子设备。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈（例如，视觉反馈、听觉反馈、或者触觉反馈）；并且可以用任何形式（包括声输入、语音输入或者、触觉输入）来接收来自用户的输入。

可以将此处描述的系统和技术实施在包括后台部件的计算系统（例如，作为数据服务器）、或者包括中间件部件的计算系统（例如，应用服务器）、或者包括前端部件的计算系统（例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互）、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信（例如，通信网络）来将系统的部件相互连接。通信网络的示例包括：局域网（LAN）、广域网（WAN）、区块链网络和互联网。

计算系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，又称为云计算服务器或云主机，是云计算服务体系中的一项主机产品，以解决了传统物理主机与VPS服务中，存在的管理难度大，业务扩展性弱的缺陷。

应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发明中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本发明的技术方案所期望的结果，本文在此不进行限制。

上述具体实施方式，并不构成对本发明保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等，均应包含在本发明保护范围之内。

Claims (7)

1.一种机器学习模型稳定性检测方法，其特征在于，包括：

获取待检测机器学习模型，与所述待检测机器学习模型对应的待检测数据集、以及对照数据集；

根据所述待检测机器学习模型确定与所述对照数据集以及所述待检测数据集分别对应的第一特征分布数据和第二特征分布数据；

根据所述待检测数据集，确定各特征分别对应的特征重要性值；

根据所述第一特征分布数据、所述第二特征分布数据、以及所述特征重要性值，确定所述待检测机器学习模型的目标稳定性值；

其中，所述根据所述待检测机器学习模型确定与所述对照数据集以及所述待检测数据集分别对应的第一特征分布数据和第二特征分布数据，包括：

将所述对照数据集以及所述待检测数据集分别输入至所述待检测机器学习模型中，并获取对应输出的第一特征数据和第二特征数据；

在预设统计指标下，分别确定所述第一特征数据和所述第二特征数据对应的第一特征分布数据和第二特征分布数据；

所述根据所述第一特征分布数据、所述第二特征分布数据、以及所述特征重要性值，确定所述待检测机器学习模型的目标稳定性值，包括：

根据所述第一特征分布数据以及所述第二特征分布数据，确定与各特征对应的特征稳定性值；

根据各所述特征稳定性值以及所述特征重要性值，确定所述待检测机器学习模型的目标稳定性值；

所述根据所述第一特征分布数据以及所述第二特征分布数据，确定与各特征对应的特征稳定性值，包括：

根据描述数据分布差异的稳定性指标，确定所述第一特征分布数据以及所述第二特征分布数据各对应特征间的稳定性差异值；

将各所述稳定性差异值，分别确定为与各特征对应的特征稳定性值。

2.根据权利要求1所述的方法，其特征在于，根据各所述特征稳定性值以及所述特征重要性值，确定所述待检测机器学习模型的目标稳定性值，包括：

按照各所述特征重要性值对各特征进行排序，并根据排序结果筛选目标数量的目标特征；

根据所述目标特征、与所述目标特征对应的特征稳定性值以及特征重要性值，确定所述待检测机器学习模型的目标稳定性值。

3.根据权利要求2所述的方法，其特征在于，根据所述目标特征、与所述目标特征对应的特征稳定性值以及特征重要性值，确定所述待检测机器学习模型的目标稳定性值，包括：

根据公式，确定所述待检测机器学习模型的目标稳定性值；

其中，m为所述目标数量，m≤n，n为特征总数量；为第i个目标特征的特征重要性值，为第i个目标特征的特征稳定性值，MSI为所述目标稳定性值。

4.根据权利要求1所述的方法，其特征在于，根据所述待检测数据集，确定各特征分别对应的特征重要性值，包括：

将所述第二特征数据按照各特征进行掩码处理，得到与各特征对应的掩码结果；

采用所述待检测机器学习模型对各所述掩码结果进行检测识别，得到特征掩码识别结果；

根据各所述特征掩码识别结果与所述待检测机器学习模型对所述待检测数据集的目标识别结果，确定各特征与所述目标识别结果的相关性；

根据各所述相关性，确定各特征分别对应的特征重要性值。

5.一种机器学习模型稳定性检测装置，其特征在于，所述装置包括：

数据集获取模块，用于获取待检测机器学习模型，与所述待检测机器学习模型对应的待检测数据集、以及对照数据集；

数据确定模块，用于根据所述待检测机器学习模型确定与所述对照数据集以及所述待检测数据集分别对应的第一特征分布数据和第二特征分布数据；

特征重要性值确定模块，用于根据所述待检测数据集，确定各特征分别对应的特征重要性值；

目标稳定性值确定模块，用于根据所述第一特征分布数据、所述第二特征分布数据、以及所述特征重要性值，确定所述待检测机器学习模型的目标稳定性值；

其中，所述数据确定模块，包括：

特征数据确定单元，用于将对照数据集以及待检测数据集分别输入至待检测机器学习模型中，并获取对应输出的第一特征数据和第二特征数据；

特征分布数据确定子单元，用于在预设统计指标下，分别确定第一特征数据和第二特征数据对应的第一特征分布数据和第二特征分布数据；

所述目标稳定性值确定模块，包括：

特征稳定性值确定单元，用于根据第一特征分布数据以及第二特征分布数据，确定与各特征对应的特征稳定性值；

目标稳定性值确定单元，用于根据各特征稳定性值以及特征重要性值，确定待检测机器学习模型的目标稳定性值；

其中，所述特征稳定性值确定单元，包括：

稳定性差异值确定子单元，用于根据描述数据分布差异的稳定性指标，确定第一特征分布数据以及第二特征分布数据各对应特征间的稳定性差异值；

特征稳定性值确定子单元，用于将各稳定性差异值，分别确定为与各特征对应的特征稳定性值。

6.一种电子设备，其特征在于，所述电子设备包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的计算机程序，所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-4中任一项所述的机器学习模型稳定性检测方法。

7.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使处理器执行时实现权利要求1-4中任一项所述的机器学习模型稳定性检测方法。