CN111652379A - 模型管理方法、装置、电子设备及存储介质 - Google Patents
模型管理方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN111652379A CN111652379A CN202010477770.0A CN202010477770A CN111652379A CN 111652379 A CN111652379 A CN 111652379A CN 202010477770 A CN202010477770 A CN 202010477770A CN 111652379 A CN111652379 A CN 111652379A
- Authority
- CN
- China
- Prior art keywords
- target model
- model
- target
- input data
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003860 storage Methods 0.000 title claims abstract description 14
- 238000007726 management method Methods 0.000 title abstract description 20
- 238000005457 optimization Methods 0.000 claims abstract description 147
- 238000012549 training Methods 0.000 claims abstract description 85
- 238000000034 method Methods 0.000 claims abstract description 51
- 230000008569 process Effects 0.000 claims abstract description 19
- 238000009826 distribution Methods 0.000 claims description 79
- 238000012360 testing method Methods 0.000 claims description 51
- 230000002159 abnormal effect Effects 0.000 claims description 28
- 238000013441 quality evaluation Methods 0.000 claims description 20
- 238000012795 verification Methods 0.000 claims description 20
- 238000004891 communication Methods 0.000 claims description 19
- 238000001303 quality assessment method Methods 0.000 claims description 18
- 238000004590 computer program Methods 0.000 claims description 8
- 238000004519 manufacturing process Methods 0.000 claims description 5
- 238000010586 diagram Methods 0.000 description 27
- 238000011156 evaluation Methods 0.000 description 7
- 238000012544 monitoring process Methods 0.000 description 6
- 230000004044 response Effects 0.000 description 5
- 238000001276 Kolmogorov–Smirnov test Methods 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 238000010801 machine learning Methods 0.000 description 3
- 238000000692 Student's t-test Methods 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 2
- 230000015556 catabolic process Effects 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000012353 t test Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000010200 validation analysis Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Software Systems (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Medical Informatics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Artificial Intelligence (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明实施例提供了一种模型管理方法、装置、电子设备及存储介质，所述方法包括：确定已发布的目标模型；在所述目标模型运行的过程中，获取与所述目标模型相关的指标；其中，所述指标至少包括下述之一：目标模型的输入数据，目标模型的运行指标，目标模型的优化指标，目标模型的输出结果，目标模型的资源使用率；基于与所述目标模型相关的指标，判断所述目标模型是否需要更新；若所述目标模型需要更新，基于所述目标模型的所述输入数据对所述目标模型进行模型训练，得到优化模型；利用所述优化模型替换所述目标模型。如此基于与目标模型相关的指标，对目标模型进行管理，确保模型预测的准确性。
Description
技术领域
本发明涉及人工智能技术领域，尤其涉及一种模型管理方法、装置、电子设备及存储介质。
背景技术
机器学习算法是人工智能技术领域的核心，在使用机器学习算法构建深度学习网络时有一个重要假设，即训练时的数据分布和应用时的数据分布基本一致，从而通过样本训练实现准确预测。然而在一些场景下，深度学习网络随着时间的推移，往往会出现新的数据分布与已有数据分布不一致的情况，这种新数据分布与旧有数据分布存在不一致的现象称为概念漂移(Concept Drift)，这将导致随着时间的推移，模型预测的准确性将下降。因此需要检测是否发生了概念漂移，根据检测结果来对模型进行管理(更新模型或者维持现有模型)，以便于确保模型预测的准确性。
发明内容
本发明实施例的目的在于提供一种模型管理方法、装置、电子设备及存储介质，以实现对模型进行管理，确保模型预测的准确性的有益效果。
具体技术方案如下：
在本发明实施例的第一方面，首先提供了一种模型管理方法，所述方法包括：
确定已发布的目标模型；
在所述目标模型运行的过程中，获取与所述目标模型相关的指标；
其中，所述指标至少包括下述之一：目标模型的输入数据，目标模型的运行指标，目标模型的优化指标，目标模型的输出结果，目标模型的资源使用率；
基于与所述目标模型相关的指标，判断所述目标模型是否需要更新；
若所述目标模型需要更新，基于所述目标模型的所述输入数据对所述目标模型进行模型训练，得到优化模型；
利用所述优化模型替换所述目标模型。
在一个可选的实施方式中，所述基于与所述目标模型相关的指标，判断所述目标模型是否需要更新，包括：
判断所述目标模型的所述输入数据的分布，是否与所述目标模型的训练数据的分布一致；
若所述目标模型的所述输入数据的分布，与所述目标模型的训练数据的分布未一致，则判断所述目标模型需要更新；
若所述目标模型的所述输入数据的分布，与所述目标模型的训练数据的分布一致，则判断所述目标模型未需要更新。
在一个可选的实施方式中，所述基于与所述目标模型相关的指标，判断所述目标模型是否需要更新，包括：
判断所述目标模型的所述运行指标是否满足预设第一要求；
若所述目标模型的所述运行指标未满足预设第一要求，则判断所述目标模型需要更新；
若所述目标模型的所述运行指标满足预设第一要求，则判断所述目标模型未需要更新。
在一个可选的实施方式中，所述基于与所述目标模型相关的指标，判断所述目标模型是否需要更新，包括：
判断所述目标模型的所述优化指标是否满足预设第二要求；
若所述目标模型的所述优化指标未满足预设第二要求，则判断所述目标模型需要更新；
若所述目标模型的所述优化指标满足预设第二要求，则判断所述目标模型未需要更新。
在一个可选的实施方式中，所述基于与所述目标模型相关的指标，判断所述目标模型是否需要更新，包括：
判断所述目标模型的所述输出结果中是否存在异常值；
若所述目标模型的所述输出结果中存在异常值，则判断所述目标模型需要更新；
若所述目标模型的所述输出结果中未存在异常值，则判断所述目标模型未需要更新。
在一个可选的实施方式中，所述基于与所述目标模型相关的指标，判断所述目标模型是否需要更新，包括：
判断所述目标模型的所述资源使用率是否超过预设阈值；
若所述目标模型的所述资源使用率超过所述预设阈值，则判断所述目标模型需要更新；
若所述目标模型的所述资源使用率未超过所述预设阈值，则判断所述目标模型未需要更新。
在一个可选的实施方式中，所述基于所述目标模型的所述输入数据对所述目标模型进行模型训练，得到优化模型，包括：
对所述目标模型的所述输入数据进行质量评估；
基于对所述目标模型的所述输入数据的质量评估结果，判断所述目标模型的所述输入数据是否适用于所述目标模型；
若所述目标模型的所述输入数据适用于所述目标模型，则基于所述目标模型的所述输入数据对所述目标模型进行模型训练，得到优化模型。
在一个可选的实施方式中，所述对所述目标模型的所述输入数据进行质量评估，包括：
确定所述目标模型的所述输入数据的质量指标；
其中，所述质量指标至少包括下述之一：数据丢失率、数据倾斜情况、数据异常值、数据统计分布；
基于所述质量指标对所述目标模型的所述输入数据进行质量评估。
在一个可选的实施方式中，所述对所述目标模型的所述输入数据进行质量评估，包括：
确定所述目标模型的所述输入数据中的特征数据；
其中，所述特征数据至少包括下述之一：唯一值、缺失值、数据丢失率、数据信息熵；
基于所述特征数据对所述目标模型的所述输入数据进行质量评估。
在一个可选的实施方式中，所述对所述目标模型的所述输入数据进行质量评估，包括：
确定所述目标模型的所述输入数据对应的分位数统计量；
其中，所述分位数统计量至少包括下述之一：最小值、中位数、最大值、范围、四分位数范围；
基于所述分位数统计量对所述目标模型的所述输入数据进行质量评估。
在一个可选的实施方式中，所述对所述目标模型的所述输入数据进行质量评估，包括：
确定所述目标模型的所述输入数据对应的描述性统计数据；
其中，所述描述性统计数据至少包括下述之一：均值、模式、标准差、总和、中位数绝对偏差、变异系数、峰度、偏度；
基于所述描述性统计数据对所述目标模型的所述输入数据进行质量评估。
在一个可选的实施方式中，所述基于所述目标模型的所述输入数据对所述目标模型进行模型训练，得到优化模型，包括：
判断所述目标模型的所述输入数据的分布，是否与所述目标模型的训练数据的分布一致；
若所述目标模型的所述输入数据的分布，与所述目标模型的训练数据的分布一致，基于所述目标模型的所述输入数据对所述目标模型进行模型训练，得到优化模型。
在一个可选的实施方式中，所述基于所述目标模型的所述输入数据对所述目标模型进行模型训练，得到优化模型，包括：
从所述目标模型的所述输入数据中提取特征；
基于所述特征的指标，判断所述特征是否适用于所述目标模型；
其中，所述特征的指标至少包括下述之一：重要性、相关性、信息熵；
若所述特征适用于所述目标模型，则基于所述目标模型的所述输入数据对所述目标模型进行模型训练，得到优化模型。
在一个可选的实施方式中，所述利用所述优化模型替换所述目标模型，包括：
确定所述目标模型所属的模型分类；
根据所述模型分类，获取所述优化模型的指标以及预设指标；
判断所述优化模型的所述指标是否超过所述预设指标；
若所述优化模型的所述指标超过所述预设指标，利用所述优化模型替换所述目标模型。
在一个可选的实施方式中，所述利用所述优化模型替换所述目标模型，包括：
获取预先生成的离群点数据，对所述优化模型进行攻击性测试；
若所述优化模型通过攻击性测试，利用所述优化模型替换所述目标模型。
在一个可选的实施方式中，所述利用所述优化模型替换所述目标模型，包括：
利用测试数据和验证数据，对所述优化模型进行验证测试；
若所述优化模型通过验证测试，利用所述优化模型替换所述目标模型。
在一个可选的实施方式中，所述利用所述优化模型替换所述目标模型，包括：
利用预设的数据生产模型，生成真实数据的伪造数据；
利用所述伪造数据对所述优化模型进行测试；
若所述优化模型通过测试，利用所述优化模型替换所述目标模型。
在本发明实施例的第二方面，还提供了一种模型管理装置，所述装置包括：
模型确定模块，用于确定已发布的目标模型；
指标获取模块，用于在所述目标模型运行的过程中，获取与所述目标模型相关的指标；
其中，所述指标至少包括下述之一：目标模型的输入数据，目标模型的运行指标，目标模型的优化指标，目标模型的输出结果，目标模型的资源使用率；
模型判断模块，用于基于与所述目标模型相关的指标，判断所述目标模型是否需要更新；
模型训练模块，用于若所述目标模型需要更新，基于所述目标模型的所述输入数据对所述目标模型进行模型训练，得到优化模型；
模型替换模块，用于利用所述优化模型替换所述目标模型。
在本发明实施例的第三方面，还提供了一种电子设备，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；
存储器，用于存放计算机程序；
处理器，用于执行存储器上所存放的程序时，实现上述第一方面中任一所述的模型管理方法。
在本发明实施例的第四方面，还提供了一种存储介质，所述存储介质中存储有指令，当其在计算机上运行时，使得计算机执行上述第一方面中任一所述的模型管理方法。
在本发明实施例的第五方面，还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述第一方面中任一所述的模型管理方法。
本发明实施例提供的技术方案，通过在目标模型运行的过程中，获取与目标模型相关的指标，该指标至少包括下述之一：目标模型的输入数据，目标模型的运行指标，目标模型的优化指标，目标模型的输出结果，目标模型的资源使用率，基于与目标模型相关的指标，判断目标模型是否需要更新，若目标模型需要更新，基于目标模型的输入数据对目标模型进行模型训练，得到优化模型，利用优化模型替换目标模型。如此基于与目标模型相关的指标，对目标模型进行管理，确保模型预测的准确性。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并与说明书一起用于解释本发明的原理。
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例中示出的一种模型管理方法的实施流程示意图；
图2为本发明实施例中示出的一种基于与目标模型相关的指标，判断目标模型是否需要更新的实施流程示意图；
图3为本发明实施例中示出的另一种基于与目标模型相关的指标，判断目标模型是否需要更新的实施流程示意图；
图4为本发明实施例中示出的另一种基于与目标模型相关的指标，判断目标模型是否需要更新的实施流程示意图；
图5为本发明实施例中示出的另一种基于与目标模型相关的指标，判断目标模型是否需要更新的实施流程示意图；
图6为本发明实施例中示出的另一种基于与目标模型相关的指标，判断目标模型是否需要更新的实施流程示意图；
图7为本发明实施例中示出的一种得到优化模型的实施流程示意图；
图8为本发明实施例中示出的另一种得到优化模型的实施流程示意图；
图9为本发明实施例中示出的另一种得到优化模型的实施流程示意图；
图10为本发明实施例中示出的一种利用优化模型替换目标模型的实施流程示意图；
图11为本发明实施例中示出的一种模型评估标准分类示意图；
图12为本发明实施例中示出的另一种利用优化模型替换目标模型的实施流程示意图；
图13为本发明实施例中示出的另一种利用优化模型替换目标模型的实施流程示意图；
图14为本发明实施例中示出的另一种利用优化模型替换目标模型的实施流程示意图；
图15为本发明实施例中示出的一种模型管理装置的结构示意图；
图16为本发明实施例中示出的一种电子设备的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
如图1所示，为本发明实施例提供的一种模型管理方法的实施流程示意图，该方法具体可以包括以下步骤：
S101，确定已发布的目标模型；
利用机器学习算法进行模型训练得到的模型，发布到线上环境中，可以为用户提供各种各样的服务。但是随着时间的推移往往会出现新的数据分布与已有数据分布不一致的情况，这种新数据分布与旧有数据分布存在不一致的现象称为概念漂移(ConceptDrift)，这将导致随着时间的推移，模型预测的准确性将下降，因此需要对模型进行管理，以便于定期更新模型。
为了实现对模型进行管理，便于定期更新模型的目的，本发明实施例可以在线上环境确定已发布的目标模型，例如可以在线上环境确定已发布的模型A、模型B、模型C……。
其中，对于目标模型，可以是当前任意类型的模型，其提供的服务多种多样，本发明实施例对此不作限定。
S102，在所述目标模型运行的过程中，获取与所述目标模型相关的指标；
对于目标模型，发布到线上环境，可以在线上环境应用该目标模型。在应用该目标模型的过程中，即在该目标模型运行的过程中，本发明实施例可以获取与该目标模型相关的指标。
其中，对于与该目标模型相关的指标，至少包括下述之一：目标模型的输入数据，目标模型的运行指标，目标模型的优化指标，目标模型的输出结果，目标模型的资源使用率。对于各个指标的指代含义，本发明实施例后续进行说明。
S103，基于与所述目标模型相关的指标，判断所述目标模型是否需要更新；
对于与该目标模型相关的指标，本发明实施例可以基于与该目标模型相关的指标，判断该目标模型是否需要更新，即从多个维度去评判目标模型是否需要更新。
S104，若所述目标模型需要更新，基于所述目标模型的所述输入数据对所述目标模型进行模型训练，得到优化模型；
基于与该目标模型相关的指标，如果判断该目标模型需要更新，可以基于目标模型的输入数据对该目标模型进行模型训练，得到优化模型。
其中，基于目标模型的输入数据对该目标模型进行模型训练，可以参照现有模型训练方法，本发明实施例在此不再一一赘述。
基于与该目标模型相关的指标，如果判断该目标模型未需要更新，则可以维持现有目标模型，以便于在下一个周期继续进行模型监控。
S105，利用所述优化模型替换所述目标模型。
在目标模型需要更新的情况下，利用模型训练得到的优化模型替换该目标模型，确保模型的精度或者有效性，以便于在线上环境利用该优化模型为用户提供服务。
通过上述对本发明实施例提供的技术方案的描述，在目标模型运行的过程中，获取与目标模型相关的指标，该指标至少包括下述之一：目标模型的输入数据，目标模型的运行指标，目标模型的优化指标，目标模型的输出结果，目标模型的资源使用率，基于与目标模型相关的指标，判断目标模型是否需要更新，若目标模型需要更新，基于目标模型的输入数据对目标模型进行模型训练，得到优化模型，利用优化模型替换目标模型。如此基于与目标模型相关的指标，对目标模型进行管理，确保模型预测的准确性。
如图2所示，为本发明实施例提供的一种基于与所述目标模型相关的指标，判断所述目标模型是否需要更新的实施流程示意图，具体可以包括以下步骤：
S201，判断所述目标模型的所述输入数据的分布，是否与所述目标模型的训练数据的分布一致；
在本发明实施例中，以目标模型的输入数据为监控维度，判断目标模型的输入数据的分布，是否与目标模型的训练数据的分布一致。对于目标模型的输入数据，可以是线上环境输入至目标模型的用户数据。
其中，利用t检验(Student's t test)、KS检验(Kolmogorov-Smirnov test)、KL距离(Kullback-Leibler Divergence)、MMD距离(Maximum mean discrepancy)等指标，判断目标模型的输入数据的分布，是否与目标模型的训练数据的分布一致。
S202，若所述目标模型的所述输入数据的分布，与所述目标模型的训练数据的分布未一致，则判断所述目标模型需要更新；
如果目标模型的输入数据的分布，与目标模型的训练数据的分布未一致，表明发生了概念漂移，此时可以判断目标模型需要更新。
S203，若所述目标模型的所述输入数据的分布，与所述目标模型的训练数据的分布一致，则判断所述目标模型未需要更新。
如果目标模型的输入数据的分布，与目标模型的训练数据的分布一致，表明未发生概念漂移，此时可以判断目标模型未需要更新，可以维持现有目标模型。
如图3所示，为本发明实施例提供的另一种基于与所述目标模型相关的指标，判断所述目标模型是否需要更新的实施流程示意图，具体可以包括以下步骤：
S301，判断所述目标模型的所述运行指标是否满足预设第一要求；
在本发明实施例中，以目标模型的运行指标为监控维度，判断目标模型的运行指标是否满足预设第一要求。
对于目标模型的运行指标，例如可以是目标模型的被调用次数，可以是目标模型的被调用频率，可以是目标模型的服务响应时间，可以是目标模型的输出分布等，本发明实施例对此不作限定。
以目标模型的被调用次数、目标模型的被调用频率为例，判断目标模型A的被调用次数是否超过阈值A，判断目标模型A的被调用频率是否超过阈值B。
以目标模型的服务响应时间为例，判断目标模型A的服务响应时间是否低于阈值C。
以目标模型的输出分布为例，判断目标模型A的输出分布是否完全位于某个范围内。
S302，若所述目标模型的所述运行指标未满足预设第一要求，则判断所述目标模型需要更新；
如果目标模型的运行指标未满足预设第一要求，表明目标模型的运行状态异常，此时可以判断目标模型需要更新。
例如，目标模型A的被调用次数未超过阈值A，且目标模型A的被调用频率未超过阈值B，此时可以判断目标模型A需要更新。
例如，目标模型A的服务响应时间未低于阈值C，此时可以判断目标模型A需要更新。
例如，目标模型A的输出分布未完全位于某个范围内，此时可以判断目标模型A需要更新。
S303，若所述目标模型的所述运行指标满足预设第一要求，则判断所述目标模型未需要更新。
如果目标模型的运行指标满足预设第一要求，表明目标模型的运行状态正常，此时可以判断目标模型未需要更新。
例如，目标模型A的被调用次数超过阈值A，和/或，目标模型A的被调用频率超过阈值B，此时可以判断目标模型A未需要更新。
例如，目标模型A的服务响应时间低于阈值C，此时可以判断目标模型A未需要更新。
例如，目标模型A的输出分布完全位于某个范围内，此时可以判断目标模型A未需要更新。
如图4所示，为本发明实施例提供的另一种基于与所述目标模型相关的指标，判断所述目标模型是否需要更新的实施流程示意图，具体可以包括以下步骤：
S401，判断所述目标模型的所述优化指标是否满足预设第二要求；
在本发明实施例中，以目标模型的优化指标为监控维度，判断目标模型的优化指标是否满足预设第二要求。
对于目标模型的优化指标，例如可以是Loss，可以是Metrics，本发明实施例对此不作限定。
以Loss为例，判断目标模型A的Loss的值是否小于某个阈值。
S402，若所述目标模型的所述优化指标未满足预设第二要求，则判断所述目标模型需要更新；
如果目标模型的优化指标未满足预设第二要求，表明目标模型的运行状态异常，此时可以判断目标模型需要更新。
例如，目标模型A的Loss的值未小于某个阈值，表明目标模型A的运行状态异常，此时可以判断目标模型A需要更新。
S403，若所述目标模型的所述优化指标满足预设第二要求，则判断所述目标模型未需要更新。
如果目标模型的优化指标满足预设第二要求，表明目标模型的运行状态正常，此时可以判断目标模型未需要更新。
例如，目标模型A的Loss的值小于某个阈值，表明目标模型A的运行状态正常，此时可以判断目标模型A未需要更新。
如图5所示，为本发明实施例提供的另一种基于与所述目标模型相关的指标，判断所述目标模型是否需要更新的实施流程示意图，具体可以包括以下步骤：
S501，判断所述目标模型的所述输出结果中是否存在异常值；
在本发明实施例中，以目标模型的输出结果为监控维度，判断目标模型的输出结果中是否存在异常值。
例如，对于目标模型A的输出结果，一般分布在某个范围内，如果某次目标模型A的输出结果落在这个范围之内，则认为目标模型A的输出结果中存在异常值。
S502，若所述目标模型的所述输出结果中存在异常值，则判断所述目标模型需要更新；
如果目标模型的输出结果中存在异常值，表明目标模型的运行状态异常，此时可以判断目标模型需要更新，并进行告警。
S503，若所述目标模型的所述输出结果中未存在异常值，则判断所述目标模型未需要更新。
如果目标模型的输出结果中未存在异常值，表明目标模型的运行状态正常，此时可以判断目标模型未需要更新。
如图6所示，为本发明实施例提供的另一种基于与所述目标模型相关的指标，判断所述目标模型是否需要更新的实施流程示意图，具体可以包括以下步骤：
S601，判断所述目标模型的所述资源使用率是否超过预设阈值；
在本发明实施例中，以目标模型的资源使用率为监控维度，判断目标模型的资源使用率是否超过预设阈值。
其中，对于资源使用率，例如可以是缓存使用率，可以是CPU使用率等，本发明实施例对此不作限定。
例如，判断目标模型A的缓存使用率是否超过预设阈值1，和/或，判断目标模型A的CPU使用率是否超过预设阈值2。
S602，若所述目标模型的所述资源使用率超过所述预设阈值，则判断所述目标模型需要更新；
如果目标模型的资源使用率超过预设阈值，表明目标模型的运行状态异常，此时可以判断目标模型需要更新。
例如，目标模型A的缓存使用率超过预设阈值1，和/或，目标模型A的CPU使用率超过预设阈值2，判断目标模型A需要更新。
S603，若所述目标模型的所述资源使用率未超过所述预设阈值，则判断所述目标模型未需要更新。
如果目标模型的资源使用率未超过预设阈值，表明目标模型的运行状态正常，此时可以判断目标模型未需要更新。
例如，目标模型A的缓存使用率未超过预设阈值1，和/或，目标模型A的CPU使用率未超过预设阈值2，判断目标模型A未需要更新。
如图7所示，为本发明实施例提供的一种基于所述目标模型的所述输入数据对所述目标模型进行模型训练，得到优化模型的实施流程示意图，具体可以包括以下步骤：
S701，对所述目标模型的所述输入数据进行质量评估；
在本发明实施例中，在利用目标模型的输入数据对目标模型进行训练之前，需要对目标模型的输入数据进行质量评估，具体本发明实施例可以从以下几个维度对目标模型的输入数据进行质量评估。
1、确定目标模型的输入数据的质量指标，基于该治疗指标对目标模型的输入数据进行质量评估。
其中，对于目标模型的输入数据的质量指标，至少包括下述之一：数据丢失率、数据倾斜情况、数据异常值、数据统计分布。
以数据丢失率为例，确定目标模型的输入数据的数据丢失率，如果该数据丢失率小于某个阈值，则可以认为目标模型的输入数据比较健全，目标模型的输入数据的质量较优。
以数据异常值为例，确定目标模型的输入数据的数据异常值，如果该数据异常值的个数小于某个阈值，则可以认为目标模型的输入数据比较正常，目标模型的输入数据的质量较优。
2、确定目标模型的输入数据中的特征数据，基于该特征数据对目标模型的输入数据进行质量评估。
其中，对于目标模型的输入数据中的特征数据，至少包括下述之一：唯一值、缺失值、数据丢失率、数据信息熵。
3、确定目标模型的输入数据对应的分位数统计量，基于该分位数统计量对目标模型的输入数据进行质量评估。
其中，对于目标模型的输入数据对应的分位数统计量，至少包括下述之一：最小值、中位数、最大值、范围、四分位数范围。
4、确定目标模型的输入数据对应的描述性统计数据，基于该描述性统计数据对目标模型的输入数据进行质量评估。
其中，对于目标模型的输入数据对应的描述性统计数据，至少包括下述之一：均值、模式、标准差、总和、中位数绝对偏差、变异系数、峰度、偏度。
S702，基于对所述目标模型的所述输入数据的质量评估结果，判断所述目标模型的所述输入数据是否适用于所述目标模型；
S703，若所述目标模型的所述输入数据适用于所述目标模型，则基于所述目标模型的所述输入数据对所述目标模型进行模型训练，得到优化模型。
基于上述对目标模型的输入数据的质量评估结果，判断目标模型的输入数据是否适用于目标模型；
如果目标模型的输入数据适用于目标模型，基于目标模型的输入数据对目标模型进行模型训练，得到优化模型；
如果目标模型的输入数据未适用于目标模型，此时可以对目标模型的输入数据进行预处理，以使目标模型的输入数据适用于目标模型，然后基于目标模型的输入数据对目标模型进行模型训练，得到优化模型。
如图8所示，为本发明实施例提供的另一种基于所述目标模型的所述输入数据对所述目标模型进行模型训练，得到优化模型的实施流程示意图，具体可以包括以下步骤：
S801，判断所述目标模型的所述输入数据的分布，是否与所述目标模型的训练数据的分布一致；
在本发明实施例中，判断目标模型的输入数据的分布，是否与目标模型的训练数据的分布一致，以确保模型训练过程中数据的分布与模型应用过程中数据的分布一致。
其中，利用t检验(Student's t test)、KS检验(Kolmogorov-Smirnov test)、KL距离(Kullback-Leibler Divergence)、MMD距离(Maximum mean discrepancy)等指标，判断目标模型的输入数据的分布，是否与目标模型的训练数据的分布一致。
S802，若所述目标模型的所述输入数据的分布，与所述目标模型的训练数据的分布一致，基于所述目标模型的所述输入数据对所述目标模型进行模型训练，得到优化模型。
如果目标模型的输入数据的分布，与目标模型的训练数据的分布一致，则可以基于目标模型的输入数据对目标模型进行模型训练，得到优化模型。
如果目标模型的输入数据的分布，与目标模型的训练数据的分布未一致，则可以对目标模型的输入数据进行预处理，以使目标模型的输入数据的分布，与目标模型的训练数据的分布一致，然后可以基于目标模型的输入数据对目标模型进行模型训练，得到优化模型。
如图9所示，为本发明实施例提供的另一种基于所述目标模型的所述输入数据对所述目标模型进行模型训练，得到优化模型的实施流程示意图，具体可以包括以下步骤：
S901，从所述目标模型的所述输入数据中提取特征；
S902，基于所述特征的指标，判断所述特征是否适用于所述目标模型；
S903，若所述特征适用于所述目标模型，则基于所述目标模型的所述输入数据对所述目标模型进行模型训练，得到优化模型。
对于目标模型的输入数据，在输入至目标模型得出输出结果的过程中，可以从该输入数据中提取特征，对于该特征，一般存在若干个指标用于描述该特征。
其中，对于特征的指标，至少包括下述之一：重要性、相关性、信息熵。
基于所述特征的指标，判断所述特征是否适用于所述目标模型，具体可以是评估特征的重要性、相关性、信息熵等指标，判断该特征是否适用于该目标模型。
如果该特征适用于目标模型，可以基于所述目标模型的所述输入数据对所述目标模型进行模型训练，得到优化模型。
如图10所示，为本发明实施例提供的一种利用所述优化模型替换所述目标模型的实施流程示意图，具体可以包括以下步骤：
S1001，确定所述目标模型所属的模型分类；
在本发明实施例中，在利用优化模型替换目标模型之前，可以对优化模型进行模型评估，如果对优化模型的评估通过，则利用优化模型替换目标模型。
为此，本发明实施例可以针对模型进行分类，每类模型的评估标准不同，大致可以将模型分为回归测试、分类、多标签学习和聚类4种分类，每类模型的评估标准可以如图11所示。
本发明实施例确定目标模型所属的模型分类，例如确定目标模型A所属的模型分类：分类。
S1002，根据所述模型分类，获取所述优化模型的指标以及预设指标；
根据目标模型所属的模型分类，可以获取优化模型对应的指标以及预设指标。
例如，目标模型A所属的模型分类：分类，则可以获取优化模型对应的准确率以及预设准确率。
S1003，判断所述优化模型的所述指标是否超过所述预设指标；
对于优化模型的指标，判断该优化模型的指标是否超过预设指标。例如，判断优化模型的准确率是否超过预设准确率。
S1004，若所述优化模型的所述指标超过所述预设指标，利用所述优化模型替换所述目标模型。
如果该优化模型的指标超过预设指标，表明优化模型评估通过，可以利用优化模型替换该目标模型。
例如，优化模型的准确率超过预设准确率，表明优化模型评估通过，可以利用优化模型替换该目标模型。
如果该优化模型的指标未超过预设指标，表明优化模型评估未通过，可以进行告警，或者重新基于所述目标模型的所述输入数据对所述目标模型进行模型训练。
如图12所示，为本发明实施例提供的另一种利用所述优化模型替换所述目标模型的实施流程示意图，具体可以包括以下步骤：
S1201，获取预先生成的离群点数据，对所述优化模型进行攻击性测试；
在本发明实施例中，为了确保模型的鲁棒性，具体表现为对于模型假设出现的较大偏差的离群点，不可对模型性能产生“灾难性”的影响，因此需要对优化模型进行攻击性测试。
为此，本发明实施例可以获取预先生成的离群点数据，对优化模型进行攻击性测试。其中，对于离群点数据，可以根据先验经验或者随机的方式生成，本发明实施例对此不作限定。
具体地，可以将离群点数据输入至优化模型，进行攻击性测试，例如压力测试，确定优化模型是否发生崩溃、宕机等现象，如果优化模型未发生发生崩溃、宕机等现象，则可以认为优化模型通过攻击性测试，否则未通过攻击性测试。
S1202，若所述优化模型通过攻击性测试，利用所述优化模型替换所述目标模型。
对于优化模型，如果该优化模型通过攻击性测试，可以利用该优化模型替换目标模型。
对于优化模型，如果该优化模型未通过攻击性测试，可以进行告警，或者，重新基于所述目标模型的所述输入数据对所述目标模型进行模型训练。
如图13所示，为本发明实施例提供的另一种利用所述优化模型替换所述目标模型的实施流程示意图，具体可以包括以下步骤：
S1301，利用测试数据和验证数据，对所述优化模型进行验证测试；
在本发明实施例中，为了确保模型的鲁棒性，具体表现为模型具有较高的精度或有效性，因此需要对优化模型进行验证测试。
为此，本发明实施例可以利用测试数据和验证数据，对优化模型进行验证测试。其中，对于测试数据和验证数据，可以是目标模型的输入数据中的部分数据，本发明实施例对此不作限定。
具体地，可以将测试数据和验证数据输入至优化模型，如果优化模型的精度或者正确率大于某个阈值，则可以认为优化模型通过验证测试，否则未通过验证测试。
S1302，若所述优化模型通过验证测试，利用所述优化模型替换所述目标模型。
对于优化模型，如果该优化模型通过验证测试，可以利用该优化模型替换目标模型。
对于优化模型，如果该优化模型未通过验证测试，可以进行告警，或者，重新基于所述目标模型的所述输入数据对所述目标模型进行模型训练。
如图14所示，为本发明实施例提供的另一种利用所述优化模型替换所述目标模型的实施流程示意图，具体可以包括以下步骤：
S1401，利用预设的数据生产模型，生成真实数据的伪造数据；
在本发明实施例中，为了确保模型的鲁棒性，具体表现为对于模型假设出现的较小偏差，只能对模型性能产生娇小的影响，主要是：噪声影响，需要对优化模型进行测试。
为此，本发明实施例可以利用预设的数据生成模型，生成真实数据的伪造数据。
例如，利用噪声添加、仿真、VAE或GAN等先进的数据生成模型，生成真实数据的伪造数据。
S1402，利用所述伪造数据对所述优化模型进行测试；
对于利用预设的数据生产模型，生成的真实数据的伪造数据，可以利用该伪造数据对优化模型进行测试，具体可以输入至优化模型。
将伪造数据输入至优化模型，可以得到输出结果，此时确定优化模型的精度或者正确率是否大于某个阈值，如果优化模型的精度或者正确率大于某个阈值，则可以认为优化模型通过测试，否则未通过测试。
S1403，若所述优化模型通过测试，利用所述优化模型替换所述目标模型。
对于优化模型而言，如果通过测试，可以利用优化模型替换目标模型，如果未通过测试，可以进行告警，或者，重新基于所述目标模型的所述输入数据对所述目标模型进行模型训练。
与上述方法实施例相对应，本发明实施例还提供了一种模型管理装置，如图15所示，该装置可以包括：模型确定模块1510、指标获取模块1520、模型判断模块1530、模型训练模块1540、模型替换模块1550。
模型确定模块1510，用于确定已发布的目标模型；
指标获取模块1520，用于在所述目标模型运行的过程中，获取与所述目标模型相关的指标；
其中，所述指标至少包括下述之一：目标模型的输入数据，目标模型的运行指标，目标模型的优化指标，目标模型的输出结果，目标模型的资源使用率；
模型判断模块1530，用于基于与所述目标模型相关的指标，判断所述目标模型是否需要更新；
模型训练模块1540，用于若所述目标模型需要更新，基于所述目标模型的所述输入数据对所述目标模型进行模型训练，得到优化模型；
模型替换模块1550，用于利用所述优化模型替换所述目标模型。
在本发明实施例的具体实施方式中，所述模型判断模块1530具体用于：
判断所述目标模型的所述输入数据的分布，是否与所述目标模型的训练数据的分布一致；
若所述目标模型的所述输入数据的分布，与所述目标模型的训练数据的分布未一致，则判断所述目标模型需要更新；
若所述目标模型的所述输入数据的分布，与所述目标模型的训练数据的分布一致，则判断所述目标模型未需要更新。
在本发明实施例的具体实施方式中，所述模型判断模块1530具体用于：
判断所述目标模型的所述运行指标是否满足预设第一要求；
若所述目标模型的所述运行指标未满足预设第一要求，则判断所述目标模型需要更新；
若所述目标模型的所述运行指标满足预设第一要求，则判断所述目标模型未需要更新。
在本发明实施例的具体实施方式中，所述模型判断模块1530具体用于：
判断所述目标模型的所述优化指标是否满足预设第二要求；
若所述目标模型的所述优化指标未满足预设第二要求，则判断所述目标模型需要更新；
若所述目标模型的所述优化指标满足预设第二要求，则判断所述目标模型未需要更新。
在本发明实施例的具体实施方式中，所述模型判断模块1530具体用于：
判断所述目标模型的所述输出结果中是否存在异常值；
若所述目标模型的所述输出结果中存在异常值，则判断所述目标模型需要更新；
若所述目标模型的所述输出结果中未存在异常值，则判断所述目标模型未需要更新。
在本发明实施例的具体实施方式中，所述模型判断模块1530具体用于：
判断所述目标模型的所述资源使用率是否超过预设阈值；
若所述目标模型的所述资源使用率超过所述预设阈值，则判断所述目标模型需要更新；
若所述目标模型的所述资源使用率未超过所述预设阈值，则判断所述目标模型未需要更新。
在本发明实施例的具体实施方式中，所述模型训练模块1540具体包括：
质量评估子模块1541，用于对所述目标模型的所述输入数据进行质量评估；
数据判断子模块1542，用于基于对所述目标模型的所述输入数据的质量评估结果，判断所述目标模型的所述输入数据是否适用于所述目标模型；
模型训练子模块1543，用于若所述特征适用于所述目标模型，则基于所述目标模型的所述输入数据对所述目标模型进行模型训练，得到优化模型。
在本发明实施例的具体实施方式中，所述质量评估子模块1541具体用于：
确定所述目标模型的所述输入数据的质量指标；
其中，所述质量指标至少包括下述之一：数据丢失率、数据倾斜情况、数据异常值、数据统计分布；
基于所述质量指标对所述目标模型的所述输入数据进行质量评估。
在本发明实施例的具体实施方式中，所述质量评估子模块1541具体用于：
确定所述目标模型的所述输入数据中的特征数据；
其中，所述特征数据至少包括下述之一：唯一值、缺失值、数据丢失率、数据信息熵；
基于所述特征数据对所述目标模型的所述输入数据进行质量评估。
在本发明实施例的具体实施方式中，所述质量评估子模块1541具体用于：
确定所述目标模型的所述输入数据对应的分位数统计量；
其中，所述分位数统计量至少包括下述之一：最小值、中位数、最大值、范围、四分位数范围；
基于所述分位数统计量对所述目标模型的所述输入数据进行质量评估。
在本发明实施例的具体实施方式中，所述质量评估子模块1541具体用于：
确定所述目标模型的所述输入数据对应的描述性统计数据；
其中，所述描述性统计数据至少包括下述之一：均值、模式、标准差、总和、中位数绝对偏差、变异系数、峰度、偏度；
基于所述描述性统计数据对所述目标模型的所述输入数据进行质量评估。
在本发明实施例的具体实施方式中，所述模型训练模块1540具体用于：
判断所述目标模型的所述输入数据的分布，是否与所述目标模型的训练数据的分布一致；
若所述目标模型的所述输入数据的分布，与所述目标模型的训练数据的分布一致，基于所述目标模型的所述输入数据对所述目标模型进行模型训练，得到优化模型。
在本发明实施例的具体实施方式中，所述模型训练模块1540具体用于：
从所述目标模型的所述输入数据中提取特征；
基于所述特征的指标，判断所述特征是否适用于所述目标模型；
其中，所述特征的指标至少包括下述之一：重要性、相关性、信息熵；
若所述特征适用于所述目标模型，则基于所述目标模型的所述输入数据对所述目标模型进行模型训练，得到优化模型。
在本发明实施例的具体实施方式中，所述模型替换模块1550具体用于：
确定所述目标模型所属的模型分类；
根据所述模型分类，获取所述优化模型的指标以及预设指标；
判断所述优化模型的所述指标是否超过所述预设指标；
若所述优化模型的所述指标超过所述预设指标，利用所述优化模型替换所述目标模型。
在本发明实施例的具体实施方式中，所述模型替换模块1550具体用于：
获取预先生成的离群点数据，对所述优化模型进行攻击性测试；
若所述优化模型通过攻击性测试，利用所述优化模型替换所述目标模型。
在本发明实施例的具体实施方式中，所述模型替换模块1550具体用于：
利用测试数据和验证数据，对所述优化模型进行验证测试；
若所述优化模型通过验证测试，利用所述优化模型替换所述目标模型。
在本发明实施例的具体实施方式中，所述模型替换模块1550具体用于：
利用预设的数据生产模型，生成真实数据的伪造数据；
利用所述伪造数据对所述优化模型进行测试；
若所述优化模型通过测试，利用所述优化模型替换所述目标模型。
本发明实施例还提供了一种电子设备，如图16所示，包括处理器161、通信接口162、存储器163和通信总线164，其中，处理器161，通信接口162，存储器163通过通信总线164完成相互间的通信，
存储器163，用于存放计算机程序；
处理器161，用于执行存储器163上所存放的程序时，实现如下步骤：
确定已发布的目标模型；在所述目标模型运行的过程中，获取与所述目标模型相关的指标；其中，所述指标至少包括下述之一：目标模型的输入数据，目标模型的运行指标，目标模型的优化指标，目标模型的输出结果，目标模型的资源使用率；基于与所述目标模型相关的指标，判断所述目标模型是否需要更新；若所述目标模型需要更新，基于所述目标模型的所述输入数据对所述目标模型进行模型训练，得到优化模型；利用所述优化模型替换所述目标模型。
上述电子设备提到的通信总线可以是外设部件互连标准(Peripheral ComponentInterconnect，简称PCI)总线或扩展工业标准结构(Extended Industry StandardArchitecture，简称EISA)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
通信接口用于上述电子设备与其他设备之间的通信。
存储器可以包括随机存取存储器(Random Access Memory，简称RAM)，也可以包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。可选的，存储器还可以是至少一个位于远离前述处理器的存储装置。
上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，简称CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(Digital Signal Processing，简称DSP)、专用集成电路(Application SpecificIntegrated Circuit，简称ASIC)、现场可编程门阵列(Field－Programmable Gate Array，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
在本发明提供的又一实施例中，还提供了一种存储介质，该存储介质中存储有指令，当其在计算机上运行时，使得计算机执行上述实施例中任一所述的模型管理方法。
在本发明提供的又一实施例中，还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述实施例中任一所述的模型管理方法。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在存储介质中，或者从一个存储介质向另一个存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘Solid State Disk(SSD))等。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
以上所述仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本发明的保护范围内。
Claims (20)
1.一种模型管理方法，其特征在于，所述方法包括：
确定已发布的目标模型；
在所述目标模型运行的过程中，获取与所述目标模型相关的指标；
其中，所述指标至少包括下述之一：目标模型的输入数据，目标模型的运行指标，目标模型的优化指标，目标模型的输出结果，目标模型的资源使用率；
基于与所述目标模型相关的指标，判断所述目标模型是否需要更新；
若所述目标模型需要更新，基于所述目标模型的所述输入数据对所述目标模型进行模型训练，得到优化模型；
利用所述优化模型替换所述目标模型。
2.根据权利要求1所述的方法，其特征在于，所述基于与所述目标模型相关的指标，判断所述目标模型是否需要更新，包括：
判断所述目标模型的所述输入数据的分布，是否与所述目标模型的训练数据的分布一致；
若所述目标模型的所述输入数据的分布，与所述目标模型的训练数据的分布未一致，则判断所述目标模型需要更新；
若所述目标模型的所述输入数据的分布，与所述目标模型的训练数据的分布一致，则判断所述目标模型未需要更新。
3.根据权利要求1所述的方法，其特征在于，所述基于与所述目标模型相关的指标，判断所述目标模型是否需要更新，包括：
判断所述目标模型的所述运行指标是否满足预设第一要求；
若所述目标模型的所述运行指标未满足预设第一要求，则判断所述目标模型需要更新；
若所述目标模型的所述运行指标满足预设第一要求，则判断所述目标模型未需要更新。
4.根据权利要求1所述的方法，其特征在于，所述基于与所述目标模型相关的指标，判断所述目标模型是否需要更新，包括：
判断所述目标模型的所述优化指标是否满足预设第二要求；
若所述目标模型的所述优化指标未满足预设第二要求，则判断所述目标模型需要更新；
若所述目标模型的所述优化指标满足预设第二要求，则判断所述目标模型未需要更新。
5.根据权利要求1所述的方法，其特征在于，所述基于与所述目标模型相关的指标，判断所述目标模型是否需要更新，包括：
判断所述目标模型的所述输出结果中是否存在异常值；
若所述目标模型的所述输出结果中存在异常值，则判断所述目标模型需要更新；
若所述目标模型的所述输出结果中未存在异常值，则判断所述目标模型未需要更新。
6.根据权利要求1所述的方法，其特征在于，所述基于与所述目标模型相关的指标，判断所述目标模型是否需要更新，包括：
判断所述目标模型的所述资源使用率是否超过预设阈值；
若所述目标模型的所述资源使用率超过所述预设阈值，则判断所述目标模型需要更新；
若所述目标模型的所述资源使用率未超过所述预设阈值，则判断所述目标模型未需要更新。
7.根据权利要求1所述的方法，其特征在于，所述基于所述目标模型的所述输入数据对所述目标模型进行模型训练，得到优化模型，包括：
对所述目标模型的所述输入数据进行质量评估；
基于对所述目标模型的所述输入数据的质量评估结果，判断所述目标模型的所述输入数据是否适用于所述目标模型；
若所述目标模型的所述输入数据适用于所述目标模型，则基于所述目标模型的所述输入数据对所述目标模型进行模型训练，得到优化模型。
8.根据权利要求7所述的方法，其特征在于，所述对所述目标模型的所述输入数据进行质量评估，包括：
确定所述目标模型的所述输入数据的质量指标；
其中，所述质量指标至少包括下述之一：数据丢失率、数据倾斜情况、数据异常值、数据统计分布；
基于所述质量指标对所述目标模型的所述输入数据进行质量评估。
9.根据权利要求7所述的方法，其特征在于，所述对所述目标模型的所述输入数据进行质量评估，包括：
确定所述目标模型的所述输入数据中的特征数据；
其中，所述特征数据至少包括下述之一：唯一值、缺失值、数据丢失率、数据信息熵；
基于所述特征数据对所述目标模型的所述输入数据进行质量评估。
10.根据权利要求7所述的方法，其特征在于，所述对所述目标模型的所述输入数据进行质量评估，包括：
确定所述目标模型的所述输入数据对应的分位数统计量；
其中，所述分位数统计量至少包括下述之一：最小值、中位数、最大值、范围、四分位数范围；
基于所述分位数统计量对所述目标模型的所述输入数据进行质量评估。
11.根据权利要求7所述的方法，其特征在于，所述对所述目标模型的所述输入数据进行质量评估，包括：
确定所述目标模型的所述输入数据对应的描述性统计数据；
其中，所述描述性统计数据至少包括下述之一：均值、模式、标准差、总和、中位数绝对偏差、变异系数、峰度、偏度；
基于所述描述性统计数据对所述目标模型的所述输入数据进行质量评估。
12.根据权利要求1所述的方法，其特征在于，所述基于所述目标模型的所述输入数据对所述目标模型进行模型训练，得到优化模型，包括：
判断所述目标模型的所述输入数据的分布，是否与所述目标模型的训练数据的分布一致；
若所述目标模型的所述输入数据的分布，与所述目标模型的训练数据的分布一致，基于所述目标模型的所述输入数据对所述目标模型进行模型训练，得到优化模型。
13.根据权利要求1所述的方法，其特征在于，所述基于所述目标模型的所述输入数据对所述目标模型进行模型训练，得到优化模型，包括：
从所述目标模型的所述输入数据中提取特征；
基于所述特征的指标，判断所述特征是否适用于所述目标模型；
其中，所述特征的指标至少包括下述之一：重要性、相关性、信息熵；
若所述特征适用于所述目标模型，则基于所述目标模型的所述输入数据对所述目标模型进行模型训练，得到优化模型。
14.根据权利要求1所述的方法，其特征在于，所述利用所述优化模型替换所述目标模型，包括：
确定所述目标模型所属的模型分类；
根据所述模型分类，获取所述优化模型的指标以及预设指标；
判断所述优化模型的所述指标是否超过所述预设指标；
若所述优化模型的所述指标超过所述预设指标，利用所述优化模型替换所述目标模型。
15.根据权利要求1所述的方法，其特征在于，所述利用所述优化模型替换所述目标模型，包括：
获取预先生成的离群点数据，对所述优化模型进行攻击性测试；
若所述优化模型通过攻击性测试，利用所述优化模型替换所述目标模型。
16.根据权利要求1所述的方法，其特征在于，所述利用所述优化模型替换所述目标模型，包括：
利用测试数据和验证数据，对所述优化模型进行验证测试；
若所述优化模型通过验证测试，利用所述优化模型替换所述目标模型。
17.根据权利要求1所述的方法，其特征在于，所述利用所述优化模型替换所述目标模型，包括：
利用预设的数据生产模型，生成真实数据的伪造数据；
利用所述伪造数据对所述优化模型进行测试；
若所述优化模型通过测试，利用所述优化模型替换所述目标模型。
18.一种模型管理装置，其特征在于，所述装置包括：
模型确定模块，用于确定已发布的目标模型；
指标获取模块，用于在所述目标模型运行的过程中，获取与所述目标模型相关的指标；
其中，所述指标至少包括下述之一：目标模型的输入数据，目标模型的运行指标，目标模型的优化指标，目标模型的输出结果，目标模型的资源使用率；
模型判断模块，用于基于与所述目标模型相关的指标，判断所述目标模型是否需要更新；
模型训练模块，用于若所述目标模型需要更新，基于所述目标模型的所述输入数据对所述目标模型进行模型训练，得到优化模型；
模型替换模块，用于利用所述优化模型替换所述目标模型。
19.一种电子设备，其特征在于，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；
存储器，用于存放计算机程序；
处理器，用于执行存储器上所存放的程序时，实现权利要求1-17中任一所述的方法步骤。
20.一种存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-17中任一所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010477770.0A CN111652379B (zh) | 2020-05-29 | 2020-05-29 | 模型管理方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010477770.0A CN111652379B (zh) | 2020-05-29 | 2020-05-29 | 模型管理方法、装置、电子设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111652379A true CN111652379A (zh) | 2020-09-11 |
| CN111652379B CN111652379B (zh) | 2024-04-16 |
Family
ID=72346816
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010477770.0A Active CN111652379B (zh) | 2020-05-29 | 2020-05-29 | 模型管理方法、装置、电子设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111652379B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112686388A (zh) * | 2020-12-10 | 2021-04-20 | 广州广电运通金融电子股份有限公司 | 一种在联邦学习场景下的数据集划分方法及系统 |
Citations (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103729569A (zh) * | 2014-01-20 | 2014-04-16 | 华北电力大学 | 一种基于lssvm及在线更新的电站锅炉烟气软测量系统 |
| CN107430711A (zh) * | 2015-04-16 | 2017-12-01 | 西门子公司 | 用于操作自动化系统的方法和装置 |
| CN108022123A (zh) * | 2016-11-04 | 2018-05-11 | 苏宁云商集团股份有限公司 | 一种业务模型的自动调整方法及装置 |
| CN108536461A (zh) * | 2018-03-13 | 2018-09-14 | Oppo广东移动通信有限公司 | 资源更新方法、装置、终端及存储介质 |
| CN108573355A (zh) * | 2018-05-08 | 2018-09-25 | 阿里巴巴集团控股有限公司 | 模型更新后替换运行的方法、装置、及业务服务器 |
| CN109242135A (zh) * | 2018-07-16 | 2019-01-18 | 阿里巴巴集团控股有限公司 | 一种模型运营方法、装置、及业务服务器 |
| CN109308246A (zh) * | 2017-07-27 | 2019-02-05 | 阿里巴巴集团控股有限公司 | 系统参数的优化方法、装置及设备、可读介质 |
| US20190197406A1 (en) * | 2017-12-22 | 2019-06-27 | Microsoft Technology Licensing, Llc | Neural entropy enhanced machine learning |
| CN110033117A (zh) * | 2019-02-19 | 2019-07-19 | 阿里巴巴集团控股有限公司 | 模型校准方法及装置 |
| CN110196805A (zh) * | 2018-05-29 | 2019-09-03 | 腾讯科技（深圳）有限公司 | 数据处理方法、装置、存储介质和电子装置 |
| CN110262939A (zh) * | 2019-05-14 | 2019-09-20 | 苏宁金融服务(上海)有限公司 | 算法模型运行监控方法、装置、计算机设备和存储介质 |
| CN110288093A (zh) * | 2019-06-06 | 2019-09-27 | 博彦科技股份有限公司 | 数据处理方法、装置、存储介质及处理器 |
| CN110417565A (zh) * | 2018-04-27 | 2019-11-05 | 华为技术有限公司 | 一种模型更新方法、装置及系统 |
| CN110503206A (zh) * | 2019-08-09 | 2019-11-26 | 阿里巴巴集团控股有限公司 | 一种预测模型更新方法、装置、设备及可读介质 |
| CN110928553A (zh) * | 2019-10-16 | 2020-03-27 | 中国平安人寿保险股份有限公司 | 深度学习模型的部署方法、装置和系统 |
| CN111126621A (zh) * | 2019-12-17 | 2020-05-08 | 北京九章云极科技有限公司 | 在线模型训练方法及装置 |
-
2020
- 2020-05-29 CN CN202010477770.0A patent/CN111652379B/zh active Active
Patent Citations (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103729569A (zh) * | 2014-01-20 | 2014-04-16 | 华北电力大学 | 一种基于lssvm及在线更新的电站锅炉烟气软测量系统 |
| CN107430711A (zh) * | 2015-04-16 | 2017-12-01 | 西门子公司 | 用于操作自动化系统的方法和装置 |
| CN108022123A (zh) * | 2016-11-04 | 2018-05-11 | 苏宁云商集团股份有限公司 | 一种业务模型的自动调整方法及装置 |
| CN109308246A (zh) * | 2017-07-27 | 2019-02-05 | 阿里巴巴集团控股有限公司 | 系统参数的优化方法、装置及设备、可读介质 |
| US20190197406A1 (en) * | 2017-12-22 | 2019-06-27 | Microsoft Technology Licensing, Llc | Neural entropy enhanced machine learning |
| CN108536461A (zh) * | 2018-03-13 | 2018-09-14 | Oppo广东移动通信有限公司 | 资源更新方法、装置、终端及存储介质 |
| CN110417565A (zh) * | 2018-04-27 | 2019-11-05 | 华为技术有限公司 | 一种模型更新方法、装置及系统 |
| CN108573355A (zh) * | 2018-05-08 | 2018-09-25 | 阿里巴巴集团控股有限公司 | 模型更新后替换运行的方法、装置、及业务服务器 |
| CN110196805A (zh) * | 2018-05-29 | 2019-09-03 | 腾讯科技（深圳）有限公司 | 数据处理方法、装置、存储介质和电子装置 |
| CN109242135A (zh) * | 2018-07-16 | 2019-01-18 | 阿里巴巴集团控股有限公司 | 一种模型运营方法、装置、及业务服务器 |
| CN110033117A (zh) * | 2019-02-19 | 2019-07-19 | 阿里巴巴集团控股有限公司 | 模型校准方法及装置 |
| CN110262939A (zh) * | 2019-05-14 | 2019-09-20 | 苏宁金融服务(上海)有限公司 | 算法模型运行监控方法、装置、计算机设备和存储介质 |
| CN110288093A (zh) * | 2019-06-06 | 2019-09-27 | 博彦科技股份有限公司 | 数据处理方法、装置、存储介质及处理器 |
| CN110503206A (zh) * | 2019-08-09 | 2019-11-26 | 阿里巴巴集团控股有限公司 | 一种预测模型更新方法、装置、设备及可读介质 |
| CN110928553A (zh) * | 2019-10-16 | 2020-03-27 | 中国平安人寿保险股份有限公司 | 深度学习模型的部署方法、装置和系统 |
| CN111126621A (zh) * | 2019-12-17 | 2020-05-08 | 北京九章云极科技有限公司 | 在线模型训练方法及装置 |
Non-Patent Citations (4)
| Title |
|---|
| ABADI M 等: "Tensorflow: Large-scale machine learning on heterogeneous distributed systems", 《ARXIV PREPRINT ARXIV:1603.04467》, pages 1 - 19 * |
| BONAWITZ K 等: "Towards federated learning at scale: System design", 《PROCEEDINGS OF MACHINE LEARNING AND SYSTEMS》, vol. 1, pages 374 - 388 * |
| 王建民;: "领域大数据应用开发与运行平台技术研究", 《软件学报》, no. 06, pages 1516 - 1528 * |
| 琚春华 等: "基于情景特征的前馈动态集成分类器", 《管理工程学报》, no. 04, pages 119 - 125 * |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112686388A (zh) * | 2020-12-10 | 2021-04-20 | 广州广电运通金融电子股份有限公司 | 一种在联邦学习场景下的数据集划分方法及系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111652379B (zh) | 2024-04-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107040397B (zh) | 一种业务参数获取方法及装置 | |
| CN109120463B (zh) | 流量预测方法及装置 | |
| US20230033680A1 (en) | Communication Network Performance and Fault Analysis Using Learning Models with Model Interpretation | |
| US9860109B2 (en) | Automatic alert generation | |
| CN110083475B (zh) | 一种异常数据的检测方法及装置 | |
| CN111538642A (zh) | 一种异常行为的检测方法、装置、电子设备及存储介质 | |
| JP2016517550A (ja) | ブロードバンドネットワークのチャーン予測 | |
| WO2020140624A1 (zh) | 从日志中提取数据的方法和相关设备 | |
| CN111797320A (zh) | 数据处理方法、装置、设备及存储介质 | |
| CN113722134A (zh) | 一种集群故障处理方法、装置、设备及可读存储介质 | |
| US10291483B2 (en) | Entity embedding-based anomaly detection for heterogeneous categorical events | |
| JP2021184139A (ja) | 管理計算機、管理プログラム、及び管理方法 | |
| Li et al. | An adaptive prognostics method based on a new health index via data fusion and diffusion process | |
| CN111652379B (zh) | 模型管理方法、装置、电子设备及存储介质 | |
| CN112182056A (zh) | 一种数据检测方法、装置、设备及存储介质 | |
| JP2015184818A (ja) | サーバ、モデル適用可否判定方法およびコンピュータプログラム | |
| CN116228312A (zh) | 大额积分兑换行为的处理方法和装置 | |
| CN111737319B (zh) | 用户集群的预测方法、装置、计算机设备和存储介质 | |
| CN114595216A (zh) | 数据校验方法、装置、存储介质及电子设备 | |
| CN114564853B (zh) | 一种基于fmea数据的评价报告的生成方法及电子设备 | |
| JP7425918B1 (ja) | 情報処理装置、情報処理方法及びプログラム | |
| CN114330866B (zh) | 数据处理方法、装置、电子设备及计算机可读存储介质 | |
| CN111651753A (zh) | 用户行为分析系统及方法 | |
| CN113537363B (zh) | 一种异常对象检测方法及装置、电子设备及存储介质 | |
| CN117539948B (zh) | 基于深度神经网络的业务数据检索方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |