CN111708810B - 模型优化推荐方法、装置和计算机存储介质 - Google Patents

Abstract

一种模型优化推荐方法、装置及计算机存储介质，主要包括获取待优化模型的数据样本和待优化模型信息；基于数据样本确定数据样本评估指标；利用数据样本评估指标和待优化模型信息与预设优化规则进行匹配，并输出匹配成功的预设优化规则对应的初次模型优化推荐。借此，本发明可为待优化模型提供准确性较高的模型优化推荐。

Description

模型优化推荐方法、装置和计算机存储介质

技术领域

本发明实施例涉及模型评估技术领域，尤其涉及一种模型优化推荐方法、装置和计算机存储介质。

背景技术

模型优化是模型开发过程中不可或缺的一部分，模型优化推荐可针对模型的待优化细节方向进行有效推荐，以提高模型优化处理效率。

目前，模型优化推荐主要包括基于优化算法的模型优化推荐以及基于内容的智能推荐。

其中，针对优化算法的模型优化推荐需要建构复杂的优化模型，且算法效果的提升程度完全取决于模型的复杂程度及其应用场景，此外还存在着实现难度较大，验证优化算法需要耗费大量的算力和时间成本等问题。

再者，针对基于内容的智能推荐需要收集大量的用户历史操作信息或用户反馈记录来训练模型，使得模型能够根据用户需求完成个性化推荐，然而，这种方法推荐的效果好坏取决于数据量的多寡，若数据量不够充足则容易导致所推荐的模型优化推荐的准确性不高的问题。

发明内容

有鉴于此，本发明实施例所解决的技术问题之一在于提供一种模型优化推荐方法、装置和计算机存储介质，可为模型的优化方向推荐以提高模型优化效率。

根据本发明的第一方面，提供了一种模型优化推荐方法，其包括：获取待优化模型的多个数据样本以及待优化模型信息，其中，所述待优化模型信息用于标识所述待优化模型的构建、训练与测试标准；基于所述数据样本确定数据样本评估指标；以及利用所述数据样本评估指标、所述待优化模型信息与多个预设优化规则中的每一个预设优化规则进行匹配，并输出至少一个匹配成功的所述预设优化规则对应的初次模型优化推荐。

根据本发明的第二方面，提供了一种计算机存储介质，所述计算机存储介质中存储有用于执行第一方面所述的模型优化推荐方法的各所述步骤的指令。

根据本发明的第三方面，提供了一种模型优化推荐装置，其包括：

信息获取模块，获取待优化模型的多个数据样本以及待优化模型信息，其中，所述待优化模型信息用于标识所述待优化模型的构建、训练与测试标准；

信息分析模块，用于基于所述数据样本确定训练样本评估指标；

优化推荐模块，用于利用所述数据样本评估指标、所述待优化模型信息与多个预设优化规则中的每一个预设优化规则进行匹配，并输出至少一个匹配成功的所述预设优化规则对应的初次模型优化推荐。

由以上技术方案可见，本发明实施例提供的模型优化推荐方法、装置及计算机存储介质，通过整合分析待优化模型的多维度信息，以提供准确性较高的模型优化推荐信息。

再者，本发明实施例所输出的初次模型优化推荐是基于待优化模型各自不同的模型类型以及不同的模型配置参数所获得的，因此，可为待优化模型提供更有针对性的模型优化推荐。

另外，本发明实施例还通过学习初次模型优化推荐与待优化模型基于所述初次模型优化推荐执行优化处理后的数据分析能力评估结果之间的内在联系，以输出与待优化模型匹配度更高的二次模型优化推荐，可进一步提升待优化模型的优化处理效率。

附图说明

后文将参照附图以示例性而非限制性的方式详细描述本申请实施例的一些具体实施例。附图中相同的附图标记标示了相同或类似的部件或部分。本领与技术人员应该理解，这些附图未必是按比值绘制的。附图中：

图1示出了本发明第一实施例的模型优化推荐方法的流程示意图；

图2示出了本发明第二实施例的模型优化推荐方法的流程示意图；

图3示出了本发明第三实施例的模型优化推荐方法的流程示意图；

图4示出了本发明第四实施例的模型优化推荐方法的流程示意图；

图5示出了本发明第五实施例的模型优化推荐方法的流程示意图；

图6示出了本发明第六实施例的模型优化推荐方法的流程示意图；

图7A至图7C示出了本发明用于呈现预设优化规则的不同匹配规则表的实施例示意图；

图8示出了本发明第八实施例的模型优化推荐装置的架构示意图。

具体实施方式

为了使本领域的人员更好地理解本发明实施例中的技术方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本发明实施例一部分实施例，而不是全部的实施例。基于本发明实施例中的实施例，本领域普通技术人员所获得的所有其他实施例，都应当属于本发明实施例保护的范围。

目前业界使用的模型优化推荐方法主要存在作业成本较高以及推荐策略的准确性不高的问题。有鉴于此，本发明实施例提供了一种模型优化推荐方法、装置及计算机存储介质，可以解决现有技术中的上述痛点与不足。下面将结合本发明实施例附图进一步说明本发明各实施例的具体实现。

第一实施例

图1示出了本发明第一实施例的模型优化推荐方法的流程示意图。如图1所示，本实施例的模型优化推荐方法主要包括以下步骤：

步骤S11，获取待优化模型的多个数据样本以及待优化模型信息。

可选的，待优化模型为具有数据分析能力的机器学习模型，例如算法模型、预测模型、推荐模型、分析模型等。

于本实施例中，待优化模型可以是具有图像识别能力的算法模型抑或是具有语音识别能力的算法模型，但并不以此为限，待优化模型也可以是具有其他类型的机器学习模型模型，例如，具有语义分析能力和/或情感分析能力的自然语言处理模型(NLP模型)，本发明对此不做限制。

于本实施例中，数据样本包括训练样本、测试样本、验证样本中的至少一个。

具体而言，训练样本是指用于训练待优化模型的数据分析能力的数据样本，测试样本是指用于测试待优化模型的数据分析能力的数据样本，验证样本是指用于评估所述待优化模型的训练完成度的数据样本，其中，验证样本可以是从训练样本中剥离出来的一部分数据。

于本实施例中，训练样本、测试样本、验证样本可以是来自于同一数据样本集中的不同数据样本。

于本实施例中，待优化模型信息用于标识待优化模型的构建、训练与测试标准。

可选的，待优化模型信息包括待优化模型的模型训练框架信息、模型类型和模型版本信息、训练样本的数量和版本信息、测试样本的数量和版本信息、验证样本的数量和版本信息、模型训练参数信息、预处理策略信息、后处理策略信息中的至少一个。

模型训练框架信息用于标识待优化模型的模型训练框架，其包括但不限于tensorflow、caffe、pytorch。

模型类型用于标识模型类别，例如，分类模型(classify)。其中，同一框架的模型在迭代优化过程中可以使用不同的模型版本进行标注，例如ver1.0版本，ver2.0版本。

训练/测试/验证样本的数量和版本信息分别用于标识训练/测试/验证待优化模型的数据分析能力的数据样本的数量和版本，其中，当用于训练/测试/验证待优化模型的数据样本发生变更时，训练/测试/验证样本对应的版本信息亦随之更新，例如由ver1.0版本更新为ver2.0版本。

模型训练参数信息用于标识模型训练过程中的配置参数，例如batch_size，sort_by_yaw，lighter_ae等参数,在模型的训练过程中，这些配置参数需要不断进行调整，以达到最佳的模型训练效果。

预处理策略信息用于标识在待优化模型执行识别之前，针对待识别的数据样本进行的预处理操作，例如，图片压缩操作、清晰度识别过滤操作、音频切割操作等。

后处理策略信息用于标识针对待优化模型生成的识别结果执行的后处理操作，例如汉字转数字操作，图片分类归档操作等。

步骤S12，基于数据样本确定数据样本评估指标。

可选的，可针对数据样本中的训练样本、测试样本分别确定训练样本评估指标、测试样本评估指标。

于一实施例中，待优化模型为具有图像识别能力的算法模型，训练样本评估指标和测试样本评估指标各自包括准确率值、精确率值、召回率值和F1值(F1 Measure)中的至少一个。

于另一实施例中，待优化模型为具有语音识别能力的算法模型，训练样本评估指标和测试样本评估指标各自包括字错率值、词错率值、句错率值中的至少一个。

步骤S13，利用数据样本评估指标、待优化模型信息与多个预设优化规则中的每一个预设优化规则进行匹配，并输出至少一个匹配成功的预设优化规则对应的初次模型优化推荐。

具体而言，可利用训练样本评估指标、测试样本评估指标、待优化模型信息与多个预设优化规则中的每一个预设优化规则进行匹配，并输出匹配成功的预设优化规则对应的初次模型优化推荐。

可选的，可利用初次优化推荐模型执行本发明实施例中的步骤S13，其中，初次优化推荐模型例如为深度学习模型，可将由训练样本评估指标、测试样本评估指标、待优化模型信息所构成的多维度信息作为初次优化推荐模型的输入，以供初次优化推荐模型基于预设优化规则输出初次模型优化推荐。

可选的，可通过索引列表方式呈现各预设优化规则。

如图7A至图7C所示，其分别示出了三种不同实施例的匹配规则表，其中，图7A所示的匹配规则表1为通用类型的匹配规则表，具体而言，匹配规则表1中的各项预设优化规则均与待优化模型的待优化模型信息相关，因此，其适用于各种类型的待优化模型，例如，具有图像识别能力的算法模型、具有语音识别能力的算法模型，或者具有语义分析能力和/或情感分析能力的自然语言处理模型(NLP模型)等；图7B所示匹配规则表2中的各项预设优化规则均与具有图像识别能力的算法模型的各项数据样本评估指标相关联，因此其适用于具有图像识别能力的算法模型；图7C所示匹配规则表3中的各项预设优化规则与具有图像识别能力的算法模型的各项数据样本评估指标相关联，因此，其适用于具有语音识别能力的算法模型。

可选的，同一个预设优化规则可对应一个或多个初次模型优化推荐。

例如，在图7A所示的匹配规则表1中，第1条预设优化规则对应于一个初次模型优化推荐，使用者可根据此初次模型优化推荐执行待优化模型的优化处理。

又如，在图7A所示的匹配规则表1中，第4条预设优化规则对应于两个的初次模型优化推荐(即使用Pythorch或tensorflow中的一个作为模型训练框架)，使用者可从两个初次模型优化推荐中选择一个以执行待优化模型的优化处理。

再如，在图7B所示的匹配规则表2中，第2条预设优化规则对应于两个的初次模型优化推荐(即增加训练样本的数量、调整训练参数)，使用者可按实际需求选择其中的一个抑或是两个以执行待优化模型的优化处理。

还需说明的是，在实际应用中，适用于不同待优化模型的预设优化规则可分别设置于不同的索引规则表中，亦可整合在同一张索引规则表中(也就是将匹配规则表1、2、3整合为一张索引规则表)，视依实际需求而定，本发明对此不作限定。

可选的，预设优化规则可与数据样本评估指标、待优化模型信息中的一个或多个参数值相关联。

例如，匹配规则表1(图7A)中的各项预设优化规则均与数据样本评估指标、待优化模型信息中的一个参数值相关联，匹配规则表2(图7B)中第1条的预设优化规则同时与数据样本评估指标中的三个参数值(准确率值、精确率值以及召回率值)相关联；匹配规则表3(图7C)中的第1条的预设优化规则同时与数据样本评估指标中的两个参数值(字错率值、插入字数)相关联。

可选的，可按照索引列表中的索引次序，利用数据样本评估指标、待优化模型信息与规则匹配表中的各预设优化规则依次进行匹配，直至所有预设优化规则均匹配分析完成，并输出匹配成功的至少一个预设优化规则对应的至少一个模型优化推荐。

以下将以图7A所示的匹配规则表1为例，详细说明利用数据样本评估指标、待优化模型信息与各预设优化规则进行匹配，输出匹配成功的预设优化规则对应的初次模型优化推荐的具体实施手段：

若待优化模型的测试样本的数量小于10时，即与第1条预设优化规则匹配成功，则输出与之对应的模型优化推荐“增加测试样本的数量”；若待优化模型的验证样本的数量小于10时，即与第2条预设优化规则匹配成功，则输出与之对应的模型优化推荐“增加验证样本的数量”；若待优化模型的训练样本或测试样本的数量不大于5，则输出“增加训练样本数量”的模型优化推荐；若待优化模型的若待优化模型的模型训练框架为Theano，即与第4条预设优化规则匹配成功，由于利用Theano的模型训练框架进行分布式训练时存在训练效率低且速度慢的缺点，因此，对应于第4条预设优化规则的模型优化推荐为“建议使用Pytorch、tensorflow作为模型训练框架”；若待优化模型的模型深度(模型训练参数)小于3时，即与第5条预设优化规则匹配成功，则输出“增加模型复杂度”的模型优化推荐。

综上所述，本发明实施例的模型优化推荐方法，根据待优化模型的数据样本和待优化模型信息构成多维度信息，并利用多维度信息与预设优化规则进行匹配，从而得到待优化模型的初次优化推荐信息，不仅可以给出更为细致且准确性更高的模型优化推荐信息，且可有效降低时间成本以及人力成本。

具体而言，本发明实施例所提供的初次模型优化推荐是基于待优化模型的实际配置参数(即待优化模型的数据样本以及待优化模型信息)进行分析后而获得的，因此，本发明实施例可根据待优化模型各自不同的模型类型以及不同的模型配置参数，输出与之相匹配的初次模型优化推荐，从而提供待优化模型执行有针对性的优化处理，借以提高模型的优化处理效率。

第二实施例

图2示出了本发明第二实施例的模型优化推荐方法的流程示意图。于本实施例中，待优化模型为具有图像识别能力的算法模型，本实施例的模型优化推荐方法主要包括以下步骤：

步骤S21，获取待优化模型的多个数据样本以及待优化模型信息。

于本实施例中，待优化模型的数据样本包括训练样本、测试样本、验证样本中的至少一个，其中，针对训练样本、测试样本、验证样本、待优化模型信息的定义与上述第一实施例相同，故不再赘述。

步骤S22，利用待优化模型识别数据样本的图像特征，获得数据样本的识别图像信息。

于本实施例中，利用待优化模型通过识别数据样本中的图像特征，所输出图像识别结果包括正类和负类两大类别。例如，识别照片中的人物是否为举手状态，当待优化模型的识别结果为人物呈举手状态时，则输出的图像识别结果为正类，反之，当待优化模型的识别结果为人物未举手时，则输出的图像识别结果为负类。

步骤S23，根据数据样本的识别图像信息与数据样本的标准图像信息，确定数据样本的准确率值、精确率值、召回率值和F1值(F1 Measure)中的至少一个。

于本实施例中，数据样本的标准图像信息即为数据样本的真实图像信息，其同样包括有正类和负类两大类别，例如，当数据样本中的人物呈举手状态时，则标准图像信息为正类，当数据样本中的人物呈未举手状态时，则标准图像信息为正类，据此，根据数据样本的标准图像信息和识别图像信息，可以得到下列矩阵：

	标准图像信息为正类	标准图像信息为负类
			识别图像信息为正类	TP	FP
识别图像信息为负类	FN	TN

其中，TP+FP+TN+FN＝数据样本的总数。第一个字母表示标准图像信息，第二个字母表示识别图像信息，T表示数据样本中的图像信息为正类，F表示数据样本中的图像信息为负类。

基于上述数据样本的识别图像信息和标准图像信息，可利用下列公式1至公式4，分别计算数据样本的准确率值(accuracy)、精确率值(precision)、召回率值(recall)和F1值(F1 measure)，具体如下：

步骤S24，利用数据样本评估指标、待优化模型信息与多个预设优化规则中的每一个预设优化规则进行匹配，并输出匹配成功的至少一个预设优化规则对应的至少一个模型优化推荐。

以图7B所示的规则匹配表2为例，若待优化模型的数据样本评估指标中的准确率值与精确率值之间的差值大于0.3，同时准确率值与召回率值之间的差值亦大于0.3，则与第1条预设优化规则匹配成功，此状况代表了测试样本的数据分布不均，因此，对应于第1条预设优化规则的模型优化推荐可包括有“增强数据样本的数据分布均匀程度”或“减少数据样本的负类数据样本的数量”；若待优化模型的模型类别为分类模型，且数据样本的精确度值不大于0.5，则与第2条预设优化规则匹配成功，此状况代表需要提高模型识别精度，其所对应的模型优化推荐为包括有增加数据样本中训练样本的数量以及调整训练参数；若第一组数据样本的精确度值与第二组数据样本的精确度值之间的差值大于0.2，则与第3条预设优化规则匹配成功，其代表了待优化模型的鲁棒性较差，因此，对应于第3条预设优化规则的模型优化推荐为“针对效果较差的一组数据样本增加其训练样本的数量”或“调整训练参数”；若数据样本中的验证样本的精确度值与测试样本的精确度值之间的差值不小于0.3，即与第4条预设优化规则匹配成功，则说明模型出现了过拟合的问题，其对应的模型优化推荐可包括有“增加训练样本的数量”、“正则化处理”、“采用dropout”等多种；若数据样本的准确度至大于0.9且F1值小于0.5，则与第5条预设优化规则匹配成功，其对应的模型优化推荐为“增强数据样本中的数据分布的均匀度”。

第三实施例

图3示出了本发明第三实施例的模型优化推荐方法的流程示意图。于本实施例中，待优化模型为具有语音识别能力的算法模型，本实施例的模型优化推荐方法主要包括以下步骤：

步骤S31，获取待优化模型的多个数据样本以及待优化模型信息。

于本实施例中，待优化模型的数据样本包括训练样本、测试样本、验证样本中的至少一个，其中，针对训练样本、测试样本、验证样本、待优化模型信息的定义与上述第一实施例相同，故不再赘述。

步骤S32，利用待优化模型识别数据样本的语音特征，获得数据样本的识别文本信息。

于本实施例中，可利用待优化模型识别数据样本中的语音特征，并将其转换为文本信息予以输出。

步骤S33，根据数据样本的识别文本信息和数据样本的标准文本信息，确定数据样本的字错率值(WER)、词错率值(CER)、句错率值(SER)中的至少一个。

于一实施例中，基于数据样本的识别文本信息和数据样本的标准文本信息，确定数据样本的字错率值(WER)具体包括：将标准文本信息中的字序列与识别文本信息中的字序列进行比对，获得替换字数(substitution)、插入字数(insertion)和删除字数(deletion)，并利用下列公式5计算出数据样本的字错率值：

于另一实施例中，基于数据样本的识别文本信息和数据样本的标准文本信息，确定数据样本的词错率值(CER)具体包括：将标准文本信息中的词序列与识别文本信息中的词序列进行比对，获得替换词数(substitution)、插入词数(insertion)和删除词数(deletion)，并利用下列公式6计算出数据样本的字错率值：

于又一实施例中，基于数据样本的识别文本信息和数据样本的标准文本信息，确定数据样本的句错率值(SER)具体包括：将识别文本信息中的各自然句和标准文本信息中的各自然句进行单独比对，当识别文本信息的某一个自然句中有任意一个字与标准文本信息对应的自然句存在区别，则代表该句的识别结果为错误，识别错误的句子个数除以句子总数即为句错率。于本实施例中，可利用下列公式7计算数据样本的句错率值：

步骤S34，利用数据样本评估指标、待优化模型信息与多个预设优化规则中的每一个进行匹配，并输出匹配成功的至少一个所述预设优化规则对应的至少一个模型优化推荐。

以图7C所示的规则匹配表3为例，若待优化模型的数据样本评估指标中的字错率值不小于0.4，且插入字数大于10％，则与第1条预设优化规则匹配成功，此状况代表切词太少，则对应于第1条预设优化规则的模型优化推荐为“增加切词”；若待优化模型的数据样本评估指标中的字错率值不小于0.4，且删除字数大于10％，则与第2条预设优化规则匹配成功，此状况代表切词太多，则对应于第2条预设优化规则的模型优化推荐为“减少切词”；若待优化模型的数据样本评估指标中的字错率值大于0.7且小于1，或者待优化模型的数据样本评估指标中的词错率值大于0.7且小于1，则与第3条预设优化规则匹配成功，其对应的模型优化推荐为“提高模型识别精度”；若待优化模型的数据样本评估指标中的句错率大于0.5，则与第4条预设优化规则匹配成功，其对应的模型优化推荐为“提高模型识别精度”；若待优化模型的数据样本评估指标中的字错率大于1或句错率值大于1，则与第5条预设优化规则匹配成功，其对应的模型优化推荐例如为“数据样本中的测试样本过少”。

综上所述，通过本发明实施例二和实施例三，可针对具有不同数据分析能力的待优化模型设定不同的数据样本评估指标，借以提高不同类型模型的模型优化推荐方案的准确性。

第四实施例

图4示出了本发明第四实施例的模型优化推荐方法的流程示意图。

如图所示，本实施例的模型优化推荐方法在执行完上述第一实施例的步骤S13之后，还包括以下步骤：

步骤S14，利用训练好的二次优化推荐模型对所述初次模型优化推荐进行筛选，输出二次模型优化推荐。

于本实施例中，可通过将初次模型优化推荐作为二次优化推荐模型的输入，并将基于初次模型优化推荐执行优化处理后的待优化模型的数据分析能力评估结果作为二次优化推荐模型的输出，以训练二次优化推荐模型。

具体而言，二次优化推荐模型通过学习初次模型优化推荐与基于所述初次模型优化推荐执行优化处理后的待优化模型的数据分析能力评估结果之间的内在联系，以分析初次模型优化推荐与待优化模型之间的匹配程度，亦即，有哪些初次模型优化推荐对于待优化模型的数据分析能力的优化提升是有效的，又有哪些初次模型优化推荐对于待优化模型的数据分析能力的优化提升效果不佳，并据以针对初次模型优化推荐进行进一步的筛选处理，所输出的二次模型优化推荐与待优化模型之间的匹配度更高，可以进一步提升待优化模型的优化处理效率。

第五实施例

图5示出了本发明第五实施例的模型优化推荐方法的流程示意图。

于本实施例中，上述第四实施例中基于所述初次模型优化推荐执行优化处理后的所述待优化模型的数据分析能力评估结果的获取步骤如下：

步骤S51，将数据样本输入基于初次模型优化推荐执行优化处理后的待优化模型中进行数据分析，获得数据样本的数据分析结果。

本实施例中，所使用的数据样本与上述第一实施例所使用的数据样本可以是来自于同一个数据样本集或不同的数据样本集，本发明对此不作限制。

步骤S52，根据数据样本的标准数据信息，判断数据分析结果的准确性，据以获得基于初次模型优化推荐执行优化处理后的待优化模型的数据分析能力评估结果。

具体而言，数据样本的标准数据信息即为数据样本的真实数据信息，利用数据样本的标准数据信息来判断待优化模型输出的数据分析结果是否正确，所获得的数据分析能力评估结果可用于评估完成更新后的待优化模型的数据分析能力是否得到了进一步的优化提升以及数据分析能力的提升幅度大小。

于另一实施例中，本发明实施例的模型优化推荐方法还可包括基于步骤S52所获得的待优化模型的所述数据分析能力评估结果，更新预设优化规则。

综上所述，本发明实施例提供的模型优化推荐方法，根据待优化模型优化后的数据分析能力评估结果，迭代更新预设优化规则，可以不断提高模型优化推荐的准确性。

第六实施例

图6示出了本发明第六实施例的模型优化推荐方法的流程示意图。本实施例的模型优化推荐方法包括以下步骤：

步骤S61，获取待优化模型的多个数据样本以及待优化模型信息，并获取至少一个参考模型对应的至少一个参考模型信息。

于本实施例中，参考模型与待优化模型具有相同的数据分析能力，参考模型信息用于标识参考模型的构建、训练和测试标准。

可选的，参考模型信息包括模型训练框架信息、模型类型和模型版本信息、训练样本的数量和版本信息、测试样本的数量和版本信息、模型训练参数信息、预处理策略信息、后处理策略信息中的至少一个。

其中，针对参考模型的模型训练框架信息、模型类型和模型版本信息、训练样本的数量和版本信息、测试样本的数量和版本信息、模型训练参数信息、预处理策略信息、后处理策略信息的定义，均与上述第一实施例中待优化模型的相关信息的定义相同，故不再予以赘述。

步骤S62，基于待优化模型的数据样本，确定数据样本评估指标。

步骤S63，利用数据样本评估指标、待优化模型信息、参考模型信息与预设优化规则进行匹配，确定匹配成功的至少一个预设优化规则，并输出匹配成功的至少一个预设优化规则对应的至少一个模型优化推荐。

借由本发明实施例，通过进一步引入与待优化模型具有相同数据分析能力的至少一个参考模型的参考模型信息作为参考评估数据，可以进一步提高模型优化推荐信息的准确性。

第七实施例

本发明的第七实施例提供了一种计算机存储介质，于计算机存储介质中存储有用于执行上述第一至第六实施例中的模型优化推荐方法的各步骤的指令。

第八实施例

图8示出了本发明第八实施例的模型优化推荐装置的主要架构，如图所示，本发明实施例提供的模型优化推荐装置800主要包括：信息获取模型810、信息分析模块820、优化推荐模块830。

信息获取模块810获取待优化模型的多个数据样本以及待优化模型信息，其中，所述待优化模型信息用于标识所述待优化模型的构建、训练与测试标准。

可选的，所述待优化模型的数据样本包括训练样本、验证样本、测试样本中的至少一个，其中，所述训练样本用于训练所述待优化模型的数据分析能力，所述测试样本用于测试所述待优化模型的所述数据分析能力，所述验证样本用于验证所述待优化模型的训练完成度。

可选的，所述待优化模型信息包括所述待优化模型的模型训练框架信息、模型类型和模型版本信息、训练样本的数量和版本信息、测试样本的数量和版本信息、验证样本的数量和版本信息、模型训练参数信息、预处理策略信息、后处理策略信息中的至少一个。

信息分析模块820用于基于所述数据样本确定训练样本评估指标。

可选的，所述待优化模型为具有图像识别能力的算法模型，所述信息分析模块820还用于利用所述待优化模型识别所述数据样本的图像特征，获得所述数据样本的识别图像信息；根据所述数据样本的所述识别图像信息与所述数据样本的标准图像信息，确定所述数据样本的准确率值、精确率值、召回率值、F1值中的至少一个。

可选的，所述待优化模型为具有语音识别能力的算法模型，所述信息分析模块820还用于利用所述待优化模型识别所述数据样本的语音特征，获得所述数据样本的识别文本信息；根据所述数据样本的所述识别文本信息和所述数据样本的标准文本信息，确定所述数据样本的字错率值、词错率值、句错率值中的至少一个。

优化推荐模块830用于利用所述数据样本评估指标、所述待优化模型信息与多个预设优化规则中的每一个预设优化规则进行匹配，并输出至少一个匹配成功的所述预设优化规则对应的初次模型优化推荐。

可选的，优化推荐模块830还用于利用训练好的二次优化推荐模型对所述初次模型优化推荐进行筛选，输出二次模型优化推荐，其中，所述二次优化推荐模型通过将所述初次模型优化推荐作为输入，并将基于所述初次模型优化推荐执行优化处理后的所述待优化模型的数据分析能力评估结果作为输出以进行训练。

可选的，优化推荐模块830还用于基于所述待优化模型的所述数据分析能力评估结果，更新所述预设优化规则。

可选的，信息获取模块810还用于获取至少一个参考模型对应的至少一个参考模型信息，其中，所述参考模型与所述待优化模型具有相同的数据分析能力，所述参考模型信息用于标识所述参考模型的构建、训练和测试标准；优化推荐模块830还用于利用所述待优化模型的数据样本评估指标、所述待优化模型信息、所述参考模型信息与各所述预设优化规则进行匹配，并输出匹配成功的至少一个所述预设优化规则对应的至少一个所述初次模型优化推荐。

此外，本发明各实施例的模型优化推荐装置800还可用于实现前述各模型优化推荐方法实施例中的其他步骤，并具有相应的方法步骤实施例的有益效果，在此不再赘述。

综上所述，本发明实施例提供的模型优化推荐方法、装置及计算机存储介质可采集待优化模型的数据样本及待优化模型信息，通过整合多维度信息并与预设优化规则进行匹配，可以获得准确度较高且更为细致的优化推荐策略，借以提高模型优化效率。

再者，本发明实施例提供的模型优化推荐方法、装置及计算机存储介质适用于各种类型的机器学习模型，且本发明实施例所提供的初次模型优化推荐是基于待优化模型的实际参数信息所获得的，所提供的二次模型优化推荐则是通过学习待优化模型的历史优化处理结果而获得的，不仅具有较强的针对性可与待优化模型的匹配度也较高，可进一步提升模型优化处理的效率。

需要指出，根据实施的需要，可将本发明实施例中描述的各个部件/步骤拆分为更多部件/步骤，也可将两个或多个部件/步骤或者部件/步骤的部分操作组合成新的部件/步骤，以实现本发明实施例的目的。

上述根据本发明实施例的方法可在硬件、固件中实现，或者被实现为可存储在记录介质(诸如CD ROM、RAM、软盘、硬盘或磁光盘)中的软件或计算机代码，或者被实现通过网络下载的原始存储在远程记录介质或非暂时机器可读介质中并将被存储在本地记录介质中的计算机代码，从而在此描述的方法可被存储在使用通用计算机、专用处理器或者可编程或专用硬件(诸如ASIC或FPGA)的记录介质上的这样的软件处理。可以理解，计算机、处理器、微处理器控制器或可编程硬件包括可存储或接收软件或计算机代码的存储组件(例如，RAM、ROM、闪存等)，当所述软件或计算机代码被计算机、处理器或硬件访问且执行时，实现在此描述的模型优化推荐方法。此外，当通用计算机访问用于实现在此示出的模型优化推荐方法的代码时，代码的执行将通用计算机转换为用于执行在此示出的模型优化推荐方法的专用计算机。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及方法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明实施例的范围。

以上实施方式仅用于说明本发明实施例，而并非对本发明实施例的限制，有关技术领域的普通技术人员，在不脱离本发明实施例的精神和范围的情况下，还可以做出各种变化和变型，因此所有等同的技术方案也属于本发明实施例的范畴，本发明实施例的专利保护范围应由权利要求限定。

Claims (10)

1.一种模型优化推荐方法，其特征在于，所述方法包括：

获取待优化模型的多个数据样本以及待优化模型信息，所述待优化模型信息用于标识所述待优化模型的构建、训练和测试标准；

基于所述数据样本确定数据样本评估指标；

利用所述数据样本评估指标、所述待优化模型信息与多个预设优化规则中的每一个预设优化规则进行匹配，并输出至少一个匹配成功的所述预设优化规则对应的初次模型优化推荐；

其中，所述方法还包括：

利用训练好的二次优化推荐模型对所述初次模型优化推荐进行筛选，输出二次模型优化推荐，其中，可通过将所述初次模型优化推荐作为所述二次优化推荐模型的输入，并将基于所述初次模型优化推荐执行优化处理后的所述待优化模型的数据分析能力评估结果作为所述二次优化推荐模型的输出，以训练所述二次优化推荐模型；

基于所述待优化模型的所述数据分析能力评估结果，更新所述预设优化规则。

2.根据权利要求1所述的模型优化推荐方法，其特征在于，所述待优化模型的数据样本包括训练样本、验证样本、测试样本中的至少一个，其中，所述训练样本用于训练所述待优化模型的数据分析能力，所述测试样本用于测试所述待优化模型的所述数据分析能力，所述验证样本用于验证所述待优化模型的训练完成度。

3.根据权利要求1所述的模型优化推荐方法，其特征在于，所述待优化模型为具有图像识别能力的算法模型，且其中，

所述基于所述数据样本确定数据样本评估指标包括：

利用所述待优化模型识别所述数据样本的图像特征，获得所述数据样本的识别图像信息；

根据所述数据样本的所述识别图像信息与所述数据样本的标准图像信息，确定所述数据样本的准确率值、精确率值、召回率值、F1值中的至少一个。

4.根据权利要求1所述的模型优化推荐方法，其特征在于，所述待优化模型为具有语音识别能力的算法模型，且其中，

所述基于所述数据样本确定数据样本评估指标包括：

利用所述待优化模型识别所述数据样本的语音特征，获得所述数据样本的识别文本信息；

根据所述数据样本的所述识别文本信息和所述数据样本的标准文本信息，确定所述数据样本的字错率值、词错率值、句错率值中的至少一个。

5.根据权利要求1所述的模型优化推荐方法，其特征在于，所述待优化模型信息包括所述待优化模型的模型训练框架信息、模型类型和模型版本信息、训练样本的数量和版本信息、测试样本的数量和版本信息、验证样本的数量和版本信息、模型训练参数信息、预处理策略信息、后处理策略信息中的至少一个。

6.根据权利要求1所述的模型优化推荐方法，其特征在于，所述方法还包括：

将所述数据样本输入基于所述初次模型优化推荐执行优化处理后的所述待优化模型中进行数据分析，获得所述数据样本的数据分析结果；以及

根据所述数据样本的标准数据信息，判断所述数据分析结果的准确性，据以获得基于所述初次模型优化推荐执行优化处理后的所述待优化模型的所述数据分析能力评估结果。

7.根据权利要求1所述的模型优化推荐方法，其特征在于，所述方法还包括：

获取至少一个参考模型对应的至少一个参考模型信息，其中，所述参考模型与所述待优化模型具有相同的数据分析能力，所述参考模型信息用于标识所述参考模型的构建、训练和测试标准；以及

利用所述待优化模型的数据样本评估指标、所述待优化模型信息、所述参考模型信息与各所述预设优化规则进行匹配，并输出匹配成功的至少一个所述预设优化规则对应的至少一个所述初次模型优化推荐。

8.根据权利要求7所述的模型优化推荐方法，其特征在于，所述参考模型信息至少包括所述参考模型的模型训练框架信息、模型类型和模型版本信息、训练样本的数量和版本信息、测试样本的数量和版本信息、模型训练参数信息、预处理策略信息、后处理策略信息中的至少一个。

9.一种计算机存储介质，其特征在于，所述计算机存储介质中存储有用于执行根据权利要求1-8中任一项所述的模型优化推荐方法的各所述步骤的指令。

10.一种模型优化推荐装置，其特征在于，所述装置包括：

信息获取模块，获取待优化模型的多个数据样本以及待优化模型信息，其中，所述待优化模型信息用于标识所述待优化模型的构建、训练与测试标准；

信息分析模块，用于基于所述数据样本确定训练样本评估指标；

优化推荐模块，用于利用所述数据样本评估指标、所述待优化模型信息与多个预设优化规则中的每一个预设优化规则进行匹配，并输出至少一个匹配成功的所述预设优化规则对应的初次模型优化推荐；

所述优化推荐模块还用于利用训练好的二次优化推荐模型对所述初次模型优化推荐进行筛选，输出二次模型优化推荐，其中，所述二次优化推荐模型通过将所述初次模型优化推荐作为输入，并将基于所述初次模型优化推荐执行优化处理后的所述待优化模型的数据分析能力评估结果作为输出以进行训练；

所述优化推荐模块还用于基于所述待优化模型的所述数据分析能力评估结果，更新所述预设优化规则。

Images