CN114331238B

CN114331238B - 智能模型算法优选方法、系统、存储介质及计算机设备

Info

Publication number: CN114331238B
Application number: CN202210261705.3A
Authority: CN
Inventors: 贾帅楠
Original assignee: Beijing Aerospace Chenxin Technology Co ltd
Current assignee: Beijing Aerospace Chenxin Technology Co ltd
Priority date: 2022-03-17
Filing date: 2022-03-17
Publication date: 2022-07-08
Anticipated expiration: 2042-03-17
Also published as: CN114331238A

Abstract

本发明公开了一种智能模型算法优选方法、系统、存储介质及计算机设备，该方法包括：获取待评估模型算法，并在预设数据库中查找与所述待评估模型算法对应的对比模型算法；采集训练数据集，并通过所述训练数据集分别对所述待评估模型算法和所述对比模型算法进行训练；分别获取训练后的所述待评估模型算法的预设指标参数、训练后的所述对比模型算法的预设指标参数；根据所述预设指标参数从所述待评估模型算法与所述对比模型算法中确定优选模型算法。本发明实现了对用户自研或开源智能算法的快速综合评估。

Description

智能模型算法优选方法、系统、存储介质及计算机设备

技术领域

本发明涉及数据分析技术领域，特别涉及一种智能模型算法优选方法、系统、存储介质及设备。

背景技术

智能算法是指在工程实践领域中新颖的算法或理论，其中一般指处理最优化问题的元启发算法，因为智能算法的便利性，被广泛应用于生活的方方面面。

由于不同应用场景下的AI算法层出不穷，且不同算法的优势特点不同，例如有些算法精度高、有些算法准确性好、有些算法可靠性强等，在实际场景中应用开源或自研智能算法前，会优选评估综合能力强的智能模型算法，最简单的方法就是找每个指标都较好的模型算法，但实际中很难训练出这样的模型，因此需要对算法的性能进行综合预评估以优选出最符合应用需求的智能算法。

现有技术中，主要通过如下方式进行优选评估，一是查找典型测试用例的公开评估数据，通过数据对比实现算法优选；二是针对自己需要评估的指标，重新复现论文里或者网络上公开的算法，在实际应用场景的训练和测试集上，分别完成算法的训练和测试，得到评估结果。前者主要依靠公开的评估数据进行对比，公开数据通常是单一评估指标的数据结果，或是两指标结合的数据结果，没有针对算法应用的实际需求进行综合评估，而且该方式不稳定，当自己需要的评估指标没有其他人做过测试时，即需要跳转到后者，而后者依靠自己或他人复现智能算法时，往往非常耗费时间和精力，严重影响智能算法的研发效率。因此，在实际应用中亟需一种能够快速综合评估自研或开源智能算法的方法。

发明内容

有鉴于此，本发明的目的在于提供一种智能模型算法优选方法、系统、存储介质及计算机设备，旨在解决现有技术中不能对自研或开源智能算法的快速综合评估的问题。

本发明是这样实现的：一种智能模型算法优选方法，所述方法包括：

获取待评估模型算法，并在预设数据库中查找与所述待评估模型算法对应的对比模型算法；

采集训练数据集，并通过所述训练数据集分别对所述待评估模型算法和所述对比模型算法进行训练；

分别获取训练后的所述待评估模型算法的预设指标参数、训练后的所述对比模型算法的预设指标参数；

根据所述预设指标参数从所述待评估模型算法与所述对比模型算法中确定优选模型算法。

进一步的，上述智能模型算法优选方法，其中，所述根据所述预设指标参数从所述待评估模型算法与所述对比模型算法中确定优选模型算法的步骤包括：

获取所述预设指标的评判标准，确定接近于所述预设指标的评判标准的目标预设指标参数，并将所述目标预设指标参数对应的模型算法确定为优选模型算法。

进一步的，上述智能模型算法优选方法，其中，所述预设指标包括准确率、精确率、召回率、特效度、计算速度、交并比和损失函数，所述根据所述预设指标参数从所述待评估模型算法与所述对比模型算法中确定优选模型算法的步骤包括：

分别获取所述待评估模型算法中各所述预设指标之间的平均相似度、所述对比模型算法中各所述预设指标之间的平均相似度；

计算所述待评估模型算法的平均相似度于所述对比模型算法的平均相似度的差值，将所述平均相似度较高的模型算法确定为优选模型算法。

进一步的，上述智能模型算法优选方法，其中，所述根据所述预设指标参数从所述待评估模型算法与所述对比模型算法中确定优选模型算法的步骤之后还包括：

根据所述平均相似度确定模型算法的多样性量度指标，通过所述多样性量度指标确定所述优选模型算法；

所述多样性量度指标的计算公式为：

；

其中，

是模型算法的各预设指标，Q为平均相似度，

是每个单项指标

的权重系数，

=1。

当判断到所述待评估模型算法为优选模型算法时，将所述待评估模型算法存储至所述预设数据库中以对所述预设数据库进行更新。

进一步的，上述智能模型算法优选方法，其中，所述采集训练数据集，并通过所述训练数据集分别对所述待评估模型算法和所述对比模型算法进行训练的步骤中，设置训练参数后分别对所述待评估模型算法和所述对比模型算法进行训练。

根据所述训练参数与所述训练参数对应的评估结果生成评估记录表。

本发明的另一个目的在于提供一种智能模型算法优选系统，所述系统包括：

第一获取模块，用于获取待评估模型算法，并在预设数据库中查找与所述待评估模型算法对应的对比模型算法；

采集模块，用于采集训练数据集，并通过所述训练数据集分别对所述待评估模型算法和所述对比模型算法进行训练；

第二获取模块，用于分别获取训练后的所述待评估模型算法的预设指标参数、训练后的所述对比模型算法的预设指标参数；

确定模块，用于根据所述预设指标参数从所述待评估模型算法与所述对比模型算法中确定优选模型算法

本发明的另一个目的是提供一种存储介质，其上存储有计算机程序，所述程序被处理器执行时实现上述的方法的步骤。

本发明的另一个目的是提供一种计算机设备，包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述的方法的步骤。

本发明通过建立不同模型算法的数据库，并将该数据库中的模型算法作为用户评估需要待评估模型算法的对比算法，在进行算法评估时，可以利用用户提供的实际场景的训练数据集分别对需要评估的模型算法和对比算法进行训练，再根据训练后的指标判断出优选的模型算法，能对用户自研或开源智能算法进行快速的评估。解决了现有技术中的不能对自研或开源模型算法进行快速评估的问题。

附图说明

图1为本发明第一实施例提供的智能模型算法优选方法的流程图；

图2为本发明第二实施例提供的智能模型算法优选方法的流程图；

图3为本发明第三实施例提供的智能模型算法优选方法的流程图；

图4为本发明第四实施例提供的智能模型算法优选系统的结构框图。

如下具体实施方式将结合上述附图进一步说明本发明。

具体实施方式

为了便于理解本发明，下面将参照相关附图对本发明进行更全面的描述。附图中给出了本发明的若干实施例。但是，本发明可以以许多不同的形式来实现，并不限于本文所描述的实施例。相反地，提供这些实施例的目的是使对本发明的公开内容更加透彻全面。

需要说明的是，当元件被称为“固设于”另一个元件，它可以直接在另一个元件上或者也可以存在居中的元件。当一个元件被认为是“连接”另一个元件，它可以是直接连接到另一个元件或者可能同时存在居中元件。本文所使用的术语“垂直的”、“水平的”、“左”、“右”以及类似的表述只是为了说明的目的。

除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本文中在本发明的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本发明。本文所使用的术语“及／或”包括一个或多个相关的所列项目的任意的和所有的组合。

以下将结合具体实施例和附图来详细说明如何实现快速综合评估自研或开源智能算法的方法。

实施例一

请参阅图1，所示为本发明第一实施例中的智能模型算法优选方法，所述方法包括步骤S10~S13。

步骤S10，获取待评估模型算法，并在预设数据库中查找与所述待评估模型算法对应的对比模型算法。

具体的，待评估模型算法为需要进行优选判断的模型算法，在具体实施时，根据实际的业务场景需求，待评估模型算法可以在预设数据库中进行查找选用，也可以通过用户自行上传进行获取，其中，预设数据库为针对实际中能运用到的各个场景事先存储的具有代表性的模型算法，即测试基准模型算法，例如，在本实施例当中，预设数据库存储有六大场景，存储有27个模型算法，包括人脸检测与识别（4个模型）、影像目标检测与跟踪（7个模型）、影像目标识别与分类（5个模型）、语义理解（6个模型）、语音识别（1个模型）和底层视觉计算（4个模型）；对比模型算法为对待评估模型算法进行对照评估的算法，一般存储至预设数据库中，且与待评估模型算法的运用场景对应。

另外，在本发明一些可选的实施例当中，预设数据库中的模型算法按照模型性能进行分类排序，为了提升模型算法评估的准确性，选择对比模型算法时可以参考预设数据库中的模型算法的排序进行选择，尽量选择模型性能更优的模型算法进行对比。

步骤S11，采集训练数据集，并通过所述训练数据集分别对所述待评估模型算法和所述对比模型算法进行训练。

其中，训练数据集为用户根据实际业务需求中用到的数据集，可以通过用户上传获取，也可以在预设数据库中进行获取。通过数据集对待评估模型算法和对比模型算法进行训练以获取两个算法训练后的评估指标。

步骤S12，分别获取训练后的所述待评估模型算法的预设指标参数、训练后的所述对比模型算法的预设指标参数。

具体的，在通过训练数据集对模型算法训练好后，可以获取模型算法的指标，为了评估模型算法的性能以及选出符合用户性能需求的模型算法，分别获取待评估模型算法以及对比模型算法的预设指标参数，具体的，预设指标为用户需要了解的模型性能指标，通过预设指标参数可以确定模型性能的优劣，在具体实施时，预设指标为可以为损失函数的损失值、训练时长、精度、准确度以及召回率等。

步骤S13，根据所述预设指标参数从所述待评估模型算法与所述对比模型算法中确定优选模型算法。

其中，根据预设指标参数的大小可以从待评估模型算法与对比模型算法中挑选出符合用户性能需求的优选模型算法，例如，当待评估模型算法的预设参数更优时，则针对当前的业务场景，待评估模型算法性能更优，而当对比模型算法的预设参数更优时，则针对当前的业务场景，预设数据库中的对比模型算法性能更优。

具体的，获取所述预设指标的评判标准，确定接近于所述预设指标的评判标准的目标预设指标参数，并将所述目标预设指标参数对应的模型算法确定为优选模型算法，例如，当预设指标为训练时长时，当训练时长越短，则该模型算法越优。

综上，本发明上述实施例中的智能模型算法优选方法，通过建立不同模型算法的数据库，并将该数据库中的模型算法作为用户评估需要待评估模型算法的对比算法，在进行算法评估时，可以利用用户提供的实际场景的训练数据集分别对需要评估的模型算法和对比算法进行训练，在根据训练后的指标判断出优选的模型算法，能对用户自研或开源智能算法进行快速的评估。解决了现有技术中的不能对自研或开源模型算法进行快速评估的问题。

实施例二

请参阅图2，所示为本发明第二实施例中的智能模型算法优选方法，所述方法包括步骤S20~S24。

步骤S20，获取待评估模型算法，并在预设数据库中查找与所述待评估模型算法对应的对比模型算法。

步骤S21，采集训练数据集，并通过所述训练数据集分别对所述待评估模型算法和所述对比模型算法进行训练。

步骤S22，分别获取训练后的所述待评估模型算法的预设指标参数、训练后的所述对比模型算法的预设指标参数。

步骤S23，分别获取所述待评估模型算法中各所述预设指标之间的平均相似度、所述对比模型算法中各所述预设指标之间的平均相似度。

其中，所述预设指标包括准确率、精确率、召回率、特效度、计算速度、交并比和损失函数。

具体的，为了便于理解本发明，先假设本发明中模型算法的预测目标只有两类，记为正例（positive）和负例（negtive）分别是：

1）True positive（TP）：被正确地划分为正例的个数，即实际为正例且被预测为正例的实例数；

2）False positive（FP）：被错误地划分为正例的个数，即实际为负例但被预测为正例的实例数；

3）False positives（FN）：被错误地划分为负例的个数，即实际为正例但被预测为负例的实例数；

4）True negatives（TN）：被正确地划分为负例的个数，即实际为负例且被预测为负例的实例数。

对应的，各指标的计算方法为：准确率（Accuracy），即正确预测的正样本数和负样本数占总样本数的比例：

。

精确率（Precision），即预测结果为正确的所有样本中，实际也为正确样本的比例：

。

召回率（Recall），也称灵敏度（sensitive），即所有正例中被预测对的比例：

。

特效度（specificity），即所有负例中被预测对的比例：

。

计算速度（Time），即深度学习算法对给定数据进行训练或预测并获得结果所需的时间：

Time训练（t训练）=实际训练时间，Time测试（t测试）=实际测试时间。

交并比（IoU），即预测样本与实际样本相交面积与合并面积的比值：

。

损失函数（Loss function），即用来估量训练模型的预测值与真实值不一致的程度，它是一个非负实值函数，该值是在模型的训练过程中实时产生的，值越小，代表模型的鲁棒性越好。

Fb socre，即准确率和召回率的调和平均：

。

当参数α=1时，即为最常见的F1，当F1较高时则能说明试验方法比较有效。

受试者工作特征曲线ROC，又称感受性曲线，即用构图法揭示灵敏度和特效度连续变量的综合指标，构图是以敏感性为纵坐标，（1-特异度）为横坐标绘制成曲线。AUC的值是处于ROC曲线下方那部分面积的大小，通常AUC的值介于0.5-1.0之间，AUC越大，预测准确性高。

步骤S24，计算所述待评估模型算法的平均相似度于所述对比模型算法的平均相似度的差值，将所述平均相似度较高的模型算法确定为优选模型算法。

更具体的，通过计算模型算法中各单项指标的平均相似度，平均相似度值越大，说明各指标间相似度越高，多样性程度越低，模型的能力水平越平均、稳定。

另外，在本发明一些可选的实施例当中，为了多维度的考虑模型算法的性能好坏，所述根据所述预设指标参数从所述待评估模型算法与所述对比模型算法中确定优选模型算法的步骤之后还包括：

根据所述平均相似度确定模型算法的多样性量度指标，通过所述多样性量度指标确定所述优选模型算法。

其中，多样性量度（diversity measure），即综合准确率、精确率、召回率、特效度、计算速度、交并比和损失函数7个单项指标之后的多维综合指标，具体的，多样性量度的计算公式为：

；

其中，

是模型算法的各预设指标，Q为平均相似度，

是每个单项指标

的权重系数，

=1。

可以理解的，引入多样性量度技术，建立多样性量度综合指标，该指标在考虑模型综合水平的同时，针对用户实际应用需求，可自适应调整各指标的占比权重，得到更为贴近用户需求的智能优选模型算法。

综上，本发明上述实施例中的智能模型算法优选方法，通过建立不同模型算法的数据库，并将该数据库中的模型算法作为用户评估需要待评估模型算法的对比算法，在进行算法评估时，可以利用用户提供的实际场景的训练数据集分别对需要评估的模型算法和对比算法进行训练，在根据训练后的指标判断出优选的模型算法，能对用户自研或开源智能算法进行快速的评估，并建立多样性量度综合指标进行优选评估，解决了现有技术中不能快速的对用户自研或开源智能算法进行评估的同时更为贴近用户需求的智能优选模型算法。

实施例三

请参阅图3，所示为本发明第三实施例中提出的智能模型算法优选方法，所述方法包括步骤S30~S35。

步骤S30，获取待评估模型算法，并在预设数据库中查找与所述待评估模型算法对应的对比模型算法。

步骤S31，采集训练数据集，并通过所述训练数据集分别对所述待评估模型算法和所述对比模型算法进行训练。

具体的，设置训练参数后分别对所述待评估模型算法和所述对比模型算法进行训练，其中，训练参数包括但不限于学习率、batch Size、epochs、训练步长和训练样本数量。

步骤S32，分别获取训练后的所述待评估模型算法的预设指标参数、训练后的所述对比模型算法的预设指标参数。

步骤S33，根据所述预设指标参数从所述待评估模型算法与所述对比模型算法中确定优选模型算法。

步骤S34，当判断到所述待评估模型算法为优选模型算法时，将所述待评估模型算法存储至所述预设数据库中以对所述预设数据库进行更新。

具体的，若用户自研的模型算法评估分值较优，则将该模型算法对应加入到预设数据库中，以更新数据库。

步骤S35，根据所述训练参数与所述训练参数对应的评估结果生成评估记录表。

其中，根据训练参数和对应的评估结果生成评估记录表，用户可以对生成的评估记录进行搜索、查询。该记录可为用户调整训练参数、重新训练模型算法提供依据。当用户认为本次待测模型测试效果不好，可调整训练参数重新训练模型算法，直到训练得到用户满意的优选算法为止。

综上，本发明上述实施例当中的智能模型算法优选方法，通过建立不同模型算法的数据库，并将该数据库中的模型算法作为用户评估需要待评估模型算法的对比算法，在进行算法评估时，可以利用用户提供的实际场景的训练数据集分别对需要评估的模型算法和对比算法进行训练，在根据训练后的指标判断出优选的模型算法，能对用户自研或开源智能算法进行快速的评估，并在用户自研的模型算法评估分值较优时，则将该模型算法对应加入到预设数据库中，以更新数据库。解决了现有技术中不能快速的对用户自研或开源智能算法进行评估的同时可以对数据库进行更新。

实施例四

请参阅图4，所示为本发明第四实施例中提出的智能模型算法优选系统，所述系统包括：

第一获取模块100，用于获取待评估模型算法，并在预设数据库中查找与所述待评估模型算法对应的对比模型算法；

采集模块200，用于采集训练数据集，并通过所述训练数据集分别对所述待评估模型算法和所述对比模型算法进行训练；

第二获取模块300，用于分别获取训练后的所述待评估模型算法的预设指标参数、训练后的所述对比模型算法的预设指标参数；

确定模块400，用于根据所述预设指标参数从所述待评估模型算法与所述对比模型算法中确定优选模型算法

进一步的，在本发明一些可选的实施例当中，其中，所述确定模块包括：

第一获取单元，用于获取所述预设指标的评判标准，确定接近于所述预设指标的评判标准的目标预设指标参数，并将所述目标预设指标参数对应的模型算法确定为优选模型算法

进一步的，在本发明一些可选的实施例当中，其中，所述确定模块还包括：

第二获取单元，分别获取所述待评估模型算法中各所述预设指标之间的平均相似度、所述对比模型算法中各所述预设指标之间的平均相似度；

计算单元，用于计算所述待评估模型算法的平均相似度于所述对比模型算法的平均相似度的差值，将所述平均相似度较高的模型算法确定为优选模型算法。

进一步的，上述智能模型算法优选系统，其中，所述系统还包括：

指标确定模块，用于根据所述平均相似度确定模型算法的多样性量度指标，通过所述多样性量度指标确定所述优选模型算法；

所述多样性量度指标的计算公式为：

；

其中，

是模型算法的各预设指标，Q为平均相似度，

是每个单项指标

的权重系数，

=1。

更新模块，用于当判断到所述待评估模型算法为优选模型算法时，将所述待评估模型算法存储至所述预设数据库中以对所述预设数据库进行更新。

进一步的，在本发明一些可选的实施例当中，所述采集模块中，设置训练参数后分别对所述待评估模型算法和所述对比模型算法进行训练。

进一步的，上述智能模型算法优选系统，所述系统还包括：

生成模块，用于根据所述训练参数与所述训练参数对应的评估结果生成评估记录表。

上述各模块被执行时所实现的功能或操作步骤与上述方法实施例大体相同，在此不再赘述。

实施例五

本发明另一方面还提供一种可读存储介质，其上存储有计算机程序，所述程序被处理器执行时实现上述实施例一至三中任意一个所述的方法的步骤。

实施例六

本发明另一方面还提供一种计算机设备，所述计算机设备包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述实施例一至三中任意一个所述的方法的步骤。

以上各个实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

本领域技术人员可以理解，在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备（如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统）使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，“计算机可读介质”可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。

计算机可读存储介质的更具体的示例（非穷尽性列表）包括以下：具有一个或多个布线的电连接部（电子装置），便携式计算机盘盒（磁装置），随机存取存储器（RAM），只读存储器（ROM），可擦除可编辑只读存储器（EPROM或闪速存储器），光纤装置，以及便携式光盘只读存储器（CDROM）。另外，计算机可读存储介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。

应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或它们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列（PGA），现场可编程门阵列（FPGA）等。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。

以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。