CN114266352B - 模型训练结果优化方法、装置、存储介质及设备 - Google Patents

Abstract

本公开的实施例公开了一种模型训练结果优化方法、装置、存储介质及设备，本公开的实施例提供的模型训练结果优化方法，通过若待优化模型针对待处理数据集的第一输出准确率小于预设准确率阈值，则将待处理数据集添加至历史样本数据集，根据更新后的历史样本数据集训练待优化模型；若更新后的待优化模型针对检测数据集的第二输出准确率大于第一输出准确率，则将更新后的待优化模型作为优化后的模型。通过将第一输出准确率小于预设准确率阈值时对应的待处理数据集作为具有代表性的数据，以根据待处理数据集不断对样本数据进行更新优化，得到更丰富的样本数据，进而通过更丰富的样本数据训练待优化模型，使得到的优化后的模型具有更高的准确率。

Description

模型训练结果优化方法、装置、存储介质及设备

技术领域

本公开涉及人工智能技术领域，具体而言，涉及一种模型训练结果优化方法、装置、存储介质及设备。

背景技术

现有技术中，通过训练得到的神经网络模型的输出数据的准确率主要与选取的模型算法、训练过程用到的样本数据等有关。而于机器学习，尤其是深度学习而言，大多数算法的运行均需要以大量的样本数据为基础。样本数据的丰富程度及准确性对于机器学习具有非常重要的意义。

因此，如何通过优化样本数据来提高神经网络模型的输出数据的准确率是本领域技术人员亟待解决的问题。

发明内容

本公开提供了一种模型训练结果优化方法、装置、存储介质及设备，通过优化样本数据来提高神经网络模型的输出数据的准确率。

根据本公开实施例的第一方面，提供了一种模型训练结果优化方法，该方法包括：获取待优化模型针对待处理数据集的第一输出准确率；其中，所述待优化模型是根据历史样本数据集训练得到的；若所述第一输出准确率小于预设准确率阈值，则将所述待处理数据集添加至所述历史样本数据集，得到更新后的历史样本数据集，以及根据所述更新后的历史样本数据集训练所述待优化模型，得到更新后的待优化模型；获取所述更新后的待优化模型针对检测数据集的第二输出准确率；若所述第二输出准确率大于所述第一输出准确率，则将所述更新后的待优化模型作为优化后的模型。

在一些实施例中，所述待处理数据集包括多个待处理数据；所述获取待优化模型针对待处理数据集的第一输出准确率，包括：将所述待处理数据输入所述待优化模型，得到所述待处理数据的输出值；获取所述待处理数据的目标输出值，根据所述待处理数据集中每个待处理数据的输出值以及目标输出值，获取所述待优化模型的第一输出准确率。

在一些实施例中，所述待处理数据集包括多个待处理数据；所述将所述待处理数据集添加至所述历史样本数据集，得到所述更新后的历史样本数据集，包括：对所述待处理数据进行预处理，得到预处理后的待处理数据；其中，所述预处理包括去重处理、去噪处理中的至少一项；根据所述预处理后的待处理数据对应的目标输出值，对所述预处理后的待处理数据添加样本标签，得到添加标签后的待处理数据；将所述添加标签后的待处理数据添加至所述历史样本数据集，得到所述更新后的历史样本数据集。

在一些实施例中，所述更新后的历史样本数据集包含多个样本数据，每个样本数据标记有所述样本数据对应的目标输出值，所述根据所述更新后的历史样本数据集训练所述待优化模型，得到更新后的待优化模型，包括：将所述样本数据输入所述待优化模型，得到所述样本数据的输出值；根据所述样本数据的输出值和所述样本数据的目标输出值对所述待优化模型的参数进行调整，得到所述更新后的待优化模型。

在一些实施例中，所述根据所述样本数据的输出值和所述样本数据的目标输出值对所述待优化模型的参数进行调整，得到所述更新后的待优化模型，包括：根据所述样本数据的输出值和所述样本数据对应的目标输出值计算得到损失函数值；根据所述损失函数值调整所述待优化模型的参数，直至所述待优化模型收敛，得到更新后的待优化模型。

在一些实施例中，所述检测数据集包括多个检测数据，每个检测数据标记有所述检测数据对应的目标输出值；所述获取所述更新后的待优化模型针对检测数据集的第二输出准确率，包括：将所述检测数据输入所述更新后的待优化模型，得到所述检测数据的输出值；根据所述检测数据集中每个检测数据的输出值以及目标输出值，获取所述更新后的待优化模型的第二输出准确率。

在一些实施例中，所述根据所述检测数据集中每个检测数据的输出值以及目标输出值，获取所述更新后的待优化模型的第二输出准确率，包括：根据所述检测数据的输出值以及所述检测数据的目标输出值，得到所述检测数据的单数据输出准确率；根据所述检测数据集中每个检测数据的单数据输出准确率，计算所述更新后的待优化模型的第二输出准确率。

根据本公开实施例的第二方面，提供了一种模型训练结果优化装置，装置包括：第一输出准确率获取模块，用于获取待优化模型针对待处理数据集的第一输出准确率；其中，所述待优化模型是根据历史样本数据集训练得到的；模型训练模块，用于若所述第一输出准确率小于预设准确率阈值，则将所述待处理数据集添加至所述历史样本数据集，得到更新后的历史样本数据集，以及根据所述更新后的历史样本数据集训练所述待优化模型，得到更新后的待优化模型；第二输出准确率获取模块，用于获取所述更新后的待优化模型针对检测数据集的第二输出准确率；优化模块，用于若所述第二输出准确率大于所述第一输出准确率，则将所述更新后的待优化模型作为优化后的模型。

根据本公开实施例的第三方面，提供了一种计算机可读存储介质，其上存储有计算机程序，程序被处理器执行时实现如上述的模型训练结果优化方法。

根据本公开实施例的第四方面，提供了一种电子设备，包括：处理器；存储器，用于存储一个或多个程序，当一个或多个程序被一个或多个处理器执行时，使得一个或多个处理器实现如上述的模型训练结果优化方法。

本公开的示例性实施例具有以下有益效果：

本公开实施例提供的模型训练结果优化方法、装置、存储介质及设备，通过获取待优化模型针对待处理数据集的第一输出准确率；若第一输出准确率小于预设准确率阈值，则将待处理数据集添加至历史样本数据集，得到更新后的历史样本数据集，以及根据更新后的历史样本数据集训练待优化模型，得到更新后的待优化模型；获取更新后的待优化模型针对检测数据集的第二输出准确率；若第二输出准确率大于第一输出准确率，则将更新后的待优化模型作为优化后的模型。通过将第一输出准确率小于预设准确率阈值时对应的待处理数据集作为具有代表性的数据，以根据待处理数据集更新历史样本数据集后对待优化模型进行优化训练，并在更新后的待优化模型存在性能提升时，将更新后的待优化模型作为优化后的模型。因此，通过不断对样本数据进行更新优化，以丰富样本数据，且经过不断迭代优化得到的优化后的模型具有更高的准确率。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术者来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在附图中：

图1示出本公开实施例中模型训练结果优化方法的流程图；

图2示出图1所示实施例中步骤S130在一示例实施例中的流程图；

图3示出本公开实施例中对待优化模型进行优化的示意图；

图4示出本公开实施例中获取优化后的模型的流程图；

图5示出本公开实施例中模型训练结果优化装置的结构示意图；

图6示出本公开实施例中电子设备的结构示意图。

具体实施方式

这里将详细地对示例性实施例执行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。

附图中所示的方框图仅仅是功能实体，不一定必须与物理上独立的实体相对应。即，可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。

附图中所示的流程图仅是示例性说明，不是必须包括所有的内容和操作/步骤，也不是必须按所描述的顺序执行。例如，有的操作/步骤还可以分解，而有的操作/步骤可以合并或部分合并，因此实际执行的顺序有可能根据实际情况改变。

还需要说明的是：在本公开中提及的“多个”是指两个或者两个以上。“和/或”描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。

随着互联网技术的不断发展，人工智能(Artificial Intelligence，简称AI)技术也随之得到更好的发展。所谓的人工智能技术是指利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说，人工智能是计算机科学的一个综合技术；其主要通过了解智能的实质，生产出一种新的能以人类智能相似的方式做出反应的智能机器，使得智能机器具有感知、推理与决策等多种功能。相应的，AI技术是一门综合学科，其主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习(Machine Learning，简称ML)/深度学习等几大方向。

其中，机器学习是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。机器学习是AI的核心，是使计算机设备具有智能的根本途径；所谓的机器学习是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科；其专门研究计算机设备怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。而深度学习则是一种利用深层神经网络系统，进行机器学习的技术。

基于AI技术中的机器学习/深度学习技术，本发明实施例提出了一种模型训练结果优化方法，以实现对待优化模型进行优化，提升待优化模型的输出准确率。

在具体实现中，该模型训练结果优化方法可由一个计算机设备执行，该计算机设备可以是终端或者服务器；其中，此处所提及的终端可以包括但不限于：智能手机、平板电脑、笔记本电脑、台式计算机、智能手表、智能电视、智能车载终端等；终端内可运行各式各样的客户端(application，简称APP)，如视频播放客户端、社交客户端、浏览器客户端、信息流客户端、教育客户端等等。此处所提及的服务器可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、内容分发网络(Content Delivery Network，简称CDN)、以及大数据和人工智能平台等基础云计算服务的云服务器等等。

需要说明的是，在其他实施例中，该模型训练结果优化方法也可由服务器和终端共同执行；服务器和终端之间可以是各种连接类型，例如有线、无线通信链路或者光纤电缆系统等等，本公开对此不作限定。

在一个实施例中，本公开实施例提供的模型训练结果优化方法可以不断地检测待优化模型的第一输出准确率，并将第一输出准确率小于预设准确率阈值时对应的待处理数据集作为具有代表性的数据，以根据待处理数据集更新历史样本数据集后对待优化模型进行优化训练，并在更新后的待优化模型存在性能提升时，将更新后的待优化模型作为优化后的模型。因此，通过不断对样本数据进行更新优化，以丰富样本数据，且经过不断迭代优化得到的优化后的模型具有更高的准确率。可选的，若更新后的待优化模型的第二输出准确率低于第一输出准确率，则保留更新前的待优化模型，即在该次操作中不对待优化模型进行优化，并将历史样本数据集中的待处理数据进行删除，以将历史样本数据集进行还原，即，进而保证样本数据的质量。

可以理解的是，本公开提供的方法可广泛应用于一切与数据计算相关的场景中，例如：资源需求量趋势预测场景、天气预测场景等。

举例来说，在资源需求量趋势预测场景中，本公开提供的方法可应用于云计算中资源需求量趋势预测的应用程序中。例如智能化运维(Artificial Intelligence for ITOperations，简称AIOps)的关键指标智能预测场景中，对待预测的业务指标的场景数据进行采集，得到待处理数据，通过将待处理数据输入待优化模型中，以对待预测的业务指标的资源需求量进行预测，得到预测值。然后获取待预测的业务指标在预设时间后的资源需求量的真实值，并通过资源需求量的真实值以及预测值，周期性校验待优化模型的第一输出准确率是否小于预设准确率阈值，以在第一输出准确率小于预设准确率阈值时，对待优化模型进行训练更新，进而在更新后的待优化模型的第二输出准确率高于第一输出准确率时，将更新后的待优化模型作为优化后的模型，以不断提高模型的准确率。

下面结合附图，对本公开的一些实施方式作详细说明。在不冲突的情况下，下述的实施例及实施例中的特征可以相互组合。

请参阅图1，图1为本公开实施例中模型训练结果优化方法的流程图，下面结合图1，对本公开示例性实施例中的模型训练结果优化方法进行说明。

步骤S110、获取待优化模型针对待处理数据集的第一输出准确率；其中，待优化模型是根据历史样本数据集训练得到的。

在本公开实施例中，待优化模型可以是基于历史样本数据集训练完毕后在实际应用场景中进行运用的模型，也可以是基于历史样本数据集训练完毕后处于测试阶段的模型。待处理数据集包括多个待处理数据，当待优化模型是在实际应用场景中进行运用的模型时，待处理数据可以是在实际应用场景中输入待优化模型的真实数据；当待优化模型是处于测试阶段的模型时，待处理数据可以是伪造的数据、历史数据库获取的数据、数据抓取软件获取的数据等。可以理解的是，待优化模型的模型结构以及待处理数据集的获取方式可以根据实际应用情况进行选择，本公开对此不做限制。

第一输出准确率指的是预设时间段内待优化模型的输出值的正确程度，第一输出准确率越高，则表明待优化模型的数据处理效果越好，第一输出准确率越低，则表明待优化模型的数据处理效果越差。

需要说明的是，可以对待处理数据集进行更新，例如，获取待优化模型在第一时间段内针对待处理数据集的第一输出准确率时，待处理数据集中的待处理数据为第一时间段内采集得到的数据；获取待优化模型在第二时间段内针对待处理数据集的第一输出准确率时，待处理数据集中的待处理数据为在第二时间段内采集得到的数据。

其中，可以是周期性获取待优化模型针对待处理数据集的第一输出准确率，也可以是检测到优化触发事件后获取待优化模型针对待处理数据集的第一输出准确率。

在一些实施方式中，获取待优化模型针对待处理数据集的第一输出准确率的具体步骤可以为：将待处理数据输入所述待优化模型，得到待处理数据的输出值；获取待处理数据的目标输出值，根据待处理数据集中每个待处理数据的输出值以及目标输出值，获取待优化模型的第一输出准确率。

待处理数据的目标输出值指的是该待处理数据对应的正确输出结果。通过将待处理数据输入待优化模型得到该待处理数据的输出值，并将该待处理数据的输出值与目标输出值进行对比，以得到该待处理数据的单数据输出准确率。其中，待处理数据的单数据输出准确率用于表征待处理数据的输出值与目标输出值之间差距，当待处理数据的单数据输出准确率越高，则表明待处理数据的输出值与目标输出值之间差距越小；当待处理数据的单数据输出准确率越低，则表明待处理数据的输出值与目标输出值之间差距越大。然后根据待处理数据集中每个待处理数据的单数据输出准确率，计算得到待优化模型的第一输出准确率。

示例性地，当待优化模型为云计算中资源需求量的趋势预测模型时，待处理数据为当前云计算中各资源的使用情况等数据，将待处理数据输入待优化模型，得到待优化模型输出的针对待预测时间点的资源需求量的输出值。然后，在当前时间点为待预测时间点时，获取云计算中资源需求量的实际值，以将实际值作为该待处理数据的目标输出值。根据该待处理数据的输出值以及目标输出值，计算该待处理数据的单数据输出准确率，例如，待处理数据的输出值为9，目标输出值为10，对待处理数据的输出值以及目标输出值做除运算，得到该待处理数据的单数据输出准确率百分之90。进一步地，根据待处理数据集中每个待处理数据的单数据输出准确率，计算得到待优化模型的第一输出准确率，如计算每个待处理数据的单数据输出准确率的准确率平均值，将准确率平均值作为待优化模型的第一输出准确率。

可以理解的是，可以根据实际应用情况灵活选择单数据输出准确率以及第一输出准确率的计算方法，本公开对此不做限制。

步骤S120、若第一输出准确率小于预设准确率阈值，则将待处理数据集添加至历史样本数据集，得到更新后的历史样本数据集，以及根据更新后的历史样本数据集训练待优化模型，得到更新后的待优化模型。

可以理解的是，如果检测到待优化模型的第一输出准确率小于预设准确率阈值，则表明当前的待优化模型针对待处理数据集的处理效果较差，可能是待优化模型训练过程中使用的样本数据包含的数据类型中不存在待处理数据集中的数据类型；也可能是待优化模型训练过程中使用的样本数据的数量不充足；还可能是待优化模型训练过程中使用的样本数据分布不均衡。因此，需要根据待处理数据集对待优化模型进行优化处理。

可选的，若第一输出准确率小于预设准确率阈值，还可以生成警报信息，以通过警报信息通知相关技术人员当前的待优化模型的运行效果较差，进而相关技术人员可以及时维护待优化模型。

本公开实施例通过待处理数据集得到更新后的历史样本数据集，以根据更丰富的样本数据训练待优化模型，得到更新后的待优化模型。

进一步的，待优化模型是根据历史样本数据集训练得到的，历史样本数据集中包含有多个历史样本数据。通过将待处理数据集添加到历史样本数据集中，得到更新后的历史样本数据集，使更新后的历史样本数据集中包含的数据更加丰富。

在一些实施方式中，待处理数据集包括多个待处理数据；将待处理数据集添加至历史样本数据集，得到更新后的历史样本数据集，包括：对待处理数据进行预处理，得到预处理后的待处理数据；其中，预处理包括去重处理、去噪处理中的至少一项；根据预处理后的待处理数据对应的目标输出值，对预处理后的待处理数据添加样本标签，得到添加标签后的待处理数据；将添加标签后的待处理数据添加至历史样本数据集，得到更新后的历史样本数据集。

其中，待处理数据集可能包含有无效数据、重复数据等，因此需要对待处理数据集中的待处理数据进行预处理，预处理包括去重处理、去噪处理中的至少一项。

示例性地，对待处理数据集进行去噪处理。可以是检测待处理数据的数据项中是否存在缺失值，若存在缺失值，可以对存在缺失值的数据项进行删除或缺失值补全等操作，以保证数据的正确性。可以是对待处理数据进行特征选择，例如对待处理数据中的指定数据项进行保留，对待处理数据中的非指定数据项进行删除，以减少待处理数据的维度，进而降低模型学习的难度，避免维数灾难问题。可以是检测待处理数据是否为异常数据，对异常数据进行删除，如检测与第一待处理数据相邻的其它待处理数据之间的数据漂移量是否大于预设漂移量阈值，若大于预设漂移量阈值，则第一待处理数据为异常数据。

示例性地，对待处理数据集进行去重处理。可以是检测待处理数据集中是否存在重复的待处理数据，若存在，则对重复的待处理数据中的一个进行保留即可。可以是对相似的待处理数据进行数据压缩，如第一待处理数据与第二待处理数据之间各个数据项的差值小于预设差值阈值，因此将第一待处理数据与第二待处理数据合并为一个待处理数据，合并后的待处理数据中的每个数据项的值可以是第一待处理数据与第二待处理数据中对应数据项之间的平均值。

可以理解的是，对待处理数据集进行预处理的方法可以根据实际应用情况进行灵活选择，本公开对此不做限制。

进一步地，根据预处理后的待处理数据对应的目标输出值，对预处理后的待处理数据添加样本标签，得到添加标签后的待处理数据。然后，将添加标签后的待处理数据添加至历史样本数据集，得到更新后的历史样本数据集。

在一些实施方式中，更新后的历史样本数据集包含多个样本数据，每个样本数据标记有该样本数据对应的目标输出值，根据更新后的历史样本数据集训练待优化模型，得到更新后的待优化模型，包括：将样本数据输入待优化模型，得到样本数据的输出值；根据样本数据的输出值和样本数据的目标输出值对待优化模型的参数进行调整，得到更新后的待优化模型。

将更新后的历史样本数据集中的样本数据输入待优化模型得到该样本数据的输出值，然后根据该样本数据对应的样本标签获取目标输出值，根据该样本数据的输出值以及目标输出值之间的误差对待优化模型的参数进行调整，使得到的样本数据的输出值以及目标输出值之间的误差收敛。

其中，误差收敛指的是通过对待优化模型进行一次调整，使基于调整后的待优化模型进行处理时得到的样本数据的输出值以及目标输出值之间的误差，与基于调整前的待优化模型进行处理时得到的误差相比更小。通过一次或多次调整，待优化模型的误差逐渐减小，直至待优化模型的误差小于预设阈值时，满足待优化模型的训练要求，此时误差收敛，可以认为模型训练完成。

在一些实施方式中，根据样本数据的输出值和样本数据的目标输出值对待优化模型的参数进行调整，得到更新后的待优化模型，包括：根据样本数据的输出值和样本数据对应的目标输出值计算得到损失函数值；根据损失函数值调整待优化模型的参数，直至待优化模型收敛，得到更新后的待优化模型。

示例性地，为待优化模型设置损失函数，基于损失函数对待优化模型进行训练，该损失函数的损失函数值由样本数据的输出值以及目标输出值之间的误差确定，与该误差呈正相关关系，因此待优化模型的训练目标可以为：损失函数的损失函数值收敛，以保证待优化模型对样本数据进行处理，得到的样本数据的输出值以及目标输出值之间的误差收敛。

其中，该损失函数可以为triplet loss损失函数(三重损失函数)，或者还可以为Softmax损失函数(交叉熵损失函数)等其他损失函数。

步骤S130、获取更新后的待优化模型针对检测数据集的第二输出准确率。

其中，检测数据集可以是历史样本数据集，也可以是通过对待优化模型的实际应用场景的数据进行收集得到的数据集，本公开对检测数据集的获取方式不做限制。

将检测数据集中的检测数据输入更新后的待优化模型，以得到更新后的待优化模型针对检测数据集的第二输出准确率。然后，根据第二输出准确率判断更新后的待优化模型的数据输出准确率是否提高，即判断更新后的待优化模型是否优于更新前的待优化模型。

请参阅图2，图2为图1中步骤S130在另一示例实施例中的流程图，其中，检测数据集包括多个检测数据，每个检测数据标记有检测数据对应的目标输出值，步骤S130具体包括：

步骤S131、将检测数据输入更新后的待优化模型，得到检测数据的输出值；

步骤S132、根据检测数据集中每个检测数据的输出值以及目标输出值，获取更新后的待优化模型的第二输出准确率。

示例性地，根据检测数据集中每个检测数据的输出值以及目标输出值，获取更新后的待优化模型的第二输出准确率，包括：根据检测数据的输出值以及检测数据的目标输出值，得到检测数据的单数据输出准确率；根据检测数据集中每个检测数据的单数据输出准确率，计算更新后的待优化模型的第二输出准确率。

其中，检测数据的目标输出值指的是该检测数据对应的正确输出结果。通过将检测数据输入更新后的待优化模型得到该检测数据的输出值，并将该检测数据的输出值与目标输出值进行对比，以得到该检测数据的单数据输出准确率。其中，检测数据的单数据输出准确率用于表征检测数据的输出值与目标输出值之间差距，当检测数据的单数据输出准确率越高，则表明检测数据的输出值与目标输出值之间差距越小；当检测数据的单数据输出准确率越低，则表明检测数据的输出值与目标输出值之间差距越大。然后根据检测数据集中每个检测数据的单数据输出准确率，计算得到更新后的待优化模型的第二输出准确率。

步骤S140、若第二输出准确率大于第一输出准确率，则将更新后的待优化模型作为优化后的模型。

如果更新后的待优化模型的第二输出准确率大于更新前的待优化模型的第一输出准确率，则表明更新后的待优化模型的处理能力优于更新前的待优化模型，因此，将更新后的待优化模型作为优化后的模型。

如果更新后的待优化模型的第二输出准确率小于更新前的待优化模型的第一输出准确率，则表明更新后的待优化模型的处理能力比更新前的待优化模型更差，因此，将更新前的待优化模型作为优化后的模型，即不对待优化模型进行修改，以避免降低待优化模型的输出准确率。其中，当更新后的待优化模型的第二输出准确率小于更新前的待优化模型的第一输出准确率时，还表明由待处理数据集得到的更新后的历史样本数据集的数据质量较差，如果训练更新后的待优化模型的更新后的历史样本数据集是由待处理数据集和历史样本数据集合并得到，则还可以将待处理数据集和更新后的历史样本数据集进行拆分，以避免处理数据集影响历史样本数据集的质量。

请参阅图3，图3为本公开实施例中对待优化模型进行优化的示意图。基于上述描述，下面结合图3，对本公开实施例的实施原理作进一步详细阐述。

步骤S310、根据历史样本数据集对待训练的模型进行训练，得到训练后的模型。

其中，模型采用的算法可以是长短期记忆网络(Long Short-Term Memory，简称LSTM)，也可以是递归神经网络(Recurrent Neural Network，简称RNN)，还可以是卷积神经网络(Convolutional Neural Networks，简称CNN)。可以理解的是，模型所使用的算法可以根据实际应用情况进行灵活选择，本公开对此不做限制。

步骤S320、将训练后的模型作为待优化模型，获取待优化模型在预设时间段内的针对待处理数据的输出值，并根据预设时间段内的待处理数据的输出值以及目标输出值计算得到该待优化模型的第一输出准确率。

步骤S330、检测第一输出准确率是否小于预设准确率阈值，若是则执行步骤S340；若否则结束。

步骤S340、获取在预设时间段内缓存的待处理数据集；其中，实时监控并缓存待优化模型输入的待处理数据，以获取缓存的待处理数据集合。

步骤S350、对待处理数据集进行预处理后添加至样本数据库，以合并历史样本数据集以及待处理数据集。其中，可以在待处理数据集添加至历史样本数据库前，对待处理数据集进行预处理，也可以在待处理数据集添加至历史样本数据库后，对更新后的历史样本数据集进行预处理。

步骤S360、将待优化模型作为待训练的模型，根据更新后的历史样本数据集对待优化模型进行自反馈优化操作。

其中，请参阅图4，步骤S360具体包括：

步骤S361、根据更新后的历史样本数据集对待优化模型进行训练，得到更新后的待优化模型。

将更新后的历史样本数据集中的样本数据输入待优化模型得到该样本数据的输出值，然后根据该样本数据对应的样本标签获取目标输出值，根据该样本数据的输出值以及目标输出值之间的误差对待优化模型的参数进行调整，使得到的样本数据的输出值以及目标输出值之间的误差收敛。通过一次或多次调整，待优化模型的误差逐渐减小，直至待优化模型的误差小于预设阈值时，满足待优化模型的训练要求，此时误差收敛，可以认为模型训练完成。

步骤S362、获取更新后的待优化模型针对检测数据集的第二输出准确率。

其中，检测数据集可以是历史样本数据集，也可以是通过对待优化模型的实际应用场景的数据进行收集得到的数据集，本公开对检测数据集的获取方式不做限制。

步骤S363、判断第二输出准确率是否大于第一输出准确率，若大于则执行步骤S440，若小于则执行步骤S450。

根据第二输出准确率判断更新后的待优化模型的数据输出准确率相对于更新前的待优化模型的数据输出准确率是否提高，即判断更新后的待优化模型是否优于更新前的待优化模型。

步骤S364、将更新后的待优化模型作为优化后的模型。

如果更新后的待优化模型的第二输出准确率大于更新前的待优化模型的第一输出准确率，则表明更新后的待优化模型的处理能力优于更新前的待优化模型，因此，将更新后的待优化模型作为优化后的模型。

步骤S365、保留更新前的待优化模型以及更新前的历史样本数据集。

如果更新后的待优化模型的第二输出准确率小于更新前的待优化模型的第一输出准确率，则表明更新后的待优化模型的处理能力比更新前的待优化模型更差，因此，将更新前的待优化模型作为优化后的模型，即不对待优化模型进行修改，以避免降低待优化模型的输出准确率。其中，当更新后的待优化模型的第二输出准确率小于更新前的待优化模型的第一输出准确率时，还表明由待处理数据集得到的更新后的历史样本数据集的数据质量较差，如果训练更新后的待优化模型的更新后的历史样本数据集是由待处理数据集和历史样本数据集合并得到，则还可以将待处理数据集和更新后的历史样本数据集进行拆分，以避免处理数据集影响历史样本数据集的质量。

本公开实施例提供的模型训练结果优化方法，通过获取待优化模型针对待处理数据集的第一输出准确率；若第一输出准确率小于预设准确率阈值，则将待处理数据集添加至历史样本数据集，得到更新后的历史样本数据集，以及根据更新后的历史样本数据集训练待优化模型，得到更新后的待优化模型；获取更新后的待优化模型针对检测数据集的第二输出准确率；若第二输出准确率大于第一输出准确率，则将更新后的待优化模型作为优化后的模型。通过将第一输出准确率小于预设准确率阈值时对应的待处理数据集作为具有代表性的数据，以根据待处理数据集更新历史样本数据集后对待优化模型进行优化训练，并在更新后的待优化模型存在性能提升时，将更新后的待优化模型作为优化后的模型。因此，通过不断对样本数据进行更新优化，以丰富样本数据，且经过不断迭代优化得到的优化后的模型具有更高的准确率。

进一步的，本示例实施方式中还提供了一种模型训练结果优化装置500。参照图5所示，该模型训练结果优化装置500包括：第一输出准确率获取模块510，模型训练模块520，第二输出准确率获取模块530以及优化模块540。

第一输出准确率获取模块510用于获取待优化模型针对待处理数据集的第一输出准确率；其中，待优化模型是根据历史样本数据集训练得到的。

模型训练模块520用于若第一输出准确率小于预设准确率阈值，则将待处理数据集添加至历史样本数据集，得到更新后的历史样本数据集，以及根据更新后的历史样本数据集训练待优化模型，得到更新后的待优化模型。

第二输出准确率获取模块530用于获取更新后的待优化模型针对检测数据集的第二输出准确率。

优化模块540用于若第二输出准确率大于第一输出准确率，则将更新后的待优化模型作为优化后的模型。

在一些实施方式中，基于前述方案，待处理数据集包括多个待处理数据；获取待优化模型针对待处理数据集的第一输出准确率，包括：将待处理数据输入待优化模型，得到待处理数据的输出值；获取待处理数据的目标输出值，根据待处理数据集中每个待处理数据的输出值以及目标输出值，获取待优化模型的第一输出准确率。

在一些实施方式中，基于前述方案，待处理数据集包括多个待处理数据；将待处理数据集添加至历史样本数据集，得到更新后的历史样本数据集，包括：对待处理数据进行预处理，得到预处理后的待处理数据；其中，预处理包括去重处理、去噪处理中的至少一项；根据预处理后的待处理数据对应的目标输出值，对预处理后的待处理数据添加样本标签，得到添加标签后的待处理数据；将添加标签后的待处理数据添加至历史样本数据集，得到更新后的历史样本数据集。

在一些实施方式中，基于前述方案，更新后的历史样本数据集包含多个样本数据，每个样本数据标记有样本数据对应的目标输出值，根据更新后的历史样本数据集训练待优化模型，得到更新后的待优化模型，包括：将样本数据输入待优化模型，得到样本数据的输出值；根据样本数据的输出值和样本数据的目标输出值对待优化模型的参数进行调整，得到更新后的待优化模型。

在一些实施方式中，基于前述方案，根据样本数据的输出值和样本数据的目标输出值对待优化模型的参数进行调整，得到更新后的待优化模型，包括：根据样本数据的输出值和样本数据对应的目标输出值计算得到损失函数值；根据损失函数值调整待优化模型的参数，直至待优化模型收敛，得到更新后的待优化模型。

在一些实施方式中，基于前述方案，检测数据集包括多个检测数据，每个检测数据标记有检测数据对应的目标输出值；获取更新后的待优化模型针对检测数据集的第二输出准确率，包括：将检测数据输入更新后的待优化模型，得到检测数据的输出值；根据检测数据集中每个检测数据的输出值以及目标输出值，获取更新后的待优化模型的第二输出准确率。

在一些实施方式中，基于前述方案，根据检测数据集中每个检测数据的输出值以及目标输出值，获取更新后的待优化模型的第二输出准确率，包括：根据检测数据的输出值以及检测数据的目标输出值，得到检测数据的单数据输出准确率；根据检测数据集中每个检测数据的单数据输出准确率，计算更新后的待优化模型的第二输出准确率。

需要说明的是，上述实施例所提供的装置与上述实施例所提供的方法属于同一构思，其中各个模块和单元执行操作的具体方式已经在方法实施例中进行了详细描述，此处不再赘述。

应当注意，尽管在上文详细描述中提及了模型训练结果优化装置的若干模块或者单元，但是这种划分并非强制性的。实际上，根据本公开的实施方式，上文描述的两个或更多模块或者单元的特征和功能可以在一个模块或者单元中具体化。反之，上文描述的一个模块或者单元的特征和功能可以进一步划分为由多个模块或者单元来具体化。

此外，在本公开的示例性实施例中，还提供了一种能够实现上述模型训练结果优化方法的电子设备。

所属技术领域的技术人员能够理解，本公开的各个方面可以实现为系统、方法或程序产品。因此，本公开的各个方面可以具体实现为以下形式，即：完全的硬件实施例、完全的软件实施例(包括固件、微代码等)，或硬件和软件方面结合的实施例，这里可以统称为“电路”、“模块”或“系统”。

下面参照图6来描述根据本公开的这种实施例的电子设备600。图6所示的电子设备600仅仅是一个示例，不应对本公开实施例的功能和使用范围带来任何限制。

如图6所示，电子设备600以通用计算设备的形式表现。电子设备600的组件可以包括但不限于：上述至少一个处理单元610、上述至少一个存储单元620、连接不同系统组件(包括存储单元620和处理单元610)的总线630、显示单元640。

其中，存储单元存储有程序代码，程序代码可以被处理单元610执行，使得处理单元610执行本说明书上述“示例性方法”部分中描述的根据本公开各种示例性实施例的步骤。

存储单元620可以包括易失性存储单元形式的可读介质，例如随机存取存储单元(RAM)621和/或高速缓存存储单元622，还可以进一步包括只读存储单元(ROM)623。

存储单元620还可以包括具有一组(至少一个)程序模块625的程序/实用工具624，这样的程序模块625包括但不限于：操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。

总线630可以为表示几类总线结构中的一种或多种，包括存储单元总线或者存储单元控制器、外围总线、图形加速端口、处理单元或者使用多种总线结构中的任意总线结构的局域总线。

电子设备600也可以与一个或多个外部设备670(例如键盘、指向设备、蓝牙设备等)通信，还可与一个或者多个使得用户能与该电子设备600交互的设备通信，和/或与使得该电子设备600能与一个或多个其它计算设备进行通信的任何设备(例如路由器、调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口650进行。并且，电子设备600还可以通过网络适配器660与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。如图所示，网络适配器660通过总线630与电子设备600的其它模块通信。应当明白，尽管图中未示出，可以结合电子设备600使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。

通过以上的实施例的描述，本领域的技术人员易于理解，这里描述的示例实施例可以通过软件实现，也可以通过软件结合必要的硬件的方式来实现。因此，根据本公开实施例的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD－ROM，U盘，移动硬盘等)中或网络上，包括若干指令以使得一台计算设备(可以是个人计算机、服务器、终端装置、或者网络设备等)执行根据本公开实施例的方法。

在本公开的示例性实施例中，还提供了一种计算机可读存储介质，其上存储有能够实现本说明书上述方法的程序产品。在一些可能的实施例中，本公开的各个方面还可以实现为一种程序产品的形式，其包括程序代码，当程序产品在终端设备上运行时，程序代码用于使终端设备执行本说明书上述“示例性方法”部分中描述的根据本公开各种示例性实施例的步骤。

以上具体地示出和描述了本公开示例性实施方式。可理解的是，本公开不限于这里描述的详细结构、设置方式或实现方法；相反，本公开意图涵盖包含在所附权利要求的精神和范围内的各种修改和等效设置。

Claims (10)

1.一种模型训练结果优化方法，其特征在于，所述方法包括：

获取待优化模型针对待处理数据集的第一输出准确率；其中，所述待优化模型是根据历史样本数据集训练得到的；

若所述第一输出准确率小于预设准确率阈值，则将所述待处理数据集添加至所述历史样本数据集，得到更新后的历史样本数据集，以及根据所述更新后的历史样本数据集训练所述待优化模型，得到更新后的待优化模型；

获取所述更新后的待优化模型针对检测数据集的第二输出准确率；

若所述第二输出准确率大于所述第一输出准确率，则将所述更新后的待优化模型作为优化后的模型；所述根据所述更新后的历史样本数据集训练所述待优化模型，得到更新后的待优化模型，包括：

将更新后的历史样本数据集中的样本数据集输入所述待优化模型，得到所述样本数据的输出值；

基于所述样本数据对应的样本标签确定所述样本数据对应的目标输出值；

根据所述样本数据的输出值以及所述目标输出值之间的误差对所述待优化模型的参数进行调整，以使得到的所述样本数据的输出值以及目标输出值之间的误差收敛，得到更新后的待优化模型；

所述方法还包括：

若所述待处理数据的数据项存在缺失值，则对所述缺失值的数据项进行删除或者补全；

若所述待处理数据的数据中存在非指定数据，则对所述非指定数据进行删除；

若所述待处理数据的数据中存在与相邻其它待处理数据之间的数据漂移量大于预设漂移量阈值，则判定所述数据为异常数据，对所述异常数据进行删除；

若所述待处理数据中的第一待处理数据与第二待处理数据的各个数据项的差值小于预设差值阈值，则将所述第一待处理数据与所述第二待处理数据合并为一个待处理数据。

2.根据权利要求1所述的方法，其特征在于，所述待处理数据集包括多个待处理数据；所述获取待优化模型针对待处理数据集的第一输出准确率，包括：

将所述待处理数据输入所述待优化模型，得到所述待处理数据的输出值；

获取所述待处理数据的目标输出值，根据所述待处理数据集中每个待处理数据的输出值以及目标输出值，获取所述待优化模型的第一输出准确率。

3.根据权利要求1所述的方法，其特征在于，所述待处理数据集包括多个待处理数据；所述将所述待处理数据集添加至所述历史样本数据集，得到所述更新后的历史样本数据集，包括：

对所述待处理数据进行预处理，得到预处理后的待处理数据；其中，所述预处理包括去重处理、去噪处理中的至少一项；

根据所述预处理后的待处理数据对应的目标输出值，对所述预处理后的待处理数据添加样本标签，得到添加标签后的待处理数据；

将所述添加标签后的待处理数据添加至所述历史样本数据集，得到所述更新后的历史样本数据集。

4.根据权利要求1所述的方法，其特征在于，所述更新后的历史样本数据集包含多个样本数据，每个样本数据标记有所述样本数据对应的目标输出值，所述根据所述更新后的历史样本数据集训练所述待优化模型，得到更新后的待优化模型，包括：

将所述样本数据输入所述待优化模型，得到所述样本数据的输出值；

根据所述样本数据的输出值和所述样本数据的目标输出值对所述待优化模型的参数进行调整，得到所述更新后的待优化模型。

5.根据权利要求4所述的方法，其特征在于，所述根据所述样本数据的输出值和所述样本数据的目标输出值对所述待优化模型的参数进行调整，得到所述更新后的待优化模型，包括：

根据所述样本数据的输出值和所述样本数据对应的目标输出值计算得到损失函数值；

根据所述损失函数值调整所述待优化模型的参数，直至所述待优化模型收敛，得到所述更新后的待优化模型。

6.根据权利要求1所述的方法，其特征在于，所述检测数据集包括多个检测数据，每个检测数据标记有所述检测数据对应的目标输出值；所述获取所述更新后的待优化模型针对检测数据集的第二输出准确率，包括：

将所述检测数据输入所述更新后的待优化模型，得到所述检测数据的输出值；

根据所述检测数据集中每个检测数据的输出值以及目标输出值，获取所述更新后的待优化模型的第二输出准确率。

7.根据权利要求6所述的方法，其特征在于，所述根据所述检测数据集中每个检测数据的输出值以及目标输出值，获取所述更新后的待优化模型的第二输出准确率，包括：

根据所述检测数据的输出值以及所述检测数据的目标输出值，得到所述检测数据的单数据输出准确率；

根据所述检测数据集中每个检测数据的单数据输出准确率，计算所述更新后的待优化模型的第二输出准确率。

8.一种模型训练结果优化装置，其特征在于，包括：

第一输出准确率获取模块，用于获取待优化模型针对待处理数据集的第一输出准确率；其中，所述待优化模型是根据历史样本数据集训练得到的；

模型训练模块，用于若所述第一输出准确率小于预设准确率阈值，则将所述待处理数据集添加至所述历史样本数据集，得到更新后的历史样本数据集，以及根据所述更新后的历史样本数据集训练所述待优化模型，得到更新后的待优化模型；所述根据所述更新后的历史样本数据集训练所述待优化模型，得到更新后的待优化模型，包括：将更新后的历史样本数据集中的样本数据集输入所述待优化模型，得到所述样本数据的输出值；基于所述样本数据对应的样本标签确定所述样本数据对应的目标输出值；根据所述样本数据的输出值以及所述目标输出值之间的误差对所述待优化模型的参数进行调整，以使得到的所述样本数据的输出值以及目标输出值之间的误差收敛，得到更新后的待优化模型；还用于若所述待处理数据的数据项存在缺失值，则对所述缺失值的数据项进行删除或者补全；若所述待处理数据的数据中存在非指定数据，则对所述非指定数据进行删除；若所述待处理数据的数据中存在与相邻其它待处理数据之间的数据漂移量大于预设漂移量阈值，则判定所述数据为异常数据，对所述异常数据进行删除；若所述待处理数据中的第一待处理数据与第二待处理数据的各个数据项的差值小于预设差值阈值，则将所述第一待处理数据与所述第二待处理数据合并为一个待处理数据；

第二输出准确率获取模块，用于获取所述更新后的待优化模型针对检测数据集的第二输出准确率；

优化模块，用于若所述第二输出准确率大于所述第一输出准确率，则将所述更新后的待优化模型作为优化后的模型。

9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现如权利要求1至7中任一项所述的模型训练结果优化方法。

10.一种电子设备，其特征在于，包括：

处理器；以及

存储器，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现如权利要求1至7中任一项所述的模型训练结果优化方法。