CN111598139A - 数据处理方法及系统 - Google Patents

Abstract

本申请涉及一种数据处理方法及系统；其中处理方法包括：通过多组预设超参数分别对待配置模型结构进行配置得到多个待测模型；将多个待测模型、训练数据和验证数据发送至云计算平台，以使云计算平台通过训练数据分别对每个待测模型进行训练，并分别获取云计算平台通过验证数据对每个训练后的待测模型进行验证得到的收敛信息；根据接收到的所有收敛信息，确定收敛速度最快的待测模型对应的目标超参数，并将收敛速度最快的待测模型作为最终模型。采用本实施例中的方法能够通过云计算平台对得到的待测模型进行训练，从中选取出收敛速度最快的最终模型以及目标超参数，可以降低本地端的硬件搭建成本。

Description

数据处理方法及系统

技术领域

本申请涉及人工智能技术领域，尤其涉及一种数据处理方法及系统。

背景技术

随着人工智能技术的发展，深度学习的应用场景及范围越来越广泛。深度学习有一些对结果有重要影响的参数是必须事先人工指定，该类在机器学习中，是在开始学习过程之前设置值的参数，而不是通过训练得到的参数数据即为超参数：比如：学习率；但是，超参数目前都是根据算法人员的经验得到，因为深度学习模型的复杂性，往往人工指定费时费力。

人工调参工作首先对算法人员的技能有极高的要求，经验丰富的算法人员往往使用经验来选择超参。因为深度学习网络的复杂性，算法人员也无法明确超参配置的具体的、可描述的规则，因此往往超参调试往往需要大量的实验。

因此自动调参兴起，现有技术中自动调参需要用户需要提供每个可变参数的几个取值，然后像一个网格一样，把所有参数值的组合遍历一下。优点是实现简单暴力，如果能全部遍历的话，结果比较可靠。但是，采用该方式，由于实现时需要对大量参数值进行组合遍历，且对模型需要大量的训练，因此会占用大量的计算资源，为了尽快获取最优的超参数，则需要在本地搭建计算能力强的硬件设备，因而会造成硬件搭建成本高昂的情况，严重影响企业的运营成本的控制。

针对相关技术中存在的在本地端搭建用于进行自动调参的硬件设备会造成企业运营成本高昂的问题，目前尚未提供有效的解决方案。

发明内容

为了解决上述技术问题或者至少部分地解决上述技术问题，本申请提供了一种数据处理方法及系统。

第一方面，本申请提供了一种数据处理方法，包括：

获取用于对待配置模型结构进行预先配置的多组预设超参数、训练数据以及验证数据；

通过多组所述预设超参数分别对所述待配置模型结构进行配置得到多个待测模型；

将多个所述待测模型、所述训练数据和所述验证数据发送至云计算平台，以使所述云计算平台通过训练数据分别对每个所述待测模型进行训练，并分别获取所述云计算平台通过所述验证数据对每个训练后的所述待测模型进行验证得到的收敛信息；所述收敛信息包括：训练后的所述待测模型预测的正确率与训练次数的对应关系；

根据接收到的所有所述收敛信息，确定收敛速度最快的所述待测模型对应的目标超参数，并将收敛速度最快的所述待测模型作为最终模型。

可选的，如前述的数据处理方法，将多个所述待测模型、所述训练数据和所述验证数据发送至云计算平台，包括：

确定用于调取所述训练数据和所述验证数据的地址；

从候选云计算平台中确定用于进行训练的所述云计算平台；

将多个所述待测模型及所述地址输入所述云计算平台，以使所述云计算平台分别获取多个所述待测模型，并通过所述地址调取得到所述训练数据和所述验证数据。

可选的，如前述的数据处理方法，在所述获取所述云计算平台通过所述验证数据对每个训练后的所述待测模型进行验证得到的收敛信息之后，还包括：

在训练的次数达到第一预设数量时，确定所有训练得到的训练结果中正确率最高的N个最优训练结果；其中，N为大于等于1的整数；

计算得到所述N个最优训练结果的平均正确率；

在最近一次训练得到的训练结果的正确率与所述平均正确率之间的关系满足预设停止要求时，停止对所述待测模型继续进行训练。

可选的，如前述的数据处理方法，所述获取用于对待配置模型结构进行预先配置的预设超参数，包括：

确定所述预设超参数的取值范围；

确定通过所述训练数据对上一个待测模型进行训练，得到的历史收敛信息，所述上一个待测模型通过上一组历史超参数对所述待配置模型结构进行配置得到；

根据所述历史收敛信息以及所述取值范围得到所述预设超参数。

第二方面，本申请提供了一种数据处理系统，包括：

获取模块，用于获取用于对待配置模型结构进行预先配置的多组预设超参数、训练数据以及验证数据；

控制模块，用于通过多组所述预设超参数分别对所述待配置模型结构进行配置得到多个待测模型；

数据传输模块，用于将多个所述待测模型、所述训练数据和所述验证数据发送至云计算平台，以使所述云计算平台通过训练数据分别对每个所述待测模型进行训练，并分别获取所述云计算平台通过所述验证数据对每个训练后的所述待测模型进行验证得到的收敛信息；所述收敛信息包括：训练后的所述待测模型预测的正确率与训练次数的对应关系；

所述控制模块，还用于根据接收到的所有所述收敛信息，确定收敛速度最快的所述待测模型对应的目标超参数，并将收敛速度最快的所述待测模型作为最终模型。

可选的，如前述的参数调优的数据处理系统，所述数据传输模块，包括：

地址确定单元，用于确定用于调取所述训练数据和所述验证数据的地址；

平台确定单元，用于从候选云计算平台中确定用于进行训练的所述云计算平台；

传输单元，用于将所述待测模型及所述地址输入所述云计算平台，以使所述云计算平台分别获取所述待测模型，并通过所述地址调取得到所述训练数据和所述验证数据。

可选的，如前述的参数调优的数据处理系统，还包括：停止判断模块；所述停止判断模块用于：

在训练的次数达到第一预设数量时，确定所有训练得到的训练结果中正确率最高的N个最优训练结果；其中，N为大于等于1的整数；

计算得到所述N个最优训练结果的平均正确率；

在最近一次训练得到的训练结果的正确率与所述平均正确率之间的关系满足预设停止要求时，停止对所述待测模型继续进行训练。

可选的，如前述的参数调优的数据处理系统，还包括：云计算平台；所述数据传输模块包括：云适配模块和网关；

所述云适配模块，用于将所述待测模型转换为与所述云计算平台适配的数据结构；

所述云计算平台，用于通过训练数据分别对每个所述待测模型进行训练，并分别通过所述验证数据对每个训练后的所述待测模型进行验证，得到收敛信息；所述收敛信息包括：训练后的所述待测模型预测的正确率与训练次数的对应关系；

所述网关，用于将所述云计算平台得到的所述收敛信息同步至所述控制模块。

第三方面，本申请提供了一种电子设备，包括：处理器、通信接口、存储器和通信总线，其中，所述处理器、通信接口和存储器通过通信总线完成相互间的通信；

所述存储器，用于存放计算机程序；

所述处理器，用于执行所述计算机程序时，实现如前述任一项所述的处理方法。

第四方面，本申请提供了一种非暂态计算机可读存储介质，其特征在于，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令使所述计算机执行如前述任一项所述的处理方法。

本申请实施例提供了一种数据处理方法及系统；其中处理方法包括：获取用于对待配置模型结构进行预先配置的多组预设超参数、训练数据以及验证数据；通过多组所述预设超参数分别对所述待配置模型结构进行配置得到多个待测模型；将多个所述待测模型、所述训练数据和所述验证数据发送至云计算平台，以使所述云计算平台通过训练数据分别对每个所述待测模型进行训练，并分别获取所述云计算平台通过所述验证数据对每个训练后的所述待测模型进行验证得到的收敛信息；所述收敛信息包括：训练后的所述待测模型预测的正确率与训练次数的对应关系；根据接收到的所有所述收敛信息，确定收敛速度最快的所述待测模型对应的目标超参数，并将收敛速度最快的所述待测模型作为最终模型。本申请实施例提供的上述技术方案与现有技术相比具有如下优点：采用本实施例中的方法能够自动化的将超参数配置到待配置模型结构中去，并通过云计算平台对得到的待测模型进行训练，从中选取出收敛速度最快的最终模型以及对应的超参数，可以极大的降低本地端的硬件搭建成本，减少研发人员的超参数配置的时间，提高超参数以及最终模型的确定速度。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并与说明书一起用于解释本发明的原理。

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本申请实施例提供的一种数据处理方法的流程示意图；

图2为本申请另一实施例提供的一种数据处理方法的流程示意图；

图3为本申请另一实施例提供的一种数据处理方法的流程示意图；

图4为本申请另一实施例提供的一种数据处理系统的框图；

图5为本申请实施例提供的一种电子设备的结构示意图。

具体实施方式

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请的一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。

如图1所示，根据本申请实施例的第一方面，提供了一种数据处理方法，包括如下所述步骤S1至S4：

步骤S1.获取用于对待配置模型结构进行预先配置的多组预设超参数、训练数据以及验证数据。

具体的，超参数是在开始学习过程之前预先设置的参数，而不是通过训练得到的参数数据。通常情况下，在机器学习过程中需要对超参数进行优化，给模型选择一组最优超参数，以提高学习的性能和效果。超参数可以包括：1.聚类中类的个数；2.话题模型中话题的数量；3.模型的学习率；4.深层神经网络隐藏层数；一般的，学习率是最重要的超参数。待配置模型结构为未进行任何参数配置的深度学习模型，只有整体模型的架构。由于超参数是会对模型的训练结果造成影响的参数；因此，不同结构的模型或者功能不同的模型所对应的超参数一般各不相同。此外，训练数据以及验证数据也是预先配置得到的。

步骤S2.通过多组预设超参数分别对待配置模型结构进行配置得到多个待测模型。

具体的，当通过超参数对待配置模型结构进行配置后，待配置模型结构就能够用于训练使用了，且在本实施例中，待测模型即为通过超参数对待配置模型结构进行配置得到的。且一般的，由于无法通过一组超参数确定其是否是最适宜于该待配置模型结构的超参数，因此需要通过多组预设超参数分别对待配置模型结构进行配置得到多个待测模型；具体的，可以一次性配置多个待测模型，也可以每进行一个待测模型的训练配置一个。

步骤S3.将多个待测模型、训练数据和验证数据发送至云计算平台，以使云计算平台通过训练数据分别对每个待测模型进行训练，并分别获取云计算平台通过验证数据对每个训练后的待测模型进行验证得到的收敛信息；收敛信息包括：训练后的待测模型预测的正确率与训练次数的对应关系；

具体的，训练数据是用于对待测模型进行训练的数据，可以是预先配置得到的，一般包括多组。通过本实施例中的方法可以将待测模型在云计算平台上进行训练，举例来说，云计算平台可以包括诸如：阿里云、华为云以及私有云等平台，因此可以有效降低本地端的设备建设成本。

根据训练得到的收敛信息，由于收敛信息包括待测模型的正确率与训练次数的对应关系，因此可以得到正确率随训练次数的变化关系，进而可以通过该变化关系确定对训练时的失败率等因素进行判断，当正确率随着训练的进行未发生明显提高时或上下波动较大，则可判定收敛慢，反之则收敛快。

按照上述方法则可得到每个训练后的待测模型对应的收敛信息。

步骤S4.根据接收到的收敛信息，确定收敛速度最快的待测模型对应的目标超参数，并将收敛速度最快的所述待测模型作为最终模型。

具体的，收敛速度最快意味着该最终模型通过配置对应的超参数，可以达到一个良好的收敛效果，并且随着训练的进行，模型的失败率显著降低，因此该目标超参数是适宜于该待配置模型结构的，因此将收敛速度最快的所述待测模型作为最终模型。

因此，采用本实施例中的方法能够自动化的将超参数配置到待配置模型结构中去，并对得到的待测模型进行训练，从中选取出收敛速度最快的最终模型以及对应的超参数，可以极大的降低研发人员的超参数配置的时间，提高超参数以及最终模型的确定速度。

如图2所示，在一些实施例中，如前述的数据处理方法，所述步骤S31将多个待测模型、训练数据和验证数据发送至云计算平台，包括如下所述步骤S31至S33：

步骤S31.确定用于调取训练数据和验证数据的地址；

步骤S32.从候选云计算平台中确定用于进行训练的云计算平台；

步骤S33.将多个待测模型及地址输入云计算平台，以使云计算平台分别获取多个待测模型，并通过地址调取得到训练数据和验证数据。

一般情况下，待测模型以代码的形式输入到云计算平台中。

具体的，用于调取训练数据的地址可以是本地的访问地址，也可以是云端的数据访问或调取地址；因此，向云计算平台导入训练数据的地址，不需要在每次进行训练的时候都进行训练数据的导入，并且基于云计算平台更好的数据读取能力以及处理性能，可以加快数据导入的速度，提高训练效率。一般的，可以在一次训练时，输入一组待测模型、训练数据和验证数据至各个云平台。

在一些实施例中，如前述的数据处理方法，所述步骤S3中，云计算平台通过训练数据分别对每个待测模型进行训练，并分别获取云计算平台通过验证数据对每个训练后的待测模型进行验证得到的收敛信息，其中云计算平台具体执行的步骤可以包括：

获取通过训练数据对每个待测模型进行训练的训练结果。

根据训练结果得到每次训练得到的正确率。

根据正确率与训练次数之间的对应关系，得到收敛信息。

具体的，训练数据可以为预先收集的用于对待测模型进行训练的数据，且一般训练数据会设有多个；由于单个训练数据进行训练得到的结果无法体现正确率，因此为了便于判断正确率，可以将训练数据分为多组，以获得每组训练得到的正确率；因此，就可以得到每组的正确率，例如，当存在5个训练数据集时，且每个训练数据集中包括100组训练数据，则依次通过上述5个训练数据集对待测模型进行训练后得到的收敛信息可以是：第一组正确率为50％，第二组正确率为60％，第三组正确率为70％，第四组正确率为80％，第五组正确率为95％，由于后一组训练数据集训练的模型的是在前一组训练数据集对待测模型进行训练得到，因此可以通过不同训练数据集之间的正确率的变化得到待测模型的收敛信息，一般的，识别的正确率随着训练的进行，有了明显的提升，则表征该待测模型的收敛速度快；此外，还可以计算累计的正确率，例如收敛信息可以是：当训练100次时，正确率为50％，当训练500次时，累计的正确率为75％。

如图3所示，在一些实施例中，如前述的参数调优的数据处理方法，在获取云计算平台通过验证数据对每个训练后的待测模型进行验证得到的收敛信息之后，还包括如下所述步骤S34至S36：

步骤S34.在训练的次数达到第一预设数量时，确定所有训练得到的训练结果中正确率最高的N个最优训练结果。其中，N为大于等于1的整数。

步骤S35.计算得到N个最优训练结果的平均正确率。

步骤S36.在最近一次训练得到的训练结果的正确率与平均正确率之间的关系满足预设停止要求时，停止对待测模型继续进行训练。

具体的，参数N可以是一个人为设定的参数；一般的，第一预设数量的取值以当训练次数超过改数量时，训练的结果的数量才足以用来判断模型的收敛效果是否优良为准。

与前述实施例中相似的，训练结果同样可以是将训练数据分为多组，以获得每组训练得到的正确率；N个最优训练结果为当前训练为止所有训练结果中的最佳的N个训练结果；平均正确率为N个最优训练结果的平均值，例如：当N为5，最有训练结果分别为88％、89％、90％、91％、92％时，则平均正确率为88％+89％+90％+91％+92％/5＝90％。

预设停止要求用于在对待测模型进行训练时，判断其收敛效果的好坏，以及预设停止要求的设定准则为：当待测模型的收敛效果不满足预设停止要求时，说明即使对待测模型继续训练也不会达到更好的收敛效果为准。

举例来说：

当训练结果<M时，不进行是否停止对待测模型继续进行训练的判断；

当训练结果>＝M时，进行判断，判断的算法可以是：

获得所有训练结果的Step M的结果

如果本次结果小于Step M的前5个最好结果的平均值的80％，立刻停止(说明收敛效果差)，否则继续。

因此，采用本实施例中的方法可以有效防止进行无用的训练，浪费运算资源以及时间。

在一些实施例中，如前述的数据处理方法，获取用于对待配置模型结构进行预先配置的预设超参数，包括：

确定预设超参数的取值范围。

具体的，预设超参数的取值范围可以根据超参数的配置经验获取，也可以根据待配置模型结构的模型结构特征进行匹配得到。

确定通过训练数据对上一个待测模型进行训练，得到的历史收敛信息，上一个待测模型通过上一组历史超参数对待配置模型结构进行配置得到。

根据历史收敛信息以及取值范围得到预设超参数。

具体的，根据历史收敛信息以及取值范围得到预设超参数可以定义为一种超参数的自动搜索算法，优选的，可以通过贝叶斯优化方法作为自动搜索算法，贝叶斯优化基于高斯过程，建立目标函数的概率模型，并用它来选择最有希望的超参数来评估待测模型。利用先验知识(即历史收敛信息以及取值范围)逼近未知目标函数的后验分布从而调节超参。由于在贝叶斯优化中，一个目的是收集观察结果，以便尽可能降低机器学习模型的次数，同时尽可能多地显示关于该功能的信息，特别是最佳位置。本实施例中通过确定了超参数的取值范围，同时将历史收敛信息作为历史数据，使贝叶斯优化可以有参考数据，这样，可以有效降低对待测模型的数量，减少数据处理总量，提高最佳超参数的获取效率。

此外，自动搜索算法还可以采用网格搜索、随机搜索、基于梯度的优化等方式进行处理，在此实施例基础公开了上述获取超参数的具体方法之后，如何结合贝叶斯优化、网格搜索、随机搜索、基于梯度进行超参数选定为本领域技术人员根据公知技术所能实现的，在此不再进行赘述。

如图4所示，根据本申请的另一方面，本申请提供了一种数据处理系统，包括：

获取模块11，用于获取用于对待配置模型结构进行预先配置的多组预设超参数、训练数据以及验证数据。

控制模块12，用于通过多组预设超参数分别对待配置模型结构进行配置得到多个待测模型。

数据传输模块，用于将多个待测模型、训练数据和验证数据发送至云计算平台，以使云计算平台通过训练数据分别对每个待测模型进行训练，并分别获取云计算平台通过验证数据对每个训练后的待测模型进行验证得到的收敛信息；收敛信息包括：训练后的待测模型预测的正确率与训练次数的对应关系；

控制模块12，还用于根据接收到的所有收敛信息，确定收敛速度最快的待测模型对应的目标超参数，并将收敛速度最快的待测模型作为最终模型。

具体的，本发明实施例的装置中各模块实现其功能的具体过程可参见方法实施例中的相关描述，此处不再赘述。

在一些实施例中，如前述的数据处理系统，数据传输模块，包括：

地址确定单元，用于确定用于调取训练数据和验证数据的地址。

平台确定单元，用于从候选云计算平台中确定用于进行训练的云计算平台。

传输单元，用于将待测模型及地址输入云计算平台，以使云计算平台分别获取待测模型，并通过地址调取得到训练数据和验证数据。

具体的，本发明实施例的装置中各模块实现其功能的具体过程可参见方法实施例中的相关描述，此处不再赘述。

如图4所示，在一些实施例中，如前述的数据处理系统，还包括：停止判断模块14和自动调参模块15。停止判断模块14用于：

在训练的次数达到第一预设数量时，确定所有训练得到的训练结果中正确率最高的N个最优训练结果。其中，N为大于等于1的整数。

计算得到N个最优训练结果的平均正确率。

在最近一次训练得到的训练结果的正确率与平均正确率之间的关系满足预设停止要求时，停止对待测模型继续进行训练。

自动调参模块11还用于：

确定超参数的取值范围。

确定通过训练数据对上一个待测模型进行训练，得到的历史收敛信息，上一个待测模型通过上一组超参数对待配置模型结构进行配置得到。

根据历史收敛信息以及取值范围得到超参数。

具体的，本发明实施例的装置中各模块实现其功能的具体过程可参见方法实施例中的相关描述，此处不再赘述。

如图4所示，在一些实施例中，如前述的数据处理系统，还包括：云计算平台13；数据传输模块包括：云适配模块16和网关17；

云适配模块16，用于将待测模型转换为与云计算平台适配的数据结构。

云计算平台13，用于通过训练数据分别对每个待测模型进行训练，并分别通过验证数据对每个训练后的待测模型进行验证，得到收敛信息；收敛信息包括：训练后的待测模型预测的正确率与训练次数的对应关系。

网关17，用于将云计算平台得到的收敛信息同步至控制模块。因为云计算平台13的计算资源(容器/vm)需要向本地端的内部服务更新数据，因此，需要提供一个可被云计算平台访问到的网关。

进一步的，还可以包括接口服务模块18和数据库15(DB)，具体的，接口服务模块18可以是API server，API server核心功能是提供了Kubernetes各类资源对象(Pod，RC，Service等)的增删改查及Watch等HTTP Rest接口，成为集群内各个功能模块之间数据交互和通信的中心枢纽，是整个系统的数据总线和数据中心；因此，API server具有：(1)是集群管理的API入口，(2)是资源配额控制的入口，(3)提供了完备的集群安全机制等主要功能，且在本实施例中主要用于接受API请求(对控制模块12和云计算平台13的接口进行请求)的组件，进而调用控制模块12和云计算平台13。

数据库15用于保存本地端的内部的数据，例如训练参数等等。

结合前述实施例，控制模块12整个装置的核心，对上接受接口服务模块18的请求，同时接受网关17转发的消息，对下接入自动调参模块15和停止判断模块14。进一步的，控制模块12还保存整体系统的所有运行时数据结构及缓存。

采用前述一种实施例中的系统进行超参数选择的方法包括如下所述步骤：

(1)、服务端组件中的接口服务模块18收到请求后，将请求转给控制模块12，控制模块12调用自动调参模块11，根据用户输入的参数及取值范围获得初始参数值。

(2)、将这组参数传回给接口服务模块18，然后其调用云适配模块16(CloudAdaptor)，将训练代码(待测模型)、训练参数及已经确定的超参数的数据作为参数发送。

(3)、云适配模块16在云计算平台13中选择合适的云供应商并提交任务。

(4)、运行起来的任务将不断的向网关17汇报自己的训练进展及效果。

(5)、网关17收到后，将其传给控制模块12处理，控制模块12调用停止判断模块14，停止判断模块14记录并给出是否需要中止的建议，如果中止，则接口服务模块18将调用云适配模块16杀死任务，否则不做任何动作。

(6)、当在云计算平台13的任务完成后，将最终的结果返回给网关17，网关17再次发送给控制模块12，控制模块12调用自动调参模块11，自动调参模块11记录最终的结果，并作为下一次提供参数的依据。

(7)、控制模块12会再次启动一个新的任务，直到达到了用户规定的次数上限。

如图4所示，在一些实施例中，还可以包括客户端组件2，用于对上述系统进行访问，进行训练任务的提交以及获取训练结果；可选的，客户单组件2包括：

显示界面21(Dashboard)，提供一个提交自动化调参任务的可视化界面，同时能够看到目前任务的运行状态等。

任务提交模块22(例如CLI)，用于提供用户使用命令行工具提交任务，查看进度的工具

组件模块23(例如Restful API)，提供给SDK给需要集成该功能的组件使用。

根据本申请的另一个实施例，还提供一种电子设备，包括：如图5所示，电子设备可以包括：处理器1501、通信接口1502、存储器1503和通信总线1504，其中，处理器1501，通信接口1502，存储器1503通过通信总线1504完成相互间的通信。

存储器1503，用于存放计算机程序；

处理器1501，用于执行存储器1503上所存放的程序时，实现上述方法实施例的步骤。

上述电子设备提到的总线可以是外设部件互连标准(Peripheral ComponentInterconnect，PCI)总线或扩展工业标准结构(Extended Industry StandardArchitecture，EISA)总线等。该总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。

通信接口用于上述电子设备与其他设备之间的通信。

存储器可以包括随机存取存储器(Random Access Memory，RAM)，也可以包括非易失性存储器(Non-Volatile Memory，NVM)，例如至少一个磁盘存储器。可选的，存储器还可以是至少一个位于远离前述处理器的存储装置。

上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(Network Processor，NP)等；还可以是数字信号处理器(DigitalSignalProcessing，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。

本申请实施例还提供一种非暂态计算机可读存储介质，非暂态计算机可读存储介质存储计算机指令，计算机指令使计算机执行上述方法实施例的步骤。

需要说明的是，在本文中，诸如“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

以上所述仅是本发明的具体实施方式，使本领域技术人员能够理解或实现本发明。对这些实施例的多种修改对本领域的技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所申请的原理和新颖特点相一致的最宽的范围。

Claims (10)

1.一种数据处理方法，其特征在于，包括：

获取用于对待配置模型结构进行预先配置的多组预设超参数、训练数据以及验证数据；

通过多组所述预设超参数分别对所述待配置模型结构进行配置得到多个待测模型；

将多个所述待测模型、所述训练数据和所述验证数据发送至云计算平台，以使所述云计算平台通过训练数据分别对每个所述待测模型进行训练，并分别获取所述云计算平台通过所述验证数据对每个训练后的所述待测模型进行验证得到的收敛信息；所述收敛信息包括：训练后的所述待测模型预测的正确率与训练次数的对应关系；

根据接收到的所有所述收敛信息，确定收敛速度最快的所述待测模型对应的目标超参数，并将收敛速度最快的所述待测模型作为最终模型。

2.根据权利要求1所述的数据处理方法，其特征在于，将多个所述待测模型、所述训练数据和所述验证数据发送至云计算平台，包括：

确定用于调取所述训练数据和所述验证数据的地址；

从候选云计算平台中确定用于进行训练的所述云计算平台；

将多个所述待测模型及所述地址输入所述云计算平台，以使所述云计算平台分别获取多个所述待测模型，并通过所述地址调取得到所述训练数据和所述验证数据。

3.根据权利要求1所述的数据处理方法，其特征在于，在所述获取所述云计算平台通过所述验证数据对每个训练后的所述待测模型进行验证得到的收敛信息之后，还包括：

在训练的次数达到第一预设数量时，确定所有训练得到的训练结果中正确率最高的N个最优训练结果；其中，N为大于等于1的整数；

计算得到所述N个最优训练结果的平均正确率；

在最近一次训练得到的训练结果的正确率与所述平均正确率之间的关系满足预设停止要求时，停止对所述待测模型继续进行训练。

4.根据权利要求1所述的数据处理方法，其特征在于，所述获取用于对待配置模型结构进行预先配置的预设超参数，包括：

确定所述预设超参数的取值范围；

确定通过所述训练数据对上一个待测模型进行训练，得到的历史收敛信息，所述上一个待测模型通过上一组历史超参数对所述待配置模型结构进行配置得到；

根据所述历史收敛信息以及所述取值范围得到所述预设超参数。

5.一种数据处理系统，其特征在于，包括：

获取模块，用于获取用于对待配置模型结构进行预先配置的多组预设超参数、训练数据以及验证数据；

控制模块，用于通过多组所述预设超参数分别对所述待配置模型结构进行配置得到多个待测模型；

数据传输模块，用于将多个所述待测模型、所述训练数据和所述验证数据发送至云计算平台，以使所述云计算平台通过训练数据分别对每个所述待测模型进行训练，并分别获取所述云计算平台通过所述验证数据对每个训练后的所述待测模型进行验证得到的收敛信息；所述收敛信息包括：训练后的所述待测模型预测的正确率与训练次数的对应关系；

所述控制模块，还用于根据接收到的所有所述收敛信息，确定收敛速度最快的所述待测模型对应的目标超参数，并将收敛速度最快的所述待测模型作为最终模型。

6.根据权利要求5所述的数据处理系统，其特征在于，所述数据传输模块，包括：

地址确定单元，用于确定用于调取所述训练数据和所述验证数据的地址；

平台确定单元，用于从候选云计算平台中确定用于进行训练的所述云计算平台；

传输单元，用于将所述待测模型及所述地址输入所述云计算平台，以使所述云计算平台分别获取所述待测模型，并通过所述地址调取得到所述训练数据和所述验证数据。

7.根据权利要求5所述的数据处理系统，其特征在于，还包括：停止判断模块；所述停止判断模块用于：

在训练的次数达到第一预设数量时，确定所有训练得到的训练结果中正确率最高的N个最优训练结果；其中，N为大于等于1的整数；

计算得到所述N个最优训练结果的平均正确率；

在最近一次训练得到的训练结果的正确率与所述平均正确率之间的关系满足预设停止要求时，停止对所述待测模型继续进行训练。

8.根据权利要求5所述的数据处理系统，其特征在于，还包括：云计算平台；所述数据传输模块包括：云适配模块和网关；

所述云适配模块，用于将所述待测模型转换为与所述云计算平台适配的数据结构；

所述云计算平台，用于通过训练数据分别对每个所述待测模型进行训练，并分别通过所述验证数据对每个训练后的所述待测模型进行验证，得到收敛信息；所述收敛信息包括：训练后的所述待测模型预测的正确率与训练次数的对应关系；

所述网关，用于将所述云计算平台得到的所述收敛信息同步至所述控制模块。

9.一种电子设备，其特征在于，包括：处理器、通信接口、存储器和通信总线，其中，所述处理器、通信接口和存储器通过通信总线完成相互间的通信；

所述存储器，用于存放计算机程序；

所述处理器，用于执行所述计算机程序时，实现权利要求1-4任一项所述的处理方法。

10.一种非暂态计算机可读存储介质，其特征在于，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令使所述计算机执行权利要求1-4任一项所述的处理方法。

Images