CN110163269A - 基于深度学习的模型生成方法、装置和计算机设备 - Google Patents

Abstract

本申请涉及一种基于深度学习的模型生成方法、装置和计算机设备。包括：接收模块组合指令和超参数矩阵；其中，模块组合指令表示对预设深度学习模块进行组合的指令；超参数矩阵表示为需要进行组合的深度学习模块设置的超参数所组成的矩阵；根据模块组合指令、超参数矩阵和预设深度学习模块，得到至少一个框架模型；接收训练数据，根据训练数据对至少一个框架模型进行训练，得到训练模型；接收测试数据，根据测试数据对训练模型进行测试，得到目标模型。从而能够减少对难度较大算法进行推导并编写代码的过程，大大简化模型训练和测试的流程，降低解决问题的成本。

Description

基于深度学习的模型生成方法、装置和计算机设备

技术领域

本申请涉及深度学习技术领域，特别涉及一种基于深度学习的模型生成方法、装置和计算机设备。

背景技术

随着机器学习技术的发展，深度学习作为机器学习的一个重要分支也得到了广泛的发展和应用。深度学习的应用主要在于能建立模拟人脑进行分析学习的神经网络，能从数据中自动分析获得规律，模仿人脑的机制来解释数据，在图像、声音和文本处理方面具有良好的应用。目前，使用深度学习解决图像识别问题的流程大致可以分为以下几个部分：数据预处理、编写算法、模型训练、模型测试和模型发布。

然而，深度学习算法的编写要求从业人员有较高的算法认知水平和代码编写水平，且整个模型训练和测试流程繁琐而重复，使得应用深度学习解决问题的成本往往很大。

发明内容

基于此，有必要针对上述技术问题，提供一种基于深度学习的模型生成方法、装置和计算机设备。

一种基于深度学习的模型生成方法，所述方法包括：

接收模块组合指令和超参数矩阵；其中，所述模块组合指令表示对预设深度学习模块进行组合的指令；所述超参数矩阵表示为需要进行组合的深度学习模块设置的超参数所组成的矩阵；

根据所述模块组合指令、所述超参数矩阵和所述预设深度学习模块，得到至少一个框架模型；

接收训练数据，根据所述训练数据对所述至少一个框架模型进行训练，得到训练模型；

接收测试数据，根据所述测试数据对所述训练模型进行测试，得到目标模型。

在其中一个实施例中，所述接收训练数据，根据所述训练数据对所述至少一个框架模型进行训练，得到训练模型，包括：

将所述训练数据输入所述至少一个框架模型，对所述至少一个框架模型进行训练，得到至少一个训练结果；其中，所述至少一个训练结果包括至少一个中间训练模型和与所述至少一个中间训练模型对应的模型输出结果，所述模型输出结果包括至少一个中间模型输出性能指标；

将所述训练数据输入所述至少一个框架模型，对所述至少一个框架模型进行训练，得到至少一个初始训练结果；

根据所述训练数据的各项属性，对所述训练数据建立全属性索引；

根据建立全属性索引后的所述训练数据对所述至少一个初始训练结果进行属性分析，得到与每个初始训练结果对应的数据分析结果，所述数据分析结果包括至少一个初始训练模型输出性能指标；

若所述初始训练模型输出性能指标满足第二预设条件，则将满足所述第二预设条件的数据分析结果所对应的初始训练结果确定为所述训练结果。

在其中一个实施例中，所述接收测试数据，根据所述测试数据对所述训练模型进行测试，得到目标模型，包括：

将所述测试数据输入所述训练模型，对所述训练模型进行测试，得到模型测试结果；其中，所述模型测试结果包括至少一个测试模型和与所述至少一个测试模型对应的测试模型输出结果，所述测试模型输出结果包括至少一个测试模型输出性能指标；

若所述测试模型输出性能指标满足第三预设条件，则确定所述训练模型为所述目标模型。

在其中一个实施例中，所述方法还包括：

若存在多个模型生成任务，则检测每个模型生成任务的任务属性，生成任务属性队列；其中，所述模型生成任务包括得到训练模型的任务和得到测试模型的任务；

根据所述任务属性队列，对所述多个模型生成任务进行排序，生成任务优先级队列；

根据所述任务优先级队列和任务处理空间，对所述多个模型生成任务进行处理。

在其中一个实施例中，所述方法还包括：

对原始数据进行可视化处理，得到可视化数据；其中，所述可视化数据包括规范数据和非规范数据；

获取所述可视化数据中的非规范数据，对所述非规范数据进行修正，得到修正数据；

将所述规范数据和所述修正数据确定为用于进行训练和测试的数据集。

在其中一个实施例中，所述获取所述可视化数据中的非规范数据，包括：

将所述可视化数据输入预设损失函数模型，得到与每个可视化数据对应的损失函数值；

对所述损失函数值进行排序，将预设比例的损失函数值确定为所述非规范数据的损失函数值；

将与所述非规范数据的损失函数值对应的可视化数据确定为所述非规范数据。

在其中一个实施例中，所述方法还包括：

接收模型发布指令，对所述目标模型进行打包发布。

一种基于深度学习的模型生成方法，所述方法包括：

响应于界面上对预设深度学习模块的配置操作，生成模块组合指令；其中，所述模块组合指令表示对预设深度学习模块进行组合的指令；

响应于所述界面上对超参数的配置操作，生成超参数矩阵；其中，所述超参数矩阵表示为需要进行组合的深度学习模块设置的超参数所组成的矩阵；

将所述模块组合指令和所述超参数矩阵发送至服务器，以使所述服务器根据所述模块组合指令、所述超参数矩阵和所述预设深度学习模块，得到至少一个框架模型，并将所述框架模型显示于所述界面上；

响应于所述界面上对所述框架模型的训练配置操作，生成训练操作指令，并将所述训练操作指令发送至所述服务器，以使所述服务器根据所述训练操作指令对所述至少一个框架模型进行训练，得到训练模型；其中，所述训练操作指令表示指示所述服务器对所述至少一个框架模型进行训练的指令；

响应于所述界面上对所述训练模型的测试配置操作，生成测试操作指令，并将所述测试操作指令发送至所述服务器，以使所述服务器根据所述测试操作指令对所述训练模型进行测试，得到目标模型；其中，所述测试操作指令表示指示所述服务器对所述训练模型进行测试的指令；

响应于所述界面上的模型发布配置操作，生成模型发布指令，以使所述服务器根据所述模型发布指令生成发布模型。

在其中一个实施例中，所述方法还包括：

将模型生成任务的任务进度显示在所述界面上；其中，所述模型生成任务包括得到所述训练模型的任务和得到所述训练模型的任务。

一种基于深度学习的模型生成装置，所述装置包括：

信息获取模块，用于接收模块组合指令和超参数矩阵；其中，所述模块组合指令表示对预设深度学习模块进行组合的指令；所述超参数矩阵表示为需要进行组合的深度学习模块设置的超参数所组成的矩阵；

框架模型获取模块，用于根据所述模块组合指令、所述超参数矩阵和所述预设深度学习模块，得到至少一个框架模型；

训练模型获取模块，用于接收训练数据，根据所述训练数据对所述至少一个框架模型进行训练，得到训练模型；

目标模型获取模块，用于接收测试数据，根据所述测试数据对所述训练模型进行测试，得到目标模型。

一种基于深度学习的模型生成装置，所述装置包括：

组合指令生成模块，用于响应于界面上对深度学习模块的配置操作，生成模块组合指令；其中，所述模块组合指令表示对预设深度学习模块进行组合的指令；

超参数矩阵生成模块，用于响应于所述界面上对超参数的配置操作，生成超参数矩阵；其中，所述超参数矩阵表示为需要进行组合的深度学习模块设置的超参数所组成的矩阵；

框架模型获取模块，用于将所述模块组合指令和所述超参数矩阵发送至服务器，以使所述服务器根据所述模块组合指令、所述超参数矩阵和预设深度学习模块，得到至少一个框架模型，并将所述框架模型显示于所述界面上；

训练模型获取模块，用于响应于所述界面上对所述框架模型的训练配置操作，生成训练操作指令，并将所述训练操作指令发送至所述服务器，以使所述服务器根据所述训练操作指令对所述至少一个框架模型进行训练，得到训练模型；其中，所述训练操作指令表示指示所述服务器对所述至少一个框架模型进行训练的指令；

目标模型获取模块，用于响应于所述界面上对所述训练模型的测试配置操作，生成测试操作指令，并将所述测试操作指令发送至所述服务器，以使所述服务器根据所述测试操作指令对所述训练模型进行测试，得到目标模型；其中，所述测试操作指令表示指示所述服务器对所述训练模型进行测试的指令；

发布模型获取模块，用于响应于界面上对模型发布的配置操作，生成模型发布指令，以使所述服务器根据所述模型发布指令生成发布模型。

一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述任一项所述方法的步骤。

一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述任一项所述方法的步骤。

上述基于深度学习的模型生成方法、装置和计算机设备，通过接收模块组合指令和超参数矩阵，并根据模块组合指令、超参数矩阵和预设深度学习模块，得到至少一个框架模型，进一步，接收训练数据，根据训练数据对至少一个框架模型进行训练，得到训练模型，接着，接收测试数据，根据测试数据对训练模型进行测试，得到目标模型。其中，通过预设深度学习模块，能够在实现相应功能时直接调用相应的深度学习模块，减少对难度较大算法进行推导并编写代码的过程，进一步，可仅通过对模块组合指令和超参数矩阵的调整，使得根据模块组合指令、超参数矩阵和预设深度学习模块，得到至少一个框架模型，可以同时对至少一个框架模型进行训练和测试，遍历所有框架模型，最终得到目标模型，使得模型训练和测试的流程大大简化，降低解决问题的成本。

附图说明

图1为一个实施例中基于深度学习的模型生成方法的流程示意图；

图2为一个实施例中步骤S300的细化步骤的流程示意图；

图3为一个实施例中步骤S310的细化步骤的流程示意图；

图4为一个实施例中步骤S400的细化步骤的流程示意图；

图5为一个实施例中任务优先级处理过程的流程示意图；

图6为一个实施例中数据处理过程的流程示意图的流程示意图；

图7为一个实施例中非规范数据获取的流程示意图；

图8为另一个实施例中基于深度学习的模型生成方法的流程示意图；

图9为一个实施例中基于深度学习的模型生成装置的结构框图；

图10为另一个实施例中基于深度学习的模型生成装置的结构框图；

图11为一个实施例中计算机设备的内部结构图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

可以理解本申请中所使用的术语“第一”、“第二”等可在本文中用于描述各种条件关系，但这些条件关系不受这些术语限制。这些术语仅用于将一个条件关系与另一个条件关系区分开来。

在一个实施例中，如图1所示，提供了一种基于深度学习的模型生成方法，包括以下步骤：

步骤S100，接收模块组合指令和超参数矩阵；其中，模块组合指令表示对预设深度学习模块进行组合的指令；超参数矩阵表示为需要进行组合的深度学习模块设置的超参数所组成的矩阵。

其中，预设深度学习模块是指在服务器中预先设置的深度学习模块。深度学习模块是指将特定功能的深度学习算法进行模块化，形成的能实现特定功能的模块。预设深度学习模块可以在界面上显示，由一个节点表示。

模块组合指令可由界面上对相关预设深度学习模块的拖拽和连线生成，不同的预设深度学习模块以及不同的连线表示不同的指令。

超参数矩阵可由界面上对超参数的配置生成，同样地，超参数的具体设置情况也可在界面上显示，每一个超参数可以由一个区别于预设深度学习模块的节点表示。具体地，超参数可以为数据所在的路径、批处理参数(batch_size)和批处理(Batch)等。

步骤S200，根据模块组合指令、超参数矩阵和预设深度学习模块，得到至少一个框架模型。

具体地，在界面选择需要的预设深度学习模块，将选中的预设深度学习模块拖拽至操作区域，对操作区域中的预设深度学习模块进行连线，得到模块组合指令，之后为每一深度学习模块设置超参数，得到超参数矩阵，这样就由模块组合指令、超参数矩阵和预设深度学习模块得到了至少一个框架模型。例如，A、B、C、D、E和F分别代表6个不同的预设深度学习模块，模块组合指令指示选中C、D和E模块进行组合，组合顺序分别为E、C和D，为选中的顺序为E、C和D的预设深度学习模块设置的超参数分别为3、4和2，此时得到1个框架模型，可以表示为3E+4C+2D。类似地，A、B、C、D、E和F分别代表6个不同的预设深度学习模块，模块组合指令指示选中C、D和E模块以及A、D和F进行组合，组合顺序分别为E、C和D以及F、A和D，为选中的顺序为E、C和D以及F、A、B和D的预设深度学习模块设置的超参数分别为3、4和2以及2、5、4和3，此时得到2个框架模型，可以表示为3E+4C+2D以及2F+5A+4B+3D。应用模块组合指令、超参数矩阵和预设深度学习模块还可以得到多个框架模型，每个框架模型的预设深度学习模块的模块数、组合方式、组合顺序和超参数的设定并不做具体限定，以满足实际设置需求，不违反深度学习算法的规律为准。关于得到多个框架模型的方式和最终效果与得到1个和2个框架模型的方式类似，在此不再赘述。

步骤S300，接收训练数据，根据训练数据对至少一个框架模型进行训练，得到训练模型。

其中，训练数据是用来对框架模型进行训练的包含标注信息的数据。训练数据可以为带有标注的人脸识别图像，标注项可以为关键点、性别、年龄和表情等。训练数据还可以为自动驾驶的点标注、矩形拉框标注、多边形标注、3D拉框标注、3D点云标注、可行使区域分割、道路交通标志(车道线标注、标志牌标注、红绿灯标注和泊车位标注)、跟踪标注等。

步骤S400，接收测试数据，根据测试数据对训练模型进行测试，得到目标模型。

其中，测试数据是用来对训练模型进行测试的包含标注信息的数据。测试数据与训练数据同属于一个大的数据集，为同一数据集中的不同数据，以保证训练和测试的独立性，提高模型的独立性和准确性。测试数据可以为带有标注的人脸识别图像，标注项可以为关键点、性别、年龄和表情等，还可以为自动驾驶的点标注、矩形拉框标注、多边形标注、3D拉框标注、3D点云标注、可行使区域分割、道路交通标志(车道线标注、标志牌标注、红绿灯标注和泊车位标注)、跟踪标注等。

上述基于深度学习的模型生成方法中，通过接收模块组合指令和超参数矩阵，并根据模块组合指令、超参数矩阵和预设深度学习模块，得到至少一个框架模型，进一步，接收训练数据，根据训练数据对至少一个框架模型进行训练，得到训练模型，接着，接收测试数据，根据测试数据对训练模型进行测试，得到目标模型。其中，通过预设深度学习模块，能够在实现相应功能时直接调用相应的深度学习模块，减少对难度较大算法进行推导并编写代码的过程，进一步，可仅通过对模块组合指令和超参数矩阵的调整，使得根据模块组合指令、超参数矩阵和预设深度学习模块，得到至少一个框架模型，可以同时对至少一个框架模型进行训练和测试，遍历所有框架模型，最终得到目标模型，使得模型训练和测试的流程大大简化，降低解决问题的成本。

在其中一个实施例中，如图2所示，为步骤S300的细化步骤，具体包括以下步骤：

步骤S310，将训练数据输入至少一个框架模型，对至少一个框架模型进行训练，得到至少一个训练结果；其中，至少一个训练结果包括至少一个中间训练模型和与至少一个中间训练模型对应的模型输出结果，模型输出结果包括至少一个中间模型输出性能指标。

步骤S320，将中间模型输出性能指标与第一预设条件进行比较，将满足第一预设条件的模型输出结果所对应的中间训练模型，确定为训练模型。

其中，第一预设条件根据具体的模型需求而定，例如，可以为对模型的损失函数值进行的限定，当损失函数值小于等于某一限定值时判定为符合条件，大于某一限定值时为不符合条件。第一预设条件也可以为其他方式的限定，在此不做具体限定。具体地，用训练数据对相应数量的框架模型进行训练，可以得到相应数量的中间训练模型。

将中间模型输出性能指标与第一预设条件进行比较，将满足第一预设条件的模型输出结果所对应的中间训练模型，确定为训练模型。需要说明的是，满足第一预设条件的模型输出结果可以为一个也可以为多个，所有满足第一预设条件的模型输出结果所对应的中间训练模型均可确定为训练模型。可选地，也可以没有满足第一预设条件的模型输出结果所对应的中间训练模型，此时训练结束，返回接收模块组合指令和超参数矩阵的步骤。

可选地，最终得到的训练模型的数量小于等于框架模型的数量。

上述实施例中，通过将训练数据输入至少一个框架模型，对至少一个框架模型进行训练，得到至少一个训练结果；其中，至少一个训练结果包括至少一个中间训练模型和与至少一个中间训练模型对应的模型输出结果，模型输出结果包括至少一个中间模型输出性能指标；将中间模型输出性能指标与第一预设条件进行比较，将满足第一预设条件的模型输出结果所对应的中间训练模型，确定为所述训练模型。其中，通过构建多个框架模型，并对所有框架模型进行遍历训练，最终得到训练模型的过程中，可以同时对至少一个框架模型进行训练，遍历所有框架模型，无需单独匹配具体的深度学习算法代码段和相应的超参数，使得模型训练的流程大大简化。

在其中一个实施例中，如图3所示，为步骤S310的细化步骤，具体包括以下步骤：

步骤S311，将训练数据输入至少一个框架模型，对至少一个框架模型进行训练，得到至少一个初始训练结果。

步骤S312，根据训练数据的各项属性，对训练数据建立全属性索引，根据建立全属性索引后的训练数据对至少一个初始训练结果进行属性分析，得到与每个初始训练结果对应的数据分析结果，数据分析结果包括至少一个初始训练模型输出性能指标。

步骤S313，若初始训练模型输出性能指标满足第二预设条件，则将满足第二预设条件的数据分析结果所对应的初始训练结果确定为训练结果。

其中，第二预设条件根据具体的用户需求而定，例如，可以为对图像处理结果的损失函数值进行的限定，当损失函数值小于等于某一限定值时判定为符合条件，大于某一限定值时为不符合条件。第二预设条件也可以为其他方式的限定，在此不做具体限定。

具体地，对训练数据建立全属性索引，以使根据全属性索引在数据层面上对训练结果进行全面的分析，并最终将训练数据与训练结果之间的数据分析形成一个数据分析结果集。例如，可以根据训练数据分析人脸图像应用于该训练模型在性别、年龄和表情的分类效果。

将初始训练模型输出性能指标和第二预设条件进行比较，若初始训练模型输出性能指标满足第二预设条件，则将满足第二预设条件的数据分析结果所对应的初始训练结果确定为训练结果。需要说明的是，满足第二预设条件的数据分析结果可以为一个也可以为多个，满足第二预设条件的数据分析结果所对应的初始训练结果均可确定为训练结果。可选地，也可以没有满足第二预设条件的数据分析结果所对应的初始训练结果，此时训练结束，返回接收模块组合指令和超参数矩阵的步骤。

上述实施例中，将训练数据输入至少一个框架模型，对至少一个框架模型进行训练，得到至少一个初始训练结果；根据训练数据的各项属性，对训练数据建立全属性索引，根据建立全属性索引后的训练数据对至少一个初始训练结果进行属性分析，得到与每个初始训练结果对应的数据分析结果，数据分析结果包括至少一个初始训练模型输出性能指标；若初始训练模型输出性能指标满足第二预设条件，则将满足第二预设条件的数据分析结果所对应的初始训练结果确定为训练结果。其中，通过对训练数据建立全属性索引，可以方便在数据层面上对训练模型进行全面的分析，分析训练模型在数据层面上的问题。

在其中一个实施例中，如图4所示，为步骤S400的细化步骤，具体包括以下步骤：

步骤S410，将测试数据输入训练模型，对训练模型进行测试，得到模型测试结果；其中，模型测试结果包括至少一个测试模型和与至少一个测试模型对应的测试模型输出结果，测试模型输出结果包括至少一个测试模型输出性能指标。

步骤S420，若测试模型输出性能指标满足第三预设条件，则确定训练模型为目标模型。

可选地，若测试模型输出性能指标不满足第三预设条件，则返回执行接收模块组合指令和超参数矩阵的步骤。

其中，第三预设条件根据具体的模型需求而定，例如，可以为对模型的损失函数值进行的限定，当损失函数值小于等于某一限定值时判定为符合条件，大于某一限定值时为不符合条件。第三预设条件也可以为其他方式的限定，在此不做具体限定。具体地，用测试数据对一定数量的训练模型进行测试，可以得到相应数量的模型测试结果集。

将测试模型输出性能指标与第三预设条件进行比较，将满足第三预设条件的训练模型确定为目标模型。需要说明的是，满足第三预设条件的训练模型可以为一个也可以为多个，所有满足第三预设条件的训练模型均可确定为目标模型。可选地，也可以没有满足第三预设条件的训练模型，此时训练结束，返回接收模块组合指令和超参数矩阵的步骤。可选地，最终得到的目标模型的数量小于等于训练模型的数量。

上述实施例中，将测试数据输入训练模型，对训练模型进行测试，得到模型测试结果；其中，模型测试结果包括至少一个测试模型和与至少一个测试模型对应的测试模型输出结果，测试模型输出结果包括至少一个测试模型输出性能指标；若测试模型输出性能指标满足第三预设条件，则确定训练模型为目标模型。其中，对所有训练模型进行遍历测试，最终得到目标模型的过程中，可以同时对至少一个训练模型进行测试，遍历所有训练模型，使得模型测试的流程大大简化。

在其中一个实施例中，如图5所示，为任务优先级处理过程的流程示意图，具体包括以下步骤：

步骤S510，若存在多个模型生成任务，则检测每个模型生成任务的任务属性，生成任务属性队列；其中，模型生成任务包括得到训练模型的任务和得到测试模型的任务。

步骤S520，根据任务属性队列，对多个模型生成任务进行排序，生成任务优先级队列。

步骤S530，根据任务优先级队列和任务处理空间，对多个模型生成任务进行处理。

具体地，若服务器上需要同时运行多个任务，则检测每个任务的任务属性(主要是检测完成该任务需要的运行空间)，根据检测结果生成一组优先级队列，该队列可以按照其所需运行空间的大小进行排序，进一步根据任务优先级队列和可供执行任务的任务处理空间，对模型生成任务进行处理。

例如，目前待处理的模型生成任务有3个，分别为L、M和N，所需要的运行空间分别为100M、120M和140M，其紧急性依次升高，检测到有处理空间时优先处理紧急性较高的任务。现在可供执行任务的处理器仅有2个，分别为J和K，可供执行任务的任务处理空间分别为110M和150M。此时，优先判断是否有足够的运行空间处理任务N，显然处理空间为150M的处理器K满足条件，则应用处理器K对任务N进行处理；接着判断是否有足够的运行空间处理任务M，若没有，继续下一步，判断是否有足够的运行空间处理任务L，显然处理空间为110M的处理器J满足条件，则应用处理器J对任务L进行处理。由此，可以看出，对任务的处理要结合任务的优先级、处理任务所需的空间和可供执行任务的处理空间而定。

上述实施例中，根据任务属性队列，对多个模型生成任务进行排序，生成任务优先级队列；根据任务优先级队列和任务处理空间，对多个模型生成任务进行处理。其中，对任务的处理要结合任务的优先级、处理任务所需的空间和可供执行任务的处理空间而定，能够配合任务队列，有效地利用硬件资源安排任务优先级。

在其中一个实施例中，如图6所示，为数据处理过程的流程示意图，具体包括以下步骤：

步骤S610，对原始数据进行可视化处理，得到可视化数据；其中，可视化数据包括规范数据和非规范数据。

步骤S620，获取可视化数据中的非规范数据，对非规范数据进行修正，得到修正数据。

步骤S630，将规范数据和修正数据确定为用于进行训练和测试的数据集。

其中，在图像识别领域，非规范数据表示待处理图像模糊或是标注错误等。规范数据是与非规范数据相对应的数据，表示数据完好，图像清晰且标注正确。非规范数据需要进一步的修正而规范数据无需进行额外的修正。

具体地，对原始数据进行可视化处理后，提取其中的非规范数据，对非规范数据进行标注修正，并将修正后的数据与规范数据一起构成可供训练和测试的数据集，该数据集包括训练数据和测试数据。

上述实施例中，对原始数据进行可视化处理，得到可视化数据；其中，可视化数据包括规范数据和非规范数据；获取可视化数据中的非规范数据，对非规范数据进行修正，得到修正数据；将规范数据和修正数据确定为用于进行训练和测试的数据集。其中，对原始数据的上述处理，能够保证训练数据和测试数据的准确性，为获得良好的训练模型和目标模型提供数据基础。

在其中一个实施例中，如图7所示，为非规范数据获取的流程示意图，具体包括以下步骤：

步骤S621，将可视化数据输入预设损失函数模型，得到与每个可视化数据对应的损失函数值。

步骤S622，对损失函数值进行排序，将预设比例的损失函数值确定为非规范数据的损失函数值。

步骤S623，将与非规范数据的损失函数值对应的可视化数据确定为非规范数据。

其中，预设损失函数模型为服务器中预设的可以计算得到损失函数值的模型。将数据输入预设损失函数模型，可以得到相应地损失函数值。

具体地，把可视化数据输入预设损失函数模型，得到相应的损失函数值，将损失函数的值进行从大到小排序，并按照一定的比例取前面一部分数据作为非规范数据。可选地，在数据可视化后，还可以先对数据按某些预设的过滤条件进行过滤得到需要的数据，例如过滤出所有男性的图像，或者所有年龄大于某个值的所有图像等。

上述实施例中，将可视化数据输入预设损失函数模型，得到与每个可视化数据对应的损失函数值；对损失函数值进行排序，将预设比例的损失函数值确定为非规范数据的损失函数值；将与非规范数据的损失函数值对应的可视化数据确定为非规范数据。其中，准确地获取非规范数据，能提高对非规范数据的处理的准确性，进一步提高训练数据和测试数据的准确性，为获得良好的训练模型和目标模型提供数据基础。

在一个实施例中，可选地，在步骤S400之后，还可以接收模型发布指令，对目标模型进行打包发布。

具体地，在得到目标模型后，可进一步在界面上采用例如表格的形式列出需要被打包的模型，然后通过对表格的编辑选择需要打包发布的目标模型，这里选择要打包发布的目标模型可以为一个也可以为多个，通过在表格中增加或减少一条目标模型点选完成自动打包和发布的操作。模型发布时一般需要将几个训练好的目标模型打包到一起，然后再发布。例如，人脸识别模型通常需要和人脸检测模型打包发布。

在一个实施例中，如图8所示，提供了一种基于深度学习的模型生成方法，包括以下步骤：

步骤S1000，响应于界面上对预设深度学习模块的配置操作，生成模块组合指令；其中，模块组合指令表示对预设深度学习模块进行组合的指令。

其中，预设深度学习模块是指在服务器中预先设置的深度学习模块。深度学习模块是指将特定功能的深度学习算法进行模块化，形成的能实现特定功能的模块。预设深度学习模块可以在界面上显示，由一个节点表示。

模块组合指令可由界面上对相关预设深度学习模块的拖拽和连线生成，不同的预设深度学习模块以及不同的连线表示不同的指令。

步骤S2000，响应于界面上对超参数的配置操作，生成超参数矩阵；其中，超参数矩阵表示为需要进行组合的深度学习模块设置的超参数所组成的矩阵。

其中，超参数矩阵可由界面上对超参数的配置生成，同样地，超参数的具体设置情况也可在界面上显示，每一个超参数可以由一个区别于预设深度学习模块的节点表示。

步骤S3000，将模块组合指令和超参数矩阵发送至服务器，以使服务器根据模块组合指令、超参数矩阵和预设深度学习模块，得到至少一个框架模型，并将框架模型显示于界面上。

具体地，在界面选择需要的预设深度学习模块，将选中的预设深度学习模块拖拽至操作区域，对操作区域中的预设深度学习模块进行连线，并为每一深度学习模块设置超参数，这样就由模块组合指令、超参数矩阵和预设深度学习模块得到了至少一个框架模型。例如，A、B、C、D、E和F分别代表6个不同的预设深度学习模块，模块组合指令指示选中C、D和E模块进行组合，组合顺序分别为E、C和D，为选中的顺序为E、C和D的预设深度学习模块设置的超参数分别为3、4和2，此时得到1个框架模型，可以表示为3E+4C+2D。类似地，A、B、C、D、E和F分别代表6个不同的预设深度学习模块，模块组合指令指示选中C、D和E模块以及A、D和F进行组合，组合顺序分别为E、C和D以及F、A和D，为选中的顺序为E、C和D以及F、A、B和D的预设深度学习模块设置的超参数分别为3、4和2以及2、5、4和3，此时得到2个框架模型，可以表示为3E+4C+2D以及2F+5A+4B+3D。应用模块组合指令、超参数矩阵和预设深度学习模块还可以得到多个框架模型，每个框架模型的预设深度学习模块的模块数、组合方式、组合顺序和超参数的设定并不做具体限定，以满足实际设置需求，不违反深度学习算法的规律为准。关于得到多个框架模型的方式和最终效果与得到1个和2个框架模型的方式类似，在此不再赘述。

步骤S4000，响应于界面上对框架模型的训练配置操作，生成训练操作指令，并将训练操作指令发送至服务器，以使服务器根据训练操作指令对至少一个框架模型进行训练，得到训练模型；其中，训练操作指令表示指示服务器对至少一个框架模型进行训练的指令。

其中，训练数据是用来对框架模型进行训练的数据。训练数据可以为带有标注的人脸识别图像，标注项可以为关键点、性别、年龄和表情等。训练数据还可以为自动驾驶的点标注、矩形拉框标注、多边形标注、3D拉框标注、3D点云标注、可行使区域分割、道路交通标志(车道线标注、标志牌标注、红绿灯标注和泊车位标注)、跟踪标注等。

具体地，将训练数据输入至少一个框架模型，对所有框架模型进行遍历，经过遍历训练，得到训练模型。

步骤S5000，响应于界面上对训练模型的测试配置操作，生成测试操作指令，并将测试操作指令发送至服务器，以使服务器根据测试操作指令对训练模型进行测试，得到目标模型；其中，测试操作指令表示指示服务器对训练模型进行测试的指令。

其中，测试数据是用来对训练模型进行测试的数据。测试数据与训练数据为同一类数据，但为同一类数据的不同批数据，以保证训练和测试的独立性，提高模型的独立性和准确性。测试数据可以为带有标注的人脸识别图像，标注项可以为关键点、性别、年龄和表情等，还可以为自动驾驶的点标注、矩形拉框标注、多边形标注、3D拉框标注、3D点云标注、可行使区域分割、道路交通标志(车道线标注、标志牌标注、红绿灯标注和泊车位标注)、跟踪标注等。

具体地，将测试数据输入训练模型，对训练模型进行测试，得到目标模型。

步骤S6000，响应于界面上的模型发布配置操作，生成模型发布指令，以使服务器根据模型发布指令生成发布模型。

具体地，在得到目标模型后，可进一步在界面上采用例如表格的形式列出需要被打包的模型，然后通过对表格的编辑选择需要打包发布的目标模型(包括可以增加或减少一条目标模型)，完成自动打包和发布的操作。

可选地，将模型生成任务的任务进度显示在界面上；其中，模型生成任务包括得到训练模型的任务和得到训练模型的任务。

上述基于深度学习的模型生成方法中，通过响应于界面上对预设深度学习模块的配置操作，生成模块组合指令；其中，模块组合指令表示对预设深度学习模块进行组合的指令；响应于界面上对超参数的配置操作，生成超参数矩阵；其中，超参数矩阵表示为需要进行组合的深度学习模块设置的超参数所组成的矩阵；将模块组合指令和超参数矩阵发送至服务器，以使服务器根据模块组合指令、超参数矩阵和预设深度学习模块，得到至少一个框架模型；响应于界面上对框架模型的训练配置操作，生成训练操作指令；将训练操作指令发送至服务器，以使服务器根据训练操作指令对至少一个框架模型进行训练，得到训练模型；其中，训练操作指令表示指示服务器对至少一个框架模型进行训练的指令；响应于界面上对训练模型的测试配置操作，生成测试操作指令；将测试操作指令发送至服务器，以使服务器根据测试操作指令对训练模型进行测试，得到目标模型；其中，测试操作指令表示指示服务器对训练模型进行测试的指令；响应于界面上的模型发布配置操作，生成模型发布指令，以使服务器根据模型发布指令生成发布模型。其中，通过预设深度学习模块，能够在实现相应功能时直接调用相应的深度学习模块，减少对难度较大算法进行推导并编写代码的过程，进一步，可仅通过对模块组合指令和超参数矩阵的调整，使得根据模块组合指令、超参数矩阵和预设深度学习模块，得到至少一个框架模型，可以同时对至少一个框架模型进行训练和测试，遍历所有框架模型，最终得到目标模型，使得模型训练和测试的流程大大简化，降低解决问题的成本。

在一个实施例中，如图9所示，提供了一种基于深度学习的模型生成装置，包括：信息获取模块801、框架模型获取模块802、训练模型获取模块803和目标模型获取模块804，其中：

信息获取模块801，用于接收模块组合指令和超参数矩阵；其中，模块组合指令表示对预设深度学习模块进行组合的指令；超参数矩阵表示为需要进行组合的深度学习模块设置的超参数所组成的矩阵；

框架模型获取模块802，用于根据模块组合指令、超参数矩阵和预设深度学习模块，得到至少一个框架模型；

训练模型获取模块803，用于接收训练数据，根据训练数据对至少一个框架模型进行训练，得到训练模型；

目标模型获取模块804，用于接收测试数据，根据测试数据对训练模型进行测试，得到目标模型。

在其中一个实施例中，训练模型获取模块803还用于执行将训练数据输入至少一个框架模型，对至少一个框架模型进行训练，得到至少一个训练结果；其中，至少一个训练结果包括至少一个中间训练模型和与至少一个中间训练模型对应的模型输出结果，模型输出结果包括至少一个中间模型输出性能指标；将中间模型输出性能指标与第一预设条件进行比较，将满足第一预设条件的模型输出结果所对应的中间训练模型，确定为训练模型。

在其中一个实施例中，训练模型获取模块803还用于将训练数据输入至少一个框架模型，对至少一个框架模型进行训练，得到至少一个初始训练结果；根据训练数据的各项属性，对训练数据建立全属性索引，根据建立全属性索引后的训练数据对至少一个初始训练结果进行属性分析，得到与每个初始训练结果对应的数据分析结果，数据分析结果包括至少一个初始训练模型输出性能指标；若初始训练模型输出性能指标满足第二预设条件，则将满足第二预设条件的数据分析结果所对应的初始训练结果确定为训练结果。

在其中一个实施例中，目标模型获取模块804还用于执行将测试数据输入训练模型，对训练模型进行测试，得到模型测试结果；其中，模型测试结果包括至少一个测试模型和与至少一个测试模型对应的测试模型输出结果，测试模型输出结果包括至少一个测试模型输出性能指标；

若测试模型输出性能指标满足第三预设条件，则确定训练模型为目标模型。

在其中一个实施例中，训练模型获取模块803和目标模型获取模块804还用于执行若存在多个模型生成任务，则检测每个模型生成任务的任务属性，生成任务属性队列；其中，模型生成任务包括得到训练模型的任务和得到测试模型的任务；根据任务属性队列，对多个模型生成任务进行排序，生成任务优先级队列；根据任务优先级队列和任务处理空间，对多个模型生成任务进行处理。

在其中一个实施例中，训练模型获取模块803和目标模型获取模块804还用于执行对原始数据进行可视化处理，得到可视化数据；其中，可视化数据包括规范数据和非规范数据；获取可视化数据中的非规范数据，对非规范数据进行修正，得到修正数据；将规范数据和修正数据确定为用于进行训练和测试的数据集。

在其中一个实施例中，训练模型获取模块803和目标模型获取模块804还用于执行将可视化数据输入预设损失函数模型，得到与每个可视化数据对应的损失函数值；对损失函数值进行排序，将预设比例的损失函数值确定为非规范数据的损失函数值；将与非规范数据的损失函数值对应的可视化数据确定为非规范数据。

在其中一个实施例中，训练模型获取模块803和目标模型获取模块804还用于执行接收模型发布指令，对目标模型进行打包发布。

在一个实施例中，如图10所示，提供了一种基于深度学习的模型生成装置，包括：组合指令生成模块901、超参数矩阵生成模块902、框架模型获取模块903、训练模型获取模块904、目标模型获取模块905和发布模型获取模块906，其中：

组合指令生成模块901，用于响应于界面上对深度学习模块的配置操作，生成模块组合指令；其中，模块组合指令表示对预设深度学习模块进行组合的指令；

超参数矩阵生成模块902，用于响应于界面上对超参数的配置操作，生成超参数矩阵；其中，超参数矩阵表示为需要进行组合的深度学习模块设置的超参数所组成的矩阵；

框架模型获取模块903，用于将模块组合指令和超参数矩阵发送至服务器，以使服务器根据模块组合指令、超参数矩阵和预设深度学习模块，得到至少一个框架模型，并将框架模型显示于界面上；

训练模型获取模块904，用于响应于界面上对框架模型的训练配置操作，生成训练操作指令，并将训练操作指令发送至服务器，以使服务器根据训练操作指令对至少一个框架模型进行训练，得到训练模型；其中，训练操作指令表示指示服务器对至少一个框架模型进行训练的指令；

目标模型获取模块905，用于响应于界面上对训练模型的测试配置操作，生成测试操作指令，并将测试操作指令发送至服务器，以使服务器根据测试操作指令对训练模型进行测试，得到目标模型；其中，测试操作指令表示指示服务器对训练模型进行测试的指令；

发布模型获取模块906，用于响应于界面上对模型发布的配置操作，生成模型发布指令，以使服务器根据模型发布指令生成发布模型。

关于基于深度学习的模型生成装置的具体限定可以参见上文中对于基于深度学习的模型生成方法的限定，在此不再赘述。上述基于深度学习的模型生成装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。

在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图11所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口和数据库。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储基于深度学习的模型生成数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种基于深度学习的模型生成方法。

本领域技术人员可以理解，图11中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

在一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现以上各个实施例方法中的步骤。

在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以上各个实施例方法中的步骤。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。

以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (14)

1.一种基于深度学习的模型生成方法，其特征在于，所述方法包括：

接收模块组合指令和超参数矩阵；其中，所述模块组合指令表示对预设深度学习模块进行组合的指令；所述超参数矩阵表示为需要进行组合的深度学习模块设置的超参数所组成的矩阵；

根据所述模块组合指令、所述超参数矩阵和所述预设深度学习模块，得到至少一个框架模型；

接收训练数据，根据所述训练数据对所述至少一个框架模型进行训练，得到训练模型；

接收测试数据，根据所述测试数据对所述训练模型进行测试，得到目标模型。

2.根据权利要求1所述的方法，其特征在于，所述接收训练数据，根据所述训练数据对所述至少一个框架模型进行训练，得到训练模型，包括：

将所述训练数据输入所述至少一个框架模型，对所述至少一个框架模型进行训练，得到至少一个训练结果；其中，所述至少一个训练结果包括至少一个中间训练模型和与所述至少一个中间训练模型对应的模型输出结果，所述模型输出结果包括至少一个中间模型输出性能指标；

将所述中间模型输出性能指标与第一预设条件进行比较，将满足所述第一预设条件的模型输出结果所对应的中间训练模型，确定为所述训练模型。

3.根据权利要求2所述的方法，其特征在于，所述将所述训练数据输入所述至少一个框架模型，对所述至少一个框架模型进行训练，得到至少一个训练结果，包括：

将所述训练数据输入所述至少一个框架模型，对所述至少一个框架模型进行训练，得到至少一个初始训练结果；

根据所述训练数据的各项属性，对所述训练数据建立全属性索引，根据建立全属性索引后的所述训练数据对所述至少一个初始训练结果进行属性分析，得到与每个初始训练结果对应的数据分析结果，所述数据分析结果包括至少一个初始训练模型输出性能指标；

若所述初始训练模型输出性能指标满足第二预设条件，则将满足所述第二预设条件的数据分析结果所对应的初始训练结果确定为所述训练结果。

4.根据权利要求1所述的方法，其特征在于，所述接收测试数据，根据所述测试数据对所述训练模型进行测试，得到目标模型，包括：

将所述测试数据输入所述训练模型，对所述训练模型进行测试，得到模型测试结果；其中，所述模型测试结果包括至少一个测试模型和与所述至少一个测试模型对应的测试模型输出结果，所述测试模型输出结果包括至少一个测试模型输出性能指标；

若所述测试模型输出性能指标满足第三预设条件，则确定所述训练模型为所述目标模型。

5.根据权利要求1所述的方法，其特征在于，所述方法还包括：

若存在多个模型生成任务，则检测每个模型生成任务的任务属性，生成任务属性队列；其中，所述模型生成任务包括得到训练模型的任务和得到测试模型的任务；

根据所述任务属性队列，对所述多个模型生成任务进行排序，生成任务优先级队列；

根据所述任务优先级队列和任务处理空间，对所述多个模型生成任务进行处理。

6.根据权利要求1所述的方法，其特征在于，所述方法还包括：

对原始数据进行可视化处理，得到可视化数据；其中，所述可视化数据包括规范数据和非规范数据；

获取所述可视化数据中的非规范数据，对所述非规范数据进行修正，得到修正数据；

将所述规范数据和所述修正数据确定为用于进行训练和测试的数据集。

7.根据权利要求6所述的方法，其特征在于，所述获取所述可视化数据中的非规范数据，包括：

将所述可视化数据输入预设损失函数模型，得到与每个可视化数据对应的损失函数值；

对所述损失函数值进行排序，将预设比例的损失函数值确定为所述非规范数据的损失函数值；

将与所述非规范数据的损失函数值对应的可视化数据确定为所述非规范数据。

8.根据权利要求1所述的方法，其特征在于，所述方法还包括：

接收模型发布指令，对所述目标模型进行打包发布。

9.一种基于深度学习的模型生成方法，其特征在于，所述方法包括：

响应于界面上对预设深度学习模块的配置操作，生成模块组合指令；其中，所述模块组合指令表示对预设深度学习模块进行组合的指令；

响应于所述界面上对超参数的配置操作，生成超参数矩阵；其中，所述超参数矩阵表示为需要进行组合的深度学习模块设置的超参数所组成的矩阵；

将所述模块组合指令和所述超参数矩阵发送至服务器，以使所述服务器根据所述模块组合指令、所述超参数矩阵和所述预设深度学习模块，得到至少一个框架模型，并将所述框架模型显示于所述界面上；

响应于所述界面上对所述框架模型的训练配置操作，生成训练操作指令，并将所述训练操作指令发送至所述服务器，以使所述服务器根据所述训练操作指令对所述至少一个框架模型进行训练，得到训练模型；其中，所述训练操作指令表示指示所述服务器对所述至少一个框架模型进行训练的指令；

响应于所述界面上对所述训练模型的测试配置操作，生成测试操作指令，并将所述测试操作指令发送至所述服务器，以使所述服务器根据所述测试操作指令对所述训练模型进行测试，得到目标模型；其中，所述测试操作指令表示指示所述服务器对所述训练模型进行测试的指令；

响应于所述界面上的模型发布配置操作，生成模型发布指令，以使所述服务器根据所述模型发布指令生成发布模型。

10.根据权利要求9所述的方法，其特征在于，所述方法还包括：

将模型生成任务的任务进度显示在所述界面上；其中，所述模型生成任务包括得到所述训练模型的任务和得到所述训练模型的任务。

11.一种基于深度学习的模型生成装置，其特征在于，所述装置包括：

信息获取模块，用于接收模块组合指令和超参数矩阵；其中，所述模块组合指令表示对预设深度学习模块进行组合的指令；所述超参数矩阵表示为需要进行组合的深度学习模块设置的超参数所组成的矩阵；

框架模型获取模块，用于根据所述模块组合指令、所述超参数矩阵和所述预设深度学习模块，得到至少一个框架模型；

训练模型获取模块，用于接收训练数据，根据所述训练数据对所述至少一个框架模型进行训练，得到训练模型；

目标模型获取模块，用于接收测试数据，根据所述测试数据对所述训练模型进行测试，得到目标模型。

12.一种基于深度学习的模型生成装置，其特征在于，所述装置包括：

组合指令生成模块，用于响应于界面上对深度学习模块的配置操作，生成模块组合指令；其中，所述模块组合指令表示对预设深度学习模块进行组合的指令；

超参数矩阵生成模块，用于响应于所述界面上对超参数的配置操作，生成超参数矩阵；其中，所述超参数矩阵表示为需要进行组合的深度学习模块设置的超参数所组成的矩阵；

框架模型获取模块，用于将所述模块组合指令和所述超参数矩阵发送至服务器，以使所述服务器根据所述模块组合指令、所述超参数矩阵和预设深度学习模块，得到至少一个框架模型，并将所述框架模型显示于所述界面上；

训练模型获取模块，用于响应于所述界面上对所述框架模型的训练配置操作，生成训练操作指令，并将所述训练操作指令发送至所述服务器，以使所述服务器根据所述训练操作指令对所述至少一个框架模型进行训练，得到训练模型；其中，所述训练操作指令表示指示所述服务器对所述至少一个框架模型进行训练的指令；

目标模型获取模块，用于响应于所述界面上对所述训练模型的测试配置操作，生成测试操作指令，并将所述测试操作指令发送至所述服务器，以使所述服务器根据所述测试操作指令对所述训练模型进行测试，得到目标模型；其中，所述测试操作指令表示指示所述服务器对所述训练模型进行测试的指令；

发布模型获取模块，用于响应于界面上对模型发布的配置操作，生成模型发布指令，以使所述服务器根据所述模型发布指令生成发布模型。

13.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至8中任一项所述方法的步骤。

14.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至8中任一项所述方法的步骤。