CN108319456A - 一种免编程深度学习应用的开发方法 - Google Patents

Abstract

本发明公开了一种免编程深度学习应用的开发方法，包括以下步骤：设定神经网络类型，根据神经网络类型设定待输入的原始数据的数据类型，对原始数据进行训练前处理，形成训练数据；于图形界面上显示构建的神经网络组件库和/或神经网络模板库，利用可视化操作在图形界面上搭建可视化的神经网络，并于图形界面上显示搭建操作过程；训练神经网络并显示训练指标；给定神经网络输入并运行显示推理结果。本发明公开的软件开发方法通过图形界面上显示构建的神经网络组件库和/或神经网络模板库，利用可视化操作在图形界面上搭建可视化的神经网络，并于图形界面上显示搭建操作过程构建神经网络，避免了传统需要通过软件编程、接口复杂、调试耗时长的技术问题。

Description

一种免编程深度学习应用的开发方法

技术领域

本发明设计软件开发领域，具体地说，涉及一种免编程深度学习应用的开发方法。

背景技术

深度学习技术发展迅速，在图像、声音和语义识别取得了长足的进步，在其他各个领域的应用研究也开始广泛开展。目前已有Tensorflow、Caffe、Keras、MXNet等深度学习框架，开发者可以利用这些工具进行深度学习的开发。目前基于这些深度学习框架开发，要求开发者熟悉被使用的框架和相关的编程语言，自己编写代码来实现，整个开发过程复杂，在熟悉框架接口、代码编写和调试都需要耗费较长时间，开发周期较长，不利于快速迭代开发。

发明内容

本发明的目的在于提供一种免编程深度学习应用的开发方法，旨在解决开发过程复杂周期较长的技术问题。

本发明公开了一种免编程深度学习应用的开发方法。

本发明公开的免编程深度学习应用的开发方法包括：

步骤1：设定神经网络类型，根据神经网络类型设定待输入的原始数据的数据类型，根据设定的数据类型对待输入的原始数据进行训练前处理，形成训练数据；

步骤2：于图形界面上显示构建的神经网络组件库和/或神经网络模板库，利用可视化操作在图像界面上搭建可视化的神经网络，并于图形界面上显示搭建操作过程；

步骤3：向搭建的神经网络输入训练数据，对神经网络设定网络超参数，神经网络根据网络超参数训练，并于图形界面上实时显示神经网络的训练指标；

步骤4：于图形界面上显示训练好的神经网络，并给定输入数据，根据神经网络的模型输出推理结果，并于图形界面上显示。

进一步地，步骤1包括以下步骤：

步骤11:选择和/或定义神经网络类型；

步骤12：根据神经网络类型确定所要使用到的数据类型；

步骤13：对原始数据进行训练前处理，以使原始数据按照确定的数据类型输入，满足神经网络类型需求，从而形成训练数据。

进一步地，神经网络类型至少包括用于处理分类任务的第一类型和用于处理语义分割任务的第二类型；

当神经网络为第一类型时，确定的数据类型为从原始图像数据转换，并满足第一类型的神经网络需求；

当神经网络为第二类型时，确定的数据类型为，将原始图像数据加载在显示区域显示，对显示区域显示的图像进行分割区域选取打标处理后数据。

进一步地，对图像进行分割区域选取打标操作包括：

通过鼠标对分割区域进行选取；

使用任意多边形绘制、选择分割区域；

多个分割区域选取。

进一步地，神经网络组件库包括多种神经网络层的基本网络结构组件，神经网络模板库包含多个神经网络模板，步骤2包括以下步骤：

步骤21：将基本网络结构组件和/或神经网络模板拖拽至神经网络搭建区域，并在搭建区域显示；

步骤22：在神经网络搭建区域中利用基本网络结构组件和/神经网络模板进行可视化的搭建操作，完成神经网络的搭建；

步骤23：读取图形界面展示的神经网络结构，保存网络描述文件。

进一步地，对基本网络结构组件操作完成神经网络搭建的方法包括：对多个基本网络结构组件导入、连线、聚焦、平移、缩放；对神经网络模板操作完成神经网络搭建的方法包括导入和修改。

进一步地，基本网络结构组件包括：数据层、卷积层、丢弃层、池化层、局部相应层、全连接层、逻辑回归层以及激活层中的至少一个及一个以上的组合。

进一步地，神经网络模板库包括：Lenet、AlexNet、VGGNet、GoogleNet神经网络。

进一步地，神经网络的搭建还包括读取已有的网络描述文件完成搭建。

进一步地，步骤3包括以下步骤：

步骤31：导入网络描述文件，生成神经网络模型；

步骤32:于前端界面设置神经网络的训练超参数；

步骤33：向神经网络中加载训练数据，并使神经网络按照预定结构开始训练；

步骤34：利用文件保存训练后的参数结果；步骤35：监控网络训练过程，形成训练日志；

步骤36：添加、导入、导出训练日志；

步骤37：以图表的形式显示网络训练过程，并对对图表显示界面进行调节操作；

步骤38：在训练过程中实时监控神经网络，并在网络训练超参数录入窗口调整网络超参数。

本发明公开的免编程深度学习应用的开发方法通过设定神经网络类型，对原始数据进行训练前处理，以使原始数据满足神经网络数据需求，形成训练数据；之后利用神经网络组件库中的基本网络结构组件以及神经网络模板库中的神经网络模板进行可视化操作，完成神经网络的搭建，并在搭建的可视化界面上显示搭建的神经网络。使用者可以利用自身搭建的可视化的神经网络进行深度学习并监控神经网络的学习过程，避免了传统需要通过软件编程、接口复杂、调试耗时长，开发周期较长，不利于快速迭代开发的技术问题。

附图说明

图1是本发明免编程深度学习应用的开发方法的工作过程说明图；

图2是本发明步骤1的流程示意图；

图3是本发明步骤2的流程示意图；

图4是本发明步骤3的流程示意图。

具体实施方式

下面结合具体实施例和说明书附图对本发明做进一步阐述和说明:

请参考图1，本发明公开的免编程深度学习应用的开发方法包括：

步骤1：设定神经网络类型，根据神经网络类型设定待输入的原始数据的数据类型，根据设定的数据类型对待输入的原始数据进行训练前处理，形成训练数据。

其中，不同的神经网络类型能够完成不同任务的深度学习，需要输入不同数据类型的数据，当在确定自身所要搭建的神经网络之前，就应该先设定好自身所要搭建的神经网路类型，并根据自身所要搭建的神经网络类型来确定所要输入的原始数据的数据类型。当获取的原始数据与某一个神经网络类型所要输入的数据类型不一致时，需要进行训练前处理，即，对原始数据进行数据的变换，以使其满足后端神经网络的需求。具体的数据类型和神经网络类型是由软件开发者根据自身需求进行设定。

在本实施方式中，设定神经网络类型和数据类型包括创建数据类型和神经网络类型。在其他实施方式中，设定数据类型以及软件网络类型也可以从已有的数据类型和神经网络类型中选择，其中已有的数据类型以及软件网络类型来自于已有的神经网络。

如图2，进一步地，步骤1包括以下步骤：

步骤11:选择和/或定义神经网络类型；

步骤12：根据神经网络类型确定所要使用到的数据类型；

步骤13：对原始数据进行训练前处理，以使原始数据按照确定的数据类型输入，满足神经网络类型需求，从而形成训练数据。

在本发明的实施方式中，神经网络类型至少包括用于处理分类任务的第一类型和用于处理语义分割任务的第二类型。根据不同的任务类型，神经网络所要求的数据类型也不相同，例如：

当神经网络为第一类型时，确定的数据类型为从原始图像数据转换，并满足第一类型的神经网络需求；

当神经网络为第二类型时，确定的数据类型为，将原始图像数据加载在显示区域显示，对显示区域显示的图像进行分割区域选取打标处理后数据。

在本实施方式中，对图像进行分割区域选取打标操作包括：

通过鼠标对分割区域进行选取；

使用任意多边形绘制、选择分割区域；

多个分割区域选取。

在本发明的步骤1中，整个步骤是对神经网络的类型以及与该类型相对应的数据类型需求的定义，只有当神经网络的类型与数据类型是相对应的，才能完成特定的深度学习任务，是后期功能实现的保障。

步骤2：于图形界面上显示已有神经网络组件库和/或神经网络模板库，利用可视化操作在图像界面上搭建可视化的神经网络，并于图形界面上显示搭建操作过程。

如图3，步骤21：将基本网络结构组件和/或神经网络模板拖拽至神经网络搭建区域，并在搭建区域显示；

步骤22：在神经网络搭建区域中利用基本网络结构组件和/神经网络模板进行可视化的搭建操作，完成神经网络的搭建；

步骤23：读取图形界面展示的神经网络结构，保存网络描述文件。

在本实施方式中，神经网络组件库包括多个神经网络层的基本网络结构组件，神经网络模板库包括多个神经网络模板。其中，基本网络结构组件是在软件开发之前已经通过程序员的编程实现了可视化的对象，使用者可以在显示界面上对象所对应的图标，每一个图标其中封装有一个具有特定功能的深度学习开发程序模块，使用者可以通过对多个基本网络结构组件进行操作而实现神经网络的搭建。

具体的，基本网络结构组件包括数据层、卷积层、丢弃层、池化层、局部相应层、全连接层、逻辑回归层以及激活层中的至少一个及一个以上的组合。

在本实施方式中，对基本网络结构组件的可视化操作完成神经网络搭建的方法包括对多个基本网络结构组件导入、连线、聚焦、平移、缩放；对神经网络模板操作完成神经网络搭建的方法包括导入和修改。

在本实施方式中，神经网络模板库包括：Lenet、AlexNet、VGGNet、GoogleNet等神经网络。

在本发明的其他实施方式中，还可以通过读取已有的网络描述文件完成神经网络的搭建。其中网络描述文件是一个对神经网络进行描述，记载神经网络的网络拓扑，网络构成的记录文件。例如，使用者导入含有LeNet神经网络的网络描述文件而形成LeNet神经网络。

本发明的免编程深度学习应用的开发方法可以在可视化的图形界面上显示出多个神经网络组件库或者通过导入网络描述文件导入并显示神经网络模板库，深度学习软件的开发者，通过在图形界面上挑选与自身神经网络功能相对应的神经网络组件或神经网络模板，通过连线、平移、聚焦、缩放等操作搭建出一个网络拓扑结构，并将形成的网络拓扑结构在图形界面上显示，从而完成神经网络的搭建，而不再需要每一个开发者对软件进行编程，降低了深度学习软件的开发难度。且每个神经网络组件或神经网络模板都具有唯一可区分，且封装好的接口，使用者只需要按照功能对应接口连接，也不需要进行调试。这样搭建的神经网络迭代能力强。

步骤3：向搭建的神经网络输入训练数据，对神经网络设定网络超参数，神经网络根据网络超参数训练，并于图形界面上实时显示神经网络的训练指标。

当使用者在对神经网络录入网络超参数后，构成神经网络的每个神经网络组件或神经网络模板的运行状况，运行的数据均能够通过显示界面显示出来，比较直观，有利于对整个神经网络进行监控以及根据训练结果调整网络超参数或网络结构。

如图4，进一步地，步骤3包括以下步骤：

步骤31：导入网络描述文件，生成神经网络模型；

步骤32:于前端界面设置神经网络的训练超参数,；

步骤33：向神经网络中读取训练数据，并使神经网络按照预定结构开始训练；

步骤34：利用文件保存训练后的参数结果；

步骤35：监控网络训练过程，形成训练日志；

步骤36：添加、导入、导出训练日志；

步骤37：以图表的形式显示网络训练过程，并对对图表显示界面进行调节操作；

步骤38：在训练过程中实时监控神经网络，并在网络训练超参数录入窗口调整网络超参数。

步骤4：于图形界面上显示训练好的神经网络，并给定输入数据，根据神经网络的运行状况输出推理结果，并于图形界面上显示。

最后应当说明的是，以上实施例仅用以说明本发明的技术方案，而非对本发明保护范围的限制，尽管参照较佳实施例对本发明作了详细地说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的实质和范围。

Claims (10)

1.一种免编程深度学习应用的开发方法，其特征在于，方法包括以下步骤：

步骤1：设定神经网络类型，根据神经网络类型设定待输入的原始数据的数据类型，根据设定的数据类型对待输入的原始数据进行训练前处理，形成训练数据；

步骤2：于图形界面上显示构建的神经网络组件库和/或神经网络模板库，利用可视化操作在图像界面上搭建可视化的神经网络，并于图形界面上显示搭建操作过程；

步骤3：向搭建的神经网络输入训练数据，对神经网络设定网络超参数，神经网络根据网络超参数训练，并于图形界面上实时显示神经网络的训练指标；

步骤4：于图形界面上显示训练好的神经网络，并给定输入数据，根据神经网络的模型输出推理结果，并于图形界面上显示。

2.如权利要求1的免编程深度学习应用的开发方法，其特征在于，步骤1包括以下步骤：

步骤11:选择和/或定义神经网络类型；

步骤12：根据神经网络类型确定所要使用到的数据类型；

步骤13：对原始数据进行训练前处理，以使原始数据按照确定的数据类型输入，满足神经网络类型需求，从而形成训练数据。

3.如权利要求2的免编程深度学习应用的开发方法，其特征在于，神经网络类型至少包括用于处理分类任务的第一类型和用于处理语义分割任务的第二类型；

当神经网络为第一类型时，确定的数据类型为从原始图像数据转换，并满足第一类型的神经网络需求；

当神经网络为第二类型时，确定的数据类型为，将原始图像数据加载在显示区域显示，对显示区域显示的图像进行分割区域选取打标处理后数据。

4.如权利要求3的免编程深度学习应用的开发方法，其特征在于，对图像进行分割区域选取打标操作包括：

通过鼠标对分割区域进行选取；

使用任意多边形绘制、选择分割区域；

多个分割区域选取。

5.如权利要求1的免编程深度学习应用的开发方法，其特征在于，神经网络组件库包括多种神经网络层的基本网络结构组件，神经网络模板库包含多个神经网络模板，步骤2包括以下步骤：

步骤21：将基本网络结构组件和/或神经网络模板拖拽至神经网络搭建区域，并在搭建区域显示；

步骤22：在神经网络搭建区域中利用基本网络结构组件和/神经网络模板进行可视化的搭建操作，完成神经网络的搭建；

步骤23：读取图形界面展示的神经网络结构，保存网络描述文件。

6.如权利要求5的免编程深度学习应用的开发方法，其特征在于，对基本网络结构组件操作完成神经网络搭建的方法包括：对多个基本网络结构组件导入、连线、聚焦、平移、缩放；对神经网络模板操作完成神经网络搭建的方法包括导入和修改。

7.如权利要求5或6的免编程深度学习应用的开发方法，其特征在于，基本网络结构组件包括：数据层、卷积层、丢弃层、池化层、局部相应层、全连接层、逻辑回归层以及激活层中的至少一个及一个以上的组合。

8.如权利要求5或6的免编程深度学习应用的开发方法，其特征在于，神经网络模板库包括：Lenet、Al exNet、VGGNet、Goog l eNet神经网络。

9.如权利要求5的免编程深度学习应用的开发方法，其特征在于，神经网络的搭建还包括读取已有的网络描述文件完成搭建。

10.如权利要求1的免编程深度学习应用的开发方法，其特征在于，步骤3包括以下步骤：

步骤31：导入网络描述文件，生成神经网络模型；

步骤32:于前端界面设置神经网络的训练超参数；

步骤33：向神经网络中加载训练数据，并使神经网络按照预定结构开始训练；

步骤34：利用文件保存训练后的参数结果；

步骤35：监控网络训练过程，形成训练日志；

步骤36：添加、导入、导出训练日志；

步骤37：以图表的形式显示网络训练过程，并对对图表显示界面进行调节操作；

步骤38：在训练过程中实时监控神经网络，并在网络训练超参数录入窗口调整网络超参数。