CN112130827A - 基于云端模块化技术的模型开发方法、平台和智能终端 - Google Patents
基于云端模块化技术的模型开发方法、平台和智能终端 Download PDFInfo
- Publication number
- CN112130827A CN112130827A CN201910552176.0A CN201910552176A CN112130827A CN 112130827 A CN112130827 A CN 112130827A CN 201910552176 A CN201910552176 A CN 201910552176A CN 112130827 A CN112130827 A CN 112130827A
- Authority
- CN
- China
- Prior art keywords
- data
- model
- training
- artificial intelligence
- graphical file
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 77
- 238000011161 development Methods 0.000 title claims abstract description 51
- 238000005516 engineering process Methods 0.000 title claims abstract description 20
- 238000012549 training Methods 0.000 claims abstract description 58
- 238000012545 processing Methods 0.000 claims abstract description 40
- 230000008569 process Effects 0.000 claims abstract description 36
- 230000002457 bidirectional effect Effects 0.000 claims abstract description 18
- 238000012800 visualization Methods 0.000 claims abstract description 12
- 238000009434 installation Methods 0.000 claims abstract description 9
- 238000013473 artificial intelligence Methods 0.000 claims description 51
- 238000007781 pre-processing Methods 0.000 claims description 21
- 238000012935 Averaging Methods 0.000 claims description 18
- 238000010606 normalization Methods 0.000 claims description 17
- 238000004590 computer program Methods 0.000 claims description 3
- 230000008676 import Effects 0.000 claims description 2
- 238000013135 deep learning Methods 0.000 abstract description 21
- 238000010801 machine learning Methods 0.000 abstract description 10
- 238000012827 research and development Methods 0.000 abstract description 6
- 230000018109 developmental process Effects 0.000 description 40
- 238000004422 calculation algorithm Methods 0.000 description 9
- 238000010586 diagram Methods 0.000 description 6
- 230000005540 biological transmission Effects 0.000 description 4
- 238000013136 deep learning model Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 238000012986 modification Methods 0.000 description 4
- 230000004048 modification Effects 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 3
- 230000008859 change Effects 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 230000006399 behavior Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 238000003058 natural language processing Methods 0.000 description 2
- ZLIBICFPKPWGIZ-UHFFFAOYSA-N pyrimethanil Chemical compound CC1=CC(C)=NC(NC=2C=CC=CC=2)=N1 ZLIBICFPKPWGIZ-UHFFFAOYSA-N 0.000 description 2
- 230000002787 reinforcement Effects 0.000 description 2
- 230000032258 transport Effects 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000033764 rhythmic process Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F8/00—Arrangements for software engineering
- G06F8/30—Creation or generation of source code
Landscapes
- Engineering & Computer Science (AREA)
- Software Systems (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
本发明公开一种基于云端模块化技术的模型开发方法、平台和智能终端，该方法包括以下步骤：选择数据集并进行数据导入，将导入的数据进行可视化处理，以生成与数据对应的图形化文件；拖拽所述图形化文件，以生成TensorFlow或MXNET代码；将生成的代码与图形化文件的界面进行双向关联；以图形化文件的方式设置模型参数，并设置超参数后开始训练，在训练过程中实时查看智能终端的资源占用率和训练的准确度；结束训练，生成模型性能报告并将训练结果以安装包的形式发布在所述智能终端上。该方法将深度学习、机器学习的研发学习过程极简化，方便初学者的学习和理解，可应用于教育领域，清晰的层级结构也可帮助专业人员在检查代码时快速定位bug所在处，省时高效。
Description
技术领域
本发明涉及深度学习算法技术领域，具体涉及一种基于云端模块化技术的模型开发方法、系统和智能终端。
背景技术
人工智能的快速发展，给人们的生活带来了极大的变化，近几年提出和广泛应用于各大领域的深度学习(Deep learning)和机器学习(Machine Learning)算法也在逐渐普及和学习中迅速发展。深度学习将使人工智能的进化节奏加快，在大数据时代下将人工智能发挥出更好的效果，将AI技术灵活应用于图像搜索、语音识别等各类互联网服务中，为用户提供了更好的服务并吸引更多用户。但是深度学习和机器学习此类开源框架的入门学习极其困难，对于专业知识的要求较高，而对于人工智能知识较为欠缺的初学者而言，复杂的算法结构和冗长的代码序列使得很多感兴趣的用户对深度学习望而却步，制约了知识储备较少人员对人工智能的学习。
发明内容
为此，本发明提供一种基于云端模块化技术的模型开发方法、系统和智能终端，以至少部分解决上述至少一个技术问题。
为了实现上述目的，本发明实施例提供如下技术方案：
一种基于云端模块化技术的模型开发方法，包括以下步骤：
选择数据集并进行数据导入，将导入的数据进行可视化处理，以生成与数据对应的图形化文件；
拖拽所述图形化文件，以生成TensorFlow或MXNET代码；
将生成的代码与图形化文件的界面进行双向关联；
以图形化文件的方式设置模型参数，并设置超参数后开始训练，在训练过程中实时查看智能终端的资源占用率和训练的准确度；
结束训练，生成模型性能报告并将训练结果以安装包的形式发布在所述智能终端上。
进一步地，所述选择数据集并进行数据导入，将导入的数据进行可视化处理，以生成与数据对应的图形化文件包括：
导入数据并标注，对数据进行预处理和可视化处理；
所述预处理包括对输入的数据进行去均值处理和归一化处理。
进一步地，所述去均值处理为：
对待训练图形化文件中的每一张图片的特征，均减去全部训练集图片的特征均值，以将输入数据中各个维度的数据均中心化至0维度；
所述归一化处理为：
在数据经过去均值处理后，每个维度上的数据均除以该维度上数据的标准差；或，
在数据经过去均值处理后，每个维度上的数据均除以该维度上数据的绝对值最大值。
进一步地，所述拖拽所述图形化文件，以生成TensorFlow或MXNET代码；将生成的代码与图形化文件的界面进行双向关联包括：
在数据集页面设定数据集和数据预处理格式；
在控件拖拽页面从数据输入层依次堆叠人工智能模型，每一个控件独立设置层参数，拖拽完成后生成模型；
从第一侧拖拽人工智能模型到第二侧画布上，通过连接线的形式构建人工智能模型。
该模型开发方法基于云端模块化编程技术的深度学习模型来实现人工智能算法开发，可根据图形化界面配置后自动生成TensorFlow或MXNET代码，手工修改后的TensorFlow或MXNET代码也可返回人工智能开发平台，实现代码和平台之间的双向传递，从而实现了代码与图形化界面的双向关联。这样，该方法将深度学习、机器学习的研发学习过程极简化，方便初学者的学习和理解，可应用于教育领域，清晰的层级结构也可帮助专业技术研究人员在检查代码时快速定位bug所在处，省时高效。
本发明还提供一种基于云端模块化技术的模型开发系统，用于实施如上所述的方法，包括：
图形文件生成模块，用于选择数据集并进行数据导入，将导入的数据进行可视化处理，以生成与数据对应的图形化文件；
代码生成模块，用于拖拽所述图形化文件，以生成TensorFlow或MXNET代码；
关联模块，用于将生成的代码与图形化文件的界面进行双向关联；
模型设置和训练模块，用于以图形化文件的方式设置模型参数，并设置超参数后开始训练，在训练过程中实时查看智能终端的资源占用率和训练的准确度；
反馈模块，用于在结束训练后，生成模型性能报告并将训练结果以安装包的形式发布在所述智能终端上。
进一步地，所述图形文件生成模块还用于导入数据并标注，对数据进行预处理和可视化处理；
所述预处理包括对输入的数据进行去均值处理和归一化处理。
进一步地，所述去均值处理为：
对待训练图形化文件中的每一张图片的特征，均减去全部训练集图片的特征均值，以将输入数据中各个维度的数据均中心化至0维度；
所述归一化处理为：
在数据经过去均值处理后，每个维度上的数据均除以该维度上数据的标准差；或，
在数据经过去均值处理后，每个维度上的数据均除以该维度上数据的绝对值最大值。
进一步地，代码生成模块还用于：
在数据集页面设定数据集和数据预处理格式；
在控件拖拽页面从数据输入层依次堆叠人工智能模型，每一个控件独立设置层参数，拖拽完成后生成模型；
从第一侧拖拽人工智能模型到第二侧画布上，通过连接线的形式构建人工智能模型。
该人工智能开发平台基于云端模块化编程技术的深度学习模型来实现人工智能算法开发，平台可根据图形化界面配置后自动生成TensorFlow代码，手工修改后的TensorFlow代码也可返回人工智能开发平台，实现代码和平台之间的双向传递，从而实现代码与图形化界面双向关联。该平台将深度学习、机器学习的研发学习过程极简化，方便初学者的学习和理解，可应用于教育领域，清晰的层级结构也可帮助专业技术研究人员在检查代码时快速定位bug所在处，省时高效。
本发明还提供一种智能终端，包括如上所述的基于云端模块化技术的模型开发系统。
本发明还提供一种基于模型开发方法的计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如上述方法的步骤。
附图说明
为了更清楚地说明本发明的实施方式或现有技术中的技术方案，下面将对实施方式或现有技术描述中所需要使用的附图作简单地介绍。显而易见地，下面描述中的附图仅仅是示例性的，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图引伸获得其它的实施附图。
本说明书所绘示的结构、比例、大小等，均仅用以配合说明书所揭示的内容，以供熟悉此技术的人士了解与阅读，并非用以限定本发明可实施的限定条件，故不具技术上的实质意义，任何结构的修饰、比例关系的改变或大小的调整，在不影响本发明所能产生的功效及所能达成的目的下，均应仍落在本发明所揭示的技术内容得能涵盖的范围内。
图1为本发明所提供的模型开发方法一种具体实施方式的流程图；
图2为本发明所提供的代码与图形化文件之间的层叠示意图；
图3为本发明所提供的模型开发系统一种具体实施方式的结构框图；
图4-图6为步骤S2和S3中所述模型的模拟操作界面的示意图。
具体实施方式
以下由特定的具体实施例说明本发明的实施方式，熟悉此技术的人士可由本说明书所揭露的内容轻易地了解本发明的其他优点及功效，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参考图1，图1为本发明所提供的模型开发方法一种具体实施方式的流程图。
在一种具体实施方式中，本发明所提供的基于云端模块化技术的模型开发方法，针对现有技术的不足，为广大学习者提供一种更加简易的深度学习方法。该模型开发方法包括以下步骤：
S1：选择数据集并进行数据导入，将导入的数据进行可视化处理，以生成与数据对应的图形化文件。具体地，在人工智能开发平台中内置大量的公开数据集，这些数据集可选择当前主流的数据集，例如：MNIST、CIFAR-10、CIFAR-100、STL-10、SVHN、ILSVRC2012 task1等。其中，导入的数据为大量图片和标签的组合，标签可以是图片的类别，也可以是图片中的目标的坐标，或可以是另一张用来表达图片中像素类别的图片等携带该图片特征的单元，图片及其对应标签的组成生成上述图形化文件，该图形化文件具体可以为图形化界面或图形化模块等形式。
S2：拖拽所述图形化文件，以生成TensorFlow或MXNET代码；其中，TensorFlow是谷歌基于DistBelief进行研发的第二代人工智能学习系统，是一种开源系统，其命名来源于本身的运行原理。Tensor(张量)意味着N维数组，Flow(流)意味着基于数据流图的计算，TensorFlow为张量从流图的一端流动到另一端计算过程。TensorFlow是将复杂的数据结构传输至人工智能神经网中进行分析和处理过程的系统。TensorFlow可被用于语音识别或图像识别等多项机器深度学习领域，对2011年开发的深度学习基础架构DistBelief进行了各方面的改进，它可在小到一部智能手机、大到数千台数据中心服务器的各种设备上运行。MXNet一种基于图片化的深度学习库，其拥有类似于Theano和TensorFlow的数据流图，为多GPU配置提供了良好的配置，有着类似于Lasagne和Blocks更高级别的模型构建块，并且可以在你可以想象的任何硬件上运行(包括手机)，支持Python、R、Julia、C++、Scala、Matlab，和Javascript的接口，适用性广泛。
S3：将生成的代码与图形化文件的界面进行双向关联；人工智能代码拥有强烈的模块化特性，本发明将可以把人工智能代码转换为图形化的控件拖拽格式，同时相反，也可以将图形化的拖拽形式的模型转化为各个模型的代码，即如图2所示，建立了一种对应关系以翻译python代码到图形化格式的网络图。
具体地，如模型示意图4-6所示，步骤S2和S3的具体实现方式为：
在数据集页面设定数据集和数据预处理格式；
在控件拖拽页面从数据输入层依次堆叠人工智能模型，每一个控件独立设置层参数，拖拽完成后生成模型；
从第一侧拖拽人工智能模型到第二侧画布上，通过连接线的形式构建人工智能模型。
例如，在使用过程中，用户从左侧拖拽人工智能模型到右侧画布上，通过连接线的形式构建人工智能模型，首先需要在数据集页面设定数据集，设定数据预处理格式，然后在控件拖拽页面从数据输入层依次堆叠人工智能模型。每一个控件可以独立设置层参数，拖拽完成后，点击下一步将生成模型，以方便学习者一键生成人工智能的算法开发后台，进行更深一步的研发训练。
S4：以图形化文件的方式设置模型参数，并设置超参数后开始训练，在训练过程中实时查看智能终端的资源占用率和训练的准确度；即载入数据和模型后，申请资源并开始训练，训练过程是全自动的，使用者可以监视训练过程中的一些参数的变化曲线，主要是监控loss曲线的变化。开始训练需要选择GPU服务器，开启GPU服务器后设置需要训练的次数即可开始训练。
S5：结束训练，生成模型性能报告并将训练结果以安装包的形式发布在所述智能终端上。在模型训练后，支持发布Linux、Windows应用程序，将性能结果反馈至人工智能开发平台。
进一步地，所述选择数据集并进行数据导入，将导入的数据进行可视化处理，以生成与数据对应的图形化文件包括：
导入数据并标注，对数据进行预处理和可视化处理；
所述预处理包括对输入的数据进行去均值处理和归一化处理。
其中，去均值处理为：
对待训练图形化文件中的每一张图片的特征，均减去全部训练集图片的特征均值，以将输入数据中各个维度的数据均中心化至0维度；
所述归一化处理为：
在数据经过去均值处理后，每个维度上的数据均除以该维度上数据的标准差；或，
在数据经过去均值处理后，每个维度上的数据均除以该维度上数据的绝对值最大值。
具体的，预处理就是对输入的数据图像进行去均值和归一化，比如我们判断一张图像中的内容是不需要考虑它的亮度的，而这两个操作将把所有数据统一到一个亮度，减轻神经网络计算强度。假定数据表示成矩阵为X，其中我们假定X是[N*D]维矩阵(N是样本数据量，D为单张图片的数据向量长度)。去均值为对待训练的每一张图片的特征，都减去全部训练集图片的特征均值，其意义在于将输入数据各个维度的数据都中心化到0。
归一化的目的是保证所有的维度上数据都在一个变化幅度上。通常有两种方法来实现归一化：其一，是在数据都去均值之后，每个维度上的数据都除以这个维度上数据的标准差(X/＝np.std(X,axis＝0))；其二，是我们除以数据绝对值最大值，以保证所有的数据归一化后都在-1到1之间。在任何各维度幅度变化非常大的数据集上，都可以考虑归一化处理。不过对于图像而言，由于像素的值变化区间都在[0,255]之间，因此，图像输入数据幅度原本就是基本一致的，则可不做归一化处理，仅做去均值处理即可。
该模型开发方法基于云端模块化编程技术的深度学习模型来实现人工智能算法开发，可根据图形化界面配置后自动生成TensorFlow或MXNET代码，手工修改后的TensorFlow或MXNET代码也可返回人工智能开发平台，实现代码和平台之间的双向传递，从而实现了代码与图形化界面的双向关联。这样，该方法将深度学习、机器学习的研发学习过程极简化，方便初学者的学习和理解，可应用于教育领域，清晰的层级结构也可帮助专业技术研究人员在检查代码时快速定位bug所在处，省时高效。
该开发方法支持计算机视觉模型、自然语言处理模型、深度增强学习模型和其它用户自定义模型，可应用于计算机视觉的目标检测开发和语意分割开发。例如基于深度学习方法的相控阵雷达图像的飞机目标分类系统和航空发动机寿命的预测以及循环神经网络应用，从数据导入到应用发布的过程中，以拖拽方式设计卷积神经网络，为用户搭建好后台环境，简化复杂的计算过程，方便用户进一步研发学习。在现如今用户可以随时轻松获得丰富的互联网体验的同时，互联网厂商包括电商、视频、APP等，可以在基于海量的网络行为数据、服务类行为数据、交易偏好等方面，有效提升用户平台的活跃度和粘性。
本发明还提供一种基于云端模块化技术的模型开发系统，用于实施如上所述的方法，如图3所示，该系统包括：
图形文件生成模块101，用于选择数据集并进行数据导入，将导入的数据进行可视化处理，以生成与数据对应的图形化文件；具体地，在人工智能开发平台中内置大量的公开数据集，这些数据集可选择当前主流的数据集，例如：MNIST、CIFAR-10、CIFAR-100、STL-10、SVHN、ILSVRC2012 task 1等。其中，导入的数据为大量图片和标签的组合，标签可以是图片的类别，也可以是图片中的目标的坐标，或可以是另一张用来表达图片中像素类别的图片等携带该图片特征的单元，图片及其对应标签的组成生成上述图形化文件，该图形化文件具体可以为图形化界面或图形化模块等形式。
所述图形文件生成模块还用于导入数据并标注，对数据进行预处理和可视化处理；所述预处理包括对输入的数据进行去均值处理和归一化处理。
其中，去均值处理为：对待训练图形化文件中的每一张图片的特征，均减去全部训练集图片的特征均值，以将输入数据中各个维度的数据均中心化至0维度。
所述归一化处理为：在数据经过去均值处理后，每个维度上的数据均除以该维度上数据的标准差；或，在数据经过去均值处理后，每个维度上的数据均除以该维度上数据的绝对值最大值。
代码生成模块102，用于拖拽所述图形化文件，以生成TensorFlow或MXNET代码；其中，TensorFlow是谷歌基于DistBelief进行研发的第二代人工智能学习系统，是一种开源系统，其命名来源于本身的运行原理。Tensor(张量)意味着N维数组，Flow(流)意味着基于数据流图的计算，TensorFlow为张量从流图的一端流动到另一端计算过程。TensorFlow是将复杂的数据结构传输至人工智能神经网中进行分析和处理过程的系统。TensorFlow可被用于语音识别或图像识别等多项机器深度学习领域，对2011年开发的深度学习基础架构DistBelief进行了各方面的改进，它可在小到一部智能手机、大到数千台数据中心服务器的各种设备上运行。MXNet一种基于图片化的深度学习库，其拥有类似于Theano和TensorFlow的数据流图，为多GPU配置提供了良好的配置，有着类似于Lasagne和Blocks更高级别的模型构建块，并且可以在你可以想象的任何硬件上运行(包括手机)，支持Python、R、Julia、C++、Scala、Matlab，和Javascript的接口，适用性广泛。
进一步地，代码生成模块还用于：
在数据集页面设定数据集和数据预处理格式；
在控件拖拽页面从数据输入层依次堆叠人工智能模型，每一个控件独立设置层参数，拖拽完成后生成模型；
从第一侧拖拽人工智能模型到第二侧画布上，通过连接线的形式构建人工智能模型。
关联模块103，用于将生成的代码与图形化文件的界面进行双向关联；人工智能代码拥有强烈的模块化特性，本发明将可以把人工智能代码转换为图形化的控件拖拽格式，同时相反，也可以将图形化的拖拽形式的模型转化为各个模型的代码，即如图2所示，建立了一种对应关系以翻译python代码到图形化格式的网络图。
模型设置和训练模块104，用于以图形化文件的方式设置模型参数，并设置超参数后开始训练，在训练过程中实时查看智能终端的资源占用率和训练的准确度；
反馈模块105，用于在结束训练后，生成模型性能报告并将训练结果以安装包的形式发布在所述智能终端上。
该人工智能开发平台基于云端模块化编程技术的深度学习模型来实现人工智能算法开发，平台可根据图形化界面配置后自动生成TensorFlow代码，手工修改后的TensorFlow代码也可返回人工智能开发平台，实现代码和平台之间的双向传递，从而实现代码与图形化界面双向关联。该平台将深度学习、机器学习的研发学习过程极简化，方便初学者的学习和理解，可应用于教育领域，清晰的层级结构也可帮助专业技术研究人员在检查代码时快速定位bug所在处，省时高效。
进一步地，本发明还提供一种智能终端，包括如上所述的基于云端模块化技术的模型开发系统。该智能终端可具体为手机、电脑或PAD等终端设备，这些终端设备的其他各部分结构和控制策略与现有技术相同，在此不做赘述。
本发明实施例提供一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令使所述计算机执行上述各方法实施例所提供的方法，例如包括：
选择数据集并进行数据导入，将导入的数据进行可视化处理，以生成与数据对应的图形化文件；
拖拽所述图形化文件，以生成TensorFlow或MXNET代码；
将生成的代码与图形化文件的界面进行双向关联；
以图形化文件的方式设置模型参数，并设置超参数后开始训练，在训练过程中实时查看智能终端的资源占用率和训练的准确度；
结束训练，生成模型性能报告并将训练结果以安装包的形式发布在所述智能终端上。
本发明所提供的方法、平台、智能终端和非暂态计算机可读存储介质均具有如下技术效果：
1、深度学习和机器学习需要使用Python、C++等语言并配合包括TensorFlow、Caffe、MXNET之类的开源框架，这需要使用者拥有较强的Python或C++基础能力和Linux下的程序开发能力，本发明提供的方法是基于云端模块化编程技术的深度学习模型开发方法，使用一键拖拽式控件完成复杂的操作过程，并节约了用户自行开发搭建程序的巨大成本，易于初学者学习理解；对于有经验的程序开发者而言，此法可以节约研发的时间成本，简化不必要的构建模型过程。
2、本发明提供的方案支持数据收集、标注、预处理、可视化等数据功能；支持主流机器学习和深度学习框架的图形化开发；支持生成C++、Python代码以供二次开发。
3、本发明提供的方案支持计算机视觉模型、自然语言处理模型、深度增强学习模型和其它用户自定义模型，是以安装包形式发布性能报告到人工智能平台，无需再安装其他依赖项。
4、本发明提供的方案能够快速解决用户海量数据的计算问题，有效降低企业大数据计算平台的总体拥有成本，提升大数据应用开发效率并保障数据的云上安全。
需要说明的是，在本文中，诸如“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。
可以理解的是，本文描述的这些实施例可以用硬件、软件、固件、中间件、微码或其组合来实现。对于硬件实现，处理单元可以实现在一个或多个专用集成电路(ApplicationSpecific Integrated Circuits，ASIC)、数字信号处理器(Digital Signal Processing，DSP)、数字信号处理设备(DSP Device，DSPD)、可编程逻辑设备(Programmable LogicDevice，PLD)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)、通用处理器、控制器、微控制器、微处理器、用于执行本申请所述功能的其它电子单元或其组合中。
对于软件实现，可通过执行本文所述功能的单元来实现本文所述的技术。软件代码可存储在存储器中并通过处理器执行。存储器可以在处理器中或在处理器外部实现。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
在本申请所提供的实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实施例的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (10)
1.一种基于云端模块化技术的模型开发方法，其特征在于，包括以下步骤：
选择数据集并进行数据导入，将导入的数据进行可视化处理，以生成与数据对应的图形化文件；
拖拽所述图形化文件，以生成TensorFlow或MXNET代码；
将生成的代码与图形化文件的界面进行双向关联；
以图形化文件的方式设置模型参数，并设置超参数后开始训练，在训练过程中实时查看智能终端的资源占用率和训练的准确度；
结束训练，生成模型性能报告并将训练结果以安装包的形式发布在所述智能终端上。
2.根据权利要求1所述的基于云端模块化技术的模型开发方法，其特征在于，所述选择数据集并进行数据导入，将导入的数据进行可视化处理，以生成与数据对应的图形化文件包括：
导入数据并标注，对数据进行预处理和可视化处理；
所述预处理包括对输入的数据进行去均值处理和归一化处理。
3.根据权利要求2所述的基于云端模块化技术的模型开发方法，其特征在于，所述去均值处理为：
对待训练图形化文件中的每一张图片的特征，均减去全部训练集图片的特征均值，以将输入数据中各个维度的数据均中心化至0维度；
所述归一化处理为：
在数据经过去均值处理后，每个维度上的数据均除以该维度上数据的标准差；或，
在数据经过去均值处理后，每个维度上的数据均除以该维度上数据的绝对值最大值。
4.根据权利要求1所述的基于云端模块化技术的模型开发方法，其特征在于，所述拖拽所述图形化文件，以生成TensorFlow或MXNET代码；将生成的代码与图形化文件的界面进行双向关联包括：
在数据集页面设定数据集和数据预处理格式；
在控件拖拽页面从数据输入层依次堆叠人工智能模型，每一个控件独立设置层参数，拖拽完成后生成模型；
从第一侧拖拽人工智能模型到第二侧画布上，通过连接线的形式构建人工智能模型。
5.一种人工智能开发平台，用于实施如权利要求1-4任一项所述的方法，其特征在于，包括：
图形文件生成模块，用于选择数据集并进行数据导入，将导入的数据进行可视化处理，以生成与数据对应的图形化文件；
代码生成模块，用于拖拽所述图形化文件，以生成TensorFlow或MXNET代码；
关联模块，用于将生成的代码与图形化文件的界面进行双向关联；
模型设置和训练模块，用于以图形化文件的方式设置模型参数，并设置超参数后开始训练，在训练过程中实时查看智能终端的资源占用率和训练的准确度；
反馈模块，用于在结束训练后，生成模型性能报告并将训练结果以安装包的形式发布在所述智能终端上。
6.根据权利要求5所述的人工智能开发平台，其特征在于，所述图形文件生成模块还用于导入数据并标注，对数据进行预处理和可视化处理；
所述预处理包括对输入的数据进行去均值处理和归一化处理。
7.根据权利要求6所述的人工智能开发平台，其特征在于，所述去均值处理为：
对待训练图形化文件中的每一张图片的特征，均减去全部训练集图片的特征均值，以将输入数据中各个维度的数据均中心化至0维度；
所述归一化处理为：
在数据经过去均值处理后，每个维度上的数据均除以该维度上数据的标准差；或，
在数据经过去均值处理后，每个维度上的数据均除以该维度上数据的绝对值最大值。
8.根据权利要求6所述的人工智能开发平台，其特征在于，代码生成模块还用于：
在数据集页面设定数据集和数据预处理格式；
在控件拖拽页面从数据输入层依次堆叠人工智能模型，每一个控件独立设置层参数，拖拽完成后生成模型；
从第一侧拖拽人工智能模型到第二侧画布上，通过连接线的形式构建人工智能模型。
9.一种智能终端，其特征在于，包括如权利要求6-8任一项所述的人工智能开发平台。
10.一种基于模型开发方法的计算机可读存储介质，其特征在于，其上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至5任一所述方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910552176.0A CN112130827A (zh) | 2019-06-25 | 2019-06-25 | 基于云端模块化技术的模型开发方法、平台和智能终端 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910552176.0A CN112130827A (zh) | 2019-06-25 | 2019-06-25 | 基于云端模块化技术的模型开发方法、平台和智能终端 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112130827A true CN112130827A (zh) | 2020-12-25 |
Family
ID=73849845
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910552176.0A Pending CN112130827A (zh) | 2019-06-25 | 2019-06-25 | 基于云端模块化技术的模型开发方法、平台和智能终端 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112130827A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112882696A (zh) * | 2021-03-24 | 2021-06-01 | 国家超级计算天津中心 | 一种基于超级计算机的全要素模型训练系统 |
| CN114707471A (zh) * | 2022-06-06 | 2022-07-05 | 浙江大学 | 基于超参数评估图算法的人工智能课件制作方法及装置 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107169575A (zh) * | 2017-06-27 | 2017-09-15 | 北京天机数测数据科技有限公司 | 一种可视化机器学习训练模型的建模系统和方法 |
| CN108319456A (zh) * | 2018-01-29 | 2018-07-24 | 徐磊 | 一种免编程深度学习应用的开发方法 |
| CN108537328A (zh) * | 2018-04-13 | 2018-09-14 | 众安信息技术服务有限公司 | 用于可视化构建神经网络的方法 |
| US20180357152A1 (en) * | 2016-01-27 | 2018-12-13 | Bonsai AI, Inc. | Visual aids for debugging |
| CN109213482A (zh) * | 2018-06-28 | 2019-01-15 | 清华大学天津高端装备研究院 | 基于卷积神经网络的人工智能图形化应用平台及应用方法 |
-
2019
- 2019-06-25 CN CN201910552176.0A patent/CN112130827A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20180357152A1 (en) * | 2016-01-27 | 2018-12-13 | Bonsai AI, Inc. | Visual aids for debugging |
| CN107169575A (zh) * | 2017-06-27 | 2017-09-15 | 北京天机数测数据科技有限公司 | 一种可视化机器学习训练模型的建模系统和方法 |
| CN108319456A (zh) * | 2018-01-29 | 2018-07-24 | 徐磊 | 一种免编程深度学习应用的开发方法 |
| CN108537328A (zh) * | 2018-04-13 | 2018-09-14 | 众安信息技术服务有限公司 | 用于可视化构建神经网络的方法 |
| CN109213482A (zh) * | 2018-06-28 | 2019-01-15 | 清华大学天津高端装备研究院 | 基于卷积神经网络的人工智能图形化应用平台及应用方法 |
Non-Patent Citations (2)
| Title |
|---|
| 赵玲玲;刘杰;王伟;: "基于Spark的流程化机器学习分析方法", 计算机系统应用, no. 12, 15 December 2016 (2016-12-15) * |
| 陈双等: "基于深度学习的服装图像检索方法", 计算机系统应用, vol. 28, no. 3, 31 March 2019 (2019-03-31), pages 229 - 234 * |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112882696A (zh) * | 2021-03-24 | 2021-06-01 | 国家超级计算天津中心 | 一种基于超级计算机的全要素模型训练系统 |
| CN112882696B (zh) * | 2021-03-24 | 2024-02-02 | 国家超级计算天津中心 | 一种基于超级计算机的全要素模型训练系统 |
| CN114707471A (zh) * | 2022-06-06 | 2022-07-05 | 浙江大学 | 基于超参数评估图算法的人工智能课件制作方法及装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10725827B2 (en) | Artificial intelligence based virtual automated assistance | |
| CN111160569A (zh) | 基于机器学习模型的应用开发方法、装置及电子设备 | |
| CN111311480B (zh) | 图像融合方法和装置 | |
| US11900263B2 (en) | Augmenting neural networks | |
| US11599826B2 (en) | Knowledge aided feature engineering | |
| CN110197004B (zh) | 基于移动终端的电路仿真方法、装置、计算机介质及设备 | |
| CN110162766A (zh) | 词向量更新方法和装置 | |
| CN111651989B (zh) | 命名实体识别方法和装置、存储介质及电子装置 | |
| CN112130827A (zh) | 基于云端模块化技术的模型开发方法、平台和智能终端 | |
| CN114462582A (zh) | 基于卷积神经网络模型的数据处理方法及装置、设备 | |
| CN110909888A (zh) | 泛型决策树构建方法、装置、设备及可读存储介质 | |
| CN116720489B (zh) | 页面填充方法及装置、电子设备和计算机可读存储介质 | |
| CN117236624A (zh) | 一种基于动态图的Issue修复者推荐方法与装置 | |
| WO2023179038A1 (zh) | 数据标注的方法、ai开发平台、计算设备集群和存储介质 | |
| US20230222178A1 (en) | Synthetic data generation for machine learning model simulation | |
| CN113609018A (zh) | 测试方法、训练方法、装置、设备、介质和程序产品 | |
| CN110633197B (zh) | 一种过度绘制的检测方法和装置 | |
| US20230169408A1 (en) | Annotation of a Machine Learning Pipeline with Operational Semantics | |
| Milovanovic et al. | Python Data Visualization Cookbook | |
| US20230169354A1 (en) | Annotation of a Machine Learning Pipeline with Operational Semantics to Support Distributed Lineage Tracking | |
| US11990056B2 (en) | Data system content development, maintenance, migration, integration, and archiving | |
| US20230168923A1 (en) | Annotation of a Machine Learning Pipeline with Operational Semantics | |
| CN117093259B (zh) | 一种模型配置方法及相关设备 | |
| US20240184416A1 (en) | Integrated energy data science platform | |
| US20230342545A1 (en) | Virtual Dialog System Dynamic Context Collection |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |