CN111612132A

CN111612132A - 一种人工智能算法开发系统、训练方法、设备及介质

Info

Publication number: CN111612132A
Application number: CN202010430392.0A
Authority: CN
Inventors: 莫一夫; 刘文松; 潘岐深; 张壮领; 陈彩娜; 郑松源; 毕明利
Original assignee: Guangdong Power Grid Co Ltd
Current assignee: Guangdong Power Grid Co Ltd
Priority date: 2020-05-20
Filing date: 2020-05-20
Publication date: 2020-09-01

Abstract

本申请公开了一种人工智能算法开发系统、训练方法、设备及介质，系统包括：数据准备模块，用于获取待处理数据，对待处理数据进行预处理，标注预处理后的待处理数据；模型搭建模块，用于选择待处理数据对应的算法模型以及调节算法模型的参数；模型训练模块，用于采用分布式的训练方法对算法模型进行训练。本申请开发的人工智能算法开发系统实现了人工智能算法全流程的快捷应用，且对用户的知识门槛要求较低。

Description

一种人工智能算法开发系统、训练方法、设备及介质

技术领域

本申请涉及深度学习技术领域，尤其涉及一种人工智能算法开发系统、训练方法、设备及介质。

背景技术

深度学习的整个开发流程涉及数据管理、数据标注、模型搭建、模型训练，模型部署等。但各个开发的阶段都需要不同的工具、技术、人员等，并不能做到真正的一体化流程，在开发过程中除了需要拥有相应平台上的开发经验，还需要大量深度学习算法相关知识，这提高了深度学习开发的门槛。有必要针对深度学习算法开发的需求进行研究分析，开发一套满足应用需求的开发平台。

发明内容

本申请实施例提供了一种人工智能算法开发系统、训练方法、设备及介质，解决了现有技术中对开发人员知识门槛要求较高，且难以完成全流程应用的技术问题。

有鉴于此，本申请第一方面提供了一种人工智能算法开发系统，所述系统包括：

数据准备模块，用于获取待处理数据，对所述待处理数据进行预处理，标注预处理后的所述待处理数据；

模型搭建模块，用于选择所述待处理数据对应的算法模型以及调节所述算法模型的参数；

模型训练模块，用于采用分布式的训练方法对所述算法模型进行训练。

可选的，所述数据准备模块包括：

数据导入模块，用于从预先准备的数据库中获取所述待处理数据，或者根据所述待处理数据的特征从互联网中爬取所述待处理数据；

数据预处理模块，用于对所述待处理数据进行数据去噪、数据增强以及自定义的预处理方法；

数据标注模块，用于对所述待处理数据进行标注，所述标注包括分类标注、位置标注以及视频追踪。

可选的，所述模型搭建模块包括

模型选择模块，用于选择内置的所述算法模型或者根据需要自定义设置所述算法模型的结构；

参数设置模块，用于调节内置的所述算法模型的参数或者根据自定义的所述算法模型的结构设置对应的模型参数。

可选的，所述模型训练模块包括：

分布式训练模块，用于对分布式的主机分配相应的资源，设置所述算法模型的监控指标；

进度监控模块，用于实时监控所述算法模型的性能以及所述主机计算资源的消耗。

可选的，还包括：

模型部署模块，用于对所述算法模型进行压缩，并将压缩后的算法模型文件转译成不同的参数和文件，使得压缩后的所述算法模型适应于不同的设备终端。

可选的，所述模型部署模块包括：

模型压缩模块，用于将所述算法模型压缩成多种压缩等级的算法模型文件，使得所述算法模型适应于不同的设备终端；

模型生成模块，将所述算法模型文件转译成适应于设备终端的参数和文件。

本申请第二方面提供一种人工智能算法训练方法，所述方法包括：

获取待处理数据，将所述待处理数据进行预处理，标注预处理后的所述待处理数据；

选择所述待处理数据对应的算法模型以及调节所述算法模型的参数；

采用分布式的训练方法对所述算法模型进行训练。

可选的，还包括：

对所述算法模型进行压缩，并将压缩后的算法模型文件转译成不同的参数和文件，使得压缩后的所述算法模型适应于不同的设备终端。

本申请第三方面提供一种人工智能算法开发设备，所述设备包括处理器以及存储器：

所述存储器用于存储程序代码，并将所述程序代码传输给所述处理器；

所述处理器用于根据所述程序代码中的指令，执行如上述第二方面所述的人工智能算法训练方法的步骤。

本申请第四方面提供一种计算机可读存储介质，所述计算机可读存储介质用于存储程序代码，所述程序代码用于执行上述第二方面所述的方法。

从以上技术方案可以看出，本申请具有以下优点：

本申请中，提供了一种人工智能算法开发系统，包括：数据准备模块，用于获取待处理数据，对待处理数据进行预处理，标注预处理后的待处理数据；模型搭建模块，用于选择待处理数据对应的算法模型以及调节算法模型的参数；模型训练模块，用于采用分布式的训练方法对算法模型进行训练。本申请开发的人工智能算法开发系统通过预先设置的待处理数据、预处理方法和算法模型进行应用，使得用户能够根据需要自行选择，而不用重新对预处理方法以及算法模型进行编程，对用户的知识门槛要求较低。另外，本申请通过分布式的训练方法，使得模型的训练对硬件要求不高，能有效的提高训练速度。

附图说明

图1为本申请一种人工智能算法开发系统的一个实施例中的系统架构图；

图2为本申请一种人工智能算法开发系统的另一个实施例中的系统架构图；

图3为本申请一种人工智能算法训练方法的一个实施例中的方法流程图。

具体实施方式

为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

图1为本申请一种人工智能算法开发系统的一个实施例中的系统架构图，如图1所示，图1中包括：

数据准备模块101，用于获取待处理数据，对待处理数据进行预处理，标注预处理后的待处理数据。

需要说明的是，当用户在开发某一应用场景的人工智能算法时，需要采集该场景的相关数据，并将数据处理成算法输入所需的格式。数据准备模块101可以支持多种格式的数据导入方式，并对数据进行数据清洗删除掉噪声数据，以及对数据进行预处理，还可以对预处理后的数据进行标注从而实现数据追踪的目的。

模型搭建模块102，用于选择待处理数据对应的算法模型以及调节算法模型的参数。

需要说明的是，模型搭建模块102可以为用户提供多种算法模型供用户自主选择；同时，还提供自定义的模型设置窗口，使得用户能够根据自身的需求自定义算法模型的结构。另外，还提供可视化的界面使得用户能够更加方便的调节算法模型的参数。

模型训练模块103，用于采用分布式的训练方法对算法模型进行训练。

需要说明的是，对于大数据环境下的深度学习算法来说，算法的训练对硬件的要求较高，而一般用户只是单机CPU或者一台GPU服务器，在这样的硬件基础上进行深度学习算法训练是需要花费很长的时间。模型训练模块103可以采用分布式的训练方式，使得模型的训练对硬件要求不高，能有效的提高训练速度，并最大化利用机器的性能。

本申请开发的人工智能算法开发系统通过预先设置的待处理数据、预处理方法和算法模型进行应用，使得用户能够根据需要自行选择，而不用重新对预处理方法以及算法模型进行编程，对用户的知识门槛要求较低。另外，本申请通过分布式的训练方法，使得模型的训练对硬件要求不高，能有效的提高训练速度。

为了便于理解，请参阅图2，图2为本申请一种人工智能算法开发系统的一个实施例中的系统架构图，具体包括：

数据准备模块201，用于获取待处理数据，对待处理数据进行预处理，标注预处理后的待处理数据。

需要说明的是，当用户在开发某一应用场景的人工智能算法时，需要采集该场景的相关数据，并将数据处理成算法输入所需的格式。数据准备模块201可以支持多种格式的数据导入方式，并对数据进行数据清洗删除掉噪声数据，以及对数据进行预处理，还可以对预处理后的数据进行标注从而实现数据追踪的目的。

在一种具体的实施方式中，数据准备模块201还包括：

数据导入模块2011，用于从预先准备的数据库中获取待处理数据，或者根据待处理数据的特征从互联网中爬取待处理数据。

需要说明的是，用户可以从预先准备的数据库中获取待处理数据，当预先准备的数据库中并没有相应的待处理数据，且用户有相应的待处理数据时，可以通过系统提供的数据上传接口，上传这些数据；若用户没有相应的待处理数据时，可以设置需要获取的数据内容(比如输电线路的绝缘子图片、杆塔图片等)、数据格式(比如JPG、JPEG、png等)、数据数量等信息，系统可以根据以上数据特征就能从网络进行数据爬虫来获取相关数据。

数据预处理模块2012，用于对待处理数据进行数据去噪、数据增强以及自定义的预处理方法。

需要说明的是，数据预处理模块2012可以提供常见的数据去噪、数据增强等方法，用户可以通过图像化的界面选取需要选用的预处理步骤合理的设计数据预处理的流程。同时，数据预处理模块2012也支持通过编程的方式自定义的设置预处理方法。

数据标注模块2013，用于对待处理数据进行标注，标注包括分类标注、位置标注以及视频追踪。

需要说明的是，对于预处理后的数据，数据标注模块2013允许用户对数据进行标注，提供分类标注、位置标注、视频追踪等，用户可以根据自己的应用需求在图像化显示界面进行选择。

模型搭建模块202，用于选择待处理数据对应的算法模型以及调节算法模型的参数。

需要说明的是，模型搭建模块202可以为用户提供多种算法模型供用户自主选择；同时，还提供自定义的模型设置窗口，使得用户能够根据自身的需求自定义算法模型的结构。另外，还提供可视化的界面使得用户能够更加方便的调节算法模型的参数。

模型选择模块2021，用于选择内置的算法模型或者根据需要自定义设置算法模型的结构。

需要说明的是，模型选择模块2021一方面提供了多种成熟的算法模型供用户自主选择，使得用户无需太多的知识门槛便能轻松使用算法模型。另一方面，还提供了多种算法模型组件，使得用户能够根据自身需要在图像化显示界面选择合适的模型组件设计算法模型，从而为有一定知识积累的用户提供更加合适的算法模型。

参数设置模块2022，用于调节内置的算法模型的参数或者根据自定义的算法模型的结构设置对应的模型参数。

需要说明的是，参数设置模块2022可以对选择的算法模型进行实时的参数调节。

模型训练模块203，用于采用分布式的训练方法对算法模型进行训练。

分布式训练模块2031，用于对分布式的主机分配相应的资源，设置算法模型的监控指标。

需要说明的是，当采用分布式的方法进行模型训练时，用户需要对进行模型训练相关的终端设备进行配置，包括每台设备终端需要使用多少资源、训练中需要监控什么指标、是否需要实时备份模型等。

进度监控模块2032，用于实时监控算法模型的性能以及主机计算资源的消耗。

需要说明的是，进度监控模块2032可以实时监控训练过程中的性能问题，可以根据用户设置监控多种在模型训练中的模型性能，比如softmax、loss以及模型运行速度等。另外，还可以让用户掌握模型所消耗的计算资源，监控分布式系统中的计算资源利用率、计算资源等，便于用户改进算法模型。

模型部署模块204，用于对算法模型进行压缩，并将压缩后的算法模型文件转译成不同的参数和文件，使得压缩后的算法模型适应于不同的设备终端。

需要说明的是，由于现有的硬件终端设备的性能层次不齐，在性能比较差的设备上往往是需要对深度学习算法进行压缩加速。因此，当人工智能算法需要部署到各种终端设备上时，需要对算法模型文件进行压缩，系统可以提供给用户一些压缩的方法让用户得到更加易于部署的算法模型。

模型压缩模块2041，用于将算法模型压缩成多种压缩等级的算法模型文件，使得算法模型适应于不同的设备终端。

需要说明的是，针对设备的多样性，本申请的模型压缩模块2041可以将算法模型压缩成多种压缩等级的算法模型文件，使得算法模型适应于不同的设备终端。

模型生成模块2042，将算法模型文件转译成适应于设备终端的参数和文件。

需要说明的是，针对设备的多样性，本申请的模型生成模块2042可以将算法模型文件转译成适应于设备终端的参数和文件。

本申请为包括AI算法开发全流程的系统，从数据准备、数据预处理、数据标注、模型定义、模型训练，模型优化，到模型部署。通过内置的数据，预处理方法、算法模型使得操作门槛较低，能够满足大部分人的使用；通过分布式的训练方法，使得模型的训练对硬件要求不高，能有效的提高训练速度。

以上是本申请的系统实施例，本申请还包括一种人工智能算法训练方法的一个实施例中的方法流程图，如图3所示，具体包括：

301、获取待处理数据，将待处理数据进行预处理，标注预处理后的待处理数据。

在一种具体的实施方式中，获取待处理数据的方法流程包括：

用户上传定义数据类型和要求；获取数据后，定义预处理的相关流程，并对数据进行预处理；按照应用场景的需求对数据进行标注处理，并生成标注结果。

302、选择待处理数据对应的算法模型以及调节算法模型的参数。

303、采用分布式的训练方法对算法模型进行训练。

在一种具体的实施方式中，训练算法模型的方法流程包括：

首先定义模型，选择所需的算法模型类别；配置训练数据集、训练模型及训练参数；将训练任务分配到对应的设备上进行训练；训练过程中，对各类指标进行实时监控并显示，以便用户实时查看具体的训练状态。

本申请方法还包括：

304、对所述算法模型进行压缩，并将压缩后的算法模型文件转译成不同的参数和文件，使得压缩后的算法模型适应于不同的设备终端。

在一种具体的实施方式中，304的方法流程还包括：

选择已训练好的模型；使用模型剪枝算法对模型进行压缩，得到压缩后模型；用训练数据对压缩后模型进行微调达到更高的性能。

本申请方法中对参数进行量化的具体步骤为：选择已训练好的模型；使用模型量化算法及量化数据集对模型参数进行量化，得到量化后模型；

本申请方法中对模型蒸馏的步骤包括：

选择已经训练好的模型；定义待蒸馏小模型；使用训练数据进行模型蒸馏，使小模型学得大模型的知识，得到蒸馏小模型。

本申请还包括一种人工智能算法开发设备的实施例，设备包括处理器以及存储器：存储器用于存储程序代码，并将程序代码传输给处理器；处理器用于根据程序代码中的指令执行本申请额人工智能算法训练方法的实施例。

本申请还包括一种计算机可读存储介质的实施例，计算机可读存储介质用于存储程序代码，程序代码用于执行本申请人工智能算法训练方法的实施例。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

本申请中术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

应当理解，在本申请中，“至少一个(项)”是指一个或者多个，“多个”是指两个或两个以上。“和/或”，用于描述关联对象的关联关系，表示可以存在三种关系，例如，“A和/或B”可以表示：只存在A，只存在B以及同时存在A和B三种情况，其中A，B可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。“以下至少一项(个)”或其类似表达，是指这些项中的任意组合，包括单项(个)或复数项(个)的任意组合。例如，a，b或c中的至少一项(个)，可以表示：a，b，c，“a和b”，“a和c”，“b和c”，或“a和b和c”，其中a，b，c可以是单个，也可以是多个。

在本申请所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(英文全称：Read-OnlyMemory，英文缩写：ROM)、随机存取存储器(英文全称：Random Access Memory，英文缩写：RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述，以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。

Claims

1.一种人工智能算法开发系统，其特征在于，包括：

2.根据权利要求1所述的人工智能算法开发系统，其特征在于，所述数据准备模块包括：

3.根据权利要求1所述的人工智能算法开发系统，其特征在于，所述模型搭建模块包括

4.根据权利要求1所述的人工智能算法开发系统，其特征在于，所述模型训练模块包括：

5.根据权利要求1所述的人工智能算法开发系统，其特征在于，还包括：

6.根据权利要求5所述的人工智能算法开发系统，其特征在于，所述模型部署模块包括：

7.一种人工智能算法训练方法，其特征在于，

采用分布式的训练方法对所述算法模型进行训练。

8.根据权利要求7所述的人工智能算法训练方法，其特征在于，还包括：

9.一种人工智能算法开发设备，其特征在于，所述设备包括处理器以及存储器：

所述处理器用于根据所述程序代码中的指令执行权利要求7-8任一项所述的人工智能算法训练方法。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质用于存储程序代码，所述程序代码用于执行权利要求7-8任一项所述的人工智能算法训练方法。