CN113065666A - 一种神经网络机器学习模型训练用分布式计算方法 - Google Patents
一种神经网络机器学习模型训练用分布式计算方法 Download PDFInfo
- Publication number
- CN113065666A CN113065666A CN202110513575.3A CN202110513575A CN113065666A CN 113065666 A CN113065666 A CN 113065666A CN 202110513575 A CN202110513575 A CN 202110513575A CN 113065666 A CN113065666 A CN 113065666A
- Authority
- CN
- China
- Prior art keywords
- data
- module
- training
- neural network
- machine learning
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012549 training Methods 0.000 title claims abstract description 76
- 238000004364 calculation method Methods 0.000 title claims abstract description 75
- 238000013528 artificial neural network Methods 0.000 title claims abstract description 32
- 238000010801 machine learning Methods 0.000 title claims abstract description 32
- 238000012545 processing Methods 0.000 claims abstract description 36
- 238000004458 analytical method Methods 0.000 claims abstract description 25
- 238000000034 method Methods 0.000 claims abstract description 23
- 239000006185 dispersion Substances 0.000 claims abstract description 20
- 238000005070 sampling Methods 0.000 claims description 5
- 238000007405 data analysis Methods 0.000 claims description 4
- 238000004088 simulation Methods 0.000 claims description 3
- 238000003062 neural network model Methods 0.000 description 4
- 238000013135 deep learning Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000004075 alteration Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000000205 computational method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000003631 expected effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000002035 prolonged effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Abstract
本发明公开了一种神经网络机器学习模型训练用分布式计算方法，涉及领域，包括以下计算步骤：S1、数据采集：应用于对神经网络机器学习训模型训练系统的整体数据进行采集，并进行汇总处理；S2、数据输入：应用于将采集之后的整体数据输入至神经网络机器学习训模型训练系统内部；S3、数据分散：应用于将输入进系统内部的数据进行分散分配与处理，本发明的有益效果是：设置有采集模块，提高了神经网络机器学习训模型训练系统有关的整体数据采集的效率；设置有分散模块，方便了后续进行分别计算处理，降低了最终的误差值；设置有分析模块，提高了最终的分析结果；设置有输出模块，避免了出现意外导致的数据丢失，提高了整体的工作效率。
Description
技术领域
本发明涉及神经网络模型训练技术领域，具体为一种神经网络机器学习模型训练用分布式计算方法。
背景技术
随着深度学习技术的发展，深度学习广泛应用于计算机视觉，语音识别，自动驾驶等领域，这些应用产生越来越多的训练数据，更大的训练数据集大大增加了神经网络模型的训练时间。为了尽可能地缩短神经网络模型的训练时间，大多数研究人员提出了分布式同步训练方法对神经网络模型进行分布式训练，分布式训练方式为加速训练过程的收敛提供了一个潜在的解决方案。现有技术较为死板，现有技术未对收集的数据进行分散处理，都是直接进行收集、处理到最终结果，使得后期研究人员进行对其数据分析时，容易发生偏差，使得达不到预期效果，而且未进行有效的模型训练对比与及时备份，使得整体效率低下，因此本发明需要设计一种神经网络机器学习模型训练用分布式计算方法来解决上述出现的问题。
发明内容
本发明的目的在于提供一种神经网络机器学习模型训练用分布式计算方法，以解决上述背景技术中提出的问题。
为实现上述目的，本发明提供如下技术方案：一种神经网络机器学习模型训练用分布式计算方法，包括以下计算步骤：
S1、数据采集：应用于对神经网络机器学习训模型训练系统的整体数据进行采集，并进行汇总处理；
S2、数据输入：应用于将采集之后的整体数据输入至神经网络机器学习训模型训练系统内部；
S3、数据分散：应用于将输入进系统内部的数据进行分散分配与处理；
S4、数据分析：应用于将分散之后的数据分别进行分析处理；
S5、数据记忆：应用于将完成采集、输入、分散与分析之后的系统数据进行记忆学习，形成模拟训练；
S6、数据输出：应用于将完成记忆学习之后的数据进行正常输出。
优选的，包括学习模型训练系统，所述学习模型训练系统包括采集模块、输入模块、分散模块、分析模块、记忆模块、输出模块和控制终端；所述步骤S1数据采集基于采集模块实现，所述步骤S2数据输入基于输入模块实现，所述步骤S3数据分散基于分散模块实现，所述步骤S4数据分析基于分析模块实现，所述步骤S5数据记忆基于记忆模块实现，所述步骤S6数据输出基于输出模块实现。
优选的，所述采集模块还包括图片采集单元、视频采集单元和数据采集单元，所述图片采集单元应用于图片的分辨率采集，所述视频采集单元应用于采样速率的控制，所述数据采集单元应用于对神经网络机器学习训模型训练系统的整体数据进行采集。
优选的，所述分散模块还包括用户终端，所述用户终端包括手机和PAD，所述手机和PAD应用于将输入进系统内部的数据进行分散分配与处理。
优选的，所述分析模块还包括计算单元和模型训练单元，所述计算单元应用于将分散之后的数据分别进行计算处理，所述模型训练单元应用于将分散之后的数据分别进行模型训练处理。
优选的，所述计算单元还包括计算公式和计算工具，所述计算公式应用于将分散之后的数据分别带入公式进行计算处理，所述计算工具应用于将分散之后的数据分别带入公式辅助计算处理。
优选的，所述输出模块还包括备份单元，所述备份单元应用于将完成记忆学习之后的数据进行正常输出的同时进行备份处理。
优选的，单个所述计算公式为：
其中An为单个计算率，d为常数，n为样本数量，x为分析变量。
优选的，总体所述计算公式为：
其中Sn为总体计算率，S1为n取1时An的值。
优选的，所述采集模块、输入模块、分散模块、分析模块、记忆模块和输出模块均与控制终端电性连接。
与现有技术相比，本发明的有益效果是：
1、设置有采集模块，通过安装有图片采集单元，提高了后期图片的分辨率采集，通过安装有视频采集单元，提高了采样速率的控制，通过安装有数据采集单元，提高了神经网络机器学习训模型训练系统有关的整体数据采集的效率；
2、设置有分散模块，通过安装有用户终端如手机和PAD，将输入进系统内部的数据进行分散分配与处理，方便了后续进行分别计算处理，降低了最终的误差值；
3、设置有分析模块，通过安装有计算单元和模型训练单元，将分散之后的数据分别带入公式进行计算处理，将计算工具应用于将分散之后的数据分别带入公式辅助计算处理，提高了最终的分析结果；
4、设置有输出模块，通过安装有备份单元，及时将完成记忆学习之后的数据进行正常输出的同时进行备份处理，避免了出现意外导致的数据丢失，提高了整体的工作效率。
附图说明
图1为本发明计算方法结构图；
图2为本发明的结构流程示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参阅图1-2，本发明提供一种技术方案：一种神经网络机器学习模型训练用分布式计算方法，包括以下计算步骤：
S1、数据采集：应用于对神经网络机器学习训模型训练系统的整体数据进行采集，即应用于神经网络机器学习训模型训练系统有关的整体数据采集，并进行汇总处理；
S2、数据输入：应用于将采集之后的整体数据输入至神经网络机器学习训模型训练系统内部；
S3、数据分散：应用于将输入进系统内部的数据进行分散分配与处理；
S4、数据分析：应用于将分散之后的数据分别进行分析处理；
S5、数据记忆：应用于将完成采集、输入、分散与分析之后的系统数据进行记忆学习，形成模拟训练；
S6、数据输出：应用于将完成记忆学习之后的数据进行正常输出，配合工作人员进行正常查看。
其中，包括学习模型训练系统，所述学习模型训练系统包括采集模块、输入模块、分散模块、分析模块、记忆模块、输出模块和控制终端；所述步骤S1数据采集基于采集模块实现，所述步骤S2数据输入基于输入模块实现，所述步骤S3数据分散基于分散模块实现，所述步骤S4数据分析基于分析模块实现，所述步骤S5数据记忆基于记忆模块实现，所述步骤S6数据输出基于输出模块实现。
其中，所述采集模块还包括图片采集单元、视频采集单元和数据采集单元，所述图片采集单元应用于图片的分辨率采集，所述视频采集单元应用于采样速率的控制，所述数据采集单元应用于神经网络机器学习训模型训练系统有关的整体数据采集。
其中，所述分散模块还包括用户终端，所述用户终端包括手机和PAD，所述手机和PAD应用于将输入进系统内部的数据进行分散分配与处理。
其中，所述分析模块还包括计算单元和模型训练单元，所述计算单元应用于将分散之后的数据分别进行计算处理，所述模型训练单元应用于将分散之后的数据分别进行模型训练处理。
其中，所述计算单元还包括计算公式和计算工具，所述计算公式应用于将分散之后的数据分别带入公式进行计算处理，所述计算工具应用于将分散之后的数据分别带入公式辅助计算处理。
其中，所述输出模块还包括备份单元，所述备份单元应用于将完成记忆学习之后的数据进行正常输出的同时进行备份处理。
其中，单个所述计算公式为：
其中An为单个计算率，d为常数，n为样本数量，x为分析变量。
其中，总体所述计算公式为：
其中Sn为总体计算率，S1为n取1时An的值。
具体实施例一：
单个计算公式：
总体计算公式：
当样本数量为1时，带入如上公式中可得：Sn＝S1＝0，可知当进行数据分析对比时，只有1个参数是无法作为最终参考数据的。
具体实施例二：
单个计算公式：
总体计算公式：
当样本数量为5时，带入如上公式中可得：
可知
为样本数为5时的值，方便研究人员进行数据记录分析。
其中，所述采集模块、输入模块、分散模块、分析模块、记忆模块和输出模块均与控制终端电性连接。
具体的，使用本发明时，设置有采集模块，通过安装有图片采集单元，提高了后期图片的分辨率采集，通过安装有视频采集单元，提高了采样速率的控制，通过安装有数据采集单元，提高了神经网络机器学习训模型训练系统有关的整体数据采集的效率；设置有分散模块，通过安装有用户终端如手机和PAD，将输入进系统内部的数据进行分散分配与处理，方便了后续进行分别计算处理，降低了最终的误差值；设置有分析模块，通过安装有计算单元和模型训练单元，将分散之后的数据分别带入公式进行计算处理，将计算工具应用于将分散之后的数据分别带入公式辅助计算处理，提高了最终的分析结果；设置有输出模块，通过安装有备份单元，及时将完成记忆学习之后的数据进行正常输出的同时进行备份处理，避免了出现意外导致的数据丢失，提高了整体的工作效率。
尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。
Claims (10)
1.一种神经网络机器学习模型训练用分布式计算方法，其特征在于：包括以下计算步骤：
S1、数据采集：应用于对神经网络机器学习训模型训练系统的整体数据进行采集，并进行汇总处理；
S2、数据输入：应用于将采集之后的整体数据输入至神经网络机器学习训模型训练系统内部；
S3、数据分散：应用于将输入进系统内部的数据进行分散分配与处理；
S4、数据分析：应用于将分散之后的数据分别进行分析处理；
S5、数据记忆：应用于将完成采集、输入、分散与分析之后的系统数据进行记忆学习，形成模拟训练；
S6、数据输出：应用于将完成记忆学习之后的数据进行正常输出。
2.根据权利要求1所述的一种神经网络机器学习模型训练用分布式计算方法，包括学习模型训练系统，其特征在于：所述学习模型训练系统包括采集模块、输入模块、分散模块、分析模块、记忆模块、输出模块和控制终端；所述步骤S1数据采集基于采集模块实现，所述步骤S2数据输入基于输入模块实现，所述步骤S3数据分散基于分散模块实现，所述步骤S4数据分析基于分析模块实现，所述步骤S5数据记忆基于记忆模块实现，所述步骤S6数据输出基于输出模块实现。
3.根据权利要求2所述的一种神经网络机器学习模型训练用分布式计算方法，其特征在于：所述采集模块还包括图片采集单元、视频采集单元和数据采集单元，所述图片采集单元应用于图片的分辨率采集，所述视频采集单元应用于采样速率的控制，所述数据采集单元应用于对神经网络机器学习训模型训练系统的整体数据进行采集。
4.根据权利要求2所述的一种神经网络机器学习模型训练用分布式计算方法，其特征在于：所述分散模块还包括用户终端，所述用户终端包括手机和PAD，所述手机和PAD应用于将输入进系统内部的数据进行分散分配与处理。
5.根据权利要求2所述的一种神经网络机器学习模型训练用分布式计算方法，其特征在于：所述分析模块还包括计算单元和模型训练单元，所述计算单元应用于将分散之后的数据分别进行计算处理，所述模型训练单元应用于将分散之后的数据分别进行模型训练处理。
6.根据权利要求5所述的一种神经网络机器学习模型训练用分布式计算方法，其特征在于：所述计算单元还包括计算公式和计算工具，所述计算公式应用于将分散之后的数据分别带入公式进行计算处理，所述计算工具应用于将分散之后的数据分别带入公式辅助计算处理。
7.根据权利要求2所述的一种神经网络机器学习模型训练用分布式计算方法，其特征在于：所述输出模块还包括备份单元，所述备份单元应用于将完成记忆学习之后的数据进行正常输出的同时进行备份处理。
8.根据权利要求6所述的一种神经网络机器学习模型训练用分布式计算方法，其特征在于：单个所述计算公式为：
其中An为单个计算率，d为常数，n为样本数量，x为分析变量。
9.根据权利要求8所述的一种神经网络机器学习模型训练用分布式计算方法，其特征在于：总体所述计算公式为：
其中Sn为总体计算率，S1为n取1时An的值。
10.根据权利要求2所述的一种神经网络机器学习模型训练用分布式计算方法，其特征在于：所述采集模块、输入模块、分散模块、分析模块、记忆模块和输出模块均与控制终端电性连接。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110513575.3A CN113065666A (zh) | 2021-05-11 | 2021-05-11 | 一种神经网络机器学习模型训练用分布式计算方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110513575.3A CN113065666A (zh) | 2021-05-11 | 2021-05-11 | 一种神经网络机器学习模型训练用分布式计算方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113065666A true CN113065666A (zh) | 2021-07-02 |
Family
ID=76568732
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110513575.3A Pending CN113065666A (zh) | 2021-05-11 | 2021-05-11 | 一种神经网络机器学习模型训练用分布式计算方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113065666A (zh) |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20160103901A1 (en) * | 2014-10-08 | 2016-04-14 | Nec Laboratories America, Inc. | Parallelized Machine Learning With Distributed Lockless Training |
| CN105894087A (zh) * | 2015-01-26 | 2016-08-24 | 华为技术有限公司 | 用于神经网络中训练参数集的系统和方法 |
| CN107104978A (zh) * | 2017-05-24 | 2017-08-29 | 赖洪昌 | 一种基于深度学习的网络风险预警方法 |
| CN107145546A (zh) * | 2017-04-26 | 2017-09-08 | 北京环境特性研究所 | 基于深度学习的监控视频人员模糊检索方法 |
| CN108564164A (zh) * | 2018-01-08 | 2018-09-21 | 中山大学 | 一种基于spark平台的并行化深度学习方法 |
| CN109032671A (zh) * | 2018-06-25 | 2018-12-18 | 电子科技大学 | 一种基于数据并行策略的分布式深度学习方法及系统 |
| CN110378472A (zh) * | 2019-07-24 | 2019-10-25 | 苏州浪潮智能科技有限公司 | 一种深度神经网络模型的数据并行训练方法、装置及设备 |
| CN110889492A (zh) * | 2019-11-25 | 2020-03-17 | 北京百度网讯科技有限公司 | 用于训练深度学习模型的方法和装置 |
| CN111539519A (zh) * | 2020-04-30 | 2020-08-14 | 成都成信高科信息技术有限公司 | 一种面向海量数据的卷积神经网络训练引擎方法及系统 |
| US20210065002A1 (en) * | 2018-05-17 | 2021-03-04 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Concepts for distributed learning of neural networks and/or transmission of parameterization updates therefor |
-
2021
- 2021-05-11 CN CN202110513575.3A patent/CN113065666A/zh active Pending
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20160103901A1 (en) * | 2014-10-08 | 2016-04-14 | Nec Laboratories America, Inc. | Parallelized Machine Learning With Distributed Lockless Training |
| CN105894087A (zh) * | 2015-01-26 | 2016-08-24 | 华为技术有限公司 | 用于神经网络中训练参数集的系统和方法 |
| CN107145546A (zh) * | 2017-04-26 | 2017-09-08 | 北京环境特性研究所 | 基于深度学习的监控视频人员模糊检索方法 |
| CN107104978A (zh) * | 2017-05-24 | 2017-08-29 | 赖洪昌 | 一种基于深度学习的网络风险预警方法 |
| CN108564164A (zh) * | 2018-01-08 | 2018-09-21 | 中山大学 | 一种基于spark平台的并行化深度学习方法 |
| US20210065002A1 (en) * | 2018-05-17 | 2021-03-04 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Concepts for distributed learning of neural networks and/or transmission of parameterization updates therefor |
| CN109032671A (zh) * | 2018-06-25 | 2018-12-18 | 电子科技大学 | 一种基于数据并行策略的分布式深度学习方法及系统 |
| CN110378472A (zh) * | 2019-07-24 | 2019-10-25 | 苏州浪潮智能科技有限公司 | 一种深度神经网络模型的数据并行训练方法、装置及设备 |
| CN110889492A (zh) * | 2019-11-25 | 2020-03-17 | 北京百度网讯科技有限公司 | 用于训练深度学习模型的方法和装置 |
| CN111539519A (zh) * | 2020-04-30 | 2020-08-14 | 成都成信高科信息技术有限公司 | 一种面向海量数据的卷积神经网络训练引擎方法及系统 |
Non-Patent Citations (2)
| Title |
|---|
| RONG GU; FURAO SHEN; YIHUA HUANG；: "A Parallel Computing Platform for Training Large Scale Neural Networks", 《2013 IEEE INTERNATIONAL CONFERENCE ON BIG DATA》, 9 October 2013 (2013-10-09), pages 376 - 384, XP032535078, DOI: 10.1109/BigData.2013.6691598 * |
| VIACHESLAV KHOMENKO; OLEG SHYSHKOV; OLGA RADYVONENKO; KOSTIANTYN BOKHAN；: "Accelerating_recurrent_neural_network_training_using_sequence_bucketing_and_multi-GPU_data_parallelization", 《2016 IEEE FIRST INTERNATIONAL CONFERENCE ON DATA STREAM MINING & PROCESSING (DSMP)》, 27 August 2016 (2016-08-27) * |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP3989111A1 (en) | Video classification method and apparatus, model training method and apparatus, device and storage medium | |
| CN110348441B (zh) | 增值税发票识别方法、装置、计算机设备及存储介质 | |
| CN111696112B (zh) | 图像自动裁剪方法、系统、电子设备及存储介质 | |
| CN111832449A (zh) | 工程图纸的显示方法及相关装置 | |
| CN104424483A (zh) | 一种人脸图像的光照预处理方法、装置及终端 | |
| CN113656864B (zh) | 一种基于bim的建筑施工方法、系统、计算机装置及存储介质 | |
| CN115730605B (zh) | 基于多维信息的数据分析方法 | |
| US20230066703A1 (en) | Method for estimating structural vibration in real time | |
| CN115794437A (zh) | 微服务的调用方法、装置、计算机设备及存储介质 | |
| CN111475532A (zh) | 数据处理的优化方法及装置、存储介质、终端 | |
| CN113065666A (zh) | 一种神经网络机器学习模型训练用分布式计算方法 | |
| CN117294727A (zh) | 一种基于云原生和容器技术的云边端协同管理方法 | |
| CN110109757B (zh) | 一种基于云计算的高性能计算方法 | |
| CN111443615A (zh) | 一种用电设备控制系统、方法以及设备 | |
| CN115565168A (zh) | 一种基于注意力机制残差胶囊网络的甘蔗病害识别方法 | |
| CN112800140B (zh) | 一种基于区块链预言机的高可信数据获取方法 | |
| CN112000389B (zh) | 一种配置推荐方法、系统、装置及计算机存储介质 | |
| CN106407173A (zh) | 一种在线自动图文本排版系统及其排版方法 | |
| CN116562653B (zh) | 一种分布式能源台区线损监测方法及系统 | |
| CN115471893B (zh) | 训练人脸识别模型、人脸识别的方法和装置 | |
| CN108805894A (zh) | 图像分析方法及其系统 | |
| CN113627556B (zh) | 一种图像分类的实现方法、装置、电子设备和存储介质 | |
| NL2030745B1 (en) | Computer system for saliency detection of rgbd images based on interactive feature fusion | |
| CN112114571B (zh) | 一种工业数据处理方法、系统及设备 | |
| CN114691905B (zh) | 一种用于监视器的人工智能多源数据处理系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |