CN110084380A - 一种迭代训练方法、设备、系统及介质 - Google Patents

一种迭代训练方法、设备、系统及介质 Download PDF

Info

Publication number
CN110084380A
CN110084380A CN201910389954.9A CN201910389954A CN110084380A CN 110084380 A CN110084380 A CN 110084380A CN 201910389954 A CN201910389954 A CN 201910389954A CN 110084380 A CN110084380 A CN 110084380A
Authority
CN
China
Prior art keywords
parameter
repetitive exercise
weight parameter
gradient
equipment
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910389954.9A
Other languages
English (en)
Inventor
周旭智
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Onething Technology Co Ltd
Original Assignee
Shenzhen Onething Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Onething Technology Co Ltd filed Critical Shenzhen Onething Technology Co Ltd
Priority to CN201910389954.9A priority Critical patent/CN110084380A/zh
Publication of CN110084380A publication Critical patent/CN110084380A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Medical Informatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Medical Treatment And Welfare Office Work (AREA)

Abstract

本发明公开了一种迭代训练方法、设备、系统及介质。该方法的步骤包括：在迭代训练的各个当前轮次中，通过经权重参数配置的训练模型对样本数据进行梯度运算，生成梯度参数；根据包含梯度参数在内的参数调整权重参数，生成新权重参数；通过新权重参数重新配置训练模型，并执行下一轮次的迭代训练；当最后一轮次的迭代训练结束时，将最终权重参数发送至参数服务器，以通过参数服务器汇总各迭代训练设备相应的最终权重参数，并根据各最终权重参数的计算结果权重参数，并根据结果权重参数生成结果模型。本方法相对确保了迭代训练的整体可靠性。此外，本发明还提供一种迭代训练设备、系统及介质，有益效果同上所述。

Description

一种迭代训练方法、设备、系统及介质
技术领域
本发明涉及机器学习领域，特别是涉及一种迭代训练方法、设备、系统及介质。
背景技术
在机器学习领域中，对于训练模型的迭代训练的瓶颈主要在于对大量样本数据的训练以及频繁的权重参数更新，由于当前迭代训练过程中样本数据与权重参数均在不断增长，因此通过单机设备已经无法提供目前迭代训练对内存和算力的需求，因此通过分布式的设备共同实现机器学习中对训练模型的迭代训练已经成为当前进行迭代训练前的先决条件。
图1为现有技术中实现机器学习迭代训练的分布式设备间的通信示意图。如图1所示的，当前分布式优化采用基于参数服务器(Parameter Device)的迭代训练方法，不同的迭代训练设备(Device A、B、C..)中均有相同的训练模型(Model)，在每一轮迭代中，每个迭代训练设备获得不同的样本数据(Input1、Input2、Input3)，并分别依照初始的权重参数控制训练模型对样本数据进行运算生成相应的参数梯度，进而各迭代训练设备将运算生成的参数梯度(ΔP1、ΔP2、ΔP3)发送到参数服务器，参数服务器通过汇总各个迭代训练设备传入的参数梯度，计算生成整体梯度，进而参数服务器将整体梯度(P)发送至各个迭代训练设备，各迭代训练设备分别根据整体梯度调整自身的权重参数并进行下一轮迭代，直至迭代训练结束，并将训练结束后的训练模型作为训练结果。
在当前基于参数服务器的迭代训练方法中，参数服务器在每一轮迭代中均会等待所有迭代训练设备完成对参数梯度的运算后，再对每个迭代训练设备计算得到的参数梯度进行汇总及计算，因此梯度的更新需要数据反复在参数服务器与迭代训练设备间传输，而对于较大的训练模型而言，参数梯度的数据规模也较为庞大，由于参数服务器仅有一台，在迭代训练过程中参数服务器频繁进行大量的数据传输，可能导致参数服务器的稳定性降低，极易因通信阻塞而产生工作异常，难以确保迭代训练的可靠性。
由此可见，提供一种迭代训练方法，以相对提高迭代训练过程中参数服务器的工作稳定性，进而确保迭代训练的整体可靠性，是本领域技术人员亟待解决的问题。
发明内容
本发明的目的是提供一种迭代训练方法、设备、系统及介质，以相对提高迭代训练过程中参数服务器的工作稳定性，进而确保迭代训练的整体可靠性，是本领域技术人员亟待解决的问题。
为解决上述技术问题，本发明提供一种迭代训练方法，应用于迭代训练设备，方法包括：
在迭代训练的各个当前轮次中，通过经权重参数配置的训练模型对样本数据进行梯度运算，生成梯度参数；
根据包含梯度参数在内的参数调整权重参数，生成新权重参数；
通过新权重参数重新配置训练模型，并执行下一轮次的迭代训练；
当最后一轮次的迭代训练结束时，将最终权重参数发送至参数服务器，以通过参数服务器汇总各迭代训练设备相应的最终权重参数，并根据各最终权重参数的计算结果权重参数，并根据结果权重参数生成结果模型。
优选的，根据包含梯度参数在内的参数调整权重参数，生成新权重参数包括：
根据梯度参数调整权重参数生成中间权重参数；
并获取执行迭代训练的其它迭代训练设备在当前轮次的其它中间权重参数；
计算中间权重参数与其它中间权重参数的参数平均值，并将参数平均值设置为新权重参数。
优选的，根据梯度参数调整权重参数生成中间权重参数的表达式为：
Y[i]＝X[i-1]-α*g；其中，i为大于1的整数，Y[i]为迭代训练中第i轮次的中间权重参数，X[i-1]为迭代训练中第i-1轮次的新权重参数，g为迭代训练中第i轮次的梯度参数，α为预设的学习率。
优选的，获取执行迭代训练的其它迭代训练设备在当前轮次的其它中间权重参数包括：
在预设的通信范围内获取执行迭代训练的其它迭代训练设备在当前轮次的其它中间权重参数。
优选的，通过参数服务器汇总各迭代训练设备相应的最终权重参数，并根据各最终权重参数的计算结果权重参数包括：
通过参数服务器汇总各迭代训练设备相应的最终权重参数，并将各最终权重参数的平均值设置为结果权重参数。
优选的，在迭代训练的各个当前轮次中，通过经权重参数配置的训练模型对样本数据进行梯度运算，生成梯度参数包括：
控制GPU在迭代训练的各个当前轮次中，通过经权重参数配置的训练模型对样本数据进行梯度运算，生成梯度参数；
相应的，将最终权重参数发送至参数服务器包括：
控制CPU利用目标线程将最终权重参数发送至参数服务器。
此外，本发明还提供一种迭代训练设备，设备包括总线、存储器和处理器，存储器上存储有可由总线传输至处理器并在处理器上运行的迭代训练程序，迭代训练程序被处理器执行时实现如上述的迭代训练方法。
优选的，装置为组成CDN网络或者区块链网络的节点。
此外，本发明还提供一种迭代训练系统，系统包括：
梯度参数生成单元，用于在迭代训练的各个当前轮次中，通过经权重参数配置的训练模型对样本数据进行梯度运算，生成梯度参数；
权重参数调整单元，用于根据包含梯度参数在内的参数调整权重参数，生成新权重参数；
训练模型配置单元，用于通过新权重参数重新配置训练模型，并执行下一轮次的迭代训练；
结果模型生成单元，用于当最后一轮次的迭代训练结束时，将最终权重参数发送至参数服务器，以通过参数服务器汇总各迭代训练设备相应的最终权重参数，并根据各最终权重参数的计算结果权重参数，并根据结果权重参数生成结果模型。
此外，本发明还提供一种计算机可读存储介质，计算机可读存储介质上存储有迭代训练程序，迭代训练程序可被一个或者多个处理器执行，以实现如上述的迭代训练方法。
本发明所提供的迭代训练方法，在迭代训练的各个当前轮次中，均通过训练模型对样本数据进行梯度运算，生成梯度参数，其中，该训练模型预先经过权重参数的配置；进而根据包含梯度参数在内的参数对权重参数进行调整，生成相应的新权重参数，并通过新权重参数重新配置该训练模型，以用于执行下一轮次的迭代训练，当最后一轮次的迭代训练结束后，将训练生成的最终权重参数发送至参数服务器，以通过参数服务器汇总各所述迭代训练设备传入的最终权重参数，并根据各个最终权重参数计算结果权重参数，进而根据结果权重参数生成结果模型。本方法的迭代过程均是在迭代训练设备中进行，仅当最后一轮次的所述迭代训练结束时，将最终权重参数发送至参数服务器以供服务器生成结果权重参数及结果模型，因此本方法相对避免了参数服务器在迭代训练过程中频繁进行大量的数据传输的情况产生，以此相对提高了迭代训练过程中参数服务器的工作稳定性，进而确保了迭代训练的整体可靠性。此外，本发明还提供一种迭代训练设备、系统及介质，有益效果同上所述。
附图说明
为了更清楚地说明本发明实施例，下面将对实施例中所需要使用的附图做简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为现有技术中实现机器学习迭代训练的分布式设备间的通信示意图；
图2为本发明实施例提供的一种迭代训练方法的流程图；
图3为本发明实施例提供的另一种迭代训练方法的流程图；
图4为本发明实施例提供的一种迭代训练设备的结构图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下，所获得的所有其他实施例，都属于本发明保护范围。
本发明的核心是提供一种迭代训练方法，以相对提高迭代训练过程中参数服务器的工作稳定性，进而确保迭代训练的整体可靠性。本发明的另一核心是提供一种迭代训练设备、系统及介质。
为了使本技术领域的人员更好地理解本发明方案，下面结合附图和具体实施方式对本发明作进一步的详细说明。
实施例一
图2为本发明实施例提供的一种迭代训练方法的流程图。请参考图2，应用于迭代训练设备的迭代训练方法的具体步骤包括：
步骤S10：在迭代训练的各个当前轮次中，通过经权重参数配置的训练模型对样本数据进行梯度运算，生成梯度参数。
需要说明的是，本步骤中的训练模型相当于迭代训练过程中的数据处理框架，用于对数据进行处理，为了达到训练模型能够相对准确的进行数据处理，需要通过迭代训练的方式，利用训练模型处理样本数据，并根据训练模型的处理结果与标准结果之间的差距对训练模型进行调整，目的是确保调整后的训练模型对样本数据的处理结果能够相对趋近于标准结果，而对于训练模型的调整本质上是对训练模型的权重参数进行调整，也就是说，相同迭代训练过程中训练模型之间的差异在于权重参数。本步骤中，通过经权重参数配置的训练模型对样本数据进行梯度运算所生成的梯度参数表征的即为训练模型对样本数据的处理结果与标准结果之间的差异性。由于通过训练模型对样本数据进行梯度运算的过程是本领技术人员公知的技术内容，故在此不做赘述。
步骤S11：根据包含梯度参数在内的参数调整权重参数，生成新权重参数。
本步骤的重点在于根据至少包含梯度参数在内的参数对权重参数进行调整，以此生成新权重参数，可以理解的是，本步骤的目的是确保新权重参数相比于当前轮次迭代训练所使用的权重参数而言更趋近于合理的取值，因此需要考虑基于权重参数的训练模型对样本数据的处理结果与标准结果的差异，也就是权重参数相应的梯度参数，并且需要将该梯度参数作为对梯度参数进行调整的最主要参考依据。
步骤S12：通过新权重参数重新配置训练模型，并执行下一轮次的迭代训练。
可以理解的是，生成新权重参数后，通过新权重参数重新配置的训练模型相比于当前迭代轮次初始的训练模型而言更运算的准确性更高，进而在通过新权重参数重新配置的训练模型的基础山，进一步执行下一轮次的迭代训练，以此确保训练模型在迭代的过程中逐渐收敛，可用性逐渐提高。
步骤S13：当最后一轮次的迭代训练结束时，将最终权重参数发送至参数服务器，以通过参数服务器汇总各迭代训练设备相应的最终权重参数，并根据各最终权重参数的计算结果权重参数，并根据结果权重参数生成结果模型。
当最后一轮次的迭代训练结束时，迭代训练设备将生成的最终权重参数发送至参数服务器，需要注意的是，由于本方法的中的操作步骤是站在众多分布式迭代训练设备中的任意一台迭代训练设备的角度描述的，因此对于整个迭代训练的集群而言，各个迭代训练设备均需要在最后一轮次的迭代训练结束后，将最终权重参数发送至参数服务器。参数服务器在汇总到各个迭代训练设备传入的最终权重参数后，进行综合的计算生成结果权重参数，进而根据结果权重参数生成结果模型，该结果模型即为整个迭代训练过程中准确性最高的训练模型。
本发明所提供的迭代训练方法，在迭代训练的各个当前轮次中，均通过训练模型对样本数据进行梯度运算，生成梯度参数，其中，该训练模型预先经过权重参数的配置；进而根据包含梯度参数在内的参数对权重参数进行调整，生成相应的新权重参数，并通过新权重参数重新配置该训练模型，以用于执行下一轮次的迭代训练，当最后一轮次的迭代训练结束后，将训练生成的最终权重参数发送至参数服务器，以通过参数服务器汇总各所述迭代训练设备传入的最终权重参数，并根据各个最终权重参数计算结果权重参数，进而根据结果权重参数生成结果模型。本方法的迭代过程均是在迭代训练设备中进行，仅当最后一轮次的所述迭代训练结束时，将最终权重参数发送至参数服务器以供服务器生成结果权重参数及结果模型，因此本方法相对避免了参数服务器在迭代训练过程中频繁进行大量的数据传输的情况产生，以此相对提高了迭代训练过程中参数服务器的工作稳定性，进而确保了迭代训练的整体可靠性。
实施例二
在上述实施例的基础上，本发明还提供以下一系列优选的实施方式。
图3为本发明实施例提供的另一种迭代训练方法的流程图。图3中步骤S10、步骤S12以及步骤S13与图2相同，在此不再赘述。
如图3所示，作为一种优选的实施方式，步骤S11包括：
步骤S20：根据梯度参数调整权重参数生成中间权重参数。
需要说明的是，本步骤是根据梯度参数调整当前迭代轮次的权重参数，也就是迭代训练设备根据自身当前迭代轮次的训练模型进行梯度运算生成的梯度参数，对当前轮次的训练模型中的权重参数进行调整，具体的调整方式是本领域技术人员所知的内容，在此不做赘述。
步骤S21：并获取执行迭代训练的其它迭代训练设备在当前轮次的其它中间权重参数。
在根据梯度参数调整权重参数生成中间权重参数后，获取同样执行迭代训练的其它迭代训练设备在当前迭代轮次中产生的其它中间权重参数，由于对于迭代训练中的全部迭代训练设备均执行相同的操作内容，因此本步骤中的其它中间权重参数与中间权重参数在本质上是相同的，中间权重参数与其它中间权重参数之间的差异仅在于，中间权重参数是当前训练设备产生的，其它中间权重参数是其它训练设备产生的。
步骤S22：计算中间权重参数与其它中间权重参数的参数平均值，并将参数平均值设置为新权重参数。
本实施方式的重点在于通过本地的迭代训练设备获取同样进行相同迭代训练的其它迭代训练设备的其它中间权重参数，并与自身的中间权重参数进行平均值运算，进而将参数平均值设置为新权重参数。本实施方式通过统计多个迭代训练设备依照梯度参数对权重参数进行调整后的结果，并进行平均值计算，由于新权重参数是基于多个迭代训练设备的训练结果综合产生的，因此能够进一步提高新权重参数向标准权重参数的趋近程度，进一步提高了迭代训练各轮次的整体收敛性。
在上述实施方式的基础上，作为一种优选的实施方式，根据梯度参数调整权重参数生成中间权重参数的表达式为：
Y[i]＝X[i-1]-α*g；其中，i为大于1的整数，Y[i]为迭代训练中第i轮次的中间权重参数，X[i-1]为迭代训练中第i-1轮次的新权重参数，g为迭代训练中第i轮次的梯度参数，α为预设的学习率。
需要说明的是，由于考虑到迭代训练设备的运算能力可能存在一定的差异，因此在相同迭代轮次中，具有不同运算能力的迭代训练设备计算生成的梯度参数收敛程度不同，因此为了相对确保迭代训练设备每一当前轮次的中间权重参数具有相对较高的收敛性，即准确性，在通过梯度参数对上一轮次的新权重参数进行调整之前，先通过预设的学习率对该梯度参数进行调整，进而再通过调整后的梯度参数对上一轮次的新权重参数进行调整。本实施方式的重点在于新增了预设的学习率，学习率相当于对梯度参数的采纳程度，因此可以预先根据迭代训练设备自身的运算能力设置相应的学习率，以此不同的迭代训练设备能够根据自身的学习率对运算生成的梯度参数进行调整后再使用，进一步提高了梯度参数以及中间权重参数的准确性，进而提高了新权重参数的准确性。
在上述实施方式的基础上，作为一种优选的实施方式，获取执行迭代训练的其它迭代训练设备在当前轮次的其它中间权重参数包括：
在预设的通信范围内获取执行迭代训练的其它迭代训练设备在当前轮次的其它中间权重参数。
需要说明的是，本实施方式的重点在于在预设的通信范围内获取其它迭代训练设备的其它中间权重参数，也就是说将获取其它中间权重参数的通信范围进行了预先规定，能够将当前迭代训练设备获取其它迭代训练设备的通信开销限制在一定的范围内，相对避免了因通信开销过大而产生网络阻塞等不稳定情况的产生。
此外，作为一种优选的实施方式，通过参数服务器汇总各迭代训练设备相应的最终权重参数，并根据各最终权重参数的计算结果权重参数包括：
通过参数服务器汇总各迭代训练设备相应的最终权重参数，并将各最终权重参数的平均值设置为结果权重参数。
需要说明的是，由于在迭代结束后，参数服务器汇总有各个迭代训练设备相应的最终权重参数，为了相对确保最终结果权重参数的取值受各个迭代训练设备的共同制约，因此本实施方式将各最终权重参数的平均值设置为结果权重参数，以此确保结果权重参数的获得受多个迭代训练设备的共同制约，相对确保结果权重参数的整体准确性。
在上述一系列实施方式的基础上，作为一种优选的实施方式，在迭代训练的各个当前轮次中，通过经权重参数配置的训练模型对样本数据进行梯度运算，生成梯度参数包括：
控制GPU在迭代训练的各个当前轮次中，通过经权重参数配置的训练模型对样本数据进行梯度运算，生成梯度参数；
相应的，将最终权重参数发送至参数服务器包括：
控制CPU利用目标线程将最终权重参数发送至参数服务器。
需要说明的是，本实施方式的重点在于，利用GPU在迭代训练各轮次中对样本数据进行梯度运算，使用CPU进行迭代训练过程中产生的参数的传输。通过利用善于数据运算的GPU在迭代训练各轮次中对样本数据进行梯度运算，以达到加速计算的效果，通过使用CPU进行迭代训练过程中产生的参数的传输，以提高迭代训练的整体通信进度。本实施方式采用CPU与GPU协同工作，分别处理相应单独类型事务的方式实现整体的迭代训练，相对提高了迭代训练的整体稳定性以及效率。
实施例三
在上文中对于迭代训练方法的实施例进行了详细的描述，本发明还提供一种与该方法对应的迭代训练设备，由于迭代训练设备部分的实施例与方法部分的实施例相互对应，因此迭代训练设备部分的实施例请参见方法部分的实施例的描述，这里暂不赘述。
图4为本发明实施例提供的一种迭代训练设备的结构图。
迭代训练设备1包括存储器11、处理器12和总线13，存储器11上存储有可由总线13传输至处理器12并在处理器12上运行的迭代训练程序，迭代训练程序被处理器12执行时实现上述的迭代训练方法。
本发明所提供的迭代训练设备，在迭代训练的各个当前轮次中，均通过训练模型对样本数据进行梯度运算，生成梯度参数，其中，该训练模型预先经过权重参数的配置；进而根据包含梯度参数在内的参数对权重参数进行调整，生成相应的新权重参数，并通过新权重参数重新配置该训练模型，以用于执行下一轮次的迭代训练，当最后一轮次的迭代训练结束后，将训练生成的最终权重参数发送至参数服务器，以通过参数服务器汇总各所述迭代训练设备传入的最终权重参数，并根据各个最终权重参数计算结果权重参数，进而根据结果权重参数生成结果模型。本设备的迭代过程均是在迭代训练设备中进行，仅当最后一轮次的所述迭代训练结束时，将最终权重参数发送至参数服务器以供服务器生成结果权重参数及结果模型，因此本设备相对避免了参数服务器在迭代训练过程中频繁进行大量的数据传输的情况产生，以此相对提高了迭代训练过程中参数服务器的工作稳定性，进而确保了迭代训练的整体可靠性。
在本实施例中，迭代训练设备1可以是PC(Personal Computer，个人电脑)，也可以是智能手机、平板电脑、掌上电脑、便携计算机、智能路由器、矿机、网络存储设备终端设备。
该迭代训练设备1可以是组成CDN网络或者区块链网络的节点。
其中，存储器11至少包括一种类型的可读存储介质，所述可读存储介质包括闪存、硬盘、多媒体卡、卡型存储器(例如，SD或DX存储器等)、磁性存储器、磁盘、光盘等。存储器11在一些实施例中可以是迭代训练设备1的内部存储单元，例如该迭代训练设备1的硬盘。存储器11在另一些实施例中也可以是迭代训练设备1的外部存储设备，例如迭代训练设备1上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)等。进一步地，存储器11还可以既包括迭代训练设备1的内部存储单元也包括外部存储设备。存储器11不仅可以用于存储安装于迭代训练设备1的应用软件及各类数据，例如网络通信程序的代码等，还可以用于暂时地存储已经输出或者将要输出的数据。
处理器12在一些实施例中可以是一中央处理器(Central Processing Unit,CPU)、控制器、微控制器、微处理器或其他数据处理芯片，用于运行存储器11中存储的程序代码或处理数据，例如执行网络通信程序等。
该总线13可以是外设部件互连标准(peripheral component interconnect，简称PCI)总线或扩展工业标准结构(extended industry standard architecture，简称EISA)总线等。该总线可以分为地址总线、数据总线、控制总线等。为便于表示，图4中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
进一步地，迭代训练设备1还可以包括网络接口，网络接口可选的可以包括有线接口和/或无线接口(如WI-FI接口、蓝牙接口等)，通常用于在该迭代训练设备1与其他电子设备之间建立通信连接。
可选地，该迭代训练设备1还可以包括用户接口，用户接口可以包括显示器(Display)、输入单元比如键盘(Keyboard)，可选的用户接口还可以包括标准的有线接口、无线接口。可选地，在一些实施例中，显示器可以是LED显示器、液晶显示器、触控式液晶显示器以及OLED(Organic Light-Emitting Diode，有机发光二极管)触摸器等。其中，显示器也可以适当的称为显示屏或显示单元，用于显示在迭代训练设备1中处理的信息以及用于显示可视化的用户界面。
实施例四
本发明还提供一种迭代训练系统，系统包括：
梯度参数生成单元，用于在迭代训练的各个当前轮次中，通过经权重参数配置的训练模型对样本数据进行梯度运算，生成梯度参数。
权重参数调整单元，用于根据包含梯度参数在内的参数调整权重参数，生成新权重参数。
训练模型配置单元，用于通过新权重参数重新配置训练模型，并执行下一轮次的迭代训练。
结果模型生成单元，用于当最后一轮次的迭代训练结束时，将最终权重参数发送至参数服务器，以通过参数服务器汇总各迭代训练设备相应的最终权重参数，并根据各最终权重参数的计算结果权重参数，并根据结果权重参数生成结果模型。
本发明所提供的迭代训练系统，在迭代训练的各个当前轮次中，均通过训练模型对样本数据进行梯度运算，生成梯度参数，其中，该训练模型预先经过权重参数的配置；进而根据包含梯度参数在内的参数对权重参数进行调整，生成相应的新权重参数，并通过新权重参数重新配置该训练模型，以用于执行下一轮次的迭代训练，当最后一轮次的迭代训练结束后，将训练生成的最终权重参数发送至参数服务器，以通过参数服务器汇总各所述迭代训练设备传入的最终权重参数，并根据各个最终权重参数计算结果权重参数，进而根据结果权重参数生成结果模型。本系统的迭代过程均是在迭代训练设备中进行，仅当最后一轮次的所述迭代训练结束时，将最终权重参数发送至参数服务器以供服务器生成结果权重参数及结果模型，因此本系统相对避免了参数服务器在迭代训练过程中频繁进行大量的数据传输的情况产生，以此相对提高了迭代训练过程中参数服务器的工作稳定性，进而确保了迭代训练的整体可靠性。
此外，本发明还提供一种计算机可读存储介质，计算机可读存储介质上存储有迭代训练程序，迭代训练程序可被一个或者多个处理器执行，以实现如上述的迭代训练方法。
本发明所提供的计算机可读存储介质，在迭代训练的各个当前轮次中，均通过训练模型对样本数据进行梯度运算，生成梯度参数，其中，该训练模型预先经过权重参数的配置；进而根据包含梯度参数在内的参数对权重参数进行调整，生成相应的新权重参数，并通过新权重参数重新配置该训练模型，以用于执行下一轮次的迭代训练，当最后一轮次的迭代训练结束后，将训练生成的最终权重参数发送至参数服务器，以通过参数服务器汇总各所述迭代训练设备传入的最终权重参数，并根据各个最终权重参数计算结果权重参数，进而根据结果权重参数生成结果模型。本计算机可读存储介质的迭代过程均是在迭代训练设备中进行，仅当最后一轮次的所述迭代训练结束时，将最终权重参数发送至参数服务器以供服务器生成结果权重参数及结果模型，因此本计算机可读存储介质相对避免了参数服务器在迭代训练过程中频繁进行大量的数据传输的情况产生，以此相对提高了迭代训练过程中参数服务器的工作稳定性，进而确保了迭代训练的整体可靠性。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。
所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存储的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘Solid State Disk(SSD))等。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本申请所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
需要说明的是，上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。并且本文中的术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、装置、物品或者方法不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、装置、物品或者方法所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、装置、物品或者方法中还存在另外的相同要素。
以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (10)

1.一种迭代训练方法，应用于迭代训练设备，其特征在于，所述方法包括：
在迭代训练的各个当前轮次中，通过经权重参数配置的训练模型对样本数据进行梯度运算，生成梯度参数；
根据包含所述梯度参数在内的参数调整所述权重参数，生成新权重参数；
通过所述新权重参数重新配置所述训练模型，并执行下一轮次的所述迭代训练；
当最后一轮次的所述迭代训练结束时，将最终权重参数发送至参数服务器，以通过所述参数服务器汇总各所述迭代训练设备相应的最终权重参数，并根据各所述最终权重参数的计算结果权重参数，并根据所述结果权重参数生成结果模型。
2.根据权利要求1所述的方法，其特征在于，所述根据包含所述梯度参数在内的参数调整所述权重参数，生成新权重参数包括：
根据所述梯度参数调整所述权重参数生成中间权重参数；
并获取执行所述迭代训练的其它迭代训练设备在所述当前轮次的其它中间权重参数；
计算所述中间权重参数与所述其它中间权重参数的参数平均值，并将所述参数平均值设置为所述新权重参数。
3.根据权利要求2所述的方法，其特征在于，所述根据所述梯度参数调整所述权重参数生成中间权重参数的表达式为：
Y[i]＝X[i-1]-α*g；其中，i为大于1的整数，Y[i]为所述迭代训练中第i轮次的所述中间权重参数，X[i-1]为所述迭代训练中第i-1轮次的所述新权重参数，g为迭代训练中第i轮次的所述梯度参数，α为预设的学习率。
4.根据权利要求2所述的方法，其特征在于，所述获取执行所述迭代训练的其它迭代训练设备在所述当前轮次的其它中间权重参数包括：
在预设的通信范围内获取执行所述迭代训练的其它迭代训练设备在所述当前轮次的其它中间权重参数。
5.根据权利要求1所述的方法，其特征在于，所述通过所述参数服务器汇总各所述迭代训练设备相应的最终权重参数，并根据各所述最终权重参数的计算结果权重参数包括：
通过所述参数服务器汇总各所述迭代训练设备相应的最终权重参数，并将各所述最终权重参数的平均值设置为所述结果权重参数。
6.根据权利要求1至5任意一项所述的方法，其特征在于，所述在迭代训练的各个当前轮次中，通过经权重参数配置的训练模型对样本数据进行梯度运算，生成梯度参数包括：
控制GPU在迭代训练的各个当前轮次中，通过经所述权重参数配置的训练模型对所述样本数据进行梯度运算，生成所述梯度参数；
相应的，所述将最终权重参数发送至参数服务器包括：
控制CPU利用目标线程将所述最终权重参数发送至所述参数服务器。
7.一种迭代训练设备，其特征在于，所述设备包括总线、存储器和处理器，所述存储器上存储有可由所述总线传输至所述处理器并在所述处理器上运行的迭代训练程序，所述迭代训练程序被所述处理器执行时实现如权利要求1至6任一项所述的方法。
8.根据权利要求7所述的设备，其特征在于，所述装置为组成CDN网络或者区块链网络的节点。
9.一种迭代训练系统，其特征在于，所述系统包括：
梯度参数生成单元，用于在迭代训练的各个当前轮次中，通过经权重参数配置的训练模型对样本数据进行梯度运算，生成梯度参数；
权重参数调整单元，用于根据包含所述梯度参数在内的参数调整所述权重参数，生成新权重参数；
训练模型配置单元，用于通过所述新权重参数重新配置所述训练模型，并执行下一轮次的所述迭代训练；
结果模型生成单元，用于当最后一轮次的所述迭代训练结束时，将最终权重参数发送至参数服务器，以通过所述参数服务器汇总各所述迭代训练设备相应的最终权重参数，并根据各所述最终权重参数的计算结果权重参数，并根据所述结果权重参数生成结果模型。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有迭代训练程序，所述迭代训练程序可被一个或者多个处理器执行，以实现如权利要求1至6中任一项所述的迭代训练方法。
CN201910389954.9A 2019-05-10 2019-05-10 一种迭代训练方法、设备、系统及介质 Pending CN110084380A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910389954.9A CN110084380A (zh) 2019-05-10 2019-05-10 一种迭代训练方法、设备、系统及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910389954.9A CN110084380A (zh) 2019-05-10 2019-05-10 一种迭代训练方法、设备、系统及介质

Publications (1)

Publication Number Publication Date
CN110084380A true CN110084380A (zh) 2019-08-02

Family

ID=67419696

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910389954.9A Pending CN110084380A (zh) 2019-05-10 2019-05-10 一种迭代训练方法、设备、系统及介质

Country Status (1)

Country Link
CN (1) CN110084380A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110379416A (zh) * 2019-08-15 2019-10-25 腾讯科技（深圳）有限公司 一种神经网络语言模型训练方法、装置、设备及存储介质
CN111241582A (zh) * 2020-01-10 2020-06-05 鹏城实验室 数据隐私保护方法、装置及计算机可读存储介质
CN112541513A (zh) * 2019-09-20 2021-03-23 百度在线网络技术（北京）有限公司 一种模型训练方法、装置、设备及存储介质
CN115797373A (zh) * 2023-01-09 2023-03-14 苏州浪潮智能科技有限公司 一种图像分割方法、装置、电子设备及介质

Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040093315A1 (en) * 2001-01-31 2004-05-13 John Carney Neural network training
CN103680496A (zh) * 2013-12-19 2014-03-26 百度在线网络技术（北京）有限公司 基于深层神经网络的声学模型训练方法、主机和系统
CN105389583A (zh) * 2014-09-05 2016-03-09 华为技术有限公司 图像分类器的生成方法、图像分类方法和装置
CN105550323A (zh) * 2015-12-15 2016-05-04 北京国电通网络技术有限公司 一种分布式数据库负载均衡预测方法和预测分析器
CN106250928A (zh) * 2016-07-30 2016-12-21 哈尔滨工业大学深圳研究生院 基于图形处理单元的并行逻辑回归方法及系统
CN106297774A (zh) * 2015-05-29 2017-01-04 中国科学院声学研究所 一种神经网络声学模型的分布式并行训练方法及系统
CN107018184A (zh) * 2017-03-28 2017-08-04 华中科技大学 分布式深度神经网络集群分组同步优化方法及系统
CN107153630A (zh) * 2016-03-04 2017-09-12 阿里巴巴集团控股有限公司 一种机器学习系统的训练方法和训练系统
CN107229518A (zh) * 2016-03-26 2017-10-03 阿里巴巴集团控股有限公司 一种分布式集群训练方法和装置
CN108122032A (zh) * 2016-11-29 2018-06-05 华为技术有限公司 一种神经网络模型训练方法、装置、芯片和系统
CN108491928A (zh) * 2018-03-29 2018-09-04 腾讯科技（深圳）有限公司 模型参数训练方法、装置、服务器及存储介质
CN108494576A (zh) * 2018-01-29 2018-09-04 中山大学 一种基于遗传算法的分布式参数服务器更新方法
CN108829441A (zh) * 2018-05-14 2018-11-16 中山大学 一种分布式深度学习的参数更新优化系统
CN108846095A (zh) * 2018-06-15 2018-11-20 联想(北京)有限公司 一种数据处理方法及装置
CN108898213A (zh) * 2018-06-19 2018-11-27 浙江工业大学 一种面向深度神经网络的自适应激活函数参数调节方法
CN109635948A (zh) * 2018-12-19 2019-04-16 北京达佳互联信息技术有限公司 在线训练方法、装置、系统及计算机可读存储介质

Patent Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040093315A1 (en) * 2001-01-31 2004-05-13 John Carney Neural network training
CN103680496A (zh) * 2013-12-19 2014-03-26 百度在线网络技术（北京）有限公司 基于深层神经网络的声学模型训练方法、主机和系统
CN105389583A (zh) * 2014-09-05 2016-03-09 华为技术有限公司 图像分类器的生成方法、图像分类方法和装置
CN106297774A (zh) * 2015-05-29 2017-01-04 中国科学院声学研究所 一种神经网络声学模型的分布式并行训练方法及系统
CN105550323A (zh) * 2015-12-15 2016-05-04 北京国电通网络技术有限公司 一种分布式数据库负载均衡预测方法和预测分析器
CN107153630A (zh) * 2016-03-04 2017-09-12 阿里巴巴集团控股有限公司 一种机器学习系统的训练方法和训练系统
CN107229518A (zh) * 2016-03-26 2017-10-03 阿里巴巴集团控股有限公司 一种分布式集群训练方法和装置
CN106250928A (zh) * 2016-07-30 2016-12-21 哈尔滨工业大学深圳研究生院 基于图形处理单元的并行逻辑回归方法及系统
CN108122032A (zh) * 2016-11-29 2018-06-05 华为技术有限公司 一种神经网络模型训练方法、装置、芯片和系统
CN107018184A (zh) * 2017-03-28 2017-08-04 华中科技大学 分布式深度神经网络集群分组同步优化方法及系统
CN108494576A (zh) * 2018-01-29 2018-09-04 中山大学 一种基于遗传算法的分布式参数服务器更新方法
CN108491928A (zh) * 2018-03-29 2018-09-04 腾讯科技（深圳）有限公司 模型参数训练方法、装置、服务器及存储介质
CN108829441A (zh) * 2018-05-14 2018-11-16 中山大学 一种分布式深度学习的参数更新优化系统
CN108846095A (zh) * 2018-06-15 2018-11-20 联想(北京)有限公司 一种数据处理方法及装置
CN108898213A (zh) * 2018-06-19 2018-11-27 浙江工业大学 一种面向深度神经网络的自适应激活函数参数调节方法
CN109635948A (zh) * 2018-12-19 2019-04-16 北京达佳互联信息技术有限公司 在线训练方法、装置、系统及计算机可读存储介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
刘聪等: "一种针对区分性训练的受限线性搜索优化方法", 《模式识别与人工智能》 *
刘聪等: "一种针对区分性训练的受限线性搜索优化方法", 《模式识别与人工智能》, no. 04, 15 August 2010 (2010-08-15), pages 450 - 455 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110379416A (zh) * 2019-08-15 2019-10-25 腾讯科技（深圳）有限公司 一种神经网络语言模型训练方法、装置、设备及存储介质
CN110379416B (zh) * 2019-08-15 2021-10-22 腾讯科技（深圳）有限公司 一种神经网络语言模型训练方法、装置、设备及存储介质
CN112541513A (zh) * 2019-09-20 2021-03-23 百度在线网络技术（北京）有限公司 一种模型训练方法、装置、设备及存储介质
CN111241582A (zh) * 2020-01-10 2020-06-05 鹏城实验室 数据隐私保护方法、装置及计算机可读存储介质
CN111241582B (zh) * 2020-01-10 2022-06-10 鹏城实验室 数据隐私保护方法、装置及计算机可读存储介质
CN115797373A (zh) * 2023-01-09 2023-03-14 苏州浪潮智能科技有限公司 一种图像分割方法、装置、电子设备及介质

Similar Documents

Publication Publication Date Title
CN110084380A (zh) 一种迭代训练方法、设备、系统及介质
CN106059799B (zh) 面向sdn的弹性光网络下的虚拟网络映射方法
CN104618264B (zh) 数据中心网络中自适应调度数据流的方法和系统
CN112165691B (zh) 内容分发网络调度方法、装置、服务器和介质
CN107196869A (zh) 基于主机实际负载的自适应负载均衡方法、设备和系统
CN109032801A (zh) 一种请求调度方法、系统及电子设备和存储介质
CN106210129B (zh) 一种基于Web服务器配置的限流方法及系统
Li et al. Leveraging endpoint flexibility when scheduling coflows across geo-distributed datacenters
CN110263818A (zh) 简历筛选的方法、装置、终端和计算机可读存储介质
CN106059829B (zh) 一种基于隐马尔可夫的网络利用率感知方法
CN109617810A (zh) 数据传输方法及装置
CN110515793A (zh) 系统性能监控方法、装置、设备及存储介质
JP7412489B2 (ja) 連合学習方法及び装置、電子機器、記憶媒体ならびにコンピュータプログラム
CN109002925A (zh) 业务量预测方法和装置
CN109548161A (zh) 一种无线资源调度的方法、装置和终端设备
CN109688067A (zh) 基于分享流量的收益分配方法、服务器及存储介质
CN107562698A (zh) 一种样本值区间模型的优化方法和装置
CN110414569A (zh) 聚类实现方法及装置
Li et al. Endpoint-flexible coflow scheduling across geo-distributed datacenters
Cui et al. A novel method of virtual network embedding based on topology convergence-degree
CN107872405A (zh) 分布式带宽分配和调节
CN109710542A (zh) 一种满n叉树构建方法及装置
CN104778088A (zh) 一种基于减少进程间通信开销的并行i/o优化方法与系统
CN109947736A (zh) 实时计算的方法和系统
CN107346255A (zh) 一种电能表系统升级方法及电能表系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination