CN116628509B - 模型训练方法、装置、设备及存储介质 - Google Patents
模型训练方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN116628509B CN116628509B CN202310900540.4A CN202310900540A CN116628509B CN 116628509 B CN116628509 B CN 116628509B CN 202310900540 A CN202310900540 A CN 202310900540A CN 116628509 B CN116628509 B CN 116628509B
- Authority
- CN
- China
- Prior art keywords
- training
- batch
- model
- data
- sequence
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012549 training Methods 0.000 title claims abstract description 377
- 238000000034 method Methods 0.000 title claims abstract description 66
- 238000001914 filtration Methods 0.000 claims abstract description 27
- 230000008569 process Effects 0.000 claims description 35
- 230000008859 change Effects 0.000 claims description 5
- 238000012545 processing Methods 0.000 claims description 5
- 238000010276 construction Methods 0.000 claims description 3
- 238000004590 computer program Methods 0.000 claims description 2
- 238000004891 communication Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 238000003058 natural language processing Methods 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 238000013473 artificial intelligence Methods 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 238000009751 slip forming Methods 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Abstract
本申请公开了一种模型训练方法、装置、设备及存储介质，方法包括：当确定需要添加新增训练数据时，基于预先构建的batch列表，过滤掉已经训练使用过的batch，得到剩余各batch，避免重复读取已使用的batch迭代训练模型，其中batch列表中按照训练时的读取顺序记录各batch的标识。对于新增训练数据构建成若干batch，将对新增训练数据所构建的各batch与剩余各batch进行随机顺序打乱，并将打乱后的各batch的标识顺序的记录在batch列表中，以便后续按照batch列表顺序读取各标识对应的batch数据，进行在线模型训练，可以最大程度地保持训练数据的分布一致性，提升模型的泛化能力。
Description
技术领域
本申请涉及人工智能模型技术领域，更具体的说，是涉及一种模型训练方法、装置、设备及存储介质。
背景技术
模型预训练在各种业务上广泛开展，包括但不限于自然语言处理，图像识别，语音识别等领域，尤其在自然语言处理方向，训练更大规模的预训练模型（大型人工智能模型），再在下游任务中微调，已成为了提高自然语言处理NLP应用的常见方法。
在训练大规模预训练模型时，需要使用大量数据集，整个训练时间也会很长。由于训练过程的漫长性质，实际过程中往往会出现在训练过程中训练数据集发生变动的情况，如获取到新增训练数据，需要添加到训练数据集中。数据集规模的变化会对训练数据的读取产生影响，进而影响模型的训练效果。传统方案并未针对这种情况作出针对性的改进，因而可能会出现重复读取已经训练过的数据来迭代训练模型，或者是，将新增训练数据与原有训练数据分开来单独训练模型，进而导致模型在不同数据分布中学习，降低了模型的泛化能力。
发明内容
鉴于上述问题，提出了本申请以便提供一种模型训练方法、装置、设备及存储介质，以避免在新增训练数据时重复读取相同数据迭代训练模型，或将新增数据与原有数据分开单独训练模型，降低模型泛化能力的问题。具体方案如下：
第一方面，提供了一种模型训练方法，包括：
当确定需要添加新增训练数据时，基于预先构建的训练批次batch列表，过滤掉已经训练使用过的batch，得到剩余各batch，其中，所述batch列表中按照训练时的读取顺序记录各batch的标识；
对于所述新增训练数据，按照规则构建成若干batch；
将对所述新增训练数据所构建的各batch与所述剩余各batch进行随机顺序打乱，并将打乱后的各batch的标识顺序的记录在所述batch列表中，以便后续按照batch列表顺序读取各标识对应的batch数据，进行在线模型训练。
优选地，在在线模型训练之前，还包括离线构建batch的过程，所构建的batch中每条训练数据的序列长度为设定较大长度值；
则在线模型训练的过程，包括：
按照batch列表顺序读取各标识对应的batch数据；
按照当前训练阶段所对应的实际训练长度值，对读取的batch数据中每条训练数据进行切分，并利用切分后的所述实际训练长度值的训练数据迭代训练模型，直至读取的batch数据迭代结束，返回执行所述按照batch列表顺序读取各标识对应的batch数据的步骤；
其中，所述实际训练长度不超过所述设定较大长度值。
优选地，在整个模型训练过程中包含至少两个训练阶段，且按照时间顺序越靠后的训练阶段所对应的实际训练长度值越大，最大的实际训练长度值不超过所述设定较大长度值。
优选地，当前训练阶段所对应的实际训练长度值通过外部输入确定；
或，
按照训练进度确定当前所处的目标训练阶段，并查找预设的与所述目标训练阶段对应的实际训练长度值。
优选地，所述设定较大长度值为各个训练阶段对应的实际训练长度值的最小公倍数。
优选地，还包括：
当确定训练机器数量发生变动后，基于所述batch列表，过滤掉已经训练使用过的batch，以便在线模型训练时跳过读取已经训练使用过的batch。
优选地，所述当确定需要添加新增训练数据时，基于预先构建的训练批次batch列表，过滤掉已经训练使用过的batch，得到剩余各batch，包括：
当确定需要添加新增训练数据时，确定当前已训练使用过的最新batch的标识；
将所述batch列表中，从所述最新batch的标识向前的各batch标识过滤掉，得到剩余各batch的标识。
第二方面，提供了一种模型训练装置，包括：
第一batch过滤单元，用于当确定需要添加新增训练数据时，基于预先构建的训练批次batch列表，过滤掉已经训练使用过的batch，得到剩余各batch，其中，所述batch列表中按照训练时的读取顺序记录各batch的标识；
batch构建单元，用于对于所述新增训练数据，按照规则构建成若干batch；
batch打乱单元，用于将对所述新增训练数据所构建的各batch与所述剩余各batch进行随机顺序打乱，并将打乱后的各batch的标识顺序的记录在所述batch列表中，以便后续按照batch列表顺序读取各标识对应的batch数据，进行在线模型训练。
第三方面，提供了一种模型训练设备，包括：存储器和处理器；
所述存储器，用于存储程序；
所述处理器，用于执行所述程序，实现如前所述的模型训练方法的各个步骤。
第四方面，提供了一种存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时，实现如前所述的模型训练方法的各个步骤。
借由上述技术方案，本申请在离线构建训练用的batch数据时可以同时构建batch列表，列表中按照训练时读取顺序记录各batch的标识，也即在在线模型训练过程可以按照batch列表中记录的顺序依次读取各batch进行模型训练。基于此，在模型训练过程中当确定需要添加新增训练数据时，可以基于batch列表过滤掉已经训练使用过的batch，得到剩余还未使用过的各batch。对于新增训练数据，可以按照规则构建成若干batch，并将该新构建的batch与前述得到的剩余各batch进行随机顺序打乱，将打乱后的各batch的标识顺序的记录在batch列表中，以便后续按照batch列表顺序读取各标识对应的batch数据，进行在线模型训练。显然，本申请方案通过设置batch列表可以便于记录各batch的读取顺序进而便于过滤掉已经训练使用过的batch，避免重复读取已使用的batch迭代训练模型。同时，对于新增训练数据所构建的batch与过滤后剩余的各batch进行随机顺序打乱，可以最大程度地保持训练数据的分布一致性，采用此训练数据训练模型可以更好地提升模型的泛化能力。
附图说明
通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本申请的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：
图1为本申请实施例提供的模型训练方法的一流程示意图；
图2为本申请实施例提供的在线模型训练方法的流程示意图；
图3为本申请实施例提供的一种模型训练装置结构示意图；
图4为本申请实施例提供的模型训练设备的结构示意图。
具体实施方式
在介绍本申请方案之前，首先对本文中涉及到的术语进行解释：
大型人工智能模型：又可以称之为大型深度学习模型，是一种基于深度学习技术的人工智能模型，它由数以亿计的参数组成，可以通过对大量数据的学习、训练，实现自然语音处理、图像识别、语音识别等复杂任务。大型人工智能模型可以包括大模型、大语言模型，大模型和大语言模型都是指参数量非常大的机器学习模型，但它们的应用场景和侧重点略有不同。
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
本申请提供了一种模型训练方案，可以适用于对各类型人工智能模型进行训练，特别是对大型人工智能模型这类包含大规模参数的模型。
本申请方案可以基于具备数据处理能力的终端实现，该终端可以是服务器、服务器集群、云端等。
接下来，结合图1所述，本申请的模型训练方法可以包括如下步骤：
步骤S100、当确定需要添加新增训练数据时，基于预先构建的训练批次batch列表，过滤掉已经训练使用过的batch，得到剩余各batch。
具体地，在线训练模型之前，本申请可以离线针对训练数据构建batch，一个batch内包含若干条训练数据，则训练时可以以batch为单位训练模型。在离线构建batch之后，可以同时建立batch列表，batch列表中按照训练时的读取顺序记录各batch的标识，则在线训练模型时可以按照batch列表中记录的标识顺序，依次读取对应的batch数据，并进行模型训练的过程。
在模型训练过程中，若确定需要添加新增训练数据时，可以基于batch列表，确定当前已经训练使用过的batch，进而过滤掉已经训练使用过的batch，得到剩余各batch。
一种可选的实现方式中，当确定需要添加新增训练数据时，可以确定当前已训练使用过的最新batch的标识。将所述batch列表中，从所述最新batch的标识向前的各batch标识过滤掉，得到剩余各batch的标识。
在模型训练过程会不断形成训练日志，训练日志中可以保存当前最新使用过的batch标识。则本步骤中可以通过调用训练日志，确定当前已训练使用过的最新batch的标识。并且，由于模型训练过程是按照batch列表顺序读取各标识对应的batch数据进行训练，因此在确定了当前已训练使用过的最新batch的标识后，可以确定batch列表中，从所述最新batch的标识向前的各batch标识对应的batch均已训练使用过，因此可以将这些batch标识均过滤掉，保留batch列表中剩余的各batch标识。
通过过滤掉已经训练使用过的batch标识，可以避免在添加训练数据后，重复读取已经训练使用过的batch。
步骤S110、对于所述新增训练数据，按照规则构建成若干batch。
具体地，对于新增的训练数据，可以按照离线构建batch的规则，将新增训练数据构建成batch。其中，规则可以包括batch中每条训练数据的序列长度，每个batch包含的训练数据的数量等。
步骤S120、将对所述新增训练数据所构建的各batch与所述剩余各batch进行随机顺序打乱，并将打乱后的各batch的标识顺序的记录在所述batch列表中，以便后续按照batch列表顺序读取各标识对应的batch数据，进行在线模型训练。
具体地，为了保证训练数据的分布一致性，本步骤中针对新增训练数据所构建的batch，以及前述步骤中过滤后剩余的各batch进行随机顺序打乱，以充分组合原有的剩余各batch和新构建的各batch。进一步，将打乱后的各batch的标识顺序的记录在batch列表中，从而便于后续在线模型训练时，按照batch列表顺序读取各标识对应的batch数据，进行模型的训练。
示例性的，前述步骤过滤后剩余的batch按照顺序依次为：a,b,c,d四个batch。新增训练数据所构建的batch包括：x,y,z三个batch。则将这些batch顺序随机打乱后，最终记录在batch列表中的各batch标识的顺序可能为：a,x,y,b,c,z,d。由此可知，将原有剩余的各batch和新增的batch重新组合顺序，可以保证后续模型训练过程数据分布的一致性。
本申请实施例提供的模型训练方法，在离线构建训练用的batch数据时可以同时构建batch列表，列表中按照训练时读取顺序记录各batch的标识，也即在在线模型训练过程可以按照batch列表中记录的顺序依次读取各batch进行模型训练。基于此，在模型训练过程中当确定需要添加新增训练数据时，可以基于batch列表过滤掉已经训练使用过的batch，得到剩余还未使用过的各batch。对于新增训练数据，可以按照规则构建成若干batch，并将该新构建的batch与前述得到的剩余各batch进行随机顺序打乱，将打乱后的各batch的标识顺序的记录在batch列表中，以便后续按照batch列表顺序读取各标识对应的batch数据，进行在线模型训练。显然，本申请方案通过设置batch列表可以便于记录各batch的读取顺序进而便于过滤掉已经训练使用过的batch，避免重复读取已使用的batch迭代训练模型。同时，对于新增训练数据所构建的batch与过滤后剩余的各batch进行随机顺序打乱，可以最大程度地保持训练数据的分布一致性，采用此训练数据训练模型可以更好地提升模型的泛化能力。
在本申请的一些实施例中，在在线模型训练之前，还可以进一步增加离线构建batch的过程，如前文所述，可以基于收集的训练数据，按照设定规则构建batch。
本实施例中，考虑模型的整个训练过程中，前期训练阶段可以采用较短序列长度的训练数据进行模型训练，以提高模型的训练效率。而随着训练阶段的发展，到中、后期可以使用较长序列长度的训练数据进行模型训练，以提升模型的记忆能力。为了实现这一目的，本实施例中提供了一种解决方案，即可以在离线构建batch时，设置batch内每条训练数据的序列长度为一个设定的较大长度值Lmax，示例如L可以取值为8192或其它较大长度值。
在此基础上，参照图2所示，在线模型训练过程可以包括如下步骤：
步骤S200、按照batch列表顺序读取各标识对应的batch数据。
步骤S210、按照当前训练阶段所对应的实际训练长度值，对读取的batch数据中每条训练数据进行切分。
具体地，可以将模型整个训练过程按照时间划分为若干个不同的训练阶段，训练阶段的数量可以是2个及以上。每一训练阶段分别对应有实际训练长度值，也即规定了在该训练阶段训练模型时所使用训练数据的序列长度值为所述实际训练长度值。
根据上述介绍可知，按照时间顺序越靠后的训练阶段所对应的实际训练长度值可以越大，且保证最大的实际训练长度值不超过前述设定的较大长度值Lmax。示例性的，模型整个训练过程被划分为两个训练阶段，第一训练阶段对应的实际训练长度值为L1，第二训练阶段对应的实际训练长度值为L2，大小关系为：L1<L2≤Lmax。
由此可知，本步骤中根据当前所处的训练阶段，确定对应的实际训练长度值，该实际训练长度值小于等于Lmax，而读取的batch数据中每条训练数据的长度均为Lmax。为此，本步骤中对读取的batch数据中每条训练数据进行切分，将其切分为当前训练阶段所对应的实际训练长度值大小的训练数据。示例性的，假设当前训练阶段对应的实际训练长度值为1024，Lmax为8192，则batch中每条训练数据可以切分为8192/1024=8条训练数据。
步骤S220、利用切分后的所述实际训练长度值的训练数据迭代训练模型，直至读取的batch数据迭代结束，返回执行步骤S200，按照batch列表顺序读取各标识对应的batch数据的步骤。
具体地，读取的batch中每条训练数据可以切分为1条以上的训练数据，可以利用切分后的各条训练数据迭代训练模型，直至读取的batch数据迭代结束后，可以按照batch列表顺序读取下一标识对应的batch数据，并重复前述步骤S210-S220的过程，直至不存在未使用过的batch数据为止。
按照本实施例提供的方案，可以在在线模型训练过程中的不同训练阶段，采用不同序列长度的训练数据进行模型训练，既能够保证前期模型的训练效率，又可以保证后期模型的记忆力。同时，在离线构建batch时仅按照统一序列长度进行构建即可，无需构建不同序列长度的batch，操作更加简单。
一种较优的情况下，上述离线构建batch时所定义的设定较大长度值Lmax，可以等于各个训练阶段对应的实际训练长度值的最小公倍数。以模型训练过程包含两个训练阶段为例，第一个训练阶段的实际训练长度值为3072，第二个训练阶段对应的实际训练长度值为6144，则设定较大长度值Lmax可以是3072和6144的最小公倍数，也即6144。
通过将各个训练阶段对应的实际训练长度值的最小公倍数设置为离线构建batch时每条训练数据的序列长度值，可以保证在不同训练阶段对训练数据切分时，可以等分训练数据，不会导致最后一个切分的训练数据长度不够而造成训练数据的浪费。
进一步地，上述在在线模型训练的过程中，当前训练阶段所对应的实际训练长度值可以是通过外部输入确定的，如由工作人员手动输入当前训练阶段所对应的实际训练长度值。
除此之外，本实施例中还提供了另外一种实现方式，即可以按照训练进度确定当前所处的目标训练阶段，并查找预设的与目标训练阶段对应的实际训练长度值。
示例性的，本申请可以根据已训练使用过的batch的数量占比和/或模型当前的收敛情况等多种因素，计算当前训练进度。本申请还可以预先划定不同训练阶段所对应的训练进度，示例如：训练进度从0~50%对应第一训练阶段，训练进度从50%~100%对应第二训练阶段。同时，针对不同的训练阶段还可以预先设定对应的实际训练长度值。基于此，本申请在计算得到当前训练进度后可以确定当前所处的目标训练阶段，并查找目标训练阶段所对应的实际训练长度值，整个训练过程可以实现基于训练进度自动确定不同训练阶段的实际训练长度值，并按照实际训练长度值对batch中的训练数据进行自动切分、使用切分后训练数据迭代训练模型，避免了在线模型训练过程中，人工在不同训练阶段输入不同的实际训练长度值。
在本申请的一些实施例中，对于在线模型训练过程，还可能会出现训练机器数量变动的情况，示例如新增了部分训练机器或者减少了部分训练机器。训练机器数量的变动可能会影响到数据并行度，因此需要准确过滤已经训练过的batch，以确保数据读取的准确性。
本步骤中，当确定训练机器数量发生变动后，可以基于前述构建的batch列表，过滤掉已经训练使用过的batch，从而便于在线模型训练时跳过读取已经训练使用过的batch，确保数据读取的准确性。
下面对本申请实施例提供的模型训练装置进行描述，下文描述的模型训练装置与上文描述的模型训练方法可相互对应参照。
参见图3，图3为本申请实施例公开的一种模型训练装置结构示意图。
如图3所示，该装置可以包括：
第一batch过滤单元11，用于当确定需要添加新增训练数据时，基于预先构建的训练批次batch列表，过滤掉已经训练使用过的batch，得到剩余各batch，其中，所述batch列表中按照训练时的读取顺序记录各batch的标识；
batch构建单元12，用于对于所述新增训练数据，按照规则构建成若干batch；
batch打乱单元13，用于将对所述新增训练数据所构建的各batch与所述剩余各batch进行随机顺序打乱，并将打乱后的各batch的标识顺序的记录在所述batch列表中，以便后续按照batch列表顺序读取各标识对应的batch数据，进行在线模型训练。
可选的，上述第一batch过滤单元当确定需要添加新增训练数据时，基于预先构建的训练批次batch列表，过滤掉已经训练使用过的batch，得到剩余各batch的过程，包括：
当确定需要添加新增训练数据时，确定当前已训练使用过的最新batch的标识；
将所述batch列表中，从所述最新batch的标识向前的各batch标识过滤掉，得到剩余各batch的标识。
可选的，上述batch构建单元还用于：在在线模型训练之前离线构建batch，所构建的batch中每条训练数据的序列长度为设定较大长度值。本申请的装置还可以包括：在线模型训练单元，用于按照batch列表顺序读取各标识对应的batch数据；按照当前训练阶段所对应的实际训练长度值，对读取的batch数据中每条训练数据进行切分，并利用切分后的所述实际训练长度值的训练数据迭代训练模型，直至读取的batch数据迭代结束，返回执行所述按照batch列表顺序读取各标识对应的batch数据的步骤；其中，所述实际训练长度不超过所述设定较大长度值。
可选的，在整个模型训练过程中包含至少两个训练阶段，且按照时间顺序越靠后的训练阶段所对应的实际训练长度值越大，最大的实际训练长度值不超过所述设定较大长度值。
可选的，上述在线模型训练单元所获取的当前训练阶段所对应的实际训练长度值通过外部输入确定；或，按照训练进度确定当前所处的目标训练阶段，并查找预设的与所述目标训练阶段对应的实际训练长度值。
可选的，所述设定较大长度值为各个训练阶段对应的实际训练长度值的最小公倍数。
可选的，本申请的装置还可以包括：
第二batch过滤单元，用于当确定训练机器数量发生变动后，基于所述batch列表，过滤掉已经训练使用过的batch，以便在线模型训练时跳过读取已经训练使用过的batch。
本申请实施例提供的模型训练装置可应用于模型训练设备，如服务器、服务器集群、云端等。可选的，图4示出了模型训练设备的硬件结构框图，参照图4，模型训练设备的硬件结构可以包括：至少一个处理器1，至少一个通信接口2，至少一个存储器3和至少一个通信总线4；
在本申请实施例中，处理器1、通信接口2、存储器3、通信总线4的数量为至少一个，且处理器1、通信接口2、存储器3通过通信总线4完成相互间的通信；
处理器1可能是一个中央处理器CPU，或者是特定集成电路ASIC（ApplicationSpecific Integrated Circuit），或者是被配置成实施本发明实施例的一个或多个集成电路等；
存储器3可能包含高速RAM存储器，也可能还包括非易失性存储器（non-volatilememory）等，例如至少一个磁盘存储器；
其中，存储器存储有程序，处理器可调用存储器存储的程序，所述程序用于：
当确定需要添加新增训练数据时，基于预先构建的训练批次batch列表，过滤掉已经训练使用过的batch，得到剩余各batch，其中，所述batch列表中按照训练时的读取顺序记录各batch的标识；
对于所述新增训练数据，按照规则构建成若干batch；
将对所述新增训练数据所构建的各batch与所述剩余各batch进行随机顺序打乱，并将打乱后的各batch的标识顺序的记录在所述batch列表中，以便后续按照batch列表顺序读取各标识对应的batch数据，进行在线模型训练。
可选的，所述程序的细化功能和扩展功能可参照上文描述。
本申请实施例还提供一种存储介质，该存储介质可存储有适于处理器执行的程序，所述程序用于：
当确定需要添加新增训练数据时，基于预先构建的训练批次batch列表，过滤掉已经训练使用过的batch，得到剩余各batch，其中，所述batch列表中按照训练时的读取顺序记录各batch的标识；
对于所述新增训练数据，按照规则构建成若干batch；
将对所述新增训练数据所构建的各batch与所述剩余各batch进行随机顺序打乱，并将打乱后的各batch的标识顺序的记录在所述batch列表中，以便后续按照batch列表顺序读取各标识对应的batch数据，进行在线模型训练。
可选的，所述程序的细化功能和扩展功能可参照上文描述。
最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间可以根据需要进行组合，且相同相似部分互相参见即可。
对所公开的实施例的上述说明，使本领域技术人员能够实现或使用本申请。对这些实施例的多种修改对本领域的技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下，在其它实施例中实现。因此，本申请将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。
Claims (10)
1.一种模型训练方法，其特征在于，包括：
当确定需要添加新增训练数据时，基于预先构建的训练批次batch列表，过滤掉已经训练使用过的batch，得到剩余各batch，其中，所述batch列表中按照训练时的读取顺序记录各batch的标识；
对于所述新增训练数据，按照规则构建成若干batch；
将对所述新增训练数据所构建的各batch与所述剩余各batch进行随机顺序打乱，并将打乱后的各batch的标识顺序的记录在所述batch列表中，以便后续按照batch列表顺序读取各标识对应的batch数据，进行在线模型训练；
所述模型至少为自然语音处理模型、或图像识别模型、或语音识别模型；
还包括：在在线模型训练过程中的不同训练阶段，采用不同序列长度的训练数据进行模型训练。
2.根据权利要求1所述的方法，其特征在于，在在线模型训练之前，还包括离线构建batch的过程，所构建的batch中每条训练数据的序列长度为设定较大长度值；
则在线模型训练的过程，包括：
按照batch列表顺序读取各标识对应的batch数据；
按照当前训练阶段所对应的实际训练长度值，对读取的batch数据中每条训练数据进行切分，并利用切分后的所述实际训练长度值的训练数据迭代训练模型，直至读取的batch数据迭代结束，返回执行所述按照batch列表顺序读取各标识对应的batch数据的步骤；
其中，所述实际训练长度不超过所述设定较大长度值。
3.根据权利要求2所述的方法，其特征在于，在整个模型训练过程中包含至少两个训练阶段，且按照时间顺序越靠后的训练阶段所对应的实际训练长度值越大，最大的实际训练长度值不超过所述设定较大长度值。
4.根据权利要求2所述的方法，其特征在于，当前训练阶段所对应的实际训练长度值通过外部输入确定；
或，
按照训练进度确定当前所处的目标训练阶段，并查找预设的与所述目标训练阶段对应的实际训练长度值。
5.根据权利要求3所述的方法，其特征在于，所述设定较大长度值为各个训练阶段对应的实际训练长度值的最小公倍数。
6.根据权利要求1所述的方法，其特征在于，还包括：
当确定训练机器数量发生变动后，基于所述batch列表，过滤掉已经训练使用过的batch，以便在线模型训练时跳过读取已经训练使用过的batch。
7.根据权利要求1-6任一项所述的方法，其特征在于，所述当确定需要添加新增训练数据时，基于预先构建的训练批次batch列表，过滤掉已经训练使用过的batch，得到剩余各batch，包括：
当确定需要添加新增训练数据时，确定当前已训练使用过的最新batch的标识；
将所述batch列表中，从所述最新batch的标识向前的各batch标识过滤掉，得到剩余各batch的标识。
8.一种模型训练装置，其特征在于，包括：
第一batch过滤单元，用于当确定需要添加新增训练数据时，基于预先构建的训练批次batch列表，过滤掉已经训练使用过的batch，得到剩余各batch，其中，所述batch列表中按照训练时的读取顺序记录各batch的标识；
batch构建单元，用于对于所述新增训练数据，按照规则构建成若干batch；
batch打乱单元，用于将对所述新增训练数据所构建的各batch与所述剩余各batch进行随机顺序打乱，并将打乱后的各batch的标识顺序的记录在所述batch列表中，以便后续按照batch列表顺序读取各标识对应的batch数据，进行在线模型训练；
所述模型至少为自然语音处理模型、或图像识别模型、或语音识别模型；
所述装置还用于：在在线模型训练过程中的不同训练阶段，采用不同序列长度的训练数据进行模型训练。
9.一种模型训练设备，其特征在于，包括：存储器和处理器；
所述存储器，用于存储程序；
所述处理器，用于执行所述程序，实现如权利要求1~7中任一项所述的模型训练方法的各个步骤。
10.一种存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时，实现如权利要求1~7中任一项所述的模型训练方法的各个步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310900540.4A CN116628509B (zh) | 2023-07-21 | 2023-07-21 | 模型训练方法、装置、设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310900540.4A CN116628509B (zh) | 2023-07-21 | 2023-07-21 | 模型训练方法、装置、设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116628509A CN116628509A (zh) | 2023-08-22 |
| CN116628509B true CN116628509B (zh) | 2023-12-01 |
Family
ID=87610190
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310900540.4A Active CN116628509B (zh) | 2023-07-21 | 2023-07-21 | 模型训练方法、装置、设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116628509B (zh) |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2019071661A1 (zh) * | 2017-10-09 | 2019-04-18 | 平安科技（深圳）有限公司 | 电子装置、医疗文本实体命名的识别方法、系统及存储介质 |
| CN112598078A (zh) * | 2020-12-28 | 2021-04-02 | 北京达佳互联信息技术有限公司 | 混合精度训练方法、装置、电子设备及存储介质 |
| CN113159284A (zh) * | 2021-03-31 | 2021-07-23 | 华为技术有限公司 | 一种模型训练方法及装置 |
| CN114968942A (zh) * | 2022-06-15 | 2022-08-30 | 每平每屋(上海)科技有限公司 | 数据处理方法、预测方法、设备、存储介质及程序产品 |
| CN115511104A (zh) * | 2022-10-31 | 2022-12-23 | 北京有竹居网络技术有限公司 | 用于训练对比学习模型的方法、装置、设备和介质 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10325224B1 (en) * | 2017-03-23 | 2019-06-18 | Palantir Technologies Inc. | Systems and methods for selecting machine learning training data |
| US11614733B2 (en) * | 2018-04-30 | 2023-03-28 | Aspentech Corporation | Computer system and method for automated batch data alignment in batch process modeling, monitoring and control |
| JP2019204246A (ja) * | 2018-05-23 | 2019-11-28 | 株式会社日立製作所 | 学習データ作成方法及び学習データ作成装置 |
-
2023
- 2023-07-21 CN CN202310900540.4A patent/CN116628509B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2019071661A1 (zh) * | 2017-10-09 | 2019-04-18 | 平安科技（深圳）有限公司 | 电子装置、医疗文本实体命名的识别方法、系统及存储介质 |
| CN112598078A (zh) * | 2020-12-28 | 2021-04-02 | 北京达佳互联信息技术有限公司 | 混合精度训练方法、装置、电子设备及存储介质 |
| CN113159284A (zh) * | 2021-03-31 | 2021-07-23 | 华为技术有限公司 | 一种模型训练方法及装置 |
| CN114968942A (zh) * | 2022-06-15 | 2022-08-30 | 每平每屋(上海)科技有限公司 | 数据处理方法、预测方法、设备、存储介质及程序产品 |
| CN115511104A (zh) * | 2022-10-31 | 2022-12-23 | 北京有竹居网络技术有限公司 | 用于训练对比学习模型的方法、装置、设备和介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116628509A (zh) | 2023-08-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN104778173B (zh) | 目标用户确定方法、装置及设备 | |
| CN107545889A (zh) | 适用于模式识别的模型的优化方法、装置及终端设备 | |
| CN110837578B (zh) | 一种基于图卷积网络的视频片段推荐方法 | |
| CN110083728B (zh) | 一种优化自动化图片数据清洗质量的方法、装置和系统 | |
| CN115688913A (zh) | 一种云边端协同个性化联邦学习方法、系统、设备及介质 | |
| CN111506755A (zh) | 图片集的分类方法和装置 | |
| CN116628509B (zh) | 模型训练方法、装置、设备及存储介质 | |
| CN110876072B (zh) | 一种批量注册用户识别方法、存储介质、电子设备及系统 | |
| CN108399266B (zh) | 数据抽取方法、装置、电子设备及计算机可读存储介质 | |
| Kwasigroch et al. | Deep neural network architecture search using network morphism | |
| CN111325212A (zh) | 模型训练方法、装置、电子设备和计算机可读存储介质 | |
| CN115277264B (zh) | 一种基于联邦学习的字幕生成方法、电子设备及存储介质 | |
| CN109726310A (zh) | 一种推荐音乐曲目的确定方法、装置和存储介质 | |
| CN110874465B (zh) | 基于半监督学习算法的移动设备实体识别方法及装置 | |
| CN109117786B (zh) | 基于神经网络模型的数据处理方法、装置及可读存储介质 | |
| CN109993193B (zh) | 三维曲线的关键点的识别方法和装置 | |
| CN112434552A (zh) | 神经网络模型调整方法、装置、设备及存储介质 | |
| CN117032765B (zh) | 模型升级方法、模型升级装置以及计算机存储介质 | |
| CN111602145A (zh) | 卷积神经网络的优化方法及相关产品 | |
| CN109462778B (zh) | 一种直播标识的推荐方法以及相关设备 | |
| CN115908655B (zh) | 一种虚拟人物面部表情处理方法及装置 | |
| CN113268631B (zh) | 一种基于大数据的视频筛选方法和装置 | |
| CN116760723B (zh) | 基于预测树模型的数据预测方法、装置、设备及介质 | |
| CN117114715A (zh) | 一种黑产团伙识别方法、系统、存储介质和电子设备 | |
| CN110781194B (zh) | 应用程序的表数据处理方法、装置、电子设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |