CN112405521A - 模型的训练方法、装置、电子设备及存储介质 - Google Patents

模型的训练方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN112405521A
CN112405521A CN202011107097.8A CN202011107097A CN112405521A CN 112405521 A CN112405521 A CN 112405521A CN 202011107097 A CN202011107097 A CN 202011107097A CN 112405521 A CN112405521 A CN 112405521A
Authority
CN
China
Prior art keywords
meta
model
training
models
parameter
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011107097.8A
Other languages
English (en)
Other versions
CN112405521B (zh
Inventor
王凡
�田�浩
方晓敏
何径舟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Baidu Netcom Science and Technology Co Ltd
Original Assignee
Beijing Baidu Netcom Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Baidu Netcom Science and Technology Co Ltd filed Critical Beijing Baidu Netcom Science and Technology Co Ltd
Priority to CN202011107097.8A priority Critical patent/CN112405521B/zh
Publication of CN112405521A publication Critical patent/CN112405521A/zh
Application granted granted Critical
Publication of CN112405521B publication Critical patent/CN112405521B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1628—Programme controls characterised by the control loop
    • B25J9/163—Programme controls characterised by the control loop learning, adaptive, model based, rule based expert control

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Feedback Control In General (AREA)

Abstract

本申请公开了模型的训练方法、装置、电子设备及存储介质，涉及深度学习技术领域。具体实现方案为：根据已获取到的元模型集合，生成衍生模型，并将多个衍生模型作为元模型添加至元模型集合中，增加元模型集合中的模型数量，以备后续对元模型集合进行元训练；之后，根据经过训练的元模型的性能参数，对元模型集合中的元模型进行筛选，从而得到性能良好的元模型进行目标任务的适配训练。由于本申请提供的方案中，采用了对元模型进行丰富后再筛选的方式，从而使得筛选保留的元模型性能得到提升，可使适配训练结果不需要反向传递至元训练过程，也能达到较优的训练结果，有效地提高了训练效率。

Description

模型的训练方法、装置、电子设备及存储介质
技术领域
本申请涉及人工智能技术领域，具体涉及深度学习技术领域，尤其涉及模型的训练方法、装置、电子设备及存储介质。
背景技术
目前，如何让机器人适应一系列广泛的任务是进一步提升人工智能的重要因素之一，由于传统机器学习或者强化学习技术，仅仅能让机器人训练出某一个特定的任务。比如，可以让机器人用几何参数一定的两条腿，以及适应特定的电机来走路。但一旦切换了腿的参数，例如腿长，模型就无法继续利用，而需要重新训练。这严重限制了当今人工智能的应用能力。
相关技术中，通过“元学习”和“适配学习”相结合的方式，提高人工智能的应用能力，然而，在“元学习”过程中，即元模型训练过程中，需要从具体适配的任务进行梯度回传，当适配过程较长时，元模型训练存在较大的负担，使得训练效率迅速降低。
发明内容
提供了一种模型的训练方法、装置、电子设备及存储介质。
根据第一方面，提供了一种模型的训练方法，通过将多个衍生模型添加到元模型集合中，使元模型集合数量扩大，并且根据元模型的性能参数对元模型进行筛选，筛选出性能较佳的元模型进行目标任务的适配训练，从而使适配训练结果不需要反向传递至元训练过程，也能达到较优的训练结果，有效地提高了训练效率。
本申请第二方面提出了一种模型的训练装置。
本申请第三方面提出了一种电子设备。
本申请第四方面提出了一种存储有计算机指令的非瞬时计算机可读存储介质。
本申请第一方面实施例提出了一种模型的训练方法，包括：获取元模型集合；根据所述元模型集合，生成衍生模型，并将所述衍生模型作为元模型添加至所述元模型集合中；对所述元模型集合进行元训练，以确定所述元模型集合中经过训练的每一元模型的性能参数；根据所述性能参数，对所述元模型集合中的元模型进行筛选，以将筛选保留的元模型进行目标任务的适配训练，得到用以执行所述目标任务的适配模型。
本申请实施例的模型的训练方法，通过获取元模型集合；根据所述元模型集合，生成衍生模型，并将所述衍生模型作为元模型添加至所述元模型集合中；对所述元模型集合进行元训练，以确定所述元模型集合中经过训练的每一元模型的性能参数；根据所述性能参数，对所述元模型集合中的元模型进行筛选，以将筛选保留的元模型进行目标任务的适配训练，得到用以执行所述目标任务的适配模型。该方法通过将多个衍生模型添加到元模型集合中，使元模型集合数量扩大，并且根据元模型的性能参数对元模型进行筛选，筛选出性能较佳的元模型进行目标任务的适配训练，从而使适配训练结果不需要反向传递至元训练过程，也能达到较优的训练结果，有效地提高了训练效率。
本申请第二方面实施例提出了一种模型的训练装置，包括：获取模块，用于获取元模型集合；生成模块，用于根据所述元模型集合，生成衍生模型，并将所述衍生模型作为元模型添加至所述元模型集合中；训练模块，用于对所述元模型集合进行元训练，以确定所述元模型集合中经过训练的每一元模型的性能参数；筛选模块，用于根据所述性能参数，对所述元模型集合中的元模型进行筛选，以将筛选保留的元模型进行目标任务的适配训练，得到用以执行所述目标任务的适配模型。
本申请第三方面实施例提出了一种电子设备，包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如上所述的模型的训练方法。
本申请第四方面实施例提出了一种存储有计算机指令的非瞬时计算机可读存储介质，所述计算机指令用于使计算机执行如上所述的模型的训练方法。
应当理解，本部分所描述的内容并非旨在标识本申请的实施例的关键或重要特征，也不用于限制本申请的范围。本申请的其它特征将通过以下的说明书而变得容易理解。
附图说明
附图用于更好地理解本方案，不构成对本申请的限定。其中：
图1是根据本申请第一实施例的示意图；
图2是根据本申请第二实施例的示意图；
图3是根据本申请实施例的元模型执行多轮迭代训练过程的示意图；
图4是根据本申请第三实施例的示意图；
图5是根据本申请第四实施例的示意图；
图6是用来实现本申请实施例的模型的训练方法的电子设备的框图。
具体实施方式
以下结合附图对本申请的示范性实施例做出说明，其中包括本申请实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本申请的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
下面参考附图描述本申请实施例的模型的训练方法、装置、电子设备及存储介质。
图1是根据本申请第一实施例的示意图。其中，需要说明的是，本申请实施例的执行主体为模型的训练装置，模型的训练装置具体可以为硬件设备，或者硬件设备中的软件等。此外，本申请实施例的模型的训练方法可应用于机器人的训练，比如，机器人的行走训练。
如图1所示，模型的训练方法具体实现过程如下：
步骤101，获取元模型集合。
在本申请实施例中，模型的训练装置可预先建立多个元模型，并将多个元模型组成元模型集合。其中，元模型可为实现机器人训练的模型。
步骤102，根据元模型集合，生成衍生模型，并将衍生模型作为元模型添加至元模型集合中。
为了扩大元模型集合中元模型的数量，在本申请实施例中，可对元模型集合内的元模型，更新模型参数的初始值，以生成衍生模型，并将生成的多个衍生模型作为元模型添加至元模型集合中。
也就是说，可对模型集合内的元模型的模型参数进行初始化，并利用不同增值方式，生成该元模型对应的衍生模型，并将生成的多个衍生模型作为元模型添加至元模型集合中。
作为一种示例，从元模型集合中，选取两个元模型；交换两个元模型中部分模型参数的初始值，以得到至少两个衍生模型，并将生成的多个衍生模型作为元模型添加至元模型集合中。
也就是说，可模拟自然界中两性繁殖的方式，从元模型集合中随机选取两个元模型，接着，将两个元模型中的部分参数的初始值进行交换，可获取两个元模型对应的衍生模型，如此进行多次，可生成更多的衍生模型，并将生成的多个衍生模型作为元模型添加至元模型集合中，由此，扩大了元模型集合中元模型的数量。
作为另一种示例，针对每一个元模型，将模型参数的初始值多次叠加噪声，以根据每一次叠加噪声得到的模型参数，生成对应的一个衍生模型，并将生成的多个衍生模型作为元模型添加至元模型集合中。
也就是说，对于每一个元模型中的模型参数的初始值的每一次叠加噪声，可预先设定该元模型中每个参数的对应的噪声方差，根据每个参数的对应的噪声方差可确定该元模型中每个参数的对应的随机高斯噪声值，将每个参数对应的随机高斯噪声值与对应的初始值进行叠加，可得到叠加噪声的模型参数，叠加噪声的模型参数对应的模型作为衍生模型。
举例而言，针对每一个元模型，可采样k-1个形状与该元模型完全相同的高斯噪音，并将该k-1个高斯噪音分别叠加给该元模型参数的初始值，每一次将高斯噪音叠加给该元模型参数的初始值时，可获取该元模型中每个参数对应的噪声方差，并根据每个参数对应的噪声方差确定每个参数的对应的随机高斯噪声值，将每个参数对应的随机高斯噪声值与对应的初始值进行叠加，可得到叠加噪声的模型参数，并将叠加噪声的模型参数对应的模型作为衍生模型。由此，可得到多个衍生模型，并将生成的多个衍生模型作为元模型添加至元模型集合中，可扩大元模型集合中元模型的数量。
步骤103，对元模型集合进行元训练，以确定元模型集合中经过训练的每一元模型的性能参数。
可选地，从多个任务的训练样本中随机选定各轮迭代训练过程的目标训练样本；对元模型集合中的每一个元模型执行多轮迭代训练过程。根据每一元模型在执行各轮迭代训练过程中的反馈参数，生成每一元模型的性能参数。详见后续实施例的描述。
步骤104，根据性能参数，对元模型集合中的元模型进行筛选，以将筛选保留的元模型进行目标任务的适配训练，得到用以执行目标任务的适配模型。
在本申请实施例中，根据每一元模型的性能参数，对元模型集合中的元模型进行打分比对，以对元模型集合中的元模型进行筛选，比如，可将打分最高的N个模型作为筛选保留的元模型。接着，将筛选保留的元模型进行目标任务的适配训练，得到用以执行目标任务的适配模型。具体详见后续实施例的描述。
本申请实施例的模型的训练方法，通过获取元模型集合；根据元模型集合，生成衍生模型，并将衍生模型作为元模型添加至元模型集合中；对元模型集合进行元训练，以确定元模型集合中经过训练的每一元模型的性能参数；根据性能参数，对所述元模型集合中的元模型进行筛选，以将筛选保留的元模型进行目标任务的适配训练，得到用以执行所述目标任务的适配模型。该方法通过将多个衍生模型添加到元模型集合中，使元模型集合数量扩大，并且根据元模型的性能参数对元模型进行筛选，筛选出性能较佳的元模型进行目标任务的适配训练，从而使适配训练结果不需要反向传递至元训练过程，也能达到较优的训练结果，有效地提高了训练效率。
为了使元模型集合中的模型适应多种任务，并筛选出性能较佳的元模型，在本申请实施例中，如图2所示，图2是根据本申请第二实施例的示意图，可采用多种任务的目标训练样本对元模型集合进行元训练，并确定元模型集合中经过训练的每一元模型的性能参数，生成每一元模型的性能参数，根据该性能参数对元模型进行筛选，筛选出性能较佳的元模型用以后续的适配训练，图1所述实施例的步骤103还可包括如下步骤：
步骤201，从多个任务的训练样本中随机选定各轮迭代训练过程的目标训练样本。
在本申请实施例中，可预先创建多个任务，根据多个任务对应的创建多个训练样本，并从多个任务的训练样本中随机选择多个训练样本作为各轮迭代训练过程的目标训练样本。其中，需要说明的是，多个任务可为机器人不同动作的训练或者机器人同一动作的不同参数的训练，比如，机器人不同动作的训练可以为机器人行走训练、机器人跳跃训练、机器人跳舞训练等，机器人同一动作的不同参数的训练可以为机器人用不同的参数的两条腿，适应不同的电机来走路的训练。另外，不同的任务对应的训练样本不同，同一任务在训练过程中的每一轮的训练样本也不同。其中，训练样本中的参数可根据对应的任务中是否包含目标动作而确定，比如，任务为机器人不同动作的训练，该任务的每一轮迭代训练过程中均包含机器人的目标动作，在每一轮迭代训练过程中对应的训练样本可包括：机器人在该轮训练的状态参数以及该轮的动作参数；又比如，任务为机器人同一动作的不同参数的训练，该任务的每一轮迭代训练过程中不包含机器人的目标动作，在每一轮迭代训练过程中对应的训练样本可包括：机器人在该轮训练的状态参数。其中，机器人在该轮训练的状态参数可包括但不限于机器人11个身体部位在X、Y、Z坐标上的位置和线速度、机器人11个身体部位围绕X、Y、Z坐标上的角度和角速度、机器人重心在X、Y、Z坐标上的位置和速度、机器人所有关节的转动角度和转动速度、机器人所有肌肉的激活量、纤维长度和纤维速度、机器人两只脚在X、Z方向上的间距、机器人目标速度和真实速度在X、Z坐标上的矢量差距、机器人目标速度和真实速度的标量差距以及机器人目标速度和真实速度在基于骨盘坐标系的方向差距等，机器人在该轮训练的动作参数可包括但不限于机器人动作的角度、范围、部位等。
步骤202，对元模型集合中的每一个元模型执行多轮迭代训练过程。
可选地，获取元模型对应的代理，其中，代理包括推理器和适配器；采用代理，根据各轮的目标训练样本，对元模型执行多轮迭代训练过程，其中，每一轮迭代训练过程包括：推理器根据本轮的目标训练样本指示的状态参数和本轮采用的元模型，生成本轮的动作参数；适配器获取根据本轮的动作参数，控制被控对象执行对应的动作所得到的反馈参数，以及根据反馈参数、本轮的状态参数和本轮的动作参数，更新本轮采用的元模型的模型参数，以得到下一轮采用的元模型。
也就是说，针对元模型集合中的每一个元模型，可预先设置对应的代理，比如，每一个元模型可设置一个或多个代理。其中，代理可包括但不限于推理器和适配器，推理器具有推理能力，适配器具有适配能力，根据各轮的目标训练样本，推理器根据本轮的目标样本指示的状态参数和本轮采用的元模型，推导本轮执行的动作参数；接着，适配器可获取推理器推导的本轮执行的动作参数，控制被控对象执行对应的动作所得到的反馈参数，并根据反馈参数、本轮的状态参数和本轮的动作参数，适配器进行更新本轮采用的元模型的模型参数，以得到下一轮采用的元模型，不断迭代，直至代理的生命周期结束。其中，需要说明的是，代理的生命周期可预先进行设定。控制被控对象执行对应的动作所得到的反馈参数，可为机器人执行对应的动作所得到的反馈参数。比如，对于机器人行走的训练，控制被控对象执行对应的动作所得到的反馈参数，可为机器人行走过程中的反馈参数，可包括但不限于机器人行走过程中11个身体部位在X、Y、Z坐标上的位置和线速度、机器人行走过程中11个身体部位围绕X、Y、Z坐标上的角度和角速度、机器人行走过程中重心在X、Y、Z坐标上的位置和速度、机器人行走过程中所有关节的转动角度和转动速度、机器人行走过程中所有肌肉的激活量、纤维长度和纤维速度、机器人行走过程中两只脚在X、Z方向上的间距、机器人行走过程中目标速度和真实速度在X、Z坐标上的矢量差距、机器人行走过程中目标速度和真实速度的标量差距以及机器人行走过程中目标速度和真实速度在基于骨盘坐标系的方向差距等。
举例而言，如图3所示，代理包括推理器和适配器，其中，推理器具有推理能力G，在某一轮迭代训练过程中，本轮采用的元模型Mi,t-1作为参数，根据本轮的目标样本指示的状态参数st，推导本轮执行的动作参数at；适配器用L表示，以θ作为参数，根据反馈参数rt-1、本轮的状态参数st-1和本轮的动作参数at-1，更新本轮采用的元模型Mi,t-1的模型参数，将更新后的元模型作为元模型Mi,t，以供下一轮迭代训练过程使用。如此不断迭代，直至代理的生命周期结束。其中，需要说明的是，元模型的初始状态可表示为Mi,0＝M。
步骤203，根据每一元模型在执行各轮迭代训练过程中的反馈参数，生成每一元模型的性能参数。
在本申请实施例中，在每一个元模型对应的代理的生命周期内，可将该元模型在执行各轮迭代训练过程中的反馈参数相加，将相加结果作为该元模型的性能参数。比如，元模型对应的代理为一个的情况下，在元模型对应的代理的生命周期内，该元模型在执行各轮迭代训练过程中的反馈参数分别为r0、r1……rt-1，Ri＝r0+r1+......+rt-1，将Ri作为该元模型的性能参数。又比如，元模型对应的代理为多个的情况下，可将元模型对应的代理的生命周期内，将该元模型获取的性能参数取平均，将平均值作为该元模型的性能参数。其中，需要说明的是，元模型的性能参数值越高，表示该元模型的性能越好。另外，如果元模型集合中元模型的性能参数的最高值不满足要求，可重复步骤102-103，直至元模型的性能参数的最高值满足要求。
综上，通过从多个任务的训练样本中随机选定各轮迭代训练过程的目标训练样本，并对元模型集合中的每一个元模型执行多轮迭代训练过程，根据每一元模型在执行各轮迭代训练过程中的反馈参数，生成每一元模型的性能参数。由此，可使元模型集合中的元模型适应多种任务，并根据元模型集合中经过训练的每一元模型的性能参数对元模型进行筛选，以筛选出性能较佳的元模型进行后续目标任务的适配训练。
为了得到可执行特定的目标任务的适配模型并使适配训练结果不需要反向传递至元训练过程，也能达到较优的训练结果，有效地提高训练效率，在本申请实施例中，如图4所示，图4是根据本申请第三实施例的示意图，在获取到元模型集合中经过训练的每一元模型的性能参数之后，可根据元模型的性能参数对元模型进行筛选，筛选出性能较佳的元模型进行目标任务的适配训练，在图1所述实施例的步骤104中还可包括以下步骤：
步骤401，获取目标任务的多个训练样本。
在本申请实施例中，目标任务可为用户设定的某一特定任务，比如，目标任务为机器人跳跃，或者机器人用几何参数一定的两条腿，以及适应特定的电机来走路。
为了提高模型训练的准确度，可获取目标任务的多个训练样本，其中，目标任务不同，对应的训练样本也不同，比如，目标任务为机器人跳跃，对应的训练样本可包括但不限于机器人在本轮训练中的状态参数以及机器人在本轮训练中的动作参数等；又比如，目标任务为机器人用几何参数一定的两条腿，以及适应特定的电机来走路，对应的训练样本可包括但不限于机器人在本轮训练中的状态参数。
步骤402，对筛选保留的元模型，获取对应的代理，其中，代理包括推理器和适配器。
在本申请实施例中，可根据每一元模型的性能参数，对元模型集合中的元模型进行打分比对，以对元模型集合中的元模型进行筛选，比如，可将打分最高的N个模型作为筛选保留的元模型。对筛选保留的元模型设置对应的代理，比如，对于每一个筛选保留的元模型可设置一个或多个代理。其中，需要说明的是，代理可包括但不限于推理器和适配器。
步骤403，采用代理，对筛选保留的元模型根据目标任务的训练样本，执行多轮迭代训练过程。
可选地，推理器根据本轮的训练样本指示的状态参数和本轮采用的元模型，生成本轮的动作参数；适配器获取根据本轮的动作参数，控制被控对象执行对应的动作所得到的反馈参数，以及根据反馈参数、本轮的状态参数和本轮的动作参数，更新本轮采用的元模型的模型参数，以得到下一轮采用的元模型。
也就是说，针对筛选保留的每一个元模型，推理器根据本轮的训练样本指示的状态参数和本轮采用的元模型，推导本轮执行的动作参数；接着，适配器可获取推理器推导的本轮执行的动作参数，控制被控对象执行对应的动作所得到的反馈参数，并根据反馈参数、本轮的状态参数和本轮的动作参数，适配器进行更新本轮采用的元模型的模型参数，以得到下一轮采用的元模型，不断迭代，直至代理的生命周期结束。详细可参照图2所述实施例的步骤202。本申请不再赘述。
在本申请实施例中，根据每一元模型在执行各轮迭代训练过程中的反馈参数，生成每一元模型的性能参数。比如，在每一个元模型对应的代理的生命周期内，可将该元模型在执行各轮迭代训练过程中的反馈参数相加，将相加结果作为该元模型的性能参数，将性能参数值较高的元模型作为用以执行目标任务的适配模型。
综上，通过元模型的性能参数对元模型进行筛选，筛选出性能较佳的元模型进行目标任务的适配训练，从而可得到用以执行目标任务的适配模型，并使适配训练结果不需要反向传递至元训练过程，也能达到较优的训练结果，有效地提高训练效率。
本申请实施例的模型的训练方法，通过获取元模型集合；根据元模型集合，生成衍生模型，并将多个衍生模型作为元模型添加至元模型集合中；对元模型集合进行元训练，以确定元模型集合中经过训练的每一元模型的性能参数；根据性能参数，对元模型集合中的元模型进行筛选，以将筛选保留的元模型进行目标任务的适配训练，得到用以执行目标任务的适配模型。该方法通过将多个衍生模型添加到元模型集合中，使元模型集合数量扩大，并且根据元模型的性能参数对元模型进行筛选，筛选出性能较佳的元模型进行目标任务的适配训练，从而使适配训练结果不需要反向传递至元训练过程，也能达到较优的训练结果，有效地提高了训练效率。
为了实现上述实施例，本申请实施例还提出一种模型的训练装置。
图5是根据本申请第四实施例的示意图。如图5所示，该模型的训练装置500包括：获取模块510、生成模块520、训练模块530、筛选模块540。
其中，获取模块510，用于获取元模型集合；生成模块520，用于根据元模型集合，生成衍生模型，并将多个衍生模型作为元模型添加至元模型集合中；训练模块530，用于对元模型集合进行元训练，以确定元模型集合中经过训练的每一元模型的性能参数；筛选模块540，用于根据性能参数，对元模型集合中的元模型进行筛选，以将筛选保留的元模型进行目标任务的适配训练，得到用以执行目标任务的适配模型。
作为本申请实施例的一种可能实现方式，生成模块520包括：更新单元。
其中，更新单元用于对元模型集合内的元模型，更新模型参数的初始值，以生成衍生模型。
作为本申请实施例的一种可能实现方式，更新单元具体用于从元模型集合中，选取两个元模型；交换两个元模型中部分模型参数的初始值，以得到至少两个衍生模型。
作为本申请实施例的一种可能实现方式，更新单元还用于针对每一个元模型，将模型参数的初始值多次叠加噪声，以根据每一次叠加噪声得到的模型参数，生成对应的一个衍生模型。
作为本申请实施例的一种可能实现方式，更新单元具体用于针对每一次叠加噪声，根据本次叠加噪声的元模型中各模型参数的设定噪声方差，确定各所述模型参数的随机高斯噪声值；将每一模型参数的随机高斯噪声值与对应的初始值叠加，以得到叠加噪声的各模型参数；根据叠加噪声的各模型参数，生成对应的衍生模型。
作为本申请实施例的一种可能实现方式，训练模块530包括：选定单元、训练单元。
其中，选定单元，用于从多个任务的训练样本中随机选定各轮迭代训练过程的目标训练样本；训练单元，用于对元模型集合中的一个元模型执行多轮迭代训练过程。
作为本申请实施例的一种可能实现方式，训练单元具体用于获取元模型对应的代理，其中，代理包括推理器和适配器；采用代理，根据各轮的目标训练样本，对元模型执行多轮迭代训练过程，其中，每一轮迭代训练过程包括：推理器根据本轮的目标训练样本指示的状态参数和本轮采用的元模型，生成本轮的动作参数；适配器获取根据本轮的动作参数，控制被控对象执行对应的动作所得到的反馈参数，以及根据反馈参数、本轮的状态参数和本轮的动作参数，更新本轮采用的元模型的模型参数，以得到下一轮采用的元模型。
作为本申请实施例的一种可能实现方式，训练模块530具体用于根据每一元模型在执行各轮所述迭代训练过程中的所述反馈参数，生成每一元模型的性能参数。
作为本申请实施例的一种可能实现方式，筛选模块540具体用于获取目标任务的多个训练样本；对筛选保留的元模型，获取对应的代理，其中，代理包括推理器和适配器；采用代理，对筛选保留的元模型根据目标任务的训练样本，执行多轮迭代训练过程；其中，每一轮迭代训练过程包括：推理器根据本轮的训练样本指示的状态参数和本轮采用的元模型，生成本轮的动作参数；适配器获取根据本轮的动作参数，控制被控对象执行对应的动作所得到的反馈参数，以及根据反馈参数、本轮的状态参数和本轮的动作参数，更新本轮采用的元模型的模型参数，以得到下一轮采用的元模型。
本申请实施例的模型的训练装置，通过获取元模型集合；根据元模型集合，生成衍生模型，并将多个衍生模型作为元模型添加至元模型集合中；对元模型集合进行元训练，以确定元模型集合中经过训练的每一元模型的性能参数；根据性能参数，对元模型集合中的元模型进行筛选，以将筛选保留的元模型进行目标任务的适配训练，得到用以执行目标任务的适配模型。该装置可实现通过将多个衍生模型添加到元模型集合中，使元模型集合数量扩大，并且根据元模型的性能参数对元模型进行筛选，筛选出性能较佳的元模型进行目标任务的适配训练，从而使适配训练结果不需要反向传递至元训练过程，也能达到较优的训练结果，有效地提高了训练效率。
根据本申请的实施例，本申请还提供了一种电子设备和一种可读存储介质。
如图6所示，是根据本申请实施例的模型的训练方法的电子设备的框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本申请的实现。
如图6所示，该电子设备包括：一个或多个处理器601、存储器602，以及用于连接各部件的接口，包括高速接口和低速接口。各个部件利用不同的总线互相连接，并且可以被安装在公共主板上或者根据需要以其它方式安装。处理器可以对在电子设备内执行的指令进行处理，包括存储在存储器中或者存储器上以在外部输入/输出装置(诸如，耦合至接口的显示设备)上显示GUI的图形信息的指令。在其它实施方式中，若需要，可以将多个处理器和/或多条总线与多个存储器和多个存储器一起使用。同样，可以连接多个电子设备，各个设备提供部分必要的操作(例如，作为服务器阵列、一组刀片式服务器、或者多处理器系统)。图6中以一个处理器601为例。
存储器602即为本申请所提供的非瞬时计算机可读存储介质。其中，所述存储器存储有可由至少一个处理器执行的指令，以使所述至少一个处理器执行本申请所提供的模型的训练方法。本申请的非瞬时计算机可读存储介质存储计算机指令，该计算机指令用于使计算机执行本申请所提供的模型的训练方法。
存储器602作为一种非瞬时计算机可读存储介质，可用于存储非瞬时软件程序、非瞬时计算机可执行程序以及模块，如本申请实施例中的模型的训练方法对应的程序指令/模块(例如，附图5所示的获取模块510、生成模块520、训练模块530和筛选模块540)。处理器601通过运行存储在存储器602中的非瞬时软件程序、指令以及模块，从而执行服务器的各种功能应用以及数据处理，即实现上述方法实施例中的模型的训练方法。
存储器602可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储根据模型的训练的电子设备的使用所创建的数据等。此外，存储器602可以包括高速随机存取存储器，还可以包括非瞬时存储器，例如至少一个磁盘存储器件、闪存器件、或其他非瞬时固态存储器件。在一些实施例中，存储器602可选包括相对于处理器601远程设置的存储器，这些远程存储器可以通过网络连接至模型的训练的电子设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
模型的训练方法的电子设备还可以包括：输入装置603和输出装置604。处理器601、存储器602、输入装置603和输出装置604可以通过总线或者其他方式连接，图6中以通过总线连接为例。
输入装置603可接收输入的数字或字符信息，以及产生与模型的训练的电子设备的用户设置以及功能控制有关的键信号输入，例如触摸屏、小键盘、鼠标、轨迹板、触摸板、指示杆、一个或者多个鼠标按钮、轨迹球、操纵杆等输入装置。输出装置604可以包括显示设备、辅助照明装置(例如，LED)和触觉反馈装置(例如，振动电机)等。该显示设备可以包括但不限于，液晶显示器(LCD)、发光二极管(LED)显示器和等离子体显示器。在一些实施方式中，显示设备可以是触摸屏。
此处描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、专用ASIC(专用集成电路)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
这些计算程序(也称作程序、软件、软件应用、或者代码)包括可编程处理器的机器指令，并且可以利用高级过程和/或面向对象的编程语言、和/或汇编/机器语言来实施这些计算程序。如本文使用的，术语“机器可读介质”和“计算机可读介质”指的是用于将机器指令和/或数据提供给可编程处理器的任何计算机程序产品、设备、和/或装置(例如，磁盘、光盘、存储器、可编程逻辑装置(PLD))，包括，接收作为机器可读信号的机器指令的机器可读介质。术语“机器可读信号”指的是用于将机器指令和/或数据提供给可编程处理器的任何信号。
为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)和互联网。
计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。
应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本申请中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本申请公开的技术方案所期望的结果，本文在此不进行限制。
上述具体实施方式，并不构成对本申请保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本申请的精神和原则之内所作的修改、等同替换和改进等，均应包含在本申请保护范围之内。

Claims (20)

1.一种模型的训练方法，所述方法包括：
获取元模型集合；
根据所述元模型集合，生成衍生模型，并将所述衍生模型作为元模型添加至所述元模型集合中；
对所述元模型集合进行元训练，以确定所述元模型集合中经过训练的每一元模型的性能参数；
根据所述性能参数，对所述元模型集合中的元模型进行筛选，以将筛选保留的元模型进行目标任务的适配训练，得到用以执行所述目标任务的适配模型。
2.根据权利要求1所述的训练方法，其中，所述根据所述元模型集合，生成衍生模型，包括：
对所述元模型集合内的元模型，更新模型参数的初始值，以生成所述衍生模型。
3.根据权利要求2所述的训练方法，其中，所述对所述元模型集合内的元模型，更新所述模型参数的初始值，以生成所述衍生模型，包括：
从所述元模型集合中，选取两个元模型；
交换所述两个元模型中部分所述模型参数的初始值，以得到至少两个衍生模型。
4.根据权利要求2所述的训练方法，其中，所述对所述元模型集合内的元模型，更新所述模型参数的初始值，以生成所述衍生模型，包括：
针对每一个所述元模型，将所述模型参数的初始值多次叠加噪声，以根据每一次叠加噪声得到的模型参数，生成对应的一个所述衍生模型。
5.根据权利要求4所述的训练方法，其中，所述针对每一个所述元模型，将所述模型参数的初始值多次叠加噪声，包括：
针对每一次叠加噪声，根据本次叠加噪声的元模型中各模型参数的设定噪声方差，确定各所述模型参数的随机高斯噪声值；
将每一所述模型参数的随机高斯噪声值与对应的所述初始值叠加，以得到叠加噪声的各所述模型参数；
根据叠加噪声的各所述模型参数，生成对应的所述衍生模型。
6.根据权利要求1-5任一项所述的训练方法，其中，所述对所述元模型集合进行元训练，包括：
从多个任务的训练样本中随机选定各轮迭代训练过程的目标训练样本；
对所述元模型集合中的一个元模型执行多轮迭代训练过程。
7.根据权利要求6所述的训练方法，其中，所述对所述元模型集合中的每一个元模型执行多轮迭代训练过程，包括：
获取所述元模型对应的代理，其中，所述代理包括推理器和适配器；
采用所述代理，根据各轮的所述目标训练样本，对所述元模型执行多轮迭代训练过程，其中，每一轮迭代训练过程包括：所述推理器根据本轮的所述目标训练样本指示的状态参数和本轮采用的元模型，生成本轮的动作参数；所述适配器获取根据本轮的动作参数，控制被控对象执行对应的动作所得到的反馈参数，以及根据所述反馈参数、本轮的状态参数和本轮的动作参数，更新本轮采用的元模型的模型参数，以得到下一轮采用的元模型。
8.根据权利要求7所述的训练方法，其中，所述确定所述元模型集合中经过训练的每一元模型的性能参数，包括：
根据每一元模型在执行各轮所述迭代训练过程中的所述反馈参数，生成每一元模型的性能参数。
9.根据权利要求1-5任一项所述的训练方法，其中，所述将筛选保留的元模型进行目标任务的适配训练，包括：
获取目标任务的多个训练样本；
对所述筛选保留的元模型，获取对应的代理，其中，所述代理包括推理器和适配器；
采用所述代理，对所述筛选保留的元模型根据所述目标任务的训练样本，执行多轮迭代训练过程；
其中，每一轮迭代训练过程包括：所述推理器根据本轮的训练样本指示的状态参数和本轮采用的元模型，生成本轮的动作参数；所述适配器获取根据本轮的动作参数，控制被控对象执行对应的动作所得到的反馈参数，以及根据所述反馈参数、本轮的状态参数和本轮的动作参数，更新本轮采用的元模型的模型参数，以得到下一轮采用的元模型。
10.一种模型的训练装置，所述装置包括：
获取模块，用于获取元模型集合；
生成模块，用于根据所述元模型集合，生成衍生模型，并将所述衍生模型作为元模型添加至所述元模型集合中；
训练模块，用于对所述元模型集合进行元训练，以确定所述元模型集合中经过训练的每一元模型的性能参数；
筛选模块，用于根据所述性能参数，对所述元模型集合中的元模型进行筛选，以将筛选保留的元模型进行目标任务的适配训练，得到用以执行所述目标任务的适配模型。
11.根据权利要求10所述的训练装置，其中，所述生成模块包括：
更新单元，用于对所述元模型集合内的元模型，更新模型参数的初始值，以生成所述衍生模型。
12.根据权利要求11所述的训练装置，其中，所述更新单元具体用于：
从所述元模型集合中，选取两个元模型；
交换所述两个元模型中部分所述模型参数的初始值，以得到至少两个衍生模型。
13.根据权利要求11所述的训练装置，其中，所述更新单元还用于：
针对每一个所述元模型，将所述模型参数的初始值多次叠加噪声，以根据每一次叠加噪声得到的模型参数，生成对应的一个所述衍生模型。
14.根据权利要求13所述的训练装置，其中，所述更新单元具体用于：
针对每一次叠加噪声，根据本次叠加噪声的元模型中各模型参数的设定噪声方差，确定各所述模型参数的随机高斯噪声值；
将每一所述模型参数的随机高斯噪声值与对应的所述初始值叠加，以得到叠加噪声的各所述模型参数；
根据叠加噪声的各所述模型参数，生成对应的所述衍生模型。
15.根据权利要求10-14任一项所述的训练装置，其中，所述训练模块包括：
选定单元，用于从多个任务的训练样本中随机选定各轮迭代训练过程的目标训练样本；
训练单元，用于对所述元模型集合中的一个元模型执行多轮迭代训练过程。
16.根据权利要求15任一项所述的训练装置，其中，所述训练单元具体用于：
获取所述元模型对应的代理，其中，所述代理包括推理器和适配器；
采用所述代理，根据各轮的所述目标训练样本，对所述元模型执行多轮迭代训练过程，其中，每一轮迭代训练过程包括：所述推理器根据本轮的所述目标训练样本指示的状态参数和本轮采用的元模型，生成本轮的动作参数；所述适配器获取根据本轮的动作参数，控制被控对象执行对应的动作所得到的反馈参数，以及根据所述反馈参数、本轮的状态参数和本轮的动作参数，更新本轮采用的元模型的模型参数，以得到下一轮采用的元模型。
17.根据权利要求16所述的训练装置，所述训练模块具体用于：
根据每一元模型在执行各轮所述迭代训练过程中的所述反馈参数，生成每一元模型的性能参数。
18.根据权利要求10-14任一项所述的训练装置，其中，所述筛选模块具体用于：
获取目标任务的多个训练样本；
对所述筛选保留的元模型，获取对应的代理，其中，所述代理包括推理器和适配器；
采用所述代理，对所述筛选保留的元模型根据所述目标任务的训练样本，执行多轮迭代训练过程；
其中，每一轮迭代训练过程包括：所述推理器根据本轮的训练样本指示的状态参数和本轮采用的元模型，生成本轮的动作参数；所述适配器获取根据本轮的动作参数，控制被控对象执行对应的动作所得到的反馈参数，以及根据所述反馈参数、本轮的状态参数和本轮的动作参数，更新本轮采用的元模型的模型参数，以得到下一轮采用的元模型。
19.一种电子设备，其特征在于，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-9中任一项所述的模型的训练方法。
20.一种存储有计算机指令的非瞬时计算机可读存储介质，其特征在于，所述计算机指令用于使计算机执行权利要求1-9中任一项所述的模型的训练方法。
CN202011107097.8A 2020-10-16 2020-10-16 模型的训练方法、装置、电子设备及存储介质 Active CN112405521B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011107097.8A CN112405521B (zh) 2020-10-16 2020-10-16 模型的训练方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011107097.8A CN112405521B (zh) 2020-10-16 2020-10-16 模型的训练方法、装置、电子设备及存储介质

Publications (2)

Publication Number Publication Date
CN112405521A true CN112405521A (zh) 2021-02-26
CN112405521B CN112405521B (zh) 2022-02-25

Family

ID=74855023

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011107097.8A Active CN112405521B (zh) 2020-10-16 2020-10-16 模型的训练方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN112405521B (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180164792A1 (en) * 2016-12-12 2018-06-14 Dmo Systems Limited Auto defect screening using adaptive machine learning in semiconductor device manufacturing flow
CN109145981A (zh) * 2018-08-17 2019-01-04 上海非夕机器人科技有限公司 深度学习自动化模型训练方法及设备
CN109165722A (zh) * 2018-07-09 2019-01-08 北京市商汤科技开发有限公司 模型扩展方法及装置、电子设备和存储介质
CN109352648A (zh) * 2018-10-12 2019-02-19 北京地平线机器人技术研发有限公司 机械机构的控制方法、装置和电子设备
CN110188358A (zh) * 2019-05-31 2019-08-30 北京神州泰岳软件股份有限公司 自然语言处理模型的训练方法及装置
CN111062520A (zh) * 2019-11-29 2020-04-24 苏州迈科网络安全技术股份有限公司 基于随机森林算法的hostname特征预测方法
CN111753855A (zh) * 2020-07-30 2020-10-09 腾讯科技（深圳）有限公司 一种数据处理方法、装置、设备及介质

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180164792A1 (en) * 2016-12-12 2018-06-14 Dmo Systems Limited Auto defect screening using adaptive machine learning in semiconductor device manufacturing flow
CN109165722A (zh) * 2018-07-09 2019-01-08 北京市商汤科技开发有限公司 模型扩展方法及装置、电子设备和存储介质
CN109145981A (zh) * 2018-08-17 2019-01-04 上海非夕机器人科技有限公司 深度学习自动化模型训练方法及设备
CN109352648A (zh) * 2018-10-12 2019-02-19 北京地平线机器人技术研发有限公司 机械机构的控制方法、装置和电子设备
CN110188358A (zh) * 2019-05-31 2019-08-30 北京神州泰岳软件股份有限公司 自然语言处理模型的训练方法及装置
CN111062520A (zh) * 2019-11-29 2020-04-24 苏州迈科网络安全技术股份有限公司 基于随机森林算法的hostname特征预测方法
CN111753855A (zh) * 2020-07-30 2020-10-09 腾讯科技（深圳）有限公司 一种数据处理方法、装置、设备及介质

Also Published As

Publication number Publication date
CN112405521B (zh) 2022-02-25

Similar Documents

Publication Publication Date Title
US11132606B2 (en) Reinforcement learning to train a character using disparate target animation data
CN111931520B (zh) 自然语言处理模型的训练方法和装置
CN112509099B (zh) 虚拟形象驱动方法、装置、设备和存储介质
CN111275190B (zh) 神经网络模型的压缩方法及装置、图像处理方法及处理器
JP7131758B2 (ja) 点群データ処理方法、装置、電子機器及び読み取り可能な記憶媒体
CN111667057B (zh) 用于搜索模型结构的方法和装置
CN111695698B (zh) 用于模型蒸馏的方法、装置、电子设备及可读存储介质
CN110826634B (zh) 图像目标检测模型的训练方法、装置、电子设备及存储介质
CN110795569B (zh) 知识图谱的向量表示生成方法、装置及设备
CN111695699B (zh) 用于模型蒸馏的方法、装置、电子设备及可读存储介质
CN111914994B (zh) 多层感知机的生成方法、装置、电子设备及存储介质
CN107875633B (zh) 改善模拟中的模型的运动动画的计算机实现方法及系统
CN111832701B (zh) 模型的蒸馏方法、装置、电子设备及存储介质
CN111968203B (zh) 动画驱动方法、装置、电子设备及存储介质
CN110909875B (zh) 共享编码器生成方法、装置及电子设备
CN112270711B (zh) 模型训练以及姿态预测方法、装置、设备以及存储介质
Lamberti et al. Virtual character animation based on affordable motion capture and reconfigurable tangible interfaces
CN111582375A (zh) 数据增强策略搜索方法、装置、设备以及存储介质
CN111753761B (zh) 模型生成方法、装置、电子设备及存储介质
CN111177339A (zh) 对话生成方法、装置、电子设备及存储介质
CN111966361A (zh) 用于确定待部署模型的方法、装置、设备及其存储介质
CN111967591A (zh) 神经网络自动剪枝方法、装置及电子设备
CN112580723B (zh) 多模型融合方法、装置、电子设备和存储介质
CN112405521B (zh) 模型的训练方法、装置、电子设备及存储介质
CN111488972B (zh) 数据迁移方法、装置、电子设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant