CN111582477A - 神经网络模型的训练方法和装置 - Google Patents

神经网络模型的训练方法和装置 Download PDF

Info

Publication number
CN111582477A
CN111582477A CN202010386752.1A CN202010386752A CN111582477A CN 111582477 A CN111582477 A CN 111582477A CN 202010386752 A CN202010386752 A CN 202010386752A CN 111582477 A CN111582477 A CN 111582477A
Authority
CN
China
Prior art keywords
data set
sample data
training
migration
neural network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010386752.1A
Other languages
English (en)
Other versions
CN111582477B (zh
Inventor
希滕
张刚
温圣召
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Baidu Netcom Science and Technology Co Ltd
Original Assignee
Beijing Baidu Netcom Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Baidu Netcom Science and Technology Co Ltd filed Critical Beijing Baidu Netcom Science and Technology Co Ltd
Priority to CN202010386752.1A priority Critical patent/CN111582477B/zh
Publication of CN111582477A publication Critical patent/CN111582477A/zh
Application granted granted Critical
Publication of CN111582477B publication Critical patent/CN111582477B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本申请涉及人工智能领域，公开了神经网络模型的训练方法和装置。方法包括：基于第一样本数据集构建训练数据集，利用训练数据集训练目标神经网络模型，得到初始的当前基准模型；获取第二样本数据集，执行多次迁移训练操作；迁移训练操作包括：从第二样本数据集中采样出第二样本数据组；分别预测将各第二样本数据组合并至目标神经网络模型的训练数据集后对应的当前基准模型的性能增量；选择对应的性能增量最大的一个第二样本数据组添加至训练数据集中得到更新后的训练数据集，将基于更新后的训练数据集训练得到的训练后基准模型更新为新的当前基准模型，删除第二样本数据集中被添加至训练数据集中的样本数据。该方法提升了目标神经网络模型的性能。

Description

神经网络模型的训练方法和装置
技术领域
本公开的实施例涉及计算机技术领域，具体涉及人工智能技术领域，尤其涉及神经网络模型的训练方法和装置。
背景技术
随着人工智能技术和数据存储技术的发展，深度神经网络在许多领域的任务中取得了重要的成果。而神经网络模型的性能依赖于大量的样本数据。样本数据的质量和数量直接影响训练的效率和模型的精度。
目前的样本数据集构建方法主要是通过收集大量的原始数据、对原始数据进行预处理、标注等操作来生成用于训练的样本数据。样本数据主要是人工设定的，且未对样本数据的质量和有效性进行评估，基于此训练神经网络模型的效率和模型的精度有待提升。
发明内容
本公开的实施例提供了神经网络模型的训练方法和装置、电子设备以及计算机可读存储介质。
根据第一方面，提供了一种神经网络模型的训练方法，包括：基于第一样本数据集构建训练数据集，利用训练数据集训练目标神经网络模型，得到初始的当前基准模型；获取第二样本数据集，执行多次迁移训练操作；迁移训练操作包括：从第二样本数据集中采样出至少一个第二样本数据组；分别预测将各第二样本数据组合并至目标神经网络模型的训练数据集后对应的当前基准模型的性能增量；选择对应的性能增量最大的一个第二样本数据组添加至训练数据集中得到更新后的训练数据集，并将基于更新后的训练数据集训练得到的训练后基准模型更新为新的当前基准模型，删除第二样本数据集中被添加至训练数据集中的第二样本数据组。
根据第二方面，提供了一种神经网络模型的训练装置，包括：训练单元，被配置为基于第一样本数据集构建训练数据集，利用训练数据集训练目标神经网络模型，得到初始的当前基准模型；迁移单元，被配置为获取第二样本数据集，执行多次迁移训练操作；迁移单元包括：采样单元，被配置为执行迁移训练操作中的如下步骤：从第二样本数据集中采样出至少一个第二样本数据组；预测单元，被配置为执行迁移训练操作中的如下步骤：分别预测将各第二样本数据组合并至目标神经网络模型的训练数据集后对应的当前基准模型的性能增量；更新单元，被配置为执行迁移训练操作中的如下步骤：选择对应的性能增量最大的一个第二样本数据组添加至训练数据集中得到更新后的训练数据集，并将基于更新后的训练数据集训练得到的训练后基准模型更新为新的当前基准模型，删除第二样本数据集中被添加至训练数据集中的第二样本数据组。
根据第三方面，提供了一种电子设备，包括：至少一个处理器；以及与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行第一方面提供的神经网络模型的训练方法。
根据第四方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，计算机指令用于使计算机执行第一方面提供的神经网络模型的训练方法。
根据本申请的方法可以提升目标神经网络模型的性能。
应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本公开的其它特征、目的和优点将会变得更明显：
图1是本公开的神经网络模型的训练方法的一个实施例的流程图；
图2是本公开的神经网络模型的训练方法的另一个实施例的流程图；
图3是本公开的神经网络模型的训练装置的一个实施例的结构示意图；
图4是用来实现本公开的实施例的神经网络模型的训练方法的电子设备的框图。
具体实施方式
下面结合附图和实施例对本公开作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释相关发明，而非对该发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与有关发明相关的部分。
需要说明的是，在不冲突的情况下，本公开中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本公开。
以下结合附图对本申请的示范性实施例做出说明，其中包括本申请实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本申请的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
本公开的方法或装置可以应用于终端设备或服务器，或者可以应用于包括终端设备、网络和服务器的系统架构。其中，网络用以在终端设备和服务器之间提供通信链路的介质，可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。
终端设备可以是用户端设备，其上可以安装有各种客户端应用。例如，图像处理类应用、搜索应用、语音服务类应用等。终端设备可以是硬件，也可以是软件。当终端设备为硬件时，可以是各种电子设备，包括但不限于智能手机、平板电脑、电子书阅读器、膝上型便携计算机和台式计算机等等。当终端设备为软件时，可以安装在上述所列举的电子设备中。其可以实现成多个软件或软件模块，也可以实现成单个软件或软件模块。在此不做具体限定。
服务器可以是运行各种服务的服务器，例如运行基于图像、视频、语音、文本、数字信号等数据的目标检测与识别、文本或语音识别、信号转换等服务的服务器。服务器可以获取各种媒体数据作为深度学习任务的训练样本数据，如图像数据、音频数据、文本数据等，利用获取的训练样本数据训练神经网络模型。
服务器还可以将训练完成的神经网络模型的结构和参数等数据发送至终端设备。终端设备根据接收到的数据在本地部署并运行神经网络模型，以执行相应的深度学习任务。
需要说明的是，服务器可以是硬件，也可以是软件。当服务器为硬件时，可以实现成多个服务器组成的分布式服务器集群，也可以实现成单个服务器。当服务器为软件时，可以实现成多个软件或软件模块(例如用来提供分布式服务的多个软件或软件模块)，也可以实现成单个软件或软件模块。在此不做具体限定。
需要说明的是，本公开的实施例所提供的神经网络模型的训练方法可以由终端设备或服务器执行，相应地，神经网络模型的训练装置可以设置于终端设备或服务器中。
请参考图1，其示出了根据本公开的神经网络模型的训练方法的一个实施例的流程100。该神经网络模型的训练方法，包括：
步骤101，基于第一样本数据集构建训练数据集，利用训练数据集训练目标神经网络模型，得到初始的当前基准模型。
在本实施例中，神经网络模型的训练方法的执行主体可以获取用于训练目标神经网络模型的第一样本数据集。其中，目标神经网络模型是用于执行指定的深度学习任务的神经网络模型。第一样本数据集可以是包含标注信息的数据集，例如包含人脸身份标识的人脸图像数据集，包含对应的文本信息的语音信号数据集，等等，第一样本数据集也可以是不包含标注信息的数据集。
第一样本数据集可以是包含少量样本数据的数据集。实践中，第一样本数据集可以是数据收集难度较大的样本数据集。数据收集难度较大的数据集中的数据数量较少，无法基于该数据集训练出准确的神经网络模型。可选地，第一样本数据集中的样本数据的数量不超过预设的阈值。
可以基于第一样本数据集构建目标神经网络模型的训练数据集，并利用训练数据集对目标神经网络模型进行训练，将基于该训练数据集训练后的目标神经网络模型作为初始的当前基准模型。
步骤102，获取第二样本数据集，执行多次迁移训练操作。
在获得初始的当前基准模型之后，可以通过多次迁移训练操作来搜索出高质量且有效的第二样本数据，以扩充目标神经网络模型的训练数据集。具体地，可以获取第二样本数据集，从第二样本数据集中分批将训练数据迁移至目标神经网络模型的训练数据集中。其中，第二样本数据集中的样本数量可以大于第一样本数据集的样本数量。
迁移训练操作包括以下步骤1021、步骤1022和步骤1023：
在步骤1021中，从第二样本数据集中采样出至少一个第二样本数据组。
可以对第二样本数据集中的数据进行随机采样形成至少一个第二样本数据组，通过执行多次数据组的采样操作得到多个第二样本数据组。每个第二样本数据组包含第二样本数据集中的多条第二样本数据。
可选地，可以对第二样本数据集进行划分，将第二样本数据集中的第二样本数据划分为多组；然后从划分得到的多组第二样本数据中抽取出至少一组作为采样得到的第二样本数据组。例如，第二样本数据集包含500万条样本数据，可以将其中每1万条样本数据划分为一组，共得到500组，可以从500组随机抽取50组作为当前迁移训练操作中采样得到的第二样本数据组。
可选地，执行迁移训练操作的过程中，可以采用均衡采样的策略来采样第二样本数据组，即在多次迁移训练操作中，第二样本数据集划分得到的多个组被均衡地采样。这样可以确保搜索出第二样本数据集中所有适合迁移的第二样本数据组，而不会因数据组的采样不均衡导致高质量的第二样本数据组无法被添加至训练集中。
步骤1022，分别预测将各第二样本数据组合并至目标神经网络模型的训练数据集后对应的当前基准模型的性能增量。
在每一次迁移训练操作中，针对每一个第二样本数据组，分别将其合并至目标神经网络模型的训练数据集，利用合并后的训练数据集对当前基准模型进行训练。并测试基于合并后的训练数据集训练完成的当前基准模型的性能。
还可以获取基于合并前的训练数据集训练完成的目标神经网络模型的性能。针对每一个第二样本数据组，计算将该第二样本数据组合并至上述训练数据集后训练完成的目标神经网络模型的性能的增量。在这里，性能具体可以当前基准模型收敛时是精度、运算效率等。
作为示例，在一次迁移训练操作中，可以从500万条第二样本数据集中采样出50个第二样本数据组A1、A2、A3、…、A50、每个第二样本数据组包括1万条第二样本数据。
将50个第二样本数据组A1、A2、A3、…、A50分别合并至目标神经网络模型的训练数据集，得到50个合并后的训练数据集，其中每个合并后的训练数据集包括上一次迁移训练操作中更新后的训练数据集和一个第二样本数据组Ai，其中i＝1,2,3，…，50。采用50个合并后的训练数据集分别训练当前基准模型，得到对应的50个训练后基准模型。之后，根据每个训练后基准模型的性能相对于当前的迁移训练操作中训练前的基准模型的性能之间的差异，确定对应的每个第二样本数据组对应的模型性能的增量。
步骤1023，选择对应的性能增量最大的一个第二样本数据组添加至训练数据集中得到更新后的训练数据集，并将基于更新后的训练数据集训练得到的训练后基准模型更新为新的当前基准模型，删除第二样本数据集中被添加至训练数据集中的第二样本数据组。
可以从当前迁移操作的第二样本数据组中，选择对应的性能增量最大的一组添加至目标神经网络模型的训练集中，得到更新后的训练数据集。
例如，当前迁移训练操作中采样出的50个第二样本数据组A1、A2、A3、…、A50中，将A20合并至训练数据集后基准模型的性能的增量最大，则将A20作为当前迁移训练操作中确定出的增量训练数据添加至训练数据集中。
还可以从步骤1022训练得到的至少两个第二样本数据组分别对应的至少两个训练后基准模型中，确定出对应的性能增量最大的训练后基准模型，将其更新为新的当前基准模型。
若当前的迁移训练操作是首次迁移训练操作，则将对应的性能增量最大的一个第二样本数据组添加至步骤101构建的训练数据集中，以更新训练数据集。若当前的迁移训练操作不是首次迁移训练操作，则将对应的性能增量最大的一个第二样本数据组添加至当前的迁移操作的上一次迁移训练操作中更新后的训练数据集中。这样，可以通过次迁移训练操作逐步扩充训练数据集中的样本的数量，并且保证每一次添加至训练数据集中的第二样本数据组是采样出的各第二样本数据组中对目标神经网络模型的性能提升最显著的一组，由此可以提升训练后的目标神经网络模型的性能。
随后还可以将被添加至训练数据集中的第二样本数据组从上述第二样本数据集中删除，仅保留未被添加至训练数据集的第二样本数据组。这样，在下一次迁移训练操作中，已被添加至训练数据集的第二样本数据不会被重复采样至第二样本数据组中，可以避免相同的样本数据被重复添加至训练数据集中，确定出新的增量样本数据，提升训练数据集的有效性。
可选地，在每一次迁移训练操作中，响应于确定至少一个第二样本数据组对应的性能增量大于预设的增量阈值，选择对应的性能增量最大的一个第二样本数据组添加至训练数据集中。
在每一次迁移训练操作中更新训练数据集之前，可以判断是否存在对应的性能增量大于预设的增量阈值的第二样本数据组，当存在对应的性能增量大于预设的增量阈值的第二样本数据组时，从中选择对应的性能增量最大的一组添加至训练数据集中。
这样可以确保每次迁移训练中被添加至训练数据集的样本数据都可以使目标神经网络模型的性能有较大的提升，将对目标神经网络模型的训练有效的数据迁移至训练数据集中。
在更新上述训练数据集和当前基准模型之后，可以基于更新后的训练数据集和当前基准模型执行下一次迁移训练操作。
可选地，可以在训练数据集中的训练数据的数量达到预设的数量阈值时，停止执行迁移训练操作；或者在已执行的迁移训练操作的次数达到预设的次数阈值时，停止执行迁移训练操作。
上述实施例的神经网络模型的训练方法，首先基于第一样本数据集构建训练数据集，然后通过多次迁移训练操作分批选出第二样本数据集中的多个第二样本数据组添加至训练数据集中，每一次迁移训练操作中选出的第二样本数据组都可以提升目标神经网络模型的性能，由此可以搜索出适合迁移至目标神经网络模型的训练中的数据，进而提升目标神经网络模型的性能。
继续参考图2，其示出了本公开的神经网络模型的训练方法的另一个实施例的流程示意图。如图2所示，本实施例的神经网络模型的训练方法的流程200，包括以下步骤：
步骤201，基于第一样本数据集构建训练数据集，利用训练数据集训练目标神经网络模型，得到初始的当前基准模型。
本实施例的步骤201与前述实施例的步骤101一致，步骤201的具体实现方式可参考前述实施例对步骤101的描述，此处不再赘述。
步骤202，获取第二样本数据集，执行多次迁移训练操作。
在本实施例中，迁移训练操作可以包括以下步骤2021、步骤2022、步骤2023和步骤2024。
步骤2021，从第二样本数据集中采样出至少一个第二样本数据组；
步骤2022，分别预测将各第二样本数据组合并至目标神经网络模型的训练数据集后对应的当前基准模型的性能增量。
步骤2023，选择对应的性能增量最大的一个第二样本数据组添加至训练数据集中得到更新后的训练数据集，并将基于更新后的训练数据集训练得到的训练后基准模型更新为新的当前基准模型。删除第二样本数据集中被添加至训练数据集中的第二样本数据组。
上述步骤2021、步骤2022、步骤2023分别与前述实施例的步骤1021、步骤1022、步骤1023一致，步骤2021、步骤2022、步骤2023的具体实现方式可分别参考前述实施例对步骤1021、1022、1023的描述，此处不再赘述。
步骤2024，响应于确定当前迁移训练操作中的各第二样本数据组对应的性能增量均不大于预设的增量阈值，停止执行迁移训练操作，确定在当前迁移训练操作的上一次迁移训练操作中更新后的当前基准模型为训练完成的目标神经网络模型。
在每一次迁移训练操作中，可以判断采样出的第二样本数据组对应的性能增量是否大于预设的增量阈值。若采样出的各个第二样本数据组对应的性能增量均不大于预设的增量阈值，则确定第二样本数据集中当前的剩余样本数据已无法进一步较显著地提升目标神经网络模型的性能，这时可以停止执行迁移训练操作，将上一次迁移操作中训练后的当前基准模型作为训练完成的目标神经网络模型。这样可以避免执行无效的迁移操作，避免目标神经网络模型的训练占用过多的计算资源。
可选地，在每一次迁移训练操作中，响应于确定至少一个第二样本数据组对应的性能增量大于预设的增量阈值，选择对应的性能增量最大的一个第二样本数据组添加至训练数据集中。也即，在当前迁移训练操作中，如果存在对应的模型性能增量大于预设的增量阈值的一个或多个第二样本数据组，则从中选择对应的性能增量最大的一个第二样本数据组作为当前的迁移训练操作中的增量训练数据添加至训练数据集中。
通过本实施例的方法能够搜索出可以比较显著地提升目标神经网络模型的第二样本数据组，确保被添加至训练数据集中的第二样本数据组适合被迁移至训练基于第一样本数据训练后的目标神经网络模型。训练完成的目标神经网络模型可以用于处理与第一样本数据类型相同的待处理数据，由于基于第二样本数据集选出了适合被迁移至目标神经网络模型的训练中的第二样本数据，训练完成的目标神经网络模型具有较好的性能，对待处理数据的处理结果更准确。
可选地，上述各实施例中，各第二样本数据组包含的第二样本数据的数量相同。这样可以均等地在每一次迁移训练操作中添加数量相等的样本数据至训练数据集中，避免第二样本数据组过大或过小导致迁移训练操作无效，保证样本数据迁移的有效性。
可选地，上述各实施例中，第一样本数据集包括第一目标域的样本数据，第二样本数据集包括第二目标域的样本数据。第一目标域与第二目标域不相同。第一目标域的数据与第二目标域的数据可以是针对同一类物理对象或同一类场景采用不同的数据采集方式获得的数据。例如分别为在红外光源下采集的红外图像数据和在自然光下采集的彩色图像数据，或者分别为利用深度相机采集的深度图像数据和利用普通彩色相机采集的二维彩色图像数据。
通过采用本公开上述实施例的方法，可以将样本数据较多、数据容易获取的第二目标域的样本数据迁移至样本数据较少、数据难以获取的第一目标域中，利用迁移获得的大量样本数据训练用于执行第一目标域的深度学习任务的目标神经网络模型。例如，将彩色图像数据迁移至红外图像对应的目标域中，训练红外图像处理模型。且训练后的目标神经网络模型能够获得更准确的处理结果，提升了训练后的目标神经网络模型在第一目标域中的性能。
请参考图3，作为对上述神经网络模型的训练方法的实现，本公开提供了一种神经网络模型的训练装置的一个实施例，该装置实施例与上述各方法实施例相对应，该装置具体可以应用于各种电子设备中。
如图3所示，本实施例的神经网络模型的训练装置300包括训练单元301和迁移单元302。其中，训练单元301被配置为基于第一样本数据集构建训练数据集，利用训练数据集训练目标神经网络模型，得到初始的当前基准模型；迁移单元302被配置为获取第二样本数据集，执行多次迁移训练操作。迁移单元302包括：采样单元3021，被配置为执行迁移训练操作中的如下步骤：从第二样本数据集中采样出至少一个第二样本数据组；预测单元3022，被配置为执行迁移训练操作中的如下步骤：分别预测将各第二样本数据组合并至目标神经网络模型的训练数据集后对应的当前基准模型的性能增量；更新单元3023，被配置为执行迁移训练操作中的如下步骤：选择对应的性能增量最大的一个第二样本数据组添加至训练数据集中得到更新后的训练数据集，并将基于更新后的训练数据集训练得到的训练后基准模型更新为新的当前基准模型，删除第二样本数据集中被添加至训练数据集中的第二样本数据组。
在一些实施例中，上述更新单元3023被进一步配置为：响应于确定至少一个第二样本数据组对应的性能增量大于预设的增量阈值，选择对应的性能增量最大的一个第二样本数据组添加至训练数据集中。
在一些实施例中，上述采样单元3021被配置为按照如下方式采样出至少一个第二样本数据组：将第二样本数据集中的第二样本数据划分为多组；从划分得到的多组第二样本数据中抽取出至少一组作为采样得到的第二样本数据组。
在一些实施例中，上述迁移单元302还包括：确定单元，被配置为执行迁移训练操作中的如下步骤：响应于确定当前迁移训练操作中的各第二样本数据组对应的性能增量均不大于预设的增量阈值，停止执行迁移训练操作，在当前迁移训练操作的上一次迁移训练操作中更新后的当前基准模型为训练完成的目标神经网络模型。
在一些实施例中，上述第一样本数据集包括第一目标域的样本数据，第二样本数据集包括第二目标域的样本数据。
上述装置300与前述方法实施例中的步骤相对应。由此，上文针对神经网络模型的训练方法描述的操作、特征及所能达到的技术效果同样适用于装置300及其中包含的单元，在此不再赘述。
根据本申请的实施例，本申请还提供了一种电子设备和一种可读存储介质。
如图4所示，是根据本申请实施例的神经网络模型的训练方法的电子设备的框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本申请的实现。
如图4所示，该电子设备包括：一个或多个处理器401、存储器402，以及用于连接各部件的接口，包括高速接口和低速接口。各个部件利用不同的总线互相连接，并且可以被安装在公共主板上或者根据需要以其它方式安装。处理器可以对在电子设备内执行的指令进行处理，包括存储在存储器中或者存储器上以在外部输入/输出装置(诸如，耦合至接口的显示设备)上显示GUI的图形信息的指令。在其它实施方式中，若需要，可以将多个处理器和/或多条总线与多个存储器和多个存储器一起使用。同样，可以连接多个电子设备，各个设备提供部分必要的操作(例如，作为服务器阵列、一组刀片式服务器、或者多处理器系统)。图4中以一个处理器401为例。
存储器402即为本申请所提供的非瞬时计算机可读存储介质。其中，存储器存储有可由至少一个处理器执行的指令，以使至少一个处理器执行本申请所提供的神经网络模型的训练方法。本申请的非瞬时计算机可读存储介质存储计算机指令，该计算机指令用于使计算机执行本申请所提供的神经网络模型的训练方法。
存储器402作为一种非瞬时计算机可读存储介质，可用于存储非瞬时软件程序、非瞬时计算机可执行程序以及模块，如本申请实施例中的神经网络模型的训练方法对应的程序指令/单元/模块(例如，附图3所示的训练单元301和迁移单元302)。处理器401通过运行存储在存储器402中的非瞬时软件程序、指令以及模块，从而执行服务器的各种功能应用以及数据处理，即实现上述方法实施例中的神经网络模型的训练方法。
存储器402可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储根据用于生成神经网络的结构的电子设备的使用所创建的数据等。此外，存储器402可以包括高速随机存取存储器，还可以包括非瞬时存储器，例如至少一个磁盘存储器件、闪存器件、或其他非瞬时固态存储器件。在一些实施例中，存储器402可选包括相对于处理器401远程设置的存储器，这些远程存储器可以通过网络连接至用于生成神经网络的结构的电子设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
神经网络模型的训练方法的电子设备还可以包括：输入装置403和输出装置404。处理器401、存储器402、输入装置403和输出装置404可以通过总线405或者其他方式连接，图4中以通过总线405连接为例。
输入装置403可接收输入的数字或字符信息，以及产生与用于生成神经网络的结构的电子设备的用户设置以及功能控制有关的键信号输入，例如触摸屏、小键盘、鼠标、轨迹板、触摸板、指示杆、一个或者多个鼠标按钮、轨迹球、操纵杆等输入装置。输出装置Y04可以包括显示设备、辅助照明装置(例如，LED)和触觉反馈装置(例如，振动电机)等。该显示设备可以包括但不限于，液晶显示器(LCD)、发光二极管(LED)显示器和等离子体显示器。在一些实施方式中，显示设备可以是触摸屏。
此处描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、专用ASIC(专用集成电路)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
这些计算程序(也称作程序、软件、软件应用、或者代码)包括可编程处理器的机器指令，并且可以利用高级过程和/或面向对象的编程语言、和/或汇编/机器语言来实施这些计算程序。如本文使用的，术语“机器可读介质”和“计算机可读介质”指的是用于将机器指令和/或数据提供给可编程处理器的任何计算机程序产品、设备、和/或装置(例如，磁盘、光盘、存储器、可编程逻辑装置(PLD))，包括，接收作为机器可读信号的机器指令的机器可读介质。术语“机器可读信号”指的是用于将机器指令和/或数据提供给可编程处理器的任何信号。
为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)和互联网。
计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。
以上描述仅为本公开的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本公开中所涉及的发明范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离上述发明构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本申请中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。

Claims (12)

1.一种神经网络模型的训练方法，包括：
基于第一样本数据集构建训练数据集，利用所述训练数据集训练目标神经网络模型，得到初始的当前基准模型；
获取第二样本数据集，执行多次迁移训练操作；
所述迁移训练操作包括：
从第二样本数据集中采样出至少一个第二样本数据组；
分别预测将各所述第二样本数据组合并至目标神经网络模型的训练数据集后对应的当前基准模型的性能增量；
选择对应的性能增量最大的一个第二样本数据组添加至所述训练数据集中得到更新后的训练数据集，并将基于所述更新后的训练数据集训练得到的训练后基准模型更新为新的当前基准模型，删除所述第二样本数据集中被添加至所述训练数据集中的第二样本数据组。
2.根据权利要求1所述的方法，其中，所述选择对应的性能增量最大的一个第二样本数据组添加至所述训练数据集中，包括：
响应于确定至少一个所述第二样本数据组对应的性能增量大于预设的增量阈值，选择对应的性能增量最大的一个第二样本数据组添加至所述训练数据集中。
3.根据权利要求1或2所述的方法，其中，所述从第二样本数据集中采样出至少一个第二样本数据组，包括：
将所述第二样本数据集中的第二样本数据划分为多组；
从划分得到的多组第二样本数据中抽取出至少一组作为采样得到的第二样本数据组。
4.根据权利要求1或2所述的方法，其中，所述迁移训练操作还包括：
响应于确定当前迁移训练操作中的各所述第二样本数据组对应的性能增量均不大于预设的增量阈值，停止执行所述迁移训练操作，在当前迁移训练操作的上一次迁移训练操作中更新后的当前基准模型为训练完成的目标神经网络模型。
5.根据权利要求1所述的方法，其中，所述第一样本数据集包括第一目标域的样本数据，所述第二样本数据集包括第二目标域的样本数据。
6.一种神经网络模型的训练装置，包括：
训练单元，被配置为基于第一样本数据集构建训练数据集，利用所述训练数据集训练目标神经网络模型，得到初始的当前基准模型；
迁移单元，被配置为获取第二样本数据集，执行多次迁移训练操作；
所述迁移单元包括：
采样单元，被配置为执行所述迁移训练操作中的如下步骤：从第二样本数据集中采样出至少一个第二样本数据组；
预测单元，被配置为执行所述迁移训练操作中的如下步骤：分别预测将各所述第二样本数据组合并至目标神经网络模型的训练数据集后对应的当前基准模型的性能增量；
更新单元，被配置为执行所述迁移训练操作中的如下步骤：选择对应的性能增量最大的一个第二样本数据组添加至所述训练数据集中得到更新后的训练数据集，并将基于所述更新后的训练数据集训练得到的训练后基准模型更新为新的当前基准模型，删除所述第二样本数据集中被添加至所述训练数据集中的第二样本数据组。
7.根据权利要求6所述的装置，其中，所述更新单元被进一步配置为：
响应于确定至少一个所述第二样本数据组对应的性能增量大于预设的增量阈值，选择对应的性能增量最大的一个第二样本数据组添加至所述训练数据集中。
8.根据权利要求6或7所述的装置，其中，所述采样单元被配置为按照如下方式采样出至少一个第二样本数据组：
将所述第二样本数据集中的第二样本数据划分为多组；
从划分得到的多组第二样本数据中抽取出至少一组作为采样得到的第二样本数据组。
9.根据权利要求6或7所述的装置，其中，所述迁移单元还包括：
确定单元，被配置为执行所述迁移训练操作中的如下步骤：响应于确定当前迁移训练操作中的各所述第二样本数据组对应的性能增量均不大于预设的增量阈值，停止执行所述迁移训练操作，在当前迁移训练操作的上一次迁移训练操作中更新后的当前基准模型为训练完成的目标神经网络模型。
10.根据权利要求6所述的装置，其中，所述第一样本数据集包括第一目标域的样本数据，所述第二样本数据集包括第二目标域的样本数据。
11.一种电子设备，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-5中任一项所述的方法。
12.一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行权利要求1-5中任一项所述的方法。
CN202010386752.1A 2020-05-09 2020-05-09 神经网络模型的训练方法和装置 Active CN111582477B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010386752.1A CN111582477B (zh) 2020-05-09 2020-05-09 神经网络模型的训练方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010386752.1A CN111582477B (zh) 2020-05-09 2020-05-09 神经网络模型的训练方法和装置

Publications (2)

Publication Number Publication Date
CN111582477A true CN111582477A (zh) 2020-08-25
CN111582477B CN111582477B (zh) 2023-08-29

Family

ID=72124824

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010386752.1A Active CN111582477B (zh) 2020-05-09 2020-05-09 神经网络模型的训练方法和装置

Country Status (1)

Country Link
CN (1) CN111582477B (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112330488A (zh) * 2020-11-05 2021-02-05 贵州电网有限责任公司 基于迁移学习的电网频率态势预测方法
CN112598136A (zh) * 2020-12-25 2021-04-02 上海连尚网络科技有限公司 数据的校准方法和装置
CN113435521A (zh) * 2021-06-30 2021-09-24 平安科技（深圳）有限公司 神经网络模型训练方法、装置及计算机可读存储介质
CN113688421A (zh) * 2021-08-26 2021-11-23 杭州金智塔科技有限公司 基于隐私保护的预测模型更新方法及装置
CN114297087A (zh) * 2022-01-12 2022-04-08 南京企朋软件技术有限公司 一种工业互联网用检测方法、系统和网络侧服务端
CN115114467A (zh) * 2021-03-17 2022-09-27 腾讯科技（深圳）有限公司 图片神经网络模型的训练方法以及装置
CN117807434A (zh) * 2023-12-06 2024-04-02 中国信息通信研究院 一种通信数据集处理方法和装置

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109784348A (zh) * 2018-12-17 2019-05-21 中国科学院深圳先进技术研究院 一种红外电力设备识别和在线诊断方法及其系统
CN109918752A (zh) * 2019-02-26 2019-06-21 华南理工大学 基于迁移卷积神经网络的机械故障诊断方法、设备及介质
CN110334661A (zh) * 2019-07-09 2019-10-15 国网江苏省电力有限公司扬州供电分公司 基于深度学习的红外输变电异常发热点目标检测方法
CN110399742A (zh) * 2019-07-29 2019-11-01 深圳前海微众银行股份有限公司 一种联邦迁移学习模型的训练、预测方法及装置
CN110427875A (zh) * 2019-07-31 2019-11-08 天津大学 基于深度迁移学习和极限学习机的红外图像目标检测方法
CN110909790A (zh) * 2019-11-20 2020-03-24 Oppo广东移动通信有限公司 图像的风格迁移方法、装置、终端及存储介质
CN111079576A (zh) * 2019-11-30 2020-04-28 腾讯科技（深圳）有限公司 活体检测方法、装置、设备及存储介质

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109784348A (zh) * 2018-12-17 2019-05-21 中国科学院深圳先进技术研究院 一种红外电力设备识别和在线诊断方法及其系统
CN109918752A (zh) * 2019-02-26 2019-06-21 华南理工大学 基于迁移卷积神经网络的机械故障诊断方法、设备及介质
CN110334661A (zh) * 2019-07-09 2019-10-15 国网江苏省电力有限公司扬州供电分公司 基于深度学习的红外输变电异常发热点目标检测方法
CN110399742A (zh) * 2019-07-29 2019-11-01 深圳前海微众银行股份有限公司 一种联邦迁移学习模型的训练、预测方法及装置
CN110427875A (zh) * 2019-07-31 2019-11-08 天津大学 基于深度迁移学习和极限学习机的红外图像目标检测方法
CN110909790A (zh) * 2019-11-20 2020-03-24 Oppo广东移动通信有限公司 图像的风格迁移方法、装置、终端及存储介质
CN111079576A (zh) * 2019-11-30 2020-04-28 腾讯科技（深圳）有限公司 活体检测方法、装置、设备及存储介质

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112330488A (zh) * 2020-11-05 2021-02-05 贵州电网有限责任公司 基于迁移学习的电网频率态势预测方法
CN112330488B (zh) * 2020-11-05 2022-07-05 贵州电网有限责任公司 基于迁移学习的电网频率态势预测方法
CN112598136A (zh) * 2020-12-25 2021-04-02 上海连尚网络科技有限公司 数据的校准方法和装置
CN112598136B (zh) * 2020-12-25 2024-05-03 上海尚往网络科技有限公司 数据的校准方法和装置
CN115114467A (zh) * 2021-03-17 2022-09-27 腾讯科技（深圳）有限公司 图片神经网络模型的训练方法以及装置
CN115114467B (zh) * 2021-03-17 2024-05-14 腾讯科技（深圳）有限公司 图片神经网络模型的训练方法以及装置
CN113435521A (zh) * 2021-06-30 2021-09-24 平安科技（深圳）有限公司 神经网络模型训练方法、装置及计算机可读存储介质
CN113688421A (zh) * 2021-08-26 2021-11-23 杭州金智塔科技有限公司 基于隐私保护的预测模型更新方法及装置
CN113688421B (zh) * 2021-08-26 2024-08-02 杭州金智塔科技有限公司 基于隐私保护的预测模型更新方法及装置
CN114297087A (zh) * 2022-01-12 2022-04-08 南京企朋软件技术有限公司 一种工业互联网用检测方法、系统和网络侧服务端
CN117807434A (zh) * 2023-12-06 2024-04-02 中国信息通信研究院 一种通信数据集处理方法和装置

Also Published As

Publication number Publication date
CN111582477B (zh) 2023-08-29

Similar Documents

Publication Publication Date Title
CN111582477B (zh) 神经网络模型的训练方法和装置
CN111639710A (zh) 图像识别模型训练方法、装置、设备以及存储介质
CN111221984A (zh) 多模态内容处理方法、装置、设备及存储介质
CN111539514A (zh) 用于生成神经网络的结构的方法和装置
CN111428008A (zh) 用于训练模型的方法、装置、设备以及存储介质
CN111582453A (zh) 生成神经网络模型的方法和装置
KR20210132578A (ko) 지식 그래프를 구축하는 방법, 장치, 기기 및 저장 매체
CN111709247A (zh) 数据集处理方法、装置、电子设备和存储介质
CN111582454B (zh) 生成神经网络模型的方法和装置
CN111708922A (zh) 用于表示异构图节点的模型生成方法及装置
CN112036509A (zh) 用于训练图像识别模型的方法和装置
CN114612749B (zh) 神经网络模型训练方法及装置、电子设备和介质
CN111582452B (zh) 生成神经网络模型的方法和装置
CN111680517B (zh) 用于训练模型的方法、装置、设备以及存储介质
CN112559870B (zh) 多模型融合方法、装置、电子设备和存储介质
CN112509690A (zh) 用于控制质量的方法、装置、设备和存储介质
CN112270711B (zh) 模型训练以及姿态预测方法、装置、设备以及存储介质
CN111695519B (zh) 关键点定位方法、装置、设备以及存储介质
CN111582479A (zh) 神经网络模型的蒸馏方法和装置
CN112507090A (zh) 用于输出信息的方法、装置、设备和存储介质
CN111563593A (zh) 神经网络模型的训练方法和装置
CN111078878A (zh) 文本处理方法、装置、设备及计算机可读存储介质
CN111783427B (zh) 用于训练模型与输出信息的方法、装置、设备及存储介质
CN111782785B (zh) 自动问答方法、装置、设备以及存储介质
CN112529180A (zh) 模型蒸馏的方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant