CN116167403A - 一种基于滤波器微调的迁移学习方法以及相关装置 - Google Patents

一种基于滤波器微调的迁移学习方法以及相关装置 Download PDF

Info

Publication number
CN116167403A
CN116167403A CN202211580009.5A CN202211580009A CN116167403A CN 116167403 A CN116167403 A CN 116167403A CN 202211580009 A CN202211580009 A CN 202211580009A CN 116167403 A CN116167403 A CN 116167403A
Authority
CN
China
Prior art keywords
individuals
fine tuning
training model
layer
preset
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211580009.5A
Other languages
English (en)
Inventor
冯夫健
谭棉
王林
冯乐
曾涛涛
李志玲
夏大文
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guizhou Minzu University
Original Assignee
Guizhou Minzu University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guizhou Minzu University filed Critical Guizhou Minzu University
Priority to CN202211580009.5A priority Critical patent/CN116167403A/zh
Publication of CN116167403A publication Critical patent/CN116167403A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/004—Artificial life, i.e. computing arrangements simulating life
    • G06N3/006—Artificial life, i.e. computing arrangements simulating life based on simulated virtual individual or collective life forms, e.g. social simulations or particle swarm optimisation [PSO]
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Feedback Control In General (AREA)

Abstract

本申请公开了一种基于滤波器微调的迁移学习方法以及相关装置，用于提升迁移至目标任务的模型的精度。本申请方法包括：获取C层预训练模型和目标数据集；根据预训练模型的网络层数将目标滤波器微调策略的求解任务分解为C个子任务；根据预训练模型的层顺序依次对单一层对应的子任务进行求解直至求解出最后一层对应的子任务，得到不同层对应的子微调策略，且在对后一层对应的子任务进行求解时须结合已求解出的所有前层对应的子微调策略进行求解；确定所有不同层对应的子微调策略的集合为目标滤波器微调策略；根据目标滤波器微调策略对预训练模型在目标数据集上进行第一预设次数的epoch训练；确定训练完成后的预训练模型为目标任务模型。

Description

一种基于滤波器微调的迁移学习方法以及相关装置
技术领域
本申请涉及迁移学习技术领域，尤其涉及一种基于滤波器微调的迁移学习方法以及相关装置。
背景技术
迁移学习是一种将在源任务上训练好的模型迁移至目标任务来帮助目标任务学习的方法，其中，对目标任务有用的滤波器可以冻结起来重复利用，而对目标任务无用或有害的滤波器需要对其进行微调，使其适应目标任务。
在迁移学习过程中，需要求解出滤波器的微调策略，即：确定哪些滤波器需要进行冻结以及哪些滤波器需要进行微调。目前，滤波器的微调策略主要是通过训练一个额外的神经网络来直接进行求解，而滤波器的微调问题是一个离散问题，在梯度下降时难以优化，并且该方法引入了大量额外的训练参数，进化算法虽然有效弥补了这两个不足，但由于滤波器数量规模大，难以直接求解出全部滤波器的微调策略，从而可能会导致迁移至目标任务的模型精度降低。
发明内容
本申请提供了一种基于滤波器微调的迁移学习方法以及相关装置，能够提升迁移至目标任务的模型的精度。
本申请第一方面提供了一种基于滤波器微调的迁移学习方法，包括：
获取预训练模型和目标数据集，所述预训练模型的网络层数为C层，所述目标数据集为用于学习目标任务的数据集；
根据所述预训练模型的网络层数将目标滤波器微调策略的求解任务分解为C个子任务，所述子任务为获取所述预训练模型单一层中所有滤波器的子微调策略的任务；
根据所述预训练模型的层顺序依次对单一层对应的子任务进行求解直至求解出最后一层对应的子任务，得到不同层对应的子微调策略，且在对后一层对应的子任务进行求解时须结合已求解出的所有前层对应的子微调策略进行求解；
确定所有不同层对应的子微调策略的集合为所述目标滤波器微调策略；
根据所述目标滤波器微调策略对所述预训练模型在所述目标数据集上进行第一预设次数的epoch训练；
确定训练完成后的所述预训练模型为目标任务模型。
可选的，所述根据所述预训练模型的层顺序依次对单一层对应的子任务进行求解直至求解出最后一层对应的子任务，得到不同层对应的子微调策略，且在对后一层对应的子任务进行求解时须结合已求解出的所有前层对应的子微调策略进行求解包括：
为所述预训练模型的所有层分别随机赋予不同的初始化种群，所述初始化种群包含有若干个个体，所述个体为含有第一预设值或第二预设值的向量值，所述个体的向量维数与所在初始化种群对应的层的滤波器数量相同，所述第一预设值表示对应的滤波器需要进行冻结，所述第二预设值表示对应的滤波器需要进行微调；
根据所述预训练模型第i层对应初始化种群中的所有个体的第一预设值和第二预设值以及已求解出的所有前层对应的子微调策略对所述第i层进行微调，所述i值表示从1开始逐次递增至C的数值；
将微调后的所述预训练模型在所述目标数据集上进行第二预设次数的epoch训练；
根据训练结果计算所述预训练模型第i层对应初始化种群中的所有个体的个体适应值；
根据所有个体的个体适应值进行扩大差异选择，筛选出所述预训练模型第i层对应初始化种群中的若干个优秀个体；
重新根据所述优秀个体的第一预设值和第二预设值以及已求解出的所有前层对应的子微调策略对所述第i层进行二次微调；
根据二次微调后的所述预训练模型对所述第i层的优秀个体进行新一轮的筛选；
当所述第i层的优秀个体的筛选次数达到预设迭代次数时，确定最终的优秀个体为所述第i层的子微调策略。
可选的，所述根据所述个体适应值进行扩大差异选择，筛选出所述预训练模型第i层对应初始化种群中的若干个优秀个体包括：
根据所有个体的个体适应值计算个体差异值，所述个体差异值表示个体之间的差异程度；
当所述个体差异值小于预设差异值时，更新所有个体的个体适应值；
根据更新后的所有个体的个体适应值使用轮盘赌选择法筛选出所述预训练模型第i层对应初始化种群中的若干个优秀个体。
可选的，在所述根据所有个体的个体适应值进行扩大差异选择，筛选出所述预训练模型第i层对应初始化种群中的若干个优秀个体之后，所述重新根据所述优秀个体的第一预设值和第二预设值以及已求解出的所有前层对应的子微调策略对所述第i层进行二次微调之前，所述迁移学习方法还包括：
对所述优秀个体进行个体交叉；
对个体交叉后的所述优秀个体进行个体变异；
所述重新根据所述优秀个体的第一预设值和第二预设值以及已求解出的所有前层对应的子微调策略对所述第i层进行二次微调包括：
重新根据个体变异后的所述优秀个体的第一预设值和第二预设值以及已求解出的所有前层对应的子微调策略对所述第i层进行二次微调。
可选的，所述对所述优秀个体进行个体交叉包括：
将所述优秀个体按照对应的个体适应值的大小进行降序排序；
确定排序名次在预设名次之前的优秀个体的集合为精英群体，排序名次在预设名次之后的优秀个体的集合为普通群体；
分别对精英群体中的优秀个体进行内部交叉以及对普通群体中的优秀个体进行内部交叉。
本申请第二方面提供了一种基于滤波器微调的迁移学习装置，包括：
获取单元，用于获取预训练模型和目标数据集，所述预训练模型的网络层数为C层，所述目标数据集为用于学习目标任务的数据集；
分解单元，用于根据所述预训练模型的网络层数将目标滤波器微调策略的求解任务分解为C个子任务，所述子任务为获取所述预训练模型单一层中所有滤波器的子微调策略的任务；
求解单元，用于根据所述预训练模型的层顺序依次对单一层对应的子任务进行求解直至求解出最后一层对应的子任务，得到不同层对应的子微调策略，且在对后一层对应的子任务进行求解时须结合已求解出的所有前层对应的子微调策略进行求解；
第一确定单元，用于确定所有不同层对应的子微调策略的集合为所述目标滤波器微调策略；
训练单元，用于根据所述目标滤波器微调策略对所述预训练模型在所述目标数据集上进行第一预设次数的epoch训练；
第二确定单元，确定训练完成后的所述预训练模型为目标任务模型。
可选的，所述求解单元具体用于：
为所述预训练模型的所有层分别随机赋予不同的初始化种群，所述初始化种群包含有若干个个体，所述个体为含有第一预设值或第二预设值的向量值，所述个体的向量维数与所在初始化种群对应的层的滤波器数量相同，所述第一预设值表示对应的滤波器需要进行冻结，所述第二预设值表示对应的滤波器需要进行微调；
根据所述预训练模型第i层对应初始化种群中的所有个体的第一预设值和第二预设值以及已求解出的所有前层对应的子微调策略对所述第i层进行微调，所述i值表示从1开始逐次递增至C的数值；
将微调后的所述预训练模型在所述目标数据集上进行第二预设次数的epoch训练；
根据训练结果计算所述预训练模型第i层对应初始化种群中的所有个体的个体适应值；
根据所有个体的个体适应值进行扩大差异选择，筛选出所述预训练模型第i层对应初始化种群中的若干个优秀个体；
重新根据所述优秀个体的第一预设值和第二预设值以及已求解出的所有前层对应的子微调策略对所述第i层进行二次微调；
根据二次微调后的所述预训练模型对所述第i层的优秀个体进行新一轮的筛选；
当所述第i层的优秀个体的筛选次数达到预设迭代次数时，确定最终的优秀个体为所述第i层的子微调策略。
可选的，所述求解单元具体用于：
为所述预训练模型的所有层分别随机赋予不同的初始化种群，所述初始化种群包含有若干个个体，所述个体为含有第一预设值或第二预设值的向量值，所述个体的向量维数与所在初始化种群对应的层的滤波器数量相同，所述第一预设值表示对应的滤波器需要进行冻结，所述第二预设值表示对应的滤波器需要进行微调；
根据所述预训练模型第i层对应初始化种群中的所有个体的第一预设值和第二预设值以及已求解出的所有前层对应的子微调策略对所述第i层进行微调，所述i值表示从1开始逐次递增至C的数值；
将微调后的所述预训练模型在所述目标数据集上进行第二预设次数的epoch训练；
根据训练结果计算所述预训练模型第i层对应初始化种群中的所有个体的个体适应值；
根据所有个体的个体适应值计算个体差异值，所述个体差异值表示个体之间的差异程度；
当所述个体差异值小于预设差异值时，更新所有个体的个体适应值；
根据更新后的所有个体的个体适应值使用轮盘赌选择法筛选出所述预训练模型第i层对应初始化种群中的若干个优秀个体；
重新根据所述优秀个体的第一预设值和第二预设值以及已求解出的所有前层对应的子微调策略对所述第i层进行二次微调；
根据二次微调后的所述预训练模型对所述第i层的优秀个体进行新一轮的筛选；
当所述第i层的优秀个体的筛选次数达到预设迭代次数时，确定最终的优秀个体为所述第i层的子微调策略。
可选的，所述求解单元具体用于：
为所述预训练模型的所有层分别随机赋予不同的初始化种群，所述初始化种群包含有若干个个体，所述个体为含有第一预设值或第二预设值的向量值，所述个体的向量维数与所在初始化种群对应的层的滤波器数量相同，所述第一预设值表示对应的滤波器需要进行冻结，所述第二预设值表示对应的滤波器需要进行微调；
根据所述预训练模型第i层对应初始化种群中的所有个体的第一预设值和第二预设值以及已求解出的所有前层对应的子微调策略对所述第i层进行微调，所述i值表示从1开始逐次递增至C的数值；
将微调后的所述预训练模型在所述目标数据集上进行第二预设次数的epoch训练；
根据训练结果计算所述预训练模型第i层对应初始化种群中的所有个体的个体适应值；
根据所有个体的个体适应值计算个体差异值，所述个体差异值表示个体之间的差异程度；
当所述个体差异值小于预设差异值时，更新所有个体的个体适应值；
根据更新后的所有个体的个体适应值使用轮盘赌选择法筛选出所述预训练模型第i层对应初始化种群中的若干个优秀个体；
对所述优秀个体进行个体交叉；
对个体交叉后的所述优秀个体进行个体变异；
重新根据个体变异后的所述优秀个体的第一预设值和第二预设值以及已求解出的所有前层对应的子微调策略对所述第i层进行二次微调；
根据二次微调后的所述预训练模型对所述第i层的优秀个体进行新一轮的筛选；
当所述第i层的优秀个体的筛选次数达到预设迭代次数时，确定最终的优秀个体为所述第i层的子微调策略。
可选的，所述求解单元具体用于：
为所述预训练模型的所有层分别随机赋予不同的初始化种群，所述初始化种群包含有若干个个体，所述个体为含有第一预设值或第二预设值的向量值，所述个体的向量维数与所在初始化种群对应的层的滤波器数量相同，所述第一预设值表示对应的滤波器需要进行冻结，所述第二预设值表示对应的滤波器需要进行微调；
根据所述预训练模型第i层对应初始化种群中的所有个体的第一预设值和第二预设值以及已求解出的所有前层对应的子微调策略对所述第i层进行微调，所述i值表示从1开始逐次递增至C的数值；
将微调后的所述预训练模型在所述目标数据集上进行第二预设次数的epoch训练；
根据训练结果计算所述预训练模型第i层对应初始化种群中的所有个体的个体适应值；
根据所有个体的个体适应值计算个体差异值，所述个体差异值表示个体之间的差异程度；
当所述个体差异值小于预设差异值时，更新所有个体的个体适应值；
根据更新后的所有个体的个体适应值使用轮盘赌选择法筛选出所述预训练模型第i层对应初始化种群中的若干个优秀个体；
将所述优秀个体按照对应的个体适应值的大小进行降序排序；
确定排序名次在预设名次之前的优秀个体的集合为精英群体，排序名次在预设名次之后的优秀个体的集合为普通群体；
分别对精英群体中的优秀个体进行内部交叉以及对普通群体中的优秀个体进行内部交叉；
对个体交叉后的所述优秀个体进行个体变异；
重新根据个体变异后的所述优秀个体的第一预设值和第二预设值以及已求解出的所有前层对应的子微调策略对所述第i层进行二次微调；
根据二次微调后的所述预训练模型对所述第i层的优秀个体进行新一轮的筛选；
当所述第i层的优秀个体的筛选次数达到预设迭代次数时，确定最终的优秀个体为所述第i层的子微调策略。
本申请第三方面提供了一种基于滤波器微调的迁移学习系统，包括：
中央处理器，存储器，输入输出接口，有线或无线网络接口以及电源；
所述存储器为短暂存储存储器或持久存储存储器；
所述中央处理器配置为与所述存储器通信，并执行所述存储器中的指令操作以执行第一方面以及第一方面的可选方式中的任意一种所述的方式。
本申请第四方面提供了一种计算机可读存储介质，包括指令，当所述指令在计算机上运行时，使得计算机执行第一方面以及第一方面的可选方式中的任意一种所述的方式。
从以上技术方案可以看出，本申请具有以下效果：
获取预训练模型和目标数据集，该预训练模型的网络层数为C层，目标数据集为用于学习目标任务的数据集；根据预训练模型的网络层数将目标滤波器微调策略的求解任务分解为C个子任务，该子任务为获取预训练模型单一层中所有滤波器的子微调策略的任务；根据预训练模型的层顺序依次对单一层对应的子任务进行求解直至求解出最后一层对应的子任务，得到不同层对应的子微调策略，且在对后一层对应的子任务进行求解时须结合已求解出的所有前层对应的子微调策略进行求解；确定所有不同层对应的子微调策略的集合为目标滤波器微调策略；根据目标滤波器微调策略对预训练模型在目标数据集上进行第一预设次数的epoch训练；确定训练完成后的预训练模型为目标任务模型。通过这样，可以根据预训练模型的网络层数将迁移学习过程中的目标滤波器策略的求解任务分解为对应层数的子任务，一层对应一个子任务，并按照层顺序逐层求解对应的子任务，以获取最终的目标滤波器策略。通过逐层求解的方式可以降低滤波器微调策略求解的问题维度，从而可以减少因滤波器数量规模大而无法求解全部滤波器的微调策略的情况，进而可以提升迁移至目标任务的模型的精度。
附图说明
图1为本申请中基于滤波器微调的迁移学习方法的一个实施例示意图；
图2-1、图2-2以及图2-3为本申请中基于滤波器微调的迁移学习方法的另一个实施例示意图；
图3为本申请中基于滤波器微调的迁移学习装置的一个实施例示意图；
图4为本申请中基于滤波器微调的迁移学习装置的另一个实施例示意图；
图5为本申请中基于滤波器微调的迁移学习系统的一个实施例示意图。
具体实施方式
本申请提供了一种基于滤波器微调的迁移学习方法以及相关装置，用于提升迁移至目标任务的模型的精度。
本申请描述的基于滤波器微调的迁移学习方法应用于使用训练号的模型帮助新的目标任务学习的迁移学习过程中，通过逐层求解的方式求解出哪些滤波器需要进行冻结以及哪些滤波器需要进行微调的滤波器微调策略。
本申请描述的基于滤波器微调的迁移学习方法应用于系统上执行实现。
请参阅图1所示，本申请基于滤波器微调的迁移学习方法的一个实施例包括：
101、系统获取预训练模型和目标数据集，该预训练模型的网络层数为C层，目标数据集为用于学习目标任务的数据集；
本实施例中，先获取一个待微调的预训练模型以及目标数据集，该预训练模型用
Figure BDA0003990457720000091
表示，其中：f表示该预训练模型中的滤波器总个数，s表示源域，目标数据集表示应用于目标域的数据集。例如：源域表示学习猫种群的分类识别，目标域表示学习狗种群的分类识别。
102、系统根据预训练模型的网络层数将目标滤波器微调策略的求解任务分解为C个子任务，子任务为获取预训练模型单一层中所有滤波器的子微调策略的任务；
本实施例中，预训练模型的网络层数为C层，目标滤波器微调策略的求解任务根据预训练模型的层数可以分解为C个子任务，预训练模型的每一层对应一个子任务，每一层的子任务均为获取预训练模型单一层中所有滤波器的子微调策略，每一层的子微调策略为确定当前层中哪些滤波器需要进行冻结以及哪些滤波器需要进行微调，该目标滤波器微调策略为确定该预训练模型的所有滤波器中哪些滤波器需要进行冻结以及哪些滤波器需要进行微调。当某一滤波器需要进行冻结时，表示该滤波器与目标任务相关，需要冻结起来重复使用；当某一滤波器需要进行微调时，表示该滤波器与目标任务无关或者对目标任务的学习有害，需要对其进行微型调整使其可以适应目标任务的学习。目标滤波器微调策略的求解任务可以用求解出最优微调策略X*的数学模型表示，其数学模型为：
Figure BDA0003990457720000092
X＝(x1,x2,…,xf)，
xi＝{0,1},i＝1,2,…,f
其中，X＝(x1,x2,…,xf)表示预训练模型
Figure BDA0003990457720000093
中f个滤波器对应微调策略的集合，Dt表示目标数据集，/>
Figure BDA0003990457720000094
表示预训练模型/>
Figure BDA0003990457720000095
根据微调策略X在目标数据集Dt进行训练后的模型精度，xi＝0表示第i个需要进行冻结，xi＝1表示第i个需要进行冻结，argmax函数表示当/>
Figure BDA0003990457720000101
取最大值时求解自变量X的值。
103、系统根据预训练模型的层顺序依次对单一层对应的子任务进行求解直至求解出最后一层对应的子任务，得到不同层对应的子微调策略，且在对后一层对应的子任务进行求解时须结合已求解出的所有前层对应的子微调策略进行求解；
本实施例中，系统案子该预训练模型的层顺序逐次对不同层对应的子任务进行求解，以求解出每一层对应的子微调策略。而由于预训练模型中层与层之间是彼此相连的，因此在求解后一层的子任务时需要结合后一层之前所有已求解出的子微调策略，以实现层与层之间微调信息的传递。例如：首先求解第1层的子任务，得出第一层的子微调策略。然后再求解第二层的子任务，在求解时结合第一层的子微调策略进行求解。以此类推，当求解第C层的子任务时，需要结合第一层至第C层的所有子微调策略进行求解。由于微调策略中只有冻结和微调两个变量，可以对应于遗传算法中的0、1编码，因此各层对应的子任务可以采用遗传算法进行求解，具体求解方法后续实施例再进行描述。
104、系统确定所有不同层对应的子微调策略的集合为目标滤波器微调策略；
当求解出最后一层即第C层对应子微调策略时，获取该预训练模型已求解出的所有层对应的子微调策略，并将所有层对应的子微调策略的集合作为目标滤波器微调策略。
105、系统根据目标滤波器微调策略对预训练模型在目标数据集上进行第一预设次数的epoch训练；
本实施例中，epoch训练表示使用目标数据集中的全部数据对预训练模型进行一次完整的训练。为了得到高精度的模型，需要根据目标滤波器微调策略对预训练模型在目标数据集上进行多次的epoch训练，具体的第一预设次数大小此处不做限定。
106、系统确定训练完成后的预训练模型为目标任务模型。
当预训练模型在目标数据集上完成第一预设次数的epoch训练且达到预设收敛条件时，确定该预训练模型为目标任务模型，该目标任务模型用于目标任务进行分类识别。
本实施例中，通过这样，可以根据预训练模型的网络层数将迁移学习过程中的目标滤波器策略的求解任务分解为对应层数的子任务，一层对应一个子任务，并按照层顺序逐层求解对应的子任务，以获取最终的目标滤波器策略。通过逐层求解的方式可以降低滤波器微调策略求解的问题维度，从而可以减少因滤波器数量规模大而无法求解全部滤波器的微调策略的情况，进而可以提升迁移至目标任务的模型精度。
请参阅图2-1、图2-2以及图2-3所示，本申请中基于滤波器微调的迁移学习方法的另一个实施例包括：
201、系统获取预训练模型和目标数据集，该预训练模型的网络层数为C层，目标数据集为用于学习目标任务的数据集；
202、系统根据预训练模型的网络层数将目标滤波器微调策略的求解任务分解为C个子任务，子任务为获取预训练模型单一层中所有滤波器的子微调策略的任务；
本实施例中的步骤201、202与前述图1所示实施例中的步骤101、102类似，此处不再进行赘述。
203、系统为预训练模型的所有层分别随机赋予不同的初始化种群，该初始化种群包含有若干个个体，该个体为含有第一预设值或第二预设值的向量值，该个体的向量维数与所在初始化种群对应的层的滤波器数量相同，该第一预设值表示对应的滤波器需要进行冻结，该第二预设值表示对应的滤波器需要进行微调；
204、系统根据预训练模型第i层对应初始化种群中的所有个体的第一预设值和第二预设值以及已求解出的所有前层对应的子微调策略对第i层进行微调，该i值表示从1开始逐次递增至C的数值；
205、系统将微调后的预训练模型在目标数据集上进行第二预设次数的epoch训练；
206、系统根据训练结果计算预训练模型第i层对应初始化种群中的所有个体的个体适应值；
可选的，本实施例中，在求解预训练模型的各层对应的子任务时，先为各层随机赋予初始化种群，每一层对应一个初始化种群，每个初始化种群中都含有若干个个体，每个个体都是含有第一预设值或第二预设值的向量值，第一预设值和第二预设值可以分别取0和1，对应于遗传算法中的0、1编码，每个个体中的向量分量对应于一个滤波器，向量分量的取值表示该滤波器的微调状态，当向量分量为0时，表示该滤波器需要进行冻结，当向量分量为1时，表示该滤波器需要进行微调。例如：预训练模型第一层中的个体A＝(0,1,1,1)，则表示该预训练模型第一层总共含有4个滤波器，这4个滤波器的微调状态分别为：冻结、微调、微调和微调。
初始化种群完成后，根据层顺序先对首层求解，即i的初始值为1，每完成一次求解，i的值增加1直至增加至C。
当i＝1时，先获取第一层对应初始化种群中的所有个体，然后分别根据每个个体对应的向量值求解每个个体对应的个体适应值。单个个体的个体适应值求解过程为：根据该个体的向量值对第一层的滤波器进行微调，其它层的滤波器参数保持不变，然后将微调后的整个预训练模型在目标数据集上进行第二预设次数的epoch训练，再根据该预训练模型训练完成后的输出结果输入至个体适应值函数进行计算，该个体适应值函数为：
Figure BDA0003990457720000121
/>
其中，
Figure BDA0003990457720000122
表示预训练模型预训练模型/>
Figure BDA0003990457720000123
根据个体Xi对应的微调策略在目标数据集Dt上对第i层参数进行训练第二预设次数个epoch后的分类精度。
个体Xi为：
Figure BDA0003990457720000124
其中，t表示第t代种群，n表示该子任务共包含n个维度，n值等于当前层中滤波器个数，其中的每个维度对应一个相应滤波器，取值为0或1。0表示该滤波器需要进行冻结，1表示该滤波器需要进行微调。
当i≠1时，先获取第一层对应初始化种群中的所有个体，然后分别根据每个个体对应的向量值求解每个个体对应的个体适应值。单个个体的个体适应值求解过程为：根据该个体的向量值对第一层的滤波器进行微调，以及根据前层已求解出的子微调策略对对应层的滤波器进行微调，其他层的滤波器参数保持不变，然后将微调后的整个预训练模型在目标数据集上进行第二预设次数的epoch训练，再根据该预训练模型训练完成后的输出结果输入至个体适应值函数进行计算。例如：当求解第5层的子任务时，此时第1至第4层对应的子微调策略已经求解完成，在进行个体适应值计算时，先根据第5层的个体向量值对第5层进行微调，以及根据第1至第4层对应的子微调策略分别对第一至第4层进行微调，其他层的滤波器参数保持不变。
207、系统根据所有个体的个体适应值计算个体差异值，个体差异值表示个体之间的差异程度；
208、当个体差异值小于预设差异值时，系统更新所有个体的个体适应值；
209、系统根据更新后的所有个体的个体适应值使用轮盘赌选择法筛选出预训练模型第i层对应初始化种群中的若干个优秀个体；
可选的，本实施例中，在每一层对应初始化种群中的所有个体的个体适应值计算完成后，计算该初始化种群中各个个体之间的个体差异值，个体差异值函数为：
Figure BDA0003990457720000131
个体适应值fitness＝fit1,fit2,…fitn
其中，Std表示标准差，Mean表示所有个体适应值的均值。Difference越接近0表示数据差异程度越小，Difference越大表示数据差异越大。
预设差异值为给定的差异值，该预设差异值的取值在0至1之间。当个体差异值小于预设差异值时，可以通过增加次方的方式更新所有个体对应的个体适应值以扩大个体之间的差异。当个体差异值扩大至大于预设差异值时，将最新更新的所有个体的个体差异值使用轮盘赌选择法进行筛选，以筛选出若干个优秀个体。轮盘赌选择法又称为比例选择法，其核心为根据个体适应值大小计算出对应个体被选择的概率，概率越大对应个体越容易被选择为优秀个体。
210、系统将优秀个体按照对应的个体适应值的大小进行降序排序；
211、系统确定排序名次在预设名次之前的优秀个体的集合为精英群体，排序名次在预设名次之后的优秀个体的集合为普通群体；
212、系统分别对精英群体中的优秀个体进行内部交叉以及对普通群体中的优秀个体进行内部交叉；
213、系统对个体交叉后的优秀个体进行个体变异；
可选的，本实施例中，可以对筛选出来的优秀个体进行交叉和变异以加快迭代训练的收敛速度，从而加快对应层的子微调策略的求解速度。在对优秀个体进行个体交叉时，采用精英交叉的方法，即选择个体适应值较大的优秀个体的集合为精英群体，选择个体适应值较小的优秀个体的集合为普通群体，例如：优秀个体A，B，C，D对应的个体适应值为0.5、0.6、0.7和0.8，根据个体适应值大小排序为：D>C>B>A,预设名次取值为前2名，则C和D为精英群体，A和B为普通群体。然后精英群体和普通群体内的优秀个体分别进行内部交叉，例如：精英群体中的优秀个体C＝(0,1,1,0,1)，优秀个体D＝(1,1,0,1,0)，内部交叉后，变为C＝(1,1，1，0,1)，D＝(0,1,0,1,0)。
完成个体交叉后对优秀个体再进行个体变异，即随机将优秀个体中的部分向量分量进行变换，例如：优秀个体A＝(1,0,1,1,1)，个体变异后变为A＝(0,0,1,0,1).
214、系统重新根据个体变异后的优秀个体的第一预设值和第二预设值以及已求解出的所有前层对应的子微调策略对第i层进行二次微调；
215、系统根据二次微调后的预训练模型对第i层的优秀个体进行新一轮的筛选；
216、当第i层的优秀个体的筛选次数达到预设迭代次数时，系统确定最终的优秀个体为第i层的子微调策略；
可选的，本实施例中，根据经过交叉和变异后的优秀个体以及已求解出的所有前层对应的子微调策略对第i层进行二次微调，并根据二次微调后的预训练模型对第i层的优秀个体进行新一轮的筛选，然后根据新筛选出的优秀个体以及已求解出的所有前层对应的子微调策略对第i层进行三次微调，以此循环，对第i层进行多次迭代训练，当迭代次数达到预设迭代次数或者达到预设收敛条件时，可以确定最终输出的优秀个体为即为第i层的子微调策略。
217、系统确定所有不同层对应的子微调策略的集合为目标滤波器微调策略；
218、系统根据目标滤波器微调策略对预训练模型在目标数据集上进行第一预设次数的epoch训练；
219、系统确定训练完成后的预训练模型为目标任务模型。
本实施例中的步骤217至步骤219与前述图1所示实施例中的步骤104至步骤106类似，此处不再进行赘述。
本实施例中，通过改进的遗传算法可以更快速和更准确的确定单一层中哪些滤波器需要进行冻结以及哪些滤波器需要进行微调，从而更快速和更准确的求解出每一层对应的子微调策略，并通过使用已求解出的子微调策略进行个体适应值的计算可以实现层与层之间的微调信息传递。通过扩大差异选择法、个体交叉法和个体变异法可以加快收敛速度，减少当前层确定最终子微调策略的时间。
请参阅图3所示，本申请中基于滤波器微调的迁移学习装置的一个实施例包括：
获取单元301，用于获取预训练模型和目标数据集，该预训练模型的网络层数为C层，目标数据集为用于学习目标任务的数据集；
分解单元302，用于根据预训练模型的网络层数将目标滤波器微调策略的求解任务分解为C个子任务，该子任务为获取预训练模型单一层中所有滤波器的子微调策略的任务；
求解单元303，用于根据预训练模型的层顺序依次对单一层对应的子任务进行求解直至求解出最后一层对应的子任务，得到不同层对应的子微调策略，且在对后一层对应的子任务进行求解时须结合已求解出的所有前层对应的子微调策略进行求解；
第一确定单元304，用于确定所有不同层对应的子微调策略的集合为目标滤波器微调策略；
训练单元305，用于根据目标滤波器微调策略对预训练模型在目标数据集上进行第一预设次数的epoch训练；
第二确定单元306，确定训练完成后的预训练模型为目标任务模型。
本实施例中，获取单元301获取预训练模型和目标数据集，该预训练模型的网络层数为C层，目标数据集为用于学习目标任务的数据集；分解单元302根据预训练模型的网络层数将目标滤波器微调策略的求解任务分解为C个子任务，该子任务为获取预训练模型单一层中所有滤波器的子微调策略的任务；求解单元303根据预训练模型的层顺序依次对单一层对应的子任务进行求解直至求解出最后一层对应的子任务，得到不同层对应的子微调策略，且在对后一层对应的子任务进行求解时须结合已求解出的所有前层对应的子微调策略进行求解；第一确定单元304确定所有不同层对应的子微调策略的集合为目标滤波器微调策略；训练单元305根据目标滤波器微调策略对预训练模型在目标数据集上进行第一预设次数的epoch训练；第二确定单元306，确定训练完成后的预训练模型为目标任务模型。通过这样，可以根据预训练模型的网络层数将迁移学习过程中的目标滤波器策略的求解任务分解为对应层数的子任务，一层对应一个子任务，并按照层顺序逐层求解对应的子任务，以获取最终的目标滤波器策略。通过逐层求解的方式可以降低滤波器微调策略求解的问题维度，从而可以减少因滤波器数量规模大而无法求解全部滤波器的微调策略的情况，进而可以提升迁移至目标任务的模型精度。
请参阅图4所示，本申请中基于滤波器微调的迁移学习装置的另一个实施例包括：
获取单元401，用于获取预训练模型和目标数据集，该预训练模型的网络层数为C层，目标数据集为用于学习目标任务的数据集；
分解单元402，用于根据预训练模型的网络层数将目标滤波器微调策略的求解任务分解为C个子任务，该子任务为获取预训练模型单一层中所有滤波器的子微调策略的任务；
求解单元403，具体用于为预训练模型的所有层分别随机赋予不同的初始化种群，初始化种群包含有若干个个体，个体为含有第一预设值或第二预设值的向量值，个体的向量维数与所在初始化种群对应的层的滤波器数量相同，第一预设值表示对应的滤波器需要进行冻结，第二预设值表示对应的滤波器需要进行微调；
根据预训练模型第i层对应初始化种群中的所有个体的第一预设值和第二预设值以及已求解出的所有前层对应的子微调策略对第i层进行微调，i值表示从1开始逐次递增至C的数值；
将微调后的预训练模型在目标数据集上进行第二预设次数的epoch训练；
根据训练结果计算预训练模型第i层对应初始化种群中的所有个体的个体适应值；
根据所有个体的个体适应值计算个体差异值，个体差异值表示个体之间的差异程度；
当个体差异值小于预设差异值时，更新所有个体的个体适应值；
根据更新后的所有个体的个体适应值使用轮盘赌选择法筛选出预训练模型第i层对应初始化种群中的若干个优秀个体；
将优秀个体按照对应的个体适应值的大小进行降序排序；
确定排序名次在预设名次之前的优秀个体的集合为精英群体，排序名次在预设名次之后的优秀个体的集合为普通群体；
分别对精英群体中的优秀个体进行内部交叉以及对普通群体中的优秀个体进行内部交叉；
对个体交叉后的优秀个体进行个体变异；
重新根据个体变异后的优秀个体的第一预设值和第二预设值以及已求解出的所有前层对应的子微调策略对第i层进行二次微调；
根据二次微调后的预训练模型对第i层的优秀个体进行新一轮的筛选；
当第i层的优秀个体的筛选次数达到预设迭代次数时，确定最终的优秀个体为第i层的子微调策略；
第一确定单元404，用于确定所有不同层对应的子微调策略的集合为目标滤波器微调策略；
训练单元405，用于根据目标滤波器微调策略对预训练模型在目标数据集上进行第一预设次数的epoch训练；
第二确定单元406，确定训练完成后的预训练模型为目标任务模型。
本实施例中，各单元的功能与前述图2所示实施例中的步骤201至219的功能类似，此处不再进行赘述。
请参阅图5所示，本申请中基于滤波器微调的迁移学习系统的一个实施例包括：
中央处理器502，存储器501，输入输出接口503，有线或无线网络接口504以及电源505；
存储器501为短暂存储存储器或持久存储存储器；
中央处理器502配置为与存储器501通信，并执行存储器501中的指令操作以执行前述图1至图2所示实施例中的步骤。
本申请提供了一种计算机可读存储介质，包括指令，当该指令在计算机上运行时，使得计算机执行前述图1至图2所示实施例中的步骤。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本申请所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，read-onlymemory)、随机存取存储器(RAM，random access memory)、磁碟或者光盘等各种可以存储程序代码的介质。

Claims (10)

1.一种基于滤波器微调的迁移学习方法，其特征在于，包括：
获取预训练模型和目标数据集，所述预训练模型的网络层数为C层，所述目标数据集为用于学习目标任务的数据集；
根据所述预训练模型的网络层数将目标滤波器微调策略的求解任务分解为C个子任务，所述子任务为获取所述预训练模型单一层中所有滤波器的子微调策略的任务；
根据所述预训练模型的层顺序依次对单一层对应的子任务进行求解直至求解出最后一层对应的子任务，得到不同层对应的子微调策略，且在对后一层对应的子任务进行求解时须结合已求解出的所有前层对应的子微调策略进行求解；
确定所有不同层对应的子微调策略的集合为所述目标滤波器微调策略；
根据所述目标滤波器微调策略对所述预训练模型在所述目标数据集上进行第一预设次数的epoch训练；
确定训练完成后的所述预训练模型为目标任务模型。
2.根据权利要求1中所述基于滤波器微调的迁移学习方法，其特征在于，所述根据所述预训练模型的层顺序依次对单一层对应的子任务进行求解直至求解出最后一层对应的子任务，得到不同层对应的子微调策略，且在对后一层对应的子任务进行求解时须结合已求解出的所有前层对应的子微调策略进行求解包括：
为所述预训练模型的所有层分别随机赋予不同的初始化种群，所述初始化种群包含有若干个个体，所述个体为含有第一预设值或第二预设值的向量值，所述个体的向量维数与所在初始化种群对应的层的滤波器数量相同，所述第一预设值表示对应的滤波器需要进行冻结，所述第二预设值表示对应的滤波器需要进行微调；
根据所述预训练模型第i层对应初始化种群中的所有个体的第一预设值和第二预设值以及已求解出的所有前层对应的子微调策略对所述第i层进行微调，所述i值表示从1开始逐次递增至C的数值；
将微调后的所述预训练模型在所述目标数据集上进行第二预设次数的epoch训练；
根据训练结果计算所述预训练模型第i层对应初始化种群中的所有个体的个体适应值；
根据所有个体的个体适应值进行扩大差异选择，筛选出所述预训练模型第i层对应初始化种群中的若干个优秀个体；
重新根据所述优秀个体的第一预设值和第二预设值以及已求解出的所有前层对应的子微调策略对所述第i层进行二次微调；
根据二次微调后的所述预训练模型对所述第i层的优秀个体进行新一轮的筛选；
当所述第i层的优秀个体的筛选次数达到预设迭代次数时，确定最终的优秀个体为所述第i层的子微调策略。
3.根据权利要求2中所述基于滤波器微调的迁移学习方法，其特征在于，所述根据所述个体适应值进行扩大差异选择，筛选出所述预训练模型第i层对应初始化种群中的若干个优秀个体包括：
根据所有个体的个体适应值计算个体差异值，所述个体差异值表示个体之间的差异程度；
当所述个体差异值小于预设差异值时，更新所有个体的个体适应值；
根据更新后的所有个体的个体适应值使用轮盘赌选择法筛选出所述预训练模型第i层对应初始化种群中的若干个优秀个体。
4.根据权利要求2中所述基于滤波器微调的迁移学习方法，其特征在于，在所述根据所有个体的个体适应值进行扩大差异选择，筛选出所述预训练模型第i层对应初始化种群中的若干个优秀个体之后，所述重新根据所述优秀个体的第一预设值和第二预设值以及已求解出的所有前层对应的子微调策略对所述第i层进行二次微调之前，所述迁移学习方法还包括：
对所述优秀个体进行个体交叉；
对个体交叉后的所述优秀个体进行个体变异；
所述重新根据所述优秀个体的第一预设值和第二预设值以及已求解出的所有前层对应的子微调策略对所述第i层进行二次微调包括：
重新根据个体变异后的所述优秀个体的第一预设值和第二预设值以及已求解出的所有前层对应的子微调策略对所述第i层进行二次微调。
5.根据权利要求4中所述基于滤波器微调的迁移学习方法，其特征在于，所述对所述优秀个体进行个体交叉包括：
将所述优秀个体按照对应的个体适应值的大小进行降序排序；
确定排序名次在预设名次之前的优秀个体的集合为精英群体，排序名次在预设名次之后的优秀个体的集合为普通群体；
分别对精英群体中的优秀个体进行内部交叉以及对普通群体中的优秀个体进行内部交叉。
6.一种基于滤波器微调的迁移学习装置，其特征在于，包括：
获取单元，用于获取预训练模型和目标数据集，所述预训练模型的网络层数为C层，所述目标数据集为用于学习目标任务的数据集；
分解单元，用于根据所述预训练模型的网络层数将目标滤波器微调策略的求解任务分解为C个子任务，所述子任务为获取所述预训练模型单一层中所有滤波器的子微调策略的任务；
求解单元，用于根据所述预训练模型的层顺序依次对单一层对应的子任务进行求解直至求解出最后一层对应的子任务，得到不同层对应的子微调策略，且在对后一层对应的子任务进行求解时须结合已求解出的所有前层对应的子微调策略进行求解；
第一确定单元，用于确定所有不同层对应的子微调策略的集合为所述目标滤波器微调策略；
训练单元，用于根据所述目标滤波器微调策略对所述预训练模型在所述目标数据集上进行第一预设次数的epoch训练；
第二确定单元，确定训练完成后的所述预训练模型为目标任务模型。
7.根据权利要求6中所述基于滤波器微调的迁移学习装置，其特征在于，所述求解单元具体用于：
为所述预训练模型的所有层分别随机赋予不同的初始化种群，所述初始化种群包含有若干个个体，所述个体为含有第一预设值或第二预设值的向量值，所述个体的向量维数与所在初始化种群对应的层的滤波器数量相同，所述第一预设值表示对应的滤波器需要进行冻结，所述第二预设值表示对应的滤波器需要进行微调；
根据所述预训练模型第i层对应初始化种群中的所有个体的第一预设值和第二预设值以及已求解出的所有前层对应的子微调策略对所述第i层进行微调，所述i值表示从1开始逐次递增至C的数值；
将微调后的所述预训练模型在所述目标数据集上进行第二预设次数的epoch训练；
根据训练结果计算所述预训练模型第i层对应初始化种群中的所有个体的个体适应值；
根据所有个体的个体适应值进行扩大差异选择，筛选出所述预训练模型第i层对应初始化种群中的若干个优秀个体；
重新根据所述优秀个体的第一预设值和第二预设值以及已求解出的所有前层对应的子微调策略对所述第i层进行二次微调；
根据二次微调后的所述预训练模型对所述第i层的优秀个体进行新一轮的筛选；
当所述第i层的优秀个体的筛选次数达到预设迭代次数时，确定最终的优秀个体为所述第i层的子微调策略。
8.根据权利要求7中所述基于滤波器微调的迁移学习装置，其特征在于，所述求解单元具体用于：
为所述预训练模型的所有层分别随机赋予不同的初始化种群，所述初始化种群包含有若干个个体，所述个体为含有第一预设值或第二预设值的向量值，所述个体的向量维数与所在初始化种群对应的层的滤波器数量相同，所述第一预设值表示对应的滤波器需要进行冻结，所述第二预设值表示对应的滤波器需要进行微调；
根据所述预训练模型第i层对应初始化种群中的所有个体的第一预设值和第二预设值以及已求解出的所有前层对应的子微调策略对所述第i层进行微调，所述i值表示从1开始逐次递增至C的数值；
将微调后的所述预训练模型在所述目标数据集上进行第二预设次数的epoch训练；
根据训练结果计算所述预训练模型第i层对应初始化种群中的所有个体的个体适应值；
根据所有个体的个体适应值计算个体差异值，所述个体差异值表示个体之间的差异程度；
当所述个体差异值小于预设差异值时，更新所有个体的个体适应值；
根据更新后的所有个体的个体适应值使用轮盘赌选择法筛选出所述预训练模型第i层对应初始化种群中的若干个优秀个体；
重新根据所述优秀个体的第一预设值和第二预设值以及已求解出的所有前层对应的子微调策略对所述第i层进行二次微调；
根据二次微调后的所述预训练模型对所述第i层的优秀个体进行新一轮的筛选；
当所述第i层的优秀个体的筛选次数达到预设迭代次数时，确定最终的优秀个体为所述第i层的子微调策略。
9.一种基于滤波器微调的迁移学习系统，其特征在于，包括：
中央处理器，存储器，输入输出接口，有线或无线网络接口以及电源；
所述存储器为短暂存储存储器或持久存储存储器；
所述中央处理器配置为与所述存储器通信，并执行所述存储器中的指令操作以执行权利要求1至5中任意一项所述的方法。
10.一种计算机可读存储介质，包括指令，当所述指令在计算机上运行时，使得计算机执行如权利要求1至5中任意一项所述的方法。
CN202211580009.5A 2022-12-09 2022-12-09 一种基于滤波器微调的迁移学习方法以及相关装置 Pending CN116167403A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211580009.5A CN116167403A (zh) 2022-12-09 2022-12-09 一种基于滤波器微调的迁移学习方法以及相关装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211580009.5A CN116167403A (zh) 2022-12-09 2022-12-09 一种基于滤波器微调的迁移学习方法以及相关装置

Publications (1)

Publication Number Publication Date
CN116167403A true CN116167403A (zh) 2023-05-26

Family

ID=86417284

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211580009.5A Pending CN116167403A (zh) 2022-12-09 2022-12-09 一种基于滤波器微调的迁移学习方法以及相关装置

Country Status (1)

Country Link
CN (1) CN116167403A (zh)

Similar Documents

Publication Publication Date Title
US11250327B2 (en) Evolution of deep neural network structures
US20210049512A1 (en) Explainers for machine learning classifiers
RU2586864C2 (ru) Способ и устройство для локального правила состязательного обучения, которое приводит к разреженной связности
CN112529153B (zh) 基于卷积神经网络的bert模型的微调方法及装置
Odena et al. Changing model behavior at test-time using reinforcement learning
JP6950756B2 (ja) ニューラルネットワークのランク最適化装置および最適化方法
CN111967971A (zh) 银行客户数据处理方法及装置
CN115587543A (zh) 基于联邦学习和lstm的刀具剩余寿命预测方法及系统
WO2008156595A1 (en) Hybrid method for simulation optimization
Dekhovich et al. Continual prune-and-select: class-incremental learning with specialized subnetworks
CN113377964A (zh) 知识图谱链接预测方法、装置、设备及存储介质
Alber et al. Backprop evolution
CN112288046B (zh) 一种用于神经网络的基于混合粒度的联合稀疏方法
Amini et al. A fuzzy MADM method for uncertain attributes using ranking distribution
CN111949530B (zh) 测试结果的预测方法、装置、计算机设备及存储介质
Bah et al. An integer programming approach to deep neural networks with binary activation functions
CN116167403A (zh) 一种基于滤波器微调的迁移学习方法以及相关装置
DE102023202593A1 (de) Verfahren und System zum Empfehlen von Modulen für ein Engineering-Projekt
CN116090618A (zh) 一种电力通信网的运行态势感知方法和装置
CN114912518A (zh) 基于用户群体典型特征的强化学习分组方法、装置及介质
CN111694814B (zh) 日期分区表批量扩展方法、装置、计算机设备及存储介质
CN115063374A (zh) 模型训练、人脸图像质量评分方法、电子设备及存储介质
CN114943278A (zh) 基于强化学习的持续在线群体激励方法、装置及存储介质
Puntura et al. Optimizing support vector machine parameters using cuckoo search algorithm via cross validation
Kurtz et al. An integer programming approach to deep neural networks with binary activation functions

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination