CN116070119B - 基于小样本的多任务组合模型的训练方法 - Google Patents

基于小样本的多任务组合模型的训练方法 Download PDF

Info

Publication number
CN116070119B
CN116070119B CN202310331508.9A CN202310331508A CN116070119B CN 116070119 B CN116070119 B CN 116070119B CN 202310331508 A CN202310331508 A CN 202310331508A CN 116070119 B CN116070119 B CN 116070119B
Authority
CN
China
Prior art keywords
task
network
training
sub
model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310331508.9A
Other languages
English (en)
Other versions
CN116070119A (zh
Inventor
谢新林
鲁锦涛
董铱斐
邹圣兵
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Shuhui Spatiotemporal Information Technology Co ltd
Original Assignee
Beijing Shuhui Spatiotemporal Information Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Shuhui Spatiotemporal Information Technology Co ltd filed Critical Beijing Shuhui Spatiotemporal Information Technology Co ltd
Priority to CN202310331508.9A priority Critical patent/CN116070119B/zh
Publication of CN116070119A publication Critical patent/CN116070119A/zh
Application granted granted Critical
Publication of CN116070119B publication Critical patent/CN116070119B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于小样本的多任务组合模型的训练方法，方法包括获取遥感影像训练集，包括无标记数据集和有标记数据集；构建多任务组合模型，所述多任务组合模型包括1个主干网络和n个子网络，其中主干网络和子网络通过串联方式连接，子网络之间通过并联方式连接，n≥2；基于无标记数据集对主干网络进行第一训练，得到第一训练的主干网络；S4基于有标记数据集对n个子网络进行第二训练，得到n个第二训练的子网络；S5将1个第一训练的主干网络和n个第二训练的子网络作为训练完成的多任务组合模型。本发明能够通过少量标记样本同时完成多个任务的训练，减少模型工作量，在有限标记样本的情况下高效地训练出多个模型。

Description

基于小样本的多任务组合模型的训练方法
技术领域
本发明涉及深度学习技术领域，具体涉及一种基于小样本的多任务组合模型的训练方法。
背景技术
传统的监督算法需要大量的带标签训练样本进行训练，然而样本的标注往往需要付出很大的代价，小样本学习旨在解决标注样本有限的机器学习任务，只需要少量的标注样本，就能训练出良好的模型。其中，已经成熟的小样本学习方式有半监督学习，半监督学习通过少量有标记数据和训练出一个初始模型，大量未标记样本解决这一问题，但是半监督学习要求参与学习的无标记数据和已标注数据来自同样的分布，这意味着半监督学习训练出的模型适用于该分布的数据，不具有普适性。
同时，传统的机器学习仅仅基于单任务设计，即一个网络模型只针对一个具体任务。应对多个任务时，各个任务之间是独立训练的，每新增一个任务都需要搭建一次模型、开展一次训练，且无法在多次的训练过程中引入其他任务包含的知识和信息，这种模式导致了训练成本较大、训练效果也不够理想。
发明内容
为现有技术存在的不足和缺陷，提高特征的利用率，本发明通过模型组合与分次训练设计了一种基于小样本的多任务组合模型的训练方法，使训练的模型不仅可以同时解决多个任务，而且不需要大量的标记样本对其进行训练，同时对数据的分布没有要求，该方法包括：
S1:获取遥感影像训练集，包括无标记数据集和有标记数据集；
S2:构建多任务组合模型，所述多任务组合模型包括1个主干网络和n个子网络，其中主干网络和子网络通过串联方式连接，子网络之间通过并联方式连接，n≥2；
S3基于无标记数据集对主干网络进行第一训练，得到第一训练的主干网络；
S4 基于有标记数据集对n个子网络进行第二训练，得到n个第二训练的子网络；
S5 将1个第一训练的主干网络和n个第二训练的子网络作为训练完成的多任务组合模型。
作为一种优选方案，该方法还包括：
S6将1个多任务组合模型拆分为n个单任务模型，每个单任务模型包括1个第一训练的主干网络和1个第二训练的子网络；
S7基于有标记数据集对单任务模型进行第三训练，得到第三训练的单任务模型，包括第三训练的主干网络和第三训练的子网络。
具体地，所述对主干网络进行第一训练是基于对自编码器进行训练实现的，所述自编码器包括主干网络和解码器，步骤S3包括：
S31将无标记数据集输入主干网络进行特征提取，得到无标记特征集；
S32将无标记特征集输入解码器中进行解码，得到重构数据集，并根据下式计算重构损失函数：
其中，表示重构损失，/>表示无标记数据，/>表示重构数据，/>表示主干网络的参数，/>表示解码器的参数；
S33通过重构损失函数对主干网络的参数和解码器的参数进行微调；
S34迭代的执行S31-S33，直至达到预设的收敛条件，得到第一训练的主干网络和第一训练的解码器。
具体地，所述有标记数据包括多任务标签，多任务标签包括回归标签、分类标签、分割标签中至少两种。
具体地，步骤S4包括：
S41将有标记数据集输入第一训练的主干网络进行特征提取，得到共享特征集；
S42将共享特征集分别输入子网络，得到子网络的预测结果，基于子网络的预测结果和多任务标签计算任务损失函数，所述任务损失函数包括L1损失函数、MSE损失函数和交叉熵损失函数；
S43固定第一训练的主干网络的参数，通过任务损失函数对子网络的网络参数进行微调；
S44迭代执行S41-S43，直至子网络的任务损失函数都达到预设的收敛条件，得到第二训练的子网络。
具体地，步骤S7包括：
S71将有标记数据输入单任务模型，得到单任务模型的预测结果，并基于单任务模型的预测结果和多任务标签计算任务损失函数，所述任务损失函数包括L1损失函数、MSE损失函数和交叉熵损失函数；
S72通过任务损失函数对单任务模型的参数进行微调，包括对主干网络的参数进行微调和对子网络的参数进行微调；
S73迭代执行S71-S72，直至单任务模型的任务损失函数达到预设的收敛条件，得到第三训练的单任务模型，包括第三训练的主干网络和第三训练的子网络。
具体地，所述子网络包括分类子网络、分割子网络、回归子网络。
具体地，所述自编码器为降噪自编码器、稀疏自编码器、栈式自编码器中的至多一种。
与现有技术相比，本发明的有益效果是：
1）本发明很好地将小样本学习能力拓展到不同的数据分布中，在第一训练的过程中不断提取、归纳和学习大量无标记数据的知识，训练出具有数据普适性的主干网络，相比于现有的半监督小样本学习方法，大大的降低了数据获取的成本；
2）通过多任务组合模型实现高效率的多任务训练，通过共享主干网络和微调不同任务子网络有效提高了特征的利用率，节省计算资源。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明提供的一种基于小样本的多任务组合模型的训练方法的流程图；
图2为本发明提供的一种基于小样本的多任务组合模型的训练过程示意图；
图3为本发明一实施例中第一训练过程示意图；
图4为本发明一实施例中第二训练过程示意图；
图5为本发明一实施例中第三训练训练过程示意图；
图6为本发明一实施例中第三训练的任务损失函数随迭代次数的变化图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员所获得的所有其他实施例，都属于本发明保护的范围。
本发明实施例提供的一种基于小样本的多任务组合模型的训练方法共包括三次训练过程，参考图1，本方法具体包括以下步骤：
S1:获取遥感影像训练集，包括无标记数据集和有标记数据集；
S2:构建多任务组合模型，所述多任务组合模型包括1个主干网络和n个子网络，其中主干网络和子网络通过串联方式连接，子网络之间通过并联方式连接，n≥2；
S3基于无标记数据集对主干网络进行第一训练，得到第一训练的主干网络；
S4 基于有标记数据集对n个子网络进行第二训练，得到n个第二训练的子网络；
S5 将1个第一训练的主干网络和n个第二训练的子网络作为训练完成的多任务组合模型。
实施例一
参考图2，实施例一的训练过程如下：
S1:获取遥感影像训练集，包括无标记数据集和有标记数据集；
S2:构建多任务组合模型，所述多任务组合模型包括1个主干网络和2个子网络，其中主干网络和子网络通过串联方式连接，子网络之间通过并联方式连接；
在具体实现中，主干网络包括4个卷积块，4个卷积块分别包含3个、4个、23个、3个残差单元。残差单元的输出表示为，Xl和y分别表示残差单元的第l个残差单元的输入和输出，/>表示该残差单元学习到的残差，其由一系列的卷积层、批量归一化单元、修正线性单元等操作学习得到。所述卷积层用于特征提取，所述批量归一化单元用于将提取到的特征数据进行归一化，所述修正线性单元用于加入非线性因素。在残差的特殊情况下，输出等于输入。采用残差单元，可以有效地防止梯度消失。
2个子网络分别是分类子网络和分割子网络：
分类子网络包括全连接层和softmax层；
分割子网络包括4个反卷积块，其中每个反卷积块包含一个3×3反卷积层和一个3×3卷积层。
将1个主干网络和2个子网络组合得到多任务组合模型：2个子网络之间通过并联连接，主干网络和并联的2个子网络之间通过串联连接。
S3基于无标记数据集对主干网络进行第一训练，得到第一训练的主干网络。
参考图3，所述对主干网络进行第一训练是基于对自编码器进行训练实现的，所述自编码器包括主干网络和解码器，所述自编码器为降噪自编码器、稀疏自编码器、栈式自编码器中的至多一种，步骤S3包括：
S31将无标记数据集输入初始的主干网络进行特征提取，得到无标记特征集。
S32将无标记特征集输入解码器中进行解码，得到重构数据集，并根据下式计算重构损失函数：
其中，表示重构损失，/>表示无标记数据，/>表示重构数据，θ表示主干网络的参数，ϑ表示解码器的参数。
S33通过重构损失函数对主干网络的参数和解码器的参数进行微调。
利用梯度下降法将重构损失函数值逐层地反馈给每一个神经元，并对主干网络的参数进行微调，所述重构损失函数值越接近于0，说明自编码器对信息的重构能力越强；
S34迭代的执行S31-S33，直至达到预设的收敛条件，得到第一训练的主干网络（此时主干网络的参数为）和第一训练的解码器。
预设的收敛条件为重构损失函数值的一阶导数的绝对值小于0.1。
在具体实现中，解码器与主干网络互为镜像结构。
第一训练中，主干网络的网络参数的变化：
主干网络的网络参数从θ更新为θ1。
第一训练借用自编码器（autoencoder）的特征提取能力，充分利用大量无标记数据对主干网络进行预训练，一方面，提前训练了主干网络的特征提取能力，为多任务组合模型提供了特征提取基础；另一方面，由于第一训练对无标记数据进行了广泛的特征学习，所以对无标记样本以及用于第二训练的有标记样本的分布没有要求，这点与半监督学习大相径庭，由于半监督学习首先需要通过有标记数据集和未标记样本集的合集进行模型训练，所以需要有标记数据集和未标记样本及服从相同的分布。
S4 基于有标记数据集对2个子网络进行第二训练，得到2个第二训练的子网络。
步骤S4包括：
S41将有标记数据xi/(Yc＆Ys)输入第一训练的主干网络进行特征提取，得到共享特征集；
具体地，所述有标记数据包括多任务标签，多任务标签包括分类标签、分割标签；
S42将共享特征集分别输入分类子网络和分割子网络，得到相应的子网络的预测结果，包括分类结果和分割结果，基于预测结果与多任务标签计算任务损失函数，所述任务损失函数包括L1损失函数、MSE损失函数和交叉熵损失函数；
S43固定第一训练的主干网络的参数，通过分类子网络的任务损失函数Lcls和分割子网络的任务损失函数Lseg对相应的子网络的参数进行微调；
S44迭代执行S41-S43，直至2个子网络的任务损失函数都达到预设的收敛条件，得到第二训练的分类子网络和第二训练的分割子网络。
预设的收敛条件为任务损失函数值的一阶导数的绝对值小于0.1。
在本实施例中，参考图4，进一步描述步骤S4中的第二训练过程：
前向传播：有标记数据xi/(Yc＆Ys)在主干网络作用下得到共享特征表示Fi；进一步的，将特征表示Fi分别输入分类子网络Wc和分割子网络Ws，通过Wc的全连接层和softmax层得到分类结果yc，通过Ws的4个反卷积块得到分割结果ys；
计算任务损失函数值：任务损失函数是衡量神经网络前向传播结果与多任务标签之差的衡量指标。分类子网络的任务损失函数表示对有标记数据进行二分类的分类结果yc与分类标签Yc的差异，记为分类损失函数值Lcls(yc,Yc)；分割网络的损失函数表示目标区域分割结果ys与分割标签Ys之间的差异，用交叉熵衡量，记为分割损失函数值Lseg(ys,Ys)；
反向传播：采用梯度下降法将Lcls(yc,Yc)逐层地反馈给Wc每一个神经元，同时将Lseg(ys,Ys)逐层地反馈给Ws每一个神经元，并对Wc和Ws的网络参数进行调整；
迭代执行前向传播-反向传播的步骤，直至Lcls(yc,Yc)和Lseg(ys,Ys)分别达到一阶导的绝对值小于0.1，完成第二训练，得到网络参数为(Wc)1的分类子网络和网络参数为(Ws)1的分割子网络。
第二训练中，多任务组合模型的网络参数的变化：
主干网络的网络参数θ1保持不变，分类子网络的网络参数从Wc更新为(Wc)1，分割子网络的网络参数从Ws更新为(Ws)1。
在第二训练中，保持主干网络的参数不变，一方面，可以最大程度地实现主干网络的共享，节省计算资源，提高子网络的训练效率，节约训练成本，使第二训练更加简单高效；另一方面，可以在最大程度上保留主干网络学习到的无标记数据的特征提取能力，由于无标记数据具有较高的分布多样性，可以主干网络的普适性。
实施例二
在本发明另一具体实施例中，可以在第二训练之后增加第三训练过程，从而增加有标记数据对多任务组合模型的拟合能力，参考图5，该过程包括：
S6将1个多任务组合模型拆分为2个单任务模型，分别为：分类单任务模型（图5上）和分割单任务模型（图5下）；
分类单任务模型包括第一训练的主干网络和第二训练的分类子网络，两者串联连接；
分割单任务模型包括串联连接的第一训练的主干网络和第二训练的分割子网络，两者串联连接。
S7基于有标记数据集对单任务模型进行第三训练，得到第三训练的单任务模型，包括第三训练的主干网络和第三训练的子网络。
S71将有标记数据输入单任务模型，得到单任务模型的预测结果，并基于单任务模型的预测结果和多任务标签计算任务损失函数，所述任务损失函数包括L1损失函数、MSE损失函数和交叉熵损失函数；
S72通过任务损失函数对单任务模型的参数进行微调，包括对主干网络的参数进行微调和对子网络的参数进行微调；
S73迭代执行S71-S72，直至单任务模型的任务损失函数达到预设的收敛条件，得到第三训练的单任务模型，包括第三训练的主干网络和第三训练的子网络。
预设的收敛条件为任务损失函数值的一阶导数的绝对值小于0.1。
参考图5，第三训练的具体过程包括：
前向传播：有标记数据xi/(Yc＆Ys)在主干网络中进行特征提取，得到特征表示Fi；接着，分类单任务模型将特征表示Fi输入分类子网络，得到分类结果yc；分割单任务模型将特征表示Fi输入分割子任务网络，得到分割结果ys；
计算任务损失函数值：分类单任务模型的损失函数Lcls，表示对有标记数据进行二分类的分类结果yc与有标记数据的分类标签Yc的差异，记为Lcls(yc,Yc)；分割单任务模型的损失函数为Lseg，表示对有标记数据进行语义分割的分割结果ys与有标记数据的分割标签Ys的差异，记为Lseg(ys,Ys)；
反向传播：采用梯度下降法将Lcls逐层地反馈给分类单任务模型每一个神经元，并对分类单任务模型（主干网络＋分类子网络）的网络参数进行调整；采用梯度下降法将Lseg逐层地反馈给分割单任务模型每一个神经元，并对分割单任务模型（主干网络＋分割子网络）的网络参数进行调整；
迭代执行前向传播-反向传播的过程，直至Lseg和Lcls分别达到一阶导的绝对值小于0.1，得到训练完成的单任务模型。
第三训练中，单任务模型的网络参数的变化：
分类单任务模型：主干网络的网络参数从θ1更新为θ2，分类子网络的网络参数从(Wc)1更新为(Wc)2；
分割单任务模型：主干网络的网络参数从θ1更新为θ3，分割子网络的网络参数从(Ws)1更新为(Ws)2。
第三训练过程中损失函数随迭代次数变化图如图6所示，图中虚线曲线Lseg表示分割任务损失函数值，实线曲线Lcls表示分类任务损失函数值，当任务损失函数的一阶导的绝对值小于0.1，曲线的斜率小于0.1，即达到预设收敛条件。
第三训练与第二训练的显著不同在于主干网络是否参与反向传播过程，第二训练过程中，由于主干网络并未参与反向传播过程，因此主干网络的参数不会根据任务损失函数进行适应性调整，这导致经过第二训练得到的分类子网络（分割子网络）可能存在一定程度上的欠拟合，所以通过第三训练对分类子网络（分割子网络）进行优化训练。
本发明的有益效果是：
1）本发明很好地将小样本学习能力拓展到不同的数据分布中，在第一训练的过程中不断提取、归纳和学习大量无标记数据的知识，训练出具有数据普适性的主干网络，相比于现有的半监督小样本学习方法，大大的降低了数据获取的成本；
2）通过多任务组合模型实现高效率的多任务训练，通过共享主干网络和微调不同任务子网络有效提高了特征的利用率，节省计算资源。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (5)

1.一种基于小样本的多任务组合模型的训练方法，包括：
S1获取遥感影像训练集，包括无标记数据集和有标记数据集；
S2构建多任务组合模型，所述多任务组合模型包括1个主干网络和n个子网络，其中主干网络和子网络通过串联方式连接，子网络之间通过并联方式连接，n≥2；
S3基于无标记数据集对主干网络进行第一训练，得到第一训练的主干网络；
S4基于有标记数据集对n个子网络进行第二训练，得到n个第二训练的子网络；
S5将1个第一训练的主干网络和n个第二训练的子网络作为训练完成的多任务组合模型；
其中，步骤S3中所述对主干网络进行第一训练是基于对自编码器进行训练实现的，所述自编码器包括主干网络和解码器，步骤S3包括：
S31将无标记数据集输入主干网络进行特征提取，得到无标记特征集；
S32将无标记特征集输入解码器中进行解码，得到重构数据集，并根据下式计算重构损失函数：
其中，LR表示重构损失，xi表示无标记数据，表示重构数据，θ表示主干网络的参数，/>表示解码器的参数；
S33通过重构损失函数对主干网络的参数和解码器的参数进行微调；
S34迭代的执行S31-S33，直至达到预设的收敛条件，得到第一训练的主干网络和第一训练的解码器；
其中，所述有标记数据包括多任务标签，多任务标签包括回归标签、分类标签、分割标签中至少两种；
其中，步骤S4中对所述n个子网络进行第二训练，包括以下步骤：
S41将有标记数据集输入第一训练的主干网络进行特征提取，得到共享特征集；
S42将共享特征集分别输入子网络，得到子网络的预测结果，基于子网络的预测结果和多任务标签计算任务损失函数，所述任务损失函数包括L1损失函数、MSE损失函数和交叉熵损失函数；
S43固定第一训练的主干网络的参数，通过任务损失函数对子网络的网络参数进行微调；
S44迭代执行S41-S43，直至子网络的任务损失函数都达到预设的收敛条件，得到第二训练的子网络。
2.根据权利要求1所述的方法，其特征在于，该方法还包括：
S6将1个多任务组合模型拆分为n个单任务模型，每个单任务模型包括1个第一训练的主干网络和1个第二训练的子网络；
S7基于有标记数据集对单任务模型进行第三训练，得到第三训练的单任务模型，包括第三训练的主干网络和第三训练的子网络；
其中，所述第三训练的具体过程包括：
前向传播：有标记数据xi/(Yc&Ys)在主干网络中进行特征提取，得到特征表示Fi；接着，分类单任务模型将特征表示Fi输入分类子网络，得到分类结果yc；分割单任务模型将特征表示Fi输入分割子任务网络，得到分割结果ys；
计算任务损失函数值：分类单任务模型的损失函数表示对有标记数据进行二分类的分类结果yc与有标记数据的分类标签Yc的差异，记为Lcls(yc,Yc)；分割单任务模型的损失函数表示对有标记数据进行语义分割的分割结果ys与有标记数据的分割标签Ys的差异，记为Lseg(ys,Ys)；
反向传播：采用梯度下降法将Lcls(yc,Yc)逐层地反馈给分类单任务模型每一个神经元，并对由主干网络和分类子网络构成的分类单任务模型的网络参数进行调整；采用梯度下降法将Lseg(ys,Ys)逐层地反馈给分割单任务模型每一个神经元，并对由主干网络和分割子网络构成的分割单任务模型的网络参数进行调整；
迭代执行前向传播-反向传播的过程，直至Lcls(yc,Yc)和Lseg(ys,Ys)分别达到一阶导的绝对值小于0.1，得到第三训练的单任务模型。
3.根据权利要求2所述的方法，其特征在于，步骤S7包括：
S71将有标记数据输入单任务模型，得到单任务模型的预测结果，并基于单任务模型的预测结果和多任务标签计算任务损失函数，所述任务损失函数包括L1损失函数、MSE损失函数和交叉熵损失函数；
S72通过任务损失函数对单任务模型的参数进行微调，包括对主干网络的参数进行微调和对子网络的参数进行微调；
S73迭代执行S71-S72，直至单任务模型的任务损失函数达到预设的收敛条件，得到第三训练的单任务模型，包括第三训练的主干网络和第三训练的子网络。
4.根据权利要求1所述的方法，其特征在于，所述子网络包括分类子网络、分割子网络、回归子网络。
5.根据权利要求1所述的方法，其特征在于，所述自编码器为降噪自编码器、稀疏自编码器、栈式自编码器中的至多一种。
CN202310331508.9A 2023-03-31 2023-03-31 基于小样本的多任务组合模型的训练方法 Active CN116070119B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310331508.9A CN116070119B (zh) 2023-03-31 2023-03-31 基于小样本的多任务组合模型的训练方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310331508.9A CN116070119B (zh) 2023-03-31 2023-03-31 基于小样本的多任务组合模型的训练方法

Publications (2)

Publication Number Publication Date
CN116070119A CN116070119A (zh) 2023-05-05
CN116070119B true CN116070119B (zh) 2023-10-27

Family

ID=86175311

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310331508.9A Active CN116070119B (zh) 2023-03-31 2023-03-31 基于小样本的多任务组合模型的训练方法

Country Status (1)

Country Link
CN (1) CN116070119B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117932412A (zh) * 2024-03-25 2024-04-26 陕西中安数联信息技术有限公司 数据存储系统冷热数据高效识别方法与装置

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110136828A (zh) * 2019-05-16 2019-08-16 杭州健培科技有限公司 一种基于深度学习实现医学影像多任务辅助诊断的方法
CN112508078A (zh) * 2020-12-02 2021-03-16 携程旅游信息技术（上海）有限公司 图像多任务多标签识别方法、系统、设备及介质
CN112529828A (zh) * 2020-12-25 2021-03-19 西北大学 参考数据非敏感的遥感影像时空融合模型构建方法
CN114861890A (zh) * 2022-07-05 2022-08-05 深圳比特微电子科技有限公司 构建神经网络的方法、装置、计算设备及存储介质
WO2022229291A1 (en) * 2021-04-30 2022-11-03 Avicenna.Ai Continuous update of hybrid models for multiple tasks learning from medical images
CN115358413A (zh) * 2022-09-14 2022-11-18 清华大学 一种点云多任务模型的训练方法、装置及电子设备
WO2023273956A1 (zh) * 2021-06-29 2023-01-05 华为技术有限公司 一种基于多任务网络模型的通信方法、装置及系统

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110136828A (zh) * 2019-05-16 2019-08-16 杭州健培科技有限公司 一种基于深度学习实现医学影像多任务辅助诊断的方法
CN112508078A (zh) * 2020-12-02 2021-03-16 携程旅游信息技术（上海）有限公司 图像多任务多标签识别方法、系统、设备及介质
CN112529828A (zh) * 2020-12-25 2021-03-19 西北大学 参考数据非敏感的遥感影像时空融合模型构建方法
WO2022229291A1 (en) * 2021-04-30 2022-11-03 Avicenna.Ai Continuous update of hybrid models for multiple tasks learning from medical images
WO2023273956A1 (zh) * 2021-06-29 2023-01-05 华为技术有限公司 一种基于多任务网络模型的通信方法、装置及系统
CN114861890A (zh) * 2022-07-05 2022-08-05 深圳比特微电子科技有限公司 构建神经网络的方法、装置、计算设备及存储介质
CN115358413A (zh) * 2022-09-14 2022-11-18 清华大学 一种点云多任务模型的训练方法、装置及电子设备

Also Published As

Publication number Publication date
CN116070119A (zh) 2023-05-05

Similar Documents

Publication Publication Date Title
CN107105320B (zh) 一种基于用户情绪的在线视频热度预测方法及系统
CN107944410B (zh) 一种基于卷积神经网络的跨领域面部特征解析方法
CN111340738B (zh) 一种基于多尺度渐进融合的图像去雨方法
CN105426826A (zh) 一种基于标签噪声纠正的众包标注数据质量提升方法
CN116070119B (zh) 基于小样本的多任务组合模型的训练方法
CN111242844B (zh) 图像处理方法、装置、服务器和存储介质
CN111611488B (zh) 基于人工智能的信息推荐方法、装置、电子设备
CN116258719A (zh) 基于多模态数据融合的浮选泡沫图像分割方法和装置
Shetty et al. Segmentation and labeling of documents using conditional random fields
CN112307714A (zh) 一种基于双阶段深度网络的文字风格迁移方法
CN112990331A (zh) 图像处理方法、电子设备和存储介质
KR101888647B1 (ko) 이미지 분류 장치 및 방법
CN115147632A (zh) 基于密度峰值聚类算法的图像类别自动标注方法及装置
CN110751191A (zh) 一种图像的分类方法及系统
CN114006870A (zh) 一种基于自监督卷积子空间聚类网络的网络流量识别方法
CN112884758A (zh) 一种基于风格迁移方法的缺陷绝缘子样本生成方法及系统
CN110889560A (zh) 一种具有深度可解释性的快递序列预测的方法
CN113673482A (zh) 基于动态标签分配的细胞抗核抗体荧光识别方法及系统
CN115861246A (zh) 应用于工业互联网的产品质量异常检测方法及其系统
CN108830320B (zh) 基于鉴别和鲁棒多特征提取的高光谱图像分类方法
CN117370651A (zh) 一种基于全局多行为依赖的SaaS服务推荐方法
CN110136164B (zh) 基于在线透射变换、低秩稀疏矩阵分解去除动态背景的方法
CN111709936A (zh) 一种基于多级特征比对的令纸缺陷检测方法
US20220138573A1 (en) Methods and systems for training convolutional neural networks
CN115019342A (zh) 一种基于类关系推理的濒危动物目标检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant