CN110580496A - 一种基于熵最小化的深度迁移学习系统及方法 - Google Patents

一种基于熵最小化的深度迁移学习系统及方法 Download PDF

Info

Publication number
CN110580496A
CN110580496A CN201910623578.5A CN201910623578A CN110580496A CN 110580496 A CN110580496 A CN 110580496A CN 201910623578 A CN201910623578 A CN 201910623578A CN 110580496 A CN110580496 A CN 110580496A
Authority
CN
China
Prior art keywords
network
loss function
migration learning
target
prediction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910623578.5A
Other languages
English (en)
Inventor
吴晓富
程磊
张索非
颜俊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing Post and Telecommunication University
Nanjing University of Posts and Telecommunications
Original Assignee
Nanjing Post and Telecommunication University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing Post and Telecommunication University filed Critical Nanjing Post and Telecommunication University
Priority to CN201910623578.5A priority Critical patent/CN110580496A/zh
Publication of CN110580496A publication Critical patent/CN110580496A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)

Abstract

本发明提出了一种基于熵最小化的深度迁移学习方法，步骤S1）根据不同的迁移学习任务，划分源领域和目标领域，并构建迁移学习网络、初始化迁移学习网络超参数；步骤S2）将源领域和目标领域各自数据样本输入至迁移学习网络并正向传播，获取网络预测标签；根据提出的损失函数，使用随机梯度下降法进行整个网络的训练，利用反向传播完成网络参数的更新，直至模型收敛或达到最大迭代次数时停止训练；步骤S3）保存网络模型以及训练结果，将目标领域无标注的样本引入该网络模型，得到较为准确的目标领域标签，本发明通过最大化目标领域每个批次数据预测类别分布多样性，避免了仅使用熵最小化技术时出现的平凡解结果，保证了迁移学习的可靠性。

Description

一种基于熵最小化的深度迁移学习系统及方法
技术领域
本发明涉及一种学习系统，具体的说是一种深度迁移学习方法，
背景技术
机器学习在大量标记的数据上进行监督式训练可以获得很好的性能和效果，然而大型的标记数据集在数量和应用领域方面均有限，且手动标记足量的训练数据往往需要高昂的代价。因此当面对标记数据稀缺的目标任务时，如何利用与目标领域相关但服从不同概率分布的源领域中已有的标记数据，来构建一个有效的学习器，就具有很强的现实需求。
针对这一问题，通常采用迁移学习方法解决，即训练一个鉴别器用于调整迁移学习网络的参数，使得参数调整后的迁移学习网络下，源领域的数据与目标领域的数据间的分布偏移减小，从而迁移学习网络应用目标领域完成目标任务时有较佳的效果。近年来，大量的迁移学习方法使用熵最小化作为正则化技术，熵最小化也表现出了对于端对端迁移训练的简单有效性。但已有研究表明，对于无监督迁移学习，熵最小化仅仅是一个必要条件而非充分条件。没有其它辅助技术的协助，简单地使用熵最小化很有可能得到一些平凡解的结果。
发明内容
本发明的目的是提供一种基于熵最小化的深度迁移学习方法，解决仅仅使用熵最小化技术时出现的平凡解问题。
本发明的目的是这样实现的：一种基于熵最小化的深度迁移学习方法，包括以下步骤：
步骤S1)根据不同的迁移学习任务，划分源领域和目标领域，并构建迁移学习网络、初始化迁移学习网络超参数；
步骤S2)将源领域和目标领域各自数据样本输入至迁移学习网络并正向传播，获取网络预测标签；根据提出的损失函数，使用随机梯度下降法进行整个网络的训练，利用反向传播完成网络参数的更新，直至模型收敛或达到最大迭代次数时停止训练；
步骤S3)保存网络模型以及训练结果，将目标领域无标注的样本引入该网络模型，得到较为准确的目标领域标签。
作为本发明的进一步限定，步骤S1)中所述迁移学习网络是由特征提取器、标签分类器两部分构成，所述特征提取器用于提取输入样本集的特征，所述分类器用于对输入样本集进行预测分类。
作为本发明的进一步限定，步骤S2)还包括基于预设的损失函数，对所述迁移学习网络进行学习，包括基于预设的损失函数，构建所述迁移学习网络的目标函数，以对所述迁移学习网络进行学习，其中，所述特征提取器和分类器的学习目标为使上述损失函数最小；利用反向传播算法对所述目标函数进行学习，以更新所述特征提取器与所述分类器；当所述迁移学习网络收敛或达到预设的学习次数后，结束对所述目标神经网络的学习。
作为本发明的进一步限定，所述预设的损失函数包括源领域分类错误率损失函数、目标领域预测输出的条件熵损失函数以及目标领域预测类别分布的熵损失函数。
作为本发明的进一步限定，所述源领域分类错误率损失函数功能包括：将所述源领域的样本输入到所述深度迁移学习网络，输出对所述源领域的样本的预测结果；基于所述深度迁移学习网络对所述源领域的样本的预测结果和标签确定所述分类错误率；
所述目标领域预测输出的条件熵损失函数功能包括：将所述目标领域的样本输入到所述深度迁移学习网络，输出对所述目标领域的样本的预测结果；基于所述深度迁移学习网络对所述目标领域的样本的预测结果确定所述条件熵损失函数；
所述目标领域预测类别分布的熵损失函数功能包括：将所述目标领域的样本输入到所述深度迁移学习网络，输出对所述目标领域的样本的预测结果；基于所述深度迁移学习网络对所述目标领域的样本的预测类别分布确定所述熵损失函数。
作为本发明的进一步限定，所述源领域分类错误率损失函数为：
其中，Ls(·)表示源领域分类错误率损失函数，S表示源领域样本集任一批次样本，|S|表示源领域批次S的基数，ws(.)表示类别权重函数，l(.)表示交叉熵损失函数，x表示源领域批次样本数据，y表示源领域批次样本标签，f(.)表示迁移学习网络的函数模型；
所述目标领域预测输出的条件熵损失函数为：
其中，Le(·)表示目标领域预测输出的条件熵损失函数，T表示源领域样本集任一批次样本，f(.)表示迁移学习网络的函数模型，f(xt)表示分类器对样本 xt的预测概率；
所述目标领域预测类别分布的熵损失函数为：
其中，T表示目标领域样本集任一批次样本，K表示标签空间类别数，Ld(T) 表示目标领域预测类别分布的熵损失函数，表示对目标域输入批次预测标注为k类所占总数之比，且 表示目标领域样本集批次分类结果的类别分布。
作为本发明的进一步限定，所述迁移学习网络的目标函数为：
其中，θ表示网络参数，S表示源领域样本集任一批次的样本，T表示目标领域样本集任一批次的样本；Ls(·)表示源领域分类错误率损失函数，Le(·)表示目标领域预测输出的条件熵损失函数，Ld(·)表示目标领域预测类别分布的熵损失函数；λ和β是可调整的权衡参数。
一种基于熵最小化的深度迁移学习系统，包括以下模块：
网络构造模块，根据不同的迁移学习任务，构建深度迁移学习网络；
训练模块，将源领域和目标领域各自数据样本输入至预设深度神经网络并正向传播，获取网络预测标签；根据提出的损失函数，使用随机梯度下降法进行整个网络的训练，利用反向传播完成网络参数的更新，直至模型收敛或达到最大迭代次数时停止训练；
图像分类模块，保存网络模型以及训练结果，将目标领域无标注的样本引入该网络模型，得到较为准确的目标领域标签。
本发明采用以上技术方案与现有技术相比，具有以下技术效果：本发明不需使用对抗学习网络，具有收敛速度快的优点，本发明实现了一种端到端的训练方式，利用熵最小化技术作为达到理想领域自适应的必要条件，并将熵最小化与本发明提出的类别多样性损失函数结合起来，相互作用以得到鲁棒性较高的深度迁移学习网络，具有分类精度高的优点，通过本发明能够得到泛化性能较好的深度神经网络，可以用于预测无标签的样本，代替人工以较高的准确率标记未知数据。
附图说明
图1是本发明深度迁移学习方法的具体实施例流程图。
图2是本发明深度迁移学习方法具体实施例网络结构图。
具体实施方式
下面结合附图对本发明的技术方案做进一步的详细说明：
图1是本发明实施例提供的一种基于熵最小化的深度迁移学习方法流程图，如图1所示，所述方法包括：
步骤S1，根据不同的迁移学习任务，划分源领域和目标领域，并构建迁移学习网络、初始化网络超参数。
基于特征提取器与分类器，构建所述迁移学习网络；
可以理解的是，本发明实施例提供的迁移学习网络是由特征提取器、标签分类器两部分构成，所述特征提取器用于提取输入样本集的特征，所述分类器用于对输入样本集进行预测分类。
具体的，以在Office-31数据集上的迁移学习任务为例，使用图2所示的网络结构作为深度迁移学习网络。为了提高预设迁移学习网络的性能，在进行迁移学习之前先使用已标注的ImageNet数据集对预设迁移学习网络进行预训练。 ResNet-50模型构成的子网络即作为本发明实施例迁移学习网络的特征提取器，特征提取器后接的两个全连接层作为标签分类器。
进一步的，初始化网络超参数。
具体的，对于SVHN数据集到MNIST数据集的迁移学习任务，采用小批量随机梯度下降并设置学习率为0.001。对于在ImageCLEF-DA数据集和 Office-31数据集上的迁移学习任务，设置Dropout率为0.5，初始学习率η0为 0.005，牛顿动量为0.9，batch大小为32。在随机梯度下降的每一轮迭代中，学习率ηp动态变化如下：
步骤S2，将源领域和目标领域各自数据样本输入至预设迁移学习网络并正向传播，获取网络预测标签；根据提出的损失函数，使用随机梯度下降法进行整个网络的训练，利用反向传播完成网络参数的更新，直至模型收敛或达到最大迭代次数时停止训练。
基于预设的损失函数，对所述迁移学习网络进行学习。
具体的，在对迁移学习网络的训练过程中，将源领域(即包含大量的标记数据的领域)的知识迁移到目标领域(即缺少标记数据的领域)中，通常被称为迁移学习。对于深度迁移学习网络在传统意义上的训练，通常引入损失函数，损失函数度量的是预测值与真实值之间的差异；在神经网络的深度迁移学习过程中，也可以引入一个损失函数，在度量预测值与真实值之间的差异的同时还需要能够度量迁移学习的效果。
然而，源领域与目标领域的数据服从不同的概率分布，仅将传统意义上的损失函数作为迁移学习过程中的损失函数，并不能使迁移学习达到很好的效果。
在上述实施例的基础上，所述预设的损失函数包括源领域分类错误率损失函数、目标领域预测输出的条件熵损失函数以及目标领域预测类别分布的熵损失函数，所述基于预设的损失函数，对所述迁移学习网络进行学习，包括：
由源领域分类错误率损失函数、目标领域预测输出的条件熵损失函数以及目标领域预测类别分布的熵损失函数，确定深度迁移学习网络的损失函数，并以此更新深度迁移学习网络的参数，能使迁移学习网络适配目标领域，并可以达到很好的分类效果。
根据上述损失函数，即可构建出本发明实施例提供的目标函数以及优化目标：
其中θ表示网络参数，S表示源领域样本集任一批次的样本，T表示目标领域样本集任一批次的样本；Ls(·)表示源领域分类错误率损失函数，Le(·)表示目标领域预测输出的条件熵损失函数，Ld(·)表示目标领域预测类别分布的熵损失函数；λ和β是可调整的权衡参数。
可以理解的是，学习过程为一个不断更新参数的过程，当迁移学习网络收敛或者达到预设的学习次数后，学习停止。
在上述实施例的基础上，所述基于预设的损失函数，构建所述迁移学习网络的目标函数，利用反向传播算法对所述目标函数进行学习，以更新所述特征提取器与所述分类器。
具体的，所述源领域分类错误率损失函数为：
其中，Ls(·)表示源领域分类错误率损失函数，S表示源领域样本集任一批次样本，|S|表示源领域批次S的基数，l(.)表示交叉熵损失函数，y表示源领域批次样本标签，f(.)表示迁移学习网络的函数模型。
进一步的，考虑到源领域样本集类别分布不均匀的情况，使用带有权重的损失函数更为适合，尤其是在小数据集进行迁移学习时。
具体的，其中p(y)表示拥有标签y的样本数所占源领域总样本数的比例：
所述目标领域预测输出的条件熵损失函数为：
其中，Le(·)表示目标领域预测输出的条件熵损失函数，T表示源领域样本集任一批次样本，f(.)表示迁移学习网络的函数模型，f(xt)表示分类器对样本 xt的预测概率。
可以理解的是，在神经网络总的目标函数中添加对目标领域预测输出的条件熵损失函数，是为了进一步提高神经网络在缺乏标签的目标领域的分类准确率。
所述目标领域预测类别分布的熵损失函数为：
其中T表示目标领域样本集任一批次样本，K表示标签空间类别数，Ld(T) 表示目标领域预测类别分布的熵损失函数，表示对目标域输入批次预测标注为k类所占总数之比。且 表示目标领域样本集批次分类结果的类别分布。
进一步的，表示如下：
进一步的，u表示如下：
其中，P(cls(xt)＝K)表示分类器对样本属于第K类的预测概率。
进一步的，分布计算出源领域分类错误率损失函数Ls(S)、目标领域预测输出的条件熵损失函数Le(T)以及目标领域预测类别分布的熵损失函数Ld(T)，然后使用基于小批次的随机梯度下降法进行整个网络的训练，利用反向传播原则完成网络参数的更新，直至模型收敛或达到最大迭代次数时停止训练：
其中，μ表示学习率，λ和β是可调整的权衡参数。
步骤S3，保存网络模型以及训练结果，将目标领域无标注的样本引入该网络模型，得到较为准确的目标领域标签。
经过上述学习过程后，能够得到泛化性能较好的迁移学习网络，保存网络最终模型以及训练结果后，将未标注的目标领域样本集引入该网络模型，得到较为准确的目标领域样本集标签。训练完成的网络可以用于预测目标领域无标记的样本，代替人工以较高的准确率标记未知数据。
本发明实施例还提供一种基于深度迁移学习的图像分类系统，包括如下模块：
网络构造模块，根据不同的迁移学习任务，构建深度迁移学习网络；
训练模块，将源领域和目标领域各自数据样本输入至预设迁移学习网络并正向传播，获取网络预测标签；根据提出的损失函数，使用随机梯度下降法进行整个网络的训练，利用反向传播完成网络参数的更新，直至模型收敛或达到最大迭代次数时停止训练；
图像分类模块，保存网络模型以及训练结果，将目标领域无标注的样本引入该网络模型，得到较为准确的目标领域标签。
以上所述，仅为本发明中的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉该技术的人在本发明所揭露的技术范围内，可理解想到的变换或替换，都应涵盖在本发明的包含范围之内，因此，本发明的保护范围应该以权利要求书的保护范围为准。

Claims (8)

1.一种基于熵最小化的深度迁移学习方法，其特征在于，包括以下步骤：
步骤S1)根据不同的迁移学习任务，划分源领域和目标领域，并构建迁移学习网络、初始化迁移学习网络超参数；
步骤S2)将源领域和目标领域各自数据样本输入至迁移学习网络并正向传播，获取网络预测标签；根据提出的损失函数，使用随机梯度下降法进行整个网络的训练，利用反向传播完成网络参数的更新，直至模型收敛或达到最大迭代次数时停止训练；
步骤S3)保存网络模型以及训练结果，将目标领域无标注的样本引入该网络模型，得到较为准确的目标领域标签。
2.根据权利要求1所述的一种基于熵最小化的深度迁移学习方法流程图，其特征在于，步骤S1)中所述迁移学习网络是由特征提取器、标签分类器两部分构成，所述特征提取器用于提取输入样本集的特征，所述分类器用于对输入样本集进行预测分类。
3.根据权利要求1所述的一种基于熵最小化的深度迁移学习方法流程图，其特征在于，步骤S2)还包括基于预设的损失函数，对所述迁移学习网络进行学习，包括基于预设的损失函数，构建所述迁移学习网络的目标函数，以对所述迁移学习网络进行学习，其中，所述特征提取器和分类器的学习目标为使上述损失函数最小；利用反向传播算法对所述目标函数进行学习，以更新所述特征提取器与所述分类器；当所述迁移学习网络收敛或达到预设的学习次数后，结束对所述目标神经网络的学习。
4.根据权利要求3所述的一种基于熵最小化的深度迁移学习方法流程图，其特征在于，所述预设的损失函数包括源领域分类错误率损失函数、目标领域预测输出的条件熵损失函数以及目标领域预测类别分布的熵损失函数。
5.根据权利要求4所述的一种基于熵最小化的深度迁移学习方法流程图，其特征在于，所述源领域分类错误率损失函数功能包括：将所述源领域的样本输入到所述深度迁移学习网络，输出对所述源领域的样本的预测结果；基于所述深度迁移学习网络对所述源领域的样本的预测结果和标签确定所述分类错误率；
所述目标领域预测输出的条件熵损失函数功能包括：将所述目标领域的样本输入到所述深度迁移学习网络，输出对所述目标领域的样本的预测结果；基于所述深度迁移学习网络对所述目标领域的样本的预测结果确定所述条件熵损失函数；
所述目标领域预测类别分布的熵损失函数功能包括：将所述目标领域的样本输入到所述深度迁移学习网络，输出对所述目标领域的样本的预测结果；基于所述深度迁移学习网络对所述目标领域的样本的预测类别分布确定所述熵损失函数。
6.根据权利要求5所述的一种基于熵最小化的深度迁移学习方法流程图，其特征在于，所述源领域分类错误率损失函数为：
其中，Ls(·)表示源领域分类错误率损失函数，S表示源领域样本集任一批次样本，|S|表示源领域批次S的基数，ws(.)表示类别权重函数，l(.)表示交叉熵损失函数，x表示源领域批次样本数据，y表示源领域批次样本标签，f(.)表示迁移学习网络的函数模型；
所述目标领域预测输出的条件熵损失函数为：
其中，Le(·)表示目标领域预测输出的条件熵损失函数，T表示源领域样本集任一批次样本，f(.)表示迁移学习网络的函数模型，f(xt)表示分类器对样本xt的预测概率；
所述目标领域预测类别分布的熵损失函数为：
其中，T表示目标领域样本集任一批次样本，K表示标签空间类别数，Ld(T)表示目标领域预测类别分布的熵损失函数，表示对目标域输入批次预测标注为k类所占总数之比，且 表示目标领域样本集批次分类结果的类别分布。
7.根据权利要求6所述的一种基于熵最小化的深度迁移学习方法流程图，其特征在于，所述迁移学习网络的目标函数为：
其中，θ表示网络参数，S表示源领域样本集任一批次的样本，T表示目标领域样本集任一批次的样本；Ls(·)表示源领域分类错误率损失函数，Le(·)表示目标领域预测输出的条件熵损失函数，Ld(·)表示目标领域预测类别分布的熵损失函数；λ和β是可调整的权衡参数。
8.一种基于熵最小化的深度迁移学习系统，其特征在于，包括以下模块：
网络构造模块，根据不同的迁移学习任务，构建深度迁移学习网络；
训练模块，将源领域和目标领域各自数据样本输入至预设深度神经网络并正向传播，获取网络预测标签；根据提出的损失函数，使用随机梯度下降法进行整个网络的训练，利用反向传播完成网络参数的更新，直至模型收敛或达到最大迭代次数时停止训练；
图像分类模块，保存网络模型以及训练结果，将目标领域无标注的样本引入该网络模型，得到较为准确的目标领域标签。
CN201910623578.5A 2019-07-11 2019-07-11 一种基于熵最小化的深度迁移学习系统及方法 Pending CN110580496A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910623578.5A CN110580496A (zh) 2019-07-11 2019-07-11 一种基于熵最小化的深度迁移学习系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910623578.5A CN110580496A (zh) 2019-07-11 2019-07-11 一种基于熵最小化的深度迁移学习系统及方法

Publications (1)

Publication Number Publication Date
CN110580496A true CN110580496A (zh) 2019-12-17

Family

ID=68811029

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910623578.5A Pending CN110580496A (zh) 2019-07-11 2019-07-11 一种基于熵最小化的深度迁移学习系统及方法

Country Status (1)

Country Link
CN (1) CN110580496A (zh)

Cited By (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111160553A (zh) * 2019-12-23 2020-05-15 中国人民解放军军事科学院国防科技创新研究院 一种新的领域自适应学习方法
CN111239137A (zh) * 2020-01-09 2020-06-05 江南大学 基于迁移学习与自适应深度卷积神经网络的谷物质量检测方法
CN111401454A (zh) * 2020-03-19 2020-07-10 创新奇智(重庆)科技有限公司 一种基于迁移学习的少样本目标识别方法
CN111444958A (zh) * 2020-03-25 2020-07-24 北京百度网讯科技有限公司 一种模型迁移训练方法、装置、设备及存储介质
CN111652264A (zh) * 2020-04-13 2020-09-11 西安理工大学 基于最大均值差异的负迁移样本筛选方法
CN111783331A (zh) * 2020-06-04 2020-10-16 中国人民解放军军事科学院国防科技创新研究院 基于迁移学习的卫星组件温度场确定方法
CN111915058A (zh) * 2020-06-29 2020-11-10 河海大学 基于长短时记忆网络和迁移学习的洪水预测方法与装置
CN111998936A (zh) * 2020-08-25 2020-11-27 四川长虹电器股份有限公司 一种基于迁移学习的设备异音检测方法及系统
CN112016622A (zh) * 2020-08-28 2020-12-01 中移（杭州）信息技术有限公司 模型训练的方法、电子设备和计算机可读存储介质
CN112068004A (zh) * 2020-09-16 2020-12-11 北京嘀嘀无限科技发展有限公司 一种电池异常、电池充电剩余时间的确定方法及装置
CN112434754A (zh) * 2020-12-14 2021-03-02 前线智能科技(南京)有限公司 一种基于图神经网络的跨模态医学影像域适应分类方法
CN112699966A (zh) * 2021-01-14 2021-04-23 中国人民解放军海军航空大学 基于深度迁移学习的雷达hrrp小样本目标识别预训练及微调方法
CN112784879A (zh) * 2020-12-31 2021-05-11 前线智能科技(南京)有限公司 一种基于小样本域自适应的医学影像分割或分类方法
CN112820301A (zh) * 2021-03-15 2021-05-18 中国科学院声学研究所 一种融合分布对齐和对抗学习的无监督跨域声纹识别方法
CN112861679A (zh) * 2021-01-29 2021-05-28 中国科学院计算技术研究所 面向行为识别的迁移学习方法及系统
CN112949658A (zh) * 2021-03-10 2021-06-11 清华大学 一种具有稳定性能的深度学习方法
CN113128613A (zh) * 2021-04-29 2021-07-16 南京大学 一种基于迁移学习的半监督异常检测方法
WO2021169115A1 (zh) * 2020-02-29 2021-09-02 平安科技（深圳）有限公司 风控方法、装置、电子设备及计算机可读存储介质
CN113379037A (zh) * 2021-06-28 2021-09-10 东南大学 一种基于补标记协同训练的偏多标记学习方法
CN113642703A (zh) * 2021-07-30 2021-11-12 太原理工大学 一种基于深度学习的熵源安全性评估方法
CN113762327A (zh) * 2020-06-05 2021-12-07 宏达国际电子股份有限公司 机器学习方法、机器学习系统以及非暂态电脑可读取媒体
CN113807183A (zh) * 2021-08-17 2021-12-17 华为技术有限公司 模型训练方法及相关设备
CN114266012A (zh) * 2021-12-21 2022-04-01 浙江大学 基于WiFi的非接触式博物馆多区域观众计数方法
CN115186370A (zh) * 2022-05-18 2022-10-14 广东海洋大学 一种基于深度学习训练模型的工程叉车迁移学习系统
CN115690566A (zh) * 2022-10-24 2023-02-03 广东工业大学 一种基于深度迁移聚类学习的深海动物新物种识别方法
CN112116063B (zh) * 2020-08-11 2024-04-05 西安交通大学 一种基于元学习的特征偏移矫正方法

Cited By (37)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111160553A (zh) * 2019-12-23 2020-05-15 中国人民解放军军事科学院国防科技创新研究院 一种新的领域自适应学习方法
CN111239137A (zh) * 2020-01-09 2020-06-05 江南大学 基于迁移学习与自适应深度卷积神经网络的谷物质量检测方法
CN111239137B (zh) * 2020-01-09 2021-09-10 江南大学 基于迁移学习与自适应深度卷积神经网络的谷物质量检测方法
WO2021169115A1 (zh) * 2020-02-29 2021-09-02 平安科技（深圳）有限公司 风控方法、装置、电子设备及计算机可读存储介质
CN111401454A (zh) * 2020-03-19 2020-07-10 创新奇智(重庆)科技有限公司 一种基于迁移学习的少样本目标识别方法
CN111444958B (zh) * 2020-03-25 2024-02-13 北京百度网讯科技有限公司 一种模型迁移训练方法、装置、设备及存储介质
CN111444958A (zh) * 2020-03-25 2020-07-24 北京百度网讯科技有限公司 一种模型迁移训练方法、装置、设备及存储介质
CN111652264A (zh) * 2020-04-13 2020-09-11 西安理工大学 基于最大均值差异的负迁移样本筛选方法
CN111783331B (zh) * 2020-06-04 2022-11-11 中国人民解放军军事科学院国防科技创新研究院 基于迁移学习的卫星组件温度场确定方法
CN111783331A (zh) * 2020-06-04 2020-10-16 中国人民解放军军事科学院国防科技创新研究院 基于迁移学习的卫星组件温度场确定方法
CN113762327A (zh) * 2020-06-05 2021-12-07 宏达国际电子股份有限公司 机器学习方法、机器学习系统以及非暂态电脑可读取媒体
CN111915058A (zh) * 2020-06-29 2020-11-10 河海大学 基于长短时记忆网络和迁移学习的洪水预测方法与装置
CN111915058B (zh) * 2020-06-29 2022-08-26 河海大学 基于长短时记忆网络和迁移学习的洪水预测方法与装置
CN112116063B (zh) * 2020-08-11 2024-04-05 西安交通大学 一种基于元学习的特征偏移矫正方法
CN111998936A (zh) * 2020-08-25 2020-11-27 四川长虹电器股份有限公司 一种基于迁移学习的设备异音检测方法及系统
CN112016622A (zh) * 2020-08-28 2020-12-01 中移（杭州）信息技术有限公司 模型训练的方法、电子设备和计算机可读存储介质
CN112068004A (zh) * 2020-09-16 2020-12-11 北京嘀嘀无限科技发展有限公司 一种电池异常、电池充电剩余时间的确定方法及装置
CN112434754A (zh) * 2020-12-14 2021-03-02 前线智能科技(南京)有限公司 一种基于图神经网络的跨模态医学影像域适应分类方法
CN112784879A (zh) * 2020-12-31 2021-05-11 前线智能科技(南京)有限公司 一种基于小样本域自适应的医学影像分割或分类方法
CN112699966B (zh) * 2021-01-14 2022-10-11 中国人民解放军海军航空大学 基于深度迁移学习的雷达hrrp小样本目标识别预训练及微调方法
CN112699966A (zh) * 2021-01-14 2021-04-23 中国人民解放军海军航空大学 基于深度迁移学习的雷达hrrp小样本目标识别预训练及微调方法
CN112861679B (zh) * 2021-01-29 2023-01-20 中国科学院计算技术研究所 面向行为识别的迁移学习方法及系统
CN112861679A (zh) * 2021-01-29 2021-05-28 中国科学院计算技术研究所 面向行为识别的迁移学习方法及系统
CN112949658B (zh) * 2021-03-10 2022-07-08 清华大学 一种具有稳定性能的深度学习方法
CN112949658A (zh) * 2021-03-10 2021-06-11 清华大学 一种具有稳定性能的深度学习方法
CN112820301A (zh) * 2021-03-15 2021-05-18 中国科学院声学研究所 一种融合分布对齐和对抗学习的无监督跨域声纹识别方法
CN112820301B (zh) * 2021-03-15 2023-01-20 中国科学院声学研究所 一种融合分布对齐和对抗学习的无监督跨域声纹识别方法
CN113128613B (zh) * 2021-04-29 2023-10-17 南京大学 一种基于迁移学习的半监督异常检测方法
CN113128613A (zh) * 2021-04-29 2021-07-16 南京大学 一种基于迁移学习的半监督异常检测方法
CN113379037A (zh) * 2021-06-28 2021-09-10 东南大学 一种基于补标记协同训练的偏多标记学习方法
CN113379037B (zh) * 2021-06-28 2023-11-10 东南大学 一种基于补标记协同训练的偏多标记学习方法
CN113642703A (zh) * 2021-07-30 2021-11-12 太原理工大学 一种基于深度学习的熵源安全性评估方法
CN113807183A (zh) * 2021-08-17 2021-12-17 华为技术有限公司 模型训练方法及相关设备
CN114266012A (zh) * 2021-12-21 2022-04-01 浙江大学 基于WiFi的非接触式博物馆多区域观众计数方法
CN115186370A (zh) * 2022-05-18 2022-10-14 广东海洋大学 一种基于深度学习训练模型的工程叉车迁移学习系统
CN115690566A (zh) * 2022-10-24 2023-02-03 广东工业大学 一种基于深度迁移聚类学习的深海动物新物种识别方法
CN115690566B (zh) * 2022-10-24 2024-01-19 广东工业大学 一种基于深度迁移聚类学习的深海动物新物种识别方法

Similar Documents

Publication Publication Date Title
CN110580496A (zh) 一种基于熵最小化的深度迁移学习系统及方法
CN110443372B (zh) 一种基于熵最小化的迁移学习方法及系统
CN111814871B (zh) 一种基于可靠权重最优传输的图像分类方法
CN110750665A (zh) 基于熵最小化的开集域适应方法及系统
US11816183B2 (en) Methods and systems for mining minority-class data samples for training a neural network
CN106448151B (zh) 一种短时交通流预测方法
CN110427875A (zh) 基于深度迁移学习和极限学习机的红外图像目标检测方法
CN111815033A (zh) 一种基于rcnn和气象时序特征的海上风电功率预测方法
CN114492574A (zh) 基于高斯均匀混合模型的伪标签损失无监督对抗域适应图片分类方法
CN112699247A (zh) 一种基于多类交叉熵对比补全编码的知识表示学习框架
CN113326731A (zh) 一种基于动量网络指导的跨域行人重识别算法
CN113469186B (zh) 一种基于少量点标注的跨域迁移图像分割方法
Yu et al. Effective neural network training with a new weighting mechanism-based optimization algorithm
CN109581339B (zh) 一种基于头脑风暴自动调整自编码网络的声呐识别方法
CN107092987B (zh) 一种中小型无人机自主着舰风速预测方法
US10599976B2 (en) Update of attenuation coefficient for a model corresponding to time-series input data
CN113313166A (zh) 基于特征一致性学习的船舶目标自动标注方法
Dai et al. Hybrid deep model for human behavior understanding on industrial internet of video things
CN112766603A (zh) 一种交通流量预测方法、系统、计算机设备及存储介质
CN111239137A (zh) 基于迁移学习与自适应深度卷积神经网络的谷物质量检测方法
CN115358305A (zh) 一种基于边界样本迭代生成的增量学习鲁棒性提升方法
CN113627070A (zh) 一种短期光伏功率预测方法
CN115114409A (zh) 一种基于软参数共享的民航不安全事件联合抽取方法
CN112765894B (zh) 一种基于k-lstm的铝电解槽状态预测方法
Qiao et al. A framework for multi-prototype based federated learning: Towards the edge intelligence

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20191217

RJ01 Rejection of invention patent application after publication