CN109558942B - 一种基于浅度学习的神经网络迁移方法 - Google Patents

一种基于浅度学习的神经网络迁移方法 Download PDF

Info

Publication number
CN109558942B
CN109558942B CN201811388026.2A CN201811388026A CN109558942B CN 109558942 B CN109558942 B CN 109558942B CN 201811388026 A CN201811388026 A CN 201811388026A CN 109558942 B CN109558942 B CN 109558942B
Authority
CN
China
Prior art keywords
neural network
layer
shallow
training
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811388026.2A
Other languages
English (en)
Other versions
CN109558942A (zh
Inventor
牛新征
刘鹏飞
徐畅
李柯江
朱家辉
陈加伟
朱戈
潘袁湘
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Electronic Science and Technology of China
Original Assignee
University of Electronic Science and Technology of China
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Electronic Science and Technology of China filed Critical University of Electronic Science and Technology of China
Priority to CN201811388026.2A priority Critical patent/CN109558942B/zh
Publication of CN109558942A publication Critical patent/CN109558942A/zh
Application granted granted Critical
Publication of CN109558942B publication Critical patent/CN109558942B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于浅度学习的神经网络迁移方法，方法步骤为：步骤1、分类划分目标任务数据集并进行标记，存储标记数据作为浅度神经网络的训练数据x0；步骤2、输入x0至浅度神经网络，逐层训练得到预训练的浅度神经网络模型，x0经预训练神经网络模型后输出数据为x2；步骤3、将得到的预训练浅度神经网络模型的输出数据x2作为目标任务的深度神经网络模型的输入，以目标任务的带标记数据训练整个深度神经网络，对整个网络参数进行微调，完成神经网络迁移。本发明使用逐层训练的浅度神经网络学习模型作为任务迁移的基础模型，使迁移任务简单高效，扩展性强，解决了传统端到端深度神经网络迁移效果波动不定，甚至适得其反的问题。

Description

一种基于浅度学习的神经网络迁移方法
技术领域
本发明属于计算机视觉技术领域，具体涉及一种基于浅度学习的神经网络迁移方法。
背景技术
浅度学习：即采用低层次神经网络用于机器学习。是机器学习对数据进行表征学习的方法。构建含少数隐藏层的学习结构来学习属性类别或特征，以发现数据的分布式特征表示。浅度的监督式神经网络比深度神经网络更容易被解释、分析和优化，但表征能力却不及深度神经网络。
迁移学习:即把已学训练好的模型参数迁移到新的模型来帮助新模型训练。考虑到大部分数据或任务是存在相关性的，所以通过迁移学习我们可以将已经学到的模型参数(也可理解为模型学到的知识)通过某种方式来分享给新模型从而加快并优化模型的学习效率不用像大多数网络那样从零学习(starting from scratch，tabula rasa)。
目前的神经网络迁移方法步骤为：
1.寻找与目标任务相关的源任务，源任务要与目标任务差距不大。例如如果你要训练一个神经网络来识别肺部X光片中是否包含肿瘤，那么使用VGG16的网络就不如使用一个已训练好的判断脑部是否包含肿瘤的神经网络。后者与当前的任务有相似的场景，很多底层的神经员可以做相同的事，而用来识别日常生活中照片的网络，则难以从X光片中提取有效的特征。
2.使用大量标记数据和海量显卡资源预先训练好一个能够解决源任务的深度神经网络，通常称之为Base Network。
3.把Base Network的前n层中每个节点的权重迁移到目标任务的神经网络(Target Network)的前n层。
4.将Target Network的其它层的训练参数随机初始化。
5.开始训练目标任务神经网络。其中，在做反向传播的时候，有两种方法可以选择：(1)把迁移过来的这前n层冻结起来，即在训练目标任务神经网络的时候，不改变这n层的值；(2)不冻结这前n层，而是会不断调整全局神经网络的值(包括前n层)，称为微调。这个主要取决于目标任务数据集的大小和前n层的参数个数，如果目标任务数据集很小，而参数个数很多，为了防止过拟合，通常采用冻结的方法；反之，采用微调参数。
现有方法中的问题在于：1)采用预训练的源任务深度神经网络，则要保证源任务和当前的任务差距不大，不然迁徙学习的效果会很差，这增加了方法的复杂性且不易保证该效果。2)预训练的源任务深度神经网络需要使用大量标记数据和海量显卡资源，而迁移学习的目的即减少训练新目标任务深度神经网络时对海量带标记数据和显卡资源需求，如若事先没有开源的解决源任务的深度神经网络，同样需要这些资源用于预训练源任务深度神经网络，其实此方法没有从本质上解决使用深度学习完成目标任务对于资源的大量需求。3)采用预训练源任务深度神经网络的端到端迁移到另一个深度神经网络时，传统的迁移深度神经网络不明晰迁移层数，往往需要通过编程人员自身经验去试出更好的迁移效果，我们无从得知需迁移深度神经网络的前多少层才能使得最终目标任务网络训练效果最优，不易使该迁移方法变得高效,且训练好的端到端深度学习网络目标太过于“明确”，一定程度上影响目标任务预测结果。
发明内容
本发明的目的在于：目前神经网络迁移采用预训练的源任务的端到端深度神经网络迁移到另一个深度神经网络的方法，该方法不易保证迁徙学习的效果和目标任务预测结果，没有达到迁移学习减少训练新目标任务深度神经网络时对海量带标记数据和显卡资源需求的目的，且端到端深度神经网络迁移不易提高迁移效率，为了解决上述传统方法迁移效果波动不定，甚至适得其反的问题，提出了一种基于浅度学习的神经网络迁移方法。
本发明采用的技术方案如下：
一种基于浅度学习的图像识别任务迁移方法，方法步骤如下：
步骤1、预处理目标任务数据集：划分图像识别相关任务，形成任务字典，并对分类的目标任务进行标记，存储标记数据，作为浅度神经网络的训练数据x0；
步骤2、预训练浅度神经网络：输入步骤1的训练数据至浅度神经网络，逐层训练得到预训练的浅度神经网络模型，预训练的浅度神经网络模型包括：第一卷积层，池化层，第二卷积层和分类器，训练数据x0经预训练的神经网络模型输出数据为x2；
步骤3、迁移网络：将步骤2得到的预训练的浅度神经网络模型输出数据x2作为目标任务的深度神经网络模型的输入，以目标任务的带标记数据训练整个深度神经网络，对整个网络参数进行微调，带标记数据包括x0和完成目标任务的公司或个人自身收集或标注的数据。
进一步，所述步骤1中可对目标任务数据集进行拓展，只需相应地对增加的目标任务数据增加标记数据即可。
进一步，所述步骤2预训练的浅度神经网络模型中两个卷积层都采用3×3卷积核操作。
进一步，所述步骤2的浅度神经网络模型中，预训练的浅度神经网络模型数据处理过程具体为：训练数据x0经过第一卷积层的卷积，输出得到x1，x1经过池化层下采样，输出得到x2，将x1输入第二卷积层，再经过分类器，输出预测结果为z0，预训练浅度神经网络模型构建的计算公式如下：
Figure GDA0003166096640000031
其中：c表示划分目标任务数据集的类别数量；P表示池化算子；Wθ表示一个带有参数θ的卷积算子；S表示分类器；ρ表示一个Relu激活函数；Rc表示识别任务集；Cy是一个CNN浅度神经网络层。
进一步，所述步骤2中池化层的数据处理方法选择的是可逆的下采样运算，其中包括将初始的空间通道重组成4个以空间方式抽取的副本，这些副本通过2×2的空间子采样获得，从而将分辨率降低2倍。
进一步，所述步骤2预训练浅度神经网络中用Cyx0表示第一卷积层的逐层训练过程，Cyx0用如下公式表示：
Figure GDA0003166096640000032
其中：W0…Wk-2表示宽度恒定的卷积层；L表示一个输出维度为c的线性算子；当k＝1时，Cy是一个简单的线性模型，即仅训练带有一个隐藏层的CNN浅度神经网络层，当这层网络训练结束之后才开始训练一个有两个隐藏层的CNN浅度神经网络层，以此类推，在每一次训练中，把已经训练好的前k-1层固定，然后增加第k层，在训练好具有三层隐藏层之后结束。
进一步，当划分目标任务数据集的类别数量增加时，只需将所述步骤2中预训练的浅度神经网络模型对应增加相同数量的分类器。
综上所述，由于采用了上述技术方案，本发明的有益效果是：
1、本发明中，在传统迁移学习的基础上，使用逐层训练的浅度神经网络学习模型作为任务迁移的基础模型，结合浅度学习容易被解释、分析和优化的优点，将浅度学习引入迁移学习中，使得浅度学习原本表征能力弱的缺陷成为更易被迁移的优势，能够使迁移任务简单高效，扩展性强。方法中先得到预训练浅度神经网络模型，再将整个预训练浅度神经网络模型作为目标任务神经网络模型结构首层，即将预训练浅度神经网络模型的输出数据x2作为目标任务的深度神经网络模型的输入，以目标任务的带标记数据训练整个深度神经网络，再对整个网络参数进行微调，解决了传统端到端深度神经网络迁移后迁移效果波动不定，甚至适得其反的问题。直接将预训练模型作为目标深度神经网络的首层，不必考虑将预训练模型的迁移层数，使得迁移学习简单高效。且本发明只需预训练一个浅度神经网络结构，对于前期准备的带标记数据和内存显卡资源需求较少，所构建的网络结构简单。
2、本发明中，可对目标任务数据集进行拓展，只需相应地对增加的目标任务数据增加标记数据即可，同时，预训练模型是针对整个目标任务数据集的，不需关心两个目标任务的相关性，若想新增一个目标任务分类，则在预训练浅度神经网络模型最后增加一个Softmax分类器即可，不必从原始重新训练一个深度神经网络，可扩展性强。
3、本发明中，对于池化算子P，选择的是可逆的下采样运算，其中包括将初始的空间通道重组成4个以空间方式抽取的副本，这些副本可通过2×2的空间子采样获得，从而将分辨率降低2倍，避免采用跨步池化、平均池化或者非线性最大池化这些池化方法造成的显著加剧信息损失的问题。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1为本发明方法整体流程图；
图2为本发明方法中浅度神经网络模型图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明，即所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。
因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
需要说明的是，术语“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
一种基于浅度学习的神经网络迁移方法，方法步骤如下：
步骤1、预处理目标任务数据集：分类划分目标任务数据集的相关任务并进行标记，并存储标记数据，作为浅度神经网络的训练数据x0。
对目标任务分类后，可对所有类别进行编号，并分类将每一个类别对应整理到一个文件夹，对每个类别即每个文件夹下的每个目标任务进行标记命名。
进一步，所述步骤1中可对目标任务数据集进行拓展，只需相应地对增加的目标任务数据增加标记数据即可。
步骤2、预训练浅度神经网络：输入步骤1的训练数据至浅度神经网络，逐层训练得到预训练的浅度神经网络模型，预训练的浅度神经网络模型结构如图2所示，只有1个模块，包括依次排列的：第一卷积层，池化层，第二卷积层和分类器，分类器可采用例如Softmax分类器或Logistic分类器，或其它能够实现计算分类输出基础功能的分类器即可，使用Logistic分类器需要加入和识别目标个数相同个数的此分类器，Softmax不需要，所以这里优选Softmax分类器，训练数据x0经预训练的神经网络模型输出数据为x1。
预训练的浅度神经网络模型数据处理过程具体为：训练数据x0经过第一卷积层的卷积，输出得到x1，x1再经过池化层下采样，输出得到x2，x1输入第二卷积层，再到Softmax分类器，输出得到预测结果z0，此为最终的分类输出。
进一步，所述步骤2预训练的浅度神经网络模型中两个卷积层都采用3×3卷积核操作。
预训练浅度神经网络模型构建的计算公式如下：
Figure GDA0003166096640000051
其中：c表示划分目标任务数据集的类别数量；P表示池化算子；Wθ表示一个带有参数θ的卷积算子；S表示分类器，这里为Softmax分类器；ρ表示一个Relu激活函数；Rc表示识别任务集；Cy是一个CNN浅度神经网络层。
进一步，所述步骤2中池化算子P选择的是可逆的下采样运算，例如Dinh et al.(2017)中描述的可逆的下采样运算，其中包括将初始的空间通道重组成4个以空间方式抽取的副本，这些副本通过2×2的空间子采样获得，从而将分辨率降低2倍。避免了采用跨步池化、平均池化或者非线性最大池化这些池化方法造成的显著加剧信息损失的问题。
进一步，步骤2预训练浅度神经网络中用Cyx0表示第一卷积层的逐层训练过程，Cyx0用如下公式表示：
Figure GDA0003166096640000061
其中：W0…Wk-2表示宽度恒定的卷积层；L表示一个输出维度为c的线性算子；当k＝1时，Cy是一个简单的线性模型，即仅训练带有一个隐藏层的CNN浅度神经网络层，当这层网络训练结束之后才开始训练一个有两个隐藏层的CNN浅度神经网络层，以此类推，在每一次训练中，把已经训练好的前k-1层固定，然后增加第k层，在训练好具有三层隐藏层之后结束，即CNN浅度神经网络层是逐层训练的。
进一步，当划分目标任务数据集的类别数量增加时，只需将所述步骤2中预训练浅度神经网络模型对应增加相同数量的Softmax分类器。
步骤3、迁移网络：将步骤2得到的预训练浅度神经网络模型的输出数据x2作为目标任务的深度神经网络模型的输入，以目标任务的带标记数据训练整个深度神经网络，对整个网络参数进行微调。这里目标任务的带标记数据除了步骤1中的带标记数据外，还包括需要完成目标任务的公司或个人自身收集或标注的数据。
本发明在传统迁移学习的基础上，使用逐层训练的浅度神经网络学习模型作为任务迁移的基础模型，结合浅度学习容易被解释、分析和优化的优点，将浅度学习引入迁移学习中，使得浅度学习原本表征能力弱的缺陷成为更易被迁移的优势，能够使迁移任务简单高效，扩展性强。方法中先得到预训练浅度神经网络模型，再将整个预训练浅度神经网络模型作为目标任务神经网络模型结构首层，即将预训练浅度神经网络模型的输出数据x2作为目标任务的深度神经网络模型的输入，以对目标任务分类的带标记数据训练整个深度神经网络，再对整个网络参数进行微调，解决了迁移后迁移效果波动不定，甚至适得其反的问题。直接将预训练模型作为目标深度神经网络的首层，不必考虑将预训练模型的迁移层数，使得迁移学习简单高效。且本发明只需预训练一个浅度神经网络结构，对于前期准备的带标记数据和内存显卡资源需求较少，所构建的网络结构简单。
以下结合实施例对本发明的特征和性能作进一步的详细描述。
实施例1
本发明较佳实施例提供的一种基于浅度学习的神经网络迁移方法，将其应用与图像识别任务，方法步骤如下：
步骤1、预处理目标任务数据集：划分图像识别相关任务，形成任务字典，并对分类的目标任务进行标记，存储标记数据，作为浅度神经网络的训练数据x0。相同种类对象的属性特征基本相同，比如动物具有头部加上肢体，交通工具具有轮子和运载体等。此步骤具体为：
1)将开源数据集ImageNet上的图像，通过识别对象不同来将图像识别任务大致划分成：动物、植物、建筑、道路，风景，物品，交通工具、文字；并记这些类别为1到8号。按照这些类别将图像分类整理到八个文件夹，图像以类别号下划线加图像编号命名。
2)每个文件夹下对应一个.pkl文件存储每张图像的标记数据。标记包括：图片名和对应类别。永久存储标记数据，作为浅度网络训练数据，扩展图像库时只需增加一行标记数据即可。
步骤2、预训练浅度神经网络：输入步骤1的训练数据至浅度神经网络，逐层训练得到预训练的浅度神经网络模型。训练的浅度神经网络的模型结构如图2所示，只有1个模块，包括：第一卷积层，池化层，第二卷积层和Softmax分类器，其中两个卷积层都采用3×3卷积核操作，训练数据x0经过第一卷积层的卷积，输出得到x1，x1再经过池化层下采样，输出得到x2，x1输入第二卷积层，再到Softmax分类器，输出得到预测结果z0，此为最终的分类输出。
预训练浅度神经网络模型构建的计算公式如下：
Figure GDA0003166096640000071
其中：c表示划分目标任务数据集的类别数量8；P表示池化算子；Wθ表示一个带有参数θ的卷积算子；S表示Softmax分类器；ρ表示一个Relu激活函数；Rc表示识别任务集；Cy是一个CNN浅度神经网络层。
所述池化算子P选择的是Dinh et al.(2017)中描述的可逆的下采样运算，其中包括将初始的空间通道重组成4个以空间方式抽取的副本，这些副本通过2×2的空间子采样获得，从而将分辨率降低2倍。避免了采用跨步池化、平均池化或者非线性最大池化这些池化方法造成的显著加剧信息损失的问题。
步骤2预训练浅度神经网络中用Cyx0表示第一卷积层的逐层训练过程，Cyx0用如下公式表示：：
Figure GDA0003166096640000072
其中：W0…Wk-2表示宽度恒定的卷积层；L表示一个输出维度为c的线性算子；当k＝1时，Cy是一个简单的线性模型，即仅训练带有一个隐藏层的CNN浅度神经网络层，当这层网络训练结束之后才开始训练一个有两个隐藏层的CNN浅度神经网络层，以此类推，在每一次训练中，把已经训练好的前k-1层固定，然后增加第k层，在训练好具有三层隐藏层之后结束，即CNN浅度神经网络层是逐层训练的。
当划分目标任务数据集的类别数量增加时，只需将所述步骤2中训练的浅度神经网络的模型结构对应增加相同数量的Softmax分类器。
步骤3、迁移网络：将整个预训练浅度神经网络模型作为目标任务神经网络模型结构首层，即将步骤2得到的预训练浅度神经网络模型的输出数据x2作为目标任务的深度神经网络模型的输入，以目标任务的带标记数据训练整个深度神经网络，对整个网络参数进行微调。这里目标任务的带标记数据除了步骤1中的带标记数据外，还包括需要完成目标任务的公司或个人自身收集或标注的数据。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (6)

1.一种基于浅度学习的神经网络迁移方法，其特征在于：方法步骤如下：
步骤1、预处理目标任务数据集：划分图像识别相关任务，形成任务字典，并对分类的目标任务进行标记，存储标记数据，作为浅度神经网络的训练数据x0；
步骤2、预训练浅度神经网络：输入步骤1的训练数据至浅度神经网络，逐层训练得到预训练的浅度神经网络模型，预训练的浅度神经网络模型包括：第一卷积层，池化层，第二卷积层和分类器，训练数据x0经预训练的神经网络模型输出数据为x2；
所述步骤2的浅度神经网络模型中，预训练的浅度神经网络模型数据处理过程具体为：训练数据x0经过第一卷积层的卷积，输出得到x1，x1经过池化层下采样，输出得到x2，将x1输入第二卷积层，再经过分类器，输出预测结果为z0，预训练浅度神经网络模型构建的计算公式如下：
Figure FDA0003166096630000011
其中：c表示划分目标任务数据集的类别数量；P表示池化算子；Wθ表示一个带有参数θ的卷积算子；S表示分类器；ρ表示一个Relu激活函数；Rc表示识别任务集；Cy是一个CNN浅度神经网络层；
步骤3、迁移网络：将步骤2得到的预训练的浅度神经网络模型输出数据x2作为目标任务的深度神经网络模型的输入，以目标任务的带标记数据训练整个深度神经网络，对整个网络参数进行微调，带标记数据包括x0和完成目标任务的公司或个人自身收集或标注的数据。
2.根据权利要求1所述的一种基于浅度学习的神经网络迁移方法，其特征在于：所述步骤1中可对目标任务数据集进行拓展，只需相应地对增加的目标任务数据增加标记数据即可。
3.根据权利要求1所述的一种基于浅度学习的神经网络迁移方法，其特征在于：所述步骤2预训练的浅度神经网络模型中两个卷积层都采用3×3卷积核操作。
4.根据权利要求1所述的一种基于浅度学习的神经网络迁移方法，其特征在于：所述步骤2中池化层的数据处理方法选择的是可逆的下采样运算，其中包括将初始的空间通道重组成4个以空间方式抽取的副本，这些副本通过2×2的空间子采样获得，从而将分辨率降低2倍。
5.根据权利要求1所述的一种基于浅度学习的神经网络迁移方法，其特征在于：所述步骤2预训练浅度神经网络中用Cyx0表示第一卷积层的逐层训练过程，Cyx0用如下公式表示：
Figure FDA0003166096630000021
其中：W0…Wk-2表示宽度恒定的卷积层；L表示一个输出维度为c的线性算子；当k＝1时，Cy是一个简单的线性模型，即仅训练带有一个隐藏层的CNN浅度神经网络层，当这层网络训练结束之后才开始训练一个有两个隐藏层的CNN浅度神经网络层，以此类推，在每一次训练中，把已经训练好的前k-1层固定，然后增加第k层，在训练好具有三层隐藏层之后结束。
6.根据权利要求1所述的一种基于浅度学习的神经网络迁移方法，其特征在于：当划分目标任务数据集的类别数量增加时，只需将所述步骤2中预训练的浅度神经网络模型对应增加相同数量的分类器。
CN201811388026.2A 2018-11-20 2018-11-20 一种基于浅度学习的神经网络迁移方法 Active CN109558942B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811388026.2A CN109558942B (zh) 2018-11-20 2018-11-20 一种基于浅度学习的神经网络迁移方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811388026.2A CN109558942B (zh) 2018-11-20 2018-11-20 一种基于浅度学习的神经网络迁移方法

Publications (2)

Publication Number Publication Date
CN109558942A CN109558942A (zh) 2019-04-02
CN109558942B true CN109558942B (zh) 2021-11-26

Family

ID=65866931

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811388026.2A Active CN109558942B (zh) 2018-11-20 2018-11-20 一种基于浅度学习的神经网络迁移方法

Country Status (1)

Country Link
CN (1) CN109558942B (zh)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110119787B (zh) * 2019-05-23 2021-07-20 湃方科技(北京)有限责任公司 一种旋转型机械设备工况检测方法及设备
CN110321970A (zh) * 2019-07-11 2019-10-11 山东领能电子科技有限公司 一种基于分枝神经网络的多特征细粒度的目标分类方法
CN110399796A (zh) * 2019-09-02 2019-11-01 国网上海市电力公司 一种基于改进深度学习算法的电能质量扰动识别方法
CN110796260B (zh) * 2019-09-11 2022-04-19 浙江大学 一种基于类扩张学习的神经网络模型优化方法
CN112529169B (zh) * 2019-09-18 2024-08-13 华为技术有限公司 数据处理方法、模型优化装置和模型执行装置
CN112529146B (zh) * 2019-09-18 2023-10-17 华为技术有限公司 神经网络模型训练的方法和装置
CN110797119B (zh) * 2019-09-23 2022-09-20 深圳甲田科技有限公司 健康风险智能监测装置和迁移学习方法
CN111968746A (zh) * 2020-07-21 2020-11-20 华中科技大学协和深圳医院 一种基于混合深度迁移学习的脑卒中风险预测方法及装置
CN112364973B (zh) * 2020-08-05 2023-08-01 华侨大学 基于神经网络和模型迁移学习的多源频域载荷识别方法
CN111983619B (zh) * 2020-08-07 2023-04-07 西北工业大学 一种基于迁移学习的水声目标前向散射声扰动定位方法
CN112528870B (zh) * 2020-12-14 2024-03-01 华侨大学 一种基于mimo神经网络和迁移学习的多点振动响应预测方法
CN112949904B (zh) * 2021-01-28 2022-06-07 华中科技大学 一种基于特征选择与多层级深度迁移学习的风电场短期功率预测方法
CN114121161B (zh) * 2021-06-04 2022-08-05 深圳太力生物技术有限责任公司 一种基于迁移学习的培养基配方开发方法及系统
CN113918538B (zh) * 2021-10-14 2024-05-14 河北工业大学 一种基于人工神经网络的新建道路养护数据迁移系统
CN118411531A (zh) * 2023-01-30 2024-07-30 华为技术有限公司 一种神经网络的训练方法、图像处理的方法以及装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106778584A (zh) * 2016-12-08 2017-05-31 南京邮电大学 一种基于深层特征与浅层特征融合的人脸年龄估计方法
CN107239802A (zh) * 2017-06-28 2017-10-10 广东工业大学 一种图像分类方法及装置
CN107742099A (zh) * 2017-09-30 2018-02-27 四川云图睿视科技有限公司 一种基于全卷积网络的人群密度估计、人数统计的方法
CN107944375A (zh) * 2017-11-20 2018-04-20 北京奇虎科技有限公司 基于场景分割的自动驾驶处理方法及装置、计算设备
CN108021936A (zh) * 2017-11-28 2018-05-11 天津大学 一种基于卷积神经网络vgg16的乳腺肿瘤分类算法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11144825B2 (en) * 2016-12-01 2021-10-12 University Of Southern California Interpretable deep learning framework for mining and predictive modeling of health care data

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106778584A (zh) * 2016-12-08 2017-05-31 南京邮电大学 一种基于深层特征与浅层特征融合的人脸年龄估计方法
CN107239802A (zh) * 2017-06-28 2017-10-10 广东工业大学 一种图像分类方法及装置
CN107742099A (zh) * 2017-09-30 2018-02-27 四川云图睿视科技有限公司 一种基于全卷积网络的人群密度估计、人数统计的方法
CN107944375A (zh) * 2017-11-20 2018-04-20 北京奇虎科技有限公司 基于场景分割的自动驾驶处理方法及装置、计算设备
CN108021936A (zh) * 2017-11-28 2018-05-11 天津大学 一种基于卷积神经网络vgg16的乳腺肿瘤分类算法

Also Published As

Publication number Publication date
CN109558942A (zh) 2019-04-02

Similar Documents

Publication Publication Date Title
CN109558942B (zh) 一种基于浅度学习的神经网络迁移方法
CN109685115B (zh) 一种双线性特征融合的细粒度概念模型及学习方法
CN111783831B (zh) 基于多源多标签共享子空间学习的复杂图像精确分类方法
Kulkarni et al. Classification of cultural heritage sites using transfer learning
CN111639679B (zh) 一种基于多尺度度量学习的小样本学习方法
EP3029606A2 (en) Method and apparatus for image classification with joint feature adaptation and classifier learning
CN108764281A (zh) 一种基于半监督自步学习跨任务深度网络的图像分类方法
Andreon et al. Wide field imaging—I. Applications of neural networks to object detection and star/galaxy classification
CN109740686A (zh) 一种基于区域池化和特征融合的深度学习图像多标记分类方法
CN106682696A (zh) 基于在线示例分类器精化的多示例检测网络及其训练方法
CN112614119A (zh) 医学图像感兴趣区域可视化方法、装置、存储介质和设备
CN103425996A (zh) 一种并行分布式的大规模图像识别方法
CN103745233B (zh) 基于空间信息迁移的高光谱图像分类方法
CN113569895A (zh) 图像处理模型训练方法、处理方法、装置、设备及介质
Xu et al. Using convolutional neural networks incorporating hierarchical active learning for target-searching in large-scale remote sensing images
CN104966052A (zh) 基于属性特征表示的群体行为识别方法
CN111126464A (zh) 一种基于无监督域对抗领域适应的图像分类方法
CN114898158A (zh) 基于多尺度注意力耦合机制的小样本交通异常图像采集方法及系统
CN116844032A (zh) 一种海洋环境下目标检测识别方法、装置、设备及介质
Franchi et al. Latent discriminant deterministic uncertainty
CN115439715A (zh) 基于反标签学习的半监督少样本图像分类学习方法及系统
CN115359250A (zh) 基于记忆力机制的跨域小样本图像语义分割方法
Weber et al. Automated labeling of electron microscopy images using deep learning
Khashman Investigation of different neural models for blood cell type identification
Stacchio et al. Toward a holistic approach to the socio-historical analysis of vernacular photos

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant