CN113344016A - 深度迁移学习方法、装置、电子设备及存储介质 - Google Patents

深度迁移学习方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN113344016A
CN113344016A CN202010103333.2A CN202010103333A CN113344016A CN 113344016 A CN113344016 A CN 113344016A CN 202010103333 A CN202010103333 A CN 202010103333A CN 113344016 A CN113344016 A CN 113344016A
Authority
CN
China
Prior art keywords
domain data
data set
target
sub
source domain
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010103333.2A
Other languages
English (en)
Inventor
汤前进
吕旭涛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Intellifusion Technologies Co Ltd
Original Assignee
Shenzhen Intellifusion Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Intellifusion Technologies Co Ltd filed Critical Shenzhen Intellifusion Technologies Co Ltd
Priority to CN202010103333.2A priority Critical patent/CN113344016A/zh
Publication of CN113344016A publication Critical patent/CN113344016A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本申请提供了一种深度迁移学习方法、装置、电子设备及存储介质，该方法包括：获取带有类别标签的源域数据集，将所述源域数据集划分为多个子源域数据集，利用每个所述子源域数据集训练得到对应的候选预训练模型；获取带有类别标签的目标域数据集，计算所述目标域数据集与每个所述子源域数据集之间的相似度；根据所述目标域数据集与每个所述子源域数据集之间的相似度，从所述候选预训练模型中选取出目标预训练模型；利用所述目标域数据集对所述目标预训练模型进行精调，得到所述目标域数据集的最佳分类模型。本申请实施例有利于避免迁移学习过程中出现负迁移的状况，从而提高迁移学习的效果。

Description

深度迁移学习方法、装置、电子设备及存储介质
技术领域
本申请涉及计算机视觉技术领域，尤其涉及一种深度迁移学习方法、装置、电子设备及存储介质。
背景技术
计算机视觉是一门研究如何使机器“看”并进行“处理”的科学，其目标是使机器能够像人那样通过视觉观察和理解世界，具有自主适应环境的能力。在计算机视觉领域，迁移学习是使用较为广泛的技术，能够将一个领域学习到的知识迁移到另一个领域，起到加快模型训练速度和提高模型预测精度的作用。目前的迁移学习基于大规模的通用数据集训练模型，该通用数据集可以是闸机通道处采集的人脸图像数据，或者可以是开源数据库中获取的人脸图像数据，或者还可以是高速路上抓拍的车辆图像数据等等，然后对训练出的模型进行精调，但是，大规模的通用数据集在向目标域迁移的过程中容易出现负迁移，迁移学习的效果并不显著。
发明内容
针对上述问题，本申请提供了一种深度迁移学习方法、装置、电子设备及存储介质，有利于避免迁移学习过程中出现负迁移的状况，从而提高迁移学习的效果。
为实现上述目的，本申请实施例第一方面提供了一种深度迁移学习方法，该方法包括：
从目标地址获取属于多个类别的源域图像，对所述源域图像进行标注，得到带有类别标签的源域数据集；
将所述源域数据集划分为多个子源域数据集，利用每个所述子源域数据集训练得到对应的候选预训练模型；
当属于目标类别的目标域图像输入时，对所述目标域图像进行标注，得到带有类别标签的目标域数据集，计算所述目标域数据集与每个所述子源域数据集之间的相似度；
根据所述目标域数据集与每个所述子源域数据集之间的相似度，从所述候选预训练模型中选取出目标预训练模型；
利用所述目标域数据集对所述目标预训练模型进行精调，得到所述目标域数据集的最佳分类模型。
结合第一方面，在一种可能的实施方式中，所述计算所述目标域数据集与每个所述子源域数据集之间的相似度，包括：
计算所述目标域数据集与每个所述子源域数据集之间的第一搬土距离；
根据所述第一搬土距离，得到所述目标域数据集与每个所述子源域数据集之间的相似度。
结合第一方面，在一种可能的实施方式中，所述根据所述目标域数据集与每个所述子源域数据集之间的相似度，从所述候选预训练模型中选取出目标预训练模型，包括：
获取与所述目标域数据集之间的相似度大于或等于预设值的目标子源域数据集；
将利用所述目标子源域数据集训练出的所述候选预训练模型确定为所述目标预训练模型。
结合第一方面，在一种可能的实施方式中，所述将所述源域数据集划分为多个子源域数据集，包括：
计算所述源域数据集中任意两个数据之间的第二搬土距离；
根据所述第二搬土距离，得到该任意两个数据之间的相似度；
基于该任意两个数据之间的相似度，将所述源域数据集划分为多个所述子源域数据集。
结合第一方面，在一种可能的实施方式中，所述利用每个所述子源域数据集训练得到对应的候选预训练模型，包括：
将每个所述子源域数据集输入预设的神经网络进行训练，得到该每个所述子源域数据集对应的所述候选预训练模型；
所述方法还包括：
若所述目标域数据集与每个所述子源域数据集之间的相似度均小于所述预设值，则将所述目标域数据集输入所述神经网络进行训练，得到所述目标域数据集的最佳分类模型。
本申请实施例第二方面提供了一种深度迁移学习装置，该装置包括：
源域数据获取模块，用于从目标地址获取属于多个类别的源域图像，对所述源域图像进行标注，得到带有类别标签的源域数据集；
第一模型获取模块，用于将所述源域数据集划分为多个子源域数据集，利用每个所述子源域数据集训练得到对应的候选预训练模型；
相似度计算模块，用于当属于目标类别的目标域图像输入时，对所述目标域图像进行标注，得到带有类别标签的目标域数据集，计算所述目标域数据集与每个所述子源域数据集之间的相似度；
第二模型获取模块，用于根据所述目标域数据集与每个所述子源域数据集之间的相似度，从所述候选预训练模型中选取出目标预训练模型；
模型精调模块，用于利用所述目标域数据集对所述目标预训练模型进行精调，得到所述目标域数据集的最佳分类模型。
本申请实施例第三方面提供了一种电子设备，该电子设备包括输入设备和输出设备，还包括处理器，适于实现一条或多条指令；以及，计算机存储介质，所述计算机存储介质存储有一条或多条指令，所述一条或多条指令适于由所述处理器加载并执行如下步骤：
从目标地址获取属于多个类别的源域图像，对所述源域图像进行标注，得到带有类别标签的源域数据集；
将所述源域数据集划分为多个子源域数据集，利用每个所述子源域数据集训练得到对应的候选预训练模型；
当属于目标类别的目标域图像输入时，对所述目标域图像进行标注，得到带有类别标签的目标域数据集，计算所述目标域数据集与每个所述子源域数据集之间的相似度；
根据所述目标域数据集与每个所述子源域数据集之间的相似度，从所述候选预训练模型中选取出目标预训练模型；
利用所述目标域数据集对所述目标预训练模型进行精调，得到所述目标域数据集的最佳分类模型。
本申请实施例第四方面提供了一种计算机存储介质，所述计算机存储介质存储有一条或多条指令，所述一条或多条指令适于由处理器加载并执行如下步骤：
从目标地址获取属于多个类别的源域图像，对所述源域图像进行标注，得到带有类别标签的源域数据集；
将所述源域数据集划分为多个子源域数据集，利用每个所述子源域数据集训练得到对应的候选预训练模型；
当属于目标类别的目标域图像输入时，对所述目标域图像进行标注，得到带有类别标签的目标域数据集，计算所述目标域数据集与每个所述子源域数据集之间的相似度；
根据所述目标域数据集与每个所述子源域数据集之间的相似度，从所述候选预训练模型中选取出目标预训练模型；
利用所述目标域数据集对所述目标预训练模型进行精调，得到所述目标域数据集的最佳分类模型。
本申请的上述方案至少包括以下有益效果：可以看出，本申请实施例通过从目标地址获取属于多个类别的源域图像，对所述源域图像进行标注，得到带有类别标签的源域数据集；将所述源域数据集划分为多个子源域数据集，利用每个所述子源域数据集训练得到对应的候选预训练模型；当属于目标类别的目标域图像输入时，对所述目标域图像进行标注，得到带有类别标签的目标域数据集，计算所述目标域数据集与每个所述子源域数据集之间的相似度；根据所述目标域数据集与每个所述子源域数据集之间的相似度，从所述候选预训练模型中选取出目标预训练模型；利用所述目标域数据集对所述目标预训练模型进行精调，得到所述目标域数据集的最佳分类模型。这样将源域数据集划分为多个不同类别的子源域数据集，在每个子源域数据集上训练一个候选预训练模型，然后通过目标域数据集与子源域数据集之间的相似度选出一个目标预训练模型，该目标预训练模型对应的子源域数据集作为目标域数据集的源域，对目标预训练模型进行精调便完成特定子源域数据集(与目标域数据集相似度高)到目标域数据集的迁移学习，仅用一个特定子源域数据集进行迁移学习，有利于避免源域数据集之间的差异导致迁移学习过程中出现负迁移的状况，从而提高迁移学习的效果。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的一种网络架构示意图；
图2为本申请实施例提供的一种深度迁移学习方法的流程示意图；
图3为本申请实施例提供的一种源域数据集拆分为子源域数据集的示例图；
图4为本申请实施例提供的另一种深度迁移学习方法的流程示意图；
图5为本申请实施例提供的另一种深度迁移学习方法的流程示意图；
图6为本申请实施例提供的一种深度迁移学习装置的结构示意图；
图7为本申请实施例提供的一种电子设备的结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分的实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。
本申请说明书、权利要求书和附图中出现的术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。此外，术语“第一”、“第二”和“第三”等是用于区别不同的对象，而并非用于描述特定的顺序。
首先结合相关附图来举例介绍下本申请实施例的方案可能应用到的网络系统架构。请参见图1，图1为本申请实施例提供的一种网络架构示意图，如图1所示，包括服务器和终端，其中，服务器和终端通过网络进行通信，其通信可采用的网络包括但不限于虚拟专用网络、局域网络、城域网络。终端可用于用户对收集的源域数据集和目标域数据集进行标注，以及以代码或其它形式向服务器发送源域数据集分类请求、子源域数据集的分类模型训练请求、子源域数据与目标域数据集的相似度计算请求、分类模型精调请求等等，以及可接收服务器返回相关处理结果，例如：相似度计算结果、分类模型精调结果等等，终端包括但不限于台式电脑、笔记本电脑、平板电脑、超级计算机。服务器可以是单个服务器，也可以是服务器集群，还可以是云端服务器，其处理器部署有相关算法，例如：相似度算法、神经网络算法等，可用于根据终端侧提交的各种请求进行相应处理，例如：运行神经网络算法提取数据特征值以及在子源域数据集上进行分类模型训练、运行相似度算法计算各子源域数据集与目标域数据集的相似度等等。服务器是整个网络系统的执行主体，正是由于图1所示的网络系统架构，使得本申请中的深度迁移学习方法得以实施。
基于图1所示的网络架构，以下结合其他附图对本申请实施例提供的深度迁移学习方法进行详细阐述。
请参加图2，图2为本申请实施例提供的一种深度迁移学习方法的流程示意图，如图2所示，包括步骤S21-S25：
S21，从目标地址获取属于多个类别的源域图像，对所述源域图像进行标注，得到带有类别标签的源域数据集。
本申请具体实施例中，目标地址包括但不限于第三方平台(例如：搜索引擎地址)、网络上的开源数据库、本地数据库(例如：用于存储摄像头、摄像机等拍摄的图像的数据库)，多个类别涵盖了大多数场景，包括有不同领域的图像，例如：动物、建筑、人脸、车辆等等，使得训练出的分类模型能够获取到不同领域的知识。此处对源域数据进行标注可以是人工标注，也可以是机器标注，具体不作限定。
S22，将所述源域数据集划分为多个子源域数据集，利用每个所述子源域数据集训练得到对应的候选预训练模型。
本申请具体实施例中，获取到源域数据集后，将源域数据集划分为如图3所示的n个子源域数据集，不同子源域数据集之间的分布不同，而同一子源域数据集内的数据则服从相同的分布。具体的，将源域数据集输入预设的卷积神经网络进行特征值提取，得到源域数据集中每个数据的特征值，基于该特征值计算源域数据集中任意两个数据之间的相似度，将该相似度大于或等于特定阈值的数据划分为一个子源域数据集，由此得到图3中所示的子源域数据集1、子源域数据集2…子源域数据集i…子源域数据集n，上述任意两个数据之间的相似度可以采用搬土距离(Earth Mover's Distance，EMD)度量，也可以采用欧几里得距离度量，或者还可以采用曼哈顿距离度量，等等。
划分出n个子源域数据集后，在每个子源域数据集上训练一个分类模型，具体的，采用预设的神经网络进行训练，例如：将子源域数据集1输入卷积神经网络进行分类预测，经过多次迭代，直到神经网络的损失函数值收敛，便得到子源域数据集1对应的分类模型，将每个子源域数据集对应的分类模型作为目标域数据集迁移学习的候选预训练模型。可选的，上述神经网络可以是VGGNet、ResNet、MobileNet等等，此处不作任何限定。
S23，当属于目标类别的目标域图像输入时，对所述目标域图像进行标注，得到带有类别标签的目标域数据集，计算所述目标域数据集与每个所述子源域数据集之间的相似度。
本申请具体实施例中，准备好候选预训练模型后，输入目标域数据集，该目标域数据集是来自特定场景，或者说属于特定类别的图像，其所属的类别可以是源域图像所属的多个类别中的一个，例如：人脸图像，也可以是源域图像所属的多个类别之外的类别，例如：家具，其中，目标域图像的标注与源域图像的标注相同。服务器在获取到目标域数据集后，计算目标域数据集与每个子源域数据集之间的相似度，首先将目标域数据集输入预设的卷积神经网络进行特征值提取，基于目标域数据集的特征值和预先提取的每个子源域数据集的特征值，计算目标域数据集与每个子源域数据集之间的EMD距离，采用以下公式：
Figure BDA0002386569580000071
其中，dij＝||g(si)-g(ti)||，S表示子源域数据集，T表示目标域数据集，dij表示子源域数据集中的数据与目标域数据集中的数据之间的欧拉距离，g(si)表示子源域数据集中数据的特征值，g(ti)表示目标域数据集中数据的特征值，fij表示EMD优化问题的最优解，m表示子源域数据集中数据的数量，n表示目标域数据集中数据的数量。得到目标域数据集与每个子源域数据集之间的EMD距离后，采用以下公式计算得到目标域数据集与每个子源域数据集之间的相似度：similarity(S,T)＝e-λd(S,T)，其中，λ为预设常数，similarity(S,T)即子源域数据集与目标域数据集之间的相似度。
S24，根据所述目标域数据集与每个所述子源域数据集之间的相似度，从所述候选预训练模型中选取出目标预训练模型。
本申请具体实施例中，得到目标域数据集与每个子源域数据集之间的相似度后，对该相似度进行筛选，从n个子源域数据集中选取出相似度大于或等于预设值的目标子源域数据集，将在该目标子源域数据集上训练得到的候选预训练模型确定为目标域数据集迁移学习的目标预训练模型。例如：若图3中仅有子源域数据集2与目标域数据集之间的相似度大于或等于预设值，则将资源数据集2对应的候选预训练模型确定为目标预训练模型，当然，为了确保迁移学习的效果，此处可将预设值设定为较高的值，以便于选取出与目标域数据集更为接近的目标子源域数据集。
S25，利用所述目标域数据集对所述目标预训练模型进行精调，得到所述目标域数据集的最佳分类模型。
本申请具体实施例中，选取出目标预训练模型后，将目标域数据集输入该目标预训练模型进行fine-tuning(精调)，以期更新目标预训练模型部分层的权重、偏置等参数，使目标预训练模型更适用于目标域数据集，训练完成之后参数固定下来的目标预训练模型即目标域数据集通过迁移学习得到的最佳分类模型。
可以看出，本申请实施例通过从目标地址获取属于多个类别的源域图像，对所述源域图像进行标注，得到带有类别标签的源域数据集；将所述源域数据集划分为多个子源域数据集，利用每个所述子源域数据集训练得到对应的候选预训练模型；当属于目标类别的目标域图像输入时，对所述目标域图像进行标注，得到带有类别标签的目标域数据集，计算所述目标域数据集与每个所述子源域数据集之间的相似度；根据所述目标域数据集与每个所述子源域数据集之间的相似度，从所述候选预训练模型中选取出目标预训练模型；利用所述目标域数据集对所述目标预训练模型进行精调，得到所述目标域数据集的最佳分类模型。这样将源域数据集划分为多个不同类别的子源域数据集，在每个子源域数据集上训练一个候选预训练模型，然后通过目标域数据集与子源域数据集之间的相似度选出一个目标预训练模型，该目标预训练模型对应的子源域数据集作为目标域数据集的源域，对目标预训练模型进行精调便完成特定子源域数据集(与目标域数据集相似度高)到目标域数据集的迁移学习，仅用一个特定子源域数据集进行迁移学习，有利于避免源域数据集之间的差异导致迁移学习过程中出现负迁移的状况，从而提高迁移学习的效果。
请参见图4，图4为本申请实施例提供的另一种深度迁移学习方法的流程示意图，如图4所示，包括步骤S41-S47：
S41，从目标地址获取属于多个类别的源域图像，对所述源域图像进行标注，得到带有类别标签的源域数据集；
S42，将所述源域数据集划分为多个子源域数据集；
S43，利用每个所述子源域数据集训练得到对应的候选预训练模型；
S44，当属于目标类别的目标域图像输入时，对所述目标域图像进行标注，得到带有类别标签的目标域数据集，计算所述目标域数据集与每个所述子源域数据集之间的第一搬土距离；
S45，根据所述第一搬土距离，得到所述目标域数据集与每个所述子源域数据集之间的相似度；
S46，根据所述目标域数据集与每个所述子源域数据集之间的相似度，从所述候选预训练模型中选取出目标预训练模型；
S47，利用所述目标域数据集对所述目标预训练模型进行精调，得到所述目标域数据集的最佳分类模型。
在一种可能的实施方式中，所述将所述源域数据集划分为多个子源域数据集，包括：
计算所述源域数据集中任意两个数据之间的第二搬土距离；
根据所述第二搬土距离，得到该任意两个数据之间的相似度；
基于该任意两个数据之间的相似度，将所述源域数据集划分为多个所述子源域数据集。
该实施方式中，同样采用EMD距离作为源域数据集中的数据之间相似度的度量，采用预设的卷积神经网络提取源域数据集中的数据的特征值，然后采用前述的d(S,T)计算公式计算该任意两个数据之间的第二搬土距离(此处，S,T分别表示源域数据中任意两个数据)，基于第二搬土距离计算出该任意两个数据之间的相似度，若该相似度大于或等于特定阈值，则认为该任意两个数据可以被划分到同一子源域数据集中，由此将源域数据集划分为多个子源域数据集。
在一种可能的实施方式中，所述方法还包括：
若所述目标域数据集与每个所述子源域数据集之间的相似度均小于所述预设值，则将所述目标域数据集输入所述神经网络进行训练，得到所述目标域数据集的最佳分类模型。
该实施方式中，当目标域数据集与每个子源域数据集之间的相似度均小于预设值，说明所有子源域数据集与目标域数据集的分布均不一致，如果继续选取候选预训练模型进行迁移学习，则可能出现负迁移，此时，直接采用目标域数据集对神经网络进行训练，得到目标域数据集的最佳分类模型，有利于避免出现负迁移的状况。
需要说明的是，图4所示的步骤S41-S47在图2所示的实施例中已有相关说明，且能达到相同或相似的有益效果，为避免重复，此处不再赘述。
可以看出，本申请实施例通过从目标地址获取属于多个类别的源域图像，对所述源域图像进行标注，得到带有类别标签的源域数据集；将所述源域数据集划分为多个子源域数据集；利用每个所述子源域数据集训练得到对应的候选预训练模型；当属于目标类别的目标域图像输入时，对所述目标域图像进行标注，得到带有类别标签的目标域数据集，计算所述目标域数据集与每个所述子源域数据集之间的第一搬土距离；根据所述第一搬土距离，得到所述目标域数据集与每个所述子源域数据集之间的相似度；根据所述目标域数据集与每个所述子源域数据集之间的相似度，从所述候选预训练模型中选取出目标预训练模型；利用所述目标域数据集对所述目标预训练模型进行精调，得到所述目标域数据集的最佳分类模型。这样将源域数据集划分为多个不同类别的子源域数据集，在每个子源域数据集上训练一个候选预训练模型，然后通过目标域数据集与子源域数据集之间的相似度选出一个目标预训练模型，该目标预训练模型对应的子源域数据集作为目标域数据集的源域，对目标预训练模型进行精调便完成特定子源域数据集(与目标域数据集相似度高)到目标域数据集的迁移学习，仅用一个特定子源域数据集进行迁移学习，有利于避免源域数据集之间的差异导致迁移学习过程中出现负迁移的状况，从而提高迁移学习的效果。
为更好地理解本申请提出的迁移学习方案，现以图5对本申请实施例进行简单说明。如图5所示，本申请实施例分为两个阶段，第一阶段主要为源域数据集的获取和处理阶段，包括从终端获取源域数据集、对源域数据集中的任意两个数据进行相似度计算以将源域数据集划分为多个子源域数据集、在每个子源域数据集上训练一个候选预训练模型。第二阶段主要是对终端输入的目标域数据集进行处理，首先计算目标域数据集与各子源域数据集之间的相似度，然后检测是否存在相似度大于或等于预设值的子源域数据集，若存在，则将该子源域数据集上训练出的候选预训练模型作为目标预训练模型，并进行精调，若不存在，则不再使用子源域数据集进行迁移学习，直接使用目标域数据集训练分类模型，以避免出现负迁移的状况，导致迁移学习的效果较差。
请参见图6，图6为本申请实施例提供的一种深度迁移学习装置的结构示意图，如图6所示，该装置包括：
源域数据获取模块61，用于从目标地址获取属于多个类别的源域图像，对所述源域图像进行标注，得到带有类别标签的源域数据集；
第一模型获取模块62，用于将所述源域数据集划分为多个子源域数据集，利用每个所述子源域数据集训练得到对应的候选预训练模型；相似度计算模块63，用于当属于目标类别的目标域图像输入时，对所述目标域图像进行标注，得到带有类别标签的目标域数据集，计算所述目标域数据集与每个所述子源域数据集之间的相似度；
第二模型获取模块64，用于根据所述目标域数据集与每个所述子源域数据集之间的相似度，从所述候选预训练模型中选取出目标预训练模型；
模型精调模块65，用于利用所述目标域数据集对所述目标预训练模型进行精调，得到所述目标域数据集的最佳分类模型。
在一种可能的实施方式中，在计算所述目标域数据集与每个所述子源域数据集之间的相似度方面，所述相似度计算模块63具体用于：
计算所述目标域数据集与每个所述子源域数据集之间的第一搬土距离；
根据所述第一搬土距离，得到所述目标域数据集与每个所述子源域数据集之间的相似度。
在一种可能的实施方式中，在根据所述目标域数据集与每个所述子源域数据集之间的相似度，从所述候选预训练模型中选取出目标预训练模型方面，所述第二模型获取模块64具体用于：
获取与所述目标域数据集之间的相似度大于或等于预设值的目标子源域数据集；
将利用所述目标子源域数据集训练出的所述候选预训练模型确定为所述目标预训练模型。
在一种可能的实施方式中，在将所述源域数据集划分为多个子源域数据集方面，所述第一模型获取模块62具体用于：
计算所述源域数据集中任意两个数据之间的第二搬土距离；
根据所述第二搬土距离，得到该任意两个数据之间的相似度；
基于该任意两个数据之间的相似度，将所述源域数据集划分为多个所述子源域数据集。
在一种可能的实施方式中，在利用每个所述子源域数据集训练得到对应的候选预训练模型方面，所述第一模型获取模块62具体用于：
将每个所述子源域数据集输入预设的神经网络进行训练，得到该每个所述子源域数据集对应的所述候选预训练模型；
所述第二模型获取模块64具体还用于：
若所述目标域数据集与每个所述子源域数据集之间的相似度均小于所述预设值，则将所述目标域数据集输入所述神经网络进行训练，得到所述目标域数据集的最佳分类模型。
根据本申请的一个实施例，图6所示的深度迁移学习装置中的各个单元可以分别或全部合并为一个或若干个另外的单元来构成，或者其中的某个(些)单元还可以再拆分为功能上更小的多个单元来构成，这可以实现同样的操作，而不影响本申请的实施例的技术效果的实现。上述单元是基于逻辑功能划分的，在实际应用中，一个单元的功能也可以由多个单元来实现，或者多个单元的功能由一个单元实现。在本申请的其它实施例中，基于深度迁移学习装置也可以包括其它单元，在实际应用中，这些功能也可以由其它单元协助实现，并且可以由多个单元协作实现。需要说明的是，本申请实施例提供的深度迁移学习装置能够应用在图像数据处理场景中。
根据本申请的另一个实施例，可以通过在包括中央处理单元(CPU)、随机存取存储介质(RAM)、只读存储介质(ROM)等处理元件和存储元件的例如计算机的通用计算设备上运行能够执行如图2或图4中所示的相应方法所涉及的各步骤的计算机程序(包括程序代码)，来构造如图6中所示的深度迁移学习装置设备，以及来实现本申请实施例的深度迁移学习方法。所述计算机程序可以记载于例如计算机可读记录介质上，并通过计算机可读记录介质装载于上述计算设备中，并在其中运行。
基于上述方法实施例和装置实施例的描述，本申请实施例还提供一种电子设备。请参见图7，该电子设备至少包括处理器71、输入设备72、输出设备73以及计算机存储介质74。其中，电子设备内的处理器71、输入设备72、输出设备73以及计算机存储介质74可通过总线或其他方式连接。
计算机存储介质74可以存储在电子设备的存储器中，所述计算机存储介质74用于存储计算机程序，所述计算机程序包括程序指令，所述处理器71用于执行所述计算机存储介质74存储的程序指令。处理器71(或称CPU(Central Processing Unit，中央处理器))是电子设备的计算核心以及控制核心，其适于实现一条或多条指令，具体适于加载并执行一条或多条指令从而实现相应方法流程或相应功能。
在一个实施例中，本申请实施例提供的电子设备的处理器71可以用于进行一系列迁移学习处理：
从目标地址获取属于多个类别的源域图像，对所述源域图像进行标注，得到带有类别标签的源域数据集；
将所述源域数据集划分为多个子源域数据集，利用每个所述子源域数据集训练得到对应的候选预训练模型；
当属于目标类别的目标域图像输入时，对所述目标域图像进行标注，得到带有类别标签的目标域数据集，计算所述目标域数据集与每个所述子源域数据集之间的相似度；
根据所述目标域数据集与每个所述子源域数据集之间的相似度，从所述候选预训练模型中选取出目标预训练模型；
利用所述目标域数据集对所述目标预训练模型进行精调，得到所述目标域数据集的最佳分类模型。
在一种实施方式中，处理器71执行所述计算所述目标域数据集与每个所述子源域数据集之间的相似度，包括：
计算所述目标域数据集与每个所述子源域数据集之间的第一搬土距离；
根据所述第一搬土距离，得到所述目标域数据集与每个所述子源域数据集之间的相似度。
再一种实施方式中，处理器71执行所述根据所述目标域数据集与每个所述子源域数据集之间的相似度，从所述候选预训练模型中选取出目标预训练模型，包括：
获取与所述目标域数据集之间的相似度大于或等于预设值的目标子源域数据集；
将利用所述目标子源域数据集训练出的所述候选预训练模型确定为所述目标预训练模型。
再一种实施方式中，处理器71执行所述将所述源域数据集划分为多个子源域数据集，包括：
计算所述源域数据集中任意两个数据之间的第二搬土距离；
根据所述第二搬土距离，得到该任意两个数据之间的相似度；
基于该任意两个数据之间的相似度，将所述源域数据集划分为多个所述子源域数据集。
再一种实施方式中，处理器71执行所述利用每个所述子源域数据集训练得到对应的候选预训练模型，包括：
将每个所述子源域数据集输入预设的神经网络进行训练，得到该每个所述子源域数据集对应的所述候选预训练模型；
处理器71具体还用于：若所述目标域数据集与每个所述子源域数据集之间的相似度均小于所述预设值，则将所述目标域数据集输入所述神经网络进行训练，得到所述目标域数据集的最佳分类模型。
示例性的，上述电子设备可以是计算机、服务器、电脑主机等设备，电子设备可包括但不仅限于处理器71、输入设备72、输出设备73以及计算机存储介质74。本领域技术人员可以理解，所述示意图仅仅是电子设备的示例，并不构成对电子设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件。
需要说明的是，由于电子设备的处理器71执行计算机程序时实现上述的深度迁移学习方法中的步骤，因此上述深度迁移学习方法的实施例均适用于该电子设备，且均能达到相同或相似的有益效果。
本申请实施例还提供了一种计算机存储介质(Memory)，所述计算机存储介质是电子设备中的记忆设备，用于存放程序和数据。可以理解的是，此处的计算机存储介质既可以包括终端中的内置存储介质，当然也可以包括终端所支持的扩展存储介质。计算机存储介质提供存储空间，该存储空间存储了终端的操作系统。并且，在该存储空间中还存放了适于被处理器71加载并执行的一条或多条的指令，这些指令可以是一个或一个以上的计算机程序(包括程序代码)。需要说明的是，此处的计算机存储介质可以是高速RAM存储器，也可以是非不稳定的存储器(non-volatile memory)，例如至少一个磁盘存储器；可选的，还可以是至少一个位于远离前述处理器71的计算机存储介质。在一个实施例中，可由处理器71加载并执行计算机存储介质中存放的一条或多条指令，以实现上述有关深度迁移学习方法的相应步骤；具体实现中，计算机存储介质中的一条或多条指令由处理器71加载并执行如下步骤：
从目标地址获取属于多个类别的源域图像，对所述源域图像进行标注，得到带有类别标签的源域数据集；
将所述源域数据集划分为多个子源域数据集，利用每个所述子源域数据集训练得到对应的候选预训练模型；
当属于目标类别的目标域图像输入时，对所述目标域图像进行标注，得到带有类别标签的目标域数据集，计算所述目标域数据集与每个所述子源域数据集之间的相似度；
根据所述目标域数据集与每个所述子源域数据集之间的相似度，从所述候选预训练模型中选取出目标预训练模型；
利用所述目标域数据集对所述目标预训练模型进行精调，得到所述目标域数据集的最佳分类模型。
在一种示例中，计算机存储介质中的一条或多条指令由处理器71加载时还执行如下步骤：
计算所述目标域数据集与每个所述子源域数据集之间的第一搬土距离；
根据所述第一搬土距离，得到所述目标域数据集与每个所述子源域数据集之间的相似度。
在一种示例中，计算机存储介质中的一条或多条指令由处理器71加载时还执行如下步骤：
获取与所述目标域数据集之间的相似度大于或等于预设值的目标子源域数据集；
将利用所述目标子源域数据集训练出的所述候选预训练模型确定为所述目标预训练模型。
在一种示例中，计算机存储介质中的一条或多条指令由处理器71加载时还执行如下步骤：
计算所述源域数据集中任意两个数据之间的第二搬土距离；
根据所述第二搬土距离，得到该任意两个数据之间的相似度；
基于该任意两个数据之间的相似度，将所述源域数据集划分为多个所述子源域数据集。
在一种示例中，计算机存储介质中的一条或多条指令由处理器71加载时还执行如下步骤：将每个所述子源域数据集输入预设的神经网络进行训练，得到该每个所述子源域数据集对应的所述候选预训练模型；
在一种示例中，计算机存储介质中的一条或多条指令由处理器71加载时还执行如下步骤：若所述目标域数据集与每个所述子源域数据集之间的相似度均小于所述预设值，则将所述目标域数据集输入所述神经网络进行训练，得到所述目标域数据集的最佳分类模型。
示例性的，计算机存储介质的计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、电载波信号、电信信号以及软件分发介质等。
需要说明的是，由于计算机存储介质的计算机程序被处理器执行时实现上述的深度迁移学习方法中的步骤，因此上述深度迁移学习方法的所有实施例均适用于该计算机存储介质，且均能达到相同或相似的有益效果。
以上对本申请实施例进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的一般技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。

Claims (10)

1.一种深度迁移学习方法，其特征在于，所述方法包括：
从目标地址获取属于多个类别的源域图像，对所述源域图像进行标注，得到带有类别标签的源域数据集；
将所述源域数据集划分为多个子源域数据集，利用每个所述子源域数据集训练得到对应的候选预训练模型；
当属于目标类别的目标域图像输入时，对所述目标域图像进行标注，得到带有类别标签的目标域数据集，计算所述目标域数据集与每个所述子源域数据集之间的相似度；
根据所述目标域数据集与每个所述子源域数据集之间的相似度，从所述候选预训练模型中选取出目标预训练模型；
利用所述目标域数据集对所述目标预训练模型进行精调，得到所述目标域数据集的最佳分类模型。
2.根据权利要求1所述的方法，其特征在于，所述计算所述目标域数据集与每个所述子源域数据集之间的相似度，包括：
计算所述目标域数据集与每个所述子源域数据集之间的第一搬土距离；
根据所述第一搬土距离，得到所述目标域数据集与每个所述子源域数据集之间的相似度。
3.根据权利要求1所述的方法，其特征在于，所述根据所述目标域数据集与每个所述子源域数据集之间的相似度，从所述候选预训练模型中选取出目标预训练模型，包括：
获取与所述目标域数据集之间的相似度大于或等于预设值的目标子源域数据集；
将利用所述目标子源域数据集训练出的所述候选预训练模型确定为所述目标预训练模型。
4.根据权利要求1-3任一项所述的方法，其特征在于，所述将所述源域数据集划分为多个子源域数据集，包括：
计算所述源域数据集中任意两个数据之间的第二搬土距离；
根据所述第二搬土距离，得到该任意两个数据之间的相似度；
基于该任意两个数据之间的相似度，将所述源域数据集划分为多个所述子源域数据集。
5.根据权利要求3所述的方法，其特征在于，所述利用每个所述子源域数据集训练得到对应的候选预训练模型，包括：
将每个所述子源域数据集输入预设的神经网络进行训练，得到该每个所述子源域数据集对应的所述候选预训练模型；
所述方法还包括：
若所述目标域数据集与每个所述子源域数据集之间的相似度均小于所述预设值，则将所述目标域数据集输入所述神经网络进行训练，得到所述目标域数据集的最佳分类模型。
6.一种深度迁移学习装置，其特征在于，所述装置包括：
源域数据获取模块，用于从目标地址获取属于多个类别的源域图像，对所述源域图像进行标注，得到带有类别标签的源域数据集；
第一模型获取模块，用于将所述源域数据集划分为多个子源域数据集，利用每个所述子源域数据集训练得到对应的候选预训练模型；
相似度计算模块，用于当属于目标类别的目标域图像输入时，对所述目标域图像进行标注，得到带有类别标签的目标域数据集，计算所述目标域数据集与每个所述子源域数据集之间的相似度；
第二模型获取模块，用于根据所述目标域数据集与每个所述子源域数据集之间的相似度，从所述候选预训练模型中选取出目标预训练模型；
模型精调模块，用于利用所述目标域数据集对所述目标预训练模型进行精调，得到所述目标域数据集的最佳分类模型。
7.根据权利要求6所述的装置，其特征在于，在计算所述目标域数据集与每个所述子源域数据集之间的相似度方面，所述相似度计算模块具体用于：
计算所述目标域数据集与每个所述子源域数据集之间的第一搬土距离；
根据所述第一搬土距离，得到所述目标域数据集与每个所述子源域数据集之间的相似度。
8.根据权利要求6所述的装置，其特征在于，在根据所述目标域数据集与每个所述子源域数据集之间的相似度，从所述候选预训练模型中选取出目标预训练模型方面，所述第二模型获取模块具体用于：
获取与所述目标域数据集之间的相似度大于或等于预设值的目标子源域数据集；
将利用所述目标子源域数据集训练出的所述候选预训练模型确定为所述目标预训练模型。
9.一种电子设备，包括输入设备和输出设备，其特征在于，还包括：
处理器，适于实现一条或多条指令；以及，
计算机存储介质，所述计算机存储介质存储有一条或多条指令，所述一条或多条指令适于由所述处理器加载并执行如权利要求1-5任一项所述的方法。
10.一种计算机存储介质，其特征在于，所述计算机存储介质存储有一条或多条指令，所述一条或多条指令适于由处理器加载并执行如权利要求1-5任一项所述的方法。
CN202010103333.2A 2020-02-18 2020-02-18 深度迁移学习方法、装置、电子设备及存储介质 Pending CN113344016A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010103333.2A CN113344016A (zh) 2020-02-18 2020-02-18 深度迁移学习方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010103333.2A CN113344016A (zh) 2020-02-18 2020-02-18 深度迁移学习方法、装置、电子设备及存储介质

Publications (1)

Publication Number Publication Date
CN113344016A true CN113344016A (zh) 2021-09-03

Family

ID=77467101

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010103333.2A Pending CN113344016A (zh) 2020-02-18 2020-02-18 深度迁移学习方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN113344016A (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113887495A (zh) * 2021-10-21 2022-01-04 新智我来网络科技有限公司 基于迁移学习的视频标注方法及装置
CN113947126A (zh) * 2021-09-07 2022-01-18 广东工业大学 基于迁移学习的瓷砖颜色分类方法及装置
CN114743041A (zh) * 2022-03-09 2022-07-12 中国科学院自动化研究所 一种预训练模型抽选框架的构建方法及装置
CN115393362A (zh) * 2022-10-28 2022-11-25 中南大学 一种青光眼自动识别模型选择方法、设备和介质
CN115392315A (zh) * 2022-08-31 2022-11-25 济南永信新材料科技有限公司 一种基于可转移特征的齿轮箱故障检测方法
CN116503679A (zh) * 2023-06-28 2023-07-28 之江实验室 一种基于迁移性图谱的图像分类方法、装置、设备和介质

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113947126A (zh) * 2021-09-07 2022-01-18 广东工业大学 基于迁移学习的瓷砖颜色分类方法及装置
CN113887495A (zh) * 2021-10-21 2022-01-04 新智我来网络科技有限公司 基于迁移学习的视频标注方法及装置
CN114743041A (zh) * 2022-03-09 2022-07-12 中国科学院自动化研究所 一种预训练模型抽选框架的构建方法及装置
CN115392315A (zh) * 2022-08-31 2022-11-25 济南永信新材料科技有限公司 一种基于可转移特征的齿轮箱故障检测方法
CN115393362A (zh) * 2022-10-28 2022-11-25 中南大学 一种青光眼自动识别模型选择方法、设备和介质
CN115393362B (zh) * 2022-10-28 2023-02-03 中南大学 一种青光眼自动识别模型选择方法、设备和介质
CN116503679A (zh) * 2023-06-28 2023-07-28 之江实验室 一种基于迁移性图谱的图像分类方法、装置、设备和介质
CN116503679B (zh) * 2023-06-28 2023-09-05 之江实验室 一种基于迁移性图谱的图像分类方法、装置、设备和介质

Similar Documents

Publication Publication Date Title
CN113344016A (zh) 深度迁移学习方法、装置、电子设备及存储介质
CN111382868B (zh) 神经网络结构搜索方法和神经网络结构搜索装置
CN113987119B (zh) 一种数据检索方法、跨模态数据匹配模型处理方法和装置
CN110956131B (zh) 单目标追踪方法、装置及系统
CN113392866A (zh) 一种基于人工智能的图像处理方法、装置及存储介质
CN112801215A (zh) 图像处理模型搜索、图像处理方法、装置和存储介质
CN111914878A (zh) 特征点跟踪训练及跟踪方法、装置、电子设备及存储介质
CN112818995B (zh) 图像分类方法、装置、电子设备及存储介质
CN112995757B (zh) 视频剪裁方法及装置
CN108108769B (zh) 一种数据的分类方法、装置及存储介质
CN113705589A (zh) 数据处理方法、装置及设备
CN113849679A (zh) 图像检索方法、装置、电子设备及存储介质
CN111914809B (zh) 目标对象定位方法、图像处理方法、装置和计算机设备
CN114155388B (zh) 一种图像识别方法、装置、计算机设备和存储介质
CN116152884A (zh) 人脸图像的识别方法、装置、处理器及电子设备
US9886652B2 (en) Computerized correspondence estimation using distinctively matched patches
CN117437394A (zh) 模型训练方法、目标检测方法及装置
CN114596435A (zh) 语义分割标签的生成方法、装置、设备及存储介质
CN116049660B (zh) 数据处理方法、装置、设备、存储介质及程序产品
CN117788842B (zh) 图像检索方法及相关装置
CN116580063B (zh) 目标追踪方法、装置、电子设备及存储介质
CN114329006B (zh) 图像检索方法、装置、设备、计算机可读存储介质
JP2019211808A (ja) 類似性評価装置、その方法、及びプログラム
CN116798103B (zh) 基于人工智能的人脸图像处理方法及系统
CN116343072A (zh) 目标跟踪方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination