CN107704926A - 一种大数据跨领域分析的深度迁移学习方法 - Google Patents
一种大数据跨领域分析的深度迁移学习方法 Download PDFInfo
- Publication number
- CN107704926A CN107704926A CN201711184963.1A CN201711184963A CN107704926A CN 107704926 A CN107704926 A CN 107704926A CN 201711184963 A CN201711184963 A CN 201711184963A CN 107704926 A CN107704926 A CN 107704926A
- Authority
- CN
- China
- Prior art keywords
- depth network
- sample
- probability distribution
- value
- joint probability
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Abstract
本发明提供一种大数据跨领域分析的深度迁移学习方法，通过根据联合分布差异和分类错误率，确定深度网络的损失函数的值，其中，联合分布差异为源域对应的所有任务相关层中的特征以及标签之间的联合概率分布与目标域对应的所有任务相关层中的特征以及标签之间的联合概率分布之间的分布差异；并基于损失函数的值，更新深度网络的参数，以使深度网络适配目标域；从而在对深度网络的迁移学习过程中，将联合分布差异作为深度网络的损失函数的值的组成部分，通过更新深度网络的参数，在保证源域准确率的同时实现源域和目标域联合分布的匹配，即提高了所有任务相关层的迁移能力，从而给深度网络在不同领域间的迁移学习带来更好的效果。
Description
技术领域
本发明涉及计算机数据分析技术领域，更具体地，涉及一种大数据跨领域分析的深度迁移学习方法。
背景技术
机器学习在大量标记的数据上进行监督式训练可以获得很好的性能和效果，然而大型的标记数据集在数量和应用领域方面均有限，且手动标记足量的训练数据往往需要高昂的代价。因此当面对标记数据稀缺的目标任务时，如何利用与目标域相关但服从不同概率分布的源域中已有的标记数据，来构建一个有效的学习器，就具有很强的现实需求。
在源域数据和目标域数据之间存在分布偏移时学习判别式模型的范式称为迁移学习。迁移学习试图构建能够在服从不同概率分布的领域间泛化的学习器，使得在目标域缺少标记数据的情况下仍然可以结合源域的标记数据进行学习以完成对目标域数据的处理，在计算机视觉和自然语言处理等领域有着广泛的应用。
数据满足独立同分布是统计数据分析的基础，而在迁移学习问题中，源域数据与目标域数据的特征分布存在偏差，在实际应用中，数据特征和标签的联合概率分布也将会在领域间显著偏移，这使迁移学习问题更加具有挑战性；迁移学习的主要技术难点在于如何学习到在领域间迁移能力较好的特征与结构，降低领域间的概率分布差异。利用深度神经网络学习的抽象特征具有较好的可迁移性，能够泛化到新任务上以提升迁移学习的效果。但对于深度网络的上层，其迁移能力会随着领域间差异的扩大而显著下降，而深度网络的上层往往是用于拟合样本特性的任务相关层，任务相关层的迁移能力的下降，会影响深度网络在不同领域间迁移学习的效果。
发明内容
为了克服上述问题或者至少部分地解决上述问题，本发明提供一种大数据跨领域分析的深度迁移学习方法。
根据本发明的一个方面，提供一种大数据跨领域分析的深度迁移学习方法，包括：确定第一联合概率分布与第二联合概率分布之间的联合分布差异，第一联合概率分布为源域的样本在深度网络的所有任务相关层中的特征以及标签之间的联合概率分布，第二联合概率分布为目标域的样本在深度网络的所有任务相关层中的特征以及标签之间的联合概率分布，任务相关层为深度网络的上层；确定对源域的样本的分类错误率；根据联合分布差异和分类错误率，确定深度网络的损失函数的值；基于损失函数的值，更新深度网络的参数，以使深度网络适配目标域。
其中，确定第一联合概率分布与第二联合概率分布之间的联合分布差异，包括：确定第一联合概率分布，确定第二联合概率分布；通过计算第一联合概率分布和第二联合概率分布在可再生核希尔伯特空间中的核嵌入之间的欧式距离的平方，获取联合分布差异；其中，联合概率分布在可再生核希尔伯特空间中的核嵌入的表达式如下：
上式中，x表示样本在任务相关层中的特征，φ(x)表示样本在任务相关层中的特征在可再生核希尔伯特空间的映射函数，ΩX表示样本在任务相关层中的特征的定义域，y表示标签，ψ(y)表示标签在可再生核希尔伯特空间的映射函数，ΩY表示标签的定义域，P(x，y)表示样本在任务相关层中的特征以及标签之间的联合概率分布。
其中，确定第一联合概率分布，包括：将源域的样本输入到深度网络作正向传播，获取源域的样本在深度网络的每一任务相关层中的特征；将源域的样本在深度网络的所有任务相关层中的特征和源域的标签作为第一数据集，将第一数据集满足的概率分布作为第一联合概率分布。
其中，确定第二联合概率分布，包括：将目标域的样本输入到深度网络作正向传播，获取目标域的样本在深度网络的每一任务相关层中的特征，输出对目标域中缺少标签的样本的预测标签；将目标域的样本在深度网络的所有任务相关层中的特征、目标域的标签和预测标签作为第二数据集，将第二数据集满足的概率分布作为第二联合概率分布。
其中，确定对源域的样本的分类错误率，包括：将源域的样本输入到深度网络，输出对源域的样本的预测结果；根据深度网络对源域的样本的预测结果的条件概率确定分类错误率。
其中，基于损失函数的值，更新深度网络的参数，包括：判断损失函数的值是否收敛至满意值；若确定损失函数的值未收敛至满意值，则利用反向传播算法更新深度网络的参数；基于更新参数后的深度网络，重新确定损失函数的值，并重新判断损失函数的值是否收敛至满意值，若确定损失函数的值未收敛至满意值，利用反向传播算法重新更新深度网络的参数，直至确定损失函数的值收敛至满意值或者更新深度网络的参数的次数达到预设值。
本发明的另一方面，提供一种深度网络的迁移学习装置，包括：至少一个处理器；以及与处理器通信连接的至少一个存储器，其中：存储器存储有可被处理器执行的程序指令，处理器调用程序指令以执行上述的方法。
本发明的又一方面，提供一种计算机程序产品，该计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，该计算机程序包括程序指令，当该程序指令被计算机执行时，使计算机执行上述的方法。
本发明的又一方面，提供一种非暂态计算机可读存储介质，该非暂态计算机可读存储介质存储计算机程序，该计算机程序使计算机执行上述的方法。
本发明提供的一种大数据跨领域分析的深度迁移学习方法，通过根据联合分布差异和分类错误率，确定深度网络的损失函数的值，其中，联合分布差异为第一联合概率分布与第二联合概率分布之间的分布差异，第一联合概率分布为源域的样本在深度网络的所有任务相关层中的特征以及标签之间的联合概率分布，第二联合概率分布为目标域的样本在深度网络的所有任务相关层中的特征以及标签之间的联合概率分布；并基于损失函数的值，更新深度网络的参数，以使深度网络适配目标域；从而在对深度网络的迁移学习过程中，将联合分布差异作为深度网络的损失函数的值的组成部分，通过更新深度网络的参数，在保证源域准确率的同时实现源域和目标域联合分布的匹配，即提高了所有任务相关层的迁移能力，从而给深度网络在不同领域间的迁移学习带来更好的效果。
附图说明
为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为根据本发明实施例的大数据跨领域分析的深度迁移学习方法的流程图；
图2为根据本发明另一实施例的大数据跨领域分析的深度迁移学习方法的流程图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
在本发明的一个实施例中，参考图1，提供一种大数据跨领域分析的深度迁移学习方法，包括：S11，确定第一联合概率分布与第二联合概率分布之间的联合分布差异，第一联合概率分布为源域的样本在深度网络的所有任务相关层中的特征以及标签之间的联合概率分布，第二联合概率分布为目标域的样本在深度网络的所有任务相关层中的特征以及标签之间的联合概率分布，任务相关层为深度网络的上层；S12，确定对源域的样本的分类错误率；S13，根据联合分布差异和分类错误率，确定深度网络的损失函数的值；S14，基于损失函数的值，更新深度网络的参数，以使深度网络适配目标域。
具体的，深度网络在学习过程存在着一个关键的问题：一些新出现的领域中的大量训练数据非常难以得到。深度网络需要每个领域都标定大量训练数据，这将会耗费大量的人力与物力，而没有大量的标记数据，会使得很多与学习相关研究与应用无法开展，这往往需要去重新标记大量的训练数据以满足训练的需要，但标注新数据是非常昂贵的，需要大量的人力与物力；从另外一个角度上看，对于大量的、在不同分布下的训练数据，完全丢弃这些数据也是非常浪费的，因此有必要将源域(即包含大量的标记数据的领域)的知识迁移到目标域(即缺少标记数据的领域)中，通常被称为迁移学习。
对于深度网络在传统意义上的训练，通常引入损失函数，损失函数度量的是预测值与真实值之间的差异；在深度网络的迁移学习过程中，也可以引入一个损失函数，在度量预测值与真实值之间的差异的同时还需要能够度量迁移学习的效果。
然而，源域与目标域的数据服从不同的概率分布，仅将传统意义上的损失函数作为迁移学习过程中的损失函数，并不能使迁移学习达到很好的效果。
深度网络往往包括多层结构，而特征的迁移能力在深度网络的中间层显著弱化，在深度网络的上层严重降低，深度网络的中间层和上层，特别是上层是影响深度网络迁移效果的主要因素；选择合适的任务相关层，可将深度网络的上层以及部分中间层作为任务相关层，获取源域与目标域在深度网络的所有任务相关层中的特征以及标签的联合概率分布之间的差异，将源域与目标域在深度网络的所有任务相关层中的特征以及标签的联合概率分布之间的差异作为迁移学习过程中的损失函数的一部分，可以提高迁移学习的效果。
本实施例中，确定深度网络对源域和目标域中已标记的样本的分类错误率，该分类错误率度量的是预测值与真实值之间的差异，相当于传统意义上的损失函数；确定第一联合概率分布与第二联合概率分布之间的联合分布差异，该第一联合概率分布为源域的样本在深度网络的所有任务相关层中的特征以及标签之间的联合概率分布，该第二联合概率分布为目标域的样本在深度网络的所有任务相关层中的特征以及标签之间的联合概率分布；由分类错误率和联合分布差，确定深度网络的损失函数，并以此更新深度网络的参数，能使深度网络更适配目标域，并可以达到对目标域的样本更好的分类效果。
在由分类错误率和联合分布差，确定深度网络的损失函数时，将分类错误率和联合分布差之和作为深度网络的损失函数，并引入权衡系数，使损失函数更准确，损失函数的表达式可表示如下：
其中，J(f(Xs)，Ys)为深度网络对源域的样本的分类错误率；为联合分布差异，是任务相关层的集合，λ是权衡系数。
本实施例在对深度网络的迁移学习过程中，将联合分布差异作为深度网络的损失函数的值的组成部分，通过更新深度网络的参数，在保证源域准确率的同时实现源域和目标域联合分布的匹配，即提高了任务相关层的迁移能力，从而给深度网络在不同领域间的迁移学习带来更好的效果。
基于以上实施例，确定第一联合概率分布与第二联合概率分布之间的联合分布差异，包括：确定第一联合概率分布，确定第二联合概率分布；通过计算第一联合概率分布和第二联合概率分布在可再生核希尔伯特空间中的核嵌入之间的欧式距离的平方，获取联合分布差异；其中，联合概率分布在可再生核希尔伯特空间中的核嵌入的表达式如下：
上式中，x表示样本在任务相关层中的特征，φ(x)表示样本在任务相关层中的特征在可再生核希尔伯特空间的映射函数，ΩX表示样本在任务相关层中的特征的定义域，y表示标签，ψ(y)表示标签在可再生核希尔伯特空间的映射函数，ΩY表示标签的定义域，P(x，y)表示样本在任务相关层中的特征以及标签之间的联合概率分布。
其中，确定第一联合概率分布，包括：将源域的样本输入到深度网络作正向传播，获取源域的样本在深度网络的每一任务相关层中的特征；将源域的样本在深度网络的所有任务相关层中的特征和源域的标签作为第一数据集，将第一数据集满足的概率分布作为第一联合概率分布。
其中，确定第二联合概率分布，包括：将目标域的样本输入到深度网络作正向传播，获取目标域的样本在深度网络的每一任务相关层中的特征，输出对目标域中缺少标签的样本的预测标签；将目标域的样本在深度网络的所有任务相关层中的特征、目标域的标签和预测标签作为第二数据集，将第二数据集满足的概率分布作为第二联合概率分布。
具体的，依据分布核嵌入理论，每个概率分布都被表达为可再生核希尔伯特空间中的一个元素。记X和Y是定义域分别为ΩX和ΩY的随机变量，其联合概率分布为P(X，Y)。对于定义域ΩX×ΩX上的核函数kφ和定义域ΩY×ΩY上的核函数kψ，存在相应的可再生核希尔伯特空间和以及相应的特征映射和以及两个希尔伯特空间和的张量积基于以上参数，联合概率分布P(X，Y)在希尔伯特空间中的核嵌入Cφ，ψ(P)定义为：
本实施例利用联合分布差异准则，用于度量联合概率分布P(Xs，Ys)和Q(Xt，Yt)的差异，对于单一的任务相关层，其分布差异定义为概率分布P(Xs，Ys)和Q(Xt，Yt)在可再生核希尔伯特空间中的核嵌入之间的欧式距离的平方：
其中，Xs是源域在深度网络的任务相关层中的特征，Ys是源域的标签，Xt是目标域在深度网络的任务相关层中的特征，Yt是源域的标签以及预测标签，φ(·)是特征的映射函数，ψ(·)是标签的映射函数。
对应的，对于所有的任务相关层，源域和目标域在所有任务相关层中的特征以及标签的联合概率分布分别为和联合分布差异的表达式如下：
其中，是源域在深度网络的第l任务相关层中的特征，Ys是源域的标签，是目标域在深度网络的第l任务相关层中的特征，Yt是源域的标签以及预测标签，φ(·）是特征的映射函数，ψ(·）是标签的映射函数，是任务相关层的集合。
将源域和目标域对应的参数代入上式可得到联合分布差异的计算式如下：
其中，ns是源域的样本的总数量，nt是目标域的样本的总数量，是任务相关层的集合，kφ和kψ是核函数，是源域的样本在第l任务相关层中的特征，是源域的标签，是目标域的样本在第l任务相关层中的特征，是目标域的标签。
当目标域缺少标签时，采用深度网络的分类器的预测结果来替代。
基于以上实施例，确定对源域的样本的分类错误率，包括：将源域的样本输入到深度网络，输出对源域的样本的预测结果；根据深度网络对源域的样本的预测结果的条件概率确定分类错误率。
具体的，将源域的样本输入到深度网络，输出对源域的样本的预测结果，由于源域中的样本均已被标记，将预测结果与源域的对应的标签进行比较，获得分类错误率，分类错误率的具体表达式如下：
其中，ns是源域的样本的总数量，是深度网络将源域的样本预测为标签的条件概率，J(·，·)是交叉熵损失函数。
基于以上实施例，基于损失函数的值，更新深度网络的参数，包括：判断损失函数的值是否收敛至满意值；若确定损失函数的值未收敛至满意值，则利用反向传播算法更新深度网络的参数；基于更新参数后的深度网络，重新确定损失函数的值，并重新判断损失函数的值是否收敛至满意值，若确定损失函数的值未收敛至满意值，利用反向传播算法重新更新深度网络的参数，直至确定损失函数的值收敛至满意值或者更新深度网络的参数的次数达到预设值。
具体的，如图2所示，将源域和目标域的数据输入到深度网络后，得到损失函数的值，若损失函数的值收敛至满意值，该满意值可预设，则表示深度网络已经收敛至满意结果，该深度网络适用于目标域；若损失函数的值未收敛至满意值，则可利用反向传播算法重新更新深度网络的参数，并基于更新参数后的深度网络，重新将源域和目标域的数据输入到更新参数后的深度网络，并重新获得损失函数的值，再次对损失函数的值进行判断，在判断损失函数的值未收敛至满意值时，利用反向传播算法重新更新深度网络的参数；重复上述迭代过程直至损失函数的值收敛至满意值或者迭代的次数达到预设值。
作为本发明的又一实施例，提供一种大数据跨领域分析的深度迁移学习装置，包括：至少一个处理器；以及与处理器通信连接的至少一个存储器，其中：存储器存储有可被处理器执行的程序指令，处理器调用程序指令以执行上述各方法实施例所提供的方法，例如包括：确定第一联合概率分布与第二联合概率分布之间的联合分布差异，第一联合概率分布为源域的样本在深度网络的所有任务相关层中的特征以及标签之间的联合概率分布，第二联合概率分布为目标域的样本在深度网络的所有任务相关层中的特征以及标签之间的联合概率分布，任务相关层为深度网络的上层；确定对源域的样本的分类错误率；根据联合分布差异和分类错误率，确定深度网络的损失函数的值；基于损失函数的值，更新深度网络的参数，以使深度网络适配目标域。
作为本发明的又一个实施例，提供一种计算机程序产品，该计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，该计算机程序包括程序指令，当程序指令被计算机执行时，计算机能够执行上述各方法实施例所提供的方法，例如包括：确定第一联合概率分布与第二联合概率分布之间的联合分布差异，第一联合概率分布为源域的样本在深度网络的所有任务相关层中的特征以及标签之间的联合概率分布，第二联合概率分布为目标域的样本在深度网络的所有任务相关层中的特征以及标签之间的联合概率分布，任务相关层为深度网络的上层；确定对源域的样本的分类错误率；根据联合分布差异和分类错误率，确定深度网络的损失函数的值；基于损失函数的值，更新深度网络的参数，以使深度网络适配目标域。
作为本发明的又一个实施例，提供一种非暂态计算机可读存储介质，该非暂态计算机可读存储介质存储计算机程序，该计算机程序使该计算机执行上述各方法实施例所提供的方法，例如包括：确定第一联合概率分布与第二联合概率分布之间的联合分布差异，第一联合概率分布为源域的样本在深度网络的所有任务相关层中的特征以及标签之间的联合概率分布，第二联合概率分布为目标域的样本在深度网络的所有任务相关层中的特征以及标签之间的联合概率分布，任务相关层为深度网络的上层；确定对源域的样本的分类错误率；根据联合分布差异和分类错误率，确定深度网络的损失函数的值；基于损失函数的值，更新深度网络的参数，以使深度网络适配目标域。
本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过计算机程序指令相关的硬件来完成，前述的计算机程序可以存储于一计算机可读取存储介质中，该计算机程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (9)
1.一种大数据跨领域分析的深度迁移学习方法，其特征在于，包括：
确定第一联合概率分布与第二联合概率分布之间的联合分布差异，所述第一联合概率分布为源域的样本在深度网络的所有任务相关层中的特征以及标签之间的联合概率分布，所述第二联合概率分布为目标域的样本在所述深度网络的所有任务相关层中的特征以及标签之间的联合概率分布，所述任务相关层为所述深度网络的上层；
确定对所述源域的样本的分类错误率；
根据所述联合分布差异和所述分类错误率，确定所述深度网络的损失函数的值；
基于所述损失函数的值，更新所述深度网络的参数，以使所述深度网络适配所述目标域。
2.根据权利要求1所述的方法，其特征在于，所述确定第一联合概率分布与第二联合概率分布之间的联合分布差异，包括：
确定所述第一联合概率分布，确定所述第二联合概率分布；
通过计算所述第一联合概率分布和所述第二联合概率分布在可再生核希尔伯特空间中的核嵌入之间的欧式距离的平方，获取所述联合分布差异；
其中，联合概率分布在可再生核希尔伯特空间中的核嵌入的表达式如下：
<mrow>
<msub>
<mi>C</mi>
<mrow>
<mi>&phi;</mi>
<mo>,</mo>
<mi>&psi;</mi>
</mrow>
</msub>
<mrow>
<mo>(</mo>
<mi>P</mi>
<mo>)</mo>
</mrow>
<mover>
<mo>=</mo>
<mi>&Delta;</mi>
</mover>
<msub>
<mi>E</mi>
<mi>P</mi>
</msub>
<mo>&lsqb;</mo>
<mi>&phi;</mi>
<mrow>
<mo>(</mo>
<mi>X</mi>
<mo>)</mo>
</mrow>
<mo>&CircleTimes;</mo>
<mi>&psi;</mi>
<mrow>
<mo>(</mo>
<mi>Y</mi>
<mo>)</mo>
</mrow>
<mo>&rsqb;</mo>
<mo>=</mo>
<msub>
<mo>&Integral;</mo>
<mrow>
<msub>
<mi>&Omega;</mi>
<mi>X</mi>
</msub>
<mo>&times;</mo>
<msub>
<mi>&Omega;</mi>
<mi>Y</mi>
</msub>
</mrow>
</msub>
<mi>&phi;</mi>
<mrow>
<mo>(</mo>
<mi>x</mi>
<mo>)</mo>
</mrow>
<mo>&CircleTimes;</mo>
<mi>&psi;</mi>
<mrow>
<mo>(</mo>
<mi>y</mi>
<mo>)</mo>
</mrow>
<mi>d</mi>
<mi>P</mi>
<mrow>
<mo>(</mo>
<mi>x</mi>
<mo>,</mo>
<mi>y</mi>
<mo>)</mo>
</mrow>
<mo>;</mo>
</mrow>
其中，x表示样本在任务相关层中的特征，φ(x)表示样本在任务相关层中的特征在可再生核希尔伯特空间的映射函数，ΩX表示样本在任务相关层中的特征的定义域，y表示标签，ψ(y)表示标签在可再生核希尔伯特空间的映射函数，ΩY表示标签的定义域，P(x，y)表示样本在任务相关层中的特征以及标签之间的联合概率分布。
3.根据权利要求2所述的方法，其特征在于，所述确定第一联合概率分布，包括：
将所述源域的样本输入到所述深度网络作正向传播，获取所述源域的样本在所述深度网络的每一任务相关层中的特征；
将所述源域的样本在所述深度网络的所有任务相关层中的特征和所述源域的标签作为第一数据集，将所述第一数据集满足的概率分布作为所述第一联合概率分布。
4.根据权利要求2所述的方法，其特征在于，所述确定第二联合概率分布，包括：
将所述目标域的样本输入到所述深度网络作正向传播，获取所述目标域的样本在所述深度网络的每一任务相关层中的特征，输出对所述目标域中缺少标签的样本的预测标签；
将所述目标域的样本在所述深度网络的所有任务相关层中的特征、所述目标域的标签和所述预测标签作为第二数据集，将所述第二数据集满足的概率分布作为所述第二联合概率分布。
5.根据权利要求1所述的方法，其特征在于，所述确定对所述源域的样本的分类错误率，包括：
将所述源域的样本输入到所述深度网络，输出对所述源域的样本的预测结果；
根据所述深度网络对所述源域的样本的预测结果的条件概率确定所述分类错误率。
6.根据权利要求1所述的方法，其特征在于，所述基于所述损失函数的值，更新所述深度网络的参数，包括：
判断所述损失函数的值是否收敛至满意值；
若确定所述损失函数的值未收敛至满意值，则利用反向传播算法更新所述深度网络的参数；
基于更新参数后的所述深度网络，重新确定所述损失函数的值，并重新判断所述损失函数的值是否收敛至满意值，若确定所述损失函数的值未收敛至满意值，利用反向传播算法重新更新所述深度网络的参数，直至确定所述损失函数的值收敛至满意值或者更新所述深度网络的参数的次数达到预设值。
7.一种大数据跨领域分析的深度迁移学习装置，其特征在于，包括：
至少一个处理器；以及与所述处理器通信连接的至少一个存储器，其中：
所述存储器存储有可被所述处理器执行的程序指令，所述处理器调用所述程序指令以执行如权利要求1至6任一所述的方法。
8.一种计算机程序产品，其特征在于，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，使所述计算机执行如权利要求1至6任一所述的方法。
9.一种非暂态计算机可读存储介质，其特征在于，所述非暂态计算机可读存储介质存储计算机程序，所述计算机程序使所述计算机执行如权利要求1至6任一所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201711184963.1A CN107704926A (zh) | 2017-11-23 | 2017-11-23 | 一种大数据跨领域分析的深度迁移学习方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201711184963.1A CN107704926A (zh) | 2017-11-23 | 2017-11-23 | 一种大数据跨领域分析的深度迁移学习方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN107704926A true CN107704926A (zh) | 2018-02-16 |
Family
ID=61180886
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201711184963.1A Pending CN107704926A (zh) | 2017-11-23 | 2017-11-23 | 一种大数据跨领域分析的深度迁移学习方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107704926A (zh) |
Cited By (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108460415A (zh) * | 2018-02-28 | 2018-08-28 | 国信优易数据有限公司 | 伪标签生成模型训练方法及伪标签生成方法 |
| CN108460134A (zh) * | 2018-03-06 | 2018-08-28 | 云南大学 | 基于多源域集成迁移学习的文本主题分类模型及分类方法 |
| CN108520220A (zh) * | 2018-03-30 | 2018-09-11 | 百度在线网络技术（北京）有限公司 | 模型生成方法和装置 |
| CN109189921A (zh) * | 2018-08-07 | 2019-01-11 | 阿里巴巴集团控股有限公司 | 评论评估模型的训练方法和装置 |
| CN109583594A (zh) * | 2018-11-16 | 2019-04-05 | 东软集团股份有限公司 | 深度学习训练方法、装置、设备及可读存储介质 |
| CN109657159A (zh) * | 2018-12-18 | 2019-04-19 | 哈尔滨工业大学 | 舆情数据角色识别中异构关系数据的迁移学习界限的确定方法 |
| CN109800677A (zh) * | 2018-12-29 | 2019-05-24 | 西安交通大学 | 一种跨平台掌纹识别方法 |
| CN110555060A (zh) * | 2019-09-09 | 2019-12-10 | 山东省计算中心（国家超级计算济南中心） | 基于成对样本匹配的迁移学习方法 |
| WO2020082748A1 (zh) * | 2018-10-25 | 2020-04-30 | 腾讯科技（深圳）有限公司 | 一种检测模型的训练方法、装置及终端设备 |
| CN111401454A (zh) * | 2020-03-19 | 2020-07-10 | 创新奇智(重庆)科技有限公司 | 一种基于迁移学习的少样本目标识别方法 |
| CN111626376A (zh) * | 2020-06-08 | 2020-09-04 | 北京邮电大学 | 一种基于判别联合概率的域适配方法及系统 |
| CN112330488A (zh) * | 2020-11-05 | 2021-02-05 | 贵州电网有限责任公司 | 基于迁移学习的电网频率态势预测方法 |
| WO2021036397A1 (zh) * | 2019-08-30 | 2021-03-04 | 华为技术有限公司 | 目标神经网络模型的生成方法和装置 |
| CN112463640A (zh) * | 2020-12-15 | 2021-03-09 | 武汉理工大学 | 一种基于联合概率域适应的跨项目软件老化缺陷预测方法 |
| WO2021253666A1 (zh) * | 2020-06-19 | 2021-12-23 | 广东浪潮智慧计算技术有限公司 | 一种流场数据可视化方法、装置、设备及存储介质 |
-
2017
- 2017-11-23 CN CN201711184963.1A patent/CN107704926A/zh active Pending
Cited By (24)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108460415B (zh) * | 2018-02-28 | 2021-06-15 | 国信优易数据股份有限公司 | 一种语种识别方法 |
| CN108460415A (zh) * | 2018-02-28 | 2018-08-28 | 国信优易数据有限公司 | 伪标签生成模型训练方法及伪标签生成方法 |
| CN108460134A (zh) * | 2018-03-06 | 2018-08-28 | 云南大学 | 基于多源域集成迁移学习的文本主题分类模型及分类方法 |
| CN108520220A (zh) * | 2018-03-30 | 2018-09-11 | 百度在线网络技术（北京）有限公司 | 模型生成方法和装置 |
| CN108520220B (zh) * | 2018-03-30 | 2021-07-09 | 百度在线网络技术（北京）有限公司 | 模型生成方法和装置 |
| CN109189921B (zh) * | 2018-08-07 | 2021-09-07 | 创新先进技术有限公司 | 评论评估模型的训练方法和装置 |
| CN109189921A (zh) * | 2018-08-07 | 2019-01-11 | 阿里巴巴集团控股有限公司 | 评论评估模型的训练方法和装置 |
| US11315677B2 (en) | 2018-10-25 | 2022-04-26 | Tencent Technology (Shenzhen) Company Limited | Detection model training method and apparatus, and terminal device |
| WO2020082748A1 (zh) * | 2018-10-25 | 2020-04-30 | 腾讯科技（深圳）有限公司 | 一种检测模型的训练方法、装置及终端设备 |
| US11817206B2 (en) | 2018-10-25 | 2023-11-14 | Tencent Technology (Shenzhen) Company Limited | Detection model training method and apparatus, and terminal device |
| CN109583594B (zh) * | 2018-11-16 | 2021-03-30 | 东软集团股份有限公司 | 深度学习训练方法、装置、设备及可读存储介质 |
| CN109583594A (zh) * | 2018-11-16 | 2019-04-05 | 东软集团股份有限公司 | 深度学习训练方法、装置、设备及可读存储介质 |
| CN109657159A (zh) * | 2018-12-18 | 2019-04-19 | 哈尔滨工业大学 | 舆情数据角色识别中异构关系数据的迁移学习界限的确定方法 |
| CN109800677A (zh) * | 2018-12-29 | 2019-05-24 | 西安交通大学 | 一种跨平台掌纹识别方法 |
| WO2021036397A1 (zh) * | 2019-08-30 | 2021-03-04 | 华为技术有限公司 | 目标神经网络模型的生成方法和装置 |
| CN110555060B (zh) * | 2019-09-09 | 2023-05-02 | 山东省计算中心（国家超级计算济南中心） | 基于成对样本匹配的迁移学习方法 |
| CN110555060A (zh) * | 2019-09-09 | 2019-12-10 | 山东省计算中心（国家超级计算济南中心） | 基于成对样本匹配的迁移学习方法 |
| CN111401454A (zh) * | 2020-03-19 | 2020-07-10 | 创新奇智(重庆)科技有限公司 | 一种基于迁移学习的少样本目标识别方法 |
| CN111626376A (zh) * | 2020-06-08 | 2020-09-04 | 北京邮电大学 | 一种基于判别联合概率的域适配方法及系统 |
| WO2021253666A1 (zh) * | 2020-06-19 | 2021-12-23 | 广东浪潮智慧计算技术有限公司 | 一种流场数据可视化方法、装置、设备及存储介质 |
| CN112330488A (zh) * | 2020-11-05 | 2021-02-05 | 贵州电网有限责任公司 | 基于迁移学习的电网频率态势预测方法 |
| CN112330488B (zh) * | 2020-11-05 | 2022-07-05 | 贵州电网有限责任公司 | 基于迁移学习的电网频率态势预测方法 |
| CN112463640A (zh) * | 2020-12-15 | 2021-03-09 | 武汉理工大学 | 一种基于联合概率域适应的跨项目软件老化缺陷预测方法 |
| CN112463640B (zh) * | 2020-12-15 | 2022-06-03 | 武汉理工大学 | 一种基于联合概率域适应的跨项目软件老化缺陷预测方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107704926A (zh) | 一种大数据跨领域分析的深度迁移学习方法 | |
| CN109934330A (zh) | 基于多样化种群的果蝇优化算法来构建预测模型的方法 | |
| CN112861012B (zh) | 基于上下文和用户长短期偏好自适应学习的推荐方法及装置 | |
| CN108376132A (zh) | 相似试题的判定方法及系统 | |
| CN112184391A (zh) | 一种推荐模型的训练方法、介质、电子设备和推荐模型 | |
| CN114037084B (zh) | 量子测量设备校准方法及装置、电子设备和介质 | |
| CN115204352B (zh) | 信息处理装置、信息处理方法和存储介质 | |
| CN109242552A (zh) | 一种基于大数据的商铺定位方法 | |
| CN110675912A (zh) | 一种基于结构预测的基因调控网络构建方法 | |
| CN105550393A (zh) | 一种支持方案快速生成的枪械变型设计方法 | |
| CN105447566A (zh) | 训练装置、训练方法以及检测装置 | |
| CN111461329B (zh) | 一种模型的训练方法、装置、设备及可读存储介质 | |
| CN114462292A (zh) | 一种基于sqp算法的电路参数优化方法 | |
| CN110009161A (zh) | 供水预测方法及装置 | |
| CN115759183B (zh) | 一种多结构文本图神经网络的相关方法和相关装置 | |
| JP7040786B2 (ja) | 影響力評価システム | |
| CN116304884B (zh) | 航天器遥测数据健康预测方法、系统、设备及存储介质 | |
| Ambjorn et al. | Topology induced first-order phase transitions in lattice quantum gravity | |
| CN116167446B (zh) | 量子计算处理方法、装置及电子设备 | |
| WO2023173805A1 (zh) | 一种材料性能识别方法、系统、设备及存储介质 | |
| US7441213B2 (en) | Method for testing the validity of initial-condition statements in circuit simulation, and correcting inconsistencies thereof | |
| Valdez et al. | A meta-heuristic for topology optimization using probabilistic learning | |
| CN115048290A (zh) | 软件质量的评估方法、装置、存储介质及计算机设备 | |
| CN115455899A (zh) | 一种基于图神经网络的解析布局方法 | |
| Yin et al. | Adaptive switching control based on limited multiple models |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20180216 |