CN109948741A - 一种迁移学习方法及装置 - Google Patents
一种迁移学习方法及装置 Download PDFInfo
- Publication number
- CN109948741A CN109948741A CN201910161120.2A CN201910161120A CN109948741A CN 109948741 A CN109948741 A CN 109948741A CN 201910161120 A CN201910161120 A CN 201910161120A CN 109948741 A CN109948741 A CN 109948741A
- Authority
- CN
- China
- Prior art keywords
- subsequence
- source domain
- aiming field
- losses
- label
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Image Analysis (AREA)
Abstract
本发明实施例提供一种迁移学习方法及装置，该方法包括：获取预处理后的子序列和密集预测网络模型，预处理后的子序列包括源域子序列和目标域子序列；将源域子序列和目标域子序列分批次输入密集预测网络模型，得到全局移位损失；获取源域标签和目标域伪标签，基于余弦距离损失和滑动平均方法，根据源域标签和目标域伪标签进行对应类别质心对齐，得到对应类别移位损失；根据全局移位损失和对应类别移位损失得到总损失，根据总损失更新密集预测网络模型。本发明实施例提供的迁移学习方法及装置，提出一种多层次无监督域适应的方法，完成边缘分布和条件分布的对齐，实现对时间序列数据密集预测模型的迁移，性能更优越。
Description
技术领域
本发明涉及神经网络领域，尤其涉及一种迁移学习方法及装置。
背景技术
随着可穿戴便捷式传感器设备的快速发展和广泛普及，基于传感器数据的人体行为识别目前已广泛地应用于行为监控、健康监测、智能家居、睡眠监测等领域，具有良好的应用前景。目前深度学习方法广泛地应用于基于传感器数据的人体行为识别，该方法从传感器产生的时间序列数据中提取抽象的模式信息，从而实现高准确率的人体行为识别。密集预测是目前性能最优的人体行为识别方法，考虑到人体各行为的持续时间不同且行为的确切界限难以定义，导致最佳的滑动窗口尺寸难以确定，而密集预测的HAR通过对时间序列进行逐个采样点的预测，避免了时间序列进行滑窗分割所带来的多类窗口问题，实现高精度的分类。
但是该方法依赖于大量的标记数据，而大规模地对传感器数据进行标记的代价是非常昂贵的。另外，当基于深度学习的人体行为识别模型在指定的数据源上进行训练之后，将其用于新的数据源上进行测试，例如采集自不同的放置位置、不同模态、不同用户的传感器的数据源，由于新的数据源与源数据源之间分布不同，模型的识别性能会显著下降。此时，迁移学习的方法就显得尤为重要了，迁移学习的方法可以减轻深度学习中需要大量标记数据的负担，并解决由不同域之间的分布差异引起的域移位问题。
现有的迁移学习方法大多应用于图像领域，主要用于图像识别领域。现有的较为常用的迁移学习方法有以下几种：深度域混淆(Deep Domain Confusion，DDC)是在深度神经网络的全连接层之后加入使用线性核最大平均误差的自适应层，实现最大域不变性。深度适应网络(Deep Adaptation Network，DAN)是在深度神经网络的全连接层之后加入多核最大平均误差的自适应层，通过将提取的特征嵌入到再生核希尔伯特空间实现学习可迁移的特征，从而实现深度域适应。联合适应网络(Joint Adaptation Networks，JAN)是在深度神经网络的全连接之后加入联合最大平均误差的自适应层，实现联合分布对齐。反向梯度(Reverse Gradient，RevGard)域适应方法是通过在深度神经网络全连接之后加入域鉴别器，通过梯度反转层和对抗训练，实现学习源域和目标域域不变特征。
而目前应用于人体行为识别的密集预测的迁移学习方法还存在空白，现有的迁移学习方法未充分考虑密集预测模型特有的深度神经网络结构以及其对每个时间点数据进行细粒度识别的特点，对时间序列数据进行密集预测的迁移效果不理想。
发明内容
本发明实施例为克服上述技术缺陷，提供一种迁移学习方法及装置。
第一方面，本发明实施例提供一种迁移学习方法，包括：
获取预处理后的子序列和密集预测网络模型，所述预处理后的子序列包括源域子序列和目标域子序列；
将所述源域子序列和所述目标域子序列分批次输入所述密集预测网络模型，得到全局移位损失；
获取源域标签和目标域伪标签，基于余弦距离损失和滑动平均方法，根据所述源域标签和所述目标域伪标签进行对应类别质心对齐，得到对应类别移位损失；
根据所述全局移位损失和所述对应类别移位损失得到总损失，根据所述总损失更新所述密集预测网络模型。
第二方面，本发明实施例提供一种迁移学习装置，包括：
获取模块，用于获取预处理后的子序列和密集预测网络模型，所述预处理后的子序列包括源域子序列和目标域子序列；
第一处理模块，用于将所述源域子序列和所述目标域子序列分批次输入所述密集预测网络模型，得到全局移位损失；
损失计算模块，用于获取源域标签和目标域伪标签，基于余弦距离损失和滑动平均方法，根据所述源域标签和所述目标域伪标签进行对应类别质心对齐，得到对应类别移位损失；
第二处理模块，用于根据所述全局移位损失和所述对应类别移位损失得到总损失，根据所述总损失更新所述密集预测网络模型。
第三方面，本发明实施例提供一种电子设备，包括存储器和处理器，所述处理器和所述存储器通过总线完成相互间的通信；所述存储器存储有可被所述处理器执行的程序指令，所述处理器调用所述程序指令能够执行如第一方面所述的一种迁移学习方法。
第四方面，本发明实施例提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如第一方面所述一种迁移学习方法。
本发明实施例提供的一种迁移学习方法及装置，利用源域丰富的密集标签数据实现对目标域无标签数据的密集预测，提出一种多层次无监督域适应的方法，通过结合全局域适应和特定任务适应，对源域和目标域进行多层次适应，完成边缘分布和条件分布的对齐，从而实现对时间序列数据进行密集预测模型的迁移，执行迁移任务的性能更优越，平均准确率更高。
附图说明
图1为本发明实施例提供的一种迁移学习方法的流程示意图；
图2为本发明实施例提供的基于U-Net的人体行为识别密集预测模型的深度神经网络结构图；
图3为本发明实施例提供的一种迁移学习装置的结构示意图；
图4为本发明实施例提供的一种电子设备的实体结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
图1为本发明实施例提供的一种迁移学习方法的流程示意图，如图1所示，包括：
步骤11，获取预处理后的子序列和密集预测网络模型，所述预处理后的子序列包括源域子序列和目标域子序列；
步骤12，将所述源域子序列和所述目标域子序列分批次输入所述密集预测网络模型，得到全局移位损失；
步骤13，获取源域标签和目标域伪标签，基于余弦距离损失和滑动平均方法，根据所述源域标签和所述目标域伪标签进行对应类别质心对齐，得到对应类别移位损失；
步骤14，根据所述全局移位损失和所述对应类别移位损失得到总损失，根据所述总损失更新所述密集预测网络模型。
本发明实施例提供了一种用于密集预测的的迁移学习方法，利用源域丰富的密集标签数据实现对目标域无标签数据的密集预测。整个过程分为三个部分：(1)密集预测；(2)全局域适应；(3)特定任务适应。
密集预测阶段包括构建用于人体行为识别密集预测的深度神经网络模型以及输入数据的处理。构建密集预测网络模型可以使用全卷积网络(FCN)、U型网络(U-Net)、自动编码器网络等编解码器网络。考虑到密集预测网络模型无法将整个长时间序列作为网络输入，输入数据的处理主要是包括生成子序列，将长时间序列按照不重叠的滑动分割的方式分成若干个子序列，子序列中每一个采样点对应一个标签。
全局域适应阶段通过对密集预测网络模型中编码器和解码器输出的特征进行多层适应，实现多连接的全局域适应。使用多核最大均值差异(Multi-Kernel Maximum MeanDiscrepancy，MK-MMD)作为全局移位损失。仅对网络的最后一层进行域适应，迁移效果可能并不理想，特别是对于像素级别分类的情况。因此，提出了一种多连接的全局域适应架构，同时对编码器和解码器输出的特征进行适应。通过多层的适应，提高自适应层的性能，从而提高域适应的能力。
特定任务适应阶段通过引入余弦距离损失和滑动平均方法，进行各类别质心对齐，从而实现局部特定任务适应。考虑到目标域没有标签，本发明实施例使用训练分类器为目标域样本分配的伪标签来进行特定类别对齐，从而实现特定任务适应。考虑到伪标签可能是错误标签，从而会导致错误类别对齐，严重损害适应性能。因此，提出对应类质心余弦距离损失作为对应类别移位损失值。通过使用类别质心进行对齐，目标域中每个类别的质心会同时使用正确的伪标签和错误的伪标签的信息，正确的伪标签会中和错误的伪标签对域适应的损害。通过使用余弦距离损失，避免由源域和目标域各自的分布以及量纲差异造成损失值波动较大的问题。
本发明实施例提供的一种迁移学习方法，利用源域丰富的密集标签数据实现对目标域无标签数据的密集预测，提出一种多层次无监督域适应的方法，通过结合全局域适应和特定任务适应，对源域和目标域进行多层次适应，完成边缘分布和条件分布的对齐，从而实现对时间序列数据进行密集预测模型的迁移，执行迁移任务的性能更优越，平均准确率更高。
在上述实施例的基础上，在所述获取预处理后的子序列和密集预测网络模型之前，所述方法还包括：
获取源域数据和目标域数据；
基于不重叠滑动方式，根据所述源域数据得到所述源域子序列，根据所述目标域数据得到所述目标域子序列。
本发明实施例中，需要对子序列进行预处理，即首先获取源域数据和目标域数据，然后基于不重叠滑动方式，来根据源域数据和目标域数据，得到源域子序列和目标域子序列。
在上述任一实施例的基础上，所述密集预测网络模型通过全卷积网络、U型网络或自动编码器网络构建得到。全卷积网络是将传统卷积神经网络中的全连接层转化为一个个的卷积层，由于所有的层都是卷积层，故称为全卷积网络。全卷积网络有两大明显的优点：一是可以接受任意大小的输入图像，而不用要求所有的训练图像和测试图像具有同样的尺寸。二是更加高效，因为避免了由于使用像素块而带来的重复存储和计算卷积的问题。U型网络即U-Net卷积神经网络，主要有两部分组成：收缩路径和扩展路径。搜索路径主要是用来捕捉图片中的上下文信息，而与之相对称的扩展路径则是为了对图片中所需要分割出来的部分进行精准定位。
在全局域适应阶段，通过对密集预测的网络模型中编码器和解码器输出的特征进行多层适应，实现多连接的全局域适应。使用多核最大均值差异作为全局域移位损失。仅对网络的最后一层进行域适应，迁移效果可能并不理想，特别是对于像素级别分类的情况。因此，提出了一种多连接的全局域适应架构，同时对编码器和解码器输出的特征进行适应。通过多层的适应，提高自适应层的性能，从而提高域适应的能力。
Lgd(xs,xt)＝LMK-MMD(E(xs),E(xt))+LMK-MMD(D(xs),D(xt))，
其中，Lgd(xs,xt)为所述全局移位损失，xs和xt分别表示所述源域子序列和所述目标域子序列，LMK-MMD表示多核最大均值差异损失，E(xs)和E(xt)分别表示所述源域子序列、所述目标域子序列经编码器网络所提取的特征，D(xs)和D(xt)分别表示所述源域子序列、所述目标域子序列通过解码器网络后所输出的结果。MK-MMD的计算公式如下：
其中，
所述对应类别移位损失，具体为：
其中，Lcd为所述对应类别移位损失，Gk(xs)和Gk(xt)分别表示源域和目标域的质心，φ(x1,x2)用于计算质心距离，
特定任务适应阶段，通过引入余弦距离损失和滑动平均方法，进行各类别质心对齐，从而实现局部特定任务适应。考虑到目标域没有标签，使用训练分类器为目标域样本分配的伪标签来进行特定类别对齐，从而实现特定任务适应。考虑到伪标签可能是错误标签，从而会导致错误类别对齐，严重损害适应性能。因此，提出对应类质心余弦距离损失作为对应类别移位损失值。通过使用类别质心进行对齐，目标域中每个类别的质心会同时使用正确的伪标签和错误的伪标签的信息，正确的伪标签会中和错误的伪标签对域适应的损害。通过使用余弦距离损失，避免由源域和目标域各自的分布以及量纲差异造成损失值波动较大的问题。提出特定类别质心对齐损失目标：
其中，Lcd为所述对应类别移位损失，Gk(xs)和Gk(xt)分别表示源域和目标域的质心，φ(x1,x2)用于计算质心距离，
以使用U-Net网络作为密集预测网络模型为例，图2为本发明实施例提供的基于U-Net的人Ns体行为识别密集预测模型的深度神经网络结构图，如图2所示，所使用的网络结构共28层卷积层，分为编码器网络、解码器网络和分类器网络两部分。编码器网络的每一层主要由2个卷积层和1个池化层组成，共6层。编码器网络的每一层与解码器网络层次对应，解码网络的每一层主要由1个的上卷积层和2个卷积层组成。最后，通过由1层卷积层和Softmax分类器组成的分类器网络，得到具有与输入时间序列长度相同的稠密标签预测结果。
本发明实施例的具体实施时算法流程如下：
步骤一，输入源域数据和目标域数据以及源域预训练的密集预测网络模型；
步骤二，使用源域预训练模型初始化密集预测模型的参数，初始化源域和目标域的各类质心和子序列滑动分割起始点p0＝0；
步骤三，使用不重叠滑动方式，生成源域子序列{xs[1,pt:pt+N,Ts]}，{ys[1,pt:pt+N,Ts]}，目标域子序列{xt[1,pt:pt+N,Tt]}，其中pt∈{pt|pt＝pt-1+N}；
步骤四，将源域和目标域子序列数据分成小批次输入密集预测模型，计算全局移位损失Lg，以及有监督的分类损失；
步骤五，利用输入的源域标签和密集预测模型得到的目标域伪标签计算出源域和目标域当前批次中第k类的质心，其中源域当前批次中第k类的质心为目标域当前批次中第k类的质心为其中，分别表示源域和目标域前一批次中第k类的质心，Cs(xs,i)和CT(xs,i)分别表示源域和目标域当前批次中分类器的输出；
步骤六，重复步骤五直到得到了所有类别的质心；
步骤七，计算对应类移位损失Lc，对有监督的源域损失、全局域移位损失和对应类移位损失加和得到总损失经反向传播后更新密集预测模型的参数；
步骤八，重复步骤四-七直到完成训练过程中所有的迭代；
步骤九，在目标域测试数据集上对密集预测模型进行测试，返回目标域密集预测标签以及测试的准确率。
进一步的，本发明实施例评估了迁移学习框架在三个公开数据集上：OPPORTUNITYdataset(OPP)、UCI daily and sports dataset(DSADS)和PAMAP dataset。OPPORTUNITY数据集利用放置在Back(B)，Right Upper Arm(RUA)，Right Left Arm(RLA)，Left Upper Arm(LLA)，Left Lower Arm(LLA)这五个位置的传感器，对2名志愿者进行4种行为的数据。UCIdaily and sports dataset(DSADS)利用放置在Right Arm(RA)，Left Arm(LA)，Right Leg(RL)，Left Leg(LL)，Torso(T)这五个位置的传感器，对8名志愿者进行19种日常行为的数据采集。PAMAP数据集利用放置在Hand(H)，Chest(C)，Ankle(A)这三个位置的传感器，对9名志愿者进行共18类行为的数据采集。这三个数据集使用的传感器都是Inertialmeasurement unit(IMU)，产生九轴数据。
为了全面得评估本发明实施例的迁移方法的性能，在两种迁移场景下进行实验：1)相似场景：源域和目标域数据采集相同的用户相近放置位置的传感器，例如同一个用户左右手之间的迁移，利用同一数据集中相近位置传感器数据来构建同一场景下的迁移任务。表1为在不同的迁移任务下的分类准确率。在OPPORTUNITY数据集和DSADS数据集中构造6组迁移任务，见表1。2)不同场景：源域和目标域数据采集相同用户或者不同用户的放置位置不相关的传感器，利用同一数据集和不同数据集中不相关放置位置的传感器数据来构造8组迁移任务，见表1。这两种迁移场景代表域之间不同层次的差异。使用S→T表示一组迁移任务，S表示是源域有标签的传感器数据，T表示目标域无标签的传感器数据。
需要说明的是本发明实施例的假设是源域和目标域是共享相同的标签空间，考虑到不同数据集中包含的行为类别，本发明实施例所有的迁移任务实验数据只使用三个数据集共有动作类别的数据：Sitting，Standing，Lying，Walking。
本发明实施例使用Pytorch框架，所有实验都使用源域数据预训练的模型，各种迁移学习方法在预训练模型上进行微调。使用随机梯度下降SGD，动量设置为0.9。学习率和trade-off参数λ设置采用JAN中的策略，并设置λ＝γ。BatchSize设置为32。源域数据都是有标签的，目标域数据分成70％无标签训练数据，30％为有标签的测试集，标签数据只在测试时使用，仅用来评估算法的准确率。
表1分类准确率(％)在不同的迁移任务
根据上表可观察到本发明实施例中的所提出的方法相对于直接使用源域预训练模型(U-Net only)来执行迁移任务，平均准确率提升了20％，并且在大多数的迁移任务中都比其他所有对比的迁移方法(DAN，DDC，JAN，RevGrad)的性能更优越，平均准确率提升了10％～18％。因此，本发明实施例提出的方法比其他的对比的方法都更能有效。
本发明实施例提供的一种迁移学习方法，利用源域丰富的密集标签数据实现对目标域无标签数据的密集预测，提出一种多层次无监督域适应的方法，通过结合全局域适应和特定任务适应，对源域和目标域进行多层次适应，完成边缘分布和条件分布的对齐，从而实现对时间序列数据进行密集预测模型的迁移，执行迁移任务的性能更优越，平均准确率更高。
图3为本发明实施例提供的一种迁移学习装置的结构示意图，如图3所示，包括获取模块31、第一处理模块32、损失计算模块33和第二处理模块34，其中：
获取模块31用于获取预处理后的子序列和密集预测网络模型，所述预处理后的子序列包括源域子序列和目标域子序列；
第一处理模块32用于将所述源域子序列和所述目标域子序列分批次输入所述密集预测网络模型，得到全局移位损失；
损失计算模块33用于获取源域标签和目标域伪标签，基于余弦距离损失和滑动平均方法，根据所述源域标签和所述目标域伪标签进行对应类别质心对齐，得到对应类别移位损失；
第二处理模块34用于根据所述全局移位损失和所述对应类别移位损失得到总损失，根据所述总损失更新所述密集预测网络模型。
本发明实施例提供了一种用于密集预测的的迁移学习装置，利用源域丰富的密集标签数据实现对目标域无标签数据的密集预测。整个过程分为三个部分：(1)密集预测；(2)全局域适应；(3)特定任务适应。
密集预测阶段包括获取模块31构建用于人体行为识别密集预测的深度神经网络模型以及输入数据的处理。构建密集预测网络模型可以使用全卷积网络(FCN)、U型网络(U-Net)、自动编码器网络等编解码器网络。考虑到密集预测网络模型无法将整个长时间序列作为网络输入，输入数据的处理主要是包括生成子序列，将长时间序列按照不重叠的滑动分割的方式分成若干个子序列，子序列中每一个采样点对应一个标签。
全局域适应阶段第一处理模块32通过对密集预测网络模型中编码器和解码器输出的特征进行多层适应，实现多连接的全局域适应。损失计算模块33使用多核最大均值差异(Multi-Kernel Maximum Mean Discrepancy，MK-MMD)作为全局移位损失。仅对网络的最后一层进行域适应，迁移效果可能并不理想，特别是对于像素级别分类的情况。因此，提出了一种多连接的全局域适应架构，同时对编码器和解码器输出的特征进行适应。通过多层的适应，提高自适应层的性能，从而提高域适应的能力。
特定任务适应阶段通过引入余弦距离损失和滑动平均方法，进行各类别质心对齐，从而实现局部特定任务适应。考虑到目标域没有标签，本发明实施例使用训练分类器为目标域样本分配的伪标签来进行特定类别对齐，从而实现特定任务适应。考虑到伪标签可能是错误标签，从而会导致错误类别对齐，严重损害适应性能。因此，提出对应类质心余弦距离损失作为对应类别移位损失值。第二处理模块34通过使用类别质心进行对齐，目标域中每个类别的质心会同时使用正确的伪标签和错误的伪标签的信息，正确的伪标签会中和错误的伪标签对域适应的损害。通过使用余弦距离损失，避免由源域和目标域各自的分布以及量纲差异造成损失值波动较大的问题。
本发明实施例提供的装置是用于执行上述各方法实施例的，具体的流程和详细介绍请参见上述各方法实施例，此处不再赘述。
本发明实施例提供的一种迁移学习装置，利用源域丰富的密集标签数据实现对目标域无标签数据的密集预测，提出一种多层次无监督域适应的方法，通过结合全局域适应和特定任务适应，对源域和目标域进行多层次适应，完成边缘分布和条件分布的对齐，从而实现对时间序列数据进行密集预测模型的迁移，执行迁移任务的性能更优越，平均准确率更高。
图4为本发明实施例提供的一种电子设备的实体结构示意图，如图4所示，该电子设备可以包括：处理器(processor)410、通信接口(Communications Interface)420、存储器(memory)430和总线440，其中，处理器410，通信接口420，存储器430通过总线440完成相互间的通信。总线440可以用于电子设备与传感器之间的信息传输。处理器410可以调用存储器430中的逻辑指令，以执行如下方法：获取预处理后的子序列和密集预测网络模型，所述预处理后的子序列包括源域子序列和目标域子序列；将所述源域子序列和所述目标域子序列分批次输入所述密集预测网络模型，得到全局移位损失；获取源域标签和目标域伪标签，基于余弦距离损失和滑动平均方法，根据所述源域标签和所述目标域伪标签进行对应类别质心对齐，得到对应类别移位损失；根据所述全局移位损失和所述对应类别移位损失得到总损失，根据所述总损失更新所述密集预测网络模型。
此外，上述的存储器430中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
本发明实施例提供一种非暂态计算机可读存储介质，该非暂态计算机可读存储介质存储计算机指令，该计算机指令使计算机执行上述实施例所提供的一种迁移学习方法，例如包括：获取预处理后的子序列和密集预测网络模型，所述预处理后的子序列包括源域子序列和目标域子序列；将所述源域子序列和所述目标域子序列分批次输入所述密集预测网络模型，得到全局移位损失；获取源域标签和目标域伪标签，基于余弦距离损失和滑动平均方法，根据所述源域标签和所述目标域伪标签进行对应类别质心对齐，得到对应类别移位损失；根据所述全局移位损失和所述对应类别移位损失得到总损失，根据所述总损失更新所述密集预测网络模型。
以上所述仅为本发明的优选实施例，并不用于限制本发明。本发明所属技术领域的技术人员可以对所描述的具体实施例做各种各样的修改或补充，但并不会偏离本发明的精神或者超越所附权利要求书定义的范围。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (10)
1.一种迁移学习方法，其特征在于，包括：
获取预处理后的子序列和密集预测网络模型，所述预处理后的子序列包括源域子序列和目标域子序列；
将所述源域子序列和所述目标域子序列分批次输入所述密集预测网络模型，得到全局移位损失；
获取源域标签和目标域伪标签，基于余弦距离损失和滑动平均方法，根据所述源域标签和所述目标域伪标签进行对应类别质心对齐，得到对应类别移位损失；
根据所述全局移位损失和所述对应类别移位损失得到总损失，根据所述总损失更新所述密集预测网络模型。
2.根据权利要求1所述的方法，其特征在于，在所述获取预处理后的子序列和密集预测网络模型之前，所述方法还包括：
获取源域数据和目标域数据；
基于不重叠滑动方式，根据所述源域数据得到所述源域子序列，根据所述目标域数据得到所述目标域子序列。
3.根据权利要求1所述的方法，其特征在于，所述密集预测网络模型通过全卷积网络、U型网络或自动编码器网络构建得到。
4.根据权利要求1所述的方法，其特征在于，所述全局移位损失，具体为：
Lgd(xs,xt)＝LMK-MMD(E(xs),E(xt))+LMK-MMD(D(xs),D(xt))，
其中，Lgd(xs,xt)为所述全局移位损失，xs和xt分别表示所述源域子序列和所述目标域子序列，LMK-MMD表示多核最大均值差异损失，E(xs)和E(xt)分别表示所述源域子序列、所述目标域子序列经编码器网络所提取的特征，D(xs)和D(xt)分别表示所述源域子序列、所述目标域子序列通过解码器网络后所输出的结果。
5.根据权利要求1所述的方法，其特征在于，所述对应类别移位损失，具体为：
其中，Lcd为所述对应类别移位损失，Gk(xs)和Gk(xt)分别表示源域和目标域的质心，φ(x1,x2)用于计算质心距离。
6.根据权利要求5所述的方法，其特征在于，所述φ(x1,x2)具体为：
7.一种迁移学习装置，其特征在于，包括：
获取模块，用于获取预处理后的子序列和密集预测网络模型，所述预处理后的子序列包括源域子序列和目标域子序列；
第一处理模块，用于将所述源域子序列和所述目标域子序列分批次输入所述密集预测网络模型，得到全局移位损失；
损失计算模块，用于获取源域标签和目标域伪标签，基于余弦距离损失和滑动平均方法，根据所述源域标签和所述目标域伪标签进行对应类别质心对齐，得到对应类别移位损失；
第二处理模块，用于根据所述全局移位损失和所述对应类别移位损失得到总损失，根据所述总损失更新所述密集预测网络模型。
8.根据权利要求7所述的装置，其特征在于，所述密集预测网络模型通过全卷积网络、U型网络或自动编码器网络构建得到。
9.一种电子设备，其特征在于，包括存储器和处理器，所述处理器和所述存储器通过总线完成相互间的通信；所述存储器存储有可被所述处理器执行的程序指令，所述处理器调用所述程序指令能够执行如权利要求1至6任一所述的一种迁移学习方法。
10.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现如权利要求1至6任一项所述一种迁移学习方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910161120.2A CN109948741A (zh) | 2019-03-04 | 2019-03-04 | 一种迁移学习方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910161120.2A CN109948741A (zh) | 2019-03-04 | 2019-03-04 | 一种迁移学习方法及装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN109948741A true CN109948741A (zh) | 2019-06-28 |
Family
ID=67008286
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910161120.2A Pending CN109948741A (zh) | 2019-03-04 | 2019-03-04 | 一种迁移学习方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109948741A (zh) |
Cited By (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110390273A (zh) * | 2019-07-02 | 2019-10-29 | 重庆邮电大学 | 一种基于多核迁移学习的室内人员入侵检测方法 |
| CN110598848A (zh) * | 2019-08-16 | 2019-12-20 | 中国科学院计算技术研究所 | 一种基于通道剪枝的迁移学习加速方法 |
| CN110766212A (zh) * | 2019-10-15 | 2020-02-07 | 哈尔滨工程大学 | 用于历史数据缺失电场的超短期光伏功率预测方法 |
| CN110837850A (zh) * | 2019-10-23 | 2020-02-25 | 浙江大学 | 一种基于对抗学习损失函数的无监督域适应方法 |
| CN110880019A (zh) * | 2019-10-30 | 2020-03-13 | 北京中科研究院 | 通过无监督域适应训练目标域分类模型的方法 |
| CN110990135A (zh) * | 2019-11-28 | 2020-04-10 | 中国人民解放军国防科技大学 | 基于深度迁移学习的Spark作业时间预测方法和装置 |
| CN111626438A (zh) * | 2020-07-27 | 2020-09-04 | 北京淇瑀信息科技有限公司 | 基于模型迁移的用户策略分配方法、装置及电子设备 |
| CN111709315A (zh) * | 2020-05-27 | 2020-09-25 | 西安交通大学 | 一种基于领域适配的水声目标辐射噪声识别方法 |
| CN111899221A (zh) * | 2020-06-30 | 2020-11-06 | 哈尔滨工业大学 | 一种面向外观缺陷检测的自迁移学习方法 |
| CN112861794A (zh) * | 2021-03-11 | 2021-05-28 | 浙江康旭科技有限公司 | 一种光学印刷文本和场景文本的通用检测算法 |
| CN113222209A (zh) * | 2021-03-25 | 2021-08-06 | 中国科学技术大学先进技术研究院 | 基于域适应的区域尾气迁移预测方法、系统及存储介质 |
| CN113436197A (zh) * | 2021-06-07 | 2021-09-24 | 华东师范大学 | 基于生成对抗和类特征分布的域适应无监督图像分割方法 |
| WO2022095156A1 (zh) * | 2020-11-05 | 2022-05-12 | 苏州大学 | 基于自适应流形概率分布的轴承故障诊断方法 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103500340A (zh) * | 2013-09-13 | 2014-01-08 | 南京邮电大学 | 基于主题知识迁移的人体行为识别方法 |
| CN105469109A (zh) * | 2015-11-19 | 2016-04-06 | 中国地质大学（武汉） | 一种用于遥感图像分类的基于类心对齐的迁移学习方法 |
| US20160358085A1 (en) * | 2015-06-05 | 2016-12-08 | Sensaura Inc. | System and method for multimodal human state recognition |
| CN107273853A (zh) * | 2017-06-16 | 2017-10-20 | 中国地质大学（武汉） | 一种基于类心和协方差对齐的遥感图像迁移学习方法 |
| US20180268244A1 (en) * | 2017-03-14 | 2018-09-20 | Samsung Electronics Co., Ltd. | System and method for deep labeling |
-
2019
- 2019-03-04 CN CN201910161120.2A patent/CN109948741A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103500340A (zh) * | 2013-09-13 | 2014-01-08 | 南京邮电大学 | 基于主题知识迁移的人体行为识别方法 |
| US20160358085A1 (en) * | 2015-06-05 | 2016-12-08 | Sensaura Inc. | System and method for multimodal human state recognition |
| CN105469109A (zh) * | 2015-11-19 | 2016-04-06 | 中国地质大学（武汉） | 一种用于遥感图像分类的基于类心对齐的迁移学习方法 |
| US20180268244A1 (en) * | 2017-03-14 | 2018-09-20 | Samsung Electronics Co., Ltd. | System and method for deep labeling |
| CN107273853A (zh) * | 2017-06-16 | 2017-10-20 | 中国地质大学（武汉） | 一种基于类心和协方差对齐的遥感图像迁移学习方法 |
Non-Patent Citations (4)
| Title |
|---|
| MINGSHENG LONG ET AL.: "Learning Transferable Features with Deep Adaptation Networks", 《ARXIV》 * |
| RENJIE DING ET AL.: "Empirical Study and Improvement on Deep Transfer Learning for Human Activity Recognition", 《SENSORS》 * |
| SHAOAN XIE ET AL.: "Learning Semantic Representations for Unsupervised Domain Adaptation", 《THE 35 TH INTERNATIONAL CONFERENCE ON MACHINE 2018》 * |
| 王忠民 等: "一种极速学习机人体行为识别模型迁移方法", 《西安邮电大学学报》 * |
Cited By (19)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110390273A (zh) * | 2019-07-02 | 2019-10-29 | 重庆邮电大学 | 一种基于多核迁移学习的室内人员入侵检测方法 |
| CN110598848A (zh) * | 2019-08-16 | 2019-12-20 | 中国科学院计算技术研究所 | 一种基于通道剪枝的迁移学习加速方法 |
| CN110766212A (zh) * | 2019-10-15 | 2020-02-07 | 哈尔滨工程大学 | 用于历史数据缺失电场的超短期光伏功率预测方法 |
| CN110837850A (zh) * | 2019-10-23 | 2020-02-25 | 浙江大学 | 一种基于对抗学习损失函数的无监督域适应方法 |
| CN110837850B (zh) * | 2019-10-23 | 2022-06-21 | 浙江大学 | 一种基于对抗学习损失函数的无监督域适应方法 |
| CN110880019A (zh) * | 2019-10-30 | 2020-03-13 | 北京中科研究院 | 通过无监督域适应训练目标域分类模型的方法 |
| CN110990135A (zh) * | 2019-11-28 | 2020-04-10 | 中国人民解放军国防科技大学 | 基于深度迁移学习的Spark作业时间预测方法和装置 |
| CN111709315A (zh) * | 2020-05-27 | 2020-09-25 | 西安交通大学 | 一种基于领域适配的水声目标辐射噪声识别方法 |
| CN111899221A (zh) * | 2020-06-30 | 2020-11-06 | 哈尔滨工业大学 | 一种面向外观缺陷检测的自迁移学习方法 |
| CN111899221B (zh) * | 2020-06-30 | 2022-08-09 | 哈尔滨工业大学 | 一种面向外观缺陷检测的自迁移学习方法 |
| CN111626438B (zh) * | 2020-07-27 | 2021-12-14 | 北京淇瑀信息科技有限公司 | 基于模型迁移的用户策略分配方法、装置及电子设备 |
| CN111626438A (zh) * | 2020-07-27 | 2020-09-04 | 北京淇瑀信息科技有限公司 | 基于模型迁移的用户策略分配方法、装置及电子设备 |
| WO2022095156A1 (zh) * | 2020-11-05 | 2022-05-12 | 苏州大学 | 基于自适应流形概率分布的轴承故障诊断方法 |
| US11644383B2 (en) | 2020-11-05 | 2023-05-09 | Soochow University | Adaptive manifold probability distribution-based bearing fault diagnosis method |
| CN112861794A (zh) * | 2021-03-11 | 2021-05-28 | 浙江康旭科技有限公司 | 一种光学印刷文本和场景文本的通用检测算法 |
| CN113222209A (zh) * | 2021-03-25 | 2021-08-06 | 中国科学技术大学先进技术研究院 | 基于域适应的区域尾气迁移预测方法、系统及存储介质 |
| CN113222209B (zh) * | 2021-03-25 | 2022-02-25 | 中国科学技术大学先进技术研究院 | 基于域适应的区域尾气迁移预测方法、系统及存储介质 |
| CN113436197A (zh) * | 2021-06-07 | 2021-09-24 | 华东师范大学 | 基于生成对抗和类特征分布的域适应无监督图像分割方法 |
| CN113436197B (zh) * | 2021-06-07 | 2022-10-04 | 华东师范大学 | 基于生成对抗和类特征分布的域适应无监督图像分割方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109948741A (zh) | 一种迁移学习方法及装置 | |
| WO2017133009A1 (zh) | 一种基于卷积神经网络的深度图像人体关节定位方法 | |
| CN109902798A (zh) | 深度神经网络的训练方法和装置 | |
| CN111539941B (zh) | 帕金森病腿部灵活性任务评估方法及系统、存储介质及终端 | |
| CN109685037B (zh) | 一种实时动作识别方法、装置及电子设备 | |
| CN110532884A (zh) | 行人重识别方法、装置及计算机可读存储介质 | |
| CN111401106B (zh) | 一种行为识别方法、装置及设备 | |
| Zhai et al. | Optical flow estimation using dual self-attention pyramid networks | |
| CN110751039B (zh) | 多视图3d人体姿态估计方法及相关装置 | |
| CN112419326B (zh) | 图像分割数据处理方法、装置、设备及存储介质 | |
| WO2021169366A1 (zh) | 数据增强方法和装置 | |
| Núñez et al. | Multiview 3D human pose estimation using improved least-squares and LSTM networks | |
| CN110738650A (zh) | 一种传染病感染识别方法、终端设备及存储介质 | |
| CN116635877A (zh) | 模型生成装置、推测装置、模型生成方法以及模型生成程序 | |
| CN112149602A (zh) | 动作计数方法、装置、电子设备及存储介质 | |
| CN115223201A (zh) | 基于单目序列图像的三维人体关节点估算方法、系统及装置 | |
| Zhou et al. | Learning multiscale correlations for human motion prediction | |
| CN110659641B (zh) | 一种文字识别的方法、装置及电子设备 | |
| Huang et al. | Feature context learning for human parsing | |
| Xia et al. | 3D human pose estimation with generative adversarial networks | |
| Chen et al. | SSL-Net: Sparse semantic learning for identifying reliable correspondences | |
| CN113762331A (zh) | 关系型自蒸馏方法、装置和系统及存储介质 | |
| CN113408721A (zh) | 神经网络结构搜索方法、装置、计算机设备和存储介质 | |
| CN116431004A (zh) | 康复机器人交互行为的控制方法及系统 | |
| CN114582023A (zh) | 一种基于广义卷积神经网络的骨架异常步态识别方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20190628 |