CN112861679B - 面向行为识别的迁移学习方法及系统 - Google Patents
面向行为识别的迁移学习方法及系统 Download PDFInfo
- Publication number
- CN112861679B CN112861679B CN202110123629.5A CN202110123629A CN112861679B CN 112861679 B CN112861679 B CN 112861679B CN 202110123629 A CN202110123629 A CN 202110123629A CN 112861679 B CN112861679 B CN 112861679B
- Authority
- CN
- China
- Prior art keywords
- data
- transmission scheme
- source domain
- optimal transmission
- entropy
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 84
- 230000006399 behavior Effects 0.000 title claims abstract description 55
- 238000013526 transfer learning Methods 0.000 title claims abstract description 22
- 238000013508 migration Methods 0.000 claims abstract description 43
- 230000005012 migration Effects 0.000 claims abstract description 43
- 238000009826 distribution Methods 0.000 claims abstract description 34
- 230000005540 biological transmission Effects 0.000 claims description 93
- 230000009467 reduction Effects 0.000 claims description 26
- 239000011159 matrix material Substances 0.000 claims description 13
- 238000004422 calculation algorithm Methods 0.000 claims description 9
- 238000004590 computer program Methods 0.000 claims description 8
- 239000013598 vector Substances 0.000 claims description 5
- 238000011478 gradient descent method Methods 0.000 claims description 3
- 230000000694 effects Effects 0.000 description 30
- 238000010586 diagram Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 230000008569 process Effects 0.000 description 5
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 4
- 241001465754 Metazoa Species 0.000 description 4
- 238000002474 experimental method Methods 0.000 description 4
- 229910052739 hydrogen Inorganic materials 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 238000013145 classification model Methods 0.000 description 3
- 238000007781 pre-processing Methods 0.000 description 3
- 238000012549 training Methods 0.000 description 3
- 238000012546 transfer Methods 0.000 description 3
- 210000000707 wrist Anatomy 0.000 description 3
- 230000001133 acceleration Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000007430 reference method Methods 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 210000003423 ankle Anatomy 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 210000000038 chest Anatomy 0.000 description 1
- 239000012141 concentrate Substances 0.000 description 1
- 238000007418 data mining Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 238000012886 linear function Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 239000002245 particle Substances 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000009827 uniform distribution Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Psychiatry (AREA)
- Social Psychology (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Probability & Statistics with Applications (AREA)
- Image Analysis (AREA)
Abstract
本发明提供了一种面向行为识别的迁移学习方法和系统，该方法依据基于熵减的最优传输方案确定待标定的数据的标签，其中，基于熵减的最优传输方案中包括对源域数据的标签类别比例的熵进行限制。本发明中的迁移学习方法和系统能够在目标域数据类别少于源域数据类别的情况下，使得源域中分布的类别相对集中，源域分布与目标域更加匹配，从而有效减少负迁移，更鲁棒、准确地获取目标域待标定数据标签。
Description
技术领域
本发明涉及计算机数据挖掘分析技术领域，尤其涉及用于面向行为识别的迁移学习方法及系统。
背景技术
传统的可穿戴行为识别主要采用统一的识别模型，即利用已有的标定数据离线训练分类模型，并利用该分类模型对所有新数据行为进行识别分类。然而，这类分类模型严重依赖于使用的标定数据的分布，当面对分布与使用的标定数据分布不一致的新的采集数据时，其准确性与泛化能力往往不尽人意。例如，不同的传感设备往往佩戴于人体不同位置，其行为数据分布往往也不一致，直接利用通过腕部采集的数据获得的模型难以在腰部等其他位置采集的数据获得较好的标定效果。又如，针对某些用户依赖性强的数据(例如，表面肌电信号)，不同用户的数据之间差异性也较大，利用某一用户数据获得的模型也难以准确标定其他用户的数据。
针对上述问题，学者们提出了迁移学习方法，将解决一个问题时获得的知识应用到解决另一个不同但相关的问题当中，进而在执行新的任务中时效更高、效果更好。例如，中国专利申请CN110472576A公开了一种实现移动人体行为识别的方法，通过传感器采集一定数量基础用户不同行为的三轴加速度数据，并基于压缩感知技术构造基础过完备矩阵字典，通过迁移学习方法对新用户无标签新数据进行标定，并利用标定后的新数据重构出适合该用户的个性化过完备矩阵字典，最后通过基于个性化过完备矩阵字典的压缩感知分类器标定出新用户行为；中国专利申请CN107886061A公开了一种基于多模态深度玻尔兹曼机的人体行为识别方法，首先获取视觉和可穿戴传感器的数据，然后建立视觉数据和可穿戴传感器多模态融合模型，利用深度神经网络进行异构迁移学习实现对缺失数据的重构，利用softmax回归模型分类器进行分类，最终根据用户个体特性对公共样本数据产生的深度网络模型进行自适应调整；中国专利申请CN106056043A公开了一种基于迁移学习的目标动物行为识别方法，首先对数据进行特征提取，然后采用迁移学习中的领域适应学习法将所述原始特征映射到共同空间中，得到新的特征，接着利用所述新的特征训练SVM分类器，得到行为识别模型，同时对所述目标动物行为识别模型进行测试，最终利用所述动物行为识别模型对目标动物的待标定行为进行标定。最新的已有迁移学习方法中采用了一种基于最优传输的域自适应方法，通过最优传输理论，在熵正则项的优化目标之外，加上组正则项或拉普拉斯正则项以充分利用源域标签信息，来获取源域与目标域数据样本关联，从而利用源域标签信息辅助标注目标域样本。
然而，已有大部分面向行为识别的迁移学习方法聚焦于源域与目标域数据类别空间一致的情况，当出现源域类别包含目标域类别且目标域类别少于源域类别时候，由于源域中多余类别的影响，会产生负迁移，并导致模型鲁棒性差。
因此，亟需一种新的面向行为识别的迁移学习方法和系统。
发明内容
因此，本发明实施例的目的在于克服上述现有技术的缺陷，提供一种面向行为识别的迁移学习方法，包括：获取有标签的数据和待标定的数据，其中，所述有标签的数据的标签类别包含所述待标定的数据的标签类别；将所述有标签的数据作为源域数据，所述待标定的数据作为目标域数据，依据基于熵减的最优传输方案确定所述待标定的数据的标签，其中，所述基于熵减的最优传输方案中包括对所述源域数据的标签类别比例的熵进行限制。
在一个实施例中，所述基于熵减的最优传输方案中还包括对所述源域数据分布进行加权处理。
在一个实施例中，通过广义条件梯度下降的方法获得所述基于熵减的最优传输方案，包括：初始化所述基于熵减的最优传输方案；获得当前最优传输方案的条件梯度下降方向；获得最优步长；基于所述条件梯度下降方向和所述步长更新当前最优传输方案；以及重复上述步骤直至所述最优传输方案收敛或达到迭代阈值。
在一个实施例中，采用IBP算法获得条件梯度下降方向，包括：基于给定限制解空间中与当前最优传输方案KL散度最小的元素更新当前最优传输方案；重复上述步骤直至更新后的最优传输方案收敛或达到迭代阈值；以及基于更新后的最优传输方案计算所述当前最优传输方案的条件梯度下降方向。
在一个实施例中，所述基于熵减的最优传输方案为：
其中，T为从源域到目标域的基于熵减的最优传输方案，C为从源域到目标域的传输代价矩阵，＜C，T＞F为从源域到目标域的传输总代价，H(T)为传输方案T的熵正则项，Ω(T)为组正则化项，D1为源域数据的标签类别的矩阵，
为源域的经验分布，
为源域数据的标签类别比例的熵正则项，γ、η1、η2为加权系数，
为全1列向量，nT为目标域数据的数量，nS为源域数据的数量，v为目标域数据的经验分布。
在一个实施例中，所述依据基于熵减的最优传输方案确定所述待标定的数据的标签包括：依据所述基于熵减的最优传输方案将所述源域数据的标签类型迁移到待标定的目标域数据，以确定所述待标定的数据的标签。
本发明另一方面提供了一种面向行为识别的迁移学习系统，包括：接口模块，用于获取有标签的数据、待标定的数据，其中，所述有标签的数据的标签类别包含所述待标定的数据的标签类别；迁移模块，用于将所述有标签的数据作为源域数据，所述待标定的数据作为目标域数据，依据基于熵减的最优传输方案确定所述待标定的数据的标签，其中，所述基于熵减的最优传输方案中包括对所述源域数据的标签类别比例的熵进行限制。
在一个实施例中，所述基于熵减的最优传输方案中还包括对所述源域数据分布进行加权处理。
本发明另一方面提供了一种存储介质，其中存储有计算机程序，在所述计算机程序被处理器执行时，能够用于实现上述任一项所述的方法。
本发明另一方面提供了一种电子设备，包括处理器和存储器，所述存储器中存储有计算机程序，在所述计算机程序被处理器执行时，能够用于实现上述任一项所述的方法。
本发明实施例的技术方案可以包括以下有益效果：
有效地解决了迁移学习中因待标定的数据类别数量小于数据库中数据的类别数量而导致的负迁移问题，获得更加鲁棒、准确度高的迁移方法。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本发明。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并与说明书一起用于解释本发明的原理。显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在附图中：
图1示出了根据本发明一个实施例的面向行为识别的迁移学习方法的流程示意图；
图2示出了根据本发明一个实施例的面向行为识别的迁移学习系统的结构示意图；
图3示出了本发明实验部分中九个行为识别迁移任务结果；
图4示出了本发明实验部分中根据本发明一个实施例的面向行为识别的迁移学习在三个行为识别迁移任务中估计的类别比例与真实类别比例对比。
具体实施方式
为了使本发明的目的，技术方案及优点更加清楚明白，以下结合附图通过具体实施例对本发明进一步详细说明。应当理解，所描述的实施例是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动下获得的所有其他实施例，都属于本发明保护的范围。
此外，所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施例中。在下面的描述中，提供许多具体细节从而给出对本发明的实施例的充分理解。然而，本领域技术人员将意识到，可以实践本发明的技术方案而没有特定细节中的一个或更多，或者可以采用其它的方法、组元、装置、步骤等。在其它情况下，不详细示出或描述公知方法、装置、实现或者操作以避免模糊本发明的各方面。
附图中所示的方框图仅仅是功能实体，不一定必须与物理上独立的实体相对应。即，可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。
附图中所示的流程图仅是示例性说明，不是必须包括所有的内容和操作/步骤，也不是必须按所描述的顺序执行。例如，有的操作/步骤还可以分解，而有的操作/步骤可以合并或部分合并，因此实际执行的顺序有可能根据实际情况改变。
迁移学习(Transfer Learning)作为机器学习的驱动力，是将解决一个问题时获得的知识应用到解决另一个不同但相关的问题当中，进而在执行新的任务中时效更高、效果更好。在迁移学习中已有标签的数据称为源域，待标定的数据称为目标域，是学习的主体。对源域的知识进行迁移学习就是利用源域和目标域之间存在的相似性关系，将在源域中学习到的知识应用于未知的目标域，进而对目标域数据进行标定。然而，当源域数据的标签类型数量远远大于目标域数据可能标定的类型数量时，会显著影响源域和目标域之间存的相似性，从而导致在源域上学习到的知识对于目标域上的学习产生负面作用，即负迁移。
针对上述问题，本发明一个实施例中提供了一种面向行为识别的迁移学习方法，该方法利用了基于熵减的最优传输方案，使得源域数据的标签类别分布相对集中，从而有效解决负迁移问题。
图1示出了本发明一个实施例的一种面向行为识别的迁移学习方法。如图1所示，该方法包括以下步骤：
步骤S110，获取与行为相关的有标签的数据和待标定的原始数据。
与行为相关的有标签的数据可以从行为数据平台或数据库中获得，待标定的原始行为数据可以通过各类传感器(例如，加速度计，陀螺仪等)从特定用户或用户群体采集。由于数据平台或数据库中存储有大量有标签的相关数据，其数据的标签类别包含待标定的数据的标签类别，且类别数量大于后者的类别数量。
步骤S120，预处理待标定的原始数据，从原始数据中提取与行为识别有关的特征并进行归一化处理，获得用于迁移学习的待标定的数据。
对采集到的待标定的原始数据可以进行补齐、加窗、去重、去噪等预处理。在一个实施例中，可以利用滑动窗口方法滑动截取固定时间长度(如5秒)的样本数据，对每一个窗口数据使用数据滤波等方法过滤掉孤立点数据或高频噪声数据。
从预处理后的待标定的数据中提取与行为识别有关的特征，包括但不限于：均值，标准差，最小值，最大值，过均值点次数，快速傅里叶变换后的峰值、均值、标准差能量熵等。在一个实施例中，提取的特征主要包含两大类，即时域特征和频域特征，其中，时域特征包括均值，方差，标准差，最大值，最小值，过零点个数，最大值与最小值之差，众数；频域特征包括直流分量，图形的均值、方差、标准差、斜度、峭度，幅度的均值、方差、标准差、斜度、峭度等，总共可以提取38维特征。将提取到的特征进行归一化预处理，即可获得用于迁移学习的待标定的数据。
步骤S130，将有标签的数据作为源域数据，待标定的数据作为目标域数据，依据基于熵减的最优传输方案确定待标定的数据的标签。
最优传输(Optimal Transport)是通过几何方法解决建立概率分布模型以及衡量概率分布之间的距离等问题，其目的是寻找总体花费最少的传输方案，从而进一步建立面向概率分布的几何工具集。由于最优传输是把多个数据点同时从一个空间映射到另一个空间上去，而不是仅考虑单个数据点，这与迁移学习的原理，即利用源域和目标域之间存在的相似性关系把在源域学习到的知识应用于未知的目标域，相类似，因此，在迁移学习中使用最优传输可以将迁移学习抽象为数学分布的变换问题。
例如，若源域数据记作
(
为源域数据，
为源域数据的标签，ns为源域数据的数量)，目标域的数据记作
(
为目标域数据，nT为目标域数据的数量)，源域到目标域的传输代价矩阵记作
(cij为源域数据到目标域数据的距离，
)，源域到目标域的传输方案记作T(T为ns×nT的矩阵，T对应从源域分布到目标域分布的联合分布，为源域和目标域的数据关联)，源域到目标域的传输总代价记作＜C，T＞F(＜·，·＞F表示对应元素乘积和)，目标域中数据经验分布为均匀分布记作v，
(v对应均匀分布，
表示集中在
点的分布)，对源域中数据的经验分布μ不做限定，同时设定源域数据的标签类别矩阵
(e为源域数据的标签类别)，以及设定1m＝[1，…，1]T为全1列向量，m对应元素个数，则基础最优传输方案的公式为：
T＝argminT＜C，T＞F (1)
在一个实施例中，可以在最优传输方案的基础上建立基于熵减的最优传输方案，即在上述公式中加入源域数据的标签类别比例的信息熵，并对该信息熵进行限制，期望其尽可能的小，使得源域数据的标签类别相对集中、源域分布与目标域分布更加匹配，以减小负迁移。
根据μ以及D1可以获取源域数据的标签类别比例h＝D1μ，其熵正则项H(h)＝∑ihiloghi，则基于熵减的最优传输方案的公式为：
其中，
表示源域数据的标签类别比例的熵正则项。
在一个实施例中，为了方便计算并保证最优传输方案的唯一性，可以在最优传输方案中加入传输方案T的熵正则项H(T)＝∑ijTijlogTij。在一个实施例中，为了让目标域中对应的源域数据来自同一类别，还可以在最优传输方案中加入组正则化项Ω(T)＝∑ie||Ti，Ie||2，Ie表示来自源域数据第e类的样本。在一个实施例中，可以根据基于熵减的最优传输方案对所述源域数据进行加权处理。例如，将μ变换公式为
得到基于熵减的最优传输方案的公式为：
利用上述基于熵减的最优传输方案对源域数据分布进行加权处理，可以对有标签的源域数据分布不再进行预先设置，而是让源域中分布自适应的匹配目标域数据分布，并且利用熵减这一部分项，对源域分布的类别进行信息熵的计算与限制，可以使得源域中分布的类别相对更为集中，使得源域分布与目标域更为匹配，从而减少了负迁移的概率。
在一个实施例中，为了获得基于熵减的最优传输方案目标的最优值以及最优参数，可以采用基于广义条件梯度下降的优化过程计算方法，首先将公式(3)分解成两部分：
g(T)＝γ·H(T) (5)
然后利用条件梯度下降进行计算，获得f(T)基本光滑、可微，g(T)为凸函数，基于熵减的最优传输方案目标限定均为仿射凸集合。具体步骤如下：
步骤S131，初始化基于熵减的最优传输方案。
步骤S132，获得当前最优传输方案的条件梯度下降方向。
通过条件梯度方法，将上述公式(4)转化为线性函数，即：
其中，T′为当前最优传输方案。
此时获取最优梯度方向即求解公式：
由于限制条件
以及
对应的可行解空间均为仿射凸子空间，因此在一个实施例中，可以通过Iterative Bregman Projections(IBP)算法获得最优传输方案的条件梯度下降方向。IBP算法是一种用来解决可行解空间是非负的凸的仿射子空间交集、目标函数是求可行解空间中与指定量的KL散度最小的元素的算法。它迭代地求解每个非负、凸仿射子空间中与指定元素KL散度最小的元素，直至收敛。
在一个实施例中，使用IBP算法获得最优传输方案的条件梯度下降方向包括：基于给定限制解空间中与当前最优传输方案KL散度最小的元素更新当前最优传输方案；重复上述步骤直至更新后的最优传输方案收敛或达到迭代阈值；基于更新后的最优传输方案计算当前最优传输方案的条件梯度下降方向。
例如，假设目标函数为
限制条件为：
则根据IBP算法迭代地求解公式：
以获取最优传输方案T，其中，k为获得条件梯度下降方向的迭代次数，Zk为限制条件，k为奇数时Zk＝Z1，k为偶数时Zk＝Z2，
表示限制条件Zk中以KL散度为标准离上次迭代的传输方案
最近的值。依次取这两个限制集合：
对于Z1，可以获得对应的
对于Z2，可以获得对应的
其中，diag表示将向量变成对应对角矩阵。
迭代求解上述公式(12)直至收敛或者最大迭代次数，得到更新后的最优传输方案T，基于更新后的最优传输方案T计算当前最优传输方案的条件梯度下降方向为：
步骤S133，获取最优步长。
最优步长公式为：
其中，α为步长，q为迭代次数。
步骤S134，基于条件梯度下降方向和步长更新当前最优传输方案。
在一个实施例中，可以通过线搜索得出αq的值。此刻可以进行参数更新：
步骤S135，重复上述步骤S132-134，直至最优传输方案收敛或达到迭代阈值。
采用广义条件梯度下降的方法获得基于熵减的最优传输方案这一复杂的目标函数，可以较好的计算出最优传输方案的最优值以及对应的参数；同时在计算过程中，通过IBP算法可以较快的获得条件梯度下降方向，从而可以更新参数，最终获得更为鲁棒的传输方案。
在一个实施例中，可以依据基于熵减的最优传输方案将源域数据的标签类型迁移到待标定的目标域数据，以确定所述待标定的数据的标签。公式如下：
L＝D1T (19)
其中，T为最优传输方案，D1为源域标签信息矩阵。
通过上述迁移学习方法，能够有效地解决了行为识别中待标定的数据类别小于数据库中有标签的数据类别而导致的负迁移问题，获得更加鲁棒的迁移方法。
图2为根据本发明一个实施例的面向行为识别的迁移学习系统的结构示意图。如图2所示，该系统200包括接口模块201和迁移模块202。尽管该框图以功能上分开的方式来描述组件，但这样的描述仅为了说明的目的。图中所示的组件可以任意地进行组合或被分为独立的软件、固件和/或硬件组件。而且，无论这样的组件是如何被组合或划分的，它们都可以在同一计算装置或多个计算装置上执行，其中多个计算装置可以是由一个或多个网络连接。
其中接口模块201用于获取有标签的数据、待标定的数据，其中，有标签的数据的标签类别包含待标定的数据的标签类别。迁移模块202如上文介绍的那样用于将有标签的数据作为源域数据，待标定的数据作为目标域数据，依据基于熵减的最优传输方案确定待标定的数据的标签，其中，基于熵减的最优传输方案中包括对源域数据的标签类别比例的熵进行限制。
在本发明的又一个实施例中，还提供了一种计算机可读存储介质，其上存储有计算机程序或可执行指令，当所述计算机程序或可执行指令被执行时实现如前述实施例中所述的技术方案，其实现原理类似，此处不再赘述。在本发明的实施例中，计算机可读存储介质可以是任何能够存储数据且可以被计算装置读取的有形介质。计算机可读存储介质的实例包括硬盘驱动器、网络附加存储器(NAS)、只读存储器、随机存取存储器、CD-ROM、CD-R、CD-RW、磁带以及其它光学或非光学数据存储装置。计算机可读存储介质也可以包括分布在网络耦合计算机系统上的计算机可读介质，以便可以分布式地存储和执行计算机程序或指令。
在本发明的另一个实施例中，可以以电子设备的形式来实现本发明。该电子设备包括处理器和存储器，在存储器中存储有计算机程序，当该计算机程序被处理器执行时，能够用于实现本发明的方法。
实验部分
为了进一步验证本发明提出的面向行为识别的部分迁移众包方法及系统的有效性以及说明本发明的使用方法，发明人还在真实数据集上进行了实验。真实数据集采用常用公开数据集UCI daily and sports dataset(DSADS)[下载自：http://archive.ics.uci.edu/ml/datasets/Daily+and+Sports+Activities]、UCI Smartphone(HCI-HAR)[下载自：http://archive.ics.uci.edu/ml/datasets/human+activity+recognition+using+smartphones]、USC Human Activity Dataset(USC-HAD)[下载自：http://sipi.usc.edu/had/]、PAMAP2 dataset(PAMAP2)[下载自：http://archive.ics.uci.edu/ml/datasets/PAMAP2+Physical+Activity+Monitoring]。由于四个数据集包含的类别数、传感器数目差异性太大，为了方便比较试验，仅选用部分数据进行实验。
1)数据获取
DSADS中数据采用三类传感器：3轴加速度计，3轴陀螺仪，3轴磁力计。分别固定在身体的五个部位：躯干，左右臂，左右腿。主要采集8个人的19种日常行为活动。本实验选取其中右臂的六轴传感数据作为原始数据，当DSADS作为源域数据时候，选取躺着、行走、上楼、下楼、坐着、站立六种常见行为活动，当DSADS作为目标域数据时候，选取躺着、行走、上楼、下楼四种常见行为活动。
HCI-HAR中数据采用两类传感器：3轴加速度计，3轴陀螺仪。分别固定在身体的腰部。主要采集30个人的6种日常行为活动。本实验选取其中腰部的六轴传感数据作为原始数据，当HCI-HAR作为源域数据时候，选取躺着、行走、上楼、下楼、坐着、站立六种常见行为活动，当HCI-HAR作为目标域数据时候，选取躺着、行走、上楼、下楼四种常见行为活动。
USC-HAD中数据采用两类传感器：3轴加速度计，3轴陀螺仪。分别固定在身体的右前臀部。主要采集14个人的12种日常行为活动。本实验选取其中右前臀部的六轴传感数据作为原始数据，当USC-HAD作为源域数据时候，选取躺着、行走、上楼、下楼、坐着、站立六种常见行为活动，当USC-HAD作为目标域数据时候，选取躺着、行走、上楼、下楼四种常见行为活动。
PAMAP中数据采用四类传感器：3轴加速度计，3轴陀螺仪，3轴磁力计，心率检测器。分别固定在身体的三个部位：手腕，胸部，脚踝。主要采集9个人的18种日常行为活动。本实验选取其中手腕的六轴传感数据作为原始数据，当PAMAP作为源域数据时候，选取躺着、行走、上楼、下楼、坐着、站立六种常见行为活动，当PAMAP作为目标域数据时候，选取躺着、行走、上楼、下楼四种常见行为活动。
2)特征提取
对获取到的运动行为数据加窗并进行预处理后进行特征提取。首先将三轴加速度以及三轴陀螺仪进行合成，得到
再分别对a和g进行特征提取，主要包含两大类特征。(1)时域特征：均值，方差，标准差，最大值，最小值，过零点个数，最大值与最小值之差，众数；(2)频域特征：直流分量，图形的均值、方差、标准差、斜度、峭度，幅度的均值、方差、标准差、斜度、峭度。总共提取两种传感器的38维特征。
3)对比方法
为对比面向行为识别的部分迁移方法(记作方法三)与已有方法的效果，本发明使用1种基本方法和1种经典迁移学习方法，作为对比方法，分别为
直接在源域数据中训练K近邻算法，在目标域中进行预测(记作方法一)
通过最优传输方法直接进行迁移学习[Flamary,R.,et al."Optimal transportfor domain adaptation."IEEE Trans.Pattern Anal.Mach.Intell(2016).](记作方法二)
评价指标
Acc:目标域无标定数据精度
Iz(x)为指示函数
4)结果分析
为了方便表示，分别记DSADS、HCI-HAR、USC-HAD、PAMAP为D、H、U、P。从DHUP四个域中选取两个分别作为源域和目标域，共有12种组合，选取其中的9种作为9个任务(D->H,D->U,D->P,H->D,H->U,H->P,U->D,U->H,U->P)。通过前面的数据获取域特征提取两个阶段可以得到，源域中包含6种常见行为活动，目标域中包含4种常见行为活动。对9个源域到目标域迁移任务进行三种方法的精度比较，具体结果如图3，通过方法三还可以获得源域类别的比例估计，选取其中三个进行展示，具体结果见图4所示。
从图3中可以看出，三种方法中，本发明的方法综合效果最好，比方法一、方法二这两种基准方法平均精度提高百分之十以上。说明本发明的面向行为识别的部分迁移方法对于源域类别多余目标域类别时更鲁棒。具体来看，大多数任务中，使用经典迁移方法(方法二)的效果要优于不适用任何迁移的基准方法(方法一)，少数任务，方法二表现精度低于方法一，主要原因是优化目标中超参数设定对任务带来的影响，若针对任务选择更为合适的超参数，通常方法二都优于方法一的效果。而因为经典的迁移方法(方法二)未考虑目标域类别少于源域类别的情况，因此，多数此类任务中，使用方法三的效果要优于方法二的效果，极少部分任务，方法一的效果略优于方法三的效果，这主要也是由于未设定匹配任务的超参数产生的影响。综合来看，本发明提出的面向行为识别的部分迁移方法在九个任务中获得最好的精度效果。
图4是任务D->H、D->U、D->P三个任务中，方法三给源域数据类别设置的比例与真实目标域类别比例比较。可以看出，三个任务中，方法三基本都给了多余类较小的权重，给共有的类相对合理的权重。但是部分任务中部分类别权重有一定差异，可能需要进一步的参数调整。综合来看，方法三给源域数据分布设置了相对合理的权重，因而最终的精度结果相对更为鲁棒。
本说明书中针对“各个实施例”、“一些实施例”、“一个实施例”、或“实施例”等的参考指代的是结合所述实施例所描述的特定特征、结构、或性质包括在至少一个实施例中。因此，短语“在各个实施例中”、“在一些实施例中”、“在一个实施例中”、或“在实施例中”等在整个说明书中各地方的出现并非必须指代相同的实施例。此外，特定特征、结构、或性质可以在一个或多个实施例中以任何合适方式组合。因此，结合一个实施例中所示出或描述的特定特征、结构或性质可以整体地或部分地与一个或多个其他实施例的特征、结构、或性质无限制地组合，只要该组合不是非逻辑性的或不能工作。
本说明书中“包括”和“具有”以及类似含义的术语表达，意图在于覆盖不排他的包含，例如包含了一系列步骤或单元的过程、方法、系统、产品或设备并不限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其他步骤或单元。“一”或“一个”也不排除多个的情况。另外，本申请附图中的各个元素仅仅为了示意说明，并非按比例绘制。
虽然本发明已经通过上述实施例进行了描述，然而本发明并非局限于这里所描述的实施例，在不脱离本发明范围的情况下还包括所做出的各种改变以及变化。
Claims (7)
1.一种面向行为识别的迁移学习方法，包括：
获取有标签的数据和待标定的数据，其中，所述有标签的数据的标签类别包含所述待标定的数据的标签类别；
将所述有标签的数据作为源域数据，所述待标定的数据作为目标域数据，依据基于熵减的最优传输方案确定所述待标定的数据的标签，其中，所述基于熵减的最优传输方案中包括对所述源域数据的标签类别比例的熵进行限制，
所述基于熵减的最优传输方案为：
其中，T为从源域到目标域的基于熵减的最优传输方案，C为从源域到目标域的传输代价矩阵，<C,T>F为从源域到目标域的传输总代价，H(T)为传输方案T的熵正则项，Ω(T)为组正则化项，D1为源域数据的标签类别的矩阵，
为源域的经验分布，
为源域数据的标签类别比例的熵正则项，γ、η1、η2为加权系数，
为全1列向量，nT为目标域数据的数量，nS为源域数据的数量，ν为目标域数据的经验分布。
2.根据权利要求1所述的迁移学习方法，其中，通过广义条件梯度下降的方法获得所述基于熵减的最优传输方案，包括：
3-1)初始化所述基于熵减的最优传输方案；
3-2)获得当前最优传输方案的条件梯度下降方向；
3-3)获得最优步长；
3-4)基于所述条件梯度下降方向和所述步长更新当前最优传输方案；以及
3-5)重复上述步骤3-2)至3-4)，直至所述最优传输方案收敛或达到迭代阈值。
3.根据权利要求2所述的迁移学习方法，其中，采用IBP算法获得条件梯度下降方向，包括：
4-1)基于给定限制解空间中与当前最优传输方案KL散度最小的元素更新当前最优传输方案；
4-2)重复上述步骤4-1)，直至更新后的最优传输方案收敛或达到迭代阈值；
4-3)基于更新后的最优传输方案计算所述当前最优传输方案的条件梯度下降方向。
4.根据权利要求1所述的迁移学习方法，其中，所述依据基于熵减的最优传输方案确定所述待标定的数据的标签包括：
依据所述基于熵减的最优传输方案将所述源域数据的标签类型迁移到待标定的目标域数据，以确定所述待标定的数据的标签。
5.一种面向行为识别的迁移学习系统，包括：
接口模块，用于获取有标签的数据、待标定的数据，其中，所述有标签的数据的标签类别包含所述待标定的数据的标签类别；
迁移模块，用于将所述有标签的数据作为源域数据，所述待标定的数据作为目标域数据，依据基于熵减的最优传输方案确定所述待标定的数据的标签，其中，所述基于熵减的最优传输方案中包括对所述源域数据的标签类别比例的熵进行限制，
所述基于熵减的最优传输方案为：
其中，T为从源域到目标域的基于熵减的最优传输方案，C为从源域到目标域的传输代价矩阵，<C,T>F为从源域到目标域的传输总代价，H(T)为传输方案T的熵正则项，Ω(T)为组正则化项，D1为源域数据的标签类别的矩阵，
为源域的经验分布，
为源域数据的标签类别比例的熵正则项，γ、η1、η2为加权系数，
为全1列向量，nT为目标域数据的数量，nS为源域数据的数量，v为目标域数据的经验分布。
6.一种存储介质，其中存储有计算机程序，在所述计算机程序被处理器执行时，能够用于实现权利要求1-4中任一项所述的方法。
7.一种电子设备，包括处理器和存储器，所述存储器中存储有计算机程序，在所述计算机程序被处理器执行时，能够用于实现权利要求1-4中任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110123629.5A CN112861679B (zh) | 2021-01-29 | 2021-01-29 | 面向行为识别的迁移学习方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110123629.5A CN112861679B (zh) | 2021-01-29 | 2021-01-29 | 面向行为识别的迁移学习方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112861679A CN112861679A (zh) | 2021-05-28 |
| CN112861679B true CN112861679B (zh) | 2023-01-20 |
Family
ID=75985985
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110123629.5A Active CN112861679B (zh) | 2021-01-29 | 2021-01-29 | 面向行为识别的迁移学习方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112861679B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113792576B (zh) * | 2021-07-27 | 2023-07-18 | 北京邮电大学 | 基于有监督域适应的人体行为识别方法、电子设备 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105447840A (zh) * | 2015-12-09 | 2016-03-30 | 西安电子科技大学 | 基于主动采样与高斯过程回归的图像超分辨方法 |
| CN110443372A (zh) * | 2019-07-11 | 2019-11-12 | 南京邮电大学 | 一种基于熵最小化的迁移学习方法及系统 |
| CN110580496A (zh) * | 2019-07-11 | 2019-12-17 | 南京邮电大学 | 一种基于熵最小化的深度迁移学习系统及方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2020096099A1 (ko) * | 2018-11-09 | 2020-05-14 | 주식회사 루닛 | 기계 학습 방법 및 장치 |
-
2021
- 2021-01-29 CN CN202110123629.5A patent/CN112861679B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105447840A (zh) * | 2015-12-09 | 2016-03-30 | 西安电子科技大学 | 基于主动采样与高斯过程回归的图像超分辨方法 |
| CN110443372A (zh) * | 2019-07-11 | 2019-11-12 | 南京邮电大学 | 一种基于熵最小化的迁移学习方法及系统 |
| CN110580496A (zh) * | 2019-07-11 | 2019-12-17 | 南京邮电大学 | 一种基于熵最小化的深度迁移学习系统及方法 |
Non-Patent Citations (2)
| Title |
|---|
| Optimal Transport for Multi-source Domain Adaptation under Target Shift;Ievgen Redko 等;《Proceedings of the 22nd International Conference on Artificial Intelligence and Statistics (AISTATS) 2019》;20191231;全文 * |
| 基于迁移学习的自适应室内Wi-Fi定位;孙卓 等;《普适计算学术会议》;20091029;全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112861679A (zh) | 2021-05-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Umeda | Time series classification via topological data analysis | |
| CN110020623B (zh) | 基于条件变分自编码器的人体活动识别系统及方法 | |
| Gao et al. | Abnormal gait recognition algorithm based on LSTM-CNN fusion network | |
| Sansano et al. | A study of deep neural networks for human activity recognition | |
| Sztyler et al. | Online personalization of cross-subjects based activity recognition models on wearable devices | |
| CN107122752B (zh) | 一种人体动作比对方法及装置 | |
| CN109948741A (zh) | 一种迁移学习方法及装置 | |
| Bu | Human motion gesture recognition algorithm in video based on convolutional neural features of training images | |
| CN111863244B (zh) | 基于稀疏池化图卷积的功能连接精神疾病分类方法和系统 | |
| Benalcázar et al. | Real-time hand gesture recognition based on artificial feed-forward neural networks and EMG | |
| CN110210380B (zh) | 基于表情识别与心理学测试生成性格的分析方法 | |
| CN111967362A (zh) | 面向可穿戴设备的超图特征融合和集成学习的人体行为识别方法 | |
| Zeng et al. | Gait recognition across different walking speeds via deterministic learning | |
| CN111178288A (zh) | 基于局部误差逐层训练的人体姿态识别方法和装置 | |
| CN112861679B (zh) | 面向行为识别的迁移学习方法及系统 | |
| CN115471908A (zh) | 姿态处理方法、装置、系统以及存储介质 | |
| Javeed et al. | Physical human locomotion prediction using manifold regularization | |
| Zhou et al. | A self-supervised human activity recognition approach via body sensor networks in smart city | |
| Permatasari et al. | Inertial sensor fusion for gait recognition with symmetric positive definite Gaussian kernels analysis | |
| Asl et al. | Statistical database of human motion recognition using wearable IoT—A review | |
| Chao et al. | Structural feature representation and fusion of human spatial cooperative motion for action recognition | |
| Wang et al. | Robust Human Activity Recognition via Wearable Sensors Using Dynamic Gaussian Kernel Learning | |
| Wilson et al. | Domain Adaptation Under Behavioral and Temporal Shifts for Natural Time Series Mobile Activity Recognition | |
| CN114495265B (zh) | 多跨域场景下基于活动图加权的人体行为识别方法 | |
| Hosein et al. | Wearable sensor selection, motion representation and their effect on exercise classification |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |