CN106056043B - 基于迁移学习的动物行为识别方法和装置 - Google Patents

Abstract

本发明提出了一种基于迁移学习的目标动物行为识别方法和装置，即训练数据集中的训练样本包括人的行为样本、非目标动物的行为样本和目标动物的行为样本中的一种或几种的组合，测试数据集为目标动物的行为样本。该发明步骤包括：步骤101，针对训练数据集中的每一个训练样本和测试数据集中的每一测试样本，提取原始特征；步骤102，采用迁移学习中的领域适应学习法将所述原始特征映射到共同空间中，得到新的特征；步骤103，利用所述新的特征训练SVM分类器，得到行为识别模型，同时对所述目标动物行为识别模型进行测试；步骤104，利用所述动物行为识别模型对目标动物的待识别行为进行识别。本发明提出的基于迁移学习的行为识别方法能有效的识别动物的行为。

Description

基于迁移学习的动物行为识别方法和装置

技术领域

本发明属于机器学习、计算机视觉的技术在动物行为的自动识别方面的应用，适用于动物行为的自动识别、动物异常行为分析等动物行为学的各项研究。

背景技术

随着监控视频和网络视频的数量日渐增多，视频中自动识别行为的技术变得越来越重要。如人的行为识别一样，动物的行为识别也很重要，它的应用包括野生动物行为分析、宠物的监控等。但是，获取动物行为视频的训练数据比较困难，特别是对某些稀有动物。

一些哲学家和行为研究者认为，不同种类之间的行为是相似的。考虑到人的行为的训练数据容易获取，于是我们提出一个新的问题，能否用人的行为的数据来帮助识别动物的行为？或者进一步，能否用人和某些动物的数据帮助识别另外一些动物的行为？

考虑到不同的种类的动物或者人，行为的表现方式不同，这些差别对应到所提取的特征上，就是特征的分布不一样。传统机器学习中的分类方法假设训练数据和测试数据的分布是一致的，所以不能直接采用人的行为的特征做训练来帮助做动物的行为识别。因为迁移学习(transfer learning，简称TL)针对训练数据和测试数据的分布不一致的情况，所以我们正好利用TL来解决这个问题。

发明内容

针对动物的行为识别中训练数据获取困难这个问题，本发明提出了一种基于迁移学习的动物的行为识别方法和装置。

根据本发明一方面，提供了一种基于迁移学习的目标动物行为识别方法，其包括：

步骤101，针对训练数据集中的每一个训练样本和测试数据集中的每一测试样本，提取原始特征；

步骤102，采用迁移学习中的领域适应学习法将所述原始特征映射到共同空间中，得到新的特征；

步骤103，利用所述新的特征训练SVM分类器，得到目标动物行为识别模型，同时对所述目标动物行为识别模型进行测试；

步骤104，利用所述动物行为识别模型对目标动物的待识别行为进行识别。

根据本发明另一方面，提供了一种基于迁移学习的目标动物行为识别装置，其包括：

特征提取模块，用于针对训练数据集中的每一个训练样本和测试数据集中的每一测试样本，提取原始特征；

特征优化模块，用于采用迁移学习中的领域适应学习法将所述原始特征映射到共同空间中，得到新的特征；

训练和测试模块，用于利用所述新的特征训练SVM分类器，得到目标动物行为识别模型，同时对所述目标动物行为识别模型进行测试；

分类和识别模块，用于利用所述动物行为识别模型对目标动物的待识别行为进行识别。

附图说明

图1为本发明的主要四个步骤，即特征提取、特征优化、训练和测试和分类和识别。

图2是本发明中所述训练数据集中的训练样本仅为人的行为样本时，目标动物行为识别的算法流程图。行为识别的算法如下：

步骤1：分别对训练数据和测试数据提取原始特征；

步骤2：采用迁移学习中领域适应学习(domain adaption learning，简称DAL)把训练数据的特征和测试数据的特征一起映射到一个共同的空间，得到新的特征，以减小来自人和动物的两类特征在概率分布上的差异；

步骤3：采用新特征训练、测试，识别目标动物的行为。

图3是本发明中所述训练数据集中的训练样本为人的行为样本和非目标动物的行为样本的组合时，目标动物行为识别的算法流程图。行为识别的算法如下：

步骤1：分别对训练数据和测试数据提取原始特征；

步骤2：对每一个来源(人或者某一类动物)的数据的特征和测试数据的特征，经过DAL，得到新的特征，采用这部分训练数据训练得到某个行为识别模型，最后得到多个从不同来源迁移的行为识别的模型；

步骤3：采用集成迁移学习(ensemble transfer learning，简称ETL) 的方法融合多个不同来源的迁移学习模型，以此识别目标动物的行为。

图4是本发明中所述训练数据集中的训练样本为人的行为样本、非目标动物的行为样本和目标动物的行为样本的组合时，目标动物行为识别的算法流程图。这里通过三种策略解决这个问题。第一种策略只采用目标动物的部分有标注的数据做训练。第二种策略用人和多类其它动物的行为的数据做训练。第三种策略是前两种的结合，本发明中通过对前两种策略所预测的行为的概率分布做后融合。

图5是A2D数据库中人和部分动物对应的行为示意图。

具体实施方式

下面结合实例，并参照附图，叙述本发明的具体细节，并给出实验结果和相关分析。

本发明提出了一种基于迁移学习的目标动物行为识别方法，其包括：

步骤101，针对训练数据集中的每一个训练样本和测试数据集中的每一测试样本，提取原始特征；

步骤102，采用迁移学习中的领域适应学习法将所述原始特征映射到共同空间中，得到新的特征；

步骤103，利用所述新的特征训练SVM分类器，得到目标动物行为识别模型，同时对所述目标动物行为识别模型进行测试；

步骤104，利用所述动物行为识别模型对目标动物的待识别行为进行识别。

上述方法中，所述训练数据集中的训练样本包括人的行为样本、非目标动物的行为样本和目标动物的行为样本中的一种或几种的组合。

上述方法中，所述训练数据集中的训练样本仅为人的行为样本时，步骤103包括：

对于人的行为样本，训练得到第一目标动物识别模型；

利用第一目标动物识别模型识别待识别行为，得到最终的识别结果。

上述方法中，所述训练数据集中的训练样本为人的行为样本和非目标动物的行为样本的组合时，步骤103包括：

对于不同种类的行为样本，分别训练得到不同的中间识别模型，利用集成迁移学习法将所述不同的中间识别模型融合成一个目标动物识别模型。

上述方法中，所述训练数据集中的训练样本为人的行为样本、非目标动物的行为样本和目标动物的行为样本的组合时，步骤103包括：

对于目标动物的行为样本，训练得到第一目标动物识别模型；

对于出目标动物的其他不同种类的行为样本，分别训练得到不同的中间识别模型；

对于利用集成迁移学习法将所述中间识别模型融合成第二目标动物识别模型；

利用第一目标动物识别模型和第二目标动物识别模型分别识别待识别行为，并结合两个识别结果得到最终的识别结果。

对输入视频，第一步要提取原始特征。我们采用在当前行为识别研究中比较流行的密集轨迹(dense trajectory)方法。首先，提取TRJ(trajectories)、 HOG(histogramsof oriented gradients)、HOF(histograms of optical flow)、 MBH(motion boundaryhistogram)四种局部特征，经过主成分分析 (principal component analysis，简称PCA)把特征维度降到原来的一半，然后采用词袋模型(bag of words)对每一种局部特征编码，视觉词典(visual words)的个数设置为2000，于是对每个视频得到TRJ、HOG、HOF、MBH 四种局部特征的直方图特征，最后把它们串接起来，作为视频的原始特征。本发明不限于上述四种原始特征，本方法对原始特征没有限定，适用任何有效的行为识别的特征。

由于来自人和动物的原始特征的概率分布不同，我们采用迁移学习的方法把原始特征转化为新的特征，最后采用线性支持向量机(support vector machine，SVM)作为最后特征的分类器，设置参数C＝500。迁移学习的方法具体如下所述。

图2中，用人的行为的数据训练，把训练好的模型迁移到目标动物，以识别该动物的行为。在提取原始特征之后，我们采用TL中迁移稀疏编码(transfer sparse coding，简称TSC)的方法(Long等人提出)，为了减小训练数据和测试数据在特征分布上的差异性，把训练和测试数据的原始特征一起映射到一个共同的空间，得到新的特征。该方法具体步骤如下。

记H＝[h₁，…，h_N]∈R^D×N为原始特征矩阵，其中D表示特征维度，N表示总的特征数目，N＝N^s+N^t，H的前N^s列为训练数据的特征，后N^t列为测试数据的特征。U＝[u₁，…，u_K]∈R^D×K为稀疏编码的词典，基的个数为K。 V＝[v₁，…，v_N]∈R^K×N为原始特征经过稀疏编码后的新特征所组成的矩阵。迁移稀疏编码TSC的目标函数如下所示：

式中，λ，μ，γ为模型系数，实验中取固定的值，矩阵M，L为迁移学习相关参数，解释如下。

该目标函数由三项组成。第一项是稀疏编码的重构误差，第二项是对编码的L₁正则，使得新特征产生稀疏的效果，前两项是传统的稀疏编码方法。第三项是针对迁移学习的，由两部分组成，即最大均值差异(maximum mean discrepancy，简称MMD)正则化和图拉普拉斯(graph Laplacian，简称GL)正规化。

MMD是对概率分布的一种非参数度量方法，它采用两个不同概率分布的均值之间的距离作为这两个概率分布之间的距离度量，计算如下：

式中，矩阵M具有如下形式：

MMD正则化能够减小来自不同分布的特征经过编码后的差异，当且仅当两类分布相同的时候，MMD渐进趋近于0，相当于没有加约束。

如果两个特征在原始空间距离近，那么在编码的特征在新的空间距离也应该近，GL正规化正是基于这个思路。它采用K近邻对特征在原始空间的邻近关系建模，构建邻接矩阵W如下：

定义GL矩阵L＝W-D，其中，D＝diag(d₁，…，d_N)，并最小化以下函数：

对于公式(1)中的目标函数，可以采用两步走的优化方法求解。第一步，固定词典U，计算最优的编码V；第二步，固定编码V，计算最优的词典U。这两个步骤交替迭代，一直到目标函数值不再下降或者误差在可接受的范围之内。

对于新特征V，采用来自人的训练数据做训练，得到行为识别的模型，然后采用测试数据对所述目标动物进行测试，用于识别目标动物的行为，测试过程中分类器参数不变。作为对比方法，我们对原始特征做类似的处理。

图3中，用人和多类其它动物的行为的数据训练，把多个训练好的模型迁移到同一类目标动物。对每一个来源(人或者某一类动物)的训练数据，采用图1中所述的方法，得到从这个来源迁移的行为识别模型。集成迁移学习(ensemble transfer learning，简称ETL)是把多个TL模型的结果整合到一起的一类机器学习方法，正好针对我们的这个问题。这里，我们采用局部加权集成(locally weighted ensemble，简称LWE)的方法(Gao 等人提出)。具体过程如下所述。

假设已知l个从不同来源迁移的识别模型和测试数据集合D_T，根据贝叶斯法则，测试样本的后验概率估计如下：

式中，P(y|h，M_k)表示模型M_k判断样本h∈D_T是行为y的概率，P(M_k|h)表示样本h选择模型M_k来分类的概率，我们可以把P(M_k|h)看做对某一个样本h的权重系数，即并作为模型需要估计的参数。

测试样本h的真实标签是未知的，f(h)表示测试数据的概率密度函数。我们认为以下两条假设是合理的：假设1，对某个测试样本，如果某个模型的预测概率(P(y|h，M_k))的分布和该样本真实的概率(p(y|h))的分布接近，那么这个模型应该拥有对这个样本相对较大的权重系数；假设2，在概率密度f(h)值较大的区域，该密度函数的变化相对平缓，也就是说，分类的边界应该在概率密度值较小的区域。

但是，对于高维数据，概率密度函数f(h)很难准确估计，特别是样本数目缺乏的情况下。这里，我们采用一种替代的办法。首先，对测试样本聚类，并认为聚类中心的边界处对应概率密度低的区域。对于样本h，如果模型M_k预测的分类边界和聚类中心的边界一致，我们认为P(y|h，M_k)和标签真实的分布很像，也就是说，的值较大。

因此，我们采用一种聚类的方法来估计模型对于样本的权重系数。首先，把测试数据聚为c个类别，并构造图G_T＝(V_T，E_T)，V_T表示测试样本集合，E_T表示测试样本之间的连接关系，当且仅当两个不同的样本属于同一个聚类中心时，它们之间才会有边相连接。接着，对于每一个模型M_k，我们构造类似的图不同之处在于边的集合这里，当且仅当两个不同的样本被模型M_k判为同一个类别时，它们之间才会有边相连接。基于以上的分析，我们可以认为，对于样本h，模型M_k的权重系数和该样本在图G_T和图中共同相邻的节点的个数成正比，即：

式中V_T，h，分别表示样本h节点在图G_T，中的相邻节点的集合。

对每一个样本h，由此估计并按照公式(6)计算属于某行为的概率，从而判断该样本的行为。

图4中，用人和多类其它动物的行为的数据，以及目标动物的部分有标注的数据做训练，以识别该动物的行为。我们采用三种策略，并比较它们的结果。第一种策略是传统的行为识别方法，即只采用目标动物的有标注的数据做训练。第二种策略是图2中所述的方法，即用人和多类其它动物的数据做训练。第三中策略是前两种的结合，我们简单的对前两种策略所预测的行为的概率分布做后融合，即把这两个预测概率相加。

下面通过具体实施例详细说明本发明提出的上述方案，并借助实验结果来验证本发明的有效性。基于以上所发明的方法，实验设置分为以下三种情况：

情况1：用人的数据做训练，把训练好的模型迁移到目标动物，以识别该动物的行为；

情况2：用人和多类其它动物的数据做训练，把多个训练好的模型迁移到同一类目标动物，以识别该动物的行为；

情况3：用人和多类其它动物的数据，以及该目标动物的部分有标注的数据做训练，以识别该动物的行为。

针对目标动物有部分训练数据的情况，本发明采用三种策略解决这个问题，即简易的行为识别方法，基于迁移学习的行为识别方法，以及两者结合的方法。

由于这是一个新的问题，需要数据库中既有人的行为视频，也有不同动物的行为视频。幸运的是，我们不需要自己构建数据库，美国密西根大学2015年公布了一个新的行为识别的数据库，即A2D数据库，该数据库同时包含动物和人的行为视频。Xu等人构建这个数据库是为了做本体(指行为的主体)和行为的共同分类、分割，我们正好用这个数据库来做基于迁移学习的动物的行为识别。

图5显示了A2D数据库中人和部分动物对应的部分行为，从中可以看出，动物和人的行为是相似的。

实验设置如下所述。

对于情况1，我们把A2D中成人的全部视频作为训练集合，分别把鸟、猫、狗这三类动物的视频作为测试集合。我们采用原始特征直接分类，作为非迁移学习方法和实验中的迁移学习方法做对比。结果如表格1所示。

对于情况2，考虑到有四类视频，成人、鸟、猫、狗，我们分别把鸟、猫、狗这三类动物的视频作为测试集合，而把其它所有视频作为训练集合。举个例子，用鸟的视频做测试的时候，采用成人、猫和狗的视频做训练。类似于情况1，我们也用原始特征做分类，作为对比试验。因为我们针对情况2采用了集成迁移学习的融合方法，为验证效果，我们采用后融合(把多个分类器的预测概率相加)方法作为对比实验。结果如表格2所示。

对于情况3，对于鸟、猫、狗中的某一类目标动物，我们首先把它所有的数据随机划分训练集合测试集合，实验中，采用20％的数据做训练，其余做测试，另外，采用其它动物以及成人的全部数据作为额外的训练集合。我们对比了三种不同的策略，即传统的行为识别方法，基于迁移学习的行为识别方法，以及两者结合的方法。结果如表格3所示。

表格1 情况1的行为识别精度，从人迁移到动物

方法	鸟	猫	狗
				非迁移学习方法	62.6％	66.6％	66.4％
迁移学习方法	70.0％	73.0％	73.8％

表格2 情况2的行为识别精度，从人和其它动物共同迁移到该动物，并经过模型融合

表格3 情况3的行为识别精度，三种策略的比较

方法	鸟	猫	狗
				策略1，传统的方法	56.1％	57.6％	66.0％
策略2，迁移学习的方法	76.0％	81.5％	79.3％
				策略3，结合的方法	78.0％	81.6％	79.9％

从表格1的结果可以看出，迁移学习的方法比非迁移学习的结果好。由此说明，人的行为可以迁移到动物，并帮助动物的行为识别，特别是针对动物没有训练样本的情况下。

从表格2的结果可以看出，迁移学习的方法比非迁移学习的结果好，集成迁移学习要比后融合的结果好。同时，我们发现，表格2中的最好结果比表格1中的最好结果好。由此说明，不仅人的行为可以迁移到动物，不同动物的行为也可以互相迁移。如果要识别某一类动物的行为而没有训练数据，我们可以采用人和其它动物的数据做训练，提取特征之后，先采用迁移学习的方法减少特征之间的差异，再采用集成迁移学习的方法融合多个模型，这样可以获得最好的识别效果。

从表格3的结果可以看出，针对有部分标注的样本的情况，迁移学习方法依旧是很有效的，特别是当有标注的数据不够多时候(比如，低于20％)。另外，把传统的行为识别方法和基于迁移学习的行为识别方法结合起来，我们可以进一步提高识别精度。

综上，针对动物的行为识别中训练数据获取困难这个问题，我们提出了提出了一种新的解决思路，即基于迁移学习的动物的行为识别。该方法能有效的识别动物的行为，适用于目标动物没有训练样本的情况，以及训练样本不够多的情况。

Claims (7)

1.一种基于迁移学习的动物行为识别方法，其包括：

步骤101，针对训练数据集中的每一个训练样本和测试数据集中的每一测试样本，提取原始特征；

所述训练样本包括人的行为样本、非目标动物的行为样本和目标动物的行为样本中的一种或几种的组合；

步骤102，采用迁移学习中的领域适应学习法将所述原始特征映射到共同空间中，得到新的特征；

步骤103，利用所述新的特征训练SVM分类器，得到目标动物行为识别模型，同时对所述目标动物行为识别模型进行测试；

其中，所述训练数据集中的训练样本为人的行为样本和非目标动物的行为样本的组合时，步骤103包括：对于人的行为样本、非目标动物的行为样本，分别训练得到不同的中间识别模型，利用集成迁移学习法将所述不同的中间识别模型融合成一个目标动物识别模型；

步骤103还包括：对测试样本进行聚类为c个类别，并构造图G_T＝(V_T，E_T)，V_T表示测试样本集合，E_T表示测试样本之间的连接边集合，当且仅当两个不同的测试样本属于同一个聚类中心时，它们之间才会有边相连接；

对于每一个待测试的目标动物行为识别模型M_k，构造图 表示测试样本之间的连接边集合，当且仅当两个不同的测试样本被待测试的目标动物行为识别模型M_k判为同一个类别时，它们之间才会有边相连接；

基于以上的分析，对于测试样本h，待测试的目标动物行为识别模型M_k的权重系数和该测试样本在图G_T和图中共同相邻的节点的个数成正比，即：

式中V_T，h，分别表示样本h节点在图G_T，中的相邻节点的集合；

对每一个测试样本h，利用估计得到的计算测试样本属于某行为的概率，从而判断该测试样本的行为；

步骤104，利用所述动物行为识别模型对目标动物的待识别行为进行识别。

2.根据权利要求1所述的方法，其中，所述训练数据集中的训练样本仅为人的行为样本时，步骤103包括：

对于人的行为样本，训练得到第一目标动物识别模型；

利用第一目标动物识别模型识别待识别行为，得到最终的识别结果。

3.根据权利要求1所述的方法，其中所述训练数据集中的训练样本为人的行为样本、非目标动物的行为样本和目标动物的行为样本的组合时，步骤103包括：

对于目标动物的行为样本，训练得到第一目标动物识别模型；

对于人的行为样本、非目标动物的行为样本，分别训练得到不同的中间识别模型；

对于利用集成迁移学习法将所述中间识别模型融合成第二目标动物识别模型；

利用第一目标动物识别模型和第二目标动物识别模型分别识别待识别行为，并结合两个识别结果得到最终的识别结果。

4.根据权利要求1-3任一项所述的方法，其中，步骤103还包括：

利用测试样本得到的新特征对所述目标动物行为识别模型进行测试。

5.根据权利要求1所述的方法，其中，步骤101具体包括：

提取TRJ、HOG、HOF和MBH四种局部特征；

经过主成分分析方法将所述四种局部特征的维度降到原来一半；

采用词袋模型对每一种局部特征编码，针对每个视频得到上述四种局部特征的直方图特征；

将得到的直方图特征串接起来，得到原始特征。

6.根据权利要求1所述的方法，其中，如下计算测试样本属于某行为的概率：

其中，P(y|h，M_k)表示M_k判断样本h∈V_T是行为y的概率，P(M_k|h)表示样本h选择M_k来分类的概率，把P(M_k|h)看做对某一个样本h的权重系数，即L为M_k的个数。

7.一种基于迁移学习的目标动物行为识别装置，其包括：

特征提取模块，用于针对训练数据集中的每一个训练样本和测试数据集中的每一测试样本，提取原始特征；

所述训练样本包括人的行为样本、非目标动物的行为样本和目标动物的行为样本中的一种或几种的组合；

特征优化模块，用于采用迁移学习中的领域适应学习法将所述原始特征映射到共同空间中，得到新的特征；

训练和测试模块，用于利用所述新的特征训练SVM分类器，得到目标动物行为识别模型，同时对所述目标动物行为识别模型进行测试；

其中，训练数据集中的训练样本为人的行为样本和非目标动物的行为样本的组合时，对于人的行为样本、非目标动物的行为样本，分别训练得到不同的中间识别模型，利用集成迁移学习法将所述不同的中间识别模型融合成一个目标动物识别模型；

对测试样本进行聚类为c个类别，并构造图G_T＝(V_T，E_T)，V_T表示测试样本集合，E_T表示测试样本之间的连接边集合，当且仅当两个不同的测试样本属于同一个聚类中心时，它们之间才会有边相连接；

对于每一个待测试的目标动物行为识别模型M_k，构造图 表示测试样本之间的连接边集合，当且仅当两个不同的测试样本被待测试的目标动物行为识别模型M_k判为同一个类别时，它们之间才会有边相连接；

基于以上的分析，对于测试样本h，待测试的目标动物行为识别模型M_k的权重系数和该测试样本在图G_T和图中共同相邻的节点的个数成正比，即：

式中V_T，h，分别表示样本h节点在图G_T，中的相邻节点的集合；

对每一个测试样本h，利用估计得到的计算测试样本属于某行为的概率，从而判断该测试样本的行为；

分类和识别模块，用于利用所述动物行为识别模型对目标动物的待识别行为进行识别。