CN104794488A - 一种用稀疏原型表示的团队行为分类的迁移学习方法 - Google Patents

Abstract

本发明公开了一种用稀疏原型表示的团队行为分类的迁移学习方法，包括：使用未标记的数据集来计算原型表示；基于原型表示的计算结果，使用相关问题的数据来选择原型中最有识别力的一个子集；为选定的原型创建了一个基于内核距离的新的表示。本发明所述用稀疏原型表示的团队行为分类的迁移学习方法，可以克服现有技术中操作过程复杂、使用不方便和可靠性低等缺陷，以实现操作过程简单、使用方便和可靠性高的优点。

Description

一种用稀疏原型表示的团队行为分类的迁移学习方法

技术领域

本发明涉及图形处理技术领域，具体地，涉及一种用稀疏原型表示的团队行为分类的迁移学习方法。

背景技术

从少数训练样本中学习视觉分类模型是计算机视觉中的一个重要挑战。为了使机器实现与人类似的性能，视觉分类的学习方法需要充分利用从以前学过的类别中获得的先验知识并利用未标记的数据来发现环境中的结构。半监督学习方法可以从未标记的数据找到结构并使用该结构来提高监督任务的性能^[1]，但一般不利用从以前的监督任务学到的先验知识。

迁移学习方法的共同目标是从前面的任务发现表示，实现通过少数样本学习未来的相关任务。现有的迁移学习方法经常学习先验模型或分类参数的线性流形[2,3]，发现共同特征的稀疏集^[4]，或使用基于相关任务的分类输出的表示^[5]，但一般不利用未标记的数据。

在实现本发明的过程中，发明人发现现有技术中至少存在操作过程复杂、使用不方便和可靠性低等缺陷。

发明内容

本发明的目的在于，针对上述问题，提出一种用稀疏原型表示的团队行为分类的迁移学习方法，以实现操作过程简单、使用方便和可靠性高的优点。

为实现上述目的，本发明采用的技术方案是：一种用稀疏原型表示的团队行为分类的迁移学习方法，包括：

a、使用未标记的数据集来计算原型表示；这里，未标记的数据是相对于行为识别过程中已经标注的训练样本数据而言的，该词在人工智能、模式识别中已经有大量应用。

b、基于原型表示的计算结果，使用相关问题的数据来选择原型中最有识别力的一个子集；这里，相关问题的数据是指在团队行为识别过程中与某一行为具有相关性的其它行为构成的数据。最有识别力的指的是对某一行为而言识别能力最强的。

c、为选定的原型创建了一个基于内核距离的新的表示。这里，新的表示，是指新的行为的表示。

进一步地，所述步骤a，具体包括：

给定一个未标记的数据集U＝{x₁,x₂,x₃,…,x_p}和核函数

计算基于到数据集U中未标记的数据点的核距离的原型表示。

进一步地，所述计算基于到数据集U中未标记的数据点的核距离的原型表示的操作，进一步包括：

⑴通过计算数据集U中的所有点的核矩阵K来创建原型表示，即数据集U中x_i和x_j的核矩阵为K_ij＝k(x_i,x_j)；

⑵创建一个由K中的所有特征向量对应的非零特征值组成的投影矩阵A(特征向量是通过对K执行SVD获得)；新的原型表示由式(1)给出：

z(x)＝A^Τψ(x)   (1)

其中，ψ(x)＝[k(x,x₁),k(x,x₂),…,k(x,x_p)]^Τ，x_i∈U。

进一步地，所述步骤b，具体包括：

使用了从相关问题得到的训练集的集合C＝{T₁,T₂,…,T_m}来发现有识别力的原型，其中，这里，相关问题的数据是指在团队行为识别过程中与某一行为具有相关性的其它行为。

寻找原型空间中的稀疏表示，该表示是C中所有问题的联合优化。

进一步地，所述寻找原型空间中的稀疏表示的操作，进一步包括：

⑴考虑学习结构原型空间的单个分类器的事件：

f(x)＝w^Τz(x)   (2)

其中，z(x)＝A^Τψ(x)是算法第一步描述的表示。稀疏原型是一种拥有很少数目的非零系数的原型；

给定一个n个样本的训练集，在这样环境中的参数估计的自然选择采用式(3)优化参数w^*来实现：

$w^{*}=\underset{w}{\min }\mathrm{\λ}\underset{i=1}{\overset{n}{\mathrm{\Σ}}}l(f\left(x_i\right),y_i)+\underset{j=1}{\overset{p}{\mathrm{\Σ}}}\left|{\mathrm{\ω}}_j\right|---\left(3\right)$

式(3)的左项用于估计训练样本过程中分类器引起的误差，该误差根据损失函数l来估计；式(3)的右项是能够促进稀疏的系数向量的l₁范数，常数λ指定数据的稀疏和逼近误差之间的权衡系数；

⑵使用C中的训练集来学习原型空间中的联合稀疏分类器；学习后的分类器共享大量非零系数，即行为原型；

定义一个p×m的系数矩阵W，其中，W_jk对应于第k个行为中的第j个系数，W的第k列行为k的系数集，用w_k表示；同时，第j行对应于横跨m个行为的原型j的系数；该矩阵中m个分类器相应表示为：

f_k(x)＝w_k ^Τz(x)   (4)

W中的非零行数对应于m个分类器中任意分类器使用的原型总数，将选择最优的系数矩阵W^*：

$w^{*}=\underset{w}{\min }\underset{k=1}{\overset{m}{\mathrm{\Σ}}}{\mathrm{\λ}}_k\underset{i=1}{\overset{n}{\mathrm{\Σ}}}l(f\left(x_i\right),y_i)+{\left|\right|W\left|\right|}_{r0}---\left(5\right)$

其中，||W||_r0是一个统计非零行的伪范数；

式(5)中的左项最小化每个分类器在其相应的训练集产生的损失的加权和，其中，λ_k为第k个行为的损失的权重；式(5)中的右项最大限度地减少了一些相关的问题的非零系数的原型的数目；

使用同时稀疏逼近的伪范数r₀的凸松弛来代替直接求解方程，(l₁,l_∞)范数采用式(5)可以改写为：

$w^{*}=\underset{w}{\min }\underset{k=1}{\overset{m}{\mathrm{\Σ}}}{\mathrm{\λ}}_k\underset{i=1}{\overset{n}{\mathrm{\Σ}}}l(f\left(x_i\right),y_i)+\underset{j=1}{\overset{p}{\mathrm{\Σ}}}\underset{k}{\max }\left|W_{\mathrm{jk}}\right|---\left(6\right)$

(6)式右项通过结合系数矩阵的l₁范数和l_∞范数来促进联合稀疏；

⑶当使用铰链损失时，式(6)作为一个线性规划：

$w^{*}=\underset{w}{\min }\underset{k=1}{\overset{m}{\mathrm{\Σ}}}{\mathrm{\λ}}_k\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{\mathrm{\ϵ}}_i^k+\underset{j=1}{\overset{p}{\mathrm{\Σ}}}{t}_j---\left(7\right)$

当j＝1:p和k＝1:m时

-t_j≤W_jk≤t_j   (8)

k＝1:m和i＝1:n时

$y_i^k{w}_k^{T}z\left(x_i^k\right)\≥1-{\mathrm{\ϵ}}_i^k,{\mathrm{\ϵ}}_i^k\≥0---\left(9\right)$

公式(8)中的约束界定横穿m个行为的第j个原型的系数存在于在区间[-t_j,t_j]；约束方程(9)对每个行为的训练样本的标准松弛变量进行约束。

进一步地，所述步骤c，具体包括：

采用式(7)计算出的最优的系数矩阵和阈值，创建一个新的基于到有关原型的一个子集的内核距离的表示，定义相关原型集为：

本发明的技术方案，采用矩阵A中所有列对应中的指数来构造一个新的投影矩阵B，其中A是算法第一步计算出的矩阵；B是一个p×h矩阵，其中新的稀疏原型表示为：

v(x)＝B^Τψ(x)   (11)

当给定一个新的目标行为时，用v(x)在训练和测试集中投影每一个样本；

在新的空间训练任何类型的分类器。

本发明各实施例的用稀疏原型表示的团队行为分类的迁移学习方法，由于包括：使用未标记的数据集来计算原型表示；基于原型表示的计算结果，使用相关问题的数据来选择原型中最有识别力的一个子集；为选定的原型创建了一个基于内核距离的新的表示；从而可以克服现有技术中操作过程复杂、使用不方便和可靠性低的缺陷，以实现操作过程简单、使用方便和可靠性高的优点。

本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。

下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。

附图说明

附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。在附图中：

图1中(a)～(j)为本发明中显示了RFB和SPT模型中10种足球比赛行为的迁移学习过程中的平均等错误率；

图2中(a)、(b)分别为本发明中不同遮挡下的视频足球比赛中的多运动员行为的识别率。

具体实施方式

以下结合附图对本发明的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本发明，并不用于限定本发明。

根据本发明实施例，如图1和图2所示，提供了一种用稀疏原型表示的团队行为分类的迁移学习方法。

为了从少数样本中学习一种新的团队行为分类，可以利用从未标记的数据中获得的先验知识以及以前的相关类别。本发明的技术方案，提出了一种新迁移学习算法，该方法利用现有的未标记的数据和任意一个内核函数。通过基于到未标记的数据点的大数据集的内核距离来构造表示。为了从以前的相关行为问题进行知识转移，使用一个小的参考原型的子集可以学习一个新行为类。相关行为问题可以共享相当数量的相关原型。通过对相关行为问题的训练集执行联合损失最小化及共享使近似值中的原型总数最大限度地减少的正规化惩罚来找出行为的一种简洁表示。该优化问题可以表述为一个可以有效解决的线性规划。实验结果表明，只有少数的样本可用于训练目标行为时，利用从其它行为学到的知识可以显著提高性能。

本发明的技术方案，提出了一种视觉分类迁移学习算法，该算法可以从一组相关任务中学习一种有效表示且能够利用未标记的数据。该方法使用未标记的数据来定义基于计算到一个未标记点的潜在的大数据集的内核距离的原型表示。然而，每一个视觉类模型可能只依赖于到小的原型数据集的距离。如果已知这些原型，就能通过从特征空间中删除无关原型，用更少的样本来学习模型。一般来说，在不知道先验知识的情况下，相关的问题可以共享相当数量的原型。本发明的技术方案，提出的迁移学习方法为给定的任务集确定最相关的原型集，并使用减少的点集作未来相关任务的特征空间。实验表明，与原始特征空间相比，使用迁移表示大大提高了对小训练集的学习效果。当监督训练数据有限时，从以前的专题学习的表示提高了分类性能。

本发明的技术方案，从未标记的数据和相关的任务中学习稀疏原型表示：

本发明的技术方案，是以Balcan等提出的使用基于未标记的数据点的内核距离表示^[6]和Tropp^[7]提出的同时稀疏逼近为基础。本发明的技术方案，的稀疏原型迁移算法使用Tropp和Obozinski等人提出的规范来学习在给定域有识别力的稀疏原型集。从未标记的数据点集U＝{x₁,x₂,x₃,…,x_p}和相关问题的训练集C＝{T₁,T₂,…,T_m}中学习表示的稀疏原型的学习算法，其中在所有情况下，x∈χ(如)，y∈{+1,-1}。算法主要分三步。第一步使用未标记的数据集来计算原型表示。第二步使用相关问题的数据来选择原型中最有识别力的一个子集。第三步为选定的原型创建了一个基于内核距离的新的表示。

2.1原型表示的计算

给定一个未标记的数据集U＝{x₁,x₂,x₃,…,x_p}和核函数算法的第一步是计算基于到数据集U中未标记的数据点的核距离的原型表示。

首先通过计算数据集U中的所有点的核矩阵K来创建原型表示^[8]，即数据集U中x_i和x_j的核矩阵为K_ij＝k(x_i,x_j)。然后创建一个由K中的所有特征向量对应的非零特征值组成的投影矩阵A(特征向量是通过对K执行SVD获得)。新的原型表示由式(1)给出：

z(x)＝A^Τψ(x)   (1)

其中，ψ(x)＝[k(x,x₁),k(x,x₂),…,k(x,x_p)]^Τ，x_i∈U。本发明的技术方案，把投影矩阵A的列作为原型。

原型表示的表现类似于诱导内核空间。通过这种技术手段，联合稀疏优化可以利用内核函数的优势，而不必明确内核化。另一种从未标记的数据中学习表示的方法是通过取K的特征向量的最值h创建一个p×h投影矩阵L，并定义新的表示g(x)＝L^Τψ(x)，并把这种方法称为低排名技术。本发明的技术方案，提出的方法和低排名的方法有显著的不同，因为本发明的技术方案，使用从相关问题得到的训练数据来选择有识别力的原型。在实验部分，列出了本发明的技术方案，提出的方法与低排名方法比较所具有的优势。

2.2通过联合稀疏逼近来发现相关原型

本发明的技术方案，算法的第二步使用了从相关问题得到的训练集的集合C＝{T₁,T₂,…,T_m}来发现有识别力的原型，其中，本发明的技术方案，提出的方法寻找原型空间中的稀疏表示，该表示是C中所有问题的联合优化。

首先考虑学习结构原型空间的单个分类器的事件：

f(x)＝w^Τz(x)   (2)

其中，z(x)＝A^Τψ(x)是算法第一步描述的表示。稀疏原型是一种拥有很少数目的非零系数的原型。给定一个n个样本的训练集，在这样环境中的参数估计的自然选择采用式(3)优化参数w^*来实现:

$w^{*}=\underset{w}{\min }\mathrm{\λ}\underset{i=1}{\overset{n}{\mathrm{\Σ}}}l(f\left(x_i\right),y_i)+\underset{j=1}{\overset{p}{\mathrm{\Σ}}}\left|{\mathrm{\ω}}_j\right|---\left(3\right)$

式(3)的左项用于估计训练样本过程中分类器引起的误差，该误差根据损失函数l来估计。本发明的技术方案，使用链损失来估计。式(3)的右项是能够促进稀疏的系数向量的l₁范数。在衰减环境下，Donoho已经证明了最小l₁范数的解也是最稀疏的解，即解拥有最少数目的非零系数。常数λ指定数据的稀疏和逼近误差之间的权衡系数。

对于迁移学习而言，目的是找到C中最具识别力的原型，即找到原型的子集R，使C中每个问题能用一个稀疏函数来很好地逼近，该稀疏函数的非零系数对应于R中的原型。类似于单个稀疏逼近问题，本发明的技术方案，使用C中的训练集来学习原型空间中的联合稀疏分类器。学习后的分类器共享大量非零系数，即行为原型。定义一个p×m的系数矩阵W，其中，W_jk对应于第k个行为中的第j个系数。W的第k列行为k的系数集，用w_k表示。同时，第j行对应于横跨m个行为的原型j的系数。该矩阵中m个分类器相应表示为：

f_k(x)＝w_k ^Τz(x)   (4)

容易看出W中的非零行数对应于m个分类器中任意分类器使用的原型总数。这表明联合稀疏优化问题构成的自然方式，将选择最优的系数矩阵W^*：

$w^{*}=\underset{w}{\min }\underset{k=1}{\overset{m}{\mathrm{\Σ}}}{\mathrm{\λ}}_k\underset{i=1}{\overset{n}{\mathrm{\Σ}}}l(f\left(x_i\right),y_i)+{\left|\right|W\left|\right|}_{r0}---\left(5\right)$

其中，||W||_r0是一个统计非零行的伪范数。

式(5)中的左项最小化每个分类器在其相应的训练集产生的损失的加权和，其中，λ_k为第k个行为的损失的权重。右项最大限度地减少了一些相关的问题的非零系数的原型的数目。由于在客观上存在伪范数r₀，求解式(5)时可能会导致困难的组合问题。本发明的技术方案，使用文献[6]中提出的同时稀疏逼近的伪范数r₀的凸松弛来代替直接求解方程，(l₁,l_∞)范数采用式(5)可以改写为：

$w^{*}=\underset{w}{\min }\underset{k=1}{\overset{m}{\mathrm{\Σ}}}{\mathrm{\λ}}_k\underset{i=1}{\overset{n}{\mathrm{\Σ}}}l(f\left(x_i\right),y_i)+\underset{j=1}{\overset{p}{\mathrm{\Σ}}}\underset{k}{\max }\left|W_{\mathrm{jk}}\right|---\left(6\right)$

(6)式右项通过结合系数矩阵的l₁范数和l_∞范数来促进联合稀疏。l₁范数在由横穿行为的每个原型的系数的最大绝对值形成的向量上运算，这些值大多数为0。另一方面，每行的l_∞范数促进了原型系数非稀疏。只要有一行的最大绝对值是不受影响，就不用惩罚来增加行系数的值。因此，只有少数原型将包含在逼近中，但包含在逼近中的原型将在尽可能多地用于行为表示。

当使用铰链损失时，式(6)中的优化问题可以作为一个线性规划：

$w^{*}=\underset{w}{\min }\underset{k=1}{\overset{m}{\mathrm{\Σ}}}{\mathrm{\λ}}_k\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{\mathrm{\ϵ}}_i^k+\underset{j=1}{\overset{p}{\mathrm{\Σ}}}{t}_j---\left(7\right)$

当j＝1:p和k＝1:m时

-t_j≤W_jk≤t_j   (8)

k＝1:m和i＝1:n时

$y_i^k{w}_k^{T}z\left(x_i^k\right)\≥1-{\mathrm{\ϵ}}_i^k,{\mathrm{\ϵ}}_i^k\≥0---\left(9\right)$

公式(8)中的约束界定横穿m个行为的第j个原型的系数存在于在区间[-t_j,t_j]。约束方程(9)对每个行为的训练样本的标准松弛变量进行约束。

2.3计算相关原型表示

算法的最后一步采用第二步中用式(7)计算出的最优的系数矩阵和阈值来创建一个新的基于到有关原型的一个子集的内核距离的表示。定义相关原型集为：

本发明的技术方案，采用矩阵A中所有列对应中的指数来构造一个新的投影矩阵B，其中A是算法第一步计算出的矩阵。B是一个p×h矩阵，其中新的稀疏原型表示为：

v(x)＝B^Τψ(x)   (11)

当给定一个新的目标行为时，用v(x)在训练和测试集中投影每一个样本。可以在新的空间训练任何类型的分类器。本发明的技术方案，实验选择了训练一个线性SVM分类器。

本发明技术方案的实验验证：

实验过程中使用包括越位、控球、传球、带球、射门、丢球、进球、角球、任意球、球出界10种不同行为的数据集。本发明的技术方案，创建了多个不同大小的训练集，大小为T_y,n，其中n＝1,5,10,15,…,50，y＝1,2,3,…,10。T_y,n表示有n个正样本和4n个负样本的行为y训练集。正样本和负样是从大小为5000的监督训练数据中随机抽出。训练池中十大行为的正样本数分别为341、21、78、09、96、67、70、46、37和125。本发明的技术方案，考虑访问未标记的数据U和从m个相关行为的训练集得到的集合C的迁移学习的设置。目标是从C和U中学习表示并用它来为目标行为训练分类器。用其中一种行为作为目标行为，用其它九种行为来学习它的稀疏原型表示。10种行为轮流进行迁移学习。通过从监督的训练数据池抽样行为j的n_j个正样本和2n_j个负样本来创建相关的训练集C中的相关行为j的训练集。

3.1原始特征基线模型

原始特征基线模型(RFB)由通过选择最优的参数来训练基于词袋表示的线性SVM分类器组成：

$w^{*}=\underset{w}{\min }\mathrm{\λ}\underset{i=1}{\overset{n}{\mathrm{\Σ}}}l(f\left(x_i\right),y_i)+\frac{1}{2}{\left|\right|w\left|\right|}^2---\left(12\right)$

其中f(x)＝w^Τx和l是铰链损失。

本发明的技术方案，使用{0.01,0.1,1,10,100}作为实验参数λ，发现0.01是所有训练中的大小最合适的错误率。同时，对验证集而言基线模型设对参数不是很敏感。本发明的技术方案，设置所有其它模型的常数λ为0.01。

3.2低级别的基线模型

作为第二个基线(LRB)，本发明的技术方案，在训练和测试过程中用h维特征向量g(x)＝L^Τψ(x)取代基线特征向量x来训练线性SVM分类器。L是通过取K的特征向量的顶端h来创建的矩阵，其中K是未标注数据点的内核矩阵。

本发明的技术方案，采用h＝{50；100；200}，实验中使用了基于词袋表示的RBF核：

$k(x_i,x_j)={\exp }^{-r{\left|\right|x_i-x_j\left|\right|}^2}---\left(13\right)$

在初始阶段，对未标记的数据试用了r＝{0.003；0.03；0.3}，0.03导致非退化内核值(即既不是对角线的内核，也不是内核)。因此，所有的实验中将r固定为0.03。

3.3稀疏的原型迁移表示

本发明的技术方案，用稀疏原型迁移学习(SPT)方法为每一种行为的特征向量训练一个线性SVM，这些特征向量是通过其余九种行为的训练集上运行稀疏原型迁移学习算法得到。

对于留出的目标行为，本发明的技术方案，根据内核距离使用3000个未标记点和相关问题的训练集的集合C＝{T₁,T₂,…,T_j}来计算相关原型的稀疏原型表示。使用不同的阈值θ进行实验时，θ可以使用留一交叉验证法进行验证。

3.4实验结果分析

对于所有的实验，本发明的技术方案，给出了平均等错误率与识别的准确率。通过九次运行实验来计算这两项，每次运行包括随机从监督的训练数据池中选择训练集。

图1显示了RFB和SPT模型中的10种行为识别的平均等错误率，从该图可以观察到低排名的方法不能为h的所有选择产生一种有用表示。相比之下，本发明的技术方案，提出的稀疏迁移学习方法用少量训练样本(即少于10个正样本)来训练分类器时能产生行为的有效表示。阈值θ≥3时，效果非常明显。

对于较大的训练集，RFB的基线比SPT模型给出更好的平均性能。本发明的技术方案，推测当训练集较大时，稀疏表示需要与原始特征表示相结合。

当用5个正样本对基线模型进行训练且迁移学习模型的阈值θ＝3时，图2显示两种不同遮挡下的视频足球比赛中的多运动员行为的识别率。从图2可以看出稀疏的原型迁移学习方法能显著提高行为识别的性能。

本发明的技术方案，描述了行为分类迁移学习的稀疏原型的表示方法。利用未标记数据以及相关行为类的数据，并利用任意内核函数。从原型空间寻找有识别能力的子集来实现联合稀疏近，并将联合优化作为一种线性规划。本发明的技术方案，提出的转移学习方法的优点之一是使用任意一个内核函数定义的原型表示。当用少量样本训练集进行学习时，本发明的技术方案，实验表明稀疏原型表示改善了行为分类器的性能。

参考文献

[1]M.Seeger.Learning with labeled and unlabeled data.Technical report,Institute forAdaptive and Neural Computation,Univ.of Edinburgh,2001.

[2]R.Ando and T.Zhang.A framework for learning predictive structures from multipletasks and unlabeled data[J].Journal of Machine Learning Research,6:1817.1853,2005.

[3]L.Fei-Fei,P.Perona,and R.Fergus.One-shot learning of object categories.PatternAnalysis and Machine Intelligence,28(4),2006.

[4]A.Torralba,K.Murphy,andW.Freeman.Sharing visual features for multiclass andmultiview object detection.Pattern Analysis and Machine Intelligence,In press,2006.

[5]A.Zweig and D.Weinshall.Exploiting object hierarchy:Combining models fromdifferent category levels.In Proceedings of ICCV,2007.

[6]M.Balcan,A.Blum,and S.Vempala.Kernels as features:On kernels,margins,andlow-dimensional mappings.In Machine.Learning Journal,65(1):7994,2004.

[7]J.Tropp.Algorithms for simultaneous sparse approximation,part ii:convexrelaxation.In Signal Process.86(3)589-602,2006.

[8]A.Veeraraghavan,R.Chellappa,and A.K.Roy-Chowdhury,The function spaceof an activity[C].CVPR,US:New York,2006,1:959-966.

最后应说明的是：以上所述仅为本发明的优选实施例而已，并不用于限制本发明，尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (6)

1.一种用稀疏原型表示的团队行为分类的迁移学习方法，其特征在于，包括：

a、使用未标记的数据集来计算原型表示；

b、基于原型表示的计算结果，使用相关问题的数据来选择原型中最有识别力的一个子集；

c、为选定的原型创建了一个基于内核距离的新的表示。

2.根据权利要求1所述的用稀疏原型表示的团队行为分类的迁移学习方法，其特征在于，所述步骤a，具体包括：

给定一个未标记的数据集U＝{x₁,x₂,x₃,…,x_p}和核函数

计算基于到数据集U中未标记的数据点的核距离的原型表示。

3.根据权利要求2所述的用稀疏原型表示的团队行为分类的迁移学习方法，其特征在于，所述计算基于到数据集U中未标记的数据点的核距离的原型表示的操作，进一步包括：

⑴通过计算数据集U中的所有点的核矩阵K来创建原型表示，即数据集U中x_i和x_j的核矩阵为K_ij＝k(x_i,x_j)；

⑵创建一个由K中的所有特征向量对应的非零特征值组成的投影矩阵A(特征向量是通过对K执行SVD获得)；新的原型表示由式(1)给出：

z(x)＝A^Τψ(x)               (1)

其中，ψ(x)＝[k(x,x₁),k(x,x₂),…,k(x,x_p)]^Τ，x_i∈U。

4.根据权利要求2或3所述的用稀疏原型表示的团队行为分类的迁移学习方法，其特征在于，所述步骤b，具体包括：

使用了从相关问题得到的训练集的集合C＝{T₁,T₂,…,T_m}来发现有识别力的原型，其中， $T_m=\{(x_1^m,y_1^m),(x_2^m,y_2^m),...,(x_n^m,y_n^m)\};$

寻找原型空间中的稀疏表示，该表示是C中所有问题的联合优化。

5.根据权利要求4所述的用稀疏原型表示的团队行为分类的迁移学习方法，其特征在于，所述寻找原型空间中的稀疏表示的操作，进一步包括：

⑴考虑学习结构原型空间的单个分类器的事件：

f(x)＝w^Τz(x)                 (2)

其中，z(x)＝A^Τψ(x)是算法第一步描述的表示。稀疏原型是一种拥有很少数目的非零系数的原型；

给定一个n个样本的训练集，在这样环境中的参数估计的自然选择采用式(3)优化参数w^*来实现：

$w^{*}=\underset{w}{\min }\mathrm{\λ}\underset{i=1}{\overset{n}{\mathrm{\Σ}}}l(f\left(x_i\right),y_i)+\underset{j=1}{\overset{p}{\mathrm{\Σ}}}\left|{\mathrm{\ω}}_j\right|---\left(3\right)$

式(3)的左项用于估计训练样本过程中分类器引起的误差，该误差根据损失函数l来估计；式(3)的右项是能够促进稀疏的系数向量的l₁范数，常数λ指定数据的稀疏和逼近误差之间的权衡系数；

⑵使用C中的训练集来学习原型空间中的联合稀疏分类器；学习后的分类器共享大量非零系数，即行为原型；

定义一个p×m的系数矩阵W，其中，W_jk对应于第k个行为中的第j个系数，W的第k列行为k的系数集，用w_k表示；同时，第j行对应于横跨m个行为的原型j的系数；该矩阵中m个分类器相应表示为：

f_k(x)＝w_k ^Τz(x)               (4)

W中的非零行数对应于m个分类器中任意分类器使用的原型总数，将选择最优的系数矩阵W^*：

$w^{*}=\underset{w}{\min }\underset{k=1}{\overset{m}{\mathrm{\Σ}}}{\mathrm{\λ}}_k\underset{i=1}{\overset{n}{\mathrm{\Σ}}}l(f\left(x_i\right),y_i)+{\left|\right|W\left|\right|}_{r0}---\left(5\right)$

其中，||W||_r0是一个统计非零行的伪范数；

式(5)中的左项最小化每个分类器在其相应的训练集产生的损失的加权和，其中，λ_k为第k个行为的损失的权重；式(5)中的右项最大限度地减少了一些相关的问题的非零系数的原型的数目；

使用同时稀疏逼近的伪范数r₀的凸松弛来代替直接求解方程，(l₁,l_∞)范数采用

式(5)可以改写为：

$w^{*}=\underset{w}{\min }\underset{k=1}{\overset{m}{\mathrm{\Σ}}}{\mathrm{\λ}}_k\underset{i=1}{\overset{n}{\mathrm{\Σ}}}l(f\left(x_i\right),y_i)+\underset{j=1}{\overset{p}{\mathrm{\Σ}}}\underset{k}{\max }\left|W_{\mathrm{jk}}\right|---\left(6\right)$

(6)式右项通过结合系数矩阵的l₁范数和l_∞范数来促进联合稀疏；

⑶当使用铰链损失时，式(6)作为一个线性规划：

$w^{*}=\underset{w}{\min }\underset{k=1}{\overset{m}{\mathrm{\Σ}}}{\mathrm{\λ}}_k\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{\mathrm{\ϵ}}_i^k+\underset{j=1}{\overset{p}{\mathrm{\Σ}}}{t}_j---\left(7\right)$

当j＝1:p和k＝1:m时

-t_j≤W_jk≤t_j                  (8)

k＝1:m和i＝1:n时

$y_i^k{w}_k^{T}z\left(x_i^k\right)\≥1-{\mathrm{\ϵ}}_i^k,{\mathrm{\ϵ}}_i^k\≥0---\left(9\right)$

公式(8)中的约束界定横穿m个行为的第j个原型的系数存在于在区间[-t_j,t_j]；约束方程(9)对每个行为的训练样本的标准松弛变量进行约束。

6.根据权利要求5所述的用稀疏原型表示的团队行为分类的迁移学习方法，其特征在于，所述步骤c，具体包括：

采用式(7)计算出的最优的系数矩阵和阈值，创建一个新的基于到有关原型的一个子集的内核距离的表示，定义相关原型集为：

本发明的技术方案，采用矩阵A中所有列对应中的指数来构造一个新的投影矩阵B，其中A是算法第一步计算出的矩阵；B是一个p×h矩阵，其中新的稀疏原型表示为：

v(x)＝B^Τψ(x)                          (11)

当给定一个新的目标行为时，用v(x)在训练和测试集中投影每一个样本；

在新的空间训练任何类型的分类器。