CN103778439B - 基于动态时空信息挖掘的人体轮廓重构方法 - Google Patents

Abstract

本发明公开了一种基于动态时空信息挖掘的人体轮廓重构方法，通过连接人体轮廓测试样本和前几帧测试样本构建一个查询序列，采用非负矩阵分解的方法提取查询序列和已知的人体运动训练样本序列中各样本的形状描述子，根据形状描述子计算查询序列与训练样本序列的代价矩阵，再通过代价矩阵计算累积代价矩阵，根据累积代价矩阵的元素值确定最优子序列的末端点下标，再采用最优规整路径算法得到起始点下标，从而得到备选最优子序列，再通过预设阈值筛选最终的最优子序列，最后根据几个最优子序列中末端点样本进行加权拟合得到重构的人体轮廓图像。本发明通过构建查询序列引入时空信息，提高人体轮廓重构的准确性和鲁棒性。

Description

基于动态时空信息挖掘的人体轮廓重构方法

技术领域

本发明属于计算机视觉技术领域，更为具体地讲，涉及一种基于动态时空信息挖掘的人体轮廓重构方法。

背景技术

人体形状轮廓重构是图像处理和计算机视觉领域中一个很重要并极富挑战性的问题。它的目标是从带有噪音干扰的数据中将原始信号恢复出来。一个有效的解决方案是挖掘人体轮廓序列中潜在的时空结构信息，并利用这些信息寻找最优的模板用于数据重构。

目前很多研究工作围绕人体轮廓的分析进行展开。基于流形学习(ManifoldLearning)的方法通过对训练样本非线性降维学习出一个低维的流形空间，针对一个测试样本，找到其在低维流形上对应的最近邻点并反投影到原始空间进行重构。具体算法可参考文献：A.Elgammal and C.S.Lee,Nonlinear Manifold Learning for DynamicShape and Dynamic Appearance,In Computer Vision and Image Understanding,vol.106,pp.31-46,2007.值得注意的是，该类方法在进行降维和寻找最近邻的时候没有考虑样本的时序信息。实际上，为了提高鲁棒性，越来越多的学者在他们的方法中引入时间约束。Cremers通过引入自回归(autoregression)模型建立当前轮廓和前几帧轮廓样本之间的关系。具体算法可参考文献[2]：D.Cremers,Nonlinear Dynamical Shape Priors forLevel Set Segmentation,In Proc.IEEE Conf.Compu.Vision.Patte.Recog.,pp.1-7,2007。Zhou等人通过连接当前测试样本和其前几帧样本构建一个子序列，并寻找其中每个样本的最近邻模板集，将重构问题转化成寻找连接这些模板集的最短路径问题。该方法并没有只单独考虑测试样本，而把子序列当成一个整体，通过进行时序序列匹配来提高对噪音的鲁棒性。具体算法可参考文献[3]:X.Zhou,X.Li,T.J.Chin and D.Suter,AdaptiveHuman Silhouette Reconstruction Based on the Exploration of TemporalInformation,In Proc.of ICASSP,pp.1005-1008,2012。

对于时序数据匹配，动态时间规整算法(Dynamic Time Warping,DTW)是一种非常有效的比较并对齐两个时间序列的方法。DTW算法最早起源于语音处理，现在已经成功应用于形状检索、匹配、分类等领域。在很多实际应用中，往往存在两个长度不等的序列，一个是长的训练序列，另外一个是短的查询序列，需要从一个长序列中找到其中一段子序列和查询序列最相似，这种情况下不需要将两个不等长序列全局进行对齐(首尾对应点分别对齐)。该算法是传统DTW算法的变形，称之为子序列DTW(Subsequence DTW)算法。

发明内容

本发明的目的在于克服现有技术的不足，提供一种基于动态时空信息挖掘的人体轮廓重构方法，通过挖掘轮廓时序数据中空间和时间维度上内在的结构特性，将人体轮廓从噪音干扰的数据中准确恢复出来。

为实现上述发明目的，本发明基于动态时空信息挖掘的人体轮廓重构方法，其特征在于包括：

S1：人体运动训练样本序列Y＝(y₁,y₂,...y_M)为一组已知的人体轮廓图像样本，M表示训练样本个数，采集实际人体运动过程中的图像并提取每帧图像的人体轮廓得到测试序列X＝(x₁,x₂,...x_t,...,x_N)，N表示测试样本个数；对于第t个测试样本x_t∈X，连接该测试样本x_t和其前L-1个测试样本构建查询序列 $Q=(q_1,q_2,...,q_L)=(x_{t-(L-1)},...x_t)\⊆X$ ，L表示查询序列的长度；

S2：采用非负矩阵分解的方法提取查询序列Q和训练样本序列Y中每个样本的形状描述子；

S3：进行基于子序列动态时间规整算法的时序数据匹配，具体步骤包括：

S3.1：计算查询序列Q与训练样本序列Y的代价矩阵C∈R^L×M，代价矩阵的元素其中表示查询序列Q中第i个样本q_i的形状描述子，i表示查询序列中测试样本序号，i＝1,2,...,L，表示训练样本序列Y中第j个样本y_j的形状描述子，j表示训练样本序号，j＝1,2,...,M；

S3.2：计算累积代价累积矩阵D∈R^L×M，计算方法为：

S3.3：根据累积代价矩阵D确定最优子序列的末端点样本序号：判断是否D(L,b^*)＜τ，τ表示预设的DTW距离阈值，如果是，进入步骤S3.4，如果不是，将样本邻域内的D(L,b′)都置为正无穷，其中b′∈[b^*-len:b^*+len]，len代表邻域大小，进入步骤S4；

S3.4：采用最优规整路径算法得到对应的起始点样本序号a^*，判断该子序列与查询序列的规整路径斜率是否大于预设阈值k_T，如果大于，则将该子序列作为最优子序列，否则舍弃该子序列；返回步骤S3.3；

S4：根据步骤S3得到的最优子序列进行测试样本x_t的人体轮廓重构，重构的人体轮廓根据下式逼近得到：

${\hat{x}}_t\≈\underset{m=1}{\overset{r}{\mathrm{\Σ}}}{w}_m{y}_{b_m^{*}}$

其中，r表示得到的最优子序列个数，w_m表示归一化的权重，其计算公式为：

$w_m=\frac{\exp [-c^2(q_L,y_{b_m^{*}})]}{{\mathrm{\Σ}}_{m=1}^r\exp [-c^2(q_L,y_{b_m^{*}})]}.$

进一步地，步骤S2中样本的形状描述子的提取方法包括以下步骤：

S2.1：根据训练样本序列Y得到非负的形状训练数据矩阵其中每一列代表一个形状列向量，是由训练样本序列y_j的二值轮廓图像拉成d×1的列向量，求解最小二乘优化问题得到基矩阵W：

$\underset{W,H}{\min }{\left|\right|V-\mathrm{WH}\left|\right|}_{F}s.t.W\≥0,H\≥0$

其中，W表示d×K的基矩阵，每一列代表一个基向量，K是预设的分解参数，表示分解得到的基向量个数；H表示K×M的系数矩阵；||·||_F表示求Frobenius范数；

S2.2：对于查询序列Q和训练样本序列Y中的每个样本，其形状描述子通过求解最小二乘问题得到：

$\underset{f_A}{\min }{\left|\right|V_A-W\·f_A\left|\right|}_{2}s.t.f_A\≥0$

其中，V_A表示样本A的形状列向量，f_A表示样本A的形状描述子。

本发明基于动态时空信息挖掘的人体轮廓重构方法，通过连接人体轮廓测试样本和前几帧人体轮廓测试样本构建一个查询序列，采用子序列动态时间规整算法从人体运动训练样本序列中找到和查询序列最为匹配的子序列，具体方法是：采用非负矩阵分解的方法提取查询序列和训练样本序列中各样本的形状描述子，根据形状描述子计算查询序列与训练样本序列的代价矩阵，再通过代价矩阵计算累积代价矩阵，根据累积代价矩阵的元素值确定最优子序列的末端点下标，再采用最优规整路径算法得到起始点下标，从而得到备选最优子序列，再通过预设阈值筛选最终的最优子序列；最后根据得到的最优子序列中末端点样本进行加权拟合得到重构的人体轮廓图像。

本发明具有以下有益效果：

（1）、引入时序数据的时空建模，利用连续帧间内在的时空约束提高人体轮廓重构的准确性和鲁棒性；

（2）、把对时序数据的挖掘转化成一个基于动态规划的时序数据的匹配问题，在人体轮廓重构过程中增加了时间上的平滑约束；

（3）、基于非负矩阵分解(Nonnegative Matrix Factorization,NMF)的线性表示的形状描述子能够刻画形状的局部变化，减少噪音或部分遮挡的干扰。

附图说明

图1是形状描述子的线性表示示意图；

图2是关于子序列DTW匹配的一个示意图；

图3是基于子序列DTW寻找最优子序列的示例图；

图4是四种方法对OU-ISIR-行走训练样本的重构准确率对比图；

图5是四种方法对CASIA-行走训练样本的重构准确率对比图；

图6是四种方法对CVAP-挥手训练样本的重构准确率对比图；

图7是四种方法对CVAP-慢跑训练样本的重构准确率对比图；

图8是四种方法对CVAP-拳击训练样本的重构准确率对比图；

图9是两种形状描述子得到的最近邻结果对比图；

图10是不同遮挡程度下四种方法的重构准确率对比图。

具体实施方式

下面结合附图对本发明的具体实施方式进行描述，以便本领域的技术人员更好地理解本发明。需要特别提醒注意的是，在以下的描述中，当已知功能和设计的详细描述也许会淡化本发明的主要内容时，这些描述在这里将被忽略。

实施例

本发明基于动态时空信息挖掘的人体轮廓重构方法，包括以下步骤：

S1：构建查询序列：

人体运动训练样本序列Y＝(y₁,y₂,...y_M)为一组已知的人体轮廓图像训练样本，M表示训练样本个数。训练样本是预先通过对一组连续的人体运动图像进行人体轮廓提取得到的。采集实际人体运动过程中的图像并提取每帧图像的人体轮廓得到测试序列X＝(x₁,x₂,...x_t,...,x_N)，N表示测试样本个数，t表示测试序列中测试样本的序号，即表示测试样本图像采集的时刻。对于第t个的测试样本x_t∈X，本发明的目的就是在有遮挡或噪音干扰情况下对测试样本xt进行重构。本发明将时刻t的测试样本xt与它的前L-1个时刻对应的测试样本结合起来构建一个短的查询序列来引入时间平滑约束，查询序列为，L表示查询序列的长度，L＜＜M，显而易见地，L＜N。

通过构建查询序列，可以将重构问题转化成时序数据匹配优化问题，即从训练样本序列Y中找到和查询序列Q最为匹配的子序列，从而将动态时空信息挖掘引入人体轮廓重构。

S2：基于NMF的形状描述子提取：

为了更好地刻画局部形状变化，本发明引入了一种基于NMF（(NonnegativeMatrix Factorization,非负矩阵分解)的线性形状模型。和常用的水平集方法(用带符号的距离函数来描述形状)不同的是，线性形状模型将形状变化的建模看成是一个学习形状码本的过程，其中的每个码字代表一种局部形状。NMF是一种学习局部特征非常有效的工具，算法原理可参见：D.D. Lee and H.S. Seung. Learning the Parts of Objects byNonnegative Matrix Factorization. Nature, 401, pp. 788-791,1999。

一般地，NMF实际上就是求解一个带约束的最小二乘问题，如下所示：

$\underset{W,H}{\min }{\left|\right|V-\mathrm{WH}\left|\right|}_{F}s.t.W\≥0,H\≥0---\left(1\right)$

在本发明中，是已知的非负的形状训练数据矩阵，每一列代表一个形状列向量，是由训练样本序列yj的二值轮廓图像拉成d×1的列向量；W表示d×K的基矩阵，每一列代表一个基向量，K是预设的分解参数，表示分解得到的基向量个数。H表示K×M的系数矩阵，其中每一列包含的是训练样本由基向量重构的组合系数，与训练样本一一对应。||·||_F表示求Frobenius（弗罗伯尼）范数。每一个训练样本都可以由基图像的线性组合表达。图1是形状描述子的线性表示示意图。如图1所示，经过NMF得到的基图像W侧重的是描述局部的形状变化(由深色强调)。

根据公式(1)得到基矩阵W后，即可提取查询序列Q和训练样本序列Y中每个样本的形状描述子，形状描述子通过求解最小二乘问题得到：

$\underset{f_A}{\min }{\left|\right|V_A-W\·f_A\left|\right|}_{2}s.t.f_A\≥0---\left(2\right)$

其中，V_A表示样本A的形状列向量，f_A表示样本A的形状描述子，||·||₂表示求二范数。

以测试样本xt为例，其形状描述子的求解公式为：

$\underset{{f_x}_t}{\min }{\left|\right|{V_x}_t-W\·{f_x}_t\left|\right|}_{2}s.t.{f_x}_t\≥0---\left(3\right)$

即为测试样本xt的形状列向量。实际上，就是测试样本x_t由基图像线性表示的重构系数。

S3：基于子序列DTW的时序数据匹配：

本发明中将重构问题转化成一个基于动态规划的时序数据匹配优化问题。时序信息是通过连接当前时刻样本x_t与其前L-1帧样本构成长度为L的查询序列Q引入进来的。和传统的基于DTW进行序列匹配不同的是，查询序列Q和训练数据序列Y在长度上有着明显的不同，而且它们的端点并不一定有对应关系，因此需要在Y中寻找最优的子序列，使得该子序列Y(a^*:b^*)与查询序列Q最为匹配，a^*和b^*表示该子序列端点样本的序号，即端点样本分别为和，两个序列最匹配即意味着在满足边界、单调和步长约束下，两个序列之间的规整路径和最短。该子序列匹配问题可以采用子序列DTW算法有效地进行求解，即在训练样本序列Y中寻找所有可能的子序列使其对查询序列Q的DTW距离最短：

$(a^{*},b^{*})=\underset{(a,b):1\&le;a<b\&le;M}{\arg \min }\mathrm{DTM}(Q,Y(a:b))---\left(4\right)$

其中DTW(Q,Y(a:b))是查询序列Q和训练子序列Y(a:b)之间的DTW距离。图2是关于子序列DTW匹配的一个示意图。

具体步骤包括：

S301：计算Q与Y的代价矩阵C∈R^L×M，代价矩阵的每一个元素代表每一对样本之间的距离，即元素其中表示查询序列Q中第i个样本q_i的形状描述子，i表示查询序列中样本序号，i＝1,2,...,L，表示训练样本序列Y中第j个样本y_j的形状描述子，j表示训练样本序号，j＝1,2,...,M。

S302：计算累积代价矩阵(Accumulated Cost Matrix)D∈R^L×M，D中每一个元素D(i,j)就是序列Q(1:i)和Y(1:j)之间的DTW距离：

D(i,j)＝DTW(Q(1:i),Y(1:j))对i∈[1:L],j∈[1:M] (5)

本发明中，累积代价矩阵D的计算方式如下：

$\left\{\begin{array}{ccc}D(i,1)={\mathrm{\&Sigma;}}_{k=1}^{i}c(q_k,y_1)& \mathrm{for}& i\&Element;[1:L]\\ D(1,j)=c(q_1,y_j)& \mathrm{for}& j\&Element;[1:M]\\ D(i,j)=\min \{D(i-1,j-1),D(i-1,j),D(i,j-1)\}+c(q_i,y_j)& \mathrm{for}& i\&Element;[2:L],j\&Element;[2:M]\end{array}\right.---\left(6\right)$

接下来根据累积代价矩阵D来确定最优子序列。

S303：确定最优子序列的末端点样本序号b^*：

$b^{*}=\underset{b\&Element;[1:M]}{\arg \min }D(L,b)---\left(7\right)$

（7）式表示最优子序列的末端点样本序号b*为累积代价矩阵中元素D(L,b)最小值所对应的样本序号。

一般来说，最优子序列不是唯一的，本发明采用一个预设的DTW距离阈值τ来控制最优子序列的个数，判断是否D(L,b^*)＜τ，如果是，进入步骤S304，如果不是，将样本邻域内的D(L,b′)都置为正无穷，其中b′∈[b^*-len:b^*+len]，len代表邻域大小，进入步骤S4。

DTW距离阈值τ是根据实际情况的需要进行设置的，如果设置过小，那么可能无法找到最优子序列进行测试样本的重构，如果设置过大，会造成最优子序列数量过多，算法复杂度加大，可以通过试验来确定一个合适的值。

将样本邻域内的D(L,b′)置为正无穷的目的是设置一个保护间隔，避免在确定最优子序列的末端点样本序号时得到两个或以上接近的样本序号，从而减少得到的最优子序列出现重叠情况的可能性。

S304：采用最优规整路径算法得到起始点样本序号a^*。起始点样本序号a^*通过最优规整路径算法(Optimal Warping Path,OWP)得到。具体算法可参见：M.Muller,Information Retrieval for Music and Motion,Springer-Verlag,New York,2007。

为了避免退化映射问题，需要进一步规定该子序列与查询序列的规整路径斜率。在得到起始点样本序号a^*后，判断该子序列与查询序列的规整路径斜率是否大于预设阈值k_T，如果大于，则将该子序列作为最优子序列，否则舍弃该子序列；返回步骤S303。

可见，通过步骤S3，可以得到r个最优子序列，其中每个最优子序列的末端点样本即作为测试样本x_t重构所使用的人体轮廓模板。图3是基于子序列DTW寻找最优子序列的示例图。本实施例以人周期行走为例，采用本发明找到了两个最优子序列，分别为和分别对应图3中不同的两条曲线。图3中颜色越深表示代价越小，从图3可以看出，采用本发明得到的最优子序列的规整路径都是覆盖了代价矩阵中颜色较深的区域，即总体代价最小。

S4：测试样本重构：

本发明通过引入子序列DTW方法，将原来两个样本之间的比较转化成两个序列的比较，时序约束关系的引入使得找到的用于重构测试样本的模板具有更加良好的准确性和鲁棒性。

对测试样本x_t进行人体轮廓重构，重构的人体轮廓图像由r个人体轮廓模板的线性加权拟合进行逼近：

${\hat{x}}_t\&ap;\underset{m=1}{\overset{r}{\mathrm{\&Sigma;}}}{w}_m{y}_{b_m^{*}}---\left(8\right)$

其中r表示步骤S3中得到的最优子序列的个数，w_m表示归一化的权重，其计算公式为：

$w_m=\frac{\exp [-c^2(q_L,y_{b_m^{*}})]}{{\mathrm{\&Sigma;}}_{m=1}^r\exp [-c^2(q_L,y_{b_m^{*}})]}---\left(9\right)$

exp表示指数函数， $c^2(q_L,y_{b_m^{*}})={\left|\right|f_{\mathrm{qL}}-f_{y_{b_m}^{*}}\left|\right|}_2^2.$

采用多个人体运动序列对本发明进行了验证仿真：在原测试样本上人为叠加干扰，再采用本发明进行测试样本重构，对原测试样本GT(Ground Truth)和重构人体轮廓图像进行比较。为了方便定量的比较，定义如下重构准确率Ascore(accuracy score)来反映没有被干扰的测试样本GT与重构人体轮廓图像的相似程度：

$\mathrm{Ascore}=\frac{\mathrm{area}(\mathrm{GT}\&cap;{\hat{x}}_t)}{\mathrm{area}(\mathrm{GT}\&cup;{\hat{x}}_t)}---\left(10\right)$

验证仿真的测试样本在三个不同运动数据库：OU-ISIR数据库、CASIA数据库、CVAP数据库中选取。除采用本发明外，还采用其他三种方法进行对比，包括TC-HSR方法（参见X.Zhou,X.Li,T.J.Chin and D.Suter,Adaptive HumanSilhouette ReconstructionBased on the Exploration of Temporal Information,In Proc.of ICASSP,pp.1005-1008,2012）、MLSR方法（参见A.Elgammal and C.S.Lee,Nonlinear Manifold Learningfor Dynamic Shape and Dynamic Appearance,InComputer Vision and ImageUnderstanding,vol.106,pp.31-46,2007）以及NMF-NN方法。其中NMF-NN方法和本发明的区别是没有考虑时序约束。

图4是四种方法对OU-ISIR-行走训练样本的重构准确率对比图。图5是四种方法对CASIA-行走训练样本的重构准确率对比图。图6是四种方法对CVAP-挥手训练样本的重构准确率对比图。图7是四种方法对CVAP-慢跑训练样本的重构准确率对比图。图8是四种方法对CVAP-拳击训练样本的重构准确率对比图。从图4至图8所示，在四种方法中，本发明的重构准确率较高并且具有较好的鲁棒性。

图9是两种形状描述子得到的最近邻结果对比图。两种形状描述子分别是本发明中基于NMF的形状描述子，以及基于水平集的带符号的距离函数（SDF）的形状描述子。如图9所示，在有部分遮挡情况下，采用基于NMF的形状描述子找到的最近邻结果与原测试样本更为接近，因此得到的最优子序列也更加准确。

更进一步地，还测试了在不同遮挡程度下四种方法的重构准确率。图10是不同遮挡程度下四种方法的重构准确率对比图。本测试中，将遮挡程度分为三个等级：0-30%，30-70%以及70-100%，百分比越高代表目标被遮挡的越严重。如图10所示，本发明在不同遮挡程度下均能得到较优越的重构准确度，并且性能非常稳定。

尽管上面对本发明说明性的具体实施方式进行了描述，以便于本技术领域的技术人员理解本发明，但应该清楚，本发明不限于具体实施方式的范围，对本技术领域的普通技术人员来讲，只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内，这些变化是显而易见的，一切利用本发明构思的发明创造均在保护之列。

Claims (2)

1.一种基于动态时空信息挖掘的人体轮廓重构方法，其特征在于，包括以下步骤：

S1：人体运动训练样本序列Y＝(y₁,y₂,…y_M)为一组已知的人体轮廓图像样本，M表示训练样本个数，采集实际人体运动过程中的图像并提取每帧图像的人体轮廓得到测试序列X＝(x₁,x₂,…x_t,…,x_N)，N表示测试样本个数；对于第t个测试样本x_t∈X，连接该测试样本x_t和其前L-1个测试样本构建查询序列Q＝(q₁,q₂,…,q_L)＝(x_t-(L-1),…x_t)，

S2：采用非负矩阵分解的方法提取查询序列Q和训练样本序列Y中每个样本的形状描述子；

S3：进行基于子序列动态时间规整算法的时序数据匹配，具体步骤包括：

S3.1：计算查询序列Q与训练样本序列Y的代价矩阵C∈R^L×M，代价矩阵的元素其中表示查询序列Q中第i个样本q_i的形状描述子，i表示查询序列中样本序号，i＝1,2,…,L，表示训练样本序列Y中第j个样本y_j的形状描述子，j表示训练样本序号，j＝1,2,…,M；

S3.2：计算累积代价累积矩阵D∈R^L×M，计算方法为：

S3.3：根据累积代价矩阵D确定最优子序列的末端点样本序号：判断是否D(L,b^*)＜τ，τ表示预设的DTW距离阈值，如果是，进入步骤S3.4，如果不是，将样本邻域内的D(L,b′)都置为正无穷，其中b′∈[b^*-len:b^*+len]，len代表邻域大小，进入步骤S4；

S3.4：采用最优规整路径算法得到对应的起始点样本序号a^*，判断该子序列与查询序列的规整路径斜率是否大于预设阈值k_T，如果大于，则将该子序列作为最优子序列，否则舍弃该子序列；返回步骤S3.3；

S4：根据步骤S3得到的最优子序列进行测试样本x_t的人体轮廓重构，重构的人体轮廓图像根据下式得到：

$\widehat{x_t}\&ap;\underset{m=1}{\overset{r}{\&Sigma;}}{w}_m{y}_{b_m^{*}}$

其中，r表示得到的最优子序列个数，w_m表示归一化的权重，其计算公式为：

$w_m=\frac{\exp \&lsqb;-c^2(q_L,y_{b_m^{*}})\&rsqb;}{{\mathrm{\&Sigma;}}_{m=1}^r\exp \&lsqb;-c^2(q_L,y_{b_m^{*}})\&rsqb;}.$

2.根据权利要求1所述的人体轮廓重构方法，其特征在于，所述步骤S2中样本的形状描述子的提取方法包括以下步骤：

S2.1：根据训练样本序列Y得到非负的形状训练数据矩阵其中每一列代表一个形状列向量，是由训练样本序列y_j的二值轮廓图像拉成d×1的列向量，求解最小二乘优化问题得到基矩阵W：

$\begin{array}{ccc}\underset{W,H}{min}\left|\right|V-WH|{|}_F& s.t.& W\&GreaterEqual;0,H\&GreaterEqual;0\end{array}$

其中，W表示d×K的基矩阵，每一列代表一个基向量，K是预设的分解参数，表示分解得到的基向量个数；H表示K×M的系数矩阵；||·||_F表示求Frobenius范数；

S2.2：对于查询序列Q和训练样本序列Y中的每个样本，其形状描述子通过求解最小二乘问题得到：

$\begin{array}{ccc}\underset{f_A}{min}\left|\right|V_A-W\&CenterDot;f_A|{|}_2& s.t.& f_A\&GreaterEqual;0\end{array}$

其中，V_A表示样本A的形状列向量，f_A表示样本A的形状描述子。