CN105631919A - 一种数据处理方法和装置 - Google Patents

Abstract

本发明公开了一种数据处理方法，所述方法包括：获得待连接的第一姿态和第二姿态的人体运动矩阵；根据所述第一姿态和第二姿态的人体运动矩阵，从预设的数据库中选择满足相关性条件的运动片段组成预选集；基于姿态相似性判断策略从所述预选集中选择确定所述第一姿态和第二姿态的中间过渡姿态。本发明还公开了一种数据处理装置。

Description

一种数据处理方法和装置

技术领域

本发明涉及计算机图形图像技术领域，尤其涉及一种数据处理方法和装置。

背景技术

现有技术为实现两个常规人体姿态(或动作)之间的无缝连接(或称平滑过渡)，通常采用的是旋转线性插值的方法来获得中间过渡姿态，这种不同人体姿态之间的平滑过渡技术通常应用于虚拟现实、视频游戏、电影制作等技术领域的姿态优化，使虚拟人物的姿态看起来比较自然。旋转线性插值的方法源自标量之间的线性插值；而旋转空间与标量空间不同，旋转空间构成了4D(四维)的单位球，在此球上任意两个旋转之间的线性插值表示为：

$Slerp(q_0,q_1,t)=\frac{sin(1-t)w}{\sin w}{q}_0+\frac{\sin tw}{\sin w}{q}_1$

其中，Slerp(Sphericallinearinterpolation)表示球面线性插值，q₀及q₁为待插值的两个参数，t为插值参数，t的取值范围从0到1，w可由cos(w)＝(q₀*q₁)/(|q₀|*|q₁|)求得。

旋转线性插值的方法快速简洁，但插值得到的中间过渡姿态有两个明显缺陷：

一、得到的中间过渡姿态在与环境接触的部分会有artifact(视觉瑕疵)，比如明显的滑步、脚插入地下、手穿透衣服等；

二、得到的一些中间过渡姿态不符合人体运动基本规律，比如手臂旋转到背部、腿内折等。

发明内容

为解决现有存在的技术问题，本发明实施例提供一种数据处理方法和装置。

一种数据处理方法，所述方法包括：

获得待连接的第一姿态和第二姿态的人体运动矩阵；

根据所述第一姿态和第二姿态的人体运动矩阵，从预设的数据库中选择满足相关性条件的运动片段组成预选集；

基于姿态相似性判断策略从所述预选集中选择确定所述第一姿态和第二姿态的中间过渡姿态。

优选地，所述根据第一姿态和第二姿态的人体运动矩阵，从预设的数据库中选择满足相关性条件的运动片段组成预选集，包括：

根据所述第一姿态的人体运动矩阵，从预设的数据库中选择满足第一相关性条件的运动片段组成第一预选子集；

且，根据所述第二姿态的人体运动矩阵，从预设的数据库中选择满足第二相关性条件的运动片段组成第二预选子集；

确定所述第一预选子集和第二预选子集的合集组成所述预选集。

优选地，所述根据第一姿态的人体运动矩阵，从预设的数据库中选择满足第一相关性条件的运动片段组成第一预选子集，包括：

基于所述第一姿态的人体运动矩阵获得所述第一姿态的特征矩阵和协方差矩阵，并根据所述第一姿态的特征矩阵和协方差矩阵计算得到所述第一姿态的本征值和本征向量；

根据基于所述第一姿态的本征向量构建的本征向量矩阵，以及基于所述数据库中待选的运动片段构建的本征向量矩阵，构建匹配函数，并计算得到加权相关性系数；

选择高于第一阈值的加权相关性系数所对应的待选运动片段组成第一预选子集，或者，选择加权相关性系数最高的n个待选运动片段组成第一预选子集，n为大于等于1的整数。

优选地，所述根据第二姿态的人体运动矩阵，从预设的数据库中选择满足第二相关性条件的运动片段组成第二预选子集，包括：

基于所述第二姿态的人体运动矩阵获得所述第二姿态的特征矩阵和协方差矩阵，并根据所述第二姿态的特征矩阵和协方差矩阵计算得到所述第二姿态的本征值和本征向量；

根据基于所述第二姿态的本征向量构建的本征向量矩阵，以及基于所述数据库中待选的运动片段构建的本征向量矩阵，构建匹配函数，并计算得到加权相关性系数；

选择高于第二阈值的加权相关性系数所对应的待选运动片段组成第二预选子集，或者，选择加权相关性系数最高的m个待选运动片段组成第二预选子集，m为大于等于1的整数。

优选地，所述基于姿态相似性判断策略从预选集中选择获得第一姿态和第二姿态的中间过渡姿态，包括：

根据姿态相似性算法分别计算所述第一姿态与所述预选集中每个运动片段首帧的第一相似度、以及所述第二姿态与所述预选集中每个运动片段尾帧的第二相似度；从所述预选集中选择第一相似度与第二相似度之和最高的k个运动片段确定为所述第一姿态和第二姿态的中间过渡姿态，k为大于等于1的整数。

优选地，在所述获得第一姿态和第二姿态的中间过渡姿态后，所述方法还包括：对所述中间过渡姿态的各节点进行四元数空间的球面线性插值处理。

优选地，在所述球面线性插值处理后，所述方法还包括：基于雅克比矩阵的数值型逆向运动学方法对插值的不合理姿态进行调整，得到调整后的中间过渡姿态。

优选地，在所述获得第一姿态和第二姿态的中间过渡姿态后，所述球面线性插值处理之前，所述方法还包括：

执行所述中间过渡姿态与所述第一姿态和第二姿态的最优姿态对齐，将所述中间过渡姿态首帧与所述第一姿态尾帧对齐，并将所述中间过渡姿态尾帧与所述第二姿态首帧对齐；

相应的，所述球面线性插值处理是针对所述最优姿态对齐后的中间过渡姿态的球面线性插值处理。

一种数据处理装置，所述装置包括：

人体运动矩阵获得单元，用于获得待连接的第一姿态和第二姿态的人体运动矩阵；

预选单元，用于根据所述第一姿态和第二姿态的人体运动矩阵，从预设的数据库中选择满足相关性条件的运动片段组成预选集；

中间过渡姿态选择单元，用于基于姿态相似性判断策略从所述预选集中选择确定所述第一姿态和第二姿态的中间过渡姿态。

优选地，所述预选单元进一步用于，根据所述第一姿态的人体运动矩阵，从预设的数据库中选择满足第一相关性条件的运动片段组成第一预选子集；

且，根据所述第二姿态的人体运动矩阵，从预设的数据库中选择满足第二相关性条件的运动片段组成第二预选子集；

确定所述第一预选子集和第二预选子集的合集组成所述预选集。

优选地，所述预选单元进一步用于，

基于所述第一姿态的人体运动矩阵获得所述第一姿态的特征矩阵和协方差矩阵，并根据所述第一姿态的特征矩阵和协方差矩阵计算得到所述第一姿态的本征值和本征向量；

根据基于所述第一姿态的本征向量构建的本征向量矩阵，以及基于所述数据库中待选的运动片段构建的本征向量矩阵，构建匹配函数，并计算得到加权相关性系数；

选择高于第一阈值的加权相关性系数所对应的待选运动片段组成第一预选子集，或者，选择加权相关性系数最高的n个待选运动片段组成第一预选子集，n为大于等于1的整数。

优选地，所述预选单元进一步用于，

基于所述第二姿态的人体运动矩阵获得所述第二姿态的特征矩阵和协方差矩阵，并根据所述第二姿态的特征矩阵和协方差矩阵计算得到所述第二姿态的本征值和本征向量；

根据基于所述第二姿态的本征向量构建的本征向量矩阵，以及基于所述数据库中待选的运动片段构建的本征向量矩阵，构建匹配函数，并计算得到加权相关性系数；

选择高于第二阈值的加权相关性系数所对应的待选运动片段组成第二预选子集，或者，选择加权相关性系数最高的m个待选运动片段组成第二预选子集，m为大于等于1的整数。

优选地，所述中间过渡姿态选择单元进一步用于，根据姿态相似性算法分别计算所述第一姿态与所述预选集中每个运动片段首帧的第一相似度、以及所述第二姿态与所述预选集中每个运动片段尾帧的第二相似度；从所述预选集中选择第一相似度与第二相似度之和最高的k个运动片段确定为所述第一姿态和第二姿态的中间过渡姿态，k为大于等于1的整数。

优选地，所述装置还包括：插值处理单元，用于对所述中间过渡姿态选择单元得到的中间过渡姿态的各节点进行四元数空间的球面线性插值处理。

优选地，所述装置还包括：调整单元，用于基于雅克比矩阵的数值型逆向运动学方法对插值的不合理姿态进行调整，得到调整后的中间过渡姿态。

优选地，所述中间过渡姿态选择单元进一步用于，在所述获得第一姿态和第二姿态的中间过渡姿态后，执行所述中间过渡姿态与所述第一姿态和第二姿态的最优姿态对齐，将所述中间过渡姿态首帧与所述第一姿态尾帧对齐，并将所述中间过渡姿态尾帧与所述第二姿态首帧对齐；

相应的，所述插值处理单元执行的插值处理是针对所述最优姿态对齐后的中间过渡姿态的球面线性插值处理。

本发明实施例提供的一种数据处理方法和装置，基于待连接的人体姿态，从预设的运动数据库中选择满足相关性条件的运动片段组成预选集，并基于姿态相似性判断策略从所述预选集中选择确定所述第一姿态和第二姿态的中间过渡姿态。本发明实施例在寻找中间过渡姿态时，充分考虑了人体关节的自然约束和人体的基本运动学定律，能够得到符合逻辑的人体姿态，实现了人体姿态的平滑过渡；尤其在虚拟现实、视频游戏、电影制作等技术领域，符合运动学逻辑的中间姿态过渡显著提升了图像效果。

附图说明

图1为本发明实施例一的数据处理方法的流程示意图；

图2为本发明实施例的评估姿态相似的示意图；

图3为本发明实施例的中间过渡姿态生成的示意图；

图4为本发明实施例二的数据处理装置的组成结构示意图。

具体实施方式

下面结合附图和具体实施例对本发明的技术方案进一步详细阐述。

发明人在实践过程中发现，造成旋转线性插值方法存在上述缺陷一、二的原因主要在于，旋转线性插值方法没有考虑人体关节的自然约束和人体的基本运动学定律。另外，如果两个待连接的姿态差别太大，生硬地进行旋转线性插值经常会得到不符合逻辑的人体姿态。

实施例一

为实现待连接的姿态之间的平滑过渡，本发明实施例一提供了一种数据处理方法，如图1所示，该方法主要包括：

步骤101，获得待连接的第一姿态和第二姿态的人体运动矩阵。

步骤102，根据所述第一姿态和第二姿态的人体运动矩阵，从预设的数据库中选择满足相关性条件的运动片段组成预选集。

步骤102的一种实施方式为：

根据所述第一姿态的人体运动矩阵，从预设的数据库中选择满足第一相关性条件的运动片段组成第一预选子集；

且，根据所述第二姿态的人体运动矩阵，从预设的数据库中选择满足第二相关性条件的运动片段组成第二预选子集；

确定所述第一预选子集和第二预选子集的合集组成所述预选集。

其中，所述根据第一姿态的人体运动矩阵，从预设的数据库中选择满足第一相关性条件的运动片段组成第一预选子集，包括：

基于所述第一姿态的人体运动矩阵获得所述第一姿态的特征矩阵和协方差矩阵，并根据所述第一姿态的特征矩阵和协方差矩阵计算得到所述第一姿态的本征值和本征向量；

根据基于所述第一姿态的本征向量构建的本征向量矩阵，以及基于所述数据库中待选的运动片段构建的本征向量矩阵，构建匹配函数，并计算得到加权相关性系数；

选择高于第一阈值的加权相关性系数所对应的待选运动片段组成第一预选子集，或者，选择加权相关性系数最高的n个待选运动片段组成第一预选子集，n为大于等于1的整数。

所述根据第二姿态的人体运动矩阵，从预设的数据库中选择满足第二相关性条件的运动片段组成第二预选子集，包括：

基于所述第二姿态的人体运动矩阵获得所述第二姿态的特征矩阵和协方差矩阵，并根据所述第二姿态的特征矩阵和协方差矩阵计算得到所述第二姿态的本征值和本征向量；

根据基于所述第二姿态的本征向量构建的本征向量矩阵，以及基于所述数据库中待选的运动片段构建的本征向量矩阵，构建匹配函数，并计算得到加权相关性系数；

选择高于第二阈值的加权相关性系数所对应的待选运动片段组成第二预选子集，或者，选择加权相关性系数最高的m个待选运动片段组成第二预选子集，m为大于等于1的整数。

其中，n和m的取值可以相同，也可以不同。

步骤103，基于姿态相似性判断策略从所述预选集中选择确定所述第一姿态和第二姿态的中间过渡姿态。

步骤103的一种实施方式为：

根据姿态相似性算法分别计算所述第一姿态与所述预选集中每个运动片段首帧的第一相似度、以及所述第二姿态与所述预选集中每个运动片段尾帧的第二相似度；从所述预选集中选择第一相似度与第二相似度之和最高的k个运动片段确定为所述第一姿态和第二姿态的中间过渡姿态，k为大于等于1的整数。

作为一种可实施方式，在所述获得第一姿态和第二姿态的中间过渡姿态后，所述方法还包括：对所述中间过渡姿态的各节点进行四元数空间的球面线性插值处理。

作为一种可实施方式，在所述球面线性插值处理后，所述方法还包括：基于雅克比矩阵的数值型逆向运动学方法对插值的不合理姿态进行调整，得到调整后的中间过渡姿态。

作为一种可实施方式，在所述获得第一姿态和第二姿态的中间过渡姿态后，所述球面线性插值处理之前，所述方法还包括：

执行所述中间过渡姿态与所述第一姿态和第二姿态的最优姿态对齐，将所述中间过渡姿态首帧与所述第一姿态尾帧对齐，并将所述中间过渡姿态尾帧与所述第二姿态首帧对齐；

相应的，所述球面线性插值处理是针对所述最优姿态对齐后的中间过渡姿态的球面线性插值处理。

下面结合图2和图3的示意，进一步详细阐述本发明实施例一的数据处理方法。

本发明实施例一的用于生成中间过渡姿态的方式也称为人体数据驱动姿态生成方式。对数据驱动的方法而言，怎样判断两个姿态是否相似以及怎样进行快速匹配成为两个关键问题。所谓人体数据驱动姿态生成方式主要包括两个方面：

1)姿态相似性判断方法

要进行人体姿态相似性的检索，首先就要研究人体姿态相似性的判断标准。对两个姿态来说，判断其相似性最好需要一个时间窗口，这样能提高判断的准确性。也就是说，通常判断人体姿态的相似性，比如判断A姿态和B姿态的相似性，可以直接对这两个姿态进行判断；而如果取A姿态的前后姿态构成A窗口姿态集，并取B姿态的前后姿态构成B窗口姿态集，将A、B姿态之间的相似性判断变成A窗口姿态集和B窗口姿态集之间的相似性判断，这样判断的结果会更加准确。

以寻找A片段与B片段之间的中间过渡姿态为例进行说明。后续以A片段尾帧(记为A_e)与C片段首帧(记为C_h)的相似性判断方法为例进行说明，C片段尾帧(记为C_e)与B片段首帧(记为B_h)的相似性判断方法与此相同。

人体姿态的相似性判断需要基于人体各关节的三维空间位置点，在获得所述人体各关节的三维空间位置点后，可以将待比较的两组人体姿态集进行最优对齐，可采用以下过程求出最优对齐的旋转和平移，具体如下：

对于两个姿态A_i与B_i(参见图2中的第(一)幅图)，以A_i为中心构建一个窗口姿态集，并以B_i为中心构建一个窗口姿态集(参见图2中的第(二)幅图)；以上构建的各窗口姿态集中，姿态的个数大于或等于1；已构建了窗口姿态集后，将其上的姿态均转换为位置点集p_i与p′_i，以两个姿态集(即p_i与p′_i)之间点的差的平方和作为评估两个姿态是否相似的标准，即：

$D(A_i,B_j)=\underset{i}{\Σ}\left|\right|p_i-T_{\mathrm{\θ},X_0,Z_0}{p}_i^{,}|{|}^2$

其中，θ表示旋转角，X₀、Z₀表示需要平移的位置坐标量。

需要说明的是，在求此平方和之前需要进行人体姿态的调整，即绕y轴的旋转、以及在xoz平面上的平移(参见图2中的第(三)幅图)；最后获得使平方和最小的旋转角θ和平移位置坐标量X₀、Z₀(参见图2中的第(四)幅图)为：

$\mathrm{\θ}=arctan\frac{{\mathrm{\Σ}}_i(x_i{z}_i^{,}-x_i^{,}{z}_i)-(\stackrel{\‾}{x}\stackrel{\‾}{z^{,}}-\stackrel{\‾}{x^{,}}\stackrel{\‾}{z})}{{\mathrm{\Σ}}_i(x_i{x}_i^{,}+z_i{z}_i^{,})-(\stackrel{\‾}{x}\stackrel{\‾}{x^{,}}+\stackrel{\‾}{z}\stackrel{\‾}{z^{,}})}$

$x_0=\stackrel{\‾}{x}-\stackrel{\‾}{x^{,}}cos\mathrm{\θ}-\stackrel{\‾}{z^{,}}sin\mathrm{\θ}$

$z_0=\stackrel{\‾}{z}+\stackrel{\‾}{x^{,}}sin\mathrm{\θ}-\stackrel{\‾}{z^{,}}cos\mathrm{\θ}$

其中，表示帧A_e的各个关节点的位置坐标x之和；

表示帧A_e的各个关节点的位置坐标z之和；

表示帧C_h的各个关节点的位置坐标x之和；

表示帧C_h的各个关节点的位置坐标z之和；

$TRotation=\left[\begin{array}{cccc}cos\left(\mathrm{\θ}\right)& 0& -sin\left(\mathrm{\θ}\right)& 0\\ 0& 1& 0& 0\\ sin\left(\mathrm{\θ}\right)& 0& cos\left(\mathrm{\θ}\right)& 0\\ 0& 0& 0& 1\end{array}\right]$ 表示帧C_h的中的位置坐标需要进行的旋转分量；

$TTransition=\left[\begin{array}{cccc}1& 0& 0& 0\\ 0& 1& 0& 0\\ 0& 0& 1& 0\\ x_0& 0& z_0& 0\end{array}\right]$ 表示帧C_h的中的位置坐标需要进行的平移分量；

则 $T_{\mathrm{\θ},X_0,Z_0}=TRotation\·TTransition.$

除了确定人体姿态相似性匹配标准，还需要确定快速的人体运动姿态检索方法。人体运动姿态检索方法中，基于变换域的方法具有检索效率高的优点，但同时匹配精度不高；而逐帧匹配方法精度高，但效率低下。本发明实施例探索结合两种检索策略，形成平衡检索精度与效率的人体中间姿态生成方法。下文中叙述人体运动姿态检索方法，该方法与人体姿态相似性判断标准结合，能基于预设数据库得到两片段连接的中间姿态。具体的人体运动姿态检索方法过程如下：

首先基于人体运动矩阵，求得特征矩阵和协方差矩阵，并基于获得的特征矩阵和协方差矩阵计算得到本征值和本征向量；接着基于本征向量之间的加权的相关性系数构建运动片段之间的距离(即匹配分数)；最后，根据得到的匹配分数的高低进行运动数据的预选。如：首先根据A片段尾帧集(为确保判断的准确性，通常对窗口姿态集进行处理)与数据库中逐片段进行匹配预选，挑选出相关性(即匹配分数，见后续具体匹配过程描述)最高的10个片段(并非仅限于10个)构成第一片段预选子集；接着，根据B片段头帧集(为确保判断的准确性，通常对窗口姿态集进行处理)与数据库中逐片段进行匹配预选，得到相关性最高的10个片段(并非仅限于10个)构成第二片段预选子集。前述两个片段预选子集的合集为最终的预选集。这个预选集相对于整个数据库已很短小，可采用人体姿态相似性匹配标准进行进一步的精细匹配。

其中，人体两段运动片段之间的快速匹配过程如下：

快速匹配的过程是基于本征空间的匹配过程，即对运动数据，只看其本征空间；对特征矩阵，可求得协方差矩阵，进而计算其重要本征值和本征向量，然后构建匹配函数，最后根据匹配分数的高低进行运动数据的预选。对人体运动片段求得本征向量矩阵的过程如下：

假设人体运动片段的特征矩阵为：

F＝(f₁,f₂,f₃,...,f_d)，

其中，f₁、f₂、…、f_d是特征定义中的一个特征向量，d表示特征向量的总个数，f_i＝(f_1,i,f_2,i,...,f_n,i)^Τ，n是运动数据中的帧个数。

基于以上特征矩阵得到一个平均矩阵：

$\stackrel{\‾}{F}=({\stackrel{\‾}{f}}_1,{\stackrel{\‾}{f}}_2,{\stackrel{\‾}{f}}_3,\·\·\·,{\stackrel{\‾}{f}}_d),$

这里然后，定义一个差值矩阵：

$\hat{F}=F-\stackrel{\‾}{F}=({\hat{f}}_1,{\hat{f}}_2,{\hat{f}}_3,...,{\hat{f}}_d),$

接着计算矩阵的协方差矩阵为：

R＝(r_j,k)_d×d，

其中， $r_{j,k}=\frac{1}{n}\underset{i=1}{\overset{n}{\Σ}}{\hat{f}}_{i,j}\·{\hat{f}}_{i,k},$

得到矩阵R的s个本征值λ₁、λ₂、…、λ_s(λ₁≥λ₂≥…≥λs≥0)，以及对应的本征向量v₁、v₂、…、v_s。这里s是矩阵R的秩，每个本征值权重定义如下：

${\mathrm{\α}}_i=\frac{{\mathrm{\λ}}_i}{{\mathrm{\Σ}}_{k=1}^s{\mathrm{\λ}}_k}$

取前m(m≤s)个最大的本征值，直到这些本征值累计的权重高于某一个阈值(如0.9)；称m为运动索引的长度。

得到该运动片段的本征向量矩阵为：

V＝(v₁,v₂,...,v_m)。

基于以上的运动片段的本征向量矩阵的构建方法对待匹配检索的两个运动片段构建本征向量矩阵。其中，VQ为待匹配片段的本征向量矩阵，通常为A片段尾部或B片段头部n帧；VD为预构建的数据库中的片段所得的本征向量矩阵。

VQ＝(vq₁,vq₂,...,vq_m)

VD＝(vd₁,vd₂,...,vd_m)

其匹配函数为： ${\mathrm{\ρ}}_{i,i}=\left|\frac{\mathrm{cov}({\mathrm{vq}}_i,{\mathrm{vd}}_i)}{\sqrt{D\left({\mathrm{vq}}_i\right)}\·\sqrt{D\left({\mathrm{vd}}_i\right)}}\right|,$

其中，D(vq_i)表示向量vq_i的方差，D(vd_i)表示向量vd_i的方差，cov(vq_i,vd_i)表示向量vq_i和vd_i的协方差，cov(vq_i,vd_i)＝E(vq_i,vd_i)-E(vq_i)E(vd_i)，E(vq_i)表示向量vq_i的均值，E(vd_i)表示向量vd_i的均值。

最终得到的加权相关性系数为：

以上公式中，考虑了各特征向量的权重。

至此，快速匹配过程结束。

2)基于预设数据库的中间姿态生成

可根据应用情况，构建预设运动数据库，然后根据A尾与B首的人体姿态情况，采用1)中的人体运动姿态检索方法从运动库中检索出与此两种情况相似的姿态(片段)集合。1)中的姿态相似性判断标准算法进行详细的人体姿态匹配和筛选从而得到用于连接的人体中间姿态。具体过程如下：

对最终预选集中的每个运动片段与A片段尾帧及B片段首帧进行以上姿态相似性判断算法，求出距离；设A片段尾帧与预选集中某片段首帧的距离为disA；该片段尾帧与B片段首帧的距离为disB；那么取预选集中使得disA+disB最小的片段作为连接片段(即片段C)；

得到片段C后，可采用姿态距离算法中的最优姿态对齐方法首先将C片段首帧与A片段尾帧对齐，然后再将B片段首帧与C片段尾帧对齐。

在最优对齐后，可以在A片段尾帧及C片段首帧、C片段尾帧及B片段首帧之间的各对应骨骼节点进行四元数空间的球面线性插值。

在一实施方式中，在四元数空间的球面线性插值后，可进一步用三次样条曲线对插值点进行平顺处理，以得到光滑连续的骨骼姿态曲线。

具体的，人体运动数据中，既有位移数据，也有旋转数据。通常情况下，只有根节点有位移数据，而基本上所有节点都有旋转数据。所以，在运动插值中，旋转数据的插值(也即对四元数的插值)至关重要。

设构成曲线控制点的四元数序列为q_i-1、q_i、q_i+1，

引入一个辅助四元数S_i，将其作为临时控制点，即 $S_i=\exp \{\[-\left(log\right(q_{i+1}{q_i}^{-1})+log\left(q_{i-1}{q_i}^{-1}\right))\]/4\}*q_i,$

对四个控制点q_i-1、q_i、q_i+1、q_i+2，可定义：

U(q_i,q_i+1,s_i,s_i+1,h)＝R(R(q_i,q_i+1,h),R(s_i,s_i+1,h),2h(1-h))

其中，R(q_i,q_i+1)＝sin((1-t)*w)*q_i/sin(w)+sin(tw)*q_i/sin(w)，

以上公式中，h为插值变量控制参数，其变化范围在[0，1]之间；w表示两个四元数之间的角位移，可由cos(w)＝(q_i*q_i+1)/(|q_i|*|q_i+1|)求得。

基于球面线性插值的姿态数据生成后，还需要考虑对齐后身体重心的差异。如果重心差别较大，可能会出现闪动现象，此时根据人体运动趋势线性生成人体重心轨迹曲线，在四元数超球面上采用三次样条插值方法进行人体运动姿态插值。该插值算法可保证二阶连续可导，从而有效地保证平顺的插值效果。

另外，在球面线性插值处理后，还可基于雅克比矩阵(JacobianMatrix)的数值型逆向运动学(IK，InverseKinematic)方法对插值的不合理姿态进行调整。

这种调整既有对“漂浮”腿的拉回地面，又有双脚不合理着地的“抬起”等多种情况。同时，对各种自然约束，如双脚不能陷于地下、关节旋转角满足人体规律等情况也予以考虑。

逆向运动学是根据末端点的位移信息反推其各骨骼节点旋转信息的技术，在IK的方法中，以基于JacobianMatrix的方法调节得到的动作最自然。

设一个末端点的位置为E＝[E_x,E_y,E_z]^T，

而各骨骼节点汇集后得到的旋转序列为θ＝[θ₁,θ₂,...,e_m]^T，

则定义 $J=\frac{dE}{d\mathrm{\θ}}=\left[\begin{array}{c}\frac{\∂E_x}{\∂{\mathrm{\θ}}_1},\frac{\∂E_x}{\∂{\mathrm{\θ}}_2},...,\frac{\∂E_x}{\∂{\mathrm{\θ}}_m}\\ \frac{\∂E_y}{\∂{\mathrm{\θ}}_1},\frac{\∂E_y}{\∂{\mathrm{\θ}}_2},...,\frac{\∂E_y}{\∂{\mathrm{\θ}}_m}\\ \frac{\∂E_z}{\∂{\mathrm{\θ}}_1},\frac{\∂E_z}{\∂{\mathrm{\θ}}_2},...,\frac{\∂E_z}{\∂{\mathrm{\θ}}_m}\end{array}\right],$

对每个关节，可求得其调整旋转需要用的轴信息，假设对第i个骨骼(3自由度关节)，其需要用的调整信息如下：

$Z_i^x=\[1,0,0,0\]\·R_y\left({\mathrm{\θ}}_y\right)\·R_z\left({\mathrm{\θ}}_z\right)\·w_{parent}$

$Z_i^y=\[0,1,0,0\]\·R_z\left({\mathrm{\θ}}_z\right)\·w_{parent}$

$Z_i^x=\[0,0,1,0\]\·w_{parent}$

则对第i个骨骼，可求得Jacobian矩阵为，其中，Z_i为以上3个维度聚合而成，而P_i为末端当前点位置。

下一步计算伪逆(PseudoInverse)如下：J⁺＝(J^TJ)^-1J^T，

计算调整的差距为：

确定误差为： $error=|{(I-J^{+}J)}^{*}\∂E|,$

其中，I为单位阵，如果误差大于给定的阈值，则二分循环。

计算偏角，将得到的轴角对转换为相对父节点的四元数，进一步适用于整个系统， $\∂\mathrm{\θ}=J^{+}\∂E,$

循环直到E_current约等于E_goal。

实施例二

对应本发明实施例一的数据处理方法，本发明实施例二提供了一种数据处理装置，如图4所示，该装置包括：

人体运动矩阵获得单元10，用于获得待连接的第一姿态和第二姿态的人体运动矩阵；

预选单元20，用于根据所述第一姿态和第二姿态的人体运动矩阵，从预设的数据库中选择满足相关性条件的运动片段组成预选集；

中间过渡姿态选择单元30，用于基于姿态相似性判断策略从所述预选集中选择确定所述第一姿态和第二姿态的中间过渡姿态。

在一实施方式中，所述预选单元20进一步用于，根据所述第一姿态的人体运动矩阵，从预设的数据库中选择满足第一相关性条件的运动片段组成第一预选子集；

且，根据所述第二姿态的人体运动矩阵，从预设的数据库中选择满足第二相关性条件的运动片段组成第二预选子集；

确定所述第一预选子集和第二预选子集的合集组成所述预选集。

在一实施方式中，所述预选单元20进一步用于，

基于所述第一姿态的人体运动矩阵获得所述第一姿态的特征矩阵和协方差矩阵，并根据所述第一姿态的特征矩阵和协方差矩阵计算得到所述第一姿态的本征值和本征向量；

根据基于所述第一姿态的本征向量构建的本征向量矩阵，以及基于所述数据库中待选的运动片段构建的本征向量矩阵，构建匹配函数，并计算得到加权相关性系数；

选择高于第一阈值的加权相关性系数所对应的待选运动片段组成第一预选子集，或者，选择加权相关性系数最高的n个待选运动片段组成第一预选子集，n为大于等于1的整数。

在一实施方式中，所述预选单元20进一步用于，基于所述第二姿态的人体运动矩阵获得所述第二姿态的特征矩阵和协方差矩阵，并根据所述第二姿态的特征矩阵和协方差矩阵计算得到所述第二姿态的本征值和本征向量；

根据基于所述第二姿态的本征向量构建的本征向量矩阵，以及基于所述数据库中待选的运动片段构建的本征向量矩阵，构建匹配函数，并计算得到加权相关性系数；

选择高于第二阈值的加权相关性系数所对应的待选运动片段组成第二预选子集，或者，选择加权相关性系数最高的m个待选运动片段组成第二预选子集，m为大于等于1的整数。

其中，所述n和m的取值可以相同，也可以不同。

在一实施方式中，所述中间过渡姿态选择单元30进一步用于，根据姿态相似性算法分别计算所述第一姿态与所述预选集中每个运动片段首帧的第一相似度、以及所述第二姿态与所述预选集中每个运动片段尾帧的第二相似度；从所述预选集中选择第一相似度与第二相似度之和最高的k个运动片段确定为所述第一姿态和第二姿态的中间过渡姿态，k为大于等于1的整数。

在一实施方式中，所述装置还包括：插值处理单元40，用于对所述中间过渡姿态选择单元得到的中间过渡姿态的各节点进行四元数空间的球面线性插值处理。

在一实施方式中，所述装置还包括：调整单元50，用于基于雅克比矩阵的数值型逆向运动学方法对插值的不合理姿态进行调整，得到调整后的中间过渡姿态。

在一实施方式中，所述中间过渡姿态选择单元30进一步用于，在所述获得第一姿态和第二姿态的中间过渡姿态后，执行所述中间过渡姿态与所述第一姿态和第二姿态的最优姿态对齐，将所述中间过渡姿态首帧与所述第一姿态尾帧对齐，并将所述中间过渡姿态尾帧与所述第二姿态首帧对齐；

相应的，所述插值处理单元40执行的插值处理是针对所述最优姿态对齐后的中间过渡姿态的球面线性插值处理。

需要说明的是，上述人体运动矩阵获得单元10、预选单元20、中间过渡姿态选择单元30和插值处理单元40可以由本发明实施例二所述装置中的中央处理器(CPU，CentralProcessingUnit)、微处理器(MPU，MicroProcessingUnit)、数字信号处理器(DSP，DigitalSignalProcessor)或可编程逻辑阵列(FPGA，Field－ProgrammableGateArray)实现。

综上所述，本发明实施例基于待连接的人体姿态，从预设的运动数据库中选择满足相关性条件的运动片段组成预选集，并基于姿态相似性判断策略从所述预选集中选择确定所述第一姿态和第二姿态的中间过渡姿态。本发明实施例在寻找中间过渡姿态时，充分考虑了人体关节的自然约束和人体的基本运动学定律，能够得到符合逻辑的人体姿态，实现了人体姿态的平滑过渡；尤其在虚拟现实、视频游戏、电影制作等技术领域，符合运动学逻辑的中间姿态过渡显著提升了图像效果。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用硬件实施例、软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

因此，本发明实施例还提供了一种计算机可读存储介质，所述存储介质包括一组计算机可执行指令，所述指令用于执行本发明实施例所述的数据处理方法。

以上所述，仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。

Claims (16)

1.一种数据处理方法，其特征在于，所述方法包括：

获得待连接的第一姿态和第二姿态的人体运动矩阵；

根据所述第一姿态和第二姿态的人体运动矩阵，从预设的数据库中选择满足相关性条件的运动片段组成预选集；

基于姿态相似性判断策略从所述预选集中选择确定所述第一姿态和第二姿态的中间过渡姿态。

2.根据权利要求1所述数据处理方法，其特征在于，所述根据第一姿态和第二姿态的人体运动矩阵，从预设的数据库中选择满足相关性条件的运动片段组成预选集，包括：

根据所述第一姿态的人体运动矩阵，从预设的数据库中选择满足第一相关性条件的运动片段组成第一预选子集；

且，根据所述第二姿态的人体运动矩阵，从预设的数据库中选择满足第二相关性条件的运动片段组成第二预选子集；

确定所述第一预选子集和第二预选子集的合集组成所述预选集。

3.根据权利要求2所述数据处理方法，其特征在于，所述根据第一姿态的人体运动矩阵，从预设的数据库中选择满足第一相关性条件的运动片段组成第一预选子集，包括：

基于所述第一姿态的人体运动矩阵获得所述第一姿态的特征矩阵和协方差矩阵，并根据所述第一姿态的特征矩阵和协方差矩阵计算得到所述第一姿态的本征值和本征向量；

根据基于所述第一姿态的本征向量构建的本征向量矩阵，以及基于所述数据库中待选的运动片段构建的本征向量矩阵，构建匹配函数，并计算得到加权相关性系数；

选择高于第一阈值的加权相关性系数所对应的待选运动片段组成第一预选子集，或者，选择加权相关性系数最高的n个待选运动片段组成第一预选子集，n为大于等于1的整数。

4.根据权利要求2所述数据处理方法，其特征在于，所述根据第二姿态的人体运动矩阵，从预设的数据库中选择满足第二相关性条件的运动片段组成第二预选子集，包括：

基于所述第二姿态的人体运动矩阵获得所述第二姿态的特征矩阵和协方差矩阵，并根据所述第二姿态的特征矩阵和协方差矩阵计算得到所述第二姿态的本征值和本征向量；

根据基于所述第二姿态的本征向量构建的本征向量矩阵，以及基于所述数据库中待选的运动片段构建的本征向量矩阵，构建匹配函数，并计算得到加权相关性系数；

选择高于第二阈值的加权相关性系数所对应的待选运动片段组成第二预选子集，或者，选择加权相关性系数最高的m个待选运动片段组成第二预选子集，m为大于等于1的整数。

5.根据权利要求1所述数据处理方法，其特征在于，所述基于姿态相似性判断策略从预选集中选择获得第一姿态和第二姿态的中间过渡姿态，包括：

根据姿态相似性算法分别计算所述第一姿态与所述预选集中每个运动片段首帧的第一相似度、以及所述第二姿态与所述预选集中每个运动片段尾帧的第二相似度；从所述预选集中选择第一相似度与第二相似度之和最高的k个运动片段确定为所述第一姿态和第二姿态的中间过渡姿态，k为大于等于1的整数。

6.根据权利要求1至5任一项所述数据处理方法，其特征在于，在所述获得第一姿态和第二姿态的中间过渡姿态后，所述方法还包括：对所述中间过渡姿态的各节点进行四元数空间的球面线性插值处理。

7.根据权利要求6所述数据处理方法，其特征在于，在所述球面线性插值处理后，所述方法还包括：基于雅克比矩阵的数值型逆向运动学方法对插值的不合理姿态进行调整，得到调整后的中间过渡姿态。

8.根据权利要求6所述数据处理方法，其特征在于，在所述获得第一姿态和第二姿态的中间过渡姿态后，所述球面线性插值处理之前，所述方法还包括：

执行所述中间过渡姿态与所述第一姿态和第二姿态的最优姿态对齐，将所述中间过渡姿态首帧与所述第一姿态尾帧对齐，并将所述中间过渡姿态尾帧与所述第二姿态首帧对齐；

相应的，所述球面线性插值处理是针对所述最优姿态对齐后的中间过渡姿态的球面线性插值处理。

9.一种数据处理装置，其特征在于，所述装置包括：

人体运动矩阵获得单元，用于获得待连接的第一姿态和第二姿态的人体运动矩阵；

预选单元，用于根据所述第一姿态和第二姿态的人体运动矩阵，从预设的数据库中选择满足相关性条件的运动片段组成预选集；

中间过渡姿态选择单元，用于基于姿态相似性判断策略从所述预选集中选择确定所述第一姿态和第二姿态的中间过渡姿态。

10.根据权利要求9所述数据处理装置，其特征在于，所述预选单元进一步用于，根据所述第一姿态的人体运动矩阵，从预设的数据库中选择满足第一相关性条件的运动片段组成第一预选子集；

且，根据所述第二姿态的人体运动矩阵，从预设的数据库中选择满足第二相关性条件的运动片段组成第二预选子集；

确定所述第一预选子集和第二预选子集的合集组成所述预选集。

11.根据权利要求10所述数据处理装置，其特征在于，所述预选单元进一步用于，

基于所述第一姿态的人体运动矩阵获得所述第一姿态的特征矩阵和协方差矩阵，并根据所述第一姿态的特征矩阵和协方差矩阵计算得到所述第一姿态的本征值和本征向量；

根据基于所述第一姿态的本征向量构建的本征向量矩阵，以及基于所述数据库中待选的运动片段构建的本征向量矩阵，构建匹配函数，并计算得到加权相关性系数；

选择高于第一阈值的加权相关性系数所对应的待选运动片段组成第一预选子集，或者，选择加权相关性系数最高的n个待选运动片段组成第一预选子集，n为大于等于1的整数。

12.根据权利要求10所述数据处理装置，其特征在于，所述预选单元进一步用于，

基于所述第二姿态的人体运动矩阵获得所述第二姿态的特征矩阵和协方差矩阵，并根据所述第二姿态的特征矩阵和协方差矩阵计算得到所述第二姿态的本征值和本征向量；

根据基于所述第二姿态的本征向量构建的本征向量矩阵，以及基于所述数据库中待选的运动片段构建的本征向量矩阵，构建匹配函数，并计算得到加权相关性系数；

选择高于第二阈值的加权相关性系数所对应的待选运动片段组成第二预选子集，或者，选择加权相关性系数最高的m个待选运动片段组成第二预选子集，m为大于等于1的整数。

13.根据权利要求9所述数据处理装置，其特征在于，所述中间过渡姿态选择单元进一步用于，根据姿态相似性算法分别计算所述第一姿态与所述预选集中每个运动片段首帧的第一相似度、以及所述第二姿态与所述预选集中每个运动片段尾帧的第二相似度；从所述预选集中选择第一相似度与第二相似度之和最高的k个运动片段确定为所述第一姿态和第二姿态的中间过渡姿态，k为大于等于1的整数。

14.根据权利要求9至13任一项所述数据处理装置，其特征在于，所述装置还包括：插值处理单元，用于对所述中间过渡姿态选择单元得到的中间过渡姿态的各节点进行四元数空间的球面线性插值处理。

15.根据权利要求14所述数据处理装置，其特征在于，所述装置还包括：调整单元，用于基于雅克比矩阵的数值型逆向运动学方法对插值的不合理姿态进行调整，得到调整后的中间过渡姿态。

16.根据权利要求14所述数据处理装置，其特征在于，所述中间过渡姿态选择单元进一步用于，在所述获得第一姿态和第二姿态的中间过渡姿态后，执行所述中间过渡姿态与所述第一姿态和第二姿态的最优姿态对齐，将所述中间过渡姿态首帧与所述第一姿态尾帧对齐，并将所述中间过渡姿态尾帧与所述第二姿态首帧对齐；

相应的，所述插值处理单元执行的插值处理是针对所述最优姿态对齐后的中间过渡姿态的球面线性插值处理。