CN110570455A - 一种面向房间vr的全身三维姿态跟踪方法 - Google Patents

Abstract

本发明公开了一种面向房间VR的全身三维姿态跟踪方法，包括：(1)将人体17个关节划分为五条运动链C1、C2、C3、C4和C5；(2)由VR HMD提供的头显位置信息，根据二臂铰链关节结构获得C2链上各个关节的位置，(3)由VR手柄提供的手柄位置信息，根据三臂铰链关节结构获得C1、C3运动链的姿态；(4)由C4、C5运动链建立下肢运动学模型并训练；(5)对捕获的下肢图像采用低通滤波器进行处理；(6)将处理后的图像传入训练好的模型进行识别，得到下肢9个关节点的3D位置信息；(7)将得到的上肢关节位置与下肢关节位置以骨盆关节为公共根关节统一到同一坐标系下。利用本发明，可以提高跟踪准确率以及实时性。

Description

一种面向房间VR的全身三维姿态跟踪方法

技术领域

本发明属于人机交互技术领域，尤其是涉及一种面向房间虚拟现实应用的全身三维姿态跟踪方法。

背景技术

大量房间VR应用都需要全身追踪系统，这可以让我们在VR中看到虚拟身体，进一步强化沉浸感。目前房间VR探索领域已经有多款全身追踪的硬件产品。这些硬件产品通过对玩家全身进行精准的定位追踪，从而能够让玩家在虚拟世界中作出精准实时的交互和反馈。大多数VR动作游戏，为了获得更好地交互反馈，应用中都会使用手柄(手柄可通过震动将交互反馈传达给用户)。HTC逆运动学全身追踪解决方案，通过跟踪握在手中的头显和两个动作控制器，开发人员能够实现相当准确的上身虚拟形态。由于缺乏下半身跟踪器，一些VR体验中会避免用户往下看，然而大量动作体验应用，下半身的追踪同样重要，而在腿部安装跟踪器势必会增加用户的运动限制。不在人体上额外增加传感器，依靠现有的传感器进行人体三维姿态跟踪是一个重要研究方向。

在VR游戏中，当你向下看并移动手臂时，会看到虚拟物体，它们是由一种名为“逆运动学”(简称IK)的动画概念所控制的。IK body是VR游戏设计中顺利实现的基础元素。这仅仅是因为，当你伸手去触摸一件物品时，你希望看到自己手臂和肘部在你面前移动，IK满足了这种沉浸感的期望。对于开发人员，重要的是要包含最能激发存在感的内容。VR中存在感是一种沉浸感，IK是一个小细节，对于创造一种置身于VR中的感觉非常重要。99％的VR游戏以某种形式使用战斗机制，击砍、拳打脚踢、投篮和射击。

绝大部分现有的全身追踪系统都利用了头显和手柄追踪器的定位功能，利用逆运动学进行上半身动作解算，然而人体动作毕竟复杂，通过IK造成肘部定位不准确，极易出现不自然的动作，同时下半身也往往忽略。Final IK通过更复杂的逆运动解算可以追踪下半身，但膝盖位置的模糊依旧无法解决。而依靠深度学习来识别人体关节位置固然可以，却造成已有设备信息的浪费，同时在一些人体复杂动作中严重的自遮挡，降低了深度学习方法的准确性。

发明内容

本发明提供了一种面向房间VR的全身三维姿态跟踪方法，可以提高跟踪准确率以及实时性。

一种面向房间VR的全身三维姿态跟踪方法，包括以下步骤：

(1)建立人体关节运动链模型，将人体17个关节划分为五条运动链C1、C2、C3、C4和C5；其中，C1、C3链由双臂构成，C2链由头和躯干构成，C1、C2和C3三条运动链构成上肢姿态，C4和C5两条运动链构成下肢姿态，以骨盆根关节为公共根关节；

(2)由VR HMD提供的头显位置信息，根据二臂铰链关节结构，利用逆运动学获得C2链上各个关节的位置，通过角度插值进行平滑IK表现；

(3)由VR手柄提供的手柄位置信息，即C1、C3运动链上末端关节手掌的位置信息，根据三臂铰链关节结构，利用雅克比矩阵进行IK解算，获得C1、C3运动链的姿态；

(4)由C4、C5运动链建立下肢运动学模型，由9个关节8个骨骼组成，自由度为16，并利用神经网络模型对下肢运动学模型进行训练；

(5)对Kinect V2捕获的下肢图像流采用截止频率自适应低通滤波器进行处理；

(6)将滤波处理后的下肢图像传入训练好的模型中进行识别，得到下肢9个关节点的3D位置信息；

(7)将步骤(2)、步骤(3)得到的上肢关节位置与步骤(6)得到的下肢关节位置以骨盆关节为公共根关节统一到同一坐标系下。

本发明所采用的图像为KinectV2的彩色图像，分辨率更高，捕捉范围更大。

步骤(2)中，利用逆运动学获得C2链上各个关节的位置的具体过程为：

根据躯干颈椎长度L₁和脖子长度L₂，确定C2链两个关节的偏转角度θ₁和θ₂，计算出两个角度后，进一步确定C2链上各个关节的位置，角度的计算公式如下：

其中，L₁为躯干颈椎长度和脖子长度，L₂为脖子长度，X,Y为HMD返回的头部坐标。

步骤(3)中，获得C1、C3运动链的姿态具体过程如下：

(3-1)C1、C3运动链为标准的三臂铰链关节结构，假定其结构中所有关节约束在xy平面，约束轴向量(0,0,1)；

(3-2)根据V＝Jθ，θ指代运动链上各个关节的速度，J指雅可比矩阵，向量V表示末端关节的线速度和角速度，C1运动链末端关节为右手掌，C3运动链末端关节为左手掌，其对应的线速度和角速度都与其当前的位置和朝向以及目标位置相关，以三维空间形式表示为：

其中，E表示末端关节，G为所移动到的目标位置；

由当前姿势下各个关节变化导致的末端关节变化的矩阵，求出雅可比矩阵J的逆矩阵J+，进一步得到各个关节的速度θ；

(3-3)计算关节自由度的改变Δθ＝J+·Δe，将更改应用于自由度，末端关节移动一小步，距离变化为αΔθ：θ＝θ+αΔθ，从而平滑逆运动学恢复双臂运动姿态，其中，α为平滑系数。

步骤(4)中，建立下肢运动学模型的过程如下：

(4-1)下肢运动学模型由9个关节组成，由8根骨骼铰接成下肢骨架，代表8个骨骼长度的集合，骨骼长度固定且作为先验知识；假设第i个关节的旋转角度为θ_i，运动参数Θ包括全局位置p、全局方向o和所有旋转角度，其中，正向运动学函数完成从运动参数空间到关节位置空间的映射；

(4-2)每个关节与运动参数中定义的局部坐标变换相关联，包括从其旋转角度和从其延伸骨骼的平移；通过沿着根关节到其自身的路径乘以一系列变换矩阵来获得关节的最终坐标，关节u的全局位置表示为：

其中，Pa(u)是关节u运动树上父节点的集合，O是同质坐标的原点；对于3D运动模型，每个旋转分配{X,Y,Z}轴中的一个，且在每个关节处可以有多个旋转；局部坐标系中定义了平移方向，其中运动参数皆设置为0。

步骤(4)中，所述神经网络模型的结构采用五层卷积神经网络，以3个卷积层开始，内核大小分别为5,5,3，紧跟着步长分别为4,2,1的池化；所有卷积层都含有8个通道，最后有两个完全连接层，每个层有1024个神经元，然后是一个dropout层，激活函数为ReLU；在网络末端增加运动层，网络预测对象的运动参数，由关节位置损失引导控制。所述关节位置损失的公式如下：

其中，Y∈y是输入图像的真实关节位置，为运动参数。

网络预测对象的运动参数，依旧由关节位置损失引导控制。这样的结构完全结合了对象的先验知识，包括骨骼长度和关节之间的空间结构，使得得到的关节位置保证有效。运动参数空间比无约束关节空间更紧凑，也就是运动参数的自由度小于关节的自由度。在我们的方法中，DOF对于运动参数是16。将运动学模型拟合到估计关节作为后处理，可以强制执行几何约束，从而可以通过最小化方程式中的运动模型恢复损失。网络将运动参数输出到运动层，运动层输出关节。

步骤(4)中，利用神经网络模型对下肢运动学模型进行训练的过程如下：

(7-1)首先从输入图像中获得人物边界框，将图像大小调整为224×224，使用边框填充来保持实际的图像高宽比不变，训练目标也通过边界框大小进行标准化；

(7-2)在ImageNet上预训练的50层残差网络作为初始模型，随机抽取1000K帧进行训练，训练网络70回合，学习率设置为在50个周期后降至0.0003，批尺寸为52，权重衰减为0.0002，动量为0.9。

步骤(5)中，所述截止频率自适应低通滤波器：通过估计信号的速度，为每个新样本调整低通滤波器的截止频率。尽管噪声信号通常以固定频率采样，但滤波并不总是遵循相同的速度，考虑采样之间的实际时间间隔。

与现有技术相比，本发明具有以下有益效果：

1、本发明上肢姿态通过VR设备的传感器，因而当人体背对摄像头运动时仍能准确跟踪上肢，而下肢结构的特点使得无论人体是否背对都能依靠计算机视觉技术有效跟踪。

2、本发明采用运动层+卷积神经网络进行关键的下肢关节点识别，强制进行了几何约束，结合了对象的先验知识，包括骨骼长度和关节之间的空间结构，使得得到的关节位置保证有效。

3、本方法采用上肢逆运动解算+下肢计算机视觉识别，有效弥补了纯逆运动学全身姿态捕捉时下身位置的缺失或失真。

附图说明

图1为本发明建立的人体关节运动链模型结构示意图；

图2为本发明实施例的场景布置示意图；

图3为本发明所使用的二臂铰链关节结构；

图4为本发明所使用的三臂铰链关节结构；

图5为本发明下肢模型关节结构示意图；

图6为本发明针对下肢关节点识别的方法流程图；

图7为本发明姿态跟踪方法效果。

具体实施方式

下面结合附图和实施例对本发明做进一步详细描述，需要指出的是，以下所述实施例旨在便于对本发明的理解，而对其不起任何限定作用。

一种面向房间VR的全身三维姿态跟踪方法，如图1所示，本发明将人体关节点划分为五条运动链C1、C2、C3、C4和C5，其中C1、C2、C3构成上肢姿态关节，C4和C5构成下肢姿态关节，以骨盆根关节(黄点)为公共根关节。

面向房间VR的全身三维姿态跟踪，可分为人体上肢姿态恢复和下肢关节点识别跟踪，具体的包括以下步骤：

人体上肢姿态估计

步骤1：使用HTC Vive设备，包括一个头显、左右各一个手柄以及两个Lighthouse基站。两根定位杆放置在室内对角，摄像头采用Kinect V2彩色摄像头(分辨率为1920×1080)，放置于房间边缘水平地面，确保可以看到房间中大部分区域，场景布置如图2所示。

步骤2：获得滤波后设备返回的头显位置信息，即C2链的末端关节，根据二臂铰链关节结构，参见图3，最末端关节根据便有了一个活动范围，其中L₁为躯干颈椎长度，臂长度为L₂为脖子长度。对应的两个关节偏转角度θ₁和θ₂就可以根据公式(1)和(2)计算得到。

计算出两个角度后，就可以直接影响各关节位置，进而角度插值来进行平滑的逆运动学表现。

步骤3：获得滤波后设备返回的两个手柄的位置信息，即C1和C3运动链的末端关节。根据三臂铰链关节结构，假定所有关节约束在xy平面，约束轴向量(0,0,1)，结构如图4所示。根据V＝Jθ，θ指代各个关节的速度，J指雅可比矩阵，向量V表示末端关节的线速度和角速度。由当前姿势下各个关节变化导致的末端关节变化的矩阵，求出J的逆矩阵J+，然后可得θ,计算关节DOFs的改变Δθ＝J+·Δe，将更改应用于DOFs，末端关节移动一小步，距离αΔθ：θ＝θ+αΔθ。从而平滑逆运动学恢复双臂运动姿态。

在下肢姿态识别阶段，参见图6，为本发明针对下肢关节点识别的方法。

步骤4：下肢铰接对象可以被建模为运动学模型，有9个关节和8个骨骼组成，参见图5。本发明使用Human 3.6M数据集。包含数百万张RGB图像。共有11个受试者，从4个不同的相机视图执行17个动作。每个帧都由MoCap系统准确注释，我们把四个相机根据同一主题分开。来自五个科目S1，S5，S6，S7，S8中的所有帧用于训练，剩下两名受试者S9，S11用于测试。

本发明定义了9个具有16个运动参数的关节。将骨盆设定为根关节，通过固定的骨骼变换确定臀部的位置。每个臀部具有完整的三个旋转角度，并且膝部具有1个旋转角度。网络结构为五层卷积神经网络，以3个卷积层开始，内核大小分别为5,5,3，紧跟着步长分别为4,2,1的池化。所有卷积层都含有8个通道，最后有两个完全连接层，每个层有1024个神经元，然后是一个dropout层，激活函数为ReLU。首先从输入图像中获得人物边界框，将图像大小调整为224×224，使用边框填充来保持实际的图像高宽比不变，训练目标也通过边界框大小进行标准化。使用ImageNet上预训练的50层残差网络作为初始模型。

网络末端增加运动层，网络预测对象的运动参数，由关节位置损失引导控制，见公式(3)。

其中Y∈y是输入图像的真实关节位置。DOF对于运动参数是16，将运动学模型拟合到估计关节作为后处理，强制执行几何约束，最小化方程式中的运动模型恢复损失。网络将运动参数输出到运动层，运动层输出关节。

五个科目完全可用的训练数据约为150万张图像，其中大量图像重复或高度相似，因此我们随机抽取1000K帧进行训练，训练网络70回合，学习率设置为0.0003(在50个周期后降至0.0003)，批尺寸为52，权重衰减为0.0002，动量为0.9。

步骤5：摄像头能捕获下肢彩色图像，对图像信号进行时间滤波以缓解传感器噪声引起的位置偏差幅度不稳定。首先根据公式(4)计算得到α

其中，T_e代表采样周期，τ代表时间常数(单位为秒)。然后根据公式(5)得到截止频率f_c(赫兹)。

最后根据公式(6)和(7)计算得到自适应截止频率，在低信号速度下使用低f_c，f_c随着速度增加而增加以减少滞后。

步骤6：将步骤5滤波处理后的下肢图像传入步骤4训练好的模型中进行识别，返回下肢9个关节点的相对三维坐标。

步骤7：将步骤2，3，6得到的关节点三维坐标以骨盆关节点为公共根关节统一到同一坐标系下。在Unity3D中重建出人体姿态模型，跟踪效果如图7所示。

以上所述的实施例对本发明的技术方案和有益效果进行了详细说明，应理解的是以上所述仅为本发明的具体实施例，并不用于限制本发明，凡在本发明的原则范围内所做的任何修改、补充和等同替换，均应包含在本发明的保护范围之内。

Claims (7)

1.一种面向房间VR的全身三维姿态跟踪方法，其特征在于，包括以下步骤：

(1)建立人体关节运动链模型，将人体17个关节划分为五条运动链C1、C2、C3、C4和C5；其中，C1、C3链由双臂构成，C2链由头和躯干构成，C1、C2和C3三条运动链构成上肢姿态，C4和C5两条运动链构成下肢姿态，以骨盆根关节为公共根关节；

(2)由VR HMD提供的头显位置信息，根据二臂铰链关节结构，利用逆运动学获得C2链上各个关节的位置，通过角度插值进行平滑IK表现；

(3)由VR手柄提供的手柄位置信息，即C1、C3运动链上末端关节手掌的位置信息，根据三臂铰链关节结构，利用雅克比矩阵进行IK解算，获得C1、C3运动链的姿态；

(4)由C4、C5运动链建立下肢运动学模型，由9个关节8个骨骼组成，自由度为16，并利用神经网络模型对下肢运动学模型进行训练；

(5)对Kinect V2捕获的下肢图像流采用截止频率自适应低通滤波器进行处理；

(6)将滤波处理后的下肢图像传入训练好的模型中进行识别，得到下肢9个关节点的3D位置信息；

(7)将步骤(2)、步骤(3)得到的上肢关节位置与步骤(6)得到的下肢关节位置以骨盆关节为公共根关节统一到同一坐标系下。

2.根据权利要求1所述的面向房间VR的全身三维姿态跟踪方法，其特征在于，步骤(2)中，利用逆运动学获得C2链上各个关节的位置的具体过程为：

根据躯干颈椎长度L₁和脖子长度L₂，确定C2链两个关节的偏转角度θ₁和θ₂，计算出两个角度后，进一步确定C2链上各个关节的位置，角度的计算公式如下：

其中，L₁为躯干颈椎长度和脖子长度，L₂为脖子长度，X,Y为HMD返回的头部坐标。

3.根据权利要求1所述的面向房间VR的全身三维姿态跟踪方法，其特征在于，步骤(3)中，获得C1、C3运动链的姿态具体过程如下：

(3-1)C1、C3运动链为标准的三臂铰链关节结构，假定其结构中所有关节约束在xy平面，约束轴向量(0,0,1)；

(3-2)根据V＝Jθ，θ指代运动链上各个关节的速度，J指雅可比矩阵，向量V表示末端关节的线速度和角速度，C1运动链末端关节为右手掌，C3运动链末端关节为左手掌，其对应的线速度和角速度都与其当前的位置和朝向以及目标位置相关，以三维空间形式表示为：

其中，E表示末端关节，G为所移动到的目标位置；

由当前姿势下各个关节变化导致的末端关节变化的矩阵，求出雅可比矩阵J的逆矩阵J+，进一步得到各个关节的速度θ；

(3-3)计算关节自由度的改变Δθ＝J+·Δe，将更改应用于自由度，末端关节移动一小步，距离变化为αΔθ：θ＝θ+αΔθ，从而平滑逆运动学恢复双臂运动姿态；其中，α为平滑系数。

4.根据权利要求1所述的面向房间VR的全身三维姿态跟踪方法，其特征在于，步骤(4)中，建立下肢运动学模型的过程如下：

(4-1)下肢运动学模型由9个关节组成，由8根骨骼铰接成下肢骨架，代表8个骨骼长度的集合，骨骼长度固定且作为先验知识；假设第i个关节的旋转角度为θ_i，运动参数Θ包括全局位置p、全局方向o和所有旋转角度，其中，正向运动学函数完成从运动参数空间到关节位置空间的映射；

(4-2)每个关节与运动参数中定义的局部坐标变换相关联，包括从其旋转角度和从其延伸骨骼的平移；通过沿着根关节到其自身的路径乘以一系列变换矩阵来获得关节的最终坐标，关节u的全局位置表示为：

其中，Pa(u)是关节u运动树上父节点的集合，O是同质坐标的原点；对于3D运动模型，每个旋转分配{X,Y,Z}轴中的一个，且在每个关节处可以有多个旋转；局部坐标系中定义了平移方向，其中运动参数皆设置为0。

5.根据权利要求1所述的面向房间VR的全身三维姿态跟踪方法，其特征在于，步骤(4)中，所述神经网络模型的结构采用五层卷积神经网络，以3个卷积层开始，内核大小分别为5,5,3，紧跟着步长分别为4,2,1的池化；所有卷积层都含有8个通道，最后有两个完全连接层，每个层有1024个神经元，然后是一个dropout层，激活函数为ReLU；在网络末端增加运动层，网络预测对象的运动参数，由关节位置损失引导控制。

6.根据权利要求5所述的面向房间VR的全身三维姿态跟踪方法，其特征在于，所述关节位置损失的公式如下：

其中，Y∈y是输入图像的真实关节位置，为运动参数。

7.根据权利要求5或6所述的面向房间VR的全身三维姿态跟踪方法，其特征在于，步骤(4)中，利用神经网络模型对下肢运动学模型进行训练的过程如下：

(7-1)首先从输入图像中获得人物边界框，将图像大小调整为224×224，使用边框填充来保持实际的图像高宽比不变，训练目标也通过边界框大小进行标准化；

(7-2)在ImageNet上预训练的50层残差网络作为初始模型，随机抽取1000K帧进行训练，训练网络70回合，学习率设置为在50个周期后降至0.0003，批尺寸为52，权重衰减为0.0002，动量为0.9。