CN110221687A - 基于三维空间映射的指尖运动跟踪方法 - Google Patents

Abstract

本发明提供一种基于三维空间映射的指尖运动跟踪方法。针对手势跟踪和指尖交互的准确性要求，以及三维指尖点在二维图像中的投影存在运动估计误差的问题，本发明充分利用计算机技术，引入滤波算法，采集指尖在视频帧中的二维位置信息；根据手指尖运动生理特征，通过坐标转换获得指尖的三维位置信息，进行高精度的指尖三维运动估计；进一步的结合指尖运动规律拟合出复合运动模型、实现指尖运动的稳定跟踪。本发明可以精准反映指尖的位置信息，实现了稳定、准确的指尖运动跟踪。

Description

基于三维空间映射的指尖运动跟踪方法

技术领域

本发明涉及计算机视觉和运动目标跟踪领域，具体涉及一种基于三维空间映射的指尖运动跟踪方法。

背景技术

人机交互和目标跟踪是目前研究的热点和难点，而指尖跟踪作为人机交互任务的基础，已成为人机交互领域中至关重要的研究问题。Hololens是一款增强现实头显设备，是集增强现实场景展现、人机交互于一身的可穿戴智能眼镜设备，该设备可获取包含指尖的视频数据。

视频目标跟踪是计算机视觉中的一项重要任务，是指对视频序列中的目标状态进行持续推断的过程，其任务在于通过在视频的每一帧中定位目标，以生成目标的运动轨迹，并在每一时刻提供完整的目标区域。视频跟踪技术在军事和民用方面都有着十分广泛的应用。传统目标跟踪方法通过数据关联完成观测数据与目标间的分配，再通过滤波技术完成目标状态估计。常用的目标跟踪方法包括：卡尔曼滤波算法、核相关滤波算法、最近邻法、联合概率数据关联(JPDA)、多假设跟踪等。卡尔曼滤波(Kalman Filter)算法是基于递推线性最小方差估计，它的主要原理是采用信号和噪声的状态空间模型，将最小均方误差作为最佳估计准则，再利用前一时刻的预测值和当前时刻的观测值来校正更新对状态变量的估计，得到当前时刻的估计值，它分为预测和更新两个步骤，通过更新迭代使得系统得到最佳的状态，并且具有计算量小、最优化自回归数据处理的特点。

但在二维图像中，当指尖点运动到摄像头成像边缘时，指尖点之间的距离变化通常小于实际指尖运动位移变化，图像中展现的指尖运动状态不能对应实际指尖运动，即二维图像的指尖位移无法描述指尖的真实运动，因此仅通过视频进行目标跟踪无法实现高精度高稳定性的指尖运动跟踪。

发明内容

本发明的目的是：提供一种高精度、高稳定性的基于三维空间映射的指尖运动跟踪方法。

本发明的技术方案是：本发明的基于三维空间映射的指尖运动跟踪方法，包括以下步骤：

①采集指尖视频，得到指尖在二维图像中的像素坐标；

②对采集到的指尖二维像素坐标进行坐标系转换，得到指尖对应的三维坐标；

③建立系统运动模型；

④采用步骤②得到的指尖三维坐标作为初始化滤波器的位置参数，初始化滤波器；

⑤通过当前时刻状态值与指尖的运动模型推算出下一时刻的预测位置；

⑥计算新一帧图像中的指尖三维位置，作为观测位置，再通过预测位置和观测位置对指尖运动进行估计，得到校正位置；

⑦更新卡尔曼滤波器，重复步骤②至步骤⑥，连续稳定地跟踪指尖运动。

进一步的方案是：上述步骤①包括以下具体步骤：

第一步：实验者穿戴上视频采集设备Hololens，并移动指尖；

第二步：通过Hololens采集包含指尖运动的视频；

第三步：计算视频帧中指尖点的二维像素坐标(u_k,v_k)，其中k为时刻。

进一步的方案是：上述步骤②包括以下具体步骤：

第一步：设定实验者在做指尖运动时，手臂的初始状态为向人体朝向正前方伸直，指尖运动的全过程保持手臂伸直状态；

第二步：根据人体手臂运动规律，推断出指尖在三维球面上运动；

第三步：图像像素坐标系转换到图像物理坐标系，得到指尖物理坐标(x_k,y_k)；

具体转换方法为：

A、设定指尖点的像素坐标为(u_k,v_k)；

B、依据式(1)的坐标转换规则进行转换得到物理坐标为(x_k,y_k)：

第四步：根据摄像机纵向视场角α和横向视场角β，以及图像长度a和宽度b，得到指尖点的三维坐标，具体方法为：

Ⅰ、设定实验者手臂长度为R；

Ⅱ、通过式(2)表达的指尖点和相机的角度θ关系，得到指尖点的三维坐标为

进一步的方案是：上述步骤③包括以下步骤：

第一步：实验并分析人指尖运动规律；

第二步：将指尖与沙盘要素进行交互的指尖运动分成三个过程：第一个过程：当手指尖开始运动，匀加速移动至沙盘中待操作对象周围；第二个过程：在与待操作对象相交前，减速至相交位置；第三个过程：选中待操作对象后，指尖使用匀速运动与操作对象开始进行交互；其中，第一个过程和第二个过程采用匀加速模型，第三个过程采用匀速模型。

进一步的方案是：上述步骤⑤中采用指尖的位置和速度描述指尖点的运动状态，由以下步骤实施：

第一步：设定指尖点的位置为当前速度为利用式(3)的匀速运动模型公式，预测出下一时刻指尖点的三维位置

第二步：设定指尖点的位置为当前速度为加速度为利用式(4)的匀加速运动模型公式，预测出下一时刻指尖点的三维位置

进一步的方案是：上述步骤⑥包括以下具体步骤：

第一步：将步骤②得到的k+1时刻的指尖三维坐标作为运动指尖点的观测位置；

第二步：结合步骤⑤得到的运动指尖点的预测位置，经过卡尔曼滤波得到指尖点的真实位置，具体步骤为：

Ⅰ、定义指尖运动状态向量对应的观测向量控制向量为其中T为相邻两帧之间的时间间隔；

Ⅱ、在匀速运动模型时，状态方程式为x(k+1)＝A·x(k)+η(k)，状态向量预测方程为：x(k|k-1)＝A·x(k-1|k-1)，结合卡尔曼滤波算法方程组，得到下一时刻指尖点的三维位置

Ⅲ、在匀加速运动模型时，状态方程式x(k+1)＝A·x(k)+B·u(k)+η(k)，状态向量预测方程为：x(k|k-1)＝A·x(k-1|k-1)+B·u(k)，得到下一时刻指尖点的三维位置

本发明具有积极的效果：本发明的基于三维空间映射的指尖运动跟踪方法，根据人指尖运动生理特性，实现指尖点位置信息从二维到三维的映射，根据手指尖的运动特性，拟合出复合卡尔曼运动模型，采用复合卡尔曼滤波得到三维空间中指尖运动的最优估计，实现了更高精度、更加稳定的指尖运动跟踪。

附图说明

图1为本发明的方法流程示意图。

具体实施方式

下面结合附图和具体实施方式对本发明作进一步详细的说明。

(实施例1)

见图1，本实施例的基于三维空间映射的指尖运动跟踪方法，由以下步骤实施：

步骤1：采集指尖视频，得到指尖在二维图像中的像素坐标，具体如下：

步骤1.1：实验者穿戴上视频采集设备Hololens，并移动指尖；

步骤1.2：通过Hololens采集包含指尖运动的视频；

步骤1.3：计算视频帧中指尖点的二维像素坐标，即(u_k,v_k)，其中k代表时刻。

步骤2：对采集到的指尖二维像素坐标进行坐标系转换，得到指尖对应的三维坐标，具体如下：

步骤2.1：设定实验者在做指尖运动时，手臂的初始状态为向人体朝向正前方伸直，指尖运动的全过程保持手臂伸直状态；

步骤2.2：根据人体手臂运动规律，推断出指尖在三维球面上运动；

步骤2.3：图像像素坐标系转换到图像物理坐标系，得到指尖物理坐标(x_k,y_k)：

步骤2.3.1：设定指尖点的像素坐标为(u_k,v_k)；

步骤2.3.2：依据坐标转换规则进行转换，转换关系如下，得到物理坐标为(x_k,y_k)。

步骤2.4：根据摄像机横纵向视场角为β、α，以及图像大小即长宽度a、b，得到指尖点的三维坐标：

步骤2.4.1：设定实验者手臂长度为R；

步骤2.4.2：通过指尖点和相机的角度θ间的关系，关系如下，得到指尖点的三维坐标为

步骤3：建立合适的系统运动模型：

步骤3.1：实验并分析人指尖运动规律；

步骤3.2：划分指尖运动过程，总结指尖运动规律，得到系统运动模型，即在指尖与沙盘要素进行交互时，指尖运动分成三个过程：第一个过程：当手指尖开始运动，匀加速移动至沙盘中待操作对象周围；第二个过程：在与待操作对象相交前，减速至相交位置；第三个过程：选中待操作对象后，指尖使用匀速运动与操作对象开始进行交互。在手指尖运动直到与沙盘操作对象交互的全过程中，根据不同运动过程匹配不同的模型，第一和第二个过程采用匀加速模型，第三个过程采用匀速模型。

步骤4：初始化滤波器：

将步骤2中计算得到的指尖三维坐标作为初始化滤波器的位置参数，初始化滤波器。

步骤5：通过当前时刻状态值与指尖的运动模型推算出下一时刻的预测位置：

步骤5.1：在匀速运动模型中，设定指尖点的位置为当前速度为预测出下一时刻指尖点的位置P_k+1，具体是：

采用指尖的位置和速度描述指尖点的运动状态，匀速运动模型公式为：得到下一时刻指尖点的预测的三维位置

步骤5.2：在匀加速运动模型中，设定指尖点的位置为当前速度为加速度为预测出下一时刻指尖点的位置P_k+1，具体是:

采用指尖的位置和速度描述指尖点的运动状态，匀加速运动模型公式为：得到下一时刻指尖点的预测的三维位置

步骤6：计算新一帧图像中的指尖三维位置，作为观测位置，再通过预测位置和观测位置对指尖运动进行估计，得到校正位置，具体如下：

步骤6.1：采用步骤3得到的k+1时刻的指尖三维坐标，即运动指尖点的观测位置；

步骤6.2：结合步骤5得到的运动指尖点的预测位置，经过卡尔曼滤波得到指尖点的真实位置：

第一步：将步骤②得到的k+1时刻的指尖三维坐标作为运动指尖点的观测位置；

第二步：结合步骤⑤得到的运动指尖点的预测位置，经过卡尔曼滤波得到指尖点的真实位置，具体步骤为：

Ⅰ、定义指尖运动状态向量对应的观测向量控制向量为其中T为相邻两帧之间的时间间隔；

Ⅱ、在匀速运动模型时，状态方程式为x(k+1)＝A·x(k)+η(k)，状态向量预测方程为：x(k|k-1)＝A·x(k-1|k-1)，结合卡尔曼滤波算法方程组，得到下一时刻指尖点的三维位置

Ⅲ、在匀加速运动模型时，状态方程式x(k+1)＝A·x(k)+B·u(k)+η(k)，状态向量预测方程为：x(k|k-1)＝A·x(k-1|k-1)+B·u(k)，得到下一时刻指尖点的三维位置

步骤7：更新卡尔曼滤波器，重复以上步骤2至步骤6，连续稳定地跟踪指尖运动。

以上实施例是对本发明的具体实施方式的说明，而非对本发明的限制，有关技术领域的技术人员在不脱离本发明的精神和范围的情况下，还可以做出各种变换和变化而得到相对应的等同的技术方案，因此所有等同的技术方案均应该归入本发明的专利保护范围。

Claims (6)

1.一种基于三维空间映射的指尖运动跟踪方法，其特征在于，该方法包括以下步骤：

①采集指尖视频，得到指尖在二维图像中的像素坐标；

②对采集到的指尖二维像素坐标进行坐标系转换，得到指尖对应的三维坐标；

③建立系统运动模型；

④采用步骤②得到的指尖三维坐标作为初始化滤波器的位置参数，初始化滤波器；

⑤通过当前时刻状态值与指尖的运动模型推算出下一时刻的预测位置；

⑥计算新一帧图像中的指尖三维位置，作为观测位置，再通过预测位置和观测位置对指尖运动进行估计，得到校正位置；

⑦更新卡尔曼滤波器，重复步骤②至步骤⑥，连续稳定地跟踪指尖运动。

2.根据权利要求1所述的基于三维空间映射的指尖运动跟踪方法，其特征在于：所述步骤①包括以下具体步骤：

第一步：实验者穿戴上视频采集设备Hololens，并移动指尖；

第二步：通过Hololens采集包含指尖运动的视频；

第三步：计算视频帧中指尖点的二维像素坐标(u_k,v_k)，其中k为时刻。

3.根据权利要求1所述的基于三维空间映射的指尖运动跟踪方法，其特征在于，所述步骤②包括以下具体步骤：

第一步：设定实验者在做指尖运动时，手臂的初始状态为向人体朝向正前方伸直，指尖运动的全过程保持手臂伸直状态；

第二步：根据人体手臂运动规律，推断出指尖在三维球面上运动；

第三步：图像像素坐标系转换到图像物理坐标系，得到指尖物理坐标(x_k,y_k)；

具体转换方法为：

A、设定指尖点的像素坐标为(u_k,v_k)；

B、依据式(1)的坐标转换规则进行转换得到物理坐标为(x_k,y_k)：

第四步：根据摄像机纵向视场角α和横向视场角β，以及图像长度a和宽度b，得到指尖点的三维坐标，具体方法为：

Ⅰ、设定实验者手臂长度为R；

Ⅱ、通过式(2)表达的指尖点和相机的角度θ关系，得到指尖点的三维坐标为

4.根据权利要求1所述的基于三维空间映射的指尖运动跟踪方法，其特征在于，所述步骤③包括以下步骤：

第一步：实验并分析人指尖运动规律；

第二步：将指尖与沙盘要素进行交互的指尖运动分成三个过程：第一个过程：当手指尖开始运动，匀加速移动至沙盘中待操作对象周围；第二个过程：在与待操作对象相交前，减速至相交位置；第三个过程：选中待操作对象后，指尖使用匀速运动与操作对象开始进行交互；其中，第一个过程和第二个过程采用匀加速模型，第三个过程采用匀速模型。

5.根据权利要求1所述的基于三维空间映射的指尖运动跟踪方法，其特征在于，所述步骤⑤中采用指尖的位置和速度描述指尖点的运动状态，由以下步骤实施：

第一步：设定指尖点的位置为当前速度为利用式(3)的匀速运动模型公式，预测出下一时刻指尖点的三维位置

第二步：设定指尖点的位置为当前速度为加速度为利用式(4)的匀加速运动模型公式，预测出下一时刻指尖点的三维位置

6.根据权利要求1所述的基于三维空间映射的指尖运动跟踪方法，其特征在于：所述步骤⑥包括以下具体步骤：

第一步：将步骤②得到的k+1时刻的指尖三维坐标作为运动指尖点的观测位置；

第二步：结合步骤⑤得到的运动指尖点的预测位置，经过卡尔曼滤波得到指尖点的真实位置，具体步骤为：

Ⅰ、定义指尖运动状态向量对应的观测向量控制向量为其中T为相邻两帧之间的时间间隔；

Ⅱ、在匀速运动模型时，状态方程式为x(k+1)＝A·x(k)+η(k)，状态向量预测方程为：x(k|k-1)＝A·x(k-1|k-1)，结合卡尔曼滤波算法方程组，得到下一时刻指尖点的三维位置

Ⅲ、在匀加速运动模型时，状态方程式x(k+1)＝A·x(k)+B·u(k)+η(k)，状态向量预测方程为：x(k|k-1)＝A·x(k-1|k-1)+B·u(k)，得到下一时刻指尖点的三维位置