CN111930226A - 手势追踪方法及装置 - Google Patents

Abstract

本发明公开了一种手势追踪方法和装置，其中，方法包括：将可穿戴手环戴至手腕处，所述可穿戴手环的表面设置有光学图案标记点，且所述可穿戴手环中内置有惯性导航传感器；实时捕捉所述光学图案标记点在空间中的运动状态，获取光学追踪图像，并通过所述惯性导航传感器获取所述可穿戴手环的惯性导航数据；根据所述光学追踪图像和所述惯性导航数据，通过计算机视觉技术获取可穿戴手环的4DoF信息，以所述4DoF信息表示手部在三维空间x轴、y轴、z轴三个方向的位置移动信息和手部绕z轴方向的旋转信息；通过所述4DoF信息进行手部其他22DoF信息的计算，从而获取手部的位置和姿态信息。本发明可以提高对手部位置和姿势的追踪精度。

Description

手势追踪方法及装置

技术领域

本发明涉及手势识别技术领域，具体地，涉及一种手势追踪方法及装置。

背景技术

目前，在VR/AR/MR领域，手势识别的方法多种多样，通常采用基于计算机视觉追踪识别技术或基于惯性传感器的动作捕捉技术来解决手势识别问题，但是，基于计算机视觉追踪识别技术和基于惯性传感器的动作捕捉技术都存在一些问题。

基于计算机视觉追踪识别技术对手的姿态、位置和手指关节姿态进行识别和还原，一般是通过环境架设的追踪相机，或者VR头戴显示设备上设置追踪相机，通过图像识别技术实时追踪手在相机下的位置、旋转信息和手指关节姿态信息。在实际使用中，用户的一些复杂手势比如双手交叉、双手叠交等，会在相机捕捉的图像上产生较少的识别信息，从而导致手势识别结果和用户的实际手势产生较大的误差；或者用户使用的场景背景较为复杂时，用户的手在图像上的分割检测容易出现错误检测，导致用户的手势识别精度不稳定等。

利用惯性传感器进行手部动作捕捉，操作简单，便携性高，不受外界光干扰，不受手的复杂手势影响，手势识别捕捉精度高，数据采样率高。但是对于手部关节的精细动作无法还原，不能定位到手部的位置移动信息；而且由于利用惯性传感器进行积分运算获得手部的姿态数据，会随着时间过程，手部姿态数据会产生累积漂移；而且容易受周围环境铁磁体的影响而加快累积漂移误差。

因此，无论是基于计算机视觉追踪识别技术，还是基于惯性传感器的动作捕捉技术，对手势的识别精度均不稳定，易受到实际应用场景或周围环境的影响。

发明内容

鉴于以上问题，本发明的目的是提供一种手势追踪方法及装置，以解决现有的手势识别技术中存在的识别精度不稳定，且易受环境因素影响的问题。

为了实现上述目的，本发明采用以下技术方案：

本发明的一个方面是提供一种手势追踪方法，包括：

将可穿戴手环戴至手腕处，所述可穿戴手环的表面设置有光学图案标记点，且所述可穿戴手环中内置有惯性导航传感器；

实时捕捉所述光学图案标记点在空间中的运动状态，获取光学追踪图像，并通过所述惯性导航传感器获取所述可穿戴手环的惯性导航数据；

根据所述光学追踪图像和所述惯性导航数据，通过计算机视觉技术获取可穿戴手环的4DoF信息，以所述4DoF信息表示手部在三维空间x轴、y轴、z轴三个方向的位置移动信息和手部绕z轴方向的旋转信息；

通过所述4DoF信息进行手部其他22DoF信息的计算，从而获取手部的位置和姿态信息。

优选地，根据所述运动状态和所述惯性导航数据，通过计算机视觉技术获取可穿戴手环的4DoF信息的步骤包括：

对所述可穿戴手环上的光学图案标记点在光学追踪图像上的特征点进行检测；

根据检测出的特征点和所述惯性导航数据预测所述可穿戴手环在下一帧光学追踪图像上的位置坐标，将检测出的特征点信息和下一帧的预测信息构建形成特征点跟踪队列；

实时获取光学追踪图像的图像数据，并根据所述图像数据获取所述特征点跟踪队列中每一个可穿戴手环对应的特征点在当前帧的光学追踪图像上的预测位置；

根据所述预测位置和对应的惯性导航数据获取可穿戴手环的4DoF信息。

优选地，对所述可穿戴手环上的光学图案标记点在光学追踪图像上的特征点进行检测的步骤包括：

建立特征匹配数据库，所述特征匹配数据库包括所述可穿戴手环上的每个光学图案标记点及其对应的特征向量；

实时获取光学追踪图像，检测所述光学追踪图像的特征点，并提取与所述特征点对应的特征向量；

将所述光学追踪图像的特征点与所述特征匹配数据库中的特征点进行匹配，得到特征匹配度最大且对应空间位置连续的预设个数个特征点。

优选地，利用FAST检测算法，并根据可穿戴手环上的光学图案标记点的分布，检测所述光学追踪图像的特征点；利用区域提取法对检测出的每个特征点进行特征向量的提取。

优选地，将所述光学追踪图像的特征点与所述特征匹配数据库中的特征点进行匹配的步骤包括：

将可穿戴手环中内置的惯性导航传感器的坐标系与追踪相机的坐标系标定对齐；

通过惯性导航数据获取所述可穿戴手环上的每一个光学图案标记点相对于追踪相机的旋转角度，得到光学追踪图像上相邻两个特征点的物理位置关系；

根据所述物理位置关系对光学追踪图像上的特征点进行空间排序；

按照空间顺序，以预设个数为一组，进行滑动窗口遍历计算，与所述特征匹配数据库中的特征点对应的空间顺序，进行特征点匹配。

优选地，根据检测出的特征点和所述惯性导航数据预测所述可穿戴手环在下一帧光学追踪图像上的位置坐标的步骤包括：

获取检测出的特征点在光学追踪图像上的二维位置坐标；

根据所述特征点在所述可穿戴手环上对应的三维位置坐标和所述二维位置坐标，利用PNP算法计算出所述可穿戴手环相对于追踪相机的位置和旋转信息；

根据所述位置和旋转信息、所述惯性导航数据预测所述可穿戴手环在下一帧光学追踪图像上的位置坐标。

优选地，根据所述图像数据获取所述特征点跟踪队列中每一个可穿戴手环对应的特征点在当前帧的光学追踪图像上的预测位置的步骤之前，还包括：

根据光学追踪图像的图像数据，判断所述特征点跟踪队列中的可穿戴手环的个数，

若所述可穿戴手环的个数为0，则返回执行对所述可穿戴手环上的光学图案标记点在光学追踪图像上的特征点进行检测的步骤；

若所述可穿戴手环的个数为1，则返回执行对所述可穿戴手环上的光学图案标记点在光学追踪图像上的特征点进行检测的步骤，同时执行获取所述可穿戴手环对应的特征点在当前帧的光学追踪图像上的预测位置的步骤；

若所述可穿戴手环的个数为2，则执行获取所述可穿戴手环对应的特征点在当前帧的光学追踪图像上的预测位置的步骤。

优选地，根据所述图像数据获取所述特征点跟踪队列中每一个可穿戴手环对应的特征点在当前帧的光学追踪图像上的预测位置的步骤之后，还包括：

以所述预测位置为原点中心，以设定大小的区域范围作为像素窗口；

在所述像素窗口内，通过NCC匹配算法获取所述特征点在当前帧的光学追踪图像上的绝对二维位置；

根据所述绝对二维位置和对应的惯性导航数据获取可穿戴手环的4DoF信息。

优选地，通过计算机视觉技术获取可穿戴手环的4DoF信息的步骤之后，还包括：

判断追踪相机获取的光学追踪图像中出现的手部个数，若出现的手部个数大于2，则根据所述4DoF信息判断手部与追踪相机之间的距离，并取距离最小的两只手部作为手势追踪目标。

本发明的另一个方面是提供一种手势追踪装置，包括：

可穿戴手环，所述可穿戴手环的表面设置有光学图案标记点，且所述可穿戴手环中内置有惯性导航传感器，所述惯性导航传感器用于获取所述可穿戴手环的惯性导航数据；

追踪相机，用于实时捕捉所述光学图案标记点在空间中的运动状态，获取光学追踪图像；

4DoF信息获取模块，根据所述光学追踪图像和所述惯性导航数据，通过计算机视觉技术获取可穿戴手环的4DoF信息，以所述4DoF信息表示手部在三维空间x轴、y轴、z轴三个方向的位置移动信息和手部绕z轴方向的旋转信息；

手部信息获取模块，通过所述4DoF信息进行手部其他22DoF信息的计算，从而获取手部的位置和姿态信息。

与现有技术相比，本发明具有以下优点和有益效果：

本发明通过在可穿戴手环上设置一些光学图案标记点，结合可穿戴手环内置的惯性导航传感器，通过计算机视觉技术追踪可穿戴手环在空间中的位置和翻转角度信息，作为手部的4DOF信息。并通过手部的4DOF信息进行手的其他22DoF的计算和追踪，极大改善了手部的26DoF信息追踪的准确性和稳定性，提高对手势追踪和识别的精度，可以对手部位置和姿势进行精准定位。

附图说明

图1是本发明所述手势追踪方法的流程示意图；

图2是本发明中手部26DoF的位置示意图。

具体实施方式

下面将参考附图来描述本发明所述的实施例。本领域的普通技术人员可以认识到，在不偏离本发明的精神和范围的情况下，可以用各种不同的方式或其组合对所描述的实施例进行修正。因此，附图和描述在本质上是说明性的，而不是用于限制权利要求的保护范围。此外，在本说明书中，附图未按比例画出，并且相同的附图标记表示相同的部分。

图1是本发明所述手势追踪方法的流程示意图，如图1所示，本发明所述手势追踪方法，包括：

将可穿戴手环戴至手腕处，所述可穿戴手环的表面设置有光学图案标记点，以通过光学图案标记点追踪可穿戴手环的运动状态，且所述可穿戴手环中内置有惯性导航传感器，以通过惯性导航传感器得到惯性导航数据，进而便于获取可穿戴手环中光学图案标记点的空间位置，其中，惯性导航传感器可以是惯性测量单元(Inertial measurement unit，IMU)；

实时捕捉所述光学图案标记点在空间中的运动状态，获取光学追踪图像，并通过所述惯性导航传感器获取所述可穿戴手环的惯性导航数据，其中，光学追踪图像可以通过设置在头盔显示设备上的追踪相机摄取得到，通过光学追踪图像可以实时捕捉到光学图案标记点的位置；当然，追踪相机也可以不设置在头盔显示设备上，而是设置在其他追踪设备上；

根据所述光学追踪图像和所述惯性导航数据，通过计算机视觉技术获取可穿戴手环的4DoF信息，可穿戴手环的4DoF信息包括可穿戴手环在空间中的位置和翻转角度(绕Z轴旋转的角度)信息，以可穿戴手环的4DoF信息表示手部在三维空间x轴、y轴、z轴三个方向的位置移动信息和手部绕z轴方向的旋转信息；

通过所述4DoF信息进行手部其他22DoF信息的计算，从而获取手部的位置和姿态信息，参照图2，图2示出了本发明中手部26DoF的位置示意图，根据手部特征获取手部各个位置的自由度信息。通过对手部26DoF信息的追踪，可以精准识别手部位置和姿态。

需要说明的是，通过手部4DoF信息计算其他22DoF信息的方法是常规技术，本发明不做具体描述。

下面以本发明的手势追踪方法在VR/AR/MR领域中的应用为例进行详细说明。应用时，在头戴显示设备中内置多个追踪相机，为了使可穿戴手环的相机追踪范围达到180°*180°(H*V)，优选在VR/AR/MR头戴显示设备内置4个追踪相机，通过4个追踪相机的视角拼接完成大视角追踪。以下仅以其中一个追踪相机对可穿戴手环的追踪为例进行说明，其他追踪相机对可穿戴手环的追踪与之大致相同，不再赘述。

在一个实施例中，根据所述运动状态和所述惯性导航数据，通过计算机视觉技术获取可穿戴手环的4DoF信息的步骤包括：

对所述可穿戴手环上的光学图案标记点在光学追踪图像上的特征点进行检测；

根据检测出的特征点和所述惯性导航数据预测所述可穿戴手环在下一帧光学追踪图像上的位置坐标，将检测出的特征点信息和下一帧的预测信息构建形成特征点跟踪队列；

实时获取光学追踪图像的图像数据，并根据所述图像数据获取所述特征点跟踪队列中每一个可穿戴手环对应的特征点在当前帧的光学追踪图像上的预测位置；

根据所述预测位置和对应的惯性导航数据获取可穿戴手环的4DoF信息。

进一步地，对所述可穿戴手环上的光学图案标记点在光学追踪图像上的特征点进行检测的步骤包括：

建立特征匹配数据库，所述特征匹配数据库包括所述可穿戴手环上的每个光学图案标记点及其对应的特征向量；具体地，预先设定可穿戴手环上的光学图案标记点分布，通过图像特征点检测算法进行特征点检测，并通过特征点特征向量计算算法提取特征点的特征向量，从而建立可穿戴手环上的光学图案标记点对应每个标记点在光学追踪图像上对应的特征向量。对于可穿戴手环相对于追踪相机的各种运动姿态，均可以获取到可穿戴手环上每一个光学图案标记点对应的特征相连个，由于可穿戴手环相对VR头戴显示器可能存在多种角度情况，即可穿戴手环上的每一个光学图案标记点存在多个特征向量。将光学图案标记点以及对应的特征向量进行存储，构建形成特征匹配数据库，可以将其按照一定的数据结构保存在本地文件中；

实时获取光学追踪图像，检测所述光学追踪图像的特征点，并提取与所述特征点对应的特征向量，其中，检测特征点和提取特征向量的方法与构建特征匹配数据库时所使用的方法相同；

将所述光学追踪图像的特征点与所述特征匹配数据库中的特征点进行匹配，得到特征匹配度最大且对应空间位置连续的预设个数个特征点。

需要说明的是，本发明可以使用FAST检测算法，尺度不变特征转换方法(Scale-invariant feature transform，SIFT)，SURF(Speed Up Robust Features)特征点提取等方法进行特征点检测。优选地，利用FAST检测算法，并根据可穿戴手环上的光学图案标记点的分布，检测所述光学追踪图像的特征点；利用区域提取法对检测出的每个特征点进行特征向量的提取。具体地，对特征点的邻域5*5窗口，窗口中的每一个像素灰度值和特征点对应的像素灰度值计算像素梯度，依次遍历窗口中所有像素，即可计算所有窗口像素的梯度，然后对梯度值进行归一化，可获得特征点的特征向量。

在一个实施例中，将所述光学追踪图像的特征点与所述特征匹配数据库中的特征点进行匹配的步骤包括：

将可穿戴手环中内置的惯性导航传感器的坐标系与追踪相机的坐标系标定对齐；通过将惯性导航传感器和追踪相机的时间戳对齐，使得通过惯性导航传感器的姿态数据，即可获取到当前可穿戴手环上的每一个光学图案标记点相对追踪相机的旋转角度；

通过惯性导航数据获取所述可穿戴手环上的每一个光学图案标记点相对于追踪相机的旋转角度，得到光学追踪图像上相邻两个特征点的物理位置关系；根据可穿戴手环上的相邻两个光学图案标记点的物理位置关系，通过旋转角度和相机的成像原理，可以确认空间物理上两个标记点的位置关系如果相邻，在图像上的成像一定也相邻，因此可以将可穿戴手环上的特征点与光学与追踪图像上的特征点进行匹配，而相应的空间相对位置不会发生变化，可以减少误匹配操作；

根据所述物理位置关系对光学追踪图像上的特征点进行空间排序，使其尽可能确认空间上相邻的特征点在光学追踪图像上经过排序之后也相邻；

按照空间顺序，以预设个数为一组，进行滑动窗口遍历计算，与所述特征匹配数据库中的特征点对应的空间顺序，进行特征点匹配。其中，特征点匹配可以使用汉明距离匹配，KNN匹配，RANSAC匹配(RANdom Sample Consensus)等匹配方法，优选为KNN匹配方法。当以四个为一组，进行滑动窗口遍历计算时，可以获取特征匹配度最大且对应空间位置连续的四个特征点。

在一个实施例中，根据检测出的特征点和所述惯性导航数据预测所述可穿戴手环在下一帧光学追踪图像上的位置坐标的步骤包括：

获取检测出的特征点在光学追踪图像上的二维位置坐标；

根据所述特征点在所述可穿戴手环上对应的三维位置坐标和所述二维位置坐标，利用PNP算法(pespective-n-point)计算出所述可穿戴手环相对于追踪相机的位置和旋转信息，即获取到当前帧光学追踪图像中可穿戴手环的4DoF信息；

根据所述位置和旋转信息、所述惯性导航数据预测所述可穿戴手环在下一帧光学追踪图像上的位置坐标。

在一个实施例中，根据所述图像数据获取所述特征点跟踪队列中每一个可穿戴手环对应的特征点在当前帧的光学追踪图像上的预测位置的步骤之前，还包括：根据光学追踪图像的图像数据，判断所述特征点跟踪队列中的可穿戴手环的个数，若所述可穿戴手环的个数为0，则返回执行对所述可穿戴手环上的光学图案标记点在光学追踪图像上的特征点进行检测的步骤；若所述可穿戴手环的个数为1，则返回执行对所述可穿戴手环上的光学图案标记点在光学追踪图像上的特征点进行检测的步骤，同时执行获取所述可穿戴手环对应的特征点在当前帧的光学追踪图像上的预测位置的步骤；若所述可穿戴手环的个数为2，则执行获取所述可穿戴手环对应的特征点在当前帧的光学追踪图像上的预测位置的步骤。

进一步地，根据所述图像数据获取所述特征点跟踪队列中每一个可穿戴手环对应的特征点在当前帧的光学追踪图像上的预测位置的步骤之后，还包括：

以所述预测位置为原点中心，以设定大小的区域范围作为像素窗口，例如，5*5区域的像素窗口；

在所述像素窗口内，通过NCC(Normalized cross correlation)匹配算法获取所述特征点在当前帧的光学追踪图像上的绝对二维位置；

根据所述绝对二维位置和对应的惯性导航数据获取可穿戴手环的4DoF信息。通过上述预测信息，可以获得每一个被跟踪的特征点的绝对二维位置不会超出预测位置的5*5像素区域。

本发明的手势追踪方法优选为限定在对用户的左右两只手的手势追踪，而不考虑在追踪视场内出现的其他手部。优选地，通过计算机视觉技术获取可穿戴手环的4DoF信息的步骤之后，还包括：

判断追踪相机获取的光学追踪图像中出现的手部个数，若出现的手部个数大于2，则根据所述4DoF信息判断手部与追踪相机之间的距离，并取距离最小的两只手部作为手势追踪目标。

本发明还提供了一种手势追踪装置，包括：

可穿戴手环，所述可穿戴手环的表面设置有光学图案标记点，且所述可穿戴手环中内置有惯性导航传感器，所述惯性导航传感器用于获取所述可穿戴手环的惯性导航数据；

追踪相机，用于实时捕捉所述光学图案标记点在空间中的运动状态，获取光学追踪图像；其中，追踪相机可以设置于头盔显示设备中，也可以是独立的摄像追踪设备；

4DoF信息获取模块，根据所述光学追踪图像和所述惯性导航数据，通过计算机视觉技术获取可穿戴手环的4DoF信息，以所述4DoF信息表示手部在三维空间x轴、y轴、z轴三个方向的位置移动信息和手部绕z轴方向的旋转信息；

手部信息获取模块，通过所述4DoF信息进行手部其他22DoF信息的计算，从而获取手部的位置和姿态信息。

在一个实施例中，所述4DoF信息获取模块包括：

特征点检测单元，用于对所述可穿戴手环上的光学图案标记点在光学追踪图像上的特征点进行检测；

跟踪队列构建单元，根据检测出的特征点和所述惯性导航数据预测所述可穿戴手环在下一帧光学追踪图像上的位置坐标，将检测出的特征点信息和下一帧的预测信息构建形成特征点跟踪队列；

位置预测单元，实时获取光学追踪图像的图像数据，并根据所述图像数据获取所述特征点跟踪队列中每一个可穿戴手环对应的特征点在当前帧的光学追踪图像上的预测位置；

信息获取单元，根据所述预测位置和对应的惯性导航数据获取可穿戴手环的4DoF信息。

进一步地，所述特征点检测单元通过下述方式对所述可穿戴手环上的光学图案标记点在光学追踪图像上的特征点进行检测，包括：

建立特征匹配数据库，所述特征匹配数据库包括所述可穿戴手环上的每个光学图案标记点及其对应的特征向量；具体地，预先设定可穿戴手环上的光学图案标记点分布，通过图像特征点检测算法进行特征点检测，并通过特征点特征向量计算算法提取特征点的特征向量，从而建立可穿戴手环上的光学图案标记点对应每个标记点在光学追踪图像上对应的特征向量。对于可穿戴手环相对于追踪相机的各种运动姿态，均可以获取到可穿戴手环上每一个光学图案标记点对应的特征相连个，由于可穿戴手环相对VR头戴显示器可能存在多种角度情况，即可穿戴手环上的每一个光学图案标记点存在多个特征向量。将光学图案标记点以及对应的特征向量进行存储，构建形成特征匹配数据库，可以将其按照一定的数据结构保存在本地文件中；

实时获取光学追踪图像，检测所述光学追踪图像的特征点，并提取与所述特征点对应的特征向量，其中，检测特征点和提取特征向量的方法与构建特征匹配数据库时所使用的方法相同；

将所述光学追踪图像的特征点与所述特征匹配数据库中的特征点进行匹配，得到特征匹配度最大且对应空间位置连续的预设个数个特征点。

在一个实施例中，跟踪队列构建单元通过下述方式根据检测出的特征点和所述惯性导航数据预测所述可穿戴手环在下一帧光学追踪图像上的位置坐标，包括：

获取检测出的特征点在光学追踪图像上的二维位置坐标；

根据所述特征点在所述可穿戴手环上对应的三维位置坐标和所述二维位置坐标，利用PNP算法计算出所述可穿戴手环相对于追踪相机的位置和旋转信息；

根据所述位置和旋转信息、所述惯性导航数据预测所述可穿戴手环在下一帧光学追踪图像上的位置坐标。

需要说明的是，本发明之手势追踪装置的具体实施方式与上述手势追踪方法的具体实施方式大致相同，在此不再赘述。

本发明的手势追踪装置可以应用于VR/AR/MR领域，将可穿戴手环作为手势追踪器，实时追踪手部在三维环境空间中的位置和姿态信息，可以辅助解决手指关节高精度还原的问题。并且，本发明能够提高对手部的26DoF信息的追踪精度，提高手势追踪的稳定性，进而提升用户体验。

以上所述仅为本发明的优选实施例，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种手势追踪方法，其特征在于，包括：

将可穿戴手环戴至手腕处，所述可穿戴手环的表面设置有光学图案标记点，且所述可穿戴手环中内置有惯性导航传感器；

实时捕捉所述光学图案标记点在空间中的运动状态，获取光学追踪图像，并通过所述惯性导航传感器获取所述可穿戴手环的惯性导航数据；

根据所述光学追踪图像和所述惯性导航数据，通过计算机视觉技术获取可穿戴手环的4DoF信息，以所述4DoF信息表示手部在三维空间x轴、y轴、z轴三个方向的位置移动信息和手部绕z轴方向的旋转信息；

通过所述4DoF信息进行手部其他22DoF信息的计算，从而获取手部的位置和姿态信息。

2.根据权利要求1所述的手势追踪方法，其特征在于，根据所述运动状态和所述惯性导航数据，通过计算机视觉技术获取可穿戴手环的4DoF信息的步骤包括：

对所述可穿戴手环上的光学图案标记点在光学追踪图像上的特征点进行检测；

根据检测出的特征点和所述惯性导航数据预测所述可穿戴手环在下一帧光学追踪图像上的位置坐标，将检测出的特征点信息和下一帧的预测信息构建形成特征点跟踪队列；

实时获取光学追踪图像的图像数据，并根据所述图像数据获取所述特征点跟踪队列中每一个可穿戴手环对应的特征点在当前帧的光学追踪图像上的预测位置；

根据所述预测位置和对应的惯性导航数据获取可穿戴手环的4DoF信息。

3.根据权利要求2所述的手势追踪方法，其特征在于，对所述可穿戴手环上的光学图案标记点在光学追踪图像上的特征点进行检测的步骤包括：

建立特征匹配数据库，所述特征匹配数据库包括所述可穿戴手环上的每个光学图案标记点及其对应的特征向量；

实时获取光学追踪图像，检测所述光学追踪图像的特征点，并提取与所述特征点对应的特征向量；

将所述光学追踪图像的特征点与所述特征匹配数据库中的特征点进行匹配，得到特征匹配度最大且对应空间位置连续的预设个数个特征点。

4.根据权利要求3所述的手势追踪方法，其特征在于，利用FAST检测算法，并根据可穿戴手环上的光学图案标记点的分布，检测所述光学追踪图像的特征点；利用区域提取法对检测出的每个特征点进行特征向量的提取。

5.根据权利要求3所述的手势追踪方法，其特征在于，将所述光学追踪图像的特征点与所述特征匹配数据库中的特征点进行匹配的步骤包括：

将可穿戴手环中内置的惯性导航传感器的坐标系与追踪相机的坐标系标定对齐；

通过惯性导航数据获取所述可穿戴手环上的每一个光学图案标记点相对于追踪相机的旋转角度，得到光学追踪图像上相邻两个特征点的物理位置关系；

根据所述物理位置关系对光学追踪图像上的特征点进行空间排序；

按照空间顺序，以预设个数为一组，进行滑动窗口遍历计算，与所述特征匹配数据库中的特征点对应的空间顺序，进行特征点匹配。

6.根据权利要求2所述的手势追踪方法，其特征在于，根据检测出的特征点和所述惯性导航数据预测所述可穿戴手环在下一帧光学追踪图像上的位置坐标的步骤包括：

获取检测出的特征点在光学追踪图像上的二维位置坐标；

根据所述特征点在所述可穿戴手环上对应的三维位置坐标和所述二维位置坐标，利用PNP算法计算出所述可穿戴手环相对于追踪相机的位置和旋转信息；

根据所述位置和旋转信息、所述惯性导航数据预测所述可穿戴手环在下一帧光学追踪图像上的位置坐标。

7.根据权利要求2所述的手势追踪方法，其特征在于，根据所述图像数据获取所述特征点跟踪队列中每一个可穿戴手环对应的特征点在当前帧的光学追踪图像上的预测位置的步骤之前，还包括：

根据光学追踪图像的图像数据，判断所述特征点跟踪队列中的可穿戴手环的个数，

若所述可穿戴手环的个数为0，则返回执行对所述可穿戴手环上的光学图案标记点在光学追踪图像上的特征点进行检测的步骤；

若所述可穿戴手环的个数为1，则返回执行对所述可穿戴手环上的光学图案标记点在光学追踪图像上的特征点进行检测的步骤，同时执行获取所述可穿戴手环对应的特征点在当前帧的光学追踪图像上的预测位置的步骤；

若所述可穿戴手环的个数为2，则执行获取所述可穿戴手环对应的特征点在当前帧的光学追踪图像上的预测位置的步骤。

8.根据权利要求2所述的手势追踪方法，其特征在于，根据所述图像数据获取所述特征点跟踪队列中每一个可穿戴手环对应的特征点在当前帧的光学追踪图像上的预测位置的步骤之后，还包括：

以所述预测位置为原点中心，以设定大小的区域范围作为像素窗口；

在所述像素窗口内，通过NCC匹配算法获取所述特征点在当前帧的光学追踪图像上的绝对二维位置；

根据所述绝对二维位置和对应的惯性导航数据获取可穿戴手环的4DoF信息。

9.根据权利要求1所述的手势追踪方法，其特征在于，通过计算机视觉技术获取可穿戴手环的4DoF信息的步骤之后，还包括：

判断追踪相机获取的光学追踪图像中出现的手部个数，若出现的手部个数大于2，则根据所述4DoF信息判断手部与追踪相机之间的距离，并取距离最小的两只手部作为手势追踪目标。

10.一种手势追踪装置，其特征在于，包括：

可穿戴手环，所述可穿戴手环的表面设置有光学图案标记点，且所述可穿戴手环中内置有惯性导航传感器，所述惯性导航传感器用于获取所述可穿戴手环的惯性导航数据；

追踪相机，用于实时捕捉所述光学图案标记点在空间中的运动状态，获取光学追踪图像；

4DoF信息获取模块，根据所述光学追踪图像和所述惯性导航数据，通过计算机视觉技术获取可穿戴手环的4DoF信息，以所述4DoF信息表示手部在三维空间x轴、y轴、z轴三个方向的位置移动信息和手部绕z轴方向的旋转信息；

手部信息获取模块，通过所述4DoF信息进行手部其他22DoF信息的计算，从而获取手部的位置和姿态信息。

Images