CN101033963A - 基于指端标记的视频手指定位系统及其定位方法 - Google Patents

Abstract

一种基于指端标记的视频手指定位系统及其定位方法，属于虚拟现实系统的人机交互技术。本系统包括摄像机、图像采集设备和计算机。定位方法包括初始化和定位，初始化是通过二维平面标靶的标定方法，确定每部摄像机的内部参数，通过对摄像机的全局标定，确定每部摄像机坐标系相对于一个统一世界坐标系的平移和转向；定位阶段，采用自适应拍摄距离，通过对图形标记点的检测实现手指定位。本发明结构简单、成本低、定位精度高，适用于虚拟现实系统的人机交互。

Description

基于指端标记的视频手指定位系统及其定位方法

(一)技术领域

本发明所述的基于指端标记的视频手指定位系统及定位方法，属于一种基于视频的数据处理设备及技术，适用于虚拟现实系统的人机交互环节。

(二)背景技术

交互技术是虚拟现实系统的关键性技术之一，实现了人与计算机、现实世界与虚拟世界的交互。要实现交互，需要在某些时间参考帧中(时刻)获得用户，特别是用户肢体(手部)的实时位置和方向信息。

在人机交互领域，手部跟踪主要分为数据手套跟踪和视频跟踪两种方式。

参见“石教英著，《虚拟现实基础及实用算法》，科学出版社，2002”，综合阐述了数据手套的相关内容：数据手套将手指和手掌伸屈时的各种姿势转换为数字信号送给计算机，供识别与执行，实现交互。标准配置是每个手指上有两个传感器，控制装在手指背面的两条光纤环或其他测量元件，用来测量手指主要关节的弯曲角度。数据手套还提供测量大拇指并拢/张开以及上翘/下翘角度的传感器作为选件。

虽然，跟踪设备和数据手套的配合使用可以准确地获得手指的位置和姿态信息，但是也有其不足之处：①设备本身结构复杂，佩戴后造成用户手指运动的不灵活；②为了达到高精度，采用了精密的传感器件，造成了整体的价格昂贵，且难于维护；③数据手套采用充气、振动或者电刺激来压迫刺激皮肤，以达到触觉反馈目的，仅仅模拟最基本的触碰感觉。

基于视觉的手部跟踪定位有两类：基于单目视觉和基于多目(双目)视觉。参见“常红，王涌天，华宏等，基于计算机视觉技术的手形手位跟踪方法，北京理工大学学报，1999，19(6)：739-743”，提出了一种基于单目视觉的手部跟踪方法。参见“JianchaoZeng，Yue Wang，Turner R.等，Vision-based finger tracking of breast palpationfor improving breast self-examination，18th Annual International Conference ofthe IEEE Engineering in Medicine and Biology Society，Amsterdam 1996.Vol 1.Page(s)：148-149”，提出了一种基于色彩检测的双目视觉跟踪技术。但是，无论双目还是单目视觉，目前的视频跟踪技术主要用于确定手指相对于手掌的位置以及手指之间的相对位置，即手形识别问题。

(三)发明内容

本发明的目的是提供一种基于计算机视觉原理的，轻便实用、价格低廉并且不会影响手部触感的手指定位系统，实现数据手套的识别定位功能；利用视频处理技术，特别提供开关、按钮、手柄等(以下简称开关)类操作模拟时的手指定位技术。问题的关键是要高精度确定手指在绝对空间中的位置。

本发明的技术方案如下：

(1)系统特征

基于指端标记的视频手指定位系统，其特征在于，包括计算机，图像采集装置和数部摄像机，同时在五指指端及手背贴上图形标记点。其中，对手部进行三维检测的每部摄像机均通过图像采集装置连接于计算机。

如上所述的基于指端标记的视频手指定位系统，其特征在于，上述的图形标记点，贴于指甲，并且经过特别设计：不同指端的标记点图形采用不同颜色，适应远距离定位；标记点图形带有方向特征(例如：标记点图形设计为面向指端的箭头图形)，适应中距离定位时的指端方向识别；标记点图形内部绘制标定图案，适应近距离定位。标记远近兼容，适应拍摄距离的剧烈变化。

(2)方法特征

基于指端标记的视频手指定位系统的定位方法，其特征在于，包括如下工作步骤：

初始阶段：通过基于二维平面标靶的标定方法，由标定参照物确定每部摄像机的内部参数；通过对每部摄像机进行全局标定，确定各个摄像机坐标系相对于一个统一世界坐标系的平移与转角，完成系统初始化；

定位阶段：自适应拍摄距离，通过对图形标记点的检测实现手指定位。

如上所述的基于指端标记的视频手指定位系统的定位方法，其特征在于，上述定位阶段的自适应拍摄距离：远距离时，采用多目视觉原理，基于标记点颜色实现定位；中距离时，采用多目视觉原理，基于标记点颜色实现定位，基于标记点图形确定指端方向；近距离时，采用单目视觉原理，基于标定图案实现单个指端的定位，并通过检测不同指端的摄像机的多信息融合，确定整体手形及定位。

其中，中远距离时，可能发生指端标记点的遮挡问题，当标记点坐标信息不足时，通过基于肤色分割的方法，确定整体手形，结合手形与可见标记点的坐标信息，实现整体定位。

其中，近距离时，根据标定图案的不同，具体的定位方法是：

①标定图案为直角三角形和一条直线的定位方法，利用标定图案间的对应性，由单应矩阵确定指端的位置和角度，其中，单应矩阵是表示三维空间点与对应二维图像点之间关系的矩阵；

②标定图案为正方形的定位方法，由矩形四个顶点的投影成像，利用旋转矩阵的单位正交性定位手指，所述旋转矩阵单位正交性是指

RR^T＝R^TR＝I，其中

$R=\left(\begin{array}{ccc}\cos \mathrm{\ψ}\cos \mathrm{\φ}& \sin \mathrm{\θ}\sin \mathrm{\ψ}\cos \mathrm{\φ}-\cos \mathrm{\θ}\sin \mathrm{\φ}& \cos \mathrm{\θ}\sin \mathrm{\ψ}\cos \mathrm{\φ}+\sin \mathrm{\θ}\sin \mathrm{\φ}\\ \cos \mathrm{\ψ}\sin \mathrm{\φ}& \sin \mathrm{\θ}\sin \mathrm{\ψ}\sin \mathrm{\φ}+\cos \mathrm{\θ}\cos \mathrm{\φ}& \cos \mathrm{\θ}\sin \mathrm{\ψ}\sin \mathrm{\φ}-\sin \mathrm{\θ}\cos \mathrm{\φ}\\ -\sin \mathrm{\ψ}& \sin \mathrm{\θ}\cos \mathrm{\ψ}& \cos \mathrm{\θ}\cos \mathrm{\ψ}\end{array}\right),$

$R^T=\left(\begin{array}{ccc}\cos \mathrm{\ψ}\cos \mathrm{\φ}& \cos \mathrm{\ψ}\sin \mathrm{\φ}& -\sin \mathrm{\ψ}\\ \sin \mathrm{\θ}\sin \mathrm{\ψ}\cos \mathrm{\φ}-\cos \mathrm{\θ}\sin \mathrm{\φ}& \sin \mathrm{\θ}\sin \mathrm{\ψ}\sin \mathrm{\φ}+\cos \mathrm{\θ}\cos \mathrm{\φ}& \sin \mathrm{\θ}\cos \mathrm{\ψ}\\ \cos \mathrm{\θ}\sin \mathrm{\ψ}\cos \mathrm{\φ}+\sin \mathrm{\θ}\sin \mathrm{\φ}& \cos \mathrm{\θ}\sin \mathrm{\ψ}\sin \mathrm{\φ}-\sin \mathrm{\θ}\cos \mathrm{\φ}& \cos \mathrm{\θ}\cos \mathrm{\ψ}\end{array}\right),$ θ为绕X轴的旋转角，ψ为绕Y轴的旋转角，φ为绕Z轴的旋转角， $I=\left[\begin{array}{ccc}1& 0& 0\\ 0& 1& 0\\ 0& 0& 1\end{array}\right];$

③标定图案为正方形的一组对边和对角线的定位方法，由两个方向的消隐点确定手指的位置和方向，其中，消隐点是指空间平行直线在不与摄像头成像面平行的情况下所成的像在成像平面的交点；

④标定图案为圆的定位方法，利用圆在透视投影过程中变成椭圆，运用三角几何知识完成手指的定位。

如上所述的基于指端标记的视频手指定位系统的定位方法，其特征在于，上述定位阶段的图形标记点检测，引入开关类型、开关空间位置等与操作手形对应的参数关系，预测指端运动轨迹，缩小标记点检测查询空间，提高定位速度。

本发明的有益效果在于：

同当前的数据手套相比，具有两个明显的优势：①非接触式，没有佩戴数据手套时对人手触觉和行动的干扰。即用户不需要佩戴烦琐的跟踪装置，通过架设数部摄像机完成数据手套的定位识别功能，简化整个输入设备；②成本低廉。目前，各类数据手套的购置价格、维护费用极其昂贵，而常规摄像机价格低廉、无需维护，大大降低了交互系统的整体成本，更适用于各个层次的用户。

同当前的视频跟踪技术相比，具有三个独到之处：①可以特别针对开关类操作时的手部定位，摄像机埋设于开关附近，手指越接近开关时图像分辨率越高，因此定位精度越高；②标记贴于指甲，消除标记本身相对于手指移动而造成的误差；③标记经过特别设计，远近兼容，适用于较大范围的运动。

(四)附图说明

图1为基于指端标记的视频手指定位系统的构成框图。

图2为基于指端标记的视频手指定位系统的工作原理框图。

图3为基于指端标记的视频手指定位系统的定位流程图：

1-远距离拍摄时的定位流程

2-中距离拍摄时的定位流程

3-近距离拍摄时的定位流程

图4为指端标记点中标定图案的实例示意图：

4-直角三角形和一条直线组成的标记      5-正方形标记

6-正方形的一组对边和对角线组成的标记  7-圆标记

(五)具体实施方式

首先，如图1所示的系统构成框图进行系统布局，采用数部摄像机进行手部的监测。之后，如图2所示的工作原理框图，由图像采集设备将视频模拟输入转为图像数字信号，通过计算机完成指端的识别定位。

定位具体过程如图3的流程图所示：

(1)初始阶段

通过基于二维平面标靶的标定方法，由普通矩形作为标定参照物，确定各部摄像机的f_u、f_v、u₀、v₀、s这5个参数(其中u₀、v₀为主点坐标，f_u为图像u轴的尺度因子，f_v为图像v轴的尺度因子，s为畸变因子)，得到内参数矩阵K：

$K=\left(\begin{array}{ccc}{f}_u& s& u_0\\ 0& f_v& v_0\\ 0& 0& 1\end{array}\right)$

通过全局标定将数部摄像机的坐标系转换到一个统一世界坐标系中，确定各个摄像机坐标系相对于一个统一世界坐标系的平移与转角，合为外参数矩阵W：

$W=\left(\begin{array}{cc}R& T\\ 0& 1\end{array}\right)$

其中旋转矩阵 $R=\left(\begin{array}{ccc}\cos \mathrm{\ψ}\cos \mathrm{\φ}& \sin \mathrm{\θ}\sin \mathrm{\ψ}\cos \mathrm{\φ}-\cos \mathrm{\θ}\sin \mathrm{\φ}& \cos \mathrm{\θ}\sin \mathrm{\ψ}\cos \mathrm{\φ}+\sin \mathrm{\θ}\sin \mathrm{\φ}\\ \cos \mathrm{\ψ}\sin \mathrm{\φ}& \sin \mathrm{\θ}\sin \mathrm{\ψ}\sin \mathrm{\φ}+\cos \mathrm{\θ}\cos \mathrm{\φ}& \cos \mathrm{\θ}\sin \mathrm{\ψ}\sin \mathrm{\φ}-\sin \mathrm{\θ}\cos \mathrm{\φ}\\ -\sin \mathrm{\ψ}& \sin \mathrm{\θ}\cos \mathrm{\ψ}& \cos \mathrm{\θ}\cos \mathrm{\ψ}\end{array}\right)$ 表示与世界坐标系中三坐标轴间的夹角函数，θ为绕X轴的旋转角，ψ为绕Y轴的旋转角，φ为绕Z轴的旋转角。 $T=\left(\begin{array}{c}{t}_x\\ t_y\\ t_z\end{array}\right)$ 表示在世界坐标系中三坐标轴方向的平移矢量，t_x、t_y、t_z分别表示在世界坐标系中X轴，Y轴，Z轴的平移量。

(2)定位阶段

中远距离拍摄时，采用多目视觉原理：

确定标记点的二维图像坐标。第一步，由帧间差分算法检测图像中的运动区域，无运动时不做处理，节省系统资源。第二步，利用标记点色彩域值，对运动图像进行滤波，去除背景干扰，确定标记点图形在图像中的位置；并且，求解图形质心，确定标记点的二维图像坐标。第三步，参考开关参数(开关参数包括开关类型、开关空间位置等)与操作手形之间的对应关系，根据实时的指端标记点坐标，预测其下一时刻的区域位置，在运动区域中进一步缩小标记点检测窗口，实现窗口跟踪。

特别在中距离拍摄时，由于指端标记点图形比较清晰，利用图形方向特征确定指端指向，提高标记点下一时刻区域位置的预测精度。

将指端标记点的二维图像坐标恢复至三维世界坐标。将数部摄像机由不同方位所捕捉的同一标记点的图像坐标进行还原计算，精确定位三维坐标。以一部摄像机的坐标还原为例：

设P为标记点，P(x，y)为标记点的图像坐标，P(X，Y，Z)为标记点的空间坐标，采用齐次坐标，两者之间存在着如下的关系(其中，K为初始阶段中得到的内参数矩阵，T为初始阶段中得到的外参数矩阵)：

$\mathrm{\λ}\left(\begin{array}{c}x\\ y\\ 1\end{array}\right)=(K\×T)\left(\begin{array}{c}X\\ Y\\ Z\\ 1\end{array}\right)$

其中，λ为一个非零比例系数。由于N为3×4不可逆矩阵，所以，当已知(K×T)与(x，y)时，上式给出的三个方程只可得到关于X、Y、Z的两个线性方程。由这两个线性方程组成的方程组为一条投影射线l，并且，在图像上投影点为标记点P(x，y)的所有点均在该射线上。

对于数部摄像机来说，可得到同一标记点所在的N条投影射线l₁、l₂、……、l_N，由这N条射线两两相交，可得

个空间坐标点P₁、P₂、……、

由这

个坐标点求均值，即为标记点的最终空间坐标。

当指端标记点发生遮挡情况时，采用基于肤色分割的方法，提取手部区域，确定手形；由手形信息及手形生物学约束，结合可见标记点坐标，实现整体定位。

拍摄距离较近时，采用单目视觉原理：

由于拍摄距离很近，图形标记点中的标定图案将在图像中占主体位置。

根据摄像机成像原理，摄像机的外参数包括R与T，其中R为前文所述的旋转矩阵，表示与世界坐标系中三坐标轴间的夹角函数；T为前文所述的平移矢量，表示在世界坐标系中三坐标轴方向的平移矢量。所以，摄像机坐标系与世界坐标系的关系可以用旋转矩阵R与平移矢量T来描述。而将指端标记点中标定图案的一些特定点(如图4标号4所示的三角形的直角点、图4标号5和6所示的正方形左上顶点、图4标号7所示的圆形中心)设定为世界坐标系原点，就可以用旋转矩阵R与平移矢量T来描述指端标记点与摄像机的相对位置。摄像机固定，与开关位置关系已知，便可再次转化求得指端标记点相对于开关的位置。从而，确定指端绝对空间坐标。

如上所述，单目视觉定位的关键在于旋转矩阵R与平移矢量T的获得，但是，标定图案的不同，其求解方法也不同。如图4标号4所示的标定图案，R与T的求解方法是利用标定图案间的对应性，由单应矩阵确定指端的位置和角度，其中，单应矩阵是表示三维空间点与对应二维图像点之间关系的矩阵，为前文所述的(K×T)；如图4标号5所示的标定图案，R与T的求解方法是由矩形四个顶点的投影成像，利用旋转矩阵R的单位正交性定位手指，其中，如前面所述单位正交性是指RR^T＝R^TR＝I；如图4标号6所示的标定图案，R与T的求解方法是由两个方向的消隐点确定手指的位置和方向，其中，消隐点是指空间平行直线在不与摄像头成像面平行的情况下所成的像在成像平面的交点；如图4标号7所示的标定图案，R与T的求解方法是利用圆在透视投影过程中变成椭圆，运用三角几何知识完成手指的定位。

Claims (3)

1.一种基于指端标记的视频手指定位系统，其特征在于，包括摄像机、图像采集设备和计算机，其中每部摄像机的输出均分别通过图像采集设备连接于计算机。

2.一种如权利要求1所述的基于指端标记的视频手指定位方法，其特征在于，包括如下工作步骤：

(1)初始阶段：通过基于二维平面标靶的标定方法，确定每部摄像机的内部参数；通过对每部摄像机进行全局标定，确定每个摄像机坐标系相对于一个统一世界坐标系的平移与转向，完成系统初始化；

(2)定位阶段：采用自适应拍摄距离，通过对五指指端及手背贴上的图形标记点的检测实现手指定位；所述自适应拍摄距离包括远距离、中距离和近距离，远距离时，采用多目视觉原理，基于标记点颜色实现定位，中距离时，采用多目视觉原理，基于标记点颜色实现定位，基于标记点图形确定指端方向，近距离时，采用单目视觉原理，基于标定图案实现定位；所述图形标记点的检测，引入开关类型、开关空间位置等与操作手形对应的参数关系，预测指端运动轨迹，缩小标记点检测查询空间，提高定位速度。

3.根据权利要求2所述的基于指端标记的视频手指定位方法，其特征在于，标定图案的具体定位方法包括：

①标定图案为直角三角形和一条直线的定位方法，利用标定图案间的对应性，由单应矩阵确定指端的位置和角度，其中，单应矩阵是表示三维空间点与对应二维图像点之间关系的矩阵；

②标定图案为正方形的定位方法，由矩形四个顶点的投影成像，利用旋转矩阵的单位正交性定位手指，所述旋转矩阵的单位正交性；

RR^T＝R^TR＝I，其中

$R=\left(\begin{array}{ccc}\cos \mathrm{\ψ}\cos \mathrm{\φ}& \sin \mathrm{\θ}\sin \mathrm{\ψ}\cos \mathrm{\φ}-\cos \mathrm{\θ}\sin \mathrm{\φ}& \cos \mathrm{\θ}\sin \mathrm{\ψ}\cos \mathrm{\φ}+\sin \mathrm{\θ}\sin \mathrm{\φ}\\ \cos \mathrm{\ψ}\sin \mathrm{\φ}& \sin \mathrm{\θ}\sin \mathrm{\ψ}\sin \mathrm{\φ}+\cos \mathrm{\θ}\cos \mathrm{\φ}& \cos \mathrm{\θ}\sin \mathrm{\ψ}\sin \mathrm{\φ}-\sin \mathrm{\θ}\cos \mathrm{\φ}\\ -\sin \mathrm{\ψ}& \sin \mathrm{\θ}\cos \mathrm{\ψ}& \cos \mathrm{\θ}\cos \mathrm{\ψ}\end{array}\right),$

$R^T=\left(\begin{array}{ccc}\cos \mathrm{\ψ}\cos \mathrm{\φ}& \cos \sin \mathrm{\φ}& -\sin \mathrm{\ψ}\\ \sin \mathrm{\θ}\sin \mathrm{\ψ}\cos \mathrm{\φ}-\cos \mathrm{\θ}\sin \mathrm{\φ}& \sin \mathrm{\θ}\sin \mathrm{\ψ}\sin \mathrm{\φ}+\cos \mathrm{\θ}\cos \mathrm{\φ}& \sin \mathrm{\θ}\cos \mathrm{\ψ}\\ \cos \mathrm{\θ}\sin \mathrm{\ψ}\cos \mathrm{\φ}+\sin \mathrm{\θ}\sin \mathrm{\φ}& \cos \mathrm{\θ}\sin \mathrm{\ψ}\sin \mathrm{\φ}-\sin \mathrm{\θ}\cos \mathrm{\φ}& \cos \mathrm{\θ}\cos \mathrm{\ψ}\end{array}\right),$ θ为绕X

轴的旋转角，ψ为绕Y轴的旋转角，φ为绕Z轴的旋转角， $I=\left[\begin{array}{ccc}1& 0& 0\\ 0& 1& 0\\ 0& 0& 1\end{array}\right];$

③标定图案为正方形的一组对边和对角线的定位方法，由两个方向的消隐点确定手指的位置和方向，其中，消隐点是指空间平行直线在不与摄像头成像面平行的情况下所成的像在成像平面的交点；

④标定图案为圆的定位方法，利用圆在透视投影过程中变成椭圆，运用三角几何知识完成手指的定位。

Images