CN101033964A - 戒指式视频测量手指定位系统及定位方法 - Google Patents

Abstract

一种戒指式视频测量手指定位系统及定位方法，属虚拟现实系统中的人机交互技术。本系统包括含有标记的平面模板，装有摄像头的戒指，图像采集装置和计算机。定位方法是，操作者佩戴装有摄像头的戒指，摄像头拍摄含有标记的平面模板上的标记图像，图像经图像采集装置传输到计算机，计算机经过图像处理，利用摄像头的标定原理，由标记在摄像头中的投影成像确定手指的位置和方向，以控制虚拟现实系统视景中虚拟手的位置和运动。本发明成本低、体积小、操作方便灵活、定位精确。

Description

戒指式视频测量手指定位系统及定位方法

技术领域

本发明涉及一种戒指式视频测量的手指定位系统及定位方法，是虚拟现实系统中的一种人机交互设备，用于虚拟现实系统中确定人体手指的空间位置和方向，并传送给计算机系统用于确定和控制虚拟现实视景中的虚拟手，使人体手指与虚拟手的手指位置、运动相一致，达到虚实统一。特别是，使用时该视频测量定位设备可以像戒指一样戴在手指上。

背景技术

虚拟现实系统外部设备的主要功能是实现人与虚拟世界间的人机交互操作。其中跟踪并检测人体手指位置和方向与虚拟视景中的虚拟手相统一是虚拟现实中人机交互操作的关键技术之一。

目前在虚拟现实系统中主要采用两种方式进行手指跟踪：一种是利用三维空间跟踪定位器配备数据手套检测手的实际位置和方位；另一种是基于视频式手形识别。

虽然跟踪器和数据手套的配备使用可以准确的获得手指的位置和方向信息，但是不足之处是：设备结构复杂，佩戴手套和跟踪器造成手指运动不灵活；数据手套采用了精密的传感器件，造成了整体的价格昂贵；虽然数据手套采用充气、振动或者电刺激压迫刺激皮肤达到触觉反馈目的，仅仅模拟最基本的触碰感觉，还不能满足指端触觉的丰富感知要求，例如无法获得力度、材质、纹理和温度等真实感知，而目前能提供指力反馈的力反馈数据手套体积和重量也足以影响人的感觉，而且容易造成与实际空间物体间的碰撞；

目前基于视频的方法针对于手形或者手势识别，主要判断手指之间，手指与手掌之间的相对位置关系，要求手的位置比较固定，限制了手部运动，而且不涉及指端的精确定位。

发明内容

本发明的目的是克服现有技术的不足，采用视频测量，提供一种基于摄像机标定原理，具有灵活性高、真实感强、成本低、轻便，运动范围广的手指定位系统。特别适用于对按钮、开关、操纵手柄等进行模拟操作，减小虚拟现实交互设备的复杂度，保证逼真的力反馈和触觉，实现手指空间位置的准确定位。

一种戒指式视频测量手指定位系统包括：计算机，图像采集装置，安装有摄像头的戒指，含有标记的平面模板。每个装有摄像头的戒指的输出均分别通过图形采集装置连于计算机，装在戒指上的摄像头拍摄含有标记的平面模板图像输入到图像采集装置。其中所述的标记是为了方便、快速进行手指定位而设计的各种图案，例如正方形、正方形的一组对边和对角线，圆和直角三角形等，同时根据虚拟现实系统中手部活动范围和摄像头的视场范围，标记可以根据距离远近设置不同的大小、位置、颜色。对手指进行定位的每个摄像头均通过图像采集装置与计算机相连。戒指式视频测量手指定位系统只计算手指的位置和方向。一旦人体手指操作实物按钮，其操作结果则由实际物理系统测量，例如旋转开关的角度由角度传感器测量。

一种戒指式视频测量手指定位系统的工作步骤是：操作者佩戴一枚或多枚固定有摄像头的戒指，摄像头拍摄平面模板图像经图像采集装置传输到计算机，计算机经过图像处理，利用摄像机标定原理，由标记在摄像头中的投影成像确定手指的位置和方向，以驱动在虚拟现实系统视景中虚拟手的位置和运动。

整个定位系统工作流程如下：

(1)利用平面模板上的标记在摄像头中的成像确定摄像头的内部参数矩阵：

$K=\left[\begin{array}{ccc}{f}_u& s& u_0\\ 0& f_v& v_0\\ 0& 0& 1\end{array}\right]$

完成摄像头的初始化工作，式中符号名称：(u₀，v₀)为主点坐标，f_u为图像u轴的尺度因子，f_v为图像v轴的尺度因子，s为畸变因子；

(2)将标有标记的平面模板安装在具有按钮、开关、操作手柄等操作对象的半实物操作面板上，或者将标记画在半实物操作面板的操作对象附近。其中考虑手部与半实物操作面板的远近距离，设置不同大小的标记图案，使在拍摄的图像中能够保证标记的完整性，以提高手指定位的准确性；

(3)当操作者佩戴安装有微型摄像头的戒指运动时，摄像头拍摄含有标记的平面模板，获取标记的图像；

(4)摄像头拍摄到的标记图像通过图像采集装置传输到计算机，利用计算机图像处理手段，快速定位标记的粗略位置；

(5)利用摄像头的标定原理，由标记在摄像头中的投影成像计算出手指与半实物操作面板相对的平移量和旋转角度，以驱动虚拟现实系统视景中的虚拟手，使操作者手指与虚拟手的手指的位置、运动相一致，达到虚拟统一。

4.根据权利要求2所述的戒指式视频测量手指定位方法，其特征在于，平面模板标记的定位方法：

a)平面模板标记为直角三角形和一条直线的定位方法是利用多幅标记图像间的对应性，由单应矩阵确定手指的位置和角度，其中单应矩阵是表示三维空间点与对应二维图像点之间关系的矩阵；

b)平面模板标记为正方形的一组对边和对角线的定位方法是由两个方向的消隐点确定手指的位置和方向，其中消隐点是指空间平行直线在不与摄像头成像面平行的情况下所成的像在成像平面的交点；

c)平面模板标记为正方形的定位方法是由矩形的四个顶点的投影成像，利用旋转矩阵的单位正交性定位手指，旋转矩阵的单位正交性是指RR^T＝R^TR＝I，其中

$R=\left(\begin{array}{ccc}\cos \mathrm{\ψ}\cos \mathrm{\φ}& \sin \mathrm{\θ}\sin \mathrm{\ψ}\cos \mathrm{\φ}-\cos \mathrm{\θ}\sin \mathrm{\φ}& \cos \mathrm{\θ}\sin \mathrm{\ψ}\cos \mathrm{\φ}+\sin \mathrm{\θ}\sin \mathrm{\φ}\\ \cos \mathrm{\ψ}\sin \mathrm{\φ}& \sin \mathrm{\θ}\sin \mathrm{\ψ}\sin \mathrm{\φ}+\cos \mathrm{\θ}\cos \mathrm{\φ}& \cos \mathrm{\θ}\sin \mathrm{\ψ}\sin \mathrm{\φ}-\sin \mathrm{\θ}\cos \mathrm{\φ}\\ -\sin \mathrm{\ψ}& \sin \mathrm{\θ}\cos \mathrm{\ψ}& \cos \mathrm{\θ}\cos \mathrm{\ψ}\end{array}\right),$

$R^T=\left(\begin{array}{ccc}\cos \mathrm{\ψ}\cos \mathrm{\φ}& \cos \mathrm{\ψ}\sin \mathrm{\φ}& -\sin \mathrm{\ψ}\\ \sin \mathrm{\θ}\sin \mathrm{\ψ}\cos \mathrm{\φ}-\cos \mathrm{\θ}\sin \mathrm{\φ}& \sin \mathrm{\θ}\sin \mathrm{\ψ}\sin \mathrm{\φ}+\cos \mathrm{\θ}\cos \mathrm{\φ}& \sin \mathrm{\θ}\cos \mathrm{\ψ}\\ \cos \mathrm{\θ}\sin \mathrm{\ψ}\cos \mathrm{\φ}+\sin \mathrm{\θ}\sin \mathrm{\φ}& \cos \mathrm{\θ}\sin \mathrm{\ψ}\sin \mathrm{\φ}-\sin \mathrm{\θ}\cos \mathrm{\φ}& \cos \mathrm{\θ}\cos \mathrm{\ψ}\end{array}\right),$

θ为绕X轴的旋转角，ψ为绕Y轴的旋转角，φ为绕Z轴的旋转角，

$I=\left[\begin{array}{ccc}1& 0& 0\\ 0& 1& 0\\ 0& 0& 1\end{array}\right];$

d)平面模板标记为圆的定位方法是利用圆在透视投影过程中变成椭圆，运用三角几何知识完成手指的定位。

本发明有益的效果是：只需操作者佩戴安装有小型摄像头的戒指，具有成本低、体积小，重量轻的特点，此外操作者的手上无需任何附加物，可以直接获得温度、材质、纹理等感知。整个定位系统轻便灵活，不会妨碍操作者的动作，操作者手部位置不受限制，可以方便进行操作。由于平面模板或标记位于开关附近，摄像头越接近开关时图像分辨率越高，因此视频测量定位越接近开关时精度会越高。

附图说明

图1为戒指式视频测量手指定位系统的构成框图

图2为戒指式视频测量手指定位系统的实现原理图

图2中标号名称：1-获取平面模板图像；2-摄像头初始化；

               3-利用摄像机标定原理确定摄像头的内参数；

               4-图像传输；5-手指的位置和方向

图3平面模板不同标记案例图

图3中标号名称：6-直角三角形和一条直线组成的标记；

               7-正方形的一组对边和对角线组成的标记；

               8-正方形标记；9-圆标记

具体实施方式

如图1所示，构建戒指式视频测量手指定位系统，虚拟现实系统操作者佩戴安装有摄像头的戒指，摄像头直接与计算机相连，计算机通过运算获取手指的位置和方位信息，确定和控制虚拟视景中虚拟手的位置和运动。

具体实现过程如图2所示。

工作原理：采用摄像头对平面模板上的标记在不同角度至少拍摄三幅照片，利用摄像头的标定原理确定摄像头内部参数矩阵K，完成摄像头的初始化。将标有标记的平面模板安装在半实物操作面板上，或将标记画在半实物操作面板的开关附近。手指的三维空间位置是指在世界坐标系中的位置，设定标记的一些特征点，如正方形的左上顶点，圆的圆心，直角三角形的直角所在顶点为世界坐标系原点，则手指的三维空间位置就转化为手指相对于贴有标记的平面模板的位置。由于手指上佩戴安装有摄像头的戒指，手指的三维空间位置进一步转化为世界坐标系与摄像头坐标系的相对关系。摄像头的外参数包括旋转矩阵

$R=\left(\begin{array}{ccc}\cos \mathrm{\ψ}\cos \mathrm{\φ}& \sin \mathrm{\θ}\sin \mathrm{\ψ}\cos \mathrm{\φ}-\cos \mathrm{\θ}\sin \mathrm{\φ}& \cos \mathrm{\θ}\sin \mathrm{\ψ}\cos \mathrm{\φ}+\sin \mathrm{\θ}\sin \mathrm{\φ}\\ \cos \mathrm{\ψ}\sin \mathrm{\φ}& \sin \mathrm{\θ}\sin \mathrm{\ψ}\sin \mathrm{\φ}+\cos \mathrm{\θ}\cos \mathrm{\φ}& \cos \mathrm{\θ}\sin \mathrm{\ψ}\sin \mathrm{\φ}-\sin \mathrm{\θ}\cos \mathrm{\φ}\\ -\sin \mathrm{\ψ}& \sin \mathrm{\θ}\cos \mathrm{\ψ}& \cos \mathrm{\θ}\cos \mathrm{\ψ}\end{array}\right)$ 与平移向

量 $T=\left[\begin{array}{c}{t}_x\\ t_y\\ t_z\end{array}\right],$ 其中旋转矩阵R表示与世界坐标系中三坐标轴间的夹角函数，θ为绕X轴的旋转角，ψ为绕Y轴的旋转角，φ为绕Z轴的旋转角。平移向量T表示在世界坐标系中三坐标轴方向的平移矢量，t_x、t_y、t_z分别表示在世界坐标系中X轴，Y轴，Z轴的平移量。所以摄像机坐标系与世界坐标系的关系可以用所述的旋转矩阵R与平移向量T来描述。手指定位过程最终转化为确定摄像头的外参数的过程，即计算所述的旋转矩阵R与平移向量T的过程。同时根据虚拟现实系统中手部活动范围和摄像头的视场范围，充分考虑远近问题，根据距离远近设置不同的大小的标记。当手指离半实物操作面板较远时，较小的标记在图像中退化为点，可以通过图像处理方法将其去除，只对大的标记图像进行分析处理确定手指位置和方向。当手指与半实物操作面板的距离较近时，通过在半实物操作面板上的操作对象附近设置小的标记，在拍摄图像中保证标记的完整性，以提高手指定位的准确性，使视频测量定位越接近开关时精度会越高。

平面模板上采用的标记不同，手指定位的具体方法也不同。现在结合图3说明不同标记采用的具体定位方法。

平面模板上的三维点为X₁＝[X_w，Y_w，Z_w]^T，经摄像头拍摄后的图像上的对应二维点为U₁＝[u，v]^T，X₁和U₁相应的齐次坐标分别为X＝[X_w，Y_w，Z_w，1]^T与U＝[u，v，1]^T。摄像头采用针孔线性成像模型，用齐次坐标表示的空间点X₁与图像点U₁之间的投影关系为：

                         λU＝K[R T]X＝MX

其中，λ为非零比例系数，R是前文所述的旋转矩阵，T是前文所述的平移向量，R和T组成摄像机外部参数矩阵，K为前文所述的摄像机内部参数矩阵，M表示图像与平面模板上的标记之间对应点的匹配关系，称为单应矩阵。

采用如图3标号6所示的直角三角形和一条直线的标记方法是利用由多幅标记图像间的对应性，由单应矩阵确定手指的位置和角度；采用如图3标号7所示的正方形的一组对边和对角线作为标记的定位方法中，是由两个方向的消隐点确定手指的位置和方向，其中消隐点是指空间平行直线在不与摄像头成像面平行的情况下所成的像在成像平面的交点。采用如图3标号8所示的正方形标记方法中，由矩形的四个顶点的投影成像，利用旋转矩阵的单位正交性定位手指，旋转矩阵的单位正交性是指RR^T＝R^TR＝I，其中 $I=\left[\begin{array}{ccc}1& 0& 0\\ 0& 1& 0\\ 0& 0& 1\end{array}\right],$ 采用如图3标号9所示的圆作为标记的定位方法利用圆在透视投影过程中变成椭圆，运用三角几何知识完成手指的定位。

Claims (3)

1.一种戒指式视频测量手指定位系统，其特征在于，包括含有标记的平面模板、装有摄像头的戒指、图像采集装置、计算机，上述组成部件的相互连接关系是，每个装有摄像头的戒指的输出均分别通过图形采集装置连于计算机，装在戒指上的摄像头拍摄含有标记的平面模板图像输入到图像采集装置。

2.一种如权利要求1所述的戒指式视频测量手指定位方法，其特征在于，包括如下工作步骤：

(1)利用平面模板上的标记在摄像头中的成像确定摄像头的内部参数矩阵：

$K=\left[\begin{array}{ccc}{f}_u& s& u_0\\ 0& f_v& v_0\\ 0& 0& 1\end{array}\right]$

完成摄像头的初始化工作，式中符号名称：(u₀，v₀)为主点坐标，f_u为图像u轴的尺度因子，f_v为图像v轴的尺度因子，s为畸变因子；

(2)将标有标记的平面模板安装在具有按钮、开关、操作手柄等操作对象的半实物操作面板上，或者将标记画在半实物操作面板的操作对象附近。其中考虑手部与半实物操作面板的远近距离，设置不同大小的标记图案，使在拍摄的图像中能够保证标记的完整性，以提高手指定位的准确性；

(3)当操作者佩戴安装有微型摄像头的戒指运动时，摄像头拍摄含有标记的平面模板，获取标记的图像；

(4)摄像头拍摄到的标记图像通过图像采集装置传输到计算机，利用计算机图像处理手段，快速定位标记的粗略位置；

(5)利用摄像头的标定原理，由标记在摄像头中的投影成像计算出手指与半实物操作面板相对的平移量和旋转角度，以驱动虚拟现实系统视景中的虚拟手，使操作者手指与虚拟手的手指的位置、运动相一致，达到虚拟统一。

3.根据权利要求2所述的戒指式视频测量手指定位方法，其特征在于，平面模板标记的定位方法：

a)平面模板标记为直角三角形和一条直线的定位方法是利用多幅标记图像间的对应性，由单应矩阵确定手指的位置和角度，其中单应矩阵是表示三维空间点与对应二维图像点之间关系的矩阵；

b)平面模板标记为正方形的一组对边和对角线的定位方法是由两个方向的消隐点确定手指的位置和方向，其中消隐点是指空间平行直线在不与摄像头成像面平行的情况下所成的像在成像平面的交点；

c)平面模板标记为正方形的定位方法是由矩形的四个顶点的投影成像，利用旋转矩阵的单位正交性定位手指，旋转矩阵的单位正交性是指RR^T＝R^TR＝I，其中

$R=\left(\begin{array}{ccc}\cos \mathrm{\ψ}\cos \mathrm{\φ}& \sin \mathrm{\θ}\sin \mathrm{\ψ}\cos \mathrm{\φ}-\cos \mathrm{\θ}\sin \mathrm{\φ}& \cos \mathrm{\θ}\sin \mathrm{\ψ}\cos \mathrm{\φ}+\sin \mathrm{\θ}\sin \mathrm{\φ}\\ \cos \mathrm{\ψ}\sin \mathrm{\φ}& \sin \mathrm{\θ}\sin \mathrm{\ψ}\sin \mathrm{\φ}+\cos \mathrm{\θ}\cos \mathrm{\φ}& \cos \mathrm{\θ}\sin \mathrm{\ψ}\sin \mathrm{\φ}-\sin \mathrm{\θ}\cos \mathrm{\φ}\\ -\sin \mathrm{\ψ}& \sin \mathrm{\θ}\cos \mathrm{\ψ}& \cos \mathrm{\θ}\cos \mathrm{\ψ}\end{array}\right),$

$R^T=\left(\begin{array}{ccc}\cos \mathrm{\ψ}\cos \mathrm{\φ}& \cos \sin \mathrm{\φ}& -\sin \mathrm{\ψ}\\ \sin \mathrm{\θ}\sin \mathrm{\ψ}\cos \mathrm{\φ}-\cos \mathrm{\θ}\sin \mathrm{\φ}& \sin \mathrm{\θ}\sin \mathrm{\ψ}\sin \mathrm{\φ}+\cos \mathrm{\θ}\cos \mathrm{\φ}& \sin \mathrm{\θ}\cos \mathrm{\ψ}\\ \cos \mathrm{\θ}\sin \mathrm{\ψ}\cos \mathrm{\φ}+\sin \mathrm{\θ}\sin \mathrm{\φ}& \cos \mathrm{\θ}\sin \mathrm{\ψ}\sin \mathrm{\φ}-\sin \mathrm{\θ}\cos \mathrm{\φ}& \cos \mathrm{\θ}\cos \mathrm{\ψ}\end{array}\right),$

θ为绕X轴的旋转角，ψ为绕Y轴的旋转角，φ为绕Z轴的旋转角，

$I=\left[\begin{array}{ccc}1& 0& 0\\ 0& 1& 0\\ 0& 0& 1\end{array}\right];$

d)平面模板标记为圆的定位方法是利用圆在透视投影过程中变成椭圆，运用三角几何知识完成手指的定位。

Images