CN100432897C - 手、眼关系引导的非接触式位置输入系统和方法 - Google Patents

Abstract

本发明涉及一种手、眼关系引导的非接触式位置输入系统和方法。本非接触式位置输入系统由两台CCD摄像机，一台大型显示终端，一台装配有多通道图像采集卡的计算机组成，系统使用平面标定模板标定摄像机参数。其中，计算机通过图像采集卡与摄像机连接并通过显示卡与大型显示终端连接。位置输入方法包括全自动摄像机标定、手眼位置获取、指示目标点求解等步骤。本发明的位置输入系统基于计算机视觉技术，位置输入方法以人的生理特性为依据，可实现直观、准确、实时的非接触式位置输入。

Description

手、眼关系引导的非接触式位置输入系统和方法

技术领域

木发明涉及一种三维视觉测量系统和方法，特别是一种手、眼关系引导的非接触式位置输入系统和方法。

背景技术

位置输入系统是计算机输入设备的一种，从理论上讲，任何需要与计算机进行交互式操作的场合都需要位置信息的输入。目前，最常用的位置输入设备是鼠标器和触摸屏，这类设备在使用时要求使用者与设备保持接触，因此束缚了使用者的活动空间。在不便于约束使用者活动的场合下，比如展览会和某些工业场合，使用接触式位置输入系统是不万便甚至不可能的。

以非接触式位置输入方式取代现有的接触式输入万式将为使用者提供无约束的输入体验，增强系统的易用性、互动性和使用的乐趣，是提升数字产品附加值的有效手段。然而目前这类技术的应用还比较少，仅有的一些尝试主要集中于两类：一类是对现有的鼠标器进行改造，将鼠标器与主机的连接电缆用红外或射频信号取代，做成手持式的位置输入装置。这类技术摆脱了电缆对使用者的束缚，但由于位置信息的输入需要通过滚动鼠标球来实现，对于距离指示目标较远的使用者(如展会上的参观者，他们往往破要求在一定的距离之外观看展示)来说，这种输入方式是不直观且不精确的；另一类技术使用贴片式位置传感器，将若干枚传感器放置于便用者身体的某些部位(如手指)上，通过感应人体的特定运动来实现位置信息的输入。这种万法可以实现直观的位置输入，但由于需要使用者佩戴传感器，应用的灵活性受到了影响。这两类技木实际仍然要求使用者接触输入设备，因此从严格意义上来讲，并不是真正的非接触式位置输入系统。

发明内容

本发明的目的在于提供一种手、眼关系引导的位置输入系统和万法，利用双目视觉技木实现对使用者手指与眼睛的实时跟踪与精确定位，并判断其手指指示的目标位置，从而实现非接触的、直观的位置输入。

为达到上述目的，本发明的构思是：

手、眼关系引导的非接触式位置输入系统，由两台CCD摄像机(1)，一台显示终端(2)，一台装配有多通道图像采集卡的计算机(3)组成，平面标定模板(4)用于标定摄像机参数。其中，计算机(3)通过图像采集卡与摄像机(1)连接并通过显示卡与显示终端(2)连接，计算机(3)内设有一套摄像机自动标定程序和一套指示位置分析程序。本发明的系统特点是：

两台CCD摄像机(1)使用会聚配置构成双目视觉系统，平面标定模板(4)由一块平板上精确绘制出的两个同心圆和四条通过圆心且等分圆周的直线图形构成，摄像机自动标定程序可实现全自动、高精度的摄像机参数标定，指示位置分析程序可实时输出指示点的位置坐标，显示终端可以是大屏幕投影仪、展示沙盘或立体模型以及任意形状的空间物体等。

本发明的手、眼关系引导的非接触式位置输入方法采用上述系统实现，具有如下特点：

①双目视觉系统在设备安装完成后标定一次即可；

②利用双目视觉原理计算物体点的空间坐标，实现非接触的、实时的位置测量；

③运用人脸检测、人眼定位与手指定位算法及目标跟踪算法，对图像序列中的人体特定部位进行跟踪；

④从人的生理特征出发，将连接两眼间中心点与手指尖的直线作为人的瞄准线，判定手指指示的目标位置；

⑤将不同的使用环境抽象为一组环境参数，通过修改环境参数可适应不同的应用。

根据上述的发明构思，本发明采用下述技术方案：

一种手、眼关系引导的非接触式位置输入系统，由两台CCD摄像机，一台大型显示终端，一台装有多通道图像采集卡的计算机组成，计算机通过图像采集卡与摄像机连接并通过显示卡与大型显示终端连接。其特征在于：所述两台CCD摄像机以会聚配置方式固定于使用者的正前方，安装位置需保证在使用者左右的CCD摄像机视场均覆盖使用者身体上半部的正面；在使用前，标定时有一块平面标定模板标定时置于两台CCD摄像机的视场中；所述的计算机根据两台CCD摄像机对标定模板所采集的图像，进行摄像机参数标定；系统测量时撤去标定模板，计算机根据预设的环境参数、标定的摄像机参数和摄像机采集的含有使用者手、眼的图像，求解并输出目标点坐标，即非接触式输入指示位置坐标。

上述的平面标定模板由一块平整的平板上精确绘制出的两个同心圆和四条通过圆心且等分圆周的直线图形构成。

上述的大型显示终端为大屏幕投影仪或展示沙盘或立体模型或空间物体。

一种手、眼关系引导的非接触式位置输入方法，采用手、眼关系引导的非接触式位置输入系统，其特征在于具体工作步骤为：两台CCD摄像机和一块平面标定模板定位安装后，计算机启动一套摄像机自动标定程序，根据采集的平面标定模板的图像，进行摄像机参数标定；预设环境参数，建立显示终端所在平面方程；系统工作时，撤去标定模板，计算机启动一套指示位置分析程序，根据预设环境参数、标定的摄像机参数和读入摄像机采集的第一帧含有使用者手、眼的图像，求解并输出指示位置坐标；接着读入下一帧含有使用者手、眼的图像，求解并输出指示位置坐标，如此循环，实现指示位置的跟踪。

上述的摄像机自动标定程序具有如下步骤：

标定特征点的提取，以平面标定模板上绘制的四条通过圆心且等分圆周的径向直线与两个同心圆圆周的交点作为标定特征点：读入平面标定模板的图像，分别提取圆和直线在摄像机成像面上的投影曲线的样本点，圆的投影曲线为椭圆，直线的投影仍为直线，分别使用椭圆方程和直线方程以最小二乘法拟合提取的样本点，联立拟合的两组方程，求解出椭圆与直线的交点坐标；

摄像机参数标定计算：根据求得的交点坐标，计算摄像机外部参数——旋转矩阵R和位移向量T，继而求得摄像机内部参数——焦距f和镜头畸变系数k。

上述的指示位置分析程序具有如下步骤：读入一帧含有使用者手、眼的所述两台摄像机采集的图像；分别定位双眼中点坐标Pe和食指指尖坐标Pf；将连接双眼中点和食指指尖的直线作为人的瞄准线，判定食指指尖指示的目标位置：利用标定好的摄像机参数，对双眼连线的中点及食指指尖分别联立四个方程组，解出各自的三维坐标Pe(X，Y，Z)及Pf(X，Y，Z)，建立连接Pe、Pf的空间直线方程，根据预输入的环境参数，建立显示终端所在平面的空间平面方程，将连接Pe、Pf的空间直线方程与显示终端所在的空间平面方程联立，求解并输出指示位置坐标；读入下一帧图像，重复上两步，实现指示位置跟踪。

木发明与现有技术相比，具有如下显而易见的突出实质性特点和显著优点：

1使用摄像机作为传感器，实现了真正的非接触式位置输入。

2考虑了人的生理特性，以手、眼位置关系引导系统识别人的指示目标，使位置输入的方式符合人的习惯，因而无需对使用者进行特殊训练，达到了直观、准确的目的。

3对使用环境具有较强的适应性。人体特定部位的检测及跟踪算法保证了系统在复杂背景下的稳定工作，因此对使用区的背景布置没有特殊要求；参数化的环境设置功能，使系统可方便地应用于多种不同的环境之中。

4摄像机标定简便、精确。木系统只需在安装时标定一次摄像机即可，标定模板使用的是成本较低且便于携带的平面型模板，环形对称分布的特征点有助于减少径向成像畸变对计算的影响，计算机内的标定程序可自动完成模板特征点的高精度提取、匹配、及参数求解等全部计算工作，无需人工介入。

本发明可实现直观、准确、实时的非接触式位置输入。

附图说明

图1是本发明一个实施例的结构示意图。

图2是图1示例使用的摄像机标定模板及标定方法示意图。

图3是图1示例的双摄像机的光学原理图。

图4是图1示例的摄像机标自动定程序的流程图，其中图(a)是特征点提取流程图，图(b)是参数计算流程图。

图5是图1示例的指示位置分析程序的流程图。

具体实施方式

本发明的一个优选实例结合附图说明如下：

参见图1、图2，本手、眼关系引导的非接触式位置输入系统，由两台CCD摄像机(1)，一台显示终端(2)，一台装配有多通道图像采集卡的计算机(3)组成，平面标定模板(4)用于标定摄像机参数。其中，计算机(3)通过图像采集卡与摄像机(1)连接并通过显示卡与显示终端(2)连接，计算机(3)内设有一套摄像机自动标定程序和一套指示位置分析程序。

本发明非接触式位置输入方法通过上述手、眼关系引导的非接触式位置输入系统实施，其步骤如下：

使用前，将两部摄像机以会聚配置的方式固定于使用者的正前方，安装位置需保证左右摄像机视场均覆盖使用者身体上半部的正面，参见图1。

在安装完成后，进行摄像机参数标定工作，参见图2。将标定模板(4)置于摄像机(1)的视场之中，通过计算机(3)采集图像并使用其内置的摄像机自动标定程序进行标定。

双摄像机的光学原理如图3所示，其中，两部会聚配置的摄像机的镜头焦距和畸变系数分别力f1，k1与f2，k2；O1，o1与O2，o2分别为它们的镜头光心和焦点；XYZ是世界坐标系，x₁y₁z₁与x₂y₂z₂是摄像机坐标系；(Xw，Yw，Zw)是物体点P在世界坐标系下的坐标，(x1₁，y1₁)与(x2₁，y2₁)分别是P卢在两个摄像机平面上的投影卢坐标。摄像机标定的目的就是分别确定两部摄像机的内部参数f(焦距)、k(镜头畸变系数)和外部参数 $R=\left[\begin{array}{ccc}{r}_1& r_2& r_3\\ r_4& r_5& l_6\\ l_7& l_8& l_9\end{array}\right]$ (旋转矩阵)、 $T=\left[\begin{array}{c}{T}_x\\ T_y\\ T_z\end{array}\right]$ (位移向量)。自动标定程序的算法分为两部分：

第一部分是标定特征点的提取，参见图4(a)。如图2所示，本发明使用模板表面绘制的径向直线段与圆周的交点作为标定特征点，为实现高精度的特征点提取，这里使用了图像处理与特征曲线拟合相结合的万法。

首先分别提取圆和直线在摄像机成像平面上的投影曲线的样本点，由于圆的投影曲线为椭圆而直线的投影曲线仍为直线，因此分别使用椭圆方程(1)和直线方程(2)以最小二乘法拟合提取的样本点：

Ax²+Bxy+Cy²+Dx+Ey+1＝0    (1)

y＝mx+b                   (2)

联立拟合出的两组方程，求解出的交点坐标(X_fi，Y_fi)即是亚像素精度的特征点图像坐标。

第二部分是参数计算，参见图4(b)。参数计算利用前面求出的特征点坐标分两步完成。

第一步：

1、设特征点(X_fi，Y_fi)相应的世界坐标为(X_wi，Y_wi)，(X_d，Y_d)是图像中心坐标，(N_x.N_y)是摄像机像平面单位距离上的像素点数。计算

X_d1＝(X_fi-X_d)/N_x

Y_d1＝(Y_fi-Y_d)/N_x(3)

2、对每个特征点点P_i，列出一个方程，联立这N个方程

式中i＝1，2，，N，利用最小二乘法求解这个超定方程组(N＞5)，可得如下变量：

3、利用R的正交性计算T_i和r₁～r₉，可以得到：

其中S_i＝r₁′²+r₂′²+r₄′²+r₅′²，T的符号可利用成像几何关系确定。

利用正交性和右手系特性(相应于世界坐标为右手系)可计算R

式中S＝-sgn[r₁r₄+r₂r₅]，r₇、r₈、r₉可由矩阵的前两行的又乘得到。具体选取哪一个R，可由试探法确定。

第二步，对每个特征点P_i计算：

y₁＝r₄x_wi+r₂y₁+T₂

z₁＝r₁x_wi+r₂y₁+T₂

设w₁＝r₇x_wi+r₈y_wi，先不考虑透镜畸变，则

解此方程(i＝1，2，，N)可分别求出有效焦距f和平移矢量T的T分量，并假设k＝0，以这些值作初始试探，利用优化算法求解下列非线性方程组：

(7)

可解得：f、T、k的精确值。

摄像机标定好后，启动计算机(3)上的指示位置分析程序并设置环境参数，系统即开始工作。参照图5，指示位置分析程序的工作过程如下：

1、计算图像(大小为M×N)中的红色分量I_n(x，y)的垂直灰度投影

取曲线PV凸峰的左右边界作为人脸的左右边界.使用边缘分组算法，在人脸区域内精确定位双眼的位置并计算双眼连线中占的图像坐标Pe(x，y)；

2、根据人的生理结构判断手指的大致区域，在此区域中使用肤色提取算法分离出二值化的手指模板，对此模板中的白色像素点进行直线拟合并求出最前端的坐标Pf(x，y)作为指尖点坐标；

3、根据成像原理，空间卢(X，Y，Z)在左右摄像机像平面上的投影(x1，y1)与(x2，y2)分别满足：

(x₁r₁--f₁r₁₁)X+(x₁r₁₈-f₁r₁₂)Y+(x₁r₁₉-f₁r₁₃)Z＝f₁T_1x-x₁T_1-

(x₁r₁₇-f₁r₁₄)X+(x₁r₁₈-f₁r₁₅)Y+(x₁r₁₉-f₁r₁₆)Z＝f₁T_1x-y₁T_1-与

(x₂r₂₇-f₂r₂₁)X+(x₂r₂₈-f₂r₂₂)Y+(x₂r₂₉-f₂r₂₃)Z＝f₂T_2x-x₂T₂

(x₂r₂₇-f₂r₂₄)X+(x₂r₂₈-f₂r₂₅)Y+(x₂r₂₉-f₂r₂₆)Z＝f₂T₂-y₂T_2-利用标定好的摄像机参数，对双眼连线的中点及指尖点分别联立上述四个方程组，解出各自的三维坐标Pe(X，Y，Z)及Pf(X，Y，Z)。根据预输入的环境参数，建立显示终端(2)所在平面的空间平面方程，并与连接Pe、Pf的空间直线方程联立，解出交点Pt(X，Y，Z)，就是人所指示的目标点坐标；

4、使用块匹配算法跟踪下一帧图像I_n+1(x，y)中Pe，Pf的匹配点，循环执行步骤3、4，从而不间断地输出目标点坐标Pt(X，Y，Z)。

Claims (5)

1.一种手、眼关系引导的非接触式位置输入系统，由两台CCD摄像机(1)，一台大型显示终端(2)，一台装有多通道图像采集卡的计算机(3)组成，计算机(3)通过图像采集卡与摄像机(1)连接并通过显示卡与大型显示终端(2)连接；其特征在于：

1)所述两台CCD摄像机(1)以会聚配置方式固定于使用者的正前方，安装位置需保证在使用者左右的CCD摄像机(1)视场均覆盖使用者身体上半部的正面；

2)在使用前，标定时有一块平面标定模板(4)置于两台CCD摄像机(1)的视场中；所述的计算机(3)根据两台CCD摄像机(1)对标定模板(4)所采集的图像，进行摄像机参数标定；系统测量时，撤去标定模板(4)，计算机(3)根据预设的环境参数、标定的摄像机参数和摄像机采集的含有使用者手、眼的图像，求解并输出目标点坐标，即非接触式输入指示位置坐标；

3)所述的平面标定模板(4)由一块平整的平板上精确绘制出的两个同心圆和四条通过圆心且等分圆周的直线图形构成。

2.根据权利要求1所述的手、眼关系引导的非接触式位置输入系统，其特征在于所述的大型显示终端(2)为大屏幕投影仪或展示沙盘或立体模型或空间物体。

3.一种手、眼关系引导的非接触式位置输入方法，采用权利要求1所述的手、眼关系引导的非接触式位置输入系统，其特征在于具体工作步骤为：

①两台CCD摄像机(1)和一块平面标定模板定位安装后，计算机(3)启动一套摄像机自动标定程序，根据采集的平面标定模板(4)的图像，进行摄像机参数标定；

②预设环境参数，建立显示终端(2)所在平面方程；

③系统测量时，撤去标定模板(4)，计算机(3)启动一套指示位置分析程序，根据预设环境参数、标定的摄像机参数和读入摄像机(1)采集的第一帧含有使用者手、眼的图像，求解并输出指示位置坐标；接着读入下一帧含有使用者手、眼的图像，求解并输出指示位置坐标，如此循环，实现指示位置的跟踪。

4.根据权利要求3所述的手、眼关系引导的非接触式位置输入方法，其特征在于所述的摄像机自动标定程序具有如下步骤：

①标定特征点的提取，以平面标定模板(4)上绘制的径向直线与两个同心圆圆周的交点作为标定特征点：

a)读入平面标定模板(4)的图像，

b)分别提取圆和直线在摄像机成像面上的投影曲线的样本点，圆的投影曲线为椭圆，直线的投影仍为直线，

c)分别使用椭圆方程和直线方程以最小二乘法拟合提取的样本点，联立拟合的两组方程，求解出椭圆与直线的交点坐标；

②摄像机参数标定计算：

a)根据求得的交点坐标，计算摄像机外部参数——旋转矩阵R和位移向量T，

b)继而求得摄像机内部参数——焦距f和镜头畸变系数k。

5.根据权利要求3所述的手、眼关系引导的非接触式位置输入方法，其特征在于所述的指示位置分析程序具有如下步骤：

①读入一帧含有使用者手、眼的所述的两台摄像机(1)采集的图像；

②分别定位双眼中点坐标Pe和食指指尖坐标Pf；

③将连接双眼中点和食指指尖的直线作为人的瞄准线，判定食指指尖指示的目标位置：

a)利用标定好的摄像机参数，对双眼连线的中点及食指指尖分别联立四个方程组，解出各自的三维坐标Pe(X，Y，Z)及Pf(X，Y，Z)，

b)建立连接Pe、Pf的空间直线方程，

c)根据预输入的环境参数，建立显示终端(2)所在平面的空间平面方程，

d)将连接Pe、Pf的空间直线方程与显示终端所在的空间平面方程联立，求解并输出指示位置坐标；

④读入下一帧图像，重复步骤②～③，实现指示位置跟踪。

Images