CN1975638A - 一种单摄像机虚拟鼠标系统的校准方法 - Google Patents

Abstract

本发明属于机器视觉技术领域，将提供一种单摄像机虚拟鼠标系统模型参数的校准方法。本发明基于二维实体靶标和二维虚拟靶标，以实体靶标坐标系为中介，获取了非视场范围内的屏幕平面在摄像机坐标系下的方程，同时通过投影视线与空间屏幕平面相交建立了单摄像机虚拟鼠标系统中三维空间控制点的投影点的图像坐标与屏幕坐标的一一映射关系，将控制点对应的屏幕坐标作为输入提供给计算机系统，达到控制计算机的目的。该方法无需高成本的辅助调整设备，操作简单，校准效率高，适用于单摄像机虚拟鼠标系统的现场校准，大大地提高了虚拟鼠标系统的有效视场范围和操作实时性。

Description

一种单摄像机虚拟鼠标系统的校准方法

技术领域

本发明属于机器视觉技术领域，涉及一种单摄像机虚拟鼠标系统的校准方法。

背景技术

随着人机交互技术的不断发展，有线和无线的实际有形鼠标暴露出越来越多的缺点，极大的限制了交互的速度、距离和自然性。近年来，采用摄像机拍摄空间控制点的图像，通过跟踪、分析控制点的图像坐标，并与计算机屏幕坐标相对应，作为用户输入提供给计算机系统，起到真实鼠标的功能，本发明将这类基于机器视觉原理的鼠标称为虚拟鼠标。虚拟鼠标的特点是无辐射、非接触，大大降低了人机交互的认知负荷，有效地实现了交互的快速性和自然性，广泛应用于残疾人士服务、多媒体教学、娱乐、辐射控制区应用及公共设施的传染病预防与控制等领域。

现有的虚拟鼠标系统主要有两类。一类是基于激光笔的虚拟鼠标。刘芳等在文章“基于激光笔的远程人机交互技术”(中国图像图形学报，Vol.8(A)，No.11，pp.1356～1360，2003)中陈述了这类虚拟鼠标系统。此类虚拟鼠标系统采用激光笔向投影屏幕投射激光光点，安装在投影屏幕的摄像机拍摄激光光点图像，通过跟踪、分析激光光点的图像坐标，并与计算机屏幕坐标对应，实现对计算机的控制。该虚拟鼠标系统是一个二维投影屏幕平面对二维图像平面的映射问题，采用了求解二维平面的单一性映射矩阵的方法进行校准。该虚拟鼠标依赖于激光笔的投射，不能实现三维空间控制点对计算机的控制，校准方法中也没有考虑摄像机镜头畸变和投影屏幕畸变等因素的影响。另一类是基于双目立体视觉系统的虚拟鼠标。Dmitry O.Gorodnichy等在文章“Nouse-鼻子用作鼠标-用于无手游戏和交互的感知视觉技术”(Nouse“use your nose as a mouse”perceptualvision technology for hands-free games and interfaces)，Elsevier Science国际期刊《图像与视觉计算》，第22卷，第12期，第931～942页，2004年(Image and VisionComputing，Vol.22，pp.931～942，2004)中陈述了这类虚拟鼠标系统。此类虚拟鼠标系统基于计算机极线几何和双目立体视觉技术实现鼻尖的三维空间定位，并利用这些信息实现计算机的简单控制。该类虚拟鼠标系统的成本较高、视场范围小，系统的校准过程复杂，计算量大，实时性较差。

发明内容

本发明所要解决的技术问题是：提供一种单摄像机虚拟鼠标系统的校准方法。本发明所说的单摄像机虚拟鼠标系统由一个摄像机、包含平面显示屏幕的计算机系统和空间控制点构成。所说的空间控制点为能被摄像机成像的可视特征点，如激光点、人体特征等。根据单摄像机虚拟鼠标系统的数学模型，通过三维空间控制点的投影图像坐标，将空间控制点映射为计算机的屏幕坐标，作为用户输入提供给计算机系统，达到控制计算机的目的。以降低成本、增大空间控制点的有效视场范围、提高系统实时性、简化系统校准过程、提高校准精度，改善其工程化应用的可操作性和便捷性。

本发明的技术解决方案是：一种单摄像机虚拟鼠标系统的校准方法，其特征在于，校准包括摄像机内部参数校准阶段、屏幕坐标系到摄像机坐标系的变换和屏幕平面校准阶段。校准的具体步骤如下：

1、摄像机内部参数校准阶段：

1.1、设定实体靶标1。靶标为一个二维平面，靶标上有预先设置的特征点，在靶标平面上布置黑白相间的棋盘格，黑白方块的边长为10～50mm，其边长精度为0.01mm～0.1mm，黑方块与白方块公有的顶点称为格点。选取靶面上格点为特征点，特征点数量为16～400个；

1.2、设定摄像机4的观测位置，调整摄像机的镜头焦距和光圈。摄像机观测位置位于计算机屏幕上方，定义为观察用户控制点的最佳位置，根据要观测的控制点三维空间范围，调整好摄像机的镜头焦距，根据光照环境，调整好光圈大小。将摄像机固定在观测位置，并固定好摄像机镜头的焦距和光圈；

1.3、校准摄像机4的内部参数。具体步骤如下：

第一步，在摄像机的视场范围内，自由、非平行地移动实体靶标1至少3个位置，每移动一个位置，拍摄一幅图像，称为摄像机校准图像，靶标上所有的特征点应包含在拍摄图像内；

第二步，提取所有摄像机校准图像的特征点的图像坐标，并与特征点的世界坐标对应；

第三步，利用第二步提取的所有特征点的图像坐标及对应的世界坐标来校准摄像机内部参数，包括摄像机有效焦距、主点以及畸变系数；

2、屏幕坐标系到摄像机坐标系的变换和屏幕平面校准阶段

2.1、确定使用计算机系统的屏幕3的可视物理尺寸和显示分辨率。计算机的显示分辨率为s_l×s_h像素，屏幕可视物理尺寸为l_s×h_s英寸，这些参数对于实际使用的计算机系统是已知的，可以从相关手册和操作系统查询获得；

2.2、设定虚拟靶标2。靶标的形状与实体靶标1相同，特征点数量也相同，由计算机生成，直接显示在屏幕3上。虚拟靶标2方块的边长l_p为30～150像素，实际大小的长宽尺寸为 $25.4*l_p(\frac{\mathrm{ls}}{s_l}\×\frac{l_h}{s_h})\mathrm{mm};$

2.3、放置实体靶标1，调整摄像机4、实体靶标1和虚拟靶标2的位置关系。实体靶标1在屏幕3前方，靶标平面与屏幕大约成90°～150°的角度，保证摄像机在观测位置能够观测到实体靶标1上所有特征点。保持实体靶标1不动，移动摄像机4，保证摄像机能够同时观测到实体靶标1和虚拟靶标2上的所有特征点，此时摄像机所在位置称为中介位置。固定实体靶标1，在校准过程中，保持实体靶标1的位置和虚拟靶标2的显示位置及大小不发生变化；

2.4、获得屏幕坐标系到实体靶标坐标系的变换。具体步骤为；

第一步，将摄像机4固定在中介位置，此时摄像机坐标系称为中介坐标系。拍摄一幅包含实体靶标1和虚拟靶标2所有特征点在内的图像，称为双靶标校准图像；

第二步，提取双靶标校准图像内属于实体靶标1的所有特征点的图像坐标，根据摄像机模型和内部参数，计算特征点的投影坐标。利用特征点的投影坐标和对应的实体靶标坐标，计算实体靶标坐标系到中介坐标系的变换；

第三步，提取双靶标校准图像内属于虚拟靶标2的所有特征点的图像坐标，根据摄像机模型和内部参数，计算特征点的投影坐标。利用特征点的投影坐标和对应的屏幕坐标，计算屏幕坐标系到中介坐标系的变换；

第四步，由第二步得到的实体靶标坐标系到中介坐标系的变换和第三步得到的屏幕坐标系到中介坐标系变换，计算屏幕坐标系到实体靶标坐标系的变换；

2.5、获得屏幕坐标系到摄像机坐标系的变换。具体步骤为：

第一步，将摄像机4固定在观测位置，拍摄一幅包含实体靶标1所有特征点在内的图像，称为单靶标校准图像；

第二步，提取单靶标校准图像内属于实体靶标1的所有特征点的图像坐标，根据摄像机模型和内部参数，计算特征点的投影坐标。利用特征点的投影坐标和对应的实体靶标坐标，计算实体靶标坐标系到摄像机坐标系的变换；

第三步，由第二步得到的实体靶标坐标系到摄像机坐标系的变换和步骤2.4得到的屏幕坐标系到实体靶标坐标系的变换，计算屏幕坐标系到摄像机坐标系的变换；

2.6、获得屏幕平面在摄像机坐标系中的方程。利用虚拟靶标2上特征点的屏幕坐标，根据由步骤2.5得到的屏幕坐标系到摄像机坐标系的变换，计算虚拟靶标2上特征点的摄像机坐标，利用特征点的摄像机坐标拟合平面得到屏幕平面在摄像机坐标系中的方程；

2.7、将校准的摄像机内部参数、屏幕坐标系到摄像机坐标系的变换参数和屏幕平面在摄像机坐标系中的方程系数保存到系统参数文件中，以备虚拟鼠标系统使用时调用。

本发明的优点是：本发明提出了一种基于二维实体靶标和二维虚拟靶标的单摄像机虚拟鼠标系统参数校准方法。该方法以实体靶标坐标系为中介，获取了非视场范围内的屏幕平面在摄像机坐标系下的方程，同时通过投影视线与空间屏幕平面相交建立了单摄像机虚拟鼠标系统中三维空间控制点的投影点的图像坐标与屏幕坐标的一一映射关系。和现有基于视觉的虚拟鼠标系统的校准方法相比，本方法仅采用单个摄像机和二维平面靶标，无需其他辅助校准设备，操作简单，校准效率高，适用于单摄像机虚拟鼠标系统的现场校准。由于采用单摄像机，增大了空间控制点的有效视场范围，只需要一幅图像数据，且控制点屏幕坐标估计的算法简单，计算量小，因此大大地提高了单摄像机虚拟鼠标系统的实时性，改善了其工程化应用的可操作性和便捷性。

附图说明

图1是二维平面实体靶标示意图。图1中，1是实体靶标体。

图2是虚拟鼠标系统的数学模型示意图。

图3是计算摄像机坐标系到屏幕坐标系的变换和屏幕平面校准示意图。图3中，2是虚拟靶标体，3是计算机屏幕，简称屏幕，4是摄像机。

具体实施方式

下面对本发明方法做进一步详细说明。本发明使用二维平面靶标，对单摄像机虚拟鼠标系统的模型参数进行了校准。

虚拟鼠标系统数学模型：

如图2所示，o_w-x_wy_wz_w为三维世界坐标系，o_c-x_cy_cz_c为三维摄像机坐标系，o_s-x_sy_sz_s为三维屏幕坐标系，其中z_s＝0。o_u-x_uy_u为二维理想图像坐标系，o_n-x_ny_n为二维投影坐标系。π_u为理想图像平面，π_n为投影平面，π_s为屏幕平面，o_c为摄像机的投影中心，o_p为主点，o_c到π_n的距离为1。定义o_cx_c//o_ux_u//o_nx_n，o_cy_c//o_uy_u//o_ny_n，o_cz_c⊥π_u和π_u//π_n。Q为空间任意控制点，直线

分别与平面π_n、π_u和π_s相交于点q_n、q_u和q_s。

设点Q的三维世界坐标为X_w＝[x_w y_w z_w]^T，三维摄像机坐标为X_c＝[x_c y_c z_c]^T，则有：

$X_c=R_c^w{X}_w+T_c^w---\left[1\right]$

其中R_c ^w和T_c ^w为o_w-x_wy_wz_w到o_c-x_cy_cz_c的变换，分别表示3×3的旋转矩阵和3×1的平移矢量。

设点q_n的投影坐标为X_n＝[x_n y_n]^T，则摄像机的理想透视投影变换为：

$\left\{\begin{array}{c}{x}_n=x_c/z_c\\ y_n=y_c/z_c\end{array}\right.---\left[2\right]$

设点q_u的理想图像坐标为X_u＝[x_u y_u]^T。则投影坐标到理想图像坐标的变换为：

$\left\{\begin{array}{c}{x}_u=f_x{x}_n+u_0\\ y_u=f_y{y}_n+v_0\end{array}\right.---\left[3\right]$

其中f_x和f_y分别为摄像机在x、y方向上的有效焦距，单位为像素，(u₀，v₀)为摄像机的主点坐标，单位为像素。考虑摄像机镜头的一次径向畸变，设点q_u对应的实际图像坐标为X_d＝[x_d y_d]^T，则理想图像坐标到实际图像坐标的变换，即摄像机镜头的畸变模型为：

$\left\{\begin{array}{c}{x}_d=x_u+k_1(x_u^2+x_u^2)x_u\\ y_d=y_u+k_1(x_u^2+x_u^2)y_u\end{array}\right.---\left[4\right]$

其中k₁为一次径向畸变系数。

公式[1]～[4]表示了空间点到实际图像坐标的投影模型，空间任意点Q可以确定惟一图像投影点q_u。

由摄像投影中心o_c和空间点Q对应的投影点q_n确定的直线称为投影视线。如果已知摄像机内部参数，根据公式[3]和[4]，由实际图像坐标X_d可以求得空间点Q经透视投影后的投影坐标X_n。由此可知，q_n的三维摄像机坐标为(x_n，y_n，1)，o_c的三维摄像机坐标为(0，0，0)，因此投影视线 在o_c-x_cy_cz_c中的方程为：

$\frac{x}{x_n}=\frac{y}{y_n}=z---\left[5\right]$

设点q_s的摄像机坐标为 $X_c^s={\left[\begin{array}{ccc}{x}_c^s& y_c^s& z_c^s\end{array}\right]}^T,$ π_s在o_c-x_cy_cz_c中的方程为：

Ax+By+Cz+D＝0                    [6]

则通过求解投影视线 与π_n的交点得到X_c ^s。设q_s在o_s-x_sy_sz_s中的坐标为X_s＝[x_s y_s z_s]^T，则o_c-x_cy_cz_c到o_s-x_sy_sz_s的变换为：

$X_s={\left(R_c^s\right)}^{-1}{X}_c^s-{\left(R_c^s\right)}^{-1}{T}_c^s---\left[7\right]$

其中R_c ^s和T_c ^s为o_s-x_sy_sz_s到o_c-x_cy_cz_c的变换，分别表示3×3的旋转矩阵和3×1的平移矢量。

根据公式[7]，得到空间点Q对应的位于屏幕平面点q_s的坐标X_s，满足条件z_s＝0。其中二维坐标(x_s，y_s)直接作为用户输入提供给计算机系统，达到控制计算机的目的。

综述所述，虚拟鼠标系统包括的模型参数为：摄像机有效焦距f_x和f_y，主点坐标(u₀，v₀)，镜头畸变系数k₁，π_s在o_c-x_cy_cz_c中的方程系数A、B、C和D，o_s-x_sy_sz_s到o_c-x_cy_cz_c的变换R_c ^s和T_c ^s。

根据单摄像机虚拟鼠标系统的数学模型，虚拟鼠标系统的校准分为两步：一是摄像机内部参数校准，二是屏幕坐标系到摄像机坐标系的变换和屏幕平面校准。

本发明摄像机内部参数校准的具体步骤如下：

1、设定实体靶标1。靶标为一个二维平面，靶标上有预先设置的特征点，在靶标平面上布置黑白相间的棋盘格，黑白方块的边长为10～50mm，其边长精度为0.01mm～0.1mm，黑方块与白方块公有的顶点称为格点。选取靶面上格点为特征点，特征点数量为16～400个。

2、设定摄像机4的观测位置，调整摄像机4镜头焦距和光圈。摄像机的观测位置位于计算机屏幕上方，定义为观察用户控制点的最佳位置，根据要观测的控制点三维空间范围，调整好摄像机的镜头焦距，根据光照环境，调整好光圈大小。将摄像机固定在观测位置，并固定好摄像机镜头的焦距和光圈。

3、校准摄像机4内部参数。具体步骤如下：

第一步，在摄像机的视场范围内，自由、非平行地移动实体靶标1至少3个位置，每移动一个位置，拍摄一幅图像，称为摄像机校准图像，实体靶标1的所有特征点应包含在拍摄图像内。

第二步，提取所有摄像机校准图像的特征点的图像坐标。特征点图像坐标自动提取算法参见周富强著《双目立体视觉检测的关键技术研究》，北京航空航天大学博士后研究工作报告，2002。

在实体靶标平面上建立世界坐标系，用o_w-x_wy_wz_w表示，原点在左上角，x_w、y_w轴分别与靶标方块平行，x_w轴水平向右，y_w轴竖直向下，z_w轴由右手法则确定。将特征点的图像坐标与特征点的世界坐标对应。

第三步，利用第二步提取的所有特征点的图像坐标及对应的世界坐标来校准摄像机内部参数，包括摄像机有效焦距、主点以及畸变系数。

根据公式[1]～[4]，利用特征点的世界坐标X_wi，得到特征点的计算图像坐标X’_di＝[x’_di y’_di]^T，特征点的实际图像坐标为X_di，则有：

$f(f_x,f_y,u_0,v_0,k_1,R_c^w{T}_c^w)={\mathrm{\Σ}}_{i=1}^N{d}^2({X^{\′}}_{\mathrm{di}},X_{\mathrm{di}})---\left[8\right]$

其中N为特征点数量，d(X’_di，X_di)表示计算投影点到实际投影点的距离。

根据公式[8]，采用Levenberg-Marquardt非线性优化方法可以估算出全部摄像机内部参数，包括摄像机焦距f_x和f_y，主点坐标(u₀，v₀)，镜头畸变系数k₁以及摄像机外部参数R_c ^w和T_c ^w。摄像机参数的初始值估计参见周富强著《双目立体视觉检测的关键技术研究》，北京航空航天大学博士后研究工作报告，2002。

若摄像机内部参数已知，则根据公式[8]，采用Levenberg-Marquardt非线性优化方法可以直接估计摄像机的外部参数R_c ^w和T_c ^w。Levenberg-Marquardt算法参见《最优化理论与方法》，(袁亚湘、孙文瑜著，科学出版社，1999年)。

校准好摄像机内部参数后，进行摄像机坐标系到屏幕坐标系的变换和屏幕平面校准，具体步骤如下：

4、确定使用计算机系统的屏幕3的可视物理尺寸和显示分辨率。计算机的显示分辨率为s_l×s_h像素，屏幕可视物理尺寸为l_s×h_s英寸，这些参数对于实际使用的计算机系统是已知的，可以从相关手册和操作系统查询获得。

5、设定虚拟靶标2。靶标的形状与实体靶标1相同，特征点数量也相同，由计算机生成，直接显示在屏幕3上。虚拟靶标2方块的边长l_p为30～150像素，实际大小的长宽尺寸为 $25.4*l_p(\frac{l_s}{s_l}\×\frac{l_h}{s_h})\mathrm{mm}.$

6、放置实体靶标1，调整摄像机4、实体靶标1和虚拟靶标2的位置关系。实体靶标1在屏幕3前方，靶标平面与屏幕大约成90°～150°的角度，保证摄像机在观测位置能够观测到实体靶标1上所有特征点。保持实体靶标1不动，移动摄像机4，保证摄像机能够同时观测到实体靶标1和虚拟靶标2上的所有特征点，此时摄像机所在位置称为中介位置。固定实体靶标1，在校准过程中，保持实体靶标1的位置和虚拟靶标2的显示位置及大小不发生变化。

7、获得屏幕坐标系到实体靶标坐标系的变换。具体步骤为：

第一步，如图3所示，将摄像机4固定在中介位置，此时摄像机坐标系称为中介坐标系，用o_c2-x_c2y_c2z_c2表示。拍摄一幅包含实体靶标1和虚拟靶标2所有特征点在内的图像，称为双靶标校准图像。

第二步，提取双靶标校准图像内属于实体靶标1的所有特征点的图像坐标。特征点图像坐标自动提取算法参见周富强著《双目立体视觉检测的关键技术研究》，北京航空航天大学博士后研究工作报告，2002。

根据公式[3]和[4]，利用实体靶标上的特征点的图像坐标计算其对应的投影坐标。

在实体靶标平面上建立实体靶标坐标系，用o_t-x_ty_tz_t表示，原点在左上角，x_t、y_t轴分别与靶标方块平行，x_t轴水平向右，y_t轴竖直向下，z_t轴由右手法则确定，此处的实体靶标坐标系相当于世界坐标系。根据公式[1]，o_t-x_ty_tz_t到o_c2-x_c2y_c2z_c2的变换为：

$X_{c2}=R_{c2}^t{X}_t+T_{c2}^t---\left[9\right]$

其中R_c2 ^t和T_c2 ^t分别为旋转矩阵和平移矢量，X_c2表示特征点在中介坐标系的坐标矢量，X_t表示特征点的实体靶标坐标矢量。在已知摄像机内部参数情况下，根据公式[8]表示的优化目标函数，利用二维平面靶标上特征点的实体靶标坐标和对应图像坐标，采用非线性优化得到R_c2 ^t和T_c2 ^t。

第三步，提取双靶标校准图像内属于虚拟靶标2的所有特征点的图像坐标，根据摄像机模型和内部参数，计算特征点的投影坐标。图像坐标提取和对应投影点计算方法与第二步相同。

在屏幕平面上建立屏幕坐标系，用o_s-x_sy_sz_s表示，原点在左上角，x_s轴水平向右，y_s轴竖直向下，z_s轴由右手法则确定，此处的屏幕坐标系相当于世界坐标系。根据公式[1]，o_s-x_sy_sz_s到o_c2-x_c2y_c2z_c2的变换为：

$X_{c2}=R_{c2}^s{X}_s+T_{c2}^s---\left[10\right]$

其中R_c2 ^s和T_c2 ^s分别为旋转矩阵和平移矢量，X_s表示特征点的屏幕坐标矢量。在已知摄像机内部参数情况下，根据公式[8]表示的优化目标函数，利用虚拟靶标上特征点的屏幕坐标和对应图像坐标，采用非线性优化得到R_c2 ^s和T_c2 ^s。

第四步，由第二步得到的o_t-x_ty_tz_t到o_c2-x_c2y_c2z_c2的变换和第三步得到的o_s-x_sy_sz_s到o_c2-x_c2y_c2z_c2的变换，根据公式[9]和[10]，o_s-x_sy_sz_s到o_t-x_ty_tz_t的变换为：

$X_t={\left(R_{c2}^t\right)}^{-1}(R_{c2}^s{X}_s+T_{c2}^s-T_{c2}^t)---\left[11\right]$

8、获得屏幕坐标系到摄像机坐标系的变换。具体步骤为：

第一步，如图3所示，保持实体靶标不动，将摄像机4固定在观测位置，定义为观察用户控制点的最佳位置，此时的摄像机坐标系为o_c-x_cy_cz_c，屏幕平面不在摄像机的视场范围。

拍摄一幅包含实体靶标1所有特征点在内的图像，称为单靶标校准图像。

第二步，提取单靶标校准图像内属于实体靶标1的所有特征点的图像坐标，根据摄像机模型和内部参数，计算特征点的投影坐标。图像坐标提取和对应投影点计算方法与步骤7的第二步相同。

根据公式[1]，o_t-x_ty_tz_t到o_c-x_cy_cz_c的变换为：

$X_c=R_c^t{X}_t+T_c^t---\left[12\right]$

其中R_c ^t和T_c ^t分别为旋转矩阵和平移矢量。在已知摄像机内部参数情况下，根据公式[8]表示的优化目标函数，利用实体靶标上特征点的实体靶标坐标和对应图像坐标，采用非线性优化得到R_c ^t和T_c ^t。

第三步，由第二步得到的o_t-x_ty_tz_t到o_c-x_cy_cz_c的变换和步骤7得到的o_s-x_sy_sz_s到o_t-x_ty_tz_t的变换，根据公式[11]和[12]，o_s-x_sy_sz_s到o_c-x_cy_cz_c的变换为：

$X_c=R_c^s{X}_s+T_c^s---\left[13\right]$

其中 $R_c^s=R_c^t{\left(R_{c2}^t\right)}^{-1}{R}_{c2}^s,$ $T_c^s=R_c^t{\left(R_{c2}^t\right)}^{-1}(T_{c2}^s-T_{c2}^t)+T_c^t.$ R_c ^s和T_c ^s分别为旋转矩阵和平移矢量。

9、获得屏幕平面在摄像机坐标系中的方程。利用虚拟靶标2上特征点的屏幕坐标，由步骤8得到的o_s-x_sy_sz_s到o_c-x_cy_cz_c的变换，根据公式[13]，计算虚拟靶标2上特征点的摄像机坐标，利用特征点的摄像机坐标拟合平面得到屏幕平面π_s在o_c-x_cy_cz_c中：Ax+By+Cz+D＝0。

在得到R_c ^s和T_c ^s后，根据公式[7]，就可以由对应于空间控制点位于屏幕平面上的投影点的摄像机坐标得到屏幕坐标。

10、将校准后的摄像机焦距f_x和f_y，主点坐标(u₀，v₀)，镜头畸变系数k₁，π_s在o_c-x_cy_cz_c中的方程系数A、B、C和D，o_s-x_sy_sz_s到o_c-x_cy_cz_c的变换R_c ^s和T_c ^s保存到系统参数文件中，以备虚拟鼠标系统使用时调用。

实施例

采用罗技QuickCam Pro 5000 USB 2.0彩色摄像机和15英寸的LCD液晶显示器构成单摄像机虚拟鼠标系统，摄像机的镜头为广角镜头，工作距离大于10cm。摄像机的图像传感器为CMOS芯片，30万像素分辨率，动态分辨率为640×480像素，最大帧数为30帧/秒。计算机显示屏幕的物理尺寸为15英寸的液晶显示器，长宽比为4∶3，显示分辨率为1024×768像素，虚拟靶标2的方块为60×60像素，实际大小的物理尺寸为17.859×17.859mm。

采用如图1所示的二维平面实体靶标1，对单摄像机虚拟鼠标系统的参数进行校准。实体靶标的方块数量为8×8，方块的尺寸为17.859×17.859mm，采用1200dpi高分辨率的激光打印机打印得到。

校准后的摄像机内部参数如下：

f_x＝670.976像素，f_y＝673.348像素

u₀＝314.030像素，v₀＝249.489像素

k₁＝-0.040

摄像机校准误差定义为实际获取特征点的图像坐标X_di与根据模型计算的图像坐标X’_di的距离d(X’_di，X_di)，取49个点进行了实验，然后计算RMS误差，得到的RMS距离误差为0.345像素。

屏幕平面π_s在摄像机坐标系o_c-x_cy_cz_c中的方程为：

              x+0.8333y-6.5000z-166.6667＝0

o_s-x_sy_sz_s到o_c-x_cy_cz_c的变换R_c ^s和T_c ^s如下：

$R_c^s=\left[\begin{array}{ccc}-0.990& 0.027& 0.139\\ 0.046& 0.990& 0.135\\ -0.134& 0.140& -0.981\end{array}\right]$

$T_c^s=\left[\begin{array}{c}51.217\\ 129.508\\ -0.189\end{array}\right]$

将校准好的单摄像机虚拟鼠标系统应用于鼻子人机交互系统，以人的鼻尖作为空间控制点，通过图像处理分析，提取出鼻尖的图像坐标，然后采用本发明建立的数学模型，将鼻尖的图像坐标映射为屏幕上的控制点，实现鼻子对计算机的非接触控制，取得较好效果。

Claims (1)

1、一种单摄像机虚拟鼠标系统的校准方法，其特征在于，校准包括摄像机内部参数校准阶段、屏幕坐标系到摄像机坐标系的变换和屏幕平面校准阶段。校准的具体步骤如下：

1.1、摄像机内部参数校准阶段：

1.1.1、设定实体靶标[1]。靶标为一个二维平面，靶标上有预先设置的特征点，在靶标平面上布置黑白相间的棋盘格，黑白方块的边长为10～50mm，其边长精度为0.01mm～0.1mm，黑方块与白方块公有的顶点称为格点。选取靶面上格点为特征点，特征点数量为16～400个；

1.1.2、设定摄像机[4]的观测位置，调整摄像机的镜头焦距和光圈。摄像机观测位置位于计算机屏幕上方，定义为观察用户控制点的最佳位置，根据要观测的控制点三维空间范围，调整好摄像机的镜头焦距，根据光照环境，调整好光圈大小。将摄像机固定在观测位置，并固定好摄像机镜头的焦距和光圈；

1.1.3、校准摄像机[4]内部参数。具体步骤如下：

第一步，在摄像机的视场范围内，自由、非平行地移动实体靶标[1]至少3个位置，每移动一个位置，拍摄一幅图像，称为摄像机校准图像，靶标上所有的特征点应包含在拍摄图像内；

第二步，提取所有摄像机校准图像的特征点的图像坐标，并与特征点的世界坐标坐标对应；

第三步，利用第二步提取的所有特征点的图像坐标及对应的世界坐标来校准摄像机内部参数，包括摄像机有效焦距、主点以及畸变系数；

1.2、屏幕坐标系到摄像机坐标系的变换和屏幕平面校准阶段

1.2.1、确定使用计算机系统的屏幕[3]的可视物理尺寸和显示分辨率。计算机的显示分辨率为s_l×s_h像素，屏幕可视物理尺寸为l_s×h_s英寸，这些参数对于实际使用的计算机系统是已知的，可以从相关手册和操作系统查询获得；

1.2.2、设定虚拟靶标[2]。靶标的形状与实体靶标[1]相同，特征点数量也相同，由计算机生成，直接显示在屏幕[3]上。虚拟靶标[2]方块的边长l_p为30～150像素，实际大小的长宽尺寸为 $25.4*l_p(\frac{l_s}{s_l}\×\frac{l_n}{s_h})\mathrm{mm};$

1.2.3、放置实体靶标[1]，调整摄像机[4]、实体靶标[1]和虚拟靶标[2]的位置关系。实体靶标[1]在屏幕[3]前方，靶标平面与屏幕大约成90°～150°的角度，保证摄像机在观测位置能够观测到实体靶标[1]上所有特征点。保持实体靶标[1]不动，移动摄像机[4]，保证摄像机能够同时观测到实体靶标[1]和虚拟靶标[2]上的所有特征点，此时摄像机所在位置称为中介位置。固定实体靶标[1]，在校准过程中，保持实体靶标[1]的位置和虚拟靶标[2]的显示位置及大小不发生变化；

1.2.4、获得屏幕坐标系到实体靶标坐标系的变换。具体步骤为：

第一步，将摄像机[4]固定在中介位置，此时摄像机坐标系称为中介坐标系。拍摄一幅包含实体靶标[1]和虚拟靶标[2]所有特征点在内的图像，称为双靶标校准图像；

第二步，提取双靶标校准图像内属于实体靶标[1]的所有特征点的图像坐标，根据摄像机模型和内部参数，计算特征点的投影坐标。利用特征点的投影坐标和对应的实体靶标坐标，计算实体靶标坐标系到中介坐标系的变换；

第三步，提取双靶标校准图像内属于虚拟靶标[2]的所有特征点的图像坐标，根据摄像机模型和内部参数，计算特征点的投影坐标。利用特征点的投影坐标和对应的屏幕坐标，计算屏幕坐标系到中介坐标系的变换；

第四步，由第二步得到的实体靶标坐标系到中介坐标系的变换和第三步得到的屏幕坐标系到中介坐标系变换，计算屏幕坐标系到实体靶标坐标系的变换；

1.2.5、获得屏幕坐标系到摄像机坐标系的变换。具体步骤为：

第一步，将摄像机[4]固定在观测位置，拍摄一幅包含实体靶标[1]所有特征点在内的图像，称为单靶标校准图像；

第二步，提取单靶标校准图像内属于实体靶标[1]的所有特征点的图像坐标，根据摄像机模型和内部参数，计算特征点的投影坐标。利用特征点的投影坐标和对应的实体靶标坐标，计算实体靶标坐标系到摄像机坐标系的变换；

第三步，由第二步得到的实体靶标坐标系到摄像机坐标系的变换和步骤1.2.4得到的屏幕坐标系到实体靶标坐标系的变换，计算屏幕坐标系到摄像机坐标系的变换；

1.2.6、获得屏幕平面在摄像机坐标系中的方程。利用虚拟靶标[2]上特征点的屏幕坐标，根据由步骤1.2.5得到的屏幕坐标系到摄像机坐标系的变换，计算虚拟靶标[2]上特征点的摄像机坐标，利用特征点的摄像机坐标拟合平面得到屏幕平面在摄像机坐标系中的方程；

1.2.7、将校准的摄像机内部参数、屏幕坐标系到摄像机坐标系的变换参数和屏幕平面在摄像机坐标系中的方程系数保存到系统参数文件中，以备虚拟鼠标系统使用时调用。

Images