CN108388341B - 一种基于红外摄像机-可见光投影仪的人机交互系统及装置 - Google Patents

Abstract

本发明公开了一种基于红外摄像机‑可见光投影仪的人机交互系统及装置，利用红外摄像机获取人体三维形态，通过红外摄像机与可见光投影仪之间的位姿关系，将三维数据与投影仪的画幅相结合，通过与预先定义的规则相结合，实现实时的人机交互。本发明利用两个红外摄像机获取三维信息，信息量更加丰富，应用更加灵活，并且不需要其他接触式设备；红外摄像机与红外LED灯相结合，防止环境光和投影光的干扰，使得检测过程更加准确；通过标定实现了红外摄像机和可见光投影仪之间的位姿转换，最终实现与投影仪的交互功能。

Description

一种基于红外摄像机-可见光投影仪的人机交互系统及装置

技术领域

本发明属于光学三维测量领域，提供了一种基于红外摄像机-可见光投影仪的人机交互系统及装置，利用红外摄像机获取人体形态，通过红外摄像机-可见光投影仪之间的关系实现实时的人机交互。

背景技术

人机交互技术是指通过计算机输入、输出设备，以有效的方式实现人与计算机对话的技术。

人机交互技术包括机器通过输出或显示设备给人提供大量有关信息及提示请示等，人通过输入设备给机器输入有关信息，回答问题及提示请示等。人机交互技术是计算机用户界面设计中的重要内容之一。它与认知学、人机工程学、心理学等学科领域有密切的联系。

传统用于人机交互方法主要是基于触摸交互设备(鼠标，触摸屏)，这类交互方式无法完全模拟人体动作。随着人机交互技术的不断发展,各种各样的新型人机交互技术不断涌现，基于视觉的人机交互技术由于比较符合交流习惯成为近年来应用于人机交互技术中的一项关键技术。基于视觉的人机交互是当前涉及图象处理、模式识别、计算机视觉等领域的一个比较活跃的课题，具有很广泛的应用价值，例如控制VR中的智能化，机器人控制，虚拟现实系统中的多模式接口等。

光学三维测量由于具有非接触、精度高、速度快的优势，已经发展成为三维检测领域最重要的技术。三维数据具有更高的自由度，更广阔的定义空间，更精准的信息获取，在人机交互中有着重要价值。由于结构光立体视觉系统简便，成本比较低，而且精度较高，因此应用最为广泛。

发明内容

本发明提供了一种基于红外摄像机-可见光投影仪的人机交互系统及装置，利用红外摄像机获取人体三维形态，通过红外摄像机与可见光投影仪之间的位姿关系，将三维数据与投影仪的画幅相结合，通过与预先定义的规则相结合，实现实时的人机交互。

本发明采取的技术方案为：

一种基于红外摄像机-可见光投影仪的人机交互系统，包括计算装置、可见光投影仪、红外LED灯、双目立体视觉系统、可见光摄像机、标定装置和投影面；所述双目立体视觉系统由相对设置的左红外摄像机和右红外摄像机构成，用于采集目标的三维数据；所述红外LED灯设置在左红外摄像机和右红外摄像机之间，红外LED灯、左红外摄像机和右红外摄像机用于减少环境光和投影光的干扰；所述可见光摄像机辅助标定双目立体视觉系统，得到左红外摄像机坐标系、右红外摄像机坐标系和可见光投影仪坐标系之间的转换关系；利用左红外摄像机和右红外摄像机识别出预先定义的手势，在可见光投影仪中实现相对应的响应，实现人机交互。

所述双目立体视觉系统中的左红外摄像机和右红外摄像机的光轴有0度到120度的交叉，通过标定左红外摄像机和右红外摄像机的内外参数参数，实现目标三维信息的重建。

所述可见光投影仪投射的光属于可见光波段，可见光波段的波长为400到760纳米。

所述左红外摄像机和右红外摄像机可检测波段为近红外波段，近红外波段波长为780到3000纳米；

所述可见光摄像机为彩色摄像机或者黑白摄像机。

整个交互过程如下：

第一步：在扫描被测目标前，标定出可见光投影仪和红外摄像机之间的位姿关系。标定方法如下；

(1)利用标定装置(如：棋盘格标定板等)对两个个红外摄像机和可见光摄像机分别进行单摄像机标定，得到三个摄像机的内参矩阵，包括主点位置、焦距、镜头畸变参数等；

(2)利用标定装置对两个红外摄像机(左红外摄像机、右红外摄像机)进行双目标定，以左红外摄像机为基准，计算右红外摄像机到左红外摄像机的位姿转换矩阵；

(3)利用标定装置对一个红外摄像机(左红外摄像机)和可见光摄像机进行双目标定，以左红外摄像机为基准，计算可见光摄像机到左红外摄像机的位姿转换矩阵。若使用一个RGBIR(红、绿、蓝、红外)摄像机代替两个摄像机，则可以跳过此步骤；

(4)利用标定装置对可见光投影仪和可见光摄像机进行标定，得到可见光摄像机和可见光投影仪之间的位姿转换矩阵，其中可见光投影仪向标志物上投射编码结构光(如：正弦条纹图等)，可见光摄像机拍摄投射有编码结构光的标志物，从中得到编码信息，通过编码信息与可见光投影仪的坐标进行匹配标定；

(5)利用(3)(4)得到的红外摄像机和可见光摄像机，以及可见光摄像机和可见光投影仪之间的位姿转换关系，计算出红外摄像机和可见光投影仪之间的位姿转换关系，完成红外摄像机和可见光投影仪的标定。

第二步：在红外LED照明条件下，用两个红外摄像机(左红外摄像机、右红外摄像机)同时对被测目标进行采集，利用第一步的标定参数对目标进行双目立体重建，得到三维信息。

第三步：利用第一步的标定参数，将重建得到的三维数据转到投影仪坐标系下，获得其对应的投影位置，根据定义好的控制指令实现与投影仪的交互功能。

有益效果

本发明方案提出的是一种新型的红外摄像机-可见光投影仪人机交互系统，利用两个红外摄像机获取三维信息，信息量更加丰富，应用更加灵活，并且不需要其他接触式设备；红外摄像机与红外LED灯相结合，防止环境光和投影光的干扰，使得检测过程更加准确；通过标定实现了红外摄像机和可见光投影仪之间的位姿转换，最终实现与投影仪的交互功能。

附图说明

图1一种基于红外摄像机-可见光投影仪的人机交互标定装置；

图2基于红外摄像机-可见光投影仪的人机交互系统标定示装置意图；

图3人机交互系统工作意图；

其中：1为左红外摄像机、2为红外LED灯、3为可见光投影仪、4为右红外摄像机、5为计算装置、6为投影面、7为可见光摄像机、8为标定装置。

具体实施方式

下面具体结合附图对本发明做详细描述。

一种基于红外摄像机-可见光投影仪的人机交互标定装置(图1所示)包括计算装置(计算机或者计算芯片)、可见光投影仪、红外LED灯、左红外摄像机、右红外摄像机和投影面。利用红外摄像机获取人体三维形态，通过红外摄像机与可见光投影仪之间的位姿关系，将三维数据与投影仪的画幅相结合，通过与预先定义的规则相结合，实现实时的人机交互。

具体包括以下步骤：

第一步，标定系统参数

对系统参数的标定需要用到如图2所示的基于红外摄像机-可见光投影仪的人机交互系统标定示装置，包括可见光投影仪、红外LED灯、左红外摄像机和右红外摄像机、可见光摄像机和标定装置。

1)对左红外摄像机、右红外摄像机和可见光摄像机分别进行单摄像机标定空间中任何一点P_W从三维空间到摄像机的二维图像平面可以用针孔摄像机模型近似表示，即任何点P_W在图像中的投影位置p为光心c和点P_W的连线cP_W与图像平面的交点，此种关系也称为透视投影。理想的透镜成像是针孔模型，但实际中透镜并不完全满足这个条件，由于摄像机光学系统的加工误差和装配误差，摄像机像面上的实际成像与理想成像之间存在光学畸变误差。

设M为透视投影矩阵，设空间中任意一个三维点P_W在世界坐标系中的坐标为(X_W,Y_W,Z_W)，其在摄像机坐标系中的坐标为(x_c,y_c,z_c)，其投影到摄像机的图像平面坐标系中的坐标为(x,y)，其投影到摄像机的图像像素坐标系中的坐标为(u,v)。

由光学成像原理以及点P_W在摄像机坐标系和图像平面坐标系的投影关系可得：

式中：(x,y)为空间点P_W的图像平面坐标系坐标，(x_c,y_c,y_c)为空间点P_W的摄像机坐标系坐标，f为光心到成像平面的距离，一般称为摄像机的焦距。

由坐标变换关系可得图像平面坐标系和图像像素坐标系的关系式：

式中：(u,v)为图像像素坐标系中的坐标，(u₀,v₀)为主点坐标，(x,y)为摄像机坐标系中的坐标，dx和dy分别为每一个像素在x轴和y轴方向上的物理尺寸。

则由此可得透视投影关系：

m'＝Mw'

式中：m'和w'分别为P_W点的投影点齐次坐标和世界齐次坐标。

则透视投影矩阵M可分解为：

M＝A[R T]

式中：R是旋转矩阵，T是平移向量，它们组成摄像机的外部参数矩阵。

A为摄像机矩阵，包含了摄像机的内部参数信息：

式中：f/dx，f/dy分别为以垂直和水平像素单位表示的焦距长度，(u₀,v₀)为主点坐标即光轴与成像平面的交点，γ为图像中两条坐标轴的倾斜因子。通过标定板的已知信息可以求取摄像机的内部参数。

要完成空间点从世界坐标系向图像坐标系的转换，就要已知上述公式中的所有未知量，A和B分别表示内参矩阵和外参矩阵。其中，s_x，s_y，c_x，c_y和f是摄像机的内部参数，称作摄像机内参。

2)对两个红外摄像机(左1、右4)进行双目标定

双目立体视觉利用视差原理，根据光学三角法获取被测物体的深度信息。最简单的双目立体视觉系统，O₁x_wy_wz_w是世界坐标系(与左红外摄像机坐标系重合)，y_w垂直纸面；C₁U₁V₁是左红外摄像机成像平面坐标系，V₁垂直于纸面，C₂U₂V₂是右红外摄像机成像平面坐标系，V₂垂直于纸面；f是主距，b是基线长度。一空间点P的世界坐标为(x_W,y_W,z_W)，P在左、右红外摄像机成像平面中的坐标分别为P₁(u₁,v₁)和P₂(u₂,v₂)。由于摄像机处在标准的双目立体视觉系统下，则v₁＝v₂＝h，根据相似三角形可得：

令d_w＝u₂-u₁，则P的三维世界空间坐标：

由于主点是以像素为单位的，而d_w的单位是世界单位，因此需要通过使用x方向上的像素尺寸缩放d_w，将其转换到像素坐标下：

d_p＝d_w/s_x

式中：

s_x——x方向的缩放比例因子。

而在图像坐标系中：

d_p＝(c_c1-c_c2)+(c₂-c₁)

式中：

c_c1,c_c2——主点在图像坐标系下的列坐标；

c₁,c₂——点P₁和P₂在图像坐标系下的列坐标。

由于c_c1-c_c2对所有点都是常量，且通过摄像机标定及校正就可以得到，因此，P的世界坐标是与d＝c₂-c₁相关的，这个差值d就是左、右图像的视差。因此，只要找出左、右图像中的匹配点，获取视差图，再经摄像机标定外参，就能重构出空间点的三维坐标。

通过上述公式，可以得到R＝R(α，β，γ)和T＝(t_x,t_y,t_z)^T，即摄像机在世界坐标系中的位姿，称作摄像机外参。

3)对红外摄像机和可见光摄像机进行双目标定

与2)同理，可以得到红外摄像机和可见光摄像机之间的外参。

4)对可见光投影仪和可见光摄像机进行标定

为投影仪建立一个与摄像机类似的数学模型。不考虑镜头畸变时，采用小孔成像模型作为投影仪的数学模型。投影仪是基于同样的高到四阶的径向和切向镜头畸变

的透视投影。世界坐标系(WCS)中的一点，P_W＝[X Y Z]^T，且它有在设备坐标系(投影仪坐标系)中的坐标P＝[x y z]^T。

从P_W到P的变换是一个刚体变换，可表示为：

P＝RP_W+T

式中：R和T分别为旋转矩阵和平移矩阵。

定义P_n为点P在归一化图像平面上的投影，归一化图像平面平行于图像平面且是到镜头中心O得距离是单位距离。然后，P_n能被写成：

考虑到径向和切向镜头畸变对P_n的影响，我们有在归一化图像平面上的畸变投影P_d

式中：r²＝x²+y²，并且K＝[k₁ k₂ k₃ k₄]，r²和K是镜头畸变系数在右边的最后两项分别代表径向和切向镜头畸变。

然后，在图像平面上的投影P_i能表示如下：

式中：f_u和f_v分别水平方向和垂直方向上的焦距，u₀和v₀是主点坐标。

投影仪模型能表示如下：

P_i＝g(P_W,Θ)

式中：g(·)描述了从世界坐标系到图像平面的成像过程，

Θ＝[R T f_u f_v u₀ v₀ K]。

5)红外摄像机和可见光投影仪的标定

利用3)4)得到的左红外摄像机和第二可见光摄像机，以及第二可见光摄像机和可见光投影仪之间的位姿转换关系，计算出红外摄像机和可见光投影仪之间的位姿转换关系，完成红外摄像机和可见光投影仪的标定。

第二步，信息获取

如图1所示，包括计算装置(计算机或者计算芯片)、可见光投影仪、红外LED灯、左红外摄像机、右红外摄像机和投影面。

在红外LED照明条件下，用左红外摄像机和右红外摄像机同时对被测目标进行采集，利用第一步的标定参数对目标进行双目立体重建，得到三维信息。

双目立体视觉利用视差原理，根据光学三角法获取被测物体的深度信息。最简单的双目立体视觉系统，O₁x_wy_wz_w是世界坐标系(与左红外摄像机坐标系重合)，y_w垂直纸面；C₁U₁V₁是左红外摄像机成像平面坐标系，V₁垂直于纸面，C₂U₂V₂是右红外摄像机成像平面坐标系，V₂垂直于纸面；f是主距，b是基线长度。一空间点P的世界坐标为(x_W,y_W,z_W)，P在左、右红外摄像机成像平面中的坐标分别为P₁(u₁,v₁)和P₂(u₂,v₂)。由于摄像机处在标准的双目立体视觉系统下，则v₁＝v₂＝h，根据相似三角形可得：

令d_w＝u₂-u₁，则P的三维世界空间坐标：

由于主点是以像素为单位的，而d_w的单位是世界单位，因此需要通过使用x方向上的像素尺寸缩放d_w，将其转换到像素坐标下：

d_p＝d_w/s_x

式中：

s_x——x方向的缩放比例因子。

而在图像坐标系中：

d_p＝(c_c1-c_c2)+(c₂-c₁)

式中：

c_c1,c_c2——主点在图像坐标系下的列坐标；

c₁,c₂——点P₁和P₂在图像坐标系下的列坐标。

由于c_c1-c_c2对所有点都是常量，且通过摄像机标定及校正就可以得到，因此，P的世界坐标是与d＝c₂-c₁相关的，这个差值d就是左、右图像的视差。因此，只要找出左、右图像中的匹配点，获取视差图，再经摄像机标定外参，就能以左相机(1)为参照系重构出空间点的三维坐标。

第三步，人机交互

利用第一步5)得到的红外摄像机和可见光投影仪的标定参数，将重建得到的三维数据转到投影仪坐标系下，获得其对应的投影位置，根据定义好的控制指令实现与投影仪的交互功能。

以图3所示的指尖点击操作为例。可见光投影仪实时显示计算装置发送的画面，红外LED灯处于工作状态，右红外摄像机对当前视场进行实时三维重建。当点击操作进行时，点击的指尖点的三维坐标将在三维空间z向发生较大变化，x，y方向发生微小偏移，因此，我们可以依此来定义点击动作与位置。只要我们定义合适约束条件，就能够根据相应特征点运动轨迹判断当前发生动作含义，实现人机交互等功能。

以上所述，仅是本发明的较佳实施例而已，并非对本发明作任何形式上的限制，虽然本发明已以较佳实施例揭露如上，然而并非用以限定本发明，任何熟悉本专业的技术人员,在不脱离本发明技术方案范围内，当可利用上述揭示的方法及技术内容作出些许的更动或修饰为等同变化的等效实施例，但凡是未脱离本发明技术方案的内容，依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与修饰，仍属于本发明技术方案的范围内。

Claims (8)

1.基于红外摄像机-可见光投影仪的人机交互系统的交互方法，其特征在于，包括以下步骤：

人机交互系统包括计算装置、可见光投影仪、红外LED灯、双目立体视觉系统、可见光摄像机、标定装置和投影面；所述双目立体视觉系统由相对设置的左红外摄像机和右红外摄像机构成，用于采集目标的三维数据；所述红外LED灯设置在左红外摄像机和右红外摄像机之间，红外LED灯、左红外摄像机和右红外摄像机用于减少环境光和投影光的干扰；所述可见光摄像机辅助标定双目立体视觉系统，得到左红外摄像机坐标系、右红外摄像机坐标系和可见光投影仪坐标系之间的转换关系；利用左红外摄像机和右红外摄像机识别出预先定义的手势，在可见光投影仪中实现相对应的响应，实现人机交互；

第一步，标定系统参数：设置人机交互系统；

1)对左红外摄像机、右红外摄像机和可见光摄像机分别进行单摄像机标定空间中任何一点P_W从三维空间到摄像机的二维图像平面可以用针孔摄像机模型近似表示，即任何点P_W在图像中的投影位置p为光心c和点P_W的连线cP_W与图像平面的交点，此种关系也称为透视投影；

设M为透视投影矩阵，设空间中任意一个三维点P_W在世界坐标系中的坐标为(x_W,y_W,z_W)，其在摄像机坐标系中的坐标为(x_c,y_c,z_c)，其投影到摄像机的图像平面坐标系中的坐标为(x,y)，其投影到摄像机的图像像素坐标系中的坐标为(u,v)；

由光学成像原理以及点P_W在摄像机坐标系和图像平面坐标系的投影关系可得：

式中：(x,y)为空间点P_W的图像平面坐标系坐标，(x_c,y_c,y_c)为空间点P_W的摄像机坐标系坐标，f为光心到成像平面的距离，称为摄像机的焦距；

由坐标变换关系可得图像平面坐标系和图像像素坐标系的关系式：

式中：(u,v)为图像像素坐标系中的坐标，(u₀,v₀)为主点坐标，(x,y)为摄像机坐标系中的坐标，dx和dy分别为每一个像素在x轴和y轴方向上的物理尺寸；

则由此可得透视投影关系：

m'＝Mw'

式中：m'和w'分别为P_W点的投影点齐次坐标和世界齐次坐标；

则透视投影矩阵M可分解为：

M＝A[R T]；

式中：R是旋转矩阵，T是平移向量，它们组成摄像机的外部参数矩阵；

A为摄像机矩阵，包含了摄像机的内部参数信息：

式中：f/dx，f/dy分别为以垂直和水平像素单位表示的焦距长度，(u₀,v₀)为主点坐标即光轴与成像平面的交点，γ为图像中两条坐标轴的倾斜因子；通过标定板的已知信息可以求取摄像机的内部参数；

要完成空间点从世界坐标系向图像坐标系的转换，就要已知上述公式中的所有未知量，A和B分别表示内参矩阵和外参矩阵；其中，s_x，s_y，c_x，c_y和f是摄像机的内部参数，称作摄像机内参；

2)对左红外摄像机和右红外摄像机进行双目标定：

双目立体视觉系统利用视差原理，根据光学三角法获取被测物体的深度信息；最简单的双目立体视觉系统，O₁x_wy_wz_w是世界坐标系，O₁x_wy_wz_w与左红外摄像机坐标系重合，y_w垂直纸面；C₁U₁V₁是左摄像机成像平面坐标系，V₁垂直于纸面，C₂U₂V₂是右摄像机成像平面坐标系，V₂垂直于纸面；f是主距，b是基线长度；一空间点P的世界坐标为(x_W,y_W,z_W)，P在左红外摄像机和右红外摄像机成像平面中的坐标分别为P₁(u₁,v₁)和P₂(u₂,v₂)；由于左红外摄像机和右红外摄像机处在标准的双目立体视觉系统下，则v₁＝v₂＝h，根据相似三角形可得：

令d_w＝u₂-u₁，则P的三维世界空间坐标：

由于主点是以像素为单位的，而d_w的单位是世界单位，因此需要通过使用x方向上的像素尺寸缩放d_w，将其转换到像素坐标下：

d_p＝d_w/s_x

式中：

s_x——x方向的缩放比例因子；

而在图像坐标系中：

d_p＝(c_c1-c_c2)+(c₂-c₁)

式中：

c_c1,c_c2——主点在图像坐标系下的列坐标；

c₁,c₂——点P₁和P₂在图像坐标系下的列坐标；

由于c_c1-c_c2对所有点都是常量，且通过摄像机标定及校正就可以得到，因此，P的世界坐标是与d＝c₂-c₁相关的，这个差值d就是左、右图像的视差；因此，只要找出左、右图像中的匹配点，获取视差图，再经摄像机标定外参，就能重构出空间点的三维坐标；

通过上述公式，可以得到R＝R(α，β，γ)和T＝(t_x,t_y,t_z)^T，即摄像机在世界坐标系中的位姿，称作摄像机外参；

3)对红外摄像机和可见光摄像机进行双目标定：

与2)同理，可以得到红外摄像机和可见光摄像机之间的外参；

4)对可见光投影仪和可见光摄像机进行标定：

为投影仪建立一个与摄像机类似的数学模型，采用小孔成像模型作为投影仪的数学模型，投影仪是基于同样的高到四阶的径向和切向镜头畸变的透视投影；世界坐标系(WCS)中的一点，P_W＝[X Y Z]^T，且它有在投影仪坐标系中的坐标P＝[x y z]^T；

从P_W到P的变换是一个刚体变换，可表示为：

P＝RP_W+T

式中：R和T分别为旋转矩阵和平移矩阵；

定义P_n为点P在归一化图像平面上的投影，归一化图像平面平行于图像平面且是到镜头中心O的距离是单位距离；然后，P_n能被写成：

考虑到径向和切向镜头畸变对P_n的影响，有在归一化图像平面上的畸变投影P_d；

式中：r²＝x²+y²，并且K＝[k₁ k₂ k₃ k₄]，r²和K是镜头畸变系数在右边的最后两项分别代表径向和切向镜头畸变；

然后，在图像平面上的投影P_i能表示如下：

式中：f_u和f_v分别水平方向和垂直方向上的焦距，u₀和v₀是主点坐标；

投影仪模型能表示如下：

P_i＝g(P_W,Θ)

式中：g(·)描述了从世界坐标系到图像平面的成像过程，

Θ＝[R T f_u f_v u₀ v₀ K]；

5)红外摄像机和可见光投影仪的标定：

利用3)4)得到的左红外摄像机和第二可见光摄像机，以及第二可见光摄像机和可见光投影仪之间的位姿转换关系，计算出红外摄像机和可见光投影仪之间的位姿转换关系，完成红外摄像机和可见光投影仪的标定；

第二步，信息获取：

包括计算装置、可见光投影仪、红外LED灯、左红外摄像机、右红外摄像机和投影面；

在红外LED照明条件下，用左红外摄像机和右红外摄像机同时对被测目标进行采集，利用第一步的标定参数对目标进行双目立体重建，得到三维信息；

双目立体视觉利用视差原理，根据光学三角法获取被测物体的深度信息；最简单的双目立体视觉系统，O₁x_wy_wz_w是世界坐标系，O₁x_wy_wz_w与左红外摄像机坐标系重合，y_w垂直纸面；C₁U₁V₁是左红外摄像机成像平面坐标系，V₁垂直于纸面，C₂U₂V₂是右红外摄像机成像平面坐标系，V₂垂直于纸面；f是主距，b是基线长度；一空间点P的世界坐标为(x_W,y_W,z_W)，P在左红外摄像机、右红外摄像机成像平面中的坐标分别为P₁(u₁,v₁)和P₂(u₂,v₂)；由于摄像机处在标准的双目立体视觉系统下，则v₁＝v₂＝h，根据相似三角形可得：

令d_w＝u₂-u₁，则P的三维世界空间坐标：

由于主点是以像素为单位的，而d_w的单位是世界单位，因此需要通过使用x方向上的像素尺寸缩放d_w，将其转换到像素坐标下：

d_p＝d_w/s_x；

式中：

s_x——x方向的缩放比例因子；

而在图像坐标系中：

d_p＝(c_c1-c_c2)+(c₂-c₁)；

式中：

c_c1,c_c2——主点在图像坐标系下的列坐标；

c₁,c₂——点P₁和P₂在图像坐标系下的列坐标；

由于c_c1-c_c2对所有点都是常量，且通过摄像机标定及校正就可以得到，因此，P的世界坐标是与d＝c₂-c₁相关的，这个差值d就是左、右图像的视差；因此，只要找出左、右图像中的匹配点，获取视差图，再经摄像机标定外参，就能以左红外摄像机为参照系重构出空间点的三维坐标；

第三步，人机交互：

利用第一步5)得到的左红外摄像机和可见光投影仪的标定参数，将重建得到的三维数据转到投影仪坐标系下，获得其对应的投影位置，根据定义好的控制指令实现与投影仪的交互功能。

2.如权利要求1所述人机交互系统的交互方法，其特征在于：所述双目立体视觉系统中的左红外摄像机和右红外摄像机的光轴有0度到120度的交叉，通过标定左红外摄像机和右红外摄像机的内外参数，实现目标三维信息的重建。

3.如权利要求1所述的人机交互系统的交互方法，其特征在于：所述可见光投影仪投射的光属于可见光波段，可见光波段的波长为400到760纳米。

4.如权利要求1所述的人机交互系统的交互方法，其特征在于：所述左红外摄像机和右红外摄像机可检测波段为近红外波段，近红外波段波长为780到3000纳米。

5.如权利要求1所述的人机交互系统的交互方法，其特征在于：所述可见光摄像机为彩色摄像机或者黑白摄像机。

6.如权利要求1所述的人机交互系统的交互方法，其特征在于：所述左红外摄像机和右红外摄像机用于手势识别，包括单个摄像机的二维手势识别和基于双目立体重建的三维手势识别。

7.如权利要求1所述的人机交互系统的交互方法，其特征在于：

采用可见光摄像机辅助进行左红外摄像机、右红外摄像机和可见光投影仪的标定，可见光摄像机只使用于标定过程中；

第一步：通过标定装置对左红外摄像机和可见光摄像机进行标定，得到左红外摄像机和可见光摄像机的内外参数；或者通过标定装置对右红外摄像机和可见光摄像机进行标定，得到右红外摄像机和可见光摄像机的内外参数；

第二步：通过标定装置对可见光投影仪和可见光摄像机进行标定，得到可见光摄像机和可见光投影仪之间的位姿转换关系，其中可见光投影仪向标志物上投射编码结构光，可见光摄像机拍摄投射有编码结构光的标志物，从中得到编码信息，通过编码信息与可见光投影仪的坐标进行匹配标定；

第三步：利用第一步和第二步得到的左红外摄像机和可见光摄像机的内外参数，或者右红外摄像机和可见光摄像机的内外参数，以及可见光摄像机和可见光投影仪之间的位姿转换关系，计算出左红外摄像机、右红外摄像机和可见光投影仪之间的位姿转换关系，完成左红外摄像机、右红外摄像机和可见光投影仪的标定。

8.如权利要求1所述的人机交互系统的交互方法，其特征在于：所述左红外摄像机、右红外摄像机和可见光摄像机为RGBIR摄像机。

Images