CN103176606B - 基于双目视觉识别的平面交互系统及方法 - Google Patents

Abstract

本申请涉及一种基于双目视觉识别的平面交互系统及方法。所述平面交互系统包括：成像装置，包含以相对固定的空间关系布置的两个成像组件，并且所述两个成像组件用于对目标同时进行图像捕获；处理器，被布置为处理同时捕获的所述目标的特征点的图像视差，计算所述特征点的空间坐标，根据所述特征点的空间坐标，确定所述特征点与设定的交互平面的空间关系，并且输出交互响应。

Description

基于双目视觉识别的平面交互系统及方法

技术领域

本发明涉及平面触摸操控系统，更具体地，涉及基于双目视觉识别的平面交互系统及方法。

背景技术

平面触摸操控系统是一种计算机输入方式。区别于传统鼠标和键盘的输入方式，平面触摸操控系统通过计算触点坐标并输入到计算机，以实现对计算机中的虚拟对象直接操作的目的。目前，已有许多公知的技术被应用于该平面触摸操控系统。

电阻式触摸屏技术利用压力感应进行控制，是一种在触摸终端上被广泛应用的触摸技术。工作原理是在一块上表面涂有金属氧化物导电层的透明基板上，覆盖一层下表面同样涂有金属氧化物导电层的透明塑料板，两层中间有透明间隔点以使两层导电层绝缘，这就构成电阻薄膜屏。该透明的电阻薄膜屏被作为输入设备覆盖在显示器上。当电阻薄膜屏被触摸按下时，两层导电层发生导电，通过测量电压值来计算推测出触点的位置。由于两层导电层需要外力使其接触才能正常输入，所以导致该技术有反应不够灵敏的缺点。同时，一旦表面导电层发生破损，也将使得整个设备无法使用。

电容式触摸屏技术也是一种在触摸终端被广泛应用的触摸技术。与电阻薄膜屏判断电压不同，电容式触摸屏通过判断电流强度来计算触点位置。当用户肢体触摸电容式触摸屏时，触点到屏幕四边电极导通并形成电流，触点位置不同，形成的电流强度也不同。根据电流强度，从而可以计算出触点在屏幕上的位置。该技术的缺点在于绝缘物体触摸电容式触摸屏时，由于不导电，所以不能对其进行操作。另外，当外界温度、湿度、电场发生改变时，电容式触摸屏容易出现触点坐标计算不准确的问题，造成操作失误。由于技术特点和生产工艺自身不可克服的原因，电容式触摸屏技术随着屏幕尺寸的增大，其定位精度大大降低，同时生产成本大幅提升，因而无法应用于大尺寸显示屏幕的交互系统。

红外对射技术通过在显示屏幕四周加装红外对射光电管来实现定位，因而是一种被广泛应用于大尺寸显示屏幕的人机交互方式，具有响应速度快、成品率高的优点。大量红外对射管和红外接收器被密集排布在安装在显示屏幕周边的边框内，在贴近屏幕表面的地方形成红外扫描矩阵。当有物体贴近屏幕时，会阻断红外接收器对红外信号的接收，从而能够得知触点的位置。由于红外接收器只对红外信号进行响应，所以外界白光（含有红外光成分）会对系统造成干扰，从而造成系统无法识别触点。此外，这种采用红外对射技术的显示屏幕不便携带。

双目视觉识别直接模拟人类双眼处理景物的方式，根据三角测量法原理，通过不同位置的两台或一台CCD摄像机经过移动或旋转拍摄同一景物。通过计算目标在两幅图像中的视差，获得该目标的三维空间坐标。该技术测量精度高，无需接触被测物体，在体姿检测与控制、机器人导航与航测、三维测量及虚拟现实等领域有着广泛应用。但是当目标被置于较复杂的背景之中，可能会出现目标识别错误，例如表面有条纹的目标放在有条纹的背景前，双目视觉识别容易发生错误，所以目前经常采用线型激光辅助扫描，以排除复杂背景的干扰。另外，由于双目视觉系统需要对大量图像信息进行处理，所以难以对目标进行高速实时空间坐标跟踪。

发明内容

如上所述，现有技术中的各种平面触摸操控系统具有易损坏、易受外界因素干扰、不适于大尺寸屏幕并且不便携带的各种问题。本申请的发明人提出了本发明来克服上述缺点。本发明的发明人提供了一种基于双目视觉识别的平面交互系统。本发明的平面交互系统无需采用线型激光辅助扫描。并且在本发明的平面交互系统中，对目标进行特征点转换，通过计算特征点空间坐标，可以快速得到目标准确的空间位置，从而满足平面交互系统的高速反应需求。

本发明的一方面提供一种基于双目视觉识别的平面交互系统，其包括：成像装置，包含以相对固定的空间关系布置的两个成像组件，并且所述两个成像组件用于对目标同时进行图像捕获；处理器，被布置为处理同时捕获的所述目标的特征点的图像视差，计算所述特征点的空间坐标，根据所述特征点的空间坐标，确定所述特征点与设定的交互平面的空间关系，并且输出交互响应。

本发明的另一方面提供一种基于双目视觉识别的平面交互方法，其包括：使用包含以相对固定的空间关系布置的两个成像组件的成像装置对目标同时进行图像捕获；处理同时捕获的所述目标的特征点的图像视差；计算所述特征点的空间坐标；根据所述特征点的空间坐标，确定所述特征点与设定的交互平面的空间关系，并且输出交互响应。

根据本发明的基于双目视觉识别的平面交互系统和平面交互方法，通过两个成像装置对目标的图像捕获，能够精确计算目标的空间位置，并根据目标与设定的交互平面的空间关系输出交互响应。这样的平面交互系统使用具有两个成像组件的成像装置进行图像捕获，由于该成像装置不被直接触摸，因此不易损坏。本发明的平面交互系统不需要电阻屏、电容屏或者红外对射光电管，能够降低成本。由于所述交互平面是可以根据需要来设定其尺寸和位置，而不是像常规的触摸屏幕那样是固定大小和位置的，因此对屏幕尺寸没有限制，能够适用于各种尺寸的屏幕，安装灵活性更高。并且本发明的平面交互系统由于没有像常规触摸屏幕那样的屏幕，因此便于携带。

从以下参照附图对示例性实施例的描述，本发明的特征将进一步变得明白。

附图说明

图1A是根据本发明一实施方案的平面交互系统的工作示意图；

图1B是根据本发明一实施方案的交互平面及目标特征点识别的示意图；

图2是根据本发明一实施方案的成像装置的结构示意图；

图3是根据本发明一实施方案的平面交互方法的流程图；

图4是根据本发明一实施方案的手指指尖的身份编号的示意图；

图5是根据本发明一实施方案的照明系统的结构示意图。

具体实施方式

下面参照附图对本发明的实施例进行描述。

图1A是根据本发明一实施方案的基于双目视觉识别的平面交互系统10的示意图。

系统10包括成像装置11和处理器16。成像装置11包括两个成像组件22和23，该成像组件22和23分别对如图1B所示的交互平面15上的目标14同时进行连续的图像捕获。所述交互平面15由空间不共线的三点定义。成像装置11的设计要求将在下文参考图2来描述。

处理器16处理来自成像装置11的图像信息，将同一时刻来自成像组件22和23的图像进行匹配计算，导出关于目标14的交互响应。执行该功能的处理器16可包括在通用计算机处理器上通过计算机程序编写来实现下文所述功能。可替代地，该处理器16的部分或全部功能可在定制或半定制的集成电路或诸如DSP或FPGA等可编程数字处理器上实现。为了降低处理器16的计算负担并节省存储相关数据所需的存储器的空间，捕获的图像可以用诸如基于阈值的二值化法进行数据化简。具体方法是：选择合适阈值θ，对输入的灰度图像G(x,y)做以下函数操作进行二值化：

$B(x,y)=\left\{\begin{array}{cc}1,& G(x,y)-\mathrm{\θ}>0\\ 0,& G(x,y)-\mathrm{\θ}\≤0\end{array}\right..$

二值化后的图像适用将要使用的匹配算法。存储器可以是独立于处理器16的外置存储器，也可以是与处理器16集成在一起的内置存储器。

图2为成像装置11的原理示意图。如图2所示，成像装置11由两个成像组件22和23组成，该成像组件22和23分别由图像传感器12和13以及光学元件37和38构成。一般地，图像传感器12和13采用诸如CMOS或CCD之类的二维图像传感器阵列，光学元件37和38将图像分别聚焦到图像传感器12和13表面，以便图像传感器12和13将光信号转变为电信号，并交由后端进行信号处理。如图2所示，图像传感器12和13在空间不同位置对目标14进行图像捕获，两者以相对固定的空间关系布置并且几何中心间的距离为基线长度B。

如图1B所示，特征点18是用于描述目标14空间位置的几何点，是通过一定规则对目标14的特征进行描述后计算得到的点。特征点18具有唯一性，例如目标图像的重心或形心。处理器16通过设定程序对目标14的特征点18进行坐标计算，并以特征点18的三维空间坐标对目标14的位置信息进行描述。

具体而言，由于图像传感器12和13之间有设定间距，所以目标14的特征点18映射在图像传感器12和13成像平面上的不同位置，具有不同平面坐标，由此产生图像视差。距离为B的两个图像传感器12和13与目标特征点18构成一个三角形。成像装置11中的成像组件22和23的各项内部参数确定以后，可建立目标特征点18与成像组件22和23相对空间关系的约束方程，得到坐标转换模型，处理器16根据坐标转换模型可以计算得到目标特征点18的三维空间坐标。

根据本发明的另一实施例，如果光学元件37和38的几何校准偏离标准值由此产生光学偏差，则可以通过处理器16使用参数模型对光学偏差进行补偿。当这种光学偏差是可以测量并且可以建立偏差参数模型时，处理器16可以根据偏差参数模型对特征点18的三维空间坐标进行校准，从而准确找到特征点18的实际三维空间坐标。通过该补偿和校准，使得特征点18的实际三维空间坐标更为准确。当然，本领域技术人员能够理解，该补偿和校准并非必需的操作。

在得到特征点18的三维空间坐标后，处理器16根据所述特征点18的空间坐标以及交互屏幕15的位置，确定所述特征点18与交互平面15的空间关系，并且根据所述空间关系输出交互响应。

下面详细介绍所述基于双目视觉识别的平面交互系统的操作流程。图3的示意图是根据本发明一实施方案的使用基于双目视觉识别的平面交互系统10进行空间平面交互的方法的流程图。该方法主要基于以下测量原理，即不同空间位置获取的同一目标图像具有视差。因此，通过坐标转换模型可以从目标映射在传感阵列的二维坐标推导出其映射在三维空间的坐标。根据目标与交互平面的空间关系可以获得可输出计算机应用的交互响应。下面详细说明该方法的流程图。

如图3所示，在步骤31中，建立坐标转换模型。所建立的坐标转换模型与成像装置11的内部参数相关，包括图像传感器12和13的空间关系、光学元件37和38的焦距以及图像传感器12和13的最小感光单元尺寸。根据本领域所公知的一些算法，成像装置11的内部参数可以通过标准靶面自标定的方法获取。本领域技术人员可以理解，所述建立坐标转换模型的步骤也可以预先执行，而不包含在空间平面交互的方法的处理流程中。

在步骤32中，处理器16进行目标的识别。在步骤33中，处理器16进行目标特征点18的确定，并且进行目标特征点18的匹配。下面具体描述步骤32到33。

处理器16的上述操作都是基于两个图像传感器捕获的图像。处理器16从两个成像组件中所包含的图像传感器所捕获的图像中找到目标。如果用户用手指在交互平面15上进行交互操作，如图1B，则所述目标14为用户的手指指尖。处理器16根据手指指尖的预定特征描述从两个图像传感器所捕获的图像中找到可能为用户手指指尖的图像。手指指尖的特征描述是细长的外形特征，所以目标不仅限于手指指尖，也包括笔、教鞭等同样具有细长外形特征的目标。

处理器16根据特征描述，对其中一个图像传感器捕获的目标图像进行轮廓提取，并计算得出特征点在所述一个图像传感器上的本地图像坐标。上文已经结合图1B描述了特征点的含义，这里不再赘述。同时处理器16通过寻找同一目标在另一图像传感器上的图像坐标，完成匹配工作。例如，用户在交互平面15上用手指进行交互操作时，用户手指指尖即目标14。处理器16根据系统10的安装位置和应用条件等相关信息设置尺寸阈值β，并对二值化图像的边界轮廓坐标序列中每一点C_i进行如下计算，生成轮廓中每点可能为目标14的概率序列：

$P_i=\frac{D(C_{i-\mathrm{\β}},C_i)+D(C_{i+\mathrm{\β}},C_i)}{D(C_{i-\mathrm{\β}},C_{i+\mathrm{\β}})+1}.\mathrm{Convex}(C_{i-\mathrm{\β}},C_i,C_{i+\mathrm{\β}}),$

其中D为点距离计算函数，Convex为轮廓凹凸性计算函数，函数公式如下：

遍历P_i序列，其中大于设定值的峰值P_x，可视作目标14所在，并将该点坐标C_x作为目标特征点18的候选点。以手指宽度为直径r，候选点坐标C_x为圆心的圆作为模板，计算该模板范围内的图像重心W_x，作为当前目标特征点18的实际坐标，即用户手指指尖的位置所在。重心的计算公式如下：

$W_i=(x_i=\frac{\mathrm{\Σx}\·B(x,y)}{\mathrm{\ΣB}(x,y)},y_i=\frac{\mathrm{\Σy}\·B(x,y)}{\mathrm{\ΣB}(x,y)}|(x,y)\∈M).$

由于成像装置11包括两个图像传感器12和13，处理器16计算得到用户手指指尖在不同图像传感器上映射的本地图像坐标。如图4所示，不同手指指尖在图像传感器12和13所采集的图像41和42上映射有不同的本地图像坐标，处理器16对每一指尖坐标赋予唯一ID值，作为身份编号，并进行跟踪，以便完成身份识别和匹配工作。在连续的目标跟踪过程中，基于上一帧图像中的各个指尖坐标及运动速度，可计算出当前帧各个指尖的预估位置。分别计算当前帧各个指尖的实际坐标点与预估坐标点的距离，并对距离最近的点赋予预估位置的指尖ID值，即完成对前后连续采集的画面中同一目标的跟踪。对没有匹配的点或者距离超过某一阈值的点，则视为新进入传感器范围的点，赋予其新ID值。处理器16对每个手指指尖进行唯一的身份识别和编号后，进而可完成同一手指指尖映射在不同图像传感器上的图像坐标的匹配工作。

由于目标特征点18映射在图像传感器12和13上的本地图像坐标存在偏差，在已知该偏差的情况下，步骤34中处理器通过坐标转换模型可以准确推导出目标14的三维空间坐标，为后期的交互响应提供准确的目标动作信息。例如，用户在交互平面15上进行操作时，其同一手指指尖特征点18映射在不同图像传感器上具有不同的二维图像坐标，处理器16将该组二维图像坐标代入已知的坐标转换模型（该坐标转换模型在该计算机图像领域内是已知公开的，前面已经加入简单解释），可以计算得到用户手指指尖的三维空间坐标。

在步骤35中，通过三点定义空间交互平面15，处理器16可以计算目标特征点与空间交互平面的位置关系，根据不同的位置关系，在步骤36中输出不同的响应。例如，根据指尖与交互平面的不同距离相应做出不同的响应。已知空间三点坐标P₁(x₁,y₁,z₁)，P₂(x₂,y₂,z₂)，P₃(x₃,y₃,z₃)，可以通过以下函数定义一空间平面：

$\left\{\begin{array}{c}\mathrm{Ax}+\mathrm{By}+\mathrm{Cz}+D=0\\ A=[(y_2-y_1)(z_3-z_1)-(y_3-y_1)(z_2-z_1)]\\ B=[(z_2-z_1)(x_3-x_1)-(z_3-z_1)(x_2-x_1)]\\ C=[(x_2-x_1)(y_3-y_1)-(x_3-x_1)(y_2-y_1)]\\ D=-x_{1}A-y_{1}B-z_{1}C\end{array}\right..$

通过以下函数计算得到指尖特征点P₀(x₀,y₀,z₀)与交互平面的距离：

$d=\frac{|{\mathrm{Ax}}_0+{\mathrm{By}}_0+{\mathrm{Cz}}_0+D|}{\sqrt{A^2+B^2+}{C}^2}.$

通过重复上述步骤32到36，连续处理各帧图像信息并输出交互响应，最终实现系统10对运动目标的连续交互响应。

系统10输出的目标交互响应可被连接以向计算机系统或其它计算机应用提供输入。

综上所述，成像组件22和23所捕获的目标14可包括人体部分，如手指指尖。当所捕获的目标14为用户指尖时，系统10可以提供指尖与交互平面的交互响应接口，其中由成像装置11捕获用户指尖并形成相应的图像视差，处理器16将该图像视差转化成指尖与交互平面的空间关系，并输出交互响应。根据指尖与交互平面的距离做出不同的响应。

如上所述，通过根据本发明的基于双目视觉识别的平面交互系统和平面交互方法，能够精确计算目标的空间位置，并根据目标与设定的交互平面的空间关系输出交互响应。这样的平面交互系统不需要电阻屏、电容屏或者红外对射光电管，而只需具有两个图像传感器的成像装置，因此能够降低成本。所述交互平面是可以根据需要来设定其尺寸和位置，而不是像常规的触摸屏幕那样是固定大小和位置的，因此能够灵活的应用于很多场景。此外本发明的平面交互系统由于没有像常规大型触摸屏幕那样的硬件载体，因此便于携带。此外，由于该成像装置不被直接触摸，因此不易损坏。

本申请的平面交互系统可用于以下几方面的应用：

1、可用于对投影仪和其它大型显示屏幕的内容进行交互，实现触屏功能；

2、通过对目标位移的速度以及加速度特征描述，实现用户操作的力量传感输入；

3、可用于人机三维交互，配合3D眼镜，实现对计算机虚拟三维物体的抓取、旋转等三维自然人机交互操作；以及

4、其它的一些本领域专业人士容易想到三维人机交互应用等。

在平面交互系统10的各种使用环境中，难免会出现因环境光线造成的目标投射在交互平面15上的阴影，从而大大增加目标识别的难度。为此，在本发明的另一实施例中，所述平面交互系统10包括对称分布在各图像传感器四周的照明单元，从各个对称方向发出均匀光照。图5示出所述照明单元的一个示例。如图5所示，辅助照明系统可以去除环境光线造成的目标阴影，图5是照明系统的结构示意图。照明系统由若干个照明单元52固定在底板51上，并均匀分布在成像组件22和23的周围，对目标14进行照明，以便图像传感器在光线较弱的环境下也可以正常对目标进行捕获。由于照明单元52均匀分布在图像传感器周围，所以光线将从各个角度对目标14进行照明，避免了图像捕获死角，即图像阴影。

主动的外界环境光线有时也会对成像装置11造成干扰，如投影机投射出与目标形状特征接近的影像。为此，在本发明的又一实施例中，为了降低特定环境光线对成像装置11造成的图像干扰，可以在本发明的平面交互系统中包括光波截止组件。所述光波截止组件被布置在所述交互平面到所述图像传感器的光路中间，对环境中的可见光部分进行过滤。例如，可在图像传感器12和13的前端加入滤光片来阻挡某些会对成像装置11造成干扰的光线透过，从而实现抗干扰的作用。相应地，实施安装的照明系统应采用发出能够透过滤光片的相应波长的照明单元，对目标14进行照明。

尽管已参照示例性实施例对根据本发明的实施例进行了描述，但是应该理解本发明不限于上述实施例。应该给予权利要求的范围以最广泛的解释以涵盖所有这样的修改以及等同结构和功能。

Claims (18)

1.一种基于双目视觉识别的平面交互系统，包括：

成像装置，包含以相对固定的空间关系布置的两个成像组件，所述两个成像组件用于对目标同时进行图像捕获；

处理器，被布置为处理同时捕获的所述目标的特征点的图像视差，计算所述特征点的空间坐标，根据所述特征点的空间坐标，确定所述特征点与设定的交互平面的空间关系，并且根据空间关系输出交互响应；

其中所述处理器处理同时捕获的所述目标的特征点的图像视差的操作包括根据预定特征描述找到所述两个成像组件各自捕获的图像中的所述目标，确定所述目标的特征点，计算所述目标的特征点分别映射在每个成像组件上的坐标，并且将所述两个成像组件各自捕获的所述目标的特征点进行身份编号与匹配，计算所述特征点的图像视差；以及

其中所述处理器根据预定特征描述找到所述两个成像组件各自捕获的图像中的所述目标，确定所述目标的特征点并且计算所述目标的特征点分别映射在每个成像组件上的坐标的操作包括处理器对每个成像组件捕获的图像进行二值化后，计算图像边界轮廓上每点可能为目标的特征点的概率，并根据设定的概率阈值，选取合适的点作为目标的特征点的候选点，基于该候选点的坐标构建模板来修正目标的特征点的坐标。

2.根据权利要求1所述的平面交互系统，其中，所述处理器对每个成像组件捕获的图像进行二值化包括选择合适的阈值θ，对输入的灰度图像G(x,y)做以下函数操作进行二值化：

$B(x,y)=\left\{\begin{array}{cc}1,& G(x,y)-\mathrm{\θ}>0\\ 0,& G(x,y)-\mathrm{\θ}\≤0\end{array}\right..$

3.根据权利要求2所述的平面交互系统，其中，所述处理器计算图像边界轮廓上每点可能为目标的特征点的概率，并根据设定的概率阈值，选取合适的点作为目标的特征点的候选点，基于该候选点的坐标构建模板来修正目标的特征点的坐标包括：

设置尺寸阈值β，并对二值化图像的边界轮廓坐标序列中每一点C_i进行如下计算，生成轮廓中每点可能为目标的概率序列：

$P_i=\frac{D(C_{i-\mathrm{\β}},C_i)+D(C_{i+\mathrm{\β}},C_i)}{D(C_{i-\mathrm{\β}},C_{i+\mathrm{\β}})+1}.Convex(C_{i-\mathrm{\β}},C_i,C_{i+\mathrm{\β}}),$

其中D为点距离计算函数，Convex为轮廓凹凸性计算函数，函数公式如下：

4.根据权利要求3所述的平面交互系统，其中，所述目标是手指指尖、笔、教鞭以及其他具有细长外形特征的目标中的至少一种，所述处理器修正目标的特征点的坐标还包括：

遍历P_i序列，其中将大于设定值的峰值P_x视作目标所在，并将该点坐标C_x作为目标特征点的候选点；

以所述目标的宽度为直径r，候选点坐标C_x为圆心的圆作为模板，计算该模板范围内的图像重心W_x，作为当前目标特征点的实际坐标，即所述目标尖端位置所在，所述图像重心的计算公式如下：

$W_i=(x_i=\frac{\mathrm{\Σ}x\·B(x,y)}{\mathrm{\Σ}B(x,y)},y_i=\frac{\mathrm{\Σ}y\·B(x,y)}{\mathrm{\Σ}B(x,y)}|(x,y)\∈M).$

5.根据权利要求1所述的平面交互系统，其中，

所述处理器计算所述特征点的空间坐标的操作包括使用坐标转换模型使所述目标的特征点的图像视差与所述目标的特征点的三维空间坐标相关，导出所述目标的特征点的三维空间坐标。

6.根据权利要求1所述的平面交互系统，其中，

所述设定的交互平面是通过空间不共线的三点定义的，并且

所述特征点与设定的交互平面的空间关系为所述特征点与设定的交互平面的距离。

7.根据权利要求6所述的平面交互系统，其中，所述处理器根据空间关系输出交互响应包括根据目标与交互平面的不同距离相应做出不同的响应，其中已知空间三点坐标P₁(x₁,y₁,z₁),P₂(x₂,y₂,z₂),P₃(x₃,y₃,z₃)，通过以下函数定义所述交互平面:

$\left\{\begin{array}{c}Ax+By+Cz+D=0\\ A=\[(y_2-y_1)(z_3-z_1)-(y_3-y_1)(z_2-z_1)\]\\ B=\[(z_2-z_1)(x_3-x_1)-(z_3-z_1)(x_2-x_1)\]\\ C=\[(x_2-x_1)(y_3-y_1)-(x_3-x_1)(y_2-y_1)\]\\ D=-x_{1}A-y_{1}B-z_{1}C\end{array}\right.$

通过以下函数计算得到目标特征点P₀(x₀,y₀,z₀)与交互平面的距离:

$d=\frac{|{\mathrm{Ax}}_0+{\mathrm{By}}_0+{\mathrm{Cz}}_0+D|}{\sqrt{A^2+B^2+C^2}}.$

8.根据权利要求1到7中任一项所述的平面交互系统，其中，

处理器通过重复上述操作处理在所述目标移动时捕获的连续图像，从而对所述目标的特征点的空间运动进行映射，连续输出交互响应。

9.根据权利要求1到7中任一项所述的平面交互系统，还包括对称分布在各成像组件四周的照明单元，从各个对称方向发出均匀光照。

10.根据权利要求1到7中任一项所述的平面交互系统，还包括光波截止组件，被布置在所述交互平面到所述成像组件的光路中间，对环境中的可见光部分进行过滤。

11.一种基于双目视觉识别的平面交互方法，包括：

使用包含以相对固定的空间关系布置的两个成像组件的成像装置对目标同时进行图像捕获；

处理同时捕获的所述目标的特征点的图像视差；

计算所述特征点的空间坐标；

根据所述特征点的空间坐标，确定所述特征点与设定的交互平面的空间关系，并且输出交互响应，

其中处理同时捕获的所述目标的特征点的图像视差的步骤包括根据预定特征描述找到所述两个成像组件各自捕获的图像中的所述目标，确定所述目标的特征点，计算所述目标的特征点分别映射在每个成像组件上的坐标，并且将所述两个成像组件各自捕获的所述目标的特征点进行身份编号与匹配，计算所述特征点的图像视差；以及

所述根据预定特征描述找到所述两个成像组件各自捕获的图像中的所述目标，确定所述目标的特征点并且计算所述目标的特征点分别映射在每个成像组件上的坐标的步骤包括对每个成像组件捕获的图像进行二值化后，计算图像边界轮廓上每点可能为目标的特征点的概率，并根据设定的概率阈值，选取合适的点作为目标的特征点的候选点，基于该候选点的坐标构建模板来修正目标的特征点的坐标。

12.根据权利要求11所述的平面交互方法，其中，对每个成像组件捕获的图像进行二值化的步骤包括选择合适的阈值θ，对输入的灰度图像G(x,y)做以下函数操作进行二值化：

$B(x,y)=\left\{\begin{array}{cc}1,& G(x,y)-\mathrm{\θ}>0\\ 0,& G(x,y)-\mathrm{\θ}\≤0\end{array}\right..$

13.根据权利要求12所述的平面交互方法，其中，计算图像边界轮廓上每点可能为目标的特征点的概率，并根据设定的概率阈值，选取合适的点作为目标的特征点的候选点，基于该候选点的坐标构建模板来修正目标的特征点的坐标的步骤包括：

设置尺寸阈值β，并对二值化图像的边界轮廓坐标序列中每一点C_i进行如下计算，生成轮廓中每点可能为目标的概率序列：

$P_i=\frac{D(C_{i-\mathrm{\β}},C_i)+D(C_{i+\mathrm{\β}},C_i)}{D(C_{i-\mathrm{\β}},C_{i+\mathrm{\β}})+1}.Convex(C_{i-\mathrm{\β}},C_i,C_{i+\mathrm{\β}}),$

其中D为点距离计算函数，Convex为轮廓凹凸性计算函数，函数公式如下：

14.根据权利要求13所述的平面交互方法，其中，所述目标是手指指尖、笔、教鞭以及其他具有细长外形特征的目标中的至少一种，所述修正目标的特征点的坐标的步骤还包括：

遍历P_i序列，其中将大于设定值的峰值P_x视作目标所在，并将该点坐标C_x作为目标特征点的候选点；

以所述目标的宽度为直径r，候选点坐标C_x为圆心的圆作为模板，计算该模板范围内的图像重心W_x，作为当前目标特征点的实际坐标，即所述目标尖端位置所在，所述图像重心的计算公式如下：

$W_i=(x_i=\frac{\mathrm{\Σ}x\·B(x,y)}{\mathrm{\Σ}B(x,y)},y_i=\frac{\mathrm{\Σ}y\·B(x,y)}{\mathrm{\Σ}B(x,y)}|(x,y)\∈M).$

15.根据权利要求11所述的方法，其中计算所述目标的特征点的空间坐标的步骤包括使用坐标转换模型使所述目标的特征点的图像视差与所述目标的特征点的空间坐标相关，导出所述目标的特征点的空间坐标。

16.根据权利要求11所述的平面交互方法，其中，

所述设定的交互平面是通过空间不共线的三点定义的，并且

所述特征点与设定的交互平面的空间关系为所述特征点与设定的交互平面的距离。

17.根据权利要求16所述的平面交互方法，其中，根据空间关系输出交互响应的步骤包括根据目标与交互平面的不同距离相应做出不同的响应，其中已知空间三点坐标P₁(x₁,y₁,z₁),P₂(x₂,y₂,z₂),P₃(x₃,y₃,z₃)，通过以下函数定义所述交互平面:

$\left\{\begin{array}{c}Ax+By+Cz+D=0\\ A=\[(y_2-y_1)(z_3-z_1)-(y_3-y_1)(z_2-z_1)\]\\ B=\[(z_2-z_1)(x_3-x_1)-(z_3-z_1)(x_2-x_1)\]\\ C=\[(x_2-x_1)(y_3-y_1)-(x_3-x_1)(y_2-y_1)\]\\ D=-x_{1}A-y_{1}B-z_{1}C\end{array}\right.$

通过以下函数计算得到目标特征点P₀(x₀,y₀,z₀)与交互平面的距离:

$d=\frac{|{\mathrm{Ax}}_0+{\mathrm{By}}_0+{\mathrm{Cz}}_0+D|}{\sqrt{A^2+B^2+C^2}}.$

18.根据权利要求11至17中任一权利要求所述的方法，其中通过重复上述步骤处理在所述目标移动时捕获的连续图像，从而对所述目标的特征点的空间运动进行映射，连续输出交互响应。