CN110221732B - 一种触控投影系统和触控动作识别方法 - Google Patents

Abstract

本申请公开了一种触控投影系统和触控动作识别方法，系统包括投影单元用于投射画面到预设投影触控区域，深度相机用于采集用户手部在预设投影触控区域进行触控时的深度图像，红外相机用于采集所述预设投影触控区域的红外图像，其中红外图像中包括光斑，红外相机和深度相机均连接至控制单元，控制单元，用于接收深度图像和红外图像，并根据深度图像和红外图像在判断出第一像素位置与第二像素位置匹配时确定发生有效触控动作；其中第一像素位置是与光斑对应的所在像素位置，第二像素位置是与用户手指的指尖对应的像素位置。从而解决了现有技术触控投影方案误触控率较高的技术问题，改善了人机交互体验。

Description

一种触控投影系统和触控动作识别方法

技术领域

本申请涉及投影仪技术领域，具体涉及一种触控投影系统和触控动作识别方法。

背景技术

伴随着技术的成熟，深度相机发展迅速，受到了业界广泛关注，基于深度相机的的应用和研究也越来越多，比如触控投影。现有触控投影方案一般是在桌面等投影面上方安装TOF(Time of flight，飞行时间，简称TOF)深度相机，向下垂直拍摄并检测手指触控投影面的位置进行触控，但是由于深度相机测得深度值的抖动，在用户手指还没有向下触摸到投影面时，系统就触发了触控操作，从而导致触控投影的误触发率较高的技术问题。

发明内容

本申请提供了一种触控投影系统和触控动作识别方法，解决了现有技术触控投影方案误触控率较高的技术问题，改善了人机交互体验。

根据本申请的一个方面，提供了一种触控投影系统，包括：投影单元，深度相机，红外相机和控制单元，

所述投影单元用于投射画面到预设投影触控区域，

所述深度相机用于采集用户手部在所述预设投影触控区域进行触控时的深度图像，其中所述用户手部包括用户手指；

所述红外相机用于采集所述预设投影触控区域的红外图像，其中所述红外图像中包括光斑，

所述红外相机和所述深度相机均连接至所述控制单元，

所述控制单元，用于接收所述深度图像和所述红外图像，并根据所述深度图像和所述红外图像在判断出第一像素位置与第二像素位置匹配时确定发生有效触控动作；其中所述第一像素位置是与所述光斑对应的所在像素位置，所述第二像素位置是与所述用户手指的指尖对应的像素位置。

根据本申请的另一个方面，提供了一种触控动作识别方法，应用于触控投影系统中，方法包括：

获取预设投影触控区域的深度图像和红外图像；其中，所述预设投影触控区域内显示有投射画面，所述深度图像由所述触控投影系统的深度相机在用户手部对所述预设投影触控区域进行触控时采集得到，所述红外图像由所述触控投影系统的红外相机对所述预设投影触控区域进行采集得到，通过所述触控投影系统的投影单元投射画面到，所述用户手部包括用户手指，所述红外图像中包括光斑；

根据所述深度图像和所述红外图像判断第一像素位置与第二像素位置是否匹配，如果匹配，则确定发生有效触控动作；其中所述第一像素位置是与所述光斑对应的所在像素位置，所述第二像素位置是与所述用户手指的指尖对应的像素位置。

有益效果：应用本申请实施例的触控投影系统以及触控动作识别方法投影单元投射画面到预设投影触控区域，深度相机采集用户手部在预设投影触控区域进行触控时的深度图像，红外相机采集预设投影触控区域的红外图像，控制单元接收深度图像和红外图像，并根据深度图像和红外图像在判断出第一像素位置与第二像素位置匹配时确定发生有效触控动作。由此，本申请实施例利用深度相机和红外相机分别拍摄获得相应的图像，只有在深度图像上的用户手指的指尖位置与红外图像上的光斑位置匹配时才确定发生触控操作，提高了触控投影触控动作识别精度，改善了触控投影系统的用户体验。

附图说明

图1是本申请一个实施例的触控投影系统的框图；

图2是本申请一个实施例的触控动作识别方法的流程示意图；

图3是本申请一个实施例将红外图像的划分成M*N个格子的示意图；

图4是本申请一个实施例深度图像中分割出的手掌的示意图；

图5是本申请一个实施例深度图像中分割出的手掌的指尖的示意图；

具体实施方式

为使本申请的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本申请作进一步详细的说明。显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

随着技术的进步，触控投影应用越来越广泛，触控投影系统通过投影单元将影像投射到预设的投影平面上，用户在投影平面上进行触控操作，提供了一种新的人机交互方式。有一种触控投影方案是通过深度相机捕捉用户手指在投影面上的触摸位置来确定对应的触控操作。还有一种是利用红外相机配合激光光源捕捉光束被手指反射后得到的光斑，根据光斑位置确定触控位置进而实现触控操作。本申请的申请人发现上述两种方案都容易误触发，将非指尖的触控确定为指尖触控，用户体验较差。

对此，本实施例提供了一种触控投影系统和触控动作识别方法，通过深度相机采集深度图像结合红外相机采集的红外图像，处理后比较光斑像素位置和用户指尖像素位置是否一致，如果一致，则认定为是用户的指尖触控，从而解决了现有技术触控投影系统误触发率高的技术问题，优化了用户体验。

图1是本申请一个实施例的触控投影系统的框图，参见图1，本实施例的触控投影系统100包括：投影单元101，深度相机102，红外相机103和控制单元104，

投影单元101用于投射画面到预设投影触控区域，

深度相机102用于采集用户手部在所述预设投影触控区域进行触控时的深度图像，其中所述用户手部包括用户手指；

红外相机103用于采集所述预设投影触控区域的红外图像，其中所述红外图像中包括光斑，

所述红外相机103和所述深度相机102均连接至所述控制单元104，

所述控制单元104，用于接收所述深度图像和所述红外图像，并根据所述深度图像和所述红外图像在判断出第一像素位置与第二像素位置匹配时确定发生有效触控动作；其中所述第一像素位置是与所述光斑对应的所在像素位置，所述第二像素位置是与所述用户手指的指尖对应的像素位置。

由图1所示可知，本实施例的触控投影系统包括深度相机和红外相机，利用红外相机采集投影触控区域的红外图像，红外图像上有手指反射光束时形成的光斑，利用深度相机采集投影触控区域的深度图像，深度图像上包括手指指尖，通过比较手指指尖的像素位置和光斑像素位置是否一致，如果一致才确定发生了手指触控，从而解决了现有触控投影系统误触发率高的技术问题。

实际应用中，在一平面(比如桌面)上方安装深度相机和投影单元。

投影单元：负责投影，并将触控的动作显示在投影面上。

深度相机：比如TOF(Time of flight，飞行时间，简称TOF)相机，TOF相机朝下拍摄投影面。

红外相机：比如超短焦红外相机，安装在平面的一侧，用于镜头朝前拍摄。红外相机，具体用于采集用户手部在预设投影触控区域进行触控时用户手部所反射的光而得到光斑，其中光由光源发出，光源的数量为两个，两个所述光源分布在所述红外相机的两侧。也就是说，当手指触摸到投影面时，手指反射光源的光进入红外相机后在红外图像上留下光斑，根据光斑的位置可获得手指触碰的投影面位置区域。

光源：光源为LED灯，LED灯上安装有LED透镜，LED灯发出的光经过所述LED透镜后出射。

本实施例的光源发射940纳米波长的光，从而不影响TOF相机成像，而且本实施例中在红外相机左右两侧分别设置LED光源，保证手指在投影面上时，至少有一个LED光源发出的光束不会被手指遮挡。此外，光源安装在距离投影面1厘米的高度位置，以保证手指只有距离投影面1厘米之内时，才在红外图像上留下光斑，1厘米之外时红外图像上不留下光斑或者光斑非常暗，进而提高用户手指在投影面上的触控动作的识别精度。

需要说明的是，这里红外相机的帧率大于TOF深度相机的帧率，以保证红外相机和深度相机能够采集到同一时刻的场景图像。

红外相机和深度相机均与控制单元连接，采集得到图像后输出给控制单元，图1所示的控制单元104，具体用于对红外图像进行处理，得到与所述光斑对应的所述第一像素位置，根据所述红外相机与所述深度相机之间的标定参数、所述第一像素位置、所述深度图像中的第二像素位置，判断所述第一像素位置与所述第二像素位置是否匹配；其中，所述第一像素位置是所述红外图像中所述光斑所在像素块的顶点的像素位置，所述第二像素位置是所述深度图像中与所述用户手指的指尖对应的像素点的像素位置。

也就是说，控制单元在接收到红外相机输出的红外图像以及深度相机输出的深度图像之后，对红外图像进行处理，确定出与光斑对应的第一像素位置；对深度图像进行处理确定出第二像素位置，然后，根据深度相机和红外相机之间的标定参数，第一像素位置、第二像素位置确定两者是否匹配，如果两个像素位置是匹配的说明红外图像上的光斑是由用户手指指尖反射光束而形成的，以此避免了将非指尖的触摸错误地当成指尖的触摸，误触发率高的问题。

为确定空间物体表面某点的三维位置与其在图像中对应点之间的相互关系，需要建立相机成像的几何模型，这些几何模型参数就是相机参数。在大多数条件下这些参数必须通过实验与计算才能得到，这个求解参数的过程就称之为相机标定。相机标定是现有技术，本实施例中预先对红外相机和深度相机进行相机标定，得到标定参数。

基于红外相机和深度相机的相对标定和内参标定，本实施例的控制单元有两种方式来确定第一像素位置与第二像素位置是否匹配，一种方式是，将红外图像上的第一像素位置转换到深度图像上获得第三像素位置，从而在同一深度图像上比较第三像素位置和第二像素位置，以确定第一像素位置和第二像素位置是否匹配。另一种方式是将深度图像上的第二像素位置转换到红外图像上获得第四像素位置，从而在同一红外图像上比较第一像素位置和第四像素位置，以确定第一像素位置和第二像素位置是否匹配。即，控制单元具体用于根据所述红外相机与所述深度相机之间的标定参数对所述第一像素位置进行转换，得到深度图像中与所述第一像素位置对应的第三像素位置，将所述第三像素位置与所述第二像素位置进行比较，如果所述第二像素位置与所述第三像素位置一致，则确定所述第一像素位置与所述第二像素位置匹配；或者，用于根据所述红外相机与所述深度相机之间的标定参数，对所述第二像素位置进行转换，得到所述红外图像中与所述第二像素位置对应的第四像素位置，将所述第一像素位置与所述第四像素位置进行比较，如果所述第一像素位置与所述第四像素位置一致，则确定所述第一像素位置与所述第二像素位置匹配。

为了确定深度图像上手指指尖对应的第二像素位置，本实施例的控制单元，具体用于对深度图像进行前景目标提取，对提取的前景目标进行连通区域检测，得到目标连通区域，在目标连通区域中分割出手掌，并保留与手掌对应的像素点，得到手掌像素点集；过滤手掌像素点集中的像素点，根据过滤后剩下的像素点定位出与用户手指的指尖对应的像素点；根据与用户手指的指尖对应的像素点确定所述第二像素位置。

在根据过滤后剩下的像素点定位出与用户手指的指尖对应的像素点时，控制单元，具体用于计算所述手掌像素点集中所有像素点的重心，并计算所述重心在所述相机坐标系下的坐标值，根据所述手掌像素点集中所有像素点在所述相机坐标系下的坐标值以及所述重心在所述相机坐标系下的坐标值，计算所述手掌像素点集中各像素点到所述重心的第一距离，将所述第一距离和确定的第一距离阈值进行比较，其中，所述第一距离阈值根据基准距离和第一常数确定，所述基准距离是指最长手指的指尖对应的像素点到所述重心的距离；若所述第一距离小于所述第一距离阈值，则从所述手掌像素点集中过滤与所述第一距离对应的像素点，过滤后剩下的像素点形成新点集；根据所述新点集进行连通区域检测，得到与各手指对应的新连通区域，在所述新连通区域内，查找深度值最大的像素点并将所述深度值最大的像素点作为所述用户手指的指尖对应的像素点。

为了确定红外图像上光斑对应的第一像素位置，本实施例的控制单元，具体用于将红外图像划分成多个像素块，得到所述光斑所在像素块，由所述光斑所在像素块的四个顶点，得到四个所述第一像素位置，其中，所述像素块的面积为预设阈值。

确定出红外图像上光斑的第一像素位置，深度图像上手指指尖对应的第二像素位置之后，即可进行像素位置的转换，将两个像素位置转换到同一图像上进行比较，进而确定是否第一像素位置与第二像素位置是否匹配，如果匹配则确定发生了用户指尖触摸投影面，后续执行相应的触控操作。

本申请实施例还提供了一种触控动作识别方法，方法包括：

获取预设投影触控区域的深度图像和红外图像；其中，所述预设投影触控区域内显示有投射画面，所述深度图像由所述触控投影系统的深度相机在用户手部对所述预设投影触控区域进行触控时采集得到，所述红外图像由所述触控投影系统的红外相机对所述预设投影触控区域进行采集得到，通过所述触控投影系统的投影单元投射画面到，所述用户手部包括用户手指，所述红外图像中包括光斑；

根据所述深度图像和所述红外图像判断第一像素位置与第二像素位置是否匹配，如果匹配，则确定发生有效触控动作；其中所述第一像素位置是与所述光斑对应的所在像素位置，所述第二像素位置是与所述用户手指的指尖对应的像素位置。

在本发明的一个实施例中，所述根据所述深度图像和所述红外图像判断第一像素位置与第二像素位置是否匹配包括：

对所述红外图像进行处理，得到与所述光斑对应的所述第一像素位置，根据所述红外相机与所述深度相机之间的标定参数、所述第一像素位置、所述深度图像中的第二像素位置判断所述第一像素位置与所述第二像素位置是否匹配；

其中，所述第一像素位置是所述红外图像中所述光斑所在像素块的顶点的像素位置，所述第二像素位置是所述深度图像中与所述用户手指的指尖对应的像素点的像素位置。

在本发明的一个实施例中，判断所述第一像素位置与所述第二像素位置是否匹配包括：

根据所述红外相机与所述深度相机之间的标定参数对所述第一像素位置进行转换，得到深度图像中与所述第一像素位置对应的第三像素位置，将所述第三像素位置与所述第二像素位置进行比较，如果所述第二像素位置与所述第三像素位置一致，则确定所述第一像素位置与所述第二像素位置匹配；

或者，根据所述红外相机与所述深度相机之间的标定参数，对所述第二像素位置进行转换，得到所述红外图像中与所述第二像素位置对应的第四像素位置，将所述第一像素位置与所述第四像素位置进行比较，如果所述第一像素位置与所述第四像素位置一致，则确定所述第一像素位置与所述第二像素位置匹配。

在本发明的一个实施例中，对所述红外图像进行处理，得到与所述光斑对应的所述第一像素位置包括将所述红外图像划分成多个像素块，得到所述光斑所在像素块，由所述光斑所在像素块的四个顶点，得到四个所述第一像素位置，其中，所述像素块的面积为预设阈值；

获取预设投影触控区域的深度图像和红外图像包括：获取采集的用户手部在所述预设投影触控区域进行触控时所述用户手部所反射的光而得到所述光斑，其中光由光源发出，所述光源的数量为两个，两个所述光源分布在所述红外相机的两侧。

参见图2，本实施例的触控动作识别方法包括：

红外相机拍摄图像→TOF深度相机和红外相机相对标定和内参标定以及红外图像光斑确定图像光斑位置映射到深度图像；

TOF深度相机背景建模→手掌分割→指尖检测；

检查光斑映射到深度图像的位置与指尖位置是否一致，

是则，光斑位置是指尖触控，做触控动作；

否则，光斑位置是其它位置触控，不做触控动作。

由图2所示可知，本实施例中利用TOF深度相机拍摄得到深度图像，对深度图像处理，比如背景建模得到前景区域，对前景区域进行手掌分割，确定出用户手掌，在手掌上检测出用户手指的指尖，进而将指尖的位置与光斑转换到深度图像上的位置进行比较，确定两个位置是否一致，如果一致则确定光斑位置是指尖触控，控制单元控制触控投影系统做触控动作，如果不一致确定光斑位置不是指尖触控而是其他位置触控(比如手腕误触)以此提高了触控投影中触控动作的识别精度，改善了用户体验。

这里的TOF深度相机和红外相机相对标定和内参标定是根据现有技术的棋盘格方法标定出TOF深度相机和红外相机之间的旋转矩阵和平移向量以及两个相机的内参。

红外图像光斑位置是通过下列方式确定的，比如将红外图像划分成多个像素块，得到光斑所在像素块，由光斑所在像素块的四个顶点，得到四个所述第一像素位置，其中，像素块的面积为预设阈值；

参见图3，本实施例中将红外图像分成M*N个格子，格子的面积大小是通过预先采集100个样本进行指尖触控时指尖对应的光斑大小确定的。通过之前标定好的旋转矩阵和平移向量，以及两个相机之间的内参，可以计算出红外图像上光斑所在的四个顶点在深度图像上对应的位置索引，从而可以知道红外图像上光斑对应的深度图像上的位置。

深度图像上指尖位置的确定主要是通过(1)背景建模；(2)手掌分割；(3)指尖检测三步完成的，以下分别进行说明。

首先执行背景建模

TOF深度相机背景建模，背景建模的目的是为了获取手掌所在的前景区域，背景建模为现有技术，这里不再赘述。在背景建模的基础上进行前景目标提取，对提取的前景目标进行连通区域检测，得到目标连通区域。例如在深度图上进行四邻域或八邻域的连通区域检测，得到多个连通区域；判断各连通区域内像素点的深度值是否均在预设的深度值阈值范围内，是则，确定该连通区域为目标连通区域；其中，深度值阈值范围根据手掌和手臂的深度值确定。

接着进行手掌分割

手掌分割是在目标连通区域中分割出手掌，并保留手掌对应的像素点，得到手掌像素点集。例如，前述得到的连通区域S_all中，选择深度值最大的像素点比如A作为最长手指的指尖，最长手指用户全部手指中长度最大的手指，普通人的中指最长，所以最长手指或最远端手指的指尖为中指的指尖。将连通区域S_all所有的点根据相机小孔成像模型，计算相机坐标系下三维坐标值，然后根据所有点的三维坐标值与A点的三维坐标值计算各点到A点的第二距离。所有像素点与A点的第二距离计算完毕之后，将第二距离在一定范围内的点即，距离小于第二距离阈值的点保留，得到手掌，从而完成了手掌分割。手掌分割结果参见图4，由图4可知，本实施例的深度图像中用户的手掌区域。这里将这些保留下来的所有像素点形成的集合，记为手掌像素点集Points_Hand。

最后进行指尖检测

本步骤是通过过滤手掌像素点集中的像素点，根据过滤后剩下的像素点定位出手指的指尖对应的像素点。具体包括：计算手掌像素点集中所有像素点的重心，并计算所述重心在所述相机坐标系下的坐标值，根据所述手掌像素点集中所有像素点在所述相机坐标系下的坐标值以及所述重心在所述相机坐标系下的坐标值，计算所述手掌像素点集中各像素点到所述重心的第一距离，将所述第一距离和确定的第一距离阈值进行比较，其中，所述第一距离阈值根据基准距离Dis_base和第一常数确定，所述基准距离是指最长手指(比如中指)的指尖对应的像素点到所述重心的距离；若所述第一距离小于所述第一距离阈值，则从所述手掌像素点集中过滤与所述第一距离对应的像素点，过滤后剩下的像素点形成新点集(即手指对应的像素点的集合)；根据所述新点集进行连通区域检测，得到与各手指对应的新连通区域，在所述新连通区域内，查找深度值最大的像素点并将所述深度值最大的像素点作为所述用户手指的指尖对应的像素点。

继续沿用上面的例子来说明指尖检测过程。根据上一步骤中所保留下来的手掌点集Points_Hand，计算这个手掌点集中所有点的重心Point_Center，重心即是掌心。假设手掌点集Points_Hand为(x1，y1，z1)……(xn，yn，zn)，则重心坐标为：

接着计算点A与重心之间的基准距离Dis_base(即掌心与最长手指的指尖的距离)，接着，计算前述手掌点集Points_Hand中各点与重心Point_Center的第一距离，判断各第一距离与第一距离阈值的大小，将第一距离小于第一距离阈值对应的点均过滤掉，保留下来的点形成新点集Points_Finger。这里的第一距离阈值根据点A与重心之间的基准距离Dis_base以及第一常数alpha确定，具体的，第一距离阈值等于Dis_base*(1-alpha)。第一常数是预先统计大量用户的手指长度、指尖到掌心距离后，根据手指长度与指尖到掌心距离的比值确定的。接着在新点集Points_Finger里，进行连通区域的检测从而找到五个新连通区域(对应五个手指)。在每个新连通区域里，查找深度值最大的那个点，深度值最大的那个点即为指尖(中指指尖参见图5中示意的点A)，从而找到了五个指尖这里，将五个指尖的像素点形成的点集，记为Points_FingerTip。

接着看图2，在确定出光斑映射到深度图像的位置以及深度图像上指尖位置之后，检测红外图像上的光斑是否是指尖触控引起。

由于红外图像上有光斑，根据红外相机和TOF深度相机之间的外参(旋转矩阵和平移向量)以及两个相机的内参，可知光斑所在格子的四个顶点在深度图像上的对应的位置索引，根据对应的深度图像上四个顶点的位置索引，查看对应的深度图像上检测出来的指尖。如果四个顶点的位置索引内包含检测出来的指尖，则是真实的指尖触控，做触发动作。如果四个顶点位置索引内不包含检测出来的指尖，则不是指尖触控，不做后续的触发动作。从而提高了触控动作识别精度。

综上所述，本实施例的触控投影系统以及触控动作识别方法采集用户手部在预设投影触控区域进行触控时的深度图像，采集预设投影触控区域的红外图像，根据深度图像和红外图像在判断出第一像素位置与第二像素位置匹配时确定发生有效触控动作，解决了只有TOF深度相机的触控投影方案以及只有红外相机的触控投影方案误触发率高的技术问题，改善了用户体验。

本申请的另一个实施例提供一种计算机可读存储介质，计算机可读存储介质存储计算机指令，计算机指令使所述计算机执行上述的方法。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图的一个流程或多个流程和/或方框图的一个方框或多个方框中指定的功能的装置。

需要说明的是术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

本申请的说明书中，说明了大量具体细节。然而能够理解的是，本申请的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。类似地，应当理解，为了精简本申请公开并帮助理解各个申请方面中的一个或多个，在上面对本申请的示例性实施例的描述中，本申请的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该公开的方法解释成反映如下意图：即所要求保护的本申请要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说，正如权利要求书所反映的那样，申请方面在于少于前面公开的单个实施例的所有特征。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本申请的单独实施例。

以上所述，仅为本申请的具体实施方式，在本申请的上述教导下，本领域技术人员可以在上述实施例的基础上进行其他的改进或变形。本领域技术人员应该明白，上述的具体描述只是更好的解释本申请的目的，本申请的保护范围以权利要求的保护范围为准。

Claims (10)

1.一种触控投影系统，其特征在于，包括：投影单元，深度相机，红外相机，光源和控制单元，

所述投影单元用于投射画面到预设投影触控区域，

所述深度相机用于采集用户手部在所述预设投影触控区域进行触控时的深度图像，其中所述用户手部包括用户手指；

所述红外相机用于采集所述预设投影触控区域的红外图像，其中所述红外图像中包括光斑，所述光斑为用户手部在所述预设投影触控区域进行触控时所述红外相机采集所述用户手部反射所述光源发出的光得到；

所述红外相机和所述深度相机均连接至所述控制单元，

所述控制单元，用于接收所述深度图像和所述红外图像，并根据所述深度图像和所述红外图像在判断出第一像素位置与第二像素位置匹配时确定发生有效触控动作；其中所述第一像素位置是与所述光斑对应的所在像素位置，所述第二像素位置是与所述用户手指的指尖对应的像素位置。

2.根据权利要求1所述的系统，其特征在于，

所述控制单元，具体用于对所述红外图像进行处理，得到与所述光斑对应的所述第一像素位置，根据所述红外相机与所述深度相机之间的标定参数、所述第一像素位置、所述深度图像中的第二像素位置，判断所述第一像素位置与所述第二像素位置是否匹配；

其中，所述第一像素位置是所述红外图像中所述光斑所在像素块的顶点的像素位置，所述第二像素位置是所述深度图像中与所述用户手指的指尖对应的像素点的像素位置。

3.根据权利要求2所述的系统，其特征在于，

所述控制单元，具体用于根据所述红外相机与所述深度相机之间的标定参数对所述第一像素位置进行转换，得到深度图像中与所述第一像素位置对应的第三像素位置，将所述第三像素位置与所述第二像素位置进行比较，如果所述第二像素位置与所述第三像素位置一致，则确定所述第一像素位置与所述第二像素位置匹配；

或者，用于根据所述红外相机与所述深度相机之间的标定参数，对所述第二像素位置进行转换，得到所述红外图像中与所述第二像素位置对应的第四像素位置，将所述第一像素位置与所述第四像素位置进行比较，如果所述第一像素位置与所述第四像素位置一致，则确定所述第一像素位置与所述第二像素位置匹配。

4.根据权利要求2所述的系统，其特征在于，所述控制单元，具体用于对所述深度图像进行前景目标提取，对提取的所述前景目标进行连通区域检测，得到目标连通区域，在所述目标连通区域中分割出手掌，并保留与所述手掌对应的像素点，得到手掌像素点集；过滤所述手掌像素点集中的像素点，根据所述过滤后剩下的像素点定位出与所述用户手指的指尖对应的像素点；根据与所述用户手指的指尖对应的像素点确定所述第二像素位置。

5.根据权利要求4所述的系统，其特征在于，所述控制单元，具体用于计算所述手掌像素点集中所有像素点的重心，并计算所述重心在相机坐标系下的坐标值，根据所述手掌像素点集中所有像素点在所述相机坐标系下的坐标值以及所述重心在所述相机坐标系下的坐标值，计算所述手掌像素点集中各像素点到所述重心的第一距离，将所述第一距离和确定的第一距离阈值进行比较，其中，所述第一距离阈值根据基准距离和第一常数确定，所述基准距离是指最长手指的指尖对应的像素点到所述重心的距离；若所述第一距离小于所述第一距离阈值，则从所述手掌像素点集中过滤与所述第一距离对应的像素点，过滤后剩下的像素点形成新点集；根据所述新点集进行连通区域检测，得到与各手指对应的新连通区域，在所述新连通区域内，查找深度值最大的像素点并将所述深度值最大的像素点作为所述用户手指的指尖对应的像素点。

6.根据权利要求2所述的系统，其特征在于，所述控制单元，具体用于将所述红外图像划分成多个像素块，得到所述光斑所在像素块，由所述光斑所在像素块的四个顶点，得到四个所述第一像素位置，其中，所述像素块的面积为预设阈值；

所述光源的数量为两个，两个所述光源分布在所述红外相机的两侧。

7.根据权利要求6所述的系统，其特征在于，所述红外相机的帧率大于所述深度相机的帧率；

所述光源为LED灯，所述LED灯上安装有LED透镜，所述LED灯发出的光经过所述LED透镜后出射。

8.一种触控动作识别方法，其特征在于，应用于触控投影系统中，方法包括：

获取预设投影触控区域的深度图像和红外图像；其中，所述预设投影触控区域由所述触控投影系统的投影单元投射画面得到，所述深度图像由所述触控投影系统的深度相机在用户手部对所述预设投影触控区域进行触控时采集得到，所述红外图像由所述触控投影系统的红外相机对所述预设投影触控区域进行采集得到，所述用户手部包括用户手指，所述红外图像中包括光斑，所述光斑为用户手部在所述预设投影触控区域进行触控时所述红外相机采集所述用户手部所反射的光而得到，其中光由光源发出；

根据所述深度图像和所述红外图像判断第一像素位置与第二像素位置是否匹配，如果匹配，则确定发生有效触控动作；其中所述第一像素位置是与所述光斑对应的所在像素位置，所述第二像素位置是与所述用户手指的指尖对应的像素位置。

9.根据权利要求8所述的方法，其特征在于，所述根据所述深度图像和所述红外图像判断第一像素位置与第二像素位置是否匹配包括：

对所述红外图像进行处理，得到与所述光斑对应的所述第一像素位置，根据所述红外相机与所述深度相机之间的标定参数、所述第一像素位置、所述深度图像中的第二像素位置判断所述第一像素位置与所述第二像素位置是否匹配；

其中，所述第一像素位置是所述红外图像中所述光斑所在像素块的顶点的像素位置，所述第二像素位置是所述深度图像中与所述用户手指的指尖对应的像素点的像素位置。

10.根据权利要求9所述的方法，其特征在于，判断所述第一像素位置与所述第二像素位置是否匹配包括：

根据所述红外相机与所述深度相机之间的标定参数对所述第一像素位置进行转换，得到深度图像中与所述第一像素位置对应的第三像素位置，将所述第三像素位置与所述第二像素位置进行比较，如果所述第二像素位置与所述第三像素位置一致，则确定所述第一像素位置与所述第二像素位置匹配；

或者，根据所述红外相机与所述深度相机之间的标定参数，对所述第二像素位置进行转换，得到所述红外图像中与所述第二像素位置对应的第四像素位置，将所述第一像素位置与所述第四像素位置进行比较，如果所述第一像素位置与所述第四像素位置一致，则确定所述第一像素位置与所述第二像素位置匹配。

Images