CN110310336B - 一种触控投影系统及图像处理方法 - Google Patents

Abstract

本申请公开了一种触控投影系统及图像处理方法，方法包括：利用所述触控投影系统的RGB相机采集投影平面上的棋盘格图像，得到RGB图像，对RGB图像进行角点检测，获得RGB图像中所述棋盘格图像的四个顶点的RGB像素坐标值，由四个顶点的RGB像素坐标值，得到RGB图像中投影触控区域；依据RGB相机与所述触控投影系统中的第一相机之间的标定参数，得到转换矩阵；基于四个顶点的RGB像素坐标值以及转换矩阵，得到四个顶点对应的第一像素坐标值，由四个顶点对应的第一像素坐标值，确定出第一图像中的投影触控区域。本申请实施例解决了触控投影系统图像处理识别速度慢、效率低的技术问题。

Description

一种触控投影系统及图像处理方法

技术领域

本申请涉及触控投影技术领域，具体涉及一种触控投影系统及图像处理方法。

背景技术

触控投影系统一般利用相机比如深度相机采集投影平面的图像，并基于采集的图像检测出触点，进而根据触点位置执行相应的反馈。但是现有触控投影系统中，图像检测等都是在图像全域内进行而投影触控区域只是图像的一部分，所以对图像全域处理的方式导致图像处理和触控动作识别效率低，浪费系统资源。

发明内容

本申请提供了一种触控投影系统及图像处理方法，解决了触控投影系统图像处理以及触控动作识别速度慢、效率低，浪费系统资源的技术问题。

根据本申请的一个方面，提供了一种触控投影系统中的图像处理方法，包括：

利用所述触控投影系统的RGB相机采集投影平面上的棋盘格图像，得到RGB图像，对所述RGB图像进行角点检测，获得所述RGB图像中所述棋盘格图像的四个顶点的RGB像素坐标值，由所述四个顶点的RGB像素坐标值，得到所述RGB图像中投影触控区域；

其中所述投影触控区域的大小与所述棋盘格图像的大小相等；

依据所述RGB相机与所述触控投影系统中的第一相机之间的标定参数，得到转换矩阵；

其中，所述转换矩阵用于将RGB图像中像素点的像素坐标值转换为第一图像中像素点的像素坐标值，第一图像由所述第一相机采集投影平面获得；

基于所述四个顶点的RGB像素坐标值以及所述转换矩阵，得到所述四个顶点对应的第一像素坐标值，由所述四个顶点对应的第一像素坐标值，确定出所述第一图像中的投影触控区域。

根据本申请的另一个方面，提供了一种触控投影系统中的图像处理方法，包括：

利用所述触控投影系统的RGB相机采集投影平面上的棋盘格图像，得到RGB图像，对所述RGB图像进行角点检测，获得所述RGB图像中所述棋盘格图像的四个顶点的RGB像素坐标值，由所述四个顶点的RGB像素坐标值，得到所述RGB图像中投影触控区域；

其中所述投影触控区域的大小与所述棋盘格图像的大小相等；

依据所述RGB相机与所述触控投影系统中的第一相机之间的标定参数，得到转换矩阵；

其中，所述转换矩阵用于将RGB图像中像素点的像素坐标值转换为第一图像中像素点的像素坐标值，第一图像由所述第一相机采集投影平面获得；

基于所述四个顶点的RGB像素坐标值以及所述转换矩阵，得到所述四个顶点对应的第一像素坐标值，由所述四个顶点对应的第一像素坐标值，确定出所述第一图像中的投影触控区域。

有益效果：应用本申请实施例的触控投影系统及图像处理方法，通过RGB相机采集投影平面上的棋盘格图像得到RGB图像，对RGB图像进行角点检测，获得棋盘格图像的四个顶点的RGB像素坐标值由四个顶点的RGB像素坐标值，得到RGB图像中投影触控区域，依据RGB相机与第一相机之间的转换矩阵，四个顶点的RGB像素坐标值，得到四个顶点对应的第一像素坐标值，由四个顶点对应的第一像素坐标值，确定出第一图像中的投影触控区域，由于确定出了第一图像中的投影触控区域，后续可只在第一图像的投影触控区域内进行触点检测等操作，避免了图像全域检测导致的图像处理速度慢、触控动作识别效率低的技术问题，节省了处理资源。

附图说明

图1是本申请一个实施例的触控投影系统中的图像处理方法的流程图；

图2是本申请另一个实施例的图像处理方法的流程图；

图3是本申请一个实施例的RGB图像中触控投影区域的示意图；

图4是本申请一个实施例的深度图像中触控投影区域的示意图；

图5是本申请一个实施例的的触控投影系统的框图。

具体实施方式

为使本申请的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本申请作进一步详细的说明。显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

本申请的设计构思是：针对现有技术触控投影系统中图像处理(比如检测触点的位置)时在整个图像内进行导致触控动作识别效率低的技术问题，提出一种触控投影系统及图像处理方法，通过确定图像中的触控投影区域，方便后续只在触控投影区域内进行触点检测等操作，缩小了处理区域，提高了图像处理的速度和效率。

图1是本申请一个实施例的触控投影系统中的图像处理方法的流程图，参见图1，本实施例的触控投影系统中的图像处理方法包括下列步骤：

步骤S101，利用所述触控投影系统的RGB相机采集投影平面上的棋盘格图像，得到RGB图像，对所述RGB图像进行角点检测，获得所述RGB图像中所述棋盘格图像的四个顶点的RGB像素坐标值，由所述四个顶点的RGB像素坐标值，得到所述RGB图像中投影触控区域；

其中所述投影触控区域的大小与所述棋盘格图像的大小相等；

步骤S102，依据所述RGB相机与所述触控投影系统中的第一相机之间的标定参数，得到转换矩阵；

其中，所述转换矩阵用于将RGB图像中像素点的像素坐标值转换为第一图像中像素点的像素坐标值，第一图像由所述第一相机采集投影平面获得；

步骤S103，基于所述四个顶点的RGB像素坐标值以及所述转换矩阵，得到所述四个顶点对应的第一像素坐标值，由所述四个顶点对应的第一像素坐标值，确定出所述第一图像中的投影触控区域。

由图1所示可知，本实施例的触控投影系统中的图像处理方法，首先通过RGB相机采集投影平面上的棋盘格图像得到RGB图像，对RGB图像进行角点检测，获得RGB图像中棋盘格图像四个顶点的RGB像素坐标值，由四个顶点的RGB像素坐标值得到RGB图像中投影触控区域，在确定出RGB图像中投影触控区域之后，根据RGB相机与第一相机的标定关系，四个顶点在RGB图像中的像素坐标值，进而确定出第一图像中投影触控区域。在触控投影系统中后续图像处理时可以只在第一图像的投影触控区域进行而不需要在第一图像的全域进行，缩小了处理区域，从而提高了处理速度和效率。

这里的第一相机包括深度相机，相应的第一图像则为深度相机采集投影平面之后得到的深度图像。前述图1所示方法中基于四个顶点的RGB像素坐标值以及所述转换矩阵，得到四个顶点对应的第一像素坐标值，由所述四个顶点对应的第一像素坐标值，确定出深度图像中的投影触控区域。图2是本申请另一个实施例的图像处理方法的流程图，结合图2对一个具体的应用场景中图像处理方法的实现步骤进行说明。

具体的，参见图2，步骤(1)投影仪投出棋盘格图像，作为投影触控区域的大小；

触控投影系统的投影仪向投影平面投射标准棋盘格图像，作为投影触控区域的大小，即，棋盘格图像的大小与触控投影区域的大小一致。触控投影系统的RGB相机拍摄投影平面上的棋盘格图像得到RGB图像。

步骤(2)RGB相机棋盘格图像进行角点检测；

触控投影系统的处理装置对RGB图像进行角点检测；

需要说明的是，图像角点检测采用现有角点检测算法，比如Harris角点检测算法、KLT角点检测算法等，这里不再赘述。

步骤(3)RGB视野内棋盘格的四个顶点1，2，3，4确定了投影触控区域，记录这四个顶点的RGB相机对应的像素坐标；

经过角点检测之后，获得RGB图像中棋盘格图像的四个顶点的RGB像素坐标值。参见图3，图3示意了经过角点检测获得的RGB相机视野下的投影触控区域的四个顶点，分别是位于左上角的顶点1，位于左下角的顶点2，和位于右上角的顶点3和位于右下角的顶点4。这四个顶点的坐标可表示为(u_rgb1，v_rgb1)，(u_rgb2，v_rgb2)，(u_rgb3，v_rgb3)，(u_rgb4，v_rgb4)。

步骤(4)由深度相机像素点(u，v)计算得到RGB相机对应的像素点(u_rgb，v_rgb)从而得到了一系列点对(u_rgb，v_rgb，u，v)。

实际应用中，依据RGB相机相对于深度相机的旋转矩阵和平移向量，确定深度图像中像素点(u，v)对应的RGB像素坐标值(u_rgb，v_rgb)包括：

基于深度相机坐标系与世界坐标系的对应关系，得到深度图像的像素点(u，v)对应的三维坐标值(x，y，z)；依据RGB相机与深度相机之间的旋转矩阵和平移向量，以及所述三维坐标值(x，y，z)，得到所述像素点(u，v)对应的三维坐标值(x_rgb，y_rgb，z_rgb)；基于RGB相机坐标系与世界坐标系的对应关系，以及所述三维坐标值(x_rgb,y_rgb,z_rgb)，得到所述像素点(u，v)在所述RGB图像中对应的RGB像素坐标值(u_rgb，v_rgb)。

比如，根据小孔成像模型计算出深度相机像素坐标系下点(u，v)对应的三维坐标(x，y，z)，根据RGB相机相对于深度相机的旋转矩阵M_depth2rgb和平移向量T_depth2rgb计算出RGB相机坐标系下的三维坐标(x_rgb，y_rgb，z_rgb)。具体的(x_rgb,y_rgb,z_rgb)＝M_depth2rgb*(x,y,z)’+T_depth2rgb；再根据小孔成像模型，得到RGB相机像素坐标系下的点(u_rgb，v_rgb)。

步骤(5)通过点对(数量>＝4)(u_rgb，v_rgb，u，v)估算RGB相机到深度相机的投影变换的投影矩阵H；

这里第一相机为深度相机，那么依据RGB相机与触控投影系统中的第一相机之间的标定参数得到转换矩阵包括：依据RGB相机相对于深度相机的旋转矩阵和平移向量，确定深度图像中像素点(u，v)对应的RGB像素坐标值(u_rgb,v_rgb)；由像素点(u，v)以及像素点(u，v)对应的RGB像素坐标值(u_rgb,v_rgb)，得到坐标序列(u_rgb，v_rgb，u，v)；由坐标序列(u_rgb，v_rgb，u，v)，得到转换矩阵。这里的坐标序列与点对的含义相同。

比如，变换矩阵或称投影矩阵H：

这里[x1，y1]和[x2，y2]分别是深度相机和RGB相机对应的像素点，那么根据投影矩阵和RGB相机对应的像素点的坐标，通过下列公式即可确定深度图像中对应的坐标值；

步骤(5)计算投影触控区域四个顶点在深度相机像素坐标系下的坐标；

具体的，基于所述四个顶点的RGB像素坐标值以及所述转换矩阵，得到所述四个顶点对应的第一像素坐标值包括：依据四个顶点中各顶点的RGB像素坐标值与所述转换矩阵的乘积，得到所述四个顶点对应的第一像素坐标值，由所述四个顶点对应的第一像素坐标值，确定出所述深度图像中的投影触控区域。

接上例可得，

顶点1在深度图像中的坐标值(u1，v1，1)＝H*(u_rgb1，v_rgb1，1)；

顶点2在深度图像中的坐标值(u2，v2，1)＝H*(u_rgb2，v_rgb2，1)；

顶点3在深度图像中的坐标值(u3，v3，1)＝H*(u_rgb3，v_rgb3，1；

顶点4在深度图像中的坐标值(u4，v4，1)＝H*(u_rgb4，v_rgb4，1)。

前述顶点在深度图像中坐标值计算公式中的H即为变换矩阵，(u_rgb1，v_rgb1)是顶点1在RGB图像中的坐标，(u_rgb2，v_rgb2)是顶点2在RGB图像中的坐标，以此类推。

前述四个顶点在深度图像中的坐标值确定出来之后，即可确定出四个顶点对应的第一像素坐标值，由四个顶点对应的第一像素坐标值得到深度图像中的触控投影区域。

参见图4，图4示意了经过前述步骤的处理之后获得的深度相机视野下的投影触控区域的四个顶点，分别是位于左上角的顶点1，位于左下角的顶点2，和位于右上角的顶点3和位于右下角的顶点4。这四个顶点的像素坐标可表示为(u1，v1)，(u2，v2)，(u3，v3)，(u4，v4)。

至此，由RGB图像中触控投影区域的四个顶点，RGB相机与深度相机的标定关系确定出了深度图像中触控投影区域的位置。

进一步的，为了满足触控投影系统中红外相机采集的红外图像的处理需求，参见图2，本实施例中还包括步骤(6)。

步骤(6)，计算投影触控区域四个顶点在红外相机像素坐标系下的坐标；

具体的，依据深度相机坐标系与世界坐标系的对应关系，得到深度图像中的四个顶点分别对应的三维坐标值(x1，y1，z1)，(x2，y2，z2)，(x3，y3，z3)，(x4，y4，z4)；依据触控投影系统中的红外相机与深度相机之间的旋转矩阵和平移向量，以及三维坐标值(x1，y1，z1)，(x2，y2，z2)，(x3，y3，z3)，(x4，y4，z4)，得到四个顶点分别对应的三维坐标值(x_ir1,y_ir1,z_ir1)，(x_ir2,y_ir2,z_ir2)，(x_ir3,y_ir3,z_ir3)，(x_ir4,y_ir4,z_ir4)；基于红外相机坐标系与世界坐标系的对应关系，以及三维坐标值(x_ir1，y_ir1，z_ir1)，(x_ir2，y_ir2，z_ir2)，(x_ir3，y_ir3，z_ir3)，(x_ir4，y_ir4，z_ir4)，得到四个顶点在红外图像中对应的红外像素坐标值(u_ir1，v_ir1)，(u_ir2，v_ir2)，(u_ir3，v_ir3)，(u_ir4，v_ir4)；由四个顶点在红外图像中对应的红外像素坐标值(u_ir1，v_ir1)，(u_ir2，v_ir2)，(u_ir3，v_ir3)，(u_ir4，v_ir4)，确定出红外图像中的投影触控区域。

一个实施例中，先根据小孔成像模型计算出深度相机四个顶点像素坐标系点(u1，v1)，(u2，v2)，(u3，v3)，(u1，v1)对应的三维坐标(x1，y1，z1)，(x2，y2，z2)，(x3，y3，z3)，(x4，y4，z5)，再根据红外相机相对于深度相机的旋转M_depth2ir和平移T_depth2ir计算出红外相机坐标系的三维坐标，计算公式为

(x_ir1，y_ir1，z_ir1)＝M_depth2ir*(x1，y1，z1)+T_depth2ir；

(x_ir2，y_ir2，z_ir2)＝M_depth2ir*(x2，y2，z2)+T_depth2ir；

(x_ir3，y_ir3，z_ir3)＝M_depth2ir*(x3，y3，z3)+T_depth2ir；

(x_ir4，y_ir4，z_ir4)＝M_depth2ir*(x4，y4，z4)+T_depth2ir；

最后，再根据小孔成像模型，得到红外相机四个顶点的像素坐标系点：

(u_ir1，v_ir1)，(u_ir2，v_ir2)，(u_ir3，v_ir3)，(u_ir4,v_ir4)。

需要说明的是，本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的对象在适当情况下可以互换，以便这里描述的本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。

本申请一个实施例中在确定出深度图像和/或红外图像中的触控投影区域之后，本实施例中还包括识别出触控投影区域的有效触控动作的步骤，具体的在确定出所述深度图像中的投影触控区域之后，该方法还包括：在所述深度图像中的投影触控区域检测触点；所述触点包括手持物触点或指尖触点；在所述红外图像中的投影触控区域检测光斑；所述光斑是手持物或指尖反射光源的光束而产生的。

本申请一个实施例中，在所述深度图像中的投影触控区域检测触点包括：分割所述深度图像的背景得到前景图像，在所述前景图像上进行连通域检测，得到目标连通域；基于所述目标连通区域确定出掌心；依据所述掌心以及所述目标连通域内深度值最大的像素点，得到手持物触点位置信息或指尖触点位置信息。

本申请一个实施例中，所述基于所述目标连通区域确定出掌心包括：在各所述目标连通域内确定深度值最大的像素点，计算目标连通域内各点与所述深度值最大的像素点的第一距离，将第一距离小于预设阈值的点保留，得到第一点集，对所述第一点集中的点进行椭圆拟合，将椭圆的中心点作为掌心；所述依据所述掌心以及所述目标连通域内深度值最大的像素点，得到手持物触点位置信息或指尖触点位置信息包括：计算所述深度值最大的像素点与所述掌心之间的第二距离，如果所述第二距离大于第二阈值，或第一红外强度值与第二红外强度值之差大于第三阈值，则确定深度值最大的像素点是手持物触点，得到手持物触点位置信息；其中，第一红外强度值是所述深度值最大的像素点对应的红外强度值，所述第二红外强度值是所述掌心对应的红外强度值；如果深度值最大的像素点不是手持物触点，则依据所述第一点集和所述第二距离进行用户手指的指尖检测，得到指尖触点位置信息。

本申请一个实施例中，在所述红外图像中的投影触控区域检测光斑包括：获取所述红外图像上像素点的亮度值，将亮度值大于预设亮度阈值的像素点个数作为所述光斑的面积，将亮度值大于预设亮度阈值的像素点的位置的平均值作为所述光斑的像素位置。

由上可知，本实施例的触控投影系统中图像处理方法，通过确定深度图像和红外图像中的触控投影区域，而后只在触控投影区域内进行触点检测和光斑检测等操作，显著缩小了处理区域，从而提高了图像处理以及用户有效触控动作识别的速度和效率。

与前述触控投影系统中图像处理方法同属于一个技术构思，本申请实施例还提供了一种触控投影系统，参加图5，本实施例的触控投影系统500包括：RGB相机501，第一相机502和处理装置503；

所述RGB相机501采集投影平面上的棋盘格图像，得到RGB图像；

所述第一相机502，采集投影平面得到第一图像；

所述处理装置503，用于对所述RGB图像进行角点检测，获得所述RGB图像中所述棋盘格图像的四个顶点的RGB像素坐标值，由所述四个顶点的RGB像素坐标值，得到所述RGB图像中投影触控区域，所述投影触控区域的大小与所述棋盘格图像的大小相等，依据所述RGB相机与所述触控投影系统中的第一相机之间的标定参数，得到转换矩阵；其中，所述转换矩阵用于将RGB图像中像素点的像素坐标值转换为第一图像中像素点的像素坐标值；基于所述四个顶点的RGB像素坐标值以及所述转换矩阵，得到所述四个顶点对应的第一像素坐标值，由所述四个顶点对应的第一像素坐标值，确定出所述第一图像中的投影触控区域。

在本申请的一个实施例中，所述第一相机502包括深度相机；所述处理装置503具体用于依据RGB相机相对于深度相机的旋转矩阵和平移向量，确定深度图像中像素点(u，v)对应的RGB像素坐标值(u_rgb,v_rgb)；由像素点(u，v)以及像素点(u，v)对应的RGB像素坐标值(u_rgb,v_rgb)，得到坐标序列(u_rgb，v_rgb，u，v)；由所述坐标序列(u_rgb，v_rgb，u，v)，得到所述转换矩阵；依据四个顶点中各顶点的RGB像素坐标值与所述转换矩阵的乘积，得到所述四个顶点对应的第一像素坐标值，由所述四个顶点对应的第一像素坐标值，确定出所述深度图像中的投影触控区域。

在本申请的一个实施例中，所述处理装置503具体用于基于深度相机坐标系与世界坐标系的对应关系，得到深度图像的像素点(u，v)对应的三维坐标值(x，y，z)；依据RGB相机与深度相机之间的旋转矩阵和平移向量，以及所述三维坐标值(x，y，z)，得到所述像素点(u，v)对应的三维坐标值(x_rgb，y_rgb，z_rgb)；基于RGB相机坐标系与世界坐标系的对应关系，以及所述三维坐标值(x_rgb,y_rgb,z_rgb)，得到所述像素点(u，v)在所述RGB图像中对应的RGB像素坐标值(u_rgb，v_rgb)。

在本申请的一个实施例中，所述处理装置503在确定出所述深度图像中的投影触控区域之后，还用于依据深度相机坐标系与世界坐标系的对应关系，得到所述深度图像中的所述四个顶点分别对应的三维坐标值(x1，y1，z1)，(x2，y2，z2)，(x3，y3，z3)，(x4，y4，z4)；依据触控投影系统中的红外相机与所述深度相机之间的旋转矩阵和平移向量，以及所述三维坐标值(x1，y1，z1)，(x2，y2，z2)，(x3，y3，z3)，(x4，y4，z4)，得到所述四个顶点分别对应的三维坐标值(x_ir1,y_ir1,z_ir1)，(x_ir2,y_ir2,z_ir2)，(x_ir3,y_ir3,z_ir3)，(x_ir4,y_ir4,z_ir4)；基于红外相机坐标系与世界坐标系的对应关系，以及所述三维坐标值(x_ir1，y_ir1，z_ir1)，(x_ir2，y_ir2，z_ir2)，(x_ir3，y_ir3，z_ir3)，(x_ir4，y_ir4，z_ir4)，得到所述四个顶点在红外图像中对应的红外像素坐标值(u_ir1，v_ir1)，(u_ir2，v_ir2)，(u_ir3，v_ir3)，(u_ir4，v_ir4)；由所述四个顶点在红外图像中对应的红外像素坐标值(u_ir1，v_ir1)，(u_ir2，v_ir2)，(u_ir3，v_ir3)，(u_ir4，v_ir4)，确定出所述红外图像中的投影触控区域。

综上所述，本申请实施例的触控投影系统及图像处理方法，利用RGB相机采集触控投影系统投射的棋盘格图像，得到RGB图像，对RGB图像进行处理得到棋盘格图像四个顶点，由这四个顶点，RGB相机与第一图像的标定关系，得到棋盘格图像四个顶点在第一图像的像素坐标，由第一图像的像素坐标确定出第一图像中的投影触控区域，后续可只在第一图像的投影触控区域内进行触点检测等操作，避免了图像全域检测导致的图像处理以及触控动作识别速度慢、效率低的技术问题，节省了处理资源。

本申请的另一个实施例提供了一种计算机可读存储介质，计算机可读存储介质存储计算机指令，计算机指令使所述计算机执行上述的触控投影系统中图像处理方法。本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图的一个流程或多个流程和/或方框图的一个方框或多个方框中指定的功能的装置。

需要说明的是术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

本申请的说明书中，说明了大量具体细节。然而能够理解的是，本申请的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。类似地，应当理解，为了精简本申请公开并帮助理解各个发明方面中的一个或多个，在上面对本申请的示例性实施例的描述中，本申请的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该公开的方法解释成反映如下意图：即所要求保护的本申请要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说，正如权利要求书所反映的那样，发明方面在于少于前面公开的单个实施例的所有特征。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本申请的单独实施例。

以上所述，仅为本申请的具体实施方式，在本申请的上述教导下，本领域技术人员可以在上述实施例的基础上进行其他的改进或变形。本领域技术人员应该明白，上述的具体描述只是更好的解释本申请的目的，本申请的保护范围以权利要求的保护范围为准。

Claims (6)

1.一种触控投影系统中的图像处理方法，其特征在于，包括：

利用所述触控投影系统的RGB相机采集投影平面上的棋盘格图像，得到RGB图像，对所述RGB图像进行角点检测，获得所述RGB图像中所述棋盘格图像的四个顶点的RGB像素坐标值，由所述四个顶点的RGB像素坐标值，得到所述RGB图像中投影触控区域；

其中所述投影触控区域的大小与所述棋盘格图像的大小相等；

依据所述RGB相机与所述触控投影系统中的第一相机之间的标定参数，得到转换矩阵；

其中，所述转换矩阵用于将RGB图像中像素点的像素坐标值转换为第一图像中像素点的像素坐标值，第一图像由所述第一相机采集投影平面获得；

基于所述四个顶点的RGB像素坐标值以及所述转换矩阵，得到所述四个顶点对应的第一像素坐标值，由所述四个顶点对应的第一像素坐标值，确定出所述第一图像中的投影触控区域；所述第一相机包括深度相机；

依据所述RGB相机与所述触控投影系统中的第一相机之间的标定参数，得到转换矩阵包括：

依据RGB相机相对于深度相机的旋转矩阵和平移向量，确定深度图像中像素点（u，v）对应的RGB像素坐标值(u_rgb,v_rgb)；由像素点（u，v）以及像素点（u，v）对应的RGB像素坐标值(u_rgb,v_rgb)，得到坐标序列（u_rgb，v_rgb，u，v）；由所述坐标序列（u_rgb，v_rgb， u，v），得到所述转换矩阵；

所述基于所述四个顶点的RGB像素坐标值以及所述转换矩阵，得到所述四个顶点对应的第一像素坐标值包括：

依据四个顶点中各顶点的RGB像素坐标值与所述转换矩阵的乘积，得到所述四个顶点对应的第一像素坐标值，由所述四个顶点对应的第一像素坐标值，确定出所述深度图像中的投影触控区域，其中在确定出所述深度图像中的投影触控区域之后，该方法还包括：在所述深度图像中的投影触控区域检测触点，所述在所述深度图像中的投影触控区域检测触点包括：

分割所述深度图像的背景得到前景图像，在所述前景图像上进行连通域检测，得到目标连通域；

基于所述目标连通区域确定出掌心；

依据所述掌心以及所述目标连通域内深度值最大的像素点，得到手持物触点位置信息或指尖触点位置信息；

所述基于所述目标连通区域确定出掌心包括：在各所述目标连通域内确定深度值最大的像素点，计算目标连通域内各点与所述深度值最大的像素点的第一距离，将第一距离小于预设阈值的点保留，得到第一点集，对所述第一点集中的点进行椭圆拟合，将椭圆的中心点作为掌心；

所述依据所述掌心以及所述目标连通域内深度值最大的像素点，得到手持物触点位置信息或指尖触点位置信息包括：

计算所述深度值最大的像素点与所述掌心之间的第二距离，

如果所述第二距离大于第二阈值，或第一红外强度值与第二红外强度值之差大于第三阈值，则确定深度值最大的像素点是手持物触点，得到手持物触点位置信息；其中，第一红外强度值是所述深度值最大的像素点对应的红外强度值，所述第二红外强度值是所述掌心对应的红外强度值；

如果深度值最大的像素点不是手持物触点，则依据所述第一点集和所述第二距离进行用户手指的指尖检测，得到指尖触点位置信息。

2.根据权利要求1所述的方法，其特征在于，所述依据RGB相机相对于深度相机的旋转矩阵和平移向量，确定深度图像中像素点（u，v）对应的RGB像素坐标值(u_rgb，v_rgb)包括：

基于深度相机坐标系与世界坐标系的对应关系，得到深度图像的像素点（u，v）对应的三维坐标值(x，y，z)；

依据RGB相机与深度相机之间的旋转矩阵和平移向量，以及所述三维坐标值(x，y，z)，得到所述像素点（u，v）对应的三维坐标值(x_rgb，y_rgb，z_rgb)；

基于RGB相机坐标系与世界坐标系的对应关系，以及所述三维坐标值(x_rgb,y_rgb,z_rgb)，得到所述像素点（u，v）在所述RGB图像中对应的RGB像素坐标值(u_rgb，v_rgb)。

3.根据权利要求2所述的方法，其特征在于，在确定出所述深度图像中的投影触控区域之后，该方法还包括：

依据深度相机坐标系与世界坐标系的对应关系，得到所述深度图像中的所述四个顶点分别对应的三维坐标值(x1，y1，z1)，(x2，y2，z2)，(x3，y3，z3)，(x4，y4，z4)；

依据触控投影系统中的红外相机与所述深度相机之间的旋转矩阵和平移向量，以及所述三维坐标值(x1，y1，z1)，(x2，y2，z2)，(x3，y3，z3)，(x4，y4，z4)，得到所述四个顶点分别对应的三维坐标值(x_ir1,y_ir1,z_ir1) ，(x_ir2,y_ir2,z_ir2)，(x_ir3,y_ir3,z_ir3)，(x_ir4,y_ir4,z_ir4)；

基于红外相机坐标系与世界坐标系的对应关系，以及所述三维坐标值(x_ir1，y_ir1，z_ir1) ，(x_ir2，y_ir2，z_ir2)，(x_ir3，y_ir3，z_ir3)，(x_ir4，y_ir4，z_ir4)，得到所述四个顶点在红外图像中对应的红外像素坐标值(u_ir1，v_ir1)，(u_ir2，v_ir2)，(u_ir3，v_ir3)，(u_ir4，v_ir4)；

由所述四个顶点在红外图像中对应的红外像素坐标值(u_ir1，v_ir1)，(u_ir2，v_ir2)，(u_ir3，v_ir3)，(u_ir4，v_ir4)，确定出所述红外图像中的投影触控区域。

4.根据权利要求3所述的方法，其特征在于，在确定出所述深度图像中的投影触控区域之后，该方法还包括：

在所述深度图像中的投影触控区域检测触点；所述触点包括手持物触点或指尖触点；

在确定出所述红外图像中的投影触控区域之后，该方法还包括：

在所述红外图像中的投影触控区域检测光斑；所述光斑是手持物或指尖反射光源的光束而产生的。

5.根据权利要求4所述的方法，其特征在于，在所述红外图像中的投影触控区域检测光斑包括：

获取所述红外图像上像素点的亮度值，

将亮度值大于预设亮度阈值的像素点个数作为所述光斑的面积，

将亮度值大于预设亮度阈值的像素点的位置的平均值作为所述光斑的像素位置。

6.一种触控投影系统，其特征在于，所述触控投影系统包括：RGB相机，第一相机和处理装置；

所述RGB相机采集投影平面上的棋盘格图像，得到RGB图像；

所述第一相机，采集投影平面得到第一图像；

所述处理装置，用于对所述RGB图像进行角点检测，获得所述RGB图像中所述棋盘格图像的四个顶点的RGB像素坐标值，由所述四个顶点的RGB像素坐标值，得到所述RGB图像中投影触控区域，所述投影触控区域的大小与所述棋盘格图像的大小相等，依据所述RGB相机与所述触控投影系统中的第一相机之间的标定参数，得到转换矩阵；其中，所述转换矩阵用于将RGB图像中像素点的像素坐标值转换为第一图像中像素点的像素坐标值；基于所述四个顶点的RGB像素坐标值以及所述转换矩阵，得到所述四个顶点对应的第一像素坐标值，由所述四个顶点对应的第一像素坐标值，确定出所述第一图像中的投影触控区域；所述第一相机包括深度相机；

所述处理装置，具体用于依据RGB相机相对于深度相机的旋转矩阵和平移向量，确定深度图像中像素点（u，v）对应的RGB像素坐标值(u_rgb,v_rgb)；由像素点（u，v）以及像素点（u，v）对应的RGB像素坐标值(u_rgb,v_rgb)，得到坐标序列（u_rgb，v_rgb，u，v）；由所述坐标序列（u_rgb，v_rgb， u，v），得到所述转换矩阵；依据四个顶点中各顶点的RGB像素坐标值与所述转换矩阵的乘积，得到所述四个顶点对应的第一像素坐标值，由所述四个顶点对应的第一像素坐标值，确定出所述深度图像中的投影触控区域，其中所述处理装置还用于：在所述深度图像中的投影触控区域检测触点，所述在所述深度图像中的投影触控区域检测触点包括：

分割所述深度图像的背景得到前景图像，在所述前景图像上进行连通域检测，得到目标连通域；

基于所述目标连通区域确定出掌心；

依据所述掌心以及所述目标连通域内深度值最大的像素点，得到手持物触点位置信息或指尖触点位置信息；

所述所述处理装置还用于：在各所述目标连通域内确定深度值最大的像素点，计算目标连通域内各点与所述深度值最大的像素点的第一距离，将第一距离小于预设阈值的点保留，得到第一点集，对所述第一点集中的点进行椭圆拟合，将椭圆的中心点作为掌心；

所述依据所述掌心以及所述目标连通域内深度值最大的像素点，得到手持物触点位置信息或指尖触点位置信息包括：

计算所述深度值最大的像素点与所述掌心之间的第二距离，

如果所述第二距离大于第二阈值，或第一红外强度值与第二红外强度值之差大于第三阈值，则确定深度值最大的像素点是手持物触点，得到手持物触点位置信息；其中，第一红外强度值是所述深度值最大的像素点对应的红外强度值，所述第二红外强度值是所述掌心对应的红外强度值；

如果深度值最大的像素点不是手持物触点，则依据所述第一点集和所述第二距离进行用户手指的指尖检测，得到指尖触点位置信息。

Images