CN110928457A - 基于红外相机的平面触摸方法 - Google Patents

Abstract

本发明提供一种基于红外相机的平面触摸方法，包括：在触摸区域内安装一个或多个1/4锥激光器，至少一个红外相机和投影仪；通过红外相机拍摄一张红外图像；对红外图像进行透视变换校准；将校准的图像进行二值化处理外轮廓查找处理；获得图像偏移量；再将相对坐标变换到触摸平面，得到精准的触摸点坐标；将触摸点坐标输入滤波器进行追踪，平滑运动中的坐标；最后将平滑后的物理坐标转换到投影仪平面，即触摸平面坐标，得到红外图像中的触摸点坐标与投影仪平面之间的像素坐标映射关系。本发明通过红外相机和锥激光器实现的平面触摸方法，由1/4锥镜、红外相机、投影仪组成的触摸互动系统，经济性高，可实现大平面、大范围的游戏交互。

Description

基于红外相机的平面触摸方法

技术领域

本发明涉及图像处理与交互技术领域，具体而言涉及一种基于红外相机的平面触摸方法。

背景技术

当前触摸技术主要分为电容式、电阻式触控方案，电容式、电阻式需要使用特定的触摸介质。例如手机电容电阻屏幕，其中有一层触摸屏用来实现光电转换，这类触摸方式成本较高，无法适用大场景下的触摸支持。电容屏、电阻屏都属于接触性介质，很多场景无法适用，例如墙面、地面等等。

使用投影仪投射图像到触摸表面，通常在触控的场景下，需要使用深度相机或者激光雷达来搭建系统，安装和成本较为昂贵，触摸方案的成本较高。

发明内容

本发明目的在于提供一种基于红外相机的平面触摸方法，使用45度锥红外激光和相机，运用深度学习方法补偿计算后的坐标，最终得到精准触摸点坐标，从而降低成本并且可进行大平面的交互。

为实现上述目的，本发明使用的技术方案如下：

一种基于红外相机的平面触摸方法，包括：

步骤1、在触摸区域内安装一个或多个1/4锥激光器，至少一个红外相机和投影仪；

步骤2、对于触摸区域内的任意测量点，通过红外相机拍摄一张红外图像；

步骤3、对红外图像进行透视变换校准；

步骤4、将校准的图像进行二值化处理后，查找外轮廓得到外接矩形以及外接矩形左上、右下坐标点；

步骤5、将步骤4中外接矩形中的图像输入深度学习模型，输出触摸点中心相对于输入图像坐标的偏移量，将相对坐标变换到触摸平面，得到精准的触摸点坐标；

步骤6、将触摸点坐标输入滤波器进行追踪，平滑运动中的坐标；

步骤7、将平滑后的物理坐标转换到投影仪平面，即触摸平面坐标，得到红外图像中的触摸点坐标与投影仪平面之间的像素坐标映射关系。

进一步地，所述1/4锥激光器被安装到触摸平面上使得激光器可以横切整个触摸平面，当有触摸物体与激光平面相交时，红外相机朝向触摸平面拍摄触摸及触摸移动得到红外图像，其中1/4锥激光器使用1/4个镜面锥，激光垂直入射，将激光转换为以锥镜中心为圆点、90度范围的平行激光，用于照亮触摸点。

进一步地，红外相机被配置具有与1/4锥激光器中的激光波段相同的窄带滤波片。

进一步地，所述对红外图像进行透视变换校准的具体处理包括：

(1)向触摸区域内投射一个矩形，已知矩形的四个顶点坐标pts1；

(2)分别触摸平面内矩形的四个顶点，从红外相机中读取四个相机平面内的触摸点的坐标pts2；

(3)将pts1和pts2做透视变换,获取透视变换矩阵M；

(4)将步骤3得到的红外图像按照透视变换矩M变换为新的图像img，透视变换校准结束。

进一步地，所述步骤4的二值化处理和轮廓查找的具体处理包括：

首先，将图像作为一个[h,w,1]的一个二维矩阵，将图像像素值大于0的部分设置为1，等于0的部分设置为0，完成二值化；

然后，对二值化后的图像进行亮点，即局部响应区域的轮廓查找并外接轮廓的外接矩形，获得外接矩形的左上、右下顶点坐标值。

进一步地，所述步骤5中，使用下述方式进行精准坐标变换：

精准坐标^irp＝(left+dx,top+dy)，

精确坐标值表示无限接近真实触摸发生的位置，其中前述步骤通过二值化轮廓外接矩形左上顶点和右下顶点坐标值，即左上顶点(left,top)，右下顶点(right,down)，从红外图像img中裁剪下crop_img，将crop_img输入深度学习模型进行相对坐标预测，预测出相对于红外图像的触摸点坐标(dx,dy)；

然后将触摸点坐标(dx,dy)进行坐标转换到全局红外图像中得到^irp＝(left+dx,top+dy)，由此得到触摸点的精准坐标。

进一步地，所述滤波器为卡尔曼滤波。

进一步地，所述深度学习模型使用resnet作为模型的主干，使用MSE求预测值与标注点的误差值，误差值反向传播使用梯度下降法迭代模型，最终使得预测值与标注点的数值相近，由此得到深度学习模型。

进一步地，在步骤7中，通过

两次齐次变换，将触摸平面内的点坐标转换到投影仪平面，具体包括：

其中，变换分为两步进行，第一步将crop img下的点p_fp的直角坐标系经过计算旋转平移变换到红外图形坐标系内，由此得到p_ir，由于投影仪和红外图像中的点不属于同一个坐标系，再将ir坐标系转换到touch坐标系，由此得到p_touch。

由此，本发明提出的基于红外相机和锥激光器的平面触摸方法，由1/4锥镜、红外相机、投影仪组成的触摸互动系统，可利用投影仪将游戏界面投影到触摸平面，通过触摸的方式可以与游戏进行交互，实现大平面、大范围的游戏交互。

应当理解，前述构思以及在下面更加详细地描述的额外构思的所有组合只要在这样的构思不相互矛盾的情况下都可以被视为本公开的发明主题的一部分。另外，所要求保护的主题的所有组合都被视为本公开的发明主题的一部分。

结合附图从下面的描述中可以更加全面地理解本发明教导的前述和其他方面、实施例和特征。本发明的其他附加方面例如示例性实施方式的特征和/或有益效果将在下面的描述中显见，或通过根据本发明教导的具体实施方式的实践中得知。

附图说明

附图不意在按比例绘制。在附图中，在各个图中示出的每个相同或近似相同的组成部分可以用相同的标号表示。为了清晰起见，在每个图中，并非每个组成部分均被标记。

现在，将通过例子并参考附图来描述本发明的各个方面的实施例，其中：

图1是根据本发明示例性实施例的锥激光器的示意图。

图2是根据本发明示例性实施例的锥激光器、投影仪与红外相机的配置示意图。

图3-6是根据本发明示例性实施例的触摸电子与红外图像中触摸点的变换示意图，其中图3是标准的手指触摸示意，图4是红外图像示意，图5是透视变换之前的图像示意，图6是透视变换之后的图示意。

图7是根据本发明示例性实施例的通过深度学习模型精细坐标补偿的示意图。

具体实施方式

为了更了解本发明的技术内容，特举具体实施例并配合所附图式说明如下。

在本公开中参照附图来描述本发明的各方面，附图中示出了许多说明的实施例。本公开的实施例不必定意在包括本发明的所有方面。应当理解，上面介绍的多种构思和实施例，以及下面更加详细地描述的那些构思和实施方式可以以很多方式中任意一种来实施，这是应为本发明所公开的构思和实施例并不限于任何实施方式。另外，本发明公开的一些方面可以单独使用，或者与本发明公开的其他方面的任何适当组合来使用。

结合图1-7所示，根据本发明的示例性实施例的基于红外相机的平面触摸方法，其操作过程包括以下步骤：

步骤1、在触摸区域内安装一个或多个1/4锥激光器，至少一个红外相机和投影仪；

步骤2、对于触摸区域内的任意测量点，通过红外相机拍摄一张红外图像；

步骤3、对红外图像进行透视变换校准；

步骤4、将校准的图像进行二值化处理后，查找外轮廓得到外接矩形以及外接矩形左上、右下坐标点；

步骤5、将步骤4中外接矩形中的图像输入深度学习模型，输出触摸点中心相对于输入图像坐标的偏移量，将相对坐标变换到触摸平面，得到精准的触摸点坐标；

步骤6、将触摸点坐标输入滤波器进行追踪，平滑运动中的坐标；

步骤7、将平滑后的物理坐标转换到投影仪平面，即触摸平面坐标，得到红外图像中的触摸点坐标与投影仪平面之间的像素坐标映射关系。

下面结合附图所示，更加具体地描述前述示例的具体实施。

{触摸区域系统配置}

在触摸区域配置一个或多个1/4锥激光器，至少一个红外相机和投影仪。

结合图1、2所示的示意图，1/4锥激光器被安装到触摸平面上使得激光器可以横切整个触摸平面。如此，当有触摸物体与激光平面相交时，红外相机朝向触摸平面拍摄触摸及触摸移动得到红外图像。

本发明的示例中，1/4锥激光器使用1/4个镜面锥，激光垂直入射，将激光转换为以锥镜中心为圆点、90度范围的平行激光，用于照亮触摸点。

应当理解，前述的1/4锥激光器、红外相机和投影仪可以采用市售的产品，并可通过其SDK获取系统参数。

红外相机被配置具有与1/4锥激光器中的激光波段相同的窄带滤波片。例如，红外相机窄带滤光片为850nm,红外激光也使用850nm。拍摄一张红外图像，如图3、4所示。

{触摸图像处理}

结合图3-6所示，对于拍摄的红外图像，首先进行透视变换校准，这是由于红外相机的安装角度问题，导致红外图像存在畸变，同时，在结合图3-4所示，红外图像中的手指触摸位置并不在矩形中心位置，会因为触摸角度有不同程度的偏移。截取手指红外触摸图像并记录每个图像做上角坐标O_fp(tx,ty)。如图5所示，我们通过透视变换校准进行矫正，矫正后得到图6。经过自适应二值化、边缘查找、得到每一个触摸点的外接矩形左上角坐标点O_fp(tx,ty)。

进一步地，对红外图像进行的透视变换校准处理包括：

(1)向触摸区域内投射一个矩形，已知矩形的四个顶点坐标pts1；

(2)分别触摸平面内矩形的四个顶点，从红外相机中读取四个相机平面内的触摸点的坐标pts2；

(3)将pts1和pts2做透视变换,获取透视变换矩阵M；

(4)将步骤3得到的红外图像按照透视变换矩M变换为新的图像img，透视变换校准结束。

在本发明的实施例中，由于红外图像可能会受到环境光干扰，通常直射红外相机的自然强光源与红外窄带滤光片波段相近的光源会对红外相机的数据采集造成干扰，获取图像时需要调整快门曝光时间，使得测量区域内没有触摸时，获取红外图像无响应(图像上全黑)；当有触摸发生时，红外图像有局部响应(图像上的触摸点被红外激光照亮)。因此，我们在步骤4中进行二值化轮廓查找处理，具体包括：

首先，将图像作为一个[h,w,1]的一个二维矩阵，将图像像素值大于0的部分设置为1，等于0的部分设置为0，完成二值化；

然后，对二值化后的图像进行亮点，即局部响应区域的轮廓查找并外接轮廓的外接矩形，获得外接矩形的左上、右下顶点坐标值，即左上顶点(left,top)，右下顶点(right,down)。

优选地，步骤5中，使用下述方式进行精准坐标变换：

精准坐标^irp＝(left+dx,top+dy)，

精确坐标值表示无限接近真实触摸发生的位置，由于手指触摸存在多种姿态、方向、触摸区域大小等不确定因素，使用传统方法确定的触摸点大部分时候远偏离实际触摸位置。

其中，前述步骤通过二值化轮廓外接矩形左上顶点和右下顶点坐标值，从红外图像img中裁剪下crop_img，将crop_img输入深度学习模型进行相对坐标预测，预测出相对于红外图像的触摸点坐标(dx,dy)；

然后将触摸点坐标(dx,dy)进行坐标转换到全局红外图像中得到^irp＝(left+dx,top+dy)，由此得到触摸点的精准坐标。

进一步地，滤波器为卡尔曼滤波。

进一步地，深度学习模型使用resnet作为模型的主干，使用MSE求预测值与标注点的误差值，误差值反向传播使用梯度下降法迭代模型，最终使得预测值与标注点的数值相近，由此得到深度学习模型。

当然，在另外的实施例，本领域的技术人员还可以使用其他的回归模型来进行精准矫正，即偏移量预测。

进一步地，在步骤7中，通过

两次齐次变换，将触摸平面内的点坐标转换到投影仪平面，具体包括：

其中，变换分为两步进行，第一步将crop img下的点p_fp的直角坐标系经过计算旋转平移变换到红外图形坐标系内，由此得到p_ir，由于投影仪和红外图像中的点不属于同一个坐标系，再将ir坐标系转换到touch坐标系(投影仪坐标系)，由此得到p_touch。

至此，我们将红外图像内触摸点坐标映射到投影仪平面，得到精准的红外图像坐标与投影仪平面之间的坐标映射关系。由此，当投影仪将游戏界面或者其他交互内容解码投影到触摸平面时，交互操作的用户可通过在触摸屏幕的触摸操作，与游戏进行交互。

本发明的通过红外相机和锥激光器实现的平面触摸方法，由1/4锥镜、红外相机、投影仪组成的触摸互动系统，经济性高，单个激光器、红外摄像头便可以实现整个平面的触控，可以广泛应用在桌面、墙面等投影互动类触摸方案，实现大平面、大范围的游戏交互。

虽然本发明已以较佳实施例揭露如上，然其并非用以限定本发明。本发明所属技术领域中具有通常知识者，在不脱离本发明的精神和范围内，当可作各种的更动与润饰。因此，本发明的保护范围当视权利要求书所界定者为准。

Claims (9)

1.一种基于红外相机的平面触摸方法，其特征在于，包括：

步骤1、在触摸区域内安装一个或多个1/4锥激光器，至少一个红外相机和投影仪；

步骤2、对于触摸区域内的任意测量点，通过红外相机拍摄一张红外图像；

步骤3、对红外图像进行透视变换校准；

步骤4、将校准的图像进行二值化处理后，查找外轮廓得到外接矩形以及外接矩形左上、右下坐标点；

步骤5、将步骤4中外接矩形中的图像输入深度学习模型，输出触摸点中心相对于输入图像坐标的偏移量，将相对坐标变换到触摸平面，得到精准的触摸点坐标；

步骤6、将触摸点坐标输入滤波器进行追踪，平滑运动中的坐标；

步骤7、将平滑后的物理坐标转换到投影仪平面，即触摸平面坐标，得到红外图像中的触摸点坐标与投影仪平面之间的像素坐标映射关系。

2.根据权利要求1所述的基于红外相机的平面触摸方法，其特征在于，所述1/4锥激光器被安装到触摸平面上使得激光器可以横切整个触摸平面，当有触摸物体与激光平面相交时，红外相机朝向触摸平面拍摄触摸及触摸移动得到红外图像，其中1/4锥激光器使用1/4个镜面锥，激光垂直入射，将激光转换为以锥镜中心为圆点、90度范围的平行激光，用于照亮触摸点。

3.根据权利要求1或2所述的基于红外相机的平面触摸方法，其特征在于，所述红外相机被配置具有与1/4锥激光器中的激光波段相同的窄带滤波片。

4.根据权利要求1所述的基于红外相机的平面触摸方法，其特征在于，所述对红外图像进行透视变换校准的具体处理包括：

(1)向触摸区域内投射一个矩形，已知矩形的四个顶点坐标pts1；

(2)分别触摸平面内矩形的四个顶点，从红外相机中读取四个相机平面内的触摸点的坐标pts2；

(3)将pts1和pts2做透视变换,获取透视变换矩阵M；

(4)将步骤3得到的红外图像按照透视变换矩M变换为新的图像img，透视变换校准结束。

5.根据权利要求1所述的基于红外相机的平面触摸方法，其特征在于，所述步骤4的二值化处理和轮廓查找的具体处理包括：

首先，将图像作为一个[h,w,1]的一个二维矩阵，将图像像素值大于0的部分设置为1，等于0的部分设置为0，完成二值化；

然后，对二值化后的图像进行亮点，即局部响应区域的轮廓查找并外接轮廓的外接矩形，获得外接矩形的左上、右下顶点坐标值。

6.根据权利要求1所述的基于红外相机的平面触摸方法，其特征在于，所述步骤5中，使用下述方式进行精准坐标变换：

精准坐标^irp＝(left+dx,top+dy)，

精确坐标值表示无限接近真实触摸发生的位置，其中前述步骤通过二值化轮廓外接矩形左上顶点和右下顶点坐标值，即左上顶点(left,top)，右下顶点(right,down)，从红外图像img中裁剪下crop_img，将crop_img输入深度学习模型进行相对坐标预测，预测出相对于红外图像的触摸点坐标(dx,dy)；

然后将触摸点坐标(dx,dy)进行坐标转换到全局红外图像中得到^irp＝(left+dx,top+dy)，由此得到触摸点的精准坐标。

7.根据权利要求1所述的基于红外相机的平面触摸方法，其特征在于，所述滤波器为卡尔曼滤波。

8.根据权利要求1所述的基于红外相机的平面触摸方法，其特征在于，所述深度学习模型使用resnet作为模型的主干，使用MSE求预测值与标注点的误差值，误差值反向传播使用梯度下降法迭代模型，最终使得预测值与标注点的数值相近，由此得到深度学习模型。

9.根据权利要求1所述的基于红外相机的平面触摸方法，其特征在于，在步骤7中，通过

两次齐次变换，将触摸平面内的点坐标转换到投影仪平面，具体包括：

其中，变换分为两步进行，第一步将crop img下的点p_fp的直角坐标系经过计算旋转平移变换到红外图形坐标系内，由此得到p_ir，由于投影仪和红外图像中的点不属于同一个坐标系，再将ir坐标系转换到touch坐标系，由此得到p_touch。

Images