CN109976590A - 一种基于摄像头的触控检测方法 - Google Patents

Abstract

本发明涉及一种基于摄像头的触控检测方法，包括步骤：1)将至少两个摄像头分别摆放在识别区域的不同位置；2)标记识别平面的法线；3)摄像头采集图像，确定多层神经网络的输入图像，然后基于多层卷积神经网络，抽取出高维特征图，并得到识别物的关键点在图像中的位置；4)校正标定；5)计算出识别物关键点的图像位置P，计算识别平面法线在图像坐标系中经过位置P的投影线LP，将LP换算到平面坐标，在平面坐标上得到直线LP’；6)每个摄像头对于每个识别物计算得到直线LP’，将不同摄像头计算得出的LP’求交点，再计算得出每个摄像头都经过的交点即为识别物的平面位置。与现有技术相比，本发明具有安装简单、适用性广、识别准确等优点。

Description

一种基于摄像头的触控检测方法

技术领域

本发明涉及计算机视觉、人工智能和触控检测领域，尤其是涉及一种基于摄像头的触控检测方法。

背景技术

触控技术作为鼠标，键盘外的又一种人机交互的输入设备，因其所见即所得，动作自然，操作方便快捷的特点，得到越来越广泛的应用。触控技术根据硬件实现技术的不同，又分为电阻式，电容式，红外灯，摄像头方式等。

现有的基于摄像头的触摸检测方法有很多，但是各有不足。公开号CN103488356A的中国专利公开了一种基于红外摄像头三维成像的触摸识别方法，通过将红外摄像头安装在屏幕边框的左右任意位置，再通过摄像头对屏幕进行标定，通过摄像头采集手指或触摸笔在屏上点击、触摸、滑动等动作的图像，对手指或触摸笔进行三维成像，并判断手指或触摸笔的触摸点在屏幕上的位置和动作。该识别方法是基于红外摄像头，不能推广到普通的非红外摄像头上。公开号CN102184056A的中国专利公开了一种多触摸点识别方法及装置，该方法包括以下步骤：两个摄像头分别采集一帧图像，获取两幅图像中的触摸物体图像的形状、位置、横向大小信息；根据形状信息判断触摸物体的类型是否相同；若不同，识别笔触摸和手指触摸并分别计算笔和手指的触摸点坐标；若相同，根据位置信息计算各触摸物体到两个摄像头连线之间的角度、交叉点坐标；选定摄像头，计算交叉点到该摄像头的距离，并计算各距离之间的比值；计算参考值；将各距离之间的比值与参考值进行比较，确定真正的触摸点。该方法依赖于预先设定了笔的倒三角和手指的圆柱形形状，仅利用贴近显示屏表面的几行图像信息，丢失了触摸物的很多信息：颜色、整个人手形状等，容易出现误识别。公开号CN101403951A的中国专利公开了交互式电子显示系统的多点定位装置及方法，其运用摄像组件的摄像技术，通过不同的摄像头组合，比较有遮挡物和无遮挡物时摄像头拍摄到的颜色线图片，提取坐标角度信息，来确定多个遮挡物的定位坐标。该装置及方法需要在显示屏边缘制作边框，并喷涂两条或两条以上颜色线，摄像头需配合边框对准安装，安装不够简便，当不能对显示屏边缘进行干预时，则该方法不适用。

发明内容

本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种基于摄像头的触控检测方法，该方法安装简单、适用性广、识别准确。

本发明的目的可以通过以下技术方案来实现：

一种基于摄像头的触控检测方法，包括以下步骤：

1)将至少两个摄像头分别摆放在识别区域的不同位置，且每个摄像头图像采集范围均应涵盖整个识别区域；

2)标记识别平面的法线：一个或多个物体位于识别平面上，识别物上存在平行于识别平面法线的线段，在每个摄像头中标记出这些线段在图像坐标系中的一条或多条投影线L；

3)每个摄像头采集图像src，其尺寸为W×H×C，W是src的宽，H是src的高，C≥1是src的通道数，确定多层神经网络的输入图像input，其尺寸为W’×H’×C’，W’是input的宽，H’是input的高，C’是input的通道数，然后基于多层卷积神经网络，抽取出低分辨率高维特征图fm，其尺寸为W_f×H_f×N，W_f≤W是fm的宽，H_f≤H是fm的高，N≥C’是fm的通道数，并根据高维特征图回归计算得到识别物的关键点在图像src中的位置；

4)校正标定：识别物依次位于4个指定的平面位置，每个摄像头各自计算出识别物关键点的图像坐标(x1,y1),(x2,y2),(x3,y3),(x4,y4)，计算得到图像坐标到平面坐标换算的参数矩阵M；

5)每个摄像头通过步骤3)计算出识别物关键点的图像位置P，利用步骤2)中的一条或多条投影线L，计算识别平面法线在图像坐标系中经过位置P的投影线LP，再利用步骤4)中的图像坐标(x1,y1),(x2,y2),(x3,y3),(x4,y4)和坐标换算的参数矩阵M，将LP换算到平面坐标，在平面坐标上得到直线LP’；

6)每个摄像头对于每个识别物计算得到直线LP’，将不同摄像头计算得出的LP’求交点，再计算得出每个摄像头都经过的交点即为识别物的平面位置。

优选地，所述的步骤3)中识别物的关键点为识别物最接近识别表面的点或识别物的中心点。

优选地，所述的步骤3)中回归计算识别物的关键点在图像中的位置时，可同时回归计算出识别物在图像中的宽高信息。

优选地，所述的步骤3)中的多层神经网络的输入图像input是覆盖整个识别区域的图像src，即input＝src，或是动态提取出图像src中包含识别物的ROI(Region ofInterest)区域。

优选地，所述的动态提取出图像src中包含识别物的ROI区域具体为：

(1)基于多层卷积神经网络的物体检测方法：该方法通过多层次的卷积和下采样，迭代抽取出低分辨率高维特征图，并根据高维特征图，回归计算出识别物的边界框和存在识别物的概率值，边界框包括识别物的中心点坐标、宽和高，其中概率值越高，则存在识别物的可能性越大，反之，则越小；然后再根据边界框提取出包含识别物的ROI区域；

或者(2)图像相减法：该方法首先提取一个辅助的图像bg，该图像是不包含任何识别物的背景图片，然后将提取到的图像src与图像bg相减，并进行腐蚀膨胀操作，从而提取出src中包含识别物的ROI区域。

优选地，所述的步骤3)中的计算识别物的关键点在图像src中的位置是基于多层卷积神经网络的物体检测方法，该方法只需自然光或者电子显示屏自发的光，该方法可检测出不同形状、不同大小的识别物的关键点在图像src中的位置，具体步骤如下：

对输入到多层卷积神经网络中的图像input，其尺寸为W’×H’×C’，W’≤W是input的宽，H’≤H是input的高，C’是input的通道数，迭代进行批量标准化操作，图像卷积核操作，下采样操作，抽取出低分辨率高维特征图fm，其尺寸为Wf×Hf×N，Wf≤W’是fm的宽，Hf≤H’是fm的高，N≥C’是fm的通道数，取128～1024；

根据提取出的高维特征图fm，回归计算得到识别物的关键点坐标(x,y)；

将计算得到的关键点坐标(x,y)，利用线性变换还原到图像src的对应位置(x’,y’)。

优选地，所述的步骤4)中的图像坐标到平面坐标换算参数矩阵M，包括图形学中的平移变换参数、放缩变换参数、旋转变换参数以及透视变换参数。

优选地，所述的步骤5)中的利用步骤2)中的一条或多条投影线L计算识别平面法线在图像坐标中经过位置P的投影直线LP，其利用了投影坐标变换中，平面中两条平行线在图像坐标中交于一个灭点的原理，通过三角形相似原理计算得出。

优选地，所述的步骤5)中的利用步骤4)中图像坐标(x1,y1),(x2,y2),(x3,y3),(x4,y4)和图像坐标到平面坐标换算参数矩阵M，将LP换算到平面坐标，在平面坐标上得到一根直线LP’的步骤包含以下步骤：

(1)图像坐标(x₁,y₁),(x₂,y₂),(x₃,y₃),(x₄,y₄)依次对应点P₁,P₂,P₃,P₄；L₁₂为P₁到P₂的连线，L₂₃为P₂到P₃的连线，L₃₄为P₃到P₄的连线，L₄₁为P₄到P₁的连线，L₁₂，L₂₃，L₃₄，L₄₁四条线可构成一个封闭凸四边形R₁₂₃₄或者一根线段LS₁₂₃₄；

(2)用LP依次和L₁₂，L₂₃，L₃₄，L₄₁求交线，可得到最少两个交点，最多4个交点，当超过两个交点时，将位于封闭凸四边形R₁₂₃₄或者线段LS₁₂₃₄外的交点排除，最终留下两个交点；

(3)利用图像坐标到平面坐标换算参数矩阵M，将得到的两个交点从图像坐标换算到平面坐标，计算得到平面坐标系中的一根直线LP’。

优选地，所述的步骤6)中的将不同摄像头计算出的LP’求交，再计算得出每个摄像头都经过的交点，由于误差的存在，多于两个摄像头产生的LP’未必产生交点，一种优选的方法：使用经验阈值将直线LP’拓宽成设定宽度的线束，通过所有线束计算每个摄像头都经过的线束相交多边形，取相交多边形的几何中心作为识别物位置。

与现有技术相比，本发明的方法能准确识别单个和多个触摸物，不依赖于额外的光源，不需要特别的反光镜或者颜色线，使用简单方便，具有适用范围广、成本低、易维护等特点。

附图说明

图1是本发明的基本结构和原理参考示意图；

图2是摄像头采集到的图像中，识别平面法线和识别区域标定点坐标位置示意图；

图3是摄像头图像中，识别物的关键点为手指距离识别表面最近点的位置示意图；

图4是摄像头图像中，识别物的关键点为教鞭头部中心点位置示意图；其中图中的边界框由教鞭头部中心点和教鞭头部宽高构成；

图5是本发明触摸检测方法在具体实施例中的流程图；

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明的一部分实施例，而不是全部实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都应属于本发明保护的范围。

实施例中采用两个摄像头，如附图1所示，两个摄像头分别位于识别区域的左上角外侧和右上角外侧，两个摄像头图像采集范围均涵盖了整个识别区域，使用手指对识别平面进行操作，摄像头和识别区域左右上角保持一小段距离的好处是可避免手指在识别区域角落触摸时，挡住了摄像头使得其他区域的触摸无法被摄像头看到，而摄像头分别放置于左右上角，能最大程度的使得摄像头视线保持正交，提高精准度；

如图5所示，步骤S1，通过在识别区域中心位置放置一个圆柱体，圆柱体垂直于识别平面，圆柱体的边线和识别平面的法线平行，然后在左右两个摄像头中分别标记这个圆柱体边线的头尾两个点作为识别平面的法线在图像坐标中的投影线；

如图5所示，步骤S2，实施例中使用的摄像头分辨率是1280×720，采集图像src(W×H×C，W是1280，H是720，C是3)，使用基于多层卷积神经网络的物体检测方法确定多层神经网络的输入图像input(W’×H’×C’，W’是160,H’是160，C’是3)，具体步骤如下：

a)调整图像src分辨率大小为(512×200)，通过多层次的卷积和下采样，下采样倍数为32，迭代抽取出低分辨率高维特征图(16×6×1024)；

b)根据高维特征图，回归计算出识别物的边界框(包括识别物的中心点坐标、宽和高)和存在识别物的概率值，其中概率值越高，则存在识别物的可能性越大，反之，则越小；

c)根据边界框提取出包含识别物的ROI区域(W’×H’×C，W’是160,H’是160，C是3)。

如图5所示，步骤S3，利用图像input(W’×H’×C’，W’是160,H’是160，C’是3)计算得出识别物的关键点在图像中的位置，具体步骤如下：

a)对图像input(W’×H’×C’，W’是160,H’是160，C’是3)，迭代进行批量标准化操作，图像卷积核操作，下采样操作(16倍下采样)，抽取出低分辨率高维特征图fm(10×10×512)；

b)根据提取出的高维特征图fm，回归计算得到识别物的关键点坐标(x,y)；

c)利用线性变换将关键点坐标(x,y)还原到图像src的对应位置(x’,y’)。

上述步骤中识别的关键点可以是以下点：

1)识别物最接近识别表面的点，如图3所示的关键点；

2)识别物的中心点，如图4所示的关键点。

如图5所示，步骤S4，校正标定，如附图1所示，指定识别区域的4个角落的点作为校正标定点，本实施例中识别区域的显示屏分辨率为1920×1080，则对应指定的4个标定点坐标为P₁(0,0)、P₂(1919,0)、P₃(0,1079)、P₄(1919,1079)；直接指定角落点作为校正标定点的好处是识别区域大小和边缘位置信息在摄像头中可直观反应，方便观察计算结果；手指依次在标定点处触摸并保持不动30秒，使用步骤S2、S3来识别手指关键点在图像中的位置，在左边摄像头采集到的图像中得到4个标定点的相对位置如附图2所示，分别为P₁’、P₂’、P₃’、P₄’,4个点构成了一个凸四边形；右边摄像头同样得到4个标定点对应的图像坐标和凸四边形；通过平面坐标中的4个坐标点P₁、P₂、P₃、P₄和图像坐标中的4个坐标点P₁’、P₂’、P₃’、P₄’，计算得到一个3×3的图像坐标到平面坐标的坐标变换参数矩阵M，这里的变换涉及到二维图像的平移，放缩，旋转，透视变换；

如图5所示，步骤S5，读取左边摄像头的下一帧图像，如附图1所示识别物位于平面坐标P处，基于多层神经网络，抽取出低分辨率高维特征图fm，并根据高维特征图fm，回归计算得到识别物的关键点在图像中的位置，如附图2所示的P’；通过左边摄像头中已标记的识别平面的法线在图像坐标转换的法线L，计算得到经过P’并且平行于L的法线投影线LP；

如附图2所示，左边摄像头用法线投影线LP依次和四条连线求交，四条连线依次为P₁’到P₂’,P₂’到P₃’,P₃’到P₄’,P₄’到P₁’，可以得到4个交点，但是其中LP和P₁’P₂’连线的延长线交于一点，该点位于识别区域外，另外LP和P₂’P₃’连线的延长线交于一点，该点也位于识别区域外，所以留下LP和P₄’P₁’连线以及P₃’P₄’连线的两个交点；将这两个交点，通过图像坐标到平面坐标的坐标变换参数矩阵M计算得到对应的平面坐标上的点，并将两点连线，则得到如附图1中的摄像头1下方的线段LP₁’：一端位于边线P₄P₁上，一端位于边线P₃P₄上；

同理右边摄像头可得到如附图1中摄像头2下方的线段LP₂’；

如图5所示，步骤S6，将左右摄像头计算得出的LP₁’和LP₂’求交，本实施例为两个摄像头，则两条线的交点直接就是所有摄像头都经过的交点，如附图1所示，LP₁’和LP₂’的交点即识别出来的手指平面位置。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。

Claims (10)

1.一种基于摄像头的触控检测方法，其特征在于，包括以下步骤：

1)将至少两个摄像头分别摆放在识别区域的不同位置，且每个摄像头图像采集范围均应涵盖整个识别区域；

2)标记识别平面的法线：一个或多个物体位于识别平面上，识别物上存在平行于识别平面法线的线段，在每个摄像头中标记出这些线段在图像坐标系中的一条或多条投影线L；

3)每个摄像头采集图像src，其尺寸为W×H×C，W是src的宽，H是src的高，C≥1是src的通道数，确定多层神经网络的输入图像input，其尺寸为W’×H’×C’，W’是input的宽，H’是input的高，C’是input的通道数，然后基于多层卷积神经网络，抽取出低分辨率高维特征图fm，其尺寸为W_f×H_f×N，W_f≤W是fm的宽，H_f≤H是fm的高，N≥C’是fm的通道数，并根据高维特征图回归计算得到识别物的关键点在图像src中的位置；

4)校正标定：识别物依次位于4个指定的平面位置，每个摄像头各自计算出识别物关键点的图像坐标(x1,y1),(x2,y2),(x3,y3),(x4,y4)，计算得到图像坐标到平面坐标换算的参数矩阵M；

5)每个摄像头通过步骤3)计算出识别物关键点的图像位置P，利用步骤2)中的一条或多条投影线L，计算识别平面法线在图像坐标系中经过位置P的投影线LP，再利用步骤4)中的图像坐标(x1,y1),(x2,y2),(x3,y3),(x4,y4)和坐标换算的参数矩阵M，将LP换算到平面坐标，在平面坐标上得到直线LP’；

6)每个摄像头对于每个识别物计算得到直线LP’，将不同摄像头计算得出的LP’求交点，再计算得出每个摄像头都经过的交点即为识别物的平面位置。

2.根据权利要求1所述的方法，其特征在于，所述的步骤3)中识别物的关键点为识别物最接近识别表面的点或识别物的中心点。

3.根据权利要求1所述的方法，其特征在于，所述的步骤3)中回归计算识别物的关键点在图像中的位置时，可同时回归计算出识别物在图像中的宽高信息。

4.根据权利要求1所述的方法，其特征在于，所述的步骤3)中的多层神经网络的输入图像input是覆盖整个识别区域的图像src，即input＝src，或是动态提取出图像src中包含识别物的ROI区域。

5.根据权利要求4所述的方法，其特征在于，所述的动态提取出图像src中包含识别物的ROI区域具体为：

(1)基于多层卷积神经网络的物体检测方法：该方法通过多层次的卷积和下采样，迭代抽取出低分辨率高维特征图，并根据高维特征图，回归计算出识别物的边界框和存在识别物的概率值，边界框包括识别物的中心点坐标、宽和高，其中概率值越高，则存在识别物的可能性越大，反之，则越小；然后再根据边界框提取出包含识别物的ROI区域；

或者(2)图像相减法：该方法首先提取一个辅助的图像bg，该图像是不包含任何识别物的背景图片，然后将提取到的图像src与图像bg相减，并进行腐蚀膨胀操作，从而提取出src中包含识别物的ROI区域。

6.根据权利要求1所述的方法，其特征在于，所述的步骤3)中的计算识别物的关键点在图像src中的位置是基于多层卷积神经网络的物体检测方法，该方法只需自然光或者电子显示屏自发的光，该方法可检测出不同形状、不同大小的识别物的关键点在图像src中的位置，具体步骤如下：

对输入到多层卷积神经网络中的图像input，其尺寸为W’×H’×C’，W’≤W是input的宽，H’≤H是input的高，C’是input的通道数，迭代进行批量标准化操作，图像卷积核操作，下采样操作，抽取出低分辨率高维特征图fm，其尺寸为Wf×Hf×N，Wf≤W’是fm的宽，Hf≤H’是fm的高，N≥C’是fm的通道数，取128～1024；

根据提取出的高维特征图fm，回归计算得到识别物的关键点坐标(x,y)；

将计算得到的关键点坐标(x,y)，利用线性变换还原到图像src的对应位置(x’,y’)。

7.根据权利要求1所述的方法，其特征在于，所述的步骤4)中的图像坐标到平面坐标换算参数矩阵M，包括图形学中的平移变换参数、放缩变换参数、旋转变换参数以及透视变换参数。

8.根据权利要求1所述的方法，其特征在于，所述的步骤5)中的利用步骤2)中的一条或多条投影线L计算识别平面法线在图像坐标中经过位置P的投影直线LP，其利用了投影坐标变换中，平面中两条平行线在图像坐标中交于一个灭点的原理，通过三角形相似原理计算得出。

9.根据权利要求1所述的方法，其特征在于，所述的步骤5)中的利用步骤4)中图像坐标(x1,y1),(x2,y2),(x3,y3),(x4,y4)和图像坐标到平面坐标换算参数矩阵M，将LP换算到平面坐标，在平面坐标上得到一根直线LP’的步骤包含以下步骤：

(1)图像坐标(x₁,y₁),(x₂,y₂),(x₃,y₃),(x₄,y₄)依次对应点P₁,P₂,P₃,P₄；L₁₂为P₁到P₂的连线，L₂₃为P₂到P₃的连线，L₃₄为P₃到P₄的连线，L₄₁为P₄到P₁的连线，L₁₂，L₂₃，L₃₄，L₄₁四条线可构成一个封闭凸四边形R₁₂₃₄或者一根线段LS₁₂₃₄；

(2)用LP依次和L₁₂，L₂₃，L₃₄，L₄₁求交线，可得到最少两个交点，最多4个交点，当超过两个交点时，将位于封闭凸四边形R₁₂₃₄或者线段LS₁₂₃₄外的交点排除，最终留下两个交点；

(3)利用图像坐标到平面坐标换算参数矩阵M，将得到的两个交点从图像坐标换算到平面坐标，计算得到平面坐标系中的一根直线LP’。

10.根据权利要求1所述的方法，其特征在于，所述的步骤6)中的将不同摄像头计算出的LP’求交，再计算得出每个摄像头都经过的交点，由于误差的存在，多于两个摄像头产生的LP’未必产生交点，一种优选的方法：使用经验阈值将直线LP’拓宽成设定宽度的线束，通过所有线束计算每个摄像头都经过的线束相交多边形，取相交多边形的几何中心作为识别物位置。