CN110308817B - 一种触控动作识别方法及触控投影系统 - Google Patents

一种触控动作识别方法及触控投影系统 Download PDF

Info

Publication number
CN110308817B
CN110308817B CN201910497155.3A CN201910497155A CN110308817B CN 110308817 B CN110308817 B CN 110308817B CN 201910497155 A CN201910497155 A CN 201910497155A CN 110308817 B CN110308817 B CN 110308817B
Authority
CN
China
Prior art keywords
touch
depth
light spot
image
infrared
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910497155.3A
Other languages
English (en)
Other versions
CN110308817A (zh
Inventor
孙涛
冯天
吴涛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qingdao Xiaoniao Kankan Technology Co Ltd
Original Assignee
Qingdao Xiaoniao Kankan Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qingdao Xiaoniao Kankan Technology Co Ltd filed Critical Qingdao Xiaoniao Kankan Technology Co Ltd
Priority to CN201910497155.3A priority Critical patent/CN110308817B/zh
Publication of CN110308817A publication Critical patent/CN110308817A/zh
Application granted granted Critical
Publication of CN110308817B publication Critical patent/CN110308817B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416—Control or interface arrangements specially adapted for digitisers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Geometry (AREA)
  • Human Computer Interaction (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Analysis (AREA)

Abstract

本申请公开了一种触控动作识别方法及触控投影系统，方法包括：拍摄预设投影平面上的投影触控区域，得到包含触点的深度图像；所述触点由目标对象在所述投影触控区域上触控产生；拍摄所述投影触控区域，得到包含光斑的红外图像；所述光斑是所述目标对象反射光源的光束而产生的；分别对所述深度图像和所述红外图像进行处理，得到所述触点的触点位置信息、所述光斑的位置信息和所述光斑的面积信息，依据所述光斑的位置、所述光斑的面积以及所述触点的位置，识别出用户的有效触控动作。本申请实施例能够识别用户的有效触控动作，降低了误触控发生率，改善了用户体验。

Description

一种触控动作识别方法及触控投影系统
技术领域
本申请涉及触控投影技术领域，具体涉及一种触控动作识别方法及触控投影系统。
背景技术
随着技术的发展，触控投影交互以及触控投影系统正受到越来越多的关注。有一种触控投影系统是通过激光管发出一条与桌面平行并桌面高1-3mm左右的激光线，当手按到或者是碰到激光线的时候就会在红外图像上产生一个白色的亮点，亮点位置不同，代表着用户接触的位置不同，由此响应接触位置执行触控动作。
但是，这种触控投影系统的缺点是：任何物体在被触控区域操作时都会在红外图像上有亮斑成像，导致误触控。而且在激光源亮度比较强或者投影面凹凸不平时，物体只要出现在投影面上方一定距离处就会反射激光并在红外图像上产生光斑，而此时物体并未实际触摸到投影面，给用户触控操作造成干扰。
发明内容
本申请提供了一种触控动作识别方法及触控投影系统，能够识别用户的有效触控动作，降低了误触控发生率，改善了用户体验。
根据本申请的一个方面，提供了一种触控动作识别方法，包括：
拍摄预设投影平面上的投影触控区域，得到包含触点的深度图像；所述触点由目标对象在所述投影触控区域上触控产生；
拍摄所述投影触控区域，得到包含光斑的红外图像；所述光斑是所述目标对象反射光源的光束而产生的；
分别对所述深度图像和所述红外图像进行处理，得到所述触点的触点位置信息、所述光斑的位置信息和所述光斑的面积信息，依据所述光斑的位置、所述光斑的面积以及所述触点的位置，识别出用户的有效触控动作。
根据本申请的另一个方面，提供了一种触控投影系统，触控投影系统包括：深度相机，光源，红外相机和处理装置，所述处理装置，与所述红外相机以及所述深度相机连接；
所述深度相机，用于拍摄预设投影平面上的投影触控区域，得到包含触点的深度图像；所述触点由目标对象在所述投影触控区域上触控而产生；
所述红外相机，用于拍摄预设投影平面上的投影触控区域，得到包含光斑的红外图像；所述光斑由所述目标对象反射所述光源的光束而产生；
所述处理装置，用于分别对所述深度图像和所述红外图像进行处理，得到所述触点的触点位置信息、所述光斑的位置信息和所述光斑的面积信息，依据所述光斑的位置、所述光斑的面积以及所述触点的位置，识别出用户的有效触控动作。
有益效果：应用本申请实施例的触控动作识别方法及触控投影系统，分别对深度图像和红外图像进行处理，得到触点的触点位置信息、光斑的位置信息和面积信息，依据光斑位置、光斑面积以及触点位置识别出用户的有效触控动作，从而结合红外图像的光斑和深度图像的触点来识别用户的有效触控动作，显著降低了误触控发生率，改善了用户体验，提高触控投影系统的市场竞争力。
附图说明
图1是本申请一个实施例的触控动作识别方法的流程图；
图2是本申请另一个实施例的触控动作识别方法的流程图；
图3是图2中判断是否触发响应动作的流程图；
图4是本申请一个实施例的触控投影系统的框图。
具体实施方式
为使本申请的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本申请作进一步详细的说明。显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
本申请的设计构思在于：针对现有技术触控投影系统中触控动作误触率高，影响用户体验的技术问题，提出一种触控动作识别方法及触控投影系统，通过结合红外图像和深度图像，识别用户的有效触控动作，显著降低误触控发生率，改善用户体验。
图1是本申请一个实施例的触控动作识别方法的流程图，参见图1，本实施例的触控动作识别方法包括下列步骤：
步骤S101，拍摄预设投影平面上的投影触控区域，得到包含触点的深度图像；所述触点由目标对象在所述投影触控区域上触控产生；
步骤S102，拍摄所述投影触控区域，得到包含光斑的红外图像；所述光斑是所述目标对象反射光源的光束而产生的；
步骤S103，分别对所述深度图像和所述红外图像进行处理，得到所述触点的触点位置信息、所述光斑的位置信息和所述光斑的面积信息，依据所述光斑的位置、所述光斑的面积以及所述触点的位置，识别出用户的有效触控动作。
由图1所示可知，本实施例的触控动作识别方法，通过拍摄预设投影平面上的投影触控区域，得到包含触点的深度图像，拍摄投影触控区域得到包含光斑的红外图像，分别对深度图像和所述红外图像进行处理得到触点的触点位置信息、光斑的位置信息、面积信息，依据光斑位置、光斑面积以及触点位置识别出用户的有效触控动作。与现有技术相比，通过结合深度图像的触点和红外图像的光斑进行触控动作识别，提高了触控动作识别有效性，避免了误触控的发生，改善了用户体验。
图2是本申请另一个实施例的触控动作识别方法的流程图，下面结合图2对本实施例的触控动作识别方法的实现步骤进行重点说明。
参加图2，流程开始，首先执行步骤(1)触控投影区域选择；
本实施例的投影区域选择是依据投影画面上棋盘格图像的四个顶点的像素坐标，获得所述深度图像中与四个顶点的像素坐标分别对应的四个第三像素坐标，由所述第三像素坐标确定所述深度图像中的投影触控区域；所述棋盘格图像的大小与所述投影触控区域的大小一致；依据四个第三像素坐标，获得所述红外图像中与四个第三像素坐标分别对应的四个第四像素坐标，由所述第四像素坐标确定所述红外图像中的投影触控区域。
比如，在前期标定阶段，通过棋盘格标定的方法，获得触控投影系统的深度相机内参，RGB相机的内参，红外相机的内参，RGB相机相对深度相机的旋转矩阵M_depth2rgb和平移向量T_depth2rgb，红外相机相对深度相机的旋转矩阵M_depth2ir和平移向量T_depth2ir。
通过触控投影系统的RGB相机采集投影单元投影的棋盘格图像，确定出RGB图像中投影触控区域的四个顶点，根据这四个顶点在RGB图像中的坐标，RGB相机与深度相机的旋转矩阵M_depth2rgb和平移向量T_depth2rgb，四个顶点在深度图像中的第三像素坐标值，由四个顶点的第三像素坐标值，获得深度图像中的投影触控区域。
接着，依据四个第三像素坐标值，红外相机相对深度相机的旋转矩阵M_depth2ir和平移向量T_depth2ir，获得红外图像中与四个第三像素坐标分别对应的四个第四像素坐标，由四个第四像素坐标确定红外图像中的投影触控区域。
在确定出深度图像和红外图像各自中的投影触控区域之后，即可在深度图像的投影触控区域检测触点，在红外图像的投影触控区域内检测光斑，避免了在图像全域进行检测，加快了运算速度。
步骤(2)红外相机检测光斑；
当目标对象(指尖或者手持物)位于投影平面上方约为1cm处时，会反射光源发出的光束，红外相机捕捉到反射的光线从而在红外图像上产生光斑。
基于此，本实施例中对红外图像进行处理，得到所述光斑的位置信息和所述光斑的面积信息，具体包括：获取所述红外图像上像素点的亮度值，将亮度值大于预设亮度阈值的像素点个数作为所述光斑的面积，将亮度值大于预设亮度阈值的像素点的位置的平均值作为所述光斑的第一像素位置。
即，光斑面积＝亮度大于一定阈值的像素个数，光斑位置＝亮度大于一定阈值的像素的平均位置。需要说明的是，这里之所以将光斑面积和光斑位置取亮度大于一定阈值的像素个数的平均值的方式是为了提高光斑检测的准确性，避免将不是光斑的像素点错误检测为光斑。
步骤(3)光斑位置映射到深度图像；
在得到光斑在红外图像上的第一像素位置之后，将第一像素位置映射到深度图像上，比如，依据第一像素位置以及变换矩阵，得到所述光斑在所述深度图像上的第二像素位置；其中，变换矩阵基于所述红外相机与所述深度相机的标定参数确定，变换矩阵用于将红外图像上的像素坐标转换为深度图像上的像素坐标。
这里对光斑位置映射到深度图像的实现过程简要说明如下：
根据小孔成像模型计算出深度相机像素坐标系点(u，v)对应的三维坐标(x，y，z)，根据红外相机相对于深度相机的旋转矩阵M_depth2ir和平移向量T_depth2ir计算出红外相机坐标系的三维坐标(x_ir，y_ir，z_ir)，
计算公式为(x_ir，y_ir，z_ir)＝M_depth2ir*(x，y，z)+T_depth2ir；
再根据小孔成像模型，得到红外相机像素坐标系下点(u_ir，v_ir)。
通过点对(数量＞＝4)(u_ir，v_ir，u，v)估算红外相机到深度相机的投影变换的变换矩阵H：
Figure BDA0002089003410000061
这里[x1，y1]和[x2，y2]分别是深度相机和红外相机对应的像素点
Figure BDA0002089003410000062
从而通过变换矩阵H和上述公式计算出了光斑在深度图像中的第二像素位置。
步骤(4)深度相机背景建模，前景图像；
本实施例中深度相机背景建模，前景图像的目的是对深度相机采集的深度图像进行背景建模和前景分割，得到前景图像，其目的是对深度图像进行处理，得到触点位置信息，处理步骤具体的包括：
分割所述深度图像的背景得到前景图像，在前景图像上进行连通域检测，得到目标连通域；基于所述目标连通区域确定出掌心，依据所述掌心以及所述目标连通域内深度值最大的像素点，得到手持物触点位置信息或指尖触点位置信息。
步骤(5)掌心计算；
上一步骤(4)中的基于所述目标连通区域确定出掌心包括：在各所述目标连通域内确定深度值最大的像素点，计算目标连通域内各点与所述深度值最大的像素点的第一距离，将第一距离小于预设阈值的点保留，得到第一点集，对所述第一点集中的点进行椭圆拟合，将椭圆的中心点作为掌心。
步骤(6)手持物检测；确定出手持物触点或指尖触点；
这里是进行手持物检测，即判断深度图像上的触点是手持物触点还是指尖触点，这里的手持物比如是笔。前述步骤(4)中的依据掌心以及目标连通域内深度值最大的像素点，得到手持物触点位置信息或指尖触点位置信息包括：计算所述深度值最大的像素点与所述掌心之间的第二距离，如果所述第二距离大于第二阈值，或第一红外强度值与第二红外强度值之差大于第三阈值，则确定深度值最大的像素点是手持物触点，得到手持物触点位置信息；其中，第一红外强度值是所述深度值最大的像素点对应的红外强度值，所述第二红外强度值是所述掌心对应的红外强度值；如果深度值最大的像素点不是手持物触点，则进一步依据所述第一点集和所述第二距离进行用户手指的指尖检测，得到指尖触点位置信息。
步骤(7)触发高度优化；
有了红外相机拍摄到的光斑的位置，面积，又有了光斑位置在深度图中对应的位置，以及深度图像中手持物触点的位置或手指尖触点的位置，在本步骤中进行触发高度的优化，避免手指或指尖在投影平面上方而非接触投影平面时的误触发。
具体的，先确定深度图像中的触点是否为疑似有效触点，比如疑似有效触点通过下列步骤确定：
将第一深度差值和第二深度差值分别与预设深度阈值比较，如果所述第一深度差值或所述第二深度差值小于预设深度阈值，则确定深度图像检测到的手持物触点或深度图像检测到的指尖触点为疑似触发用户的有效触控动作的疑似有效触点；其中，第一深度差值是所述手持物触点的深度值与所述深度图像的平均深度值之差，第二深度差值是所述指尖触点的深度值与所述平均深度值之差。
比如，通过深度图像处理获得的触点的位置为(ui，vi)，触点的三维坐标为(Xi，Yi，Zi)这里的i＝1...N，N为触点的个数，比如N等于5，代表5个触点，当用户使用5个手指的指尖接触投影平面上的影触控区域时会产生5个触点。判断(Zi-H_plane)的绝对值是否小于第一阈值Threshold1，如果小于，则触点为疑似有效触点，否则触点为不可能触发触控动作的无效触点。这里的疑似有效触点是指触点中可能为用户的有效触控动作产生的触点，第一阈值比如10mm，H_plane表示深度图像中点的平均深度值。
需要说明的是，实际应用中，用户要么通过手持物接触投影平面上的影触控区域，要么通过指尖接触投影平面上的影触控区域，几乎不同时使用两者，所以，当检测出触点是手持物触点时将第一深度差值与预设深度阈值比较，当检测出触点是指尖触点时将第二深度差值与预设深度阈值比较。
在确定确定深度图像中的触点是否为疑似有效触点之后执行步骤(8)，以进一步验证触点是否为有效触控动作产生的触点。
步骤(8)是否触发响应动作；
结合图3，本实施例中是否触发响应动作是依据所述光斑的位置、所述光斑的面积以及所述触点的位置，识别后确定的。
依据所述光斑的位置、所述光斑的面积以及所述触点的位置，识别出用户的有效触控动作包括：基于第一帧红外图像中的光斑的位置和光斑的面积，判断第一帧红外图像中的光斑是否满足约束条件，在确定第一帧红外图像中的光斑满足约束条件之后，对所述光斑进行追踪；其中，红外图像由红外相机拍摄得到；如果连续追踪多帧红外图像之后，各帧红外图像中的光斑均满足约束条件，则确定发生用户的有效触控动作；如果连续追踪多帧红外图像之后，任一帧红外图像中的光斑不满足约束条件，则确定未发生用户的有效触控动作；所述约束条件包括：所述光斑的面积大于预设面积阈值，所述光斑的第二像素位置与疑似有效触点的位置之间的距离差小于预设第一阈值，所述疑似有效触点是深度图像检测到的触点中疑似触发所述用户的有效触控动作的触点。
这里的判断第一帧红外图像中的光斑是否满足约束条件包括：将第一帧红外图像中的光斑的面积与预设面积阈值比较，得到第一比较结果，依据第一帧红外图像中的光斑的所述第二像素位置，疑似有效触点的位置，获得所述第二像素位置与疑似有效触点的位置的距离差，将所述距离差与预设第一阈值比较，得到第二比较结果；如果所述第一比较结果和所述第二比较结果均为小于，则确定第一帧红外图像中的光斑满足约束条件。如果所述第一比较结果和所述第二比较结果均为小于是指，第一比较结果为第一帧红外图像中的光斑的面积小于预设面积阈值，第二比较结果为距离差小于预设第一阈值。
比如，当检测到第一帧红外图像中的光斑满足图3中的三个条件(条件一，光斑面积大于第二阈值Threshold2，条件二，光斑在深度图像上的位置与某个触点位置的距离小于第三阈值Threshold3，条件三，该触点为疑似有效触点)时，表明光斑可能是用户的有效触控动作产生的，这时候为了保证识别结果的准确性，本实施例对一段时间内的多帧红外图像进行追踪，只有多帧红外图像中光斑都满足图3所示的三个条件，才确定识别出了用户的有效触控动作，否则认为未识别出用户的有效触控动作。
即，从红外图像中的光斑第一次满足上述三个条件时起，记录光斑的面积为S1。然后，对光斑进行追踪，后面红外图像帧中追踪到的光斑，直至一帧中光斑的面积Si＞ratio*S1，如果光斑一直都满足这三个条件，则确定触发响应动作。如果后面帧追踪的光斑，这三个条件中任何一个条件不满足，则停止对这个光斑的追踪和记录，并输出该光斑不触发响应动作的识别结果。其中，ratio为追踪次数，举例来说，从第一帧追踪到第3帧，那么ratio等于3，第三帧红外图像中光斑的面积Si为8，第一帧红外图像中光斑的面积S1为2，那么，当追踪到第3帧红外图像时，光斑面积8大于6(2*3)，则确定触发响应动作，即光斑是由用户的有效触控动作产生的。
由上可知，本实施例的触控动作识别，将红外图像中的光斑面积、光斑位置与深度图像中的触点位置结合，避免了仅依靠光斑位置进行触控动作识别导致的误触控问题，确保了只有手指指尖或手持物接触投影平面的投影触控区域时，才会触发触控操作，保证了触控动作识别准确性，改善了用户体验。
需要说明的是，本申请的说明书和权利要求书及上述附图中的术语″第一″、″第二″等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的对象在适当情况下可以互换，以便这里描述的本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。
本申请实施例中还提供了一种触控投影系统，参见图4，触控投影系统400包括：深度相机401，光源404，红外相机402和处理装置403，所述处理装置403，与所述红外相机402以及所述深度相机401连接；
所述深度相机401，用于拍摄预设投影平面上的投影触控区域，得到包含触点的深度图像；所述触点由目标对象在所述投影触控区域上触控而产生；
所述红外相机402，用于拍摄预设投影平面上的投影触控区域，得到包含光斑的红外图像；所述光斑由所述目标对象反射所述光源的光束而产生；
所述处理装置403，用于分别对所述深度图像和所述红外图像进行处理，得到所述触点的触点位置信息、所述光斑的位置信息和所述光斑的面积信息，依据所述光斑的位置、所述光斑的面积以及所述触点的位置，识别出用户的有效触控动作。
实际应用中，深度相机是主动发光设备，深度相机安装在投影平面的正上方，并朝下拍摄深度图像。光源比如是激光器，激光器发射距离投影平面高度3-4mm的线性激光，反射物(比如手指指尖)碰到激光后在红外图像上产生光斑。红外相机带940nm滤光片，减小了环境光影响，红外相机的帧率比深度相机帧率高。触控投影系统的投影单元负责投影，前期标定时投影单元可以投影棋盘格图像。
在本申请的一个实施例中，处理装置403用于，基于第一帧红外图像中的光斑的位置和光斑的面积，判断第一帧红外图像中的光斑是否满足约束条件，在确定第一帧红外图像中的光斑满足约束条件之后，对所述光斑进行追踪；其中，红外图像由红外相机拍摄得到；如果连续追踪多帧红外图像之后，各帧红外图像中的光斑均满足约束条件，则确定发生用户的有效触控动作；如果连续追踪多帧红外图像之后，任一帧红外图像中的光斑不满足约束条件，则确定未发生用户的有效触控动作；所述约束条件包括：光斑的面积大于预设面积阈值，光斑的第二像素位置与疑似有效触点的位置之间的距离差小于预设第一阈值，疑似有效触点是深度图像检测到的触点中疑似触发用户的有效触控动作的触点。
在本申请的一个实施例中，所述目标对象包括手持物或手指的指尖；
所述疑似有效触点通过下列步骤确定：将第一深度差值和第二深度差值分别与预设深度阈值比较，如果所述第一深度差值或所述第二深度差值小于预设深度阈值，则确定深度图像检测到的手持物触点或深度图像检测到的指尖触点为疑似触发用户的有效触控动作的疑似有效触点；其中，第一深度差值是所述手持物触点的深度值与所述深度图像的平均深度值之差，第二深度差值是所述指尖触点的深度值与所述平均深度值之差。
在本申请的一个实施例中，所述处理装置403具体用于对所述深度图像进行处理，得到触点位置信息，包括分割所述深度图像的背景得到前景图像，在所述前景图像上进行连通域检测，得到目标连通域；基于所述目标连通区域确定出掌心，依据所述掌心以及所述目标连通域内深度值最大的像素点，得到手持物触点位置信息或指尖触点位置信息。
在本申请的一个实施例中，所述处理装置403在各所述目标连通域内确定深度值最大的像素点，计算目标连通域内各点与所述深度值最大的像素点的第一距离，将第一距离小于预设阈值的点保留，得到第一点集，对所述第一点集中的点进行椭圆拟合，将椭圆的中心点作为掌心；计算所述深度值最大的像素点与所述掌心之间的第二距离，如果所述第二距离大于第二阈值，或第一红外强度值与第二红外强度值之差大于第三阈值，则确定深度值最大的像素点是手持物触点，得到手持物触点位置信息；其中，第一红外强度值是所述深度值最大的像素点对应的红外强度值，所述第二红外强度值是所述掌心对应的红外强度值；如果深度值最大的像素点不是手持物触点，则依据所述第一点集和所述第二距离进行用户手指的指尖检测，得到指尖触点位置信息。
在本申请的一个实施例中，所述处理装置403获取所述红外图像上像素点的亮度值，将亮度值大于预设亮度阈值的像素点个数作为所述光斑的面积，将亮度值大于预设亮度阈值的像素点的位置的平均值作为所述光斑的第一像素位置；依据所述第一像素位置以及变换矩阵，得到所述光斑在所述深度图像上的第二像素位置；其中，所述变换矩阵基于所述红外相机与所述深度相机的标定参数确定。
在本申请的一个实施例中，所述处理装置403用于将第一帧红外图像中的光斑的面积与预设面积阈值比较，得到第一比较结果，依据第一帧红外图像中的光斑的所述第二像素位置，疑似有效触点的位置，获得所述第二像素位置与疑似有效触点的位置的距离差，将所述距离差与预设第一阈值比较，得到第二比较结果；如果所述第一比较结果和所述第二比较结果均为小于，则确定第一帧红外图像中的光斑满足约束条件。
在本申请的一个实施例中，在分别对所述深度图像和所述红外图像进行处理之前，所述处理装置403用于依据投影画面上棋盘格图像的四个顶点的像素坐标，获得所述深度图像中与四个顶点的像素坐标分别对应的四个第三像素坐标，由所述第三像素坐标确定所述深度图像中的投影触控区域；所述棋盘格图像的大小与所述投影触控区域的大小一致；依据四个第三像素坐标，获得所述红外图像中与四个第三像素坐标分别对应的四个第四像素坐标，由所述第四像素坐标确定所述红外图像中的投影触控区域。
需要说明的是，关于图4所示触控投影系统中的各部件所执行的各功能的举例解释说明，与前述方法实施例中的举例解释说明一致，这里不再一一赘述。
综上所述，应用本申请实施例的触控动作识别方法及触控投影系统，分别对深度图像和红外图像进行处理得到触点的触点位置信息、光斑的位置信息和面积信息，依据光斑位置、光斑面积以及触点位置识别出用户的有效触控动作，从而结合红外图像和深度图像，识别用户的有效触控动作，显著降低了用户误触控的发生率，改善了用户体验，提高了触控投影系统的市场竞争力。
本申请的另一个实施例提供一种计算机可读存储介质，计算机可读存储介质存储计算机指令，计算机指令使所述计算机执行上述的触控动作识别方法。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。需要说明的是术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个......”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本申请的说明书中，说明了大量具体细节。然而能够理解的是，本申请的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。类似地，应当理解，为了精简本申请公开并帮助理解各个发明方面中的一个或多个，在上面对本申请的示例性实施例的描述中，本申请的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该公开的方法解释成反映如下意图：即所要求保护的本申请要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说，正如权利要求书所反映的那样，发明方面在于少于前面公开的单个实施例的所有特征。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本申请的单独实施例。
以上所述，仅为本申请的具体实施方式，在本申请的上述教导下，本领域技术人员可以在上述实施例的基础上进行其他的改进或变形。本领域技术人员应该明白，上述的具体描述只是更好的解释本申请的目的，本申请的保护范围以权利要求的保护范围为准。

Claims (8)

1.一种触控动作识别方法，其特征在于，包括：
拍摄预设投影平面上的投影触控区域，得到包含触点的深度图像；所述触点由目标对象在所述投影触控区域上触控产生；
拍摄所述投影触控区域，得到包含光斑的红外图像；所述光斑是所述目标对象反射光源的光束而产生的；
分别对所述深度图像和所述红外图像进行处理，得到所述触点的触点位置信息、所述光斑的位置信息和所述光斑的面积信息，依据所述光斑的位置、所述光斑的面积以及所述触点的位置，识别出用户的有效触控动作，具体包括：基于第一帧红外图像中的光斑的位置和光斑的面积，判断第一帧红外图像中的光斑是否满足约束条件，在确定第一帧红外图像中的光斑满足约束条件之后，对所述光斑进行追踪；其中，所述红外图像由红外相机拍摄得到；如果连续追踪多帧红外图像之后，各帧红外图像中的光斑均满足约束条件，则确定发生用户的有效触控动作；如果连续追踪多帧红外图像之后，任一帧红外图像中的光斑不满足约束条件，则确定未发生用户的有效触控动作。
2.根据权利要求1所述的触控动作识别方法，其特征在于，所述深度图像由深度相机拍摄得到，所述约束条件包括：
所述光斑的面积大于预设面积阈值，所述光斑的第二像素位置与疑似有效触点的位置之间的距离差小于预设第一阈值，所述疑似有效触点是深度图像检测到的触点中疑似触发所述用户的有效触控动作的触点；
其中，获取所述红外图像上像素点的亮度值，将亮度值大于预设亮度阈值的像素点个数作为所述光斑的面积，将亮度值大于预设亮度阈值的像素点的位置的平均值作为所述光斑的第一像素位置；
依据所述第一像素位置以及变换矩阵，得到所述光斑在所述深度图像上的所述第二像素位置；其中，所述变换矩阵基于所述红外相机与所述深度相机的标定参数确定。
3.根据权利要求2所述的触控动作识别方法，其特征在于，所述目标对象包括手持物或手指的指尖；
所述疑似有效触点通过下列步骤确定：
将第一深度差值和第二深度差值分别与预设深度阈值比较，
如果所述第一深度差值或所述第二深度差值小于预设深度阈值，则确定深度图像检测到的手持物触点或深度图像检测到的指尖触点为疑似触发用户的有效触控动作的疑似有效触点；
其中，第一深度差值是所述手持物触点的深度值与所述深度图像的平均深度值之差，第二深度差值是所述指尖触点的深度值与所述平均深度值之差。
4.根据权利要求1所述的触控动作识别方法，其特征在于，分别对所述深度图像和所述红外图像进行处理包括：
对所述深度图像进行处理，得到触点位置信息，具体的，
分割所述深度图像的背景得到前景图像，在所述前景图像上进行连通域检测，得到目标连通域；
基于所述目标连通区域确定出掌心，
依据所述掌心以及所述目标连通域内深度值最大的像素点，得到手持物触点位置信息或指尖触点位置信息。
5.根据权利要求4所述的触控动作识别方法，其特征在于，
所述基于所述目标连通区域确定出掌心包括：在各所述目标连通域内确定深度值最大的像素点，计算目标连通域内各点与所述深度值最大的像素点的第一距离，将第一距离小于预设阈值的点保留，得到第一点集，对所述第一点集中的点进行椭圆拟合，将椭圆的中心点作为掌心；所述依据所述掌心以及所述目标连通域内深度值最大的像素点，得到手持物触点位置信息或指尖触点位置信息包括：
计算所述深度值最大的像素点与所述掌心之间的第二距离，
如果所述第二距离大于第二阈值，或第一红外强度值与第二红外强度值之差大于第三阈值，则确定深度值最大的像素点是手持物触点，得到手持物触点位置信息；其中，第一红外强度值是所述深度值最大的像素点对应的红外强度值，所述第二红外强度值是所述掌心对应的红外强度值；
如果深度值最大的像素点不是手持物触点，则依据所述第一点集和所述第二距离进行用户手指的指尖检测，得到指尖触点位置信息。
6.根据权利要求3所述的触控动作识别方法，其特征在于，所述判断第一帧红外图像中的光斑是否满足约束条件包括：
将第一帧红外图像中的光斑的面积与预设面积阈值比较，得到第一比较结果，
依据第一帧红外图像中的光斑的所述第二像素位置，疑似有效触点的位置，获得所述第二像素位置与疑似有效触点的位置的距离差，将所述距离差与预设第一阈值比较，得到第二比较结果；
如果所述第一比较结果和所述第二比较结果均为小于，则确定第一帧红外图像中的光斑满足约束条件。
7.根据权利要求1至6中任一项所述的触控动作识别方法，其特征在于，在分别对所述深度图像和所述红外图像进行处理之前，该方法包括：
依据投影画面上棋盘格图像的四个顶点的像素坐标，获得所述深度图像中与四个顶点的像素坐标分别对应的四个第三像素坐标，由所述第三像素坐标确定所述深度图像中的投影触控区域；所述棋盘格图像的大小与所述投影触控区域的大小一致；
依据四个第三像素坐标，获得所述红外图像中与四个第三像素坐标分别对应的四个第四像素坐标，由所述第四像素坐标确定所述红外图像中的投影触控区域。
8.一种触控投影系统，其特征在于，所述触控投影系统包括：深度相机，光源，红外相机和处理装置，所述处理装置，与所述红外相机以及所述深度相机连接；
所述深度相机，用于拍摄预设投影平面上的投影触控区域，得到包含触点的深度图像；所述触点由目标对象在所述投影触控区域上触控而产生；
所述红外相机，用于拍摄预设投影平面上的投影触控区域，得到包含光斑的红外图像；所述光斑由所述目标对象反射所述光源的光束而产生；
所述处理装置，用于分别对所述深度图像和所述红外图像进行处理，得到所述触点的触点位置信息、所述光斑的位置信息和所述光斑的面积信息，依据所述光斑的位置、所述光斑的面积以及所述触点的位置，识别出用户的有效触控动作，具体用于：基于第一帧红外图像中的光斑的位置和光斑的面积，判断第一帧红外图像中的光斑是否满足约束条件，在确定第一帧红外图像中的光斑满足约束条件之后，对所述光斑进行追踪；其中，所述红外图像由红外相机拍摄得到；如果连续追踪多帧红外图像之后，各帧红外图像中的光斑均满足约束条件，则确定发生用户的有效触控动作；如果连续追踪多帧红外图像之后，任一帧红外图像中的光斑不满足约束条件，则确定未发生用户的有效触控动作。
CN201910497155.3A 2019-06-10 2019-06-10 一种触控动作识别方法及触控投影系统 Active CN110308817B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910497155.3A CN110308817B (zh) 2019-06-10 2019-06-10 一种触控动作识别方法及触控投影系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910497155.3A CN110308817B (zh) 2019-06-10 2019-06-10 一种触控动作识别方法及触控投影系统

Publications (2)

Publication Number Publication Date
CN110308817A CN110308817A (zh) 2019-10-08
CN110308817B true CN110308817B (zh) 2023-04-07

Family

ID=68075937

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910497155.3A Active CN110308817B (zh) 2019-06-10 2019-06-10 一种触控动作识别方法及触控投影系统

Country Status (1)

Country Link
CN (1) CN110308817B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111258411B (zh) * 2020-05-06 2020-08-14 北京深光科技有限公司 一种用户交互方法及设备
CN112000241B (zh) * 2020-07-31 2023-11-28 青岛海尔科技有限公司 操作识别方法和装置、存储介质及电子装置
CN112511813A (zh) * 2020-12-03 2021-03-16 上海风语筑文化科技股份有限公司 软膜屏投影互动展项装置及使用方法
CN114756162B (zh) * 2021-01-05 2023-09-05 成都极米科技股份有限公司 触控系统及方法、电子设备及计算机可读存储介质
DE102022113259B3 (de) * 2022-05-25 2023-06-22 Sick Ag Verfahren und Vorrichtung zur Erfassung von Stammdaten eines Objekts

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009223473A (ja) * 2008-03-14 2009-10-01 Panasonic Corp 操作装置及びその方法
CN102306065A (zh) * 2011-07-20 2012-01-04 无锡蜂巢创意科技有限公司 交互式光感触摸微型投影系统的实现方法
CN102346605A (zh) * 2011-10-08 2012-02-08 广东威创视讯科技股份有限公司 一种摄像式触摸控制方法及其系统
CN102402680A (zh) * 2010-09-13 2012-04-04 株式会社理光 人机交互系统中手部、指示点定位方法和手势确定方法
CN102566827A (zh) * 2010-12-30 2012-07-11 株式会社理光 虚拟触摸屏系统中对象检测方法和系统
CN103294260A (zh) * 2012-04-02 2013-09-11 微软公司 触敏用户界面
US9304582B1 (en) * 2013-12-19 2016-04-05 Amazon Technologies, Inc. Object-based color detection and correction
US9377866B1 (en) * 2013-08-14 2016-06-28 Amazon Technologies, Inc. Depth-based position mapping
CN107430325A (zh) * 2014-12-30 2017-12-01 欧姆尼消费品有限责任公司 交互式投影的系统和方法
CN108389232A (zh) * 2017-12-04 2018-08-10 长春理工大学 基于理想视点的非规则表面投影图像几何校正方法
CN109544618A (zh) * 2018-10-30 2019-03-29 华为技术有限公司 一种获取深度信息的方法及电子设备

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7503493B2 (en) * 1999-10-25 2009-03-17 Silverbrook Research Pty Ltd Method and system for digitizing freehand graphics with user-selected properties
GB2466497B (en) * 2008-12-24 2011-09-14 Light Blue Optics Ltd Touch sensitive holographic displays
US8970589B2 (en) * 2011-02-10 2015-03-03 Edge 3 Technologies, Inc. Near-touch interaction with a stereo camera grid structured tessellations
US9778789B2 (en) * 2014-05-21 2017-10-03 Apple Inc. Touch rejection
JP6723814B2 (ja) * 2016-04-28 2020-07-15 キヤノン株式会社 情報処理装置、その制御方法、プログラム、及び記憶媒体

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009223473A (ja) * 2008-03-14 2009-10-01 Panasonic Corp 操作装置及びその方法
CN102402680A (zh) * 2010-09-13 2012-04-04 株式会社理光 人机交互系统中手部、指示点定位方法和手势确定方法
CN102566827A (zh) * 2010-12-30 2012-07-11 株式会社理光 虚拟触摸屏系统中对象检测方法和系统
CN102306065A (zh) * 2011-07-20 2012-01-04 无锡蜂巢创意科技有限公司 交互式光感触摸微型投影系统的实现方法
CN102346605A (zh) * 2011-10-08 2012-02-08 广东威创视讯科技股份有限公司 一种摄像式触摸控制方法及其系统
CN103294260A (zh) * 2012-04-02 2013-09-11 微软公司 触敏用户界面
US9377866B1 (en) * 2013-08-14 2016-06-28 Amazon Technologies, Inc. Depth-based position mapping
US9304582B1 (en) * 2013-12-19 2016-04-05 Amazon Technologies, Inc. Object-based color detection and correction
CN107430325A (zh) * 2014-12-30 2017-12-01 欧姆尼消费品有限责任公司 交互式投影的系统和方法
CN108389232A (zh) * 2017-12-04 2018-08-10 长春理工大学 基于理想视点的非规则表面投影图像几何校正方法
CN109544618A (zh) * 2018-10-30 2019-03-29 华为技术有限公司 一种获取深度信息的方法及电子设备

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Depth-based human body enhancement in the infrared video;Xiaowei song 等;《2014 IEEE International Conference on Multimedia and Expo Workshops (ICMEW)》;20140908;1-5页 *

Also Published As

Publication number Publication date
CN110308817A (zh) 2019-10-08

Similar Documents

Publication Publication Date Title
CN110308817B (zh) 一种触控动作识别方法及触控投影系统
JP5699788B2 (ja) スクリーン領域検知方法及びシステム
US9710109B2 (en) Image processing device and image processing method
US9535538B2 (en) System, information processing apparatus, and information processing method
Navarrete et al. Color smoothing for RGB-D data using entropy information
CN110221732B (zh) 一种触控投影系统和触控动作识别方法
Dai et al. Touchscreen everywhere: On transferring a normal planar surface to a touch-sensitive display
JP2005072888A (ja) 画像投影方法、及び画像投影装置
KR101272448B1 (ko) 관심영역 검출 장치와 방법 및 상기 방법을 구현하는 프로그램이 기록된 기록매체
JP5510907B2 (ja) タッチ位置入力装置及びタッチ位置入力方法
JP2016091457A (ja) 入力装置、指先位置検出方法及び指先位置検出用コンピュータプログラム
JP6817742B2 (ja) 情報処理装置およびその制御方法
JP2014067193A (ja) 画像処理装置および画像処理方法
US10386930B2 (en) Depth determining method and depth determining device of operating body
CN111354018B (zh) 一种基于图像的物体识别方法、装置及系统
US9025022B2 (en) Method and apparatus for gesture recognition using a two dimensional imaging device
US20160196657A1 (en) Method and system for providing depth mapping using patterned light
JP6758263B2 (ja) 物体検出装置、物体検出方法及び物体検出プログラム
CN110310336B (zh) 一种触控投影系统及图像处理方法
CN111654685B (zh) 移动方向检测方法、装置、投影设备及可读存储介质
CN104766331A (zh) 一种图像处理方法及电子设备
KR20200083202A (ko) 특징점 간 삼각형 닮음 조건 기반 영상 유사도 평가 알고리즘
US10416814B2 (en) Information processing apparatus to display an image on a flat surface, method of controlling the same, and storage medium
US10365770B2 (en) Information processing apparatus, method for controlling the same, and storage medium
Lee et al. A stereo-vision approach for a natural 3D hand interaction with an AR object

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant