CN112527121B - 红外三维扫描简化结构及在空中触摸屏和空中按键中应用 - Google Patents

红外三维扫描简化结构及在空中触摸屏和空中按键中应用 Download PDF

Info

Publication number
CN112527121B
CN112527121B CN202011558630.2A CN202011558630A CN112527121B CN 112527121 B CN112527121 B CN 112527121B CN 202011558630 A CN202011558630 A CN 202011558630A CN 112527121 B CN112527121 B CN 112527121B
Authority
CN
China
Prior art keywords
infrared
scanning
button
touch
layer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011558630.2A
Other languages
English (en)
Other versions
CN112527121A (zh
Inventor
吴建国
吴璠
郭星
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hefei TouchSmart Electronic Technology Co.,Ltd.
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Individual filed Critical Individual
Publication of CN112527121A publication Critical patent/CN112527121A/zh
Application granted granted Critical
Publication of CN112527121B publication Critical patent/CN112527121B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Position Input By Displaying (AREA)
  • Apparatus Associated With Microorganisms And Enzymes (AREA)

Abstract

本发明公开了一种红外三维扫描简化结构及在空中触摸屏和空中按键中应用，其中红外三维扫描简化结构，是在长方体红外扫描区的底面和顶面分别布置有L×D个红外发射管和L×D个红外接收管；以底边和顶边的红外发射管形成斜向红外扫描层，以底边中间和顶边中间的红外发射管形成垂直红外扫描层，将红外三维扫描简化结构平行设置在显示屏幕的正前方或平行设置并覆盖在所有按键所在平面的正前方以形成红外空中非接触触摸屏和红外空中按键。本发明能实现三维空中定位与立体触控，以及显示屏的非接触空中触控和按键的非接触空中按击，从而解决公共场所点击触摸屏、按键产生的病毒和细菌的交叉感染问题。

Description

红外三维扫描简化结构及在空中触摸屏和空中按键中应用
技术领域
本发明涉及计算机三维交互领域，主要涉及三维立体定位和空中触控技术，具体涉及基于红外扫描的三维空中定位与非接触空中触控的实现结构及其方法。
背景技术
三维交互一直是计算机智能互动领域研究的重要课题。实现三维交互的技术难点之一是人体(特别是臂、手、手指)的准确可靠定位。目前，三维空中定位主要用3D图像传感器实现，微软的Kinect是其典型代表。这种定位技术仍存在定位不准、误定位等问题，尤其是其定位具有方向性的固有缺陷无法解决。
另一方面，触控技术是一种极有发展前途的交互式输入技术，触摸屏技术近年来发展十分迅速。目前触摸屏技术已发展到近二十种，技术相对成熟的触摸屏主要有电阻式、电容式、表面声波式、红外线式等类型。这些触控装置都是平面的触摸屏，且都需要直接触摸到触摸屏的表面才能完成触控。公共场所现有的ATM机、机场和火车站的查询终端及取票机上的触摸屏及按键和电梯、门禁等的控制按钮，都会产生病毒和细菌的交叉感染。应用需求呼唤非接触空中操作的新技术产生。现有触控技术(包括各种利用图像获取及处理的方法)都无法可靠、有效、方便地实现按钮、键盘、触摸屏的非接触空中操作。电阻式、表面声波式、红外线式等触摸屏必须接触才能操作；电容屏实现非接触操作的距离很短(一般不超过3厘米)，容易误操作，不能实用；使用图像处理技术的装置不是无法避免误遮挡就是应用场所难于安装。
因此，现有技术有待改进和发展。
发明内容
本发明为了解决上述现有技术存在的不足之处，提出一种红外三维扫描简化结构及在空中触摸屏和空中按键中应用，以期有效实现三维空中定位与立体触控，从而不仅能为实现不限制方向的体感动作识别、实现远距离三维手势触控操作打下基础，而且能有效实现显示屏的非接触空中触控和按键的非接触空中按击，利用这种红外三维扫描简化结构的非接触空中触摸屏和非接触空中按键能低成本、可靠、方便的实现显示屏、按键的隔空操作，从而解决公共场所点击触摸屏、按键产生的病毒和细菌的交叉感染问题。
本发明为达到上述发明目的，采用如下技术方案：
本发明一种红外三维扫描简化结构的特点是，设置一长方体红外扫描区，所述长方体红外扫描区的底面和顶面分别布置有L×D个红外发射管和L×D个红外接收管；以第c层的底边前L-k个红外发射管和顶边后L-k个红外接收管形成斜向L-k束扫描线的第c层斜向红外扫描层，k为斜向扫描线的红外发射管和红外接收管的位置差；以第c层的底边中间L-2k个红外发射管和顶边中间L-2k个红外接收管形成垂直L-2k束扫描线的第c层的垂直红外扫描层；c＝1,2,…,D；所述第c层的底边第i个红外发射管与顶边第i个红外接收管之间形成垂直的第i束扫描线；所述第c层的底边第j个红外发射管与顶边第j+k个红外接收管之间形成斜向的第j束扫描线；以所述垂直的第i束扫描线和斜向的第j束扫描线之间交点(i,j′)为第c层上的第i行第j列的扫描交叉点；i＝k+1,k+2,…,L-k；j＝1,2,…,L-k。
本发明一种红外空中非接触触摸屏的特点是，将所述的红外三维扫描简化结构平行设置在显示屏幕的正前方，使得所述长方体红外扫描区的顶面和底面处于所述显示屏幕的上下两边之间形成所述红外空中非接触触摸屏，令所述显示屏幕的长度为Lengh，高度为Hight，所述显示屏幕与空中非接触触控之间的距离最大值为Depth，令红外发光管和红外接收管的直径均为d；则L＝[Lengh/d]+2k，D＝[Depth/d]，其中，k为所述显示屏幕的任一侧垂直边缘之外的红外发光管或红外接收管的个数，[x]表示取不小于x的最大整数；且所述长方体红外扫描区的底面和顶面之间的安装距离为Hight。
本发明一种基于所述的红外空中非接触触摸屏的触控点精确定位方法的特点是：通过红外三维扫描获取触控物靠近显示屏的最前端遮挡情况，再使用触控物遮挡红外对管的比例计算触控点的三维精确定位坐标；令触控物的直径不小于2d；令所述红外空中非接触触摸屏的触控精度为横向h个点、纵向v个点，且h远大于H，v远大于L；对所述红外空中非接触触摸屏中所有的红外接收管的强度值做归一化处理，使得红外接收管全遮挡时为0，红外接收管无遮挡时为100；在每个扫描周期p下，所述触控点精确定位是按如下步骤进行：
步骤A、按照垂直和斜向逐层扫描所述红外空中非接触触摸屏；
步骤B、令第1层为最靠近所述显示屏幕的红外扫描层，获得所述触控物所在最靠近所述显示屏幕的垂直红外扫描层，记为第w层；
步骤C、如果第w层的垂直红外扫描层中仅存在一个部分遮挡的红外接收管，则记为第一种遮挡情况；如果第w层的垂直红外扫描层中存在多个部分遮挡的红外接收管，则记为第二种遮挡情况；如果第w层的垂直红外扫描层中存在全遮挡的红外接收管，则记为第三种遮挡情况；
步骤D、若为第一种遮挡情况，则w赋值w+1，将第一种遮挡情况转换为第二种或第三种遮挡情况；
步骤E、若为第二种或第三种遮挡情况，则记在第w层所遮挡的红外接收管的序号依次记为q,q+1,…q+m；第q个红外接收管到第q+m个红外接收管的信号强度值为vq,vq+1,…,vq+m；从所述第q个红接收管的信号强度值vq到第q+m个红外接收管的信号强度值vq+m中获取信号强度最小值，记为vmin，利用式(1)和式(2)分别得到触控点的深度坐标z和横向坐标x：
z＝d×(w－1)+d×(vmin/100) (1)
x＝v/L×(q－1)+(v/L×(100－vq)/(100－vmin)+v/L×(m－1)+v/L×(100－vq+m)/(100－ vmin))/2+v/L×(1－(100－vq)/(100－vmin)) (2)
步骤F、按照步骤B-步骤E的过程对斜向红外扫描层进行处理，得到触控点在斜向方向上的坐标x′；再利用横向坐标x对应的垂线和坐标x′对应的斜线，得到两线交叉点(x,y)；以所述触控点的横向坐标x、纵向坐标y和深度坐标z作为所述触控物的触控点的精确定位位置(x,y,z)。
本发明一种基于所述的触控点精确定位方法的空中触控物点击操作识别方法的特点是，通过获取触控物的触控点的三维精确定位位置，进而通过判断触控物向显示屏靠近的速度完成空中点击操作；定义点击操作是指在时间s内向所述显示屏幕快速靠近距离c；且s远大于扫描周期p；定义一整型数组int DepthArr[Len]和逻辑变量Hit，其中，Len表示时间s对应的扫描周期个数，且Len＝[s/p]；初始化数组DepthArr中所有元素均为Depth+1、Hit赋值false；在每个扫描周期p下，所述空中触控物点击操作识别方法按如下步骤进行：
步骤a、获取触控物的触控点的精确定位位置(x,y,z)；若触控物不存在，则z赋值Depth+1；
步骤b、数组DepthArr向后移动一个元素，DepthArr[0]赋值z；
步骤c、令k＝1、k＝2、…，到k＝Len-1，依次判断DepthArr[k]－DepthArr[0]是否大于c，若是，则Hit赋值true；
步骤d、如果Hit＝true，且触控物的触控点向远离显示屏幕方向移动或停留在一定范围的区域内，则以当前触控点产生点击消息，并且Hit赋值false、DepthArr所有元素赋值z。
本发明一种红外空中按键的特点是，将所述的红外三维扫描简化结构平行设置在所有按键所在平面的正前方，且所述红外三维扫描简化结构的扫描区域覆盖按键所在平面区域，且在红外发射管之间、红外接收管之间、各红外扫描层之间设置间隙，所述间隙在 0到触控物的最小直径之间。
本发明所述的红外空中按键的多人按击操作实现方法的特点是，通过获得所有连续遮挡区域的最靠近按键的触控物中心点，再判断各个触控物中心点向各个按键靠近的速度以及在各个按键上的驻留时间完成各个按键的空中短按击和空中长按击操作；定义短按击操作是指在时间s1内向所述显示屏幕快速靠近距离c或在按键上方停留时间s2；定义长按击动作是指在按键上方停留时间s3，且s1远大于扫描周期p，s2远大于扫描周期p；s3远长于s2；
每一个按键均定义一个整型数组int DepthArr[Len]、时间计数器TimeCount和按击标志 HitFlag，其中，Len表示时间s1对应的扫描周期个数，且Len＝[s1/p]；初始化所有DepthArr 中的所有元素均赋值DepthMax+1、TimeCount赋值0、HitFlag赋值0，其中，DepthMax为所述显示屏幕与空中非接触触控之间的距离最大值；在每个扫描周期p下，所述多人按击操作实现方法是按如下步骤进行：
步骤1、获得所有连续遮挡区域的最靠近按键的触控物中心点的三维坐标(x1,y1,z1)、 (x2,y2,z2)、…、(xk,yk,zk)、…、(xt,yt,zt)，其中，zk为第k个触控点到按键的距离，k＝1,2,…,t；
步骤2、令k＝1、k＝2、…，到k＝t，依次判断第k个触控物中心点(xk,yk,zk)是否落在第i 个按键Button[i]上方，若落在Button[i]上，则：
步骤2.1、Button[i].TimeCount自加1，Button[i].DepthArr向后移动一个元素，Button[i].DepthArr[0]赋值zk；
步骤2.2、令j＝1、j＝2、…,到j＝Len-1，依次判断Button[i].DepthArr[j]－Button[i].DepthArr[0] 是否大于c，若大于c且Button[i].HitFlag＝0，则Button[i].HitFlag赋值1；
步骤2.3、如果Button[i].HitFlag等于1，且触控物中心点向远离按键方向移动，则通过接口发出Button[i]的短按击消息，Button[i].HitFlag赋值2；
步骤2.4、如果Button[i].TimeCount×p＞s2且Button[i].HitFlag＜2，则通过接口发出 Button[i]的短按击消息；Button[i].HitFlag赋值2；
步骤2.5、如果Button[i].TimeCount×p＞s3且Button[i].HitFlag＜3，则通过接口发出 Button[i]的长按击消息，Button[i].HitFlag赋值3；
步骤3对无触控物落在按键上方的所有按键Button[i1]、Button[i2]、…、Button[ie]中的每一个按键Button[i]，i＝i1,i2,…,ie，Button[i].DepthArr的所有元素赋值DepthMax+1， Button[i].TimeCount赋值0，Button[i].HitFlag赋值0。
与现有技术相比，本发明的有益效果在于：
1、本发明提出的红外三维扫描简化结构，将二维平面扫描结构推广到三维立体扫描结构，通过多层平面扫描，实现了三维空间的立体扫描，从而不仅进一步实现了非接触空中触摸屏和非接触空中按键，达到了低成本、可靠、方便的实现显示屏、按键的隔空操作的目的，而且为实现不限制方向的体感动作识别、远距离三维手势触控操作打下了基础。
2、本发明提出的红外三维扫描简化结构，与四周都布置红外发射与接收对管的三维立体扫描结构相比，虽扫描定位精度略差，但减少了近一半的红外发射与接收对管，减低了成本，而且适应左右或上下两边不能遮挡的特殊场合应用需求。
3、利用本发明红外三维扫描结构的非接触空中触摸屏，由于其三维特性，对空中触控的距离没有限制，有效解决了电容式触摸屏等因非接触距离过近而无法空中触控的问题。
4、利用本发明红外三维扫描结构的非接触空中触摸屏，使用其红外三维扫描结构及逐层扫描，通过本发明的触控点精确定位方法，达到了在三维空间中准确空中定位手指指尖的效果，有效解决了普通红外触摸屏很难非接触触控和非接触触控不准的问题。
5、利用本发明非接触空中触摸屏的空中触控物点击操作识别方法，通过记录一定时间内的手指指尖在空中的运动轨迹、进而判定点击速度的办法，实现了触摸屏的空中精准点击操作；本发明的非接触空中触摸屏点击操作实现方法，无论手指初始在三维扫描框外还是在三维扫描框内，都可准确方便地连续完成点击操作。
6、利用本发明红外三维扫描结构实现的红外空中按键，主要完成门禁、电梯及各楼层上按键的空中按击，根据按键的形状、大小及排列位置，只要求识别精度够用，确定红外管的间隙，既可保证识别手指及其位置的准确性，又可达到减少元器件开销、降低成本的作用。
7、本发明的红外空中按键的多人按击操作实现方法，通过记录每个按键上方按击者的手指指尖的位置及其轨迹，使用判断在空中的点击速度和在按键上驻留时间的方法完成多人按击操作的识别，具有非常好的实用性。这对于公共场所的电梯等中实施的空中按键能否真正实际使用至关重要。
8、本发明实现的红外空中按键结构，与应用场所原有按键相容，不改变原有按键的位置，原有按键功能仍然保留，可大大方便应用的实施和减少扩充空中按键的成本。
附图说明
图1为本发明的红外三维空中定位简化结构示意图；
图2为本发明红外空中非接触触摸屏结构示意图；
图3为本发明手指最前面各种遮挡情况图；
图4为本发明红外空中按键结构示意图。
具体实施方式
本实施例中，一种红外三维扫描简化结构，是为适应特殊场合应用需求(左右或上下两边不能遮挡)和减少元器件数量，将专利号为201210177155.3的红外二维触摸屏的L个红外对管推广到L×D个红外对管，如图1所示，设置一长方体红外扫描区，为适应特殊场合应用需求(左右或上下两边不能遮挡)和减少元器件数量，只在长方体红外扫描区的底面和顶面(或者左右两面)分别布置有L×D个红外发射管和L×D个红外接收管；以第c层的底边前L-k个红外发射管和顶边后L-k个红外接收管形成斜向L-k束扫描线的第c层斜向红外扫描层，k 为斜向扫描线的红外发射管和红外接收管的位置差；以第c层的底边中间L-2k个红外发射管和顶边中间L-2k个红外接收管形成垂直L-2k束扫描线的第c层的垂直红外扫描层； c＝1,2,…,D；第c层的底边第i个红外发射管与顶边第i个红外接收管之间形成垂直的第i束扫描线；第c层的底边第j个红外发射管与顶边第j+k个红外接收管之间形成斜向的第j束扫描线；以垂直的第i束扫描线和斜向的第j束扫描线之间交点(i,j′)为第c层上的第i行第j列的扫描交叉点；i＝k+1,k+2,…,L-k；j＝1,2,…,L-k；
采用上述结构，使用逐层扫描，得到物体(一般为人体、手臂、手及手指，即触控物)在立体中的各层定位点。根据各层定位点，(1)可以完成人体的三维立体重构，进而实现各种体感动作，人体可以面对任意方向；(2)可以实现二维触摸屏的空中非接触操作；(3)可以实现空中按键，完成普通按键的空中按击。
本实施例中，一种红外空中非接触触摸屏，如图2所示，是将L×D个对管组成的红外三维扫描简化结构平行设置在显示屏幕的正前方，使得长方体红外扫描区的顶面和底面处于显示屏幕的上下两边之间形成红外空中非接触触摸屏，令显示屏幕的长度为Lengh，高度为 Hight，显示屏幕与空中非接触触控之间的距离最大值为Depth，令红外发光管和红外接收管的直径均为d；则L＝[Lengh/d]+2k，D＝[Depth/d]，[x]表示取不小于x的最大整数，k表示显示屏幕的任一侧垂直边缘之外的红外发光管或红外接收管的个数；且长方体红外扫描区的底面和顶面之间的安装距离为Hight。例如，显示屏长Lengh＝309mm，高Hight＝174mm，空中触控距离D＝50mm，红外管直径d＝5mm，则图2中L＝[309/5]＝62，D＝[50/5]＝10，k可以取5。长方体红外扫描区的底面和顶面之间的安装距离为174mm。
本实施例中，一种红外空中非接触触摸屏的触控点精确定位方法，是通过从前到后(或其它次序)的逐层扫描，每层依次垂直扫描和斜向扫描，再得到触控物靠近显示屏的最前端遮挡情况，进而使用触控物遮挡红外对管的比例计算触控点的三维精确坐标，实现三维空间的空中定位；具体的说，以三维扫描框空间中连续遮挡区域的最低点(最靠近屏幕的点)为这个区域的唯一触控点。不失一般性，假定触控物(一般为手指，对残疾人可以是其它形状)的直径不小于2倍的红外管的直径d；令红外空中非接触触摸屏的触控精度为横向h个点、纵向v 个点，h≥H，v≥L，一般情况h远大于H，v远大于L；设触控点深度坐标用离屏幕的距离(单位为毫米)表示，对红外空中非接触触摸屏中所有的红外接收管的强度值做归一化处理，使得红外接收管全遮挡时为0，红外接收管无遮挡时为100；在每个扫描周期p下，触控点精确定位是按如下步骤进行：
步骤A、按照垂直和斜向逐层扫描红外空中非接触触摸屏；
步骤B、令第1层为最靠近显示屏幕的红外扫描层，获得触控物所在最靠近显示屏幕的垂直红外扫描层，记为第w层；
步骤C、如图3所示，如果第w层的垂直红外扫描层中仅存在一个部分遮挡的红外接收管，则记为第一种遮挡情况；如果第w层的垂直红外扫描层中存在多个部分遮挡的红外接收管，则记为第二种遮挡情况；如果第w层的垂直红外扫描层中存在全遮挡的红外接收管，则记为第三种遮挡情况；
步骤D、若为第一种遮挡情况，则w赋值w+1，将第一种遮挡情况转换为第二种或第三种遮挡情况；
步骤E、若为第二种或第三种遮挡情况，则记在第w层所遮挡的红外接收管的序号依次记为q,q+1,…q+m；第q个红外接收管到第q+m个红外接收管的信号强度值为vq,vq+1,…,vq+m；从第q个红接收管的信号强度值vq到第q+m个红外接收管的信号强度值vq+m中获取信号强度最小值，记为vmin，利用式(1)和式(2)分别得到触控点的深度坐标z和横向坐标x：
z＝d×(w－1)+d×(vmin/100) (1)
x＝v/L×(q－1)+(v/L×(100－vq)/(100－vmin)+v/L×(m－1)+v/L×(100－vq+m)/(100－ vmin))/2+v/L×(1－(100－vq)/(100－vmin)) (2)
步骤F、按照步骤B-步骤E的过程对斜向红外扫描层进行处理，得到触控点在斜向方向上的坐标x′；再利用横向坐标x对应的垂线和坐标x′对应的斜线，得到两线交叉点(x,y)；以触控点的横向坐标x、纵向坐标y和深度坐标z作为触控物的触控点的精确定位位置(x,y,z)。
式(2)中，v/L×(q－1)是没遮挡的前q-1个接收管所占水平方向的坐标点数；v/L×(100 －vq)/(100－vmin)和v/L×(100－vq+m)/(100－vmin)分别是第q个和第q+m个接收管遮挡的坐标点数，v/L×(m－1)是从q+1到q+m-1的接收管遮挡的坐标点数，将这3项相加除以2是计算触控物的中心点；v/L×(1－(100－vq)/(100－vmin))是第q个接收管没被遮挡的坐标点数。
本实施例中，一种基于触控点精确定位方法的空中触控物点击操作识别方法，主要是通过获取触控物的触控点的三维精确定位位置，进而通过判断触控物向显示屏靠近的速度完成空中点击操作；具体的说，定义点击操作是指在时间s内向显示屏幕靠近距离c毫米，且s 远大于扫描周期p；一般可以取s为100ms，c为10mm。定义一整型数组int DepthArr[Len] 和逻辑变量Hit，其中，Len表示时间s毫秒对应的扫描周期个数，且Len＝[s/p]；初始化数组 DepthArr中所有元素均为Depth+1、Hit赋值false；其中Depth为三维扫描框深度(mm)，在每个扫描周期p毫秒下，空中触控物点击操作识别方法按如下步骤进行：
步骤a、获取触控物的触控点的精确定位位置(x,y,z)，z为手指触控点到显示屏的距离 (mm)，若触控物不存在，则z赋值Depth+1；
步骤b、数组DepthArr向后移动一个元素，DepthArr[0]赋值z；
步骤c、令k＝1、k＝2、…，到k＝Len-1，依次判断DepthArr[k]－DepthArr[0]是否大于c，若是，则Hit赋值true；
步骤d、如果Hit＝true，且触控物的触控点向远离显示屏幕方向移动或停留在一定范围的区域内，则以当前触控点产生点击消息，并且Hit赋值false、DepthArr所有元素赋值z。
上述点击操作实现方法，无论触控物初始在三维扫描框外还是在三维扫描框内，都可准确方便地连续完成点击操作。
本红外空中非接触触摸屏特别适合ATM机、机场和火车站等查询终端及取票机上十几寸的小显示屏中使用。
本实施例中，一种红外空中按键，主要实现门禁、电梯及各楼层上按键的空中按击，实现结构如图4所示，将红外三维扫描简化结构平行设置在所有按键所在平面的正前方，且红外三维扫描简化结构的扫描区域覆盖按键所在平面区域，在红外发射管之间、红外接收管之间、各红外扫描层之间设置间隙，间隙在0到触控物的最小直径之间，具体可以根据按键位置的精度要求确定。
当(红外管直径+2×间隙)不大于触控物最小直径时，可以使用三维空中精确定位方法对其进行精确定位。当(红外管直径+2×间隙)大于触控物最小直径时，不能用遮挡红外线多少完成连续的精确定位，只能用红外线遮挡与否确定定位位置。一般成人的手指直径大于10mm，使用红外管直径为5mm，则红外管间隙可以选择为2.5mm，可以使用三维空中精确定位方法对其进行精确定位。
本实施例中，一种红外空中按键的多人按击操作实现方法，是通过获得所有连续遮挡区域的最靠近按键的触控物中心点，再判断各个触控物中心点向各个按键靠近的速度以及在各个按键上的驻留时间完成各个按键的空中短按击和空中长按击操作；具体的说，假定选定的三维扫描框的定位精度满足按键的定位要求，并主要是通过判断手指快速靠近按键或在按键上停留一定时间，实现按击操作，具体的说，定义短按击操作是指在时间s1毫秒内向显示屏幕靠近距离c即c个深度单位，另外，在按键上方停留时间s2毫秒也为一个短按击动作；定义长按击动作是指在按键上方停留时间s3毫秒；且s1远大于扫描周期p；s3远长于s2；具体实施中，s1＝0.1ms，s2＝0.2ms，s3＝1000ms，c表示1公分的深度单位值。
首先设置各按键的形状和位置，分四种形状，即矩形、圆形、三角形、异形。矩形记录四角的二维坐标；圆形设置中心点二维坐标及半径；三角形设置三角的二维坐标；异形设置按键周边的若干点坐标。根据这些设置，形成各按键的周边轮廓，对异形则是每个点与其最近的两点分别做直线拟合形成按键的周边轮廓。所有按键依次编号记为1,2,…,n，Button[k] 表示第k个按键。
每一个按键均定义一个整型数组int DepthArr[Len]、时间计数器TimeCount和按击标志HitFlag，其中，Len表示时间s1对应的扫描周期个数，且Len＝[s1/p]；初始化所有DepthArr 中的所有元素均赋值DepthMax+1、TimeCount赋值0、HitFlag赋值0，其中，DepthMax为所述显示屏幕与空中非接触触控之间的距离最大值；在每个扫描周期p下，所述多人按击操作实现方法是按如下步骤进行：
步骤1、获得所有连续遮挡区域的最靠近按键的触控物中心点的三维坐标(x1,y1,z1)、 (x2,y2,z2)、…、(xk,yk,zk)、…、(xt,yt,zt)，其中，zk为第k个触控点到按键的距离，k＝1,2,…,t；
步骤2、令k＝1、k＝2、…，到k＝t，依次判断第k个触控物中心点(xk,yk,zk)是否落在第i 个按键Button[i]上方，若落在Button[i]上，则：
步骤2.1、Button[i].TimeCount自加1，Button[i].DepthArr向后移动一个元素，Button[i].DepthArr[0]赋值zk；
步骤2.2、令j＝1、j＝2、…,到j＝Len-1，依次判断Button[i].DepthArr[j]－Button[i].DepthArr[0] 是否大于c，若大于c且Button[i].HitFlag＝0，则Button[i].HitFlag赋值1；
步骤2.3、如果Button[i].HitFlag等于1，且触控物中心点向远离按键方向移动，则通过接口发出Button[i]的短按击消息，Button[i].HitFlag赋值2；
步骤2.4、如果Button[i].TimeCount×p＞s2且Button[i].HitFlag＜2，则通过接口发出 Button[i]的短按击消息；Button[i].HitFlag赋值2；
步骤2.5、如果Button[i].TimeCount×p＞s3且Button[i].HitFlag＜3，则通过接口发出 Button[i]的长按击消息，Button[i].HitFlag赋值3；
步骤3对无触控物落在按键上方的所有按键Button[i1]、Button[i2]、…、Button[ie]中的每一个按键Button[i]，i＝i1,i2,…,ie，Button[i].DepthArr的所有元素赋值DepthMax+1， Button[i].TimeCount赋值0，Button[i].HitFlag赋值0。
空中按键的单人按击操作的实现：限制每一遍三维扫描只得到一个最靠近按键的手指中心点的三维坐标(x,y,z)，使用上述处理过程，就可简单实现空中按键的单人按击操作。
本方法实现的空中按键，与原有按键相容，不改变原有按键的位置，原有按键功能仍然保留，这大大方便了应用的实施和可减少扩充空中按键的成本。

Claims (3)

1.一种基于红外空中非接触触摸屏的触控点精确定位方法，红外空中非接触触摸屏是将红外三维扫描简化结构平行设置在显示屏幕的正前方，使得长方体红外扫描区的顶面和底面处于所述显示屏幕的上下两边之间形成所述红外空中非接触触摸屏，令所述显示屏幕的长度为Lengh，高度为Hight，所述显示屏幕与空中非接触触控之间的距离最大值为Depth，令红外发光管和红外接收管的直径均为d；则L＝[Lengh/d]+2k，D＝[Depth/d]，其中，k为所述显示屏幕的任一侧垂直边缘之外的红外发光管或红外接收管的个数，[x]表示取不小于x的最大整数；且所述长方体红外扫描区的底面和顶面之间的安装距离为Hight；
所述红外三维扫描简化结构是设置一长方体红外扫描区，所述长方体红外扫描区的底面和顶面分别布置有L×D个红外发射管和L×D个红外接收管；以第c层的底边前L-k个红外发射管和顶边后L-k个红外接收管形成斜向L-k束扫描线的第c层斜向红外扫描层，k为斜向扫描线的红外发射管和红外接收管的位置差；以第c层的底边中间L-2k个红外发射管和顶边中间L-2k个红外接收管形成垂直L-2k束扫描线的第c层的垂直红外扫描层；c＝1,2,…,D；所述第c层的底边第i个红外发射管与顶边第i个红外接收管之间形成垂直的第i束扫描线；所述第c层的底边第j个红外发射管与顶边第j+k个红外接收管之间形成斜向的第j束扫描线；以所述垂直的第i束扫描线和斜向的第j束扫描线之间交点(i,j′)为第c层上的第i行第j列的扫描交叉点；i＝k+1,k+2,…,L-k；j＝1,2,…,L-k；其特征是：
通过红外三维扫描获取触控物靠近显示屏的最前端遮挡情况，再使用触控物遮挡红外对管的比例计算触控点的三维精确定位坐标；令触控物的直径不小于2d；令所述红外空中非接触触摸屏的触控精度为横向h个点、纵向v个点，且h远大于H，v远大于L；对所述红外空中非接触触摸屏中所有的红外接收管的强度值做归一化处理，使得红外接收管全遮挡时为0，红外接收管无遮挡时为100；在每个扫描周期p下，所述触控点精确定位是按如下步骤进行：
步骤A、按照垂直和斜向逐层扫描所述红外空中非接触触摸屏；
步骤B、令第1层为最靠近所述显示屏幕的红外扫描层，获得所述触控物所在最靠近所述显示屏幕的垂直红外扫描层，记为第w层；
步骤C、如果第w层的垂直红外扫描层中仅存在一个部分遮挡的红外接收管，则记为第一种遮挡情况；如果第w层的垂直红外扫描层中存在多个部分遮挡的红外接收管，则记为第二种遮挡情况；如果第w层的垂直红外扫描层中存在全遮挡的红外接收管，则记为第三种遮挡情况；
步骤D、若为第一种遮挡情况，则w赋值w+1，将第一种遮挡情况转换为第二种或第三种遮挡情况；
步骤E、若为第二种或第三种遮挡情况，则记在第w层所遮挡的红外接收管的序号依次记为q,q+1,…q+m；第q个红外接收管到第q+m个红外接收管的信号强度值为vq,vq+1,…,vq+m；从所述第q个红外接收管的信号强度值vq到第q+m个红外接收管的信号强度值vq+m中获取信号强度最小值，记为vmin，利用式(1)和式(2)分别得到触控点的深度坐标z和横向坐标x：
z＝d×(w－1)+d×(vmin/100) (1)
x＝v/L×(q－1)+(v/L×(100－vq)/(100－vmin)+v/L×(m－1)+v/L×(100－vq+m)/(100－vmin))/2+v/L×(1－(100－vq)/(100－vmin)) (2)
步骤F、按照步骤B-步骤E的过程对斜向红外扫描层进行处理，得到触控点在斜向方向上的坐标x′；再利用横向坐标x对应的垂线和坐标x′对应的斜线，得到两线交叉点(x,y)；以所述触控点的横向坐标x、纵向坐标y和深度坐标z作为所述触控物的触控点的精确定位位置(x,y,z)。
2.一种基于权利要求1所述的触控点精确定位方法的空中触控物点击操作识别方法，其特征是：通过获取触控物的触控点的三维精确定位位置，进而通过判断触控物向显示屏靠近的速度完成空中点击操作；定义点击操作是指在时间s内向所述显示屏幕快速靠近距离c；且s远大于扫描周期p；定义一整型数组int DepthArr[Len]和逻辑变量Hit，其中，Len表示时间s对应的扫描周期个数，且Len＝[s/p]；初始化数组DepthArr中所有元素均为Depth+1、Hit赋值false；在每个扫描周期p下，所述空中触控物点击操作识别方法按如下步骤进行：
步骤a、获取触控物的触控点的精确定位位置(x,y,z)；若触控物不存在，则z赋值Depth+1；
步骤b、数组DepthArr向后移动一个元素，DepthArr[0]赋值z；
步骤c、令k＝1、k＝2、…，到k＝Len-1，依次判断DepthArr[k]－DepthArr[0]是否大于c，若是，则Hit赋值true；
步骤d、如果Hit＝true，且触控物的触控点向远离显示屏幕方向移动或停留在一定范围的区域内，则以当前触控点产生点击消息，并且Hit赋值false、DepthArr所有元素赋值z。
3.一种红外空中按键的多人按击操作实现方法，红外空中按键是将红外三维扫描简化结构平行设置在所有按键所在平面的正前方，且所述红外三维扫描简化结构的扫描区域覆盖按键所在平面区域，且在红外发射管之间、红外接收管之间、各红外扫描层之间设置间隙，所述间隙在0到触控物的最小直径之间，其特征是：
通过获得所有连续遮挡区域的最靠近按键的触控物中心点，再判断各个触控物中心点向各个按键靠近的速度以及在各个按键上的驻留时间完成各个按键的空中短按击和空中长按击操作；定义短按击操作是指在时间s1内向显示屏幕快速靠近距离c或在按键上方停留时间s2；定义长按击动作是指在按键上方停留时间s3，且s1远大于扫描周期p，s2远大于扫描周期p；s3远大于s2；
每一个按键均定义一个整型数组int DepthArr[Len]、时间计数器TimeCount和按击标志HitFlag，其中，Len表示时间s1对应的扫描周期个数，且Len＝[s1/p]；初始化所有DepthArr中的所有元素均赋值DepthMax+1、TimeCount赋值0、HitFlag赋值0，其中，DepthMax为所述显示屏幕与空中非接触触控之间的距离最大值；在每个扫描周期p下，所述多人按击操作实现方法是按如下步骤进行：
步骤1、获得所有连续遮挡区域的最靠近按键的触控物中心点的三维坐标(x1,y1,z1)、(x2,y2,z2)、…、(xk,yk,zk)、…、(xt,yt,zt)，其中，zk为第k个触控点到按键的距离，k＝1,2,…,t；
步骤2、令k＝1、k＝2、…，到k＝t，依次判断第k个触控物中心点(xk,yk,zk)是否落在第i个按键Button[i]上方，若落在Button[i]上，则：
步骤2.1、Button[i].TimeCount自加1，Button[i].DepthArr向后移动一个元素，Button[i].DepthArr[0]赋值zk；
步骤2.2、令j＝1、j＝2、…,到j＝Len-1，依次判断Button[i].DepthArr[j]－Button[i].DepthArr[0]是否大于c，若大于c且Button[i].HitFlag＝0，则Button[i].HitFlag赋值1；
步骤2.3、如果Button[i].HitFlag等于1，且触控物中心点向远离按键方向移动，则通过接口发出Button[i]的短按击消息，Button[i].HitFlag赋值2；
步骤2.4、如果Button[i].TimeCount×p＞s2且Button[i].HitFlag＜2，则通过接口发出Button[i]的短按击消息；Button[i].HitFlag赋值2；
步骤2.5、如果Button[i].TimeCount×p＞s3且Button[i].HitFlag＜3，则通过接口发出Button[i]的长按击消息，Button[i].HitFlag赋值3；
步骤3对无触控物落在按键上方的所有按键Button[i1]、Button[i2]、…、Button[ie]中的每一个按键Button[i]，i＝i1,i2,…,ie，Button[i].DepthArr的所有元素赋值DepthMax+1，Button[i].TimeCount赋值0，Button[i].HitFlag赋值0。
CN202011558630.2A 2020-11-09 2020-12-25 红外三维扫描简化结构及在空中触摸屏和空中按键中应用 Active CN112527121B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN2020112390047 2020-11-09
CN202011239004.7A CN112328079A (zh) 2020-11-09 2020-11-09 红外三维扫描简化结构及在空中触摸屏和按键中应用

Publications (2)

Publication Number Publication Date
CN112527121A CN112527121A (zh) 2021-03-19
CN112527121B true CN112527121B (zh) 2022-08-16

Family

ID=74316630

Family Applications (2)

Application Number Title Priority Date Filing Date
CN202011239004.7A Pending CN112328079A (zh) 2020-11-09 2020-11-09 红外三维扫描简化结构及在空中触摸屏和按键中应用
CN202011558630.2A Active CN112527121B (zh) 2020-11-09 2020-12-25 红外三维扫描简化结构及在空中触摸屏和空中按键中应用

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN202011239004.7A Pending CN112328079A (zh) 2020-11-09 2020-11-09 红外三维扫描简化结构及在空中触摸屏和按键中应用

Country Status (1)

Country Link
CN (2) CN112328079A (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113078013B (zh) * 2021-04-01 2023-12-26 安徽新华学院 基于红外光扫描的组合式结构空中按键及其实现方法
CN113078012B (zh) * 2021-04-01 2023-10-24 安徽新华学院 一种红外光阵列结构的空中按键及其实现方法
CN113112650B (zh) * 2021-04-14 2022-10-25 广东欧比特科技有限公司 一种蓝牙智能锁系统及其使用方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102693048A (zh) * 2012-05-31 2012-09-26 安徽大学 一种红外触摸屏
CN102929443A (zh) * 2012-10-12 2013-02-13 深圳市深越光电技术有限公司 三维红外触控显示屏及电子装置
CN103425304A (zh) * 2012-05-16 2013-12-04 奇鋐科技股份有限公司 触控装置
CN105511692A (zh) * 2015-12-29 2016-04-20 南京中电熊猫液晶显示科技有限公司 一种红外触控装置及方法
CN106293282A (zh) * 2015-06-03 2017-01-04 西藏丹贝投资有限公司 一种具有手势识别功能的红外触摸屏
CN210441986U (zh) * 2019-10-23 2020-05-01 北京杜朗自动化系统技术有限公司 非接触式红外热成像测温在线检测装置

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1369842B1 (en) * 2002-05-08 2009-01-07 iPOC Technologies AG Wireless multimedia display device
CN102364415B (zh) * 2011-06-28 2013-08-21 广东威创视讯科技股份有限公司 红外触摸屏多触摸点识别方法及装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103425304A (zh) * 2012-05-16 2013-12-04 奇鋐科技股份有限公司 触控装置
CN102693048A (zh) * 2012-05-31 2012-09-26 安徽大学 一种红外触摸屏
CN102929443A (zh) * 2012-10-12 2013-02-13 深圳市深越光电技术有限公司 三维红外触控显示屏及电子装置
CN106293282A (zh) * 2015-06-03 2017-01-04 西藏丹贝投资有限公司 一种具有手势识别功能的红外触摸屏
CN105511692A (zh) * 2015-12-29 2016-04-20 南京中电熊猫液晶显示科技有限公司 一种红外触控装置及方法
CN210441986U (zh) * 2019-10-23 2020-05-01 北京杜朗自动化系统技术有限公司 非接触式红外热成像测温在线检测装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Infrared imaging and backside failure analysis techniques on multilayer CMOS technology;S.Chen;《Proceedings of the 1997 6th International Symposium on the Physical and Failure Analysis of Integrated Circuits》;20020806;摘要 *
抗强光高精度红外多点触摸屏研究;王双杰;《中国优秀硕士学位论文全文数据库 信息科技辑》;20170315;摘要 *

Also Published As

Publication number Publication date
CN112527121A (zh) 2021-03-19
CN112328079A (zh) 2021-02-05

Similar Documents

Publication Publication Date Title
CN112527121B (zh) 红外三维扫描简化结构及在空中触摸屏和空中按键中应用
CN112558817B (zh) 红外三维扫描结构及其在空中触摸屏和空中按键中的应用
CN103914152B (zh) 三维空间中多点触控与捕捉手势运动的识别方法与系统
US8055022B2 (en) Passive touch system and method of detecting user input
KR101831350B1 (ko) 카메라 기반 멀티 터치 상호작용 및 조명 시스템과 방법
KR101472564B1 (ko) 즉석에서 손가락 지문을 인식하기 위한 장치
CN102934057A (zh) 交互式输入系统和方法
CN105324741A (zh) 光学接近传感器
CN106030495A (zh) 利用单个感测系统的基于多模式姿势的交互系统及方法
CN102830797A (zh) 一种基于视线判断的人机交互方法及系统
JP2004500657A5 (zh)
CN108983980A (zh) 一种移动机器人基本运动手势控制方法
WO2021158167A1 (en) Meeting interaction system
CN111517189A (zh) 无接触空中成像电梯操作设备
CN112723064B (zh) 一种空中成像设备的操作方法
KR20150112198A (ko) 뎁스 카메라를 이용한 다중 사용자 멀티 터치 인터페이스 장치 및 방법
CN111488897B (zh) 一种触摸物体的检测识别方法及其装置
CN102799344A (zh) 虚拟触摸屏系统以及方法
DE102020131513B3 (de) Vorrichtung und Verfahren zur berührungslosen optischen Abbildung eines ausgewählten Oberflächenbereiches einer Hand
JPH03180988A (ja) 指紋画像入力装置
CN201556191U (zh) 一种大屏幕多重触控设备
CN207937969U (zh) 三维光栅式人机交互装置
US20230096098A1 (en) Multi-touch user interface for an electronic device
CN108196697A (zh) 三维光栅式人机交互装置
CN110069172B (zh) 一种被动非接触式的互容式电容屏交互方法及其交互工具

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20230515

Address after: Room 6-204, Tiyu Zhigu Office Building, Feixi County, Hefei City, Anhui Province, 231202

Patentee after: Hefei TouchSmart Electronic Technology Co.,Ltd.

Address before: 230039 room 504, building 119, No.3 Feixi Road, Shushan District, Hefei City, Anhui Province

Patentee before: Wu Jianguo

TR01 Transfer of patent right