CN106095199A - 一种基于投影屏幕的触控定位方法及系统 - Google Patents

一种基于投影屏幕的触控定位方法及系统 Download PDF

Info

Publication number
CN106095199A
CN106095199A CN201610348330.9A CN201610348330A CN106095199A CN 106095199 A CN106095199 A CN 106095199A CN 201610348330 A CN201610348330 A CN 201610348330A CN 106095199 A CN106095199 A CN 106095199A
Authority
CN
China
Prior art keywords
touch
projection
depth transducer
coordinate
depth
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201610348330.9A
Other languages
English (en)
Inventor
邹超洋
刘军刚
刘伟高
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Hua Xin Electronic Science And Technology Co Ltd
Original Assignee
Guangzhou Hua Xin Electronic Science And Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Hua Xin Electronic Science And Technology Co Ltd filed Critical Guangzhou Hua Xin Electronic Science And Technology Co Ltd
Priority to CN201610348330.9A priority Critical patent/CN106095199A/zh
Publication of CN106095199A publication Critical patent/CN106095199A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0425—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Position Input By Displaying (AREA)

Abstract

本发明公开了一种基于投影屏幕的触控定位方法，包括如下步骤：启动深度传感器上的摄像头获取由投影设备投射出的投影平面前侧的触摸物的图像信息以及启动深度传感器获取触摸物的深度信息；基于所述触摸物的图像信息和深度信息得到所述触摸物的三维触控点坐标；当判断所述触摸物的三维触控点坐标位于所述投影平面前侧的有效触控空间时，根据所述触摸物的三维触控点坐标响应对应的操作。本发明还提供一种基于投影屏幕的触控定位系统。采用本发明实施例，能够在保证触摸精度的前提下，能实现纯平面触摸，并且对目标墙体平整度要求较低，能实现任意触摸物进行触控操作。

Description

一种基于投影屏幕的触控定位方法及系统
技术领域
本发明涉及触控技术领域，尤其涉及一种基于投影屏幕的触控定位方法及系统。
背景技术
目前，投影方案的触控技术主要分为基于电磁技术的方案和基于触摸框的方案，其中触摸框包含红外触摸框和光学触摸框。
其中，基于电磁的技术，通过一支外设笔，其能够与电磁面板发生信号交互实现触摸坐标的计算。基于触摸框的方式则是通过将投影平面对齐到触摸框，通过触摸框实现触控坐标计算，并同步到投影坐标系统。
现有的投影方案的触控技术存在如下缺陷：基于电磁的技术特点在于用户需要一支特定的外置信号笔实现触摸，对触摸物有限制；而基于触摸框的技术需要将触摸框挂接在墙体平面，并保证投影平面刚好覆盖在触摸框内的触摸平面，触摸框会凸出墙体用以感应触摸物，外观较差；另外，投影平面也很难完全与触摸框触摸平面重合，影响触摸精度；最后，触摸框的方式对目标墙体的平整度也有较高的要求，否则会导致触摸不灵敏或者触摸失效等问题。
发明内容
针对上述问题，本发明的目的在于提供一种基于投影屏幕的触控定位方法及系统，在保证触摸精度的前提下，能实现纯平面触摸，并且对目标墙体平整度要求较低，能实现任意触摸物进行触控操作。
为实现上述目的，本发明实施例提供一种基于投影屏幕的触控定位方法，包括如下步骤：
启动深度传感器上的摄像头获取由投影设备投射出的投影平面前侧的触摸物的图像信息以及启动深度传感器获取触摸物的深度信息；
基于所述触摸物的图像信息和深度信息得到所述触摸物的三维触控点坐标；
当判断所述触摸物的三维触控点坐标位于所述投影平面前侧的有效触控空间时，根据所述触摸物的三维触控点坐标响应对应的操作。
本发明实施例的基于投影屏幕的触控定位方法通过深度传感器上的摄像头获取由投影设备投射出的投影平面前侧的触摸物的图像信息以及深度传感器获取触摸物的深度信息得到触摸物的三维触控点坐标，并当判断所述触摸物的三维触控点坐标位于所述投影平面前侧的有效触控空间时，根据所述触摸物的三维触控点坐标响应对应的操作。因此，在保证触摸精度的前提下，能实现纯平面触摸，并且对目标墙体平整度要求较低，能实现任意触摸物进行触控操作。
作为上述方案的改进，所述根据所述触摸物的三维触控点坐标响应对应的操作包括：
将所述触摸物的三维触控点坐标转换成对应的二维投影坐标，并根据所述二维投影坐标响应对应的操作。
作为上述方案的改进，所述深度传感器设于所述投影平面的上侧、下侧、左侧、右侧或前侧。
作为上述方案的改进，所述深度传感器的深度检测方向与所述投影平面垂直，所述深度传感器上的摄像头获取的图像所在的平面与所述投影平面平行。
作为上述方案的改进，在启动深度传感器上的摄像头获取触摸物的图像信息以及启动深度传感器获取触摸物的深度信息前，还包括：
标定投影平面的坐标原点(x0,y0)对应到所述深度传感器坐标系统中的坐标(X0,Y0)；
标定投影平面的宽度和高度分别为W和H；以及
标定在投影平面前侧且垂直投影平面的方向上的有效触控距离阈值为Zt。
作为上述方案的改进，所述基于所述触摸物的图像信息和深度信息得到所述触摸物的三维触控点坐标包括：
基于所述深度信息获得触摸物的Z坐标；
基于所述触摸物的图像信息与预先得到的背景模型图像采用帧差法获得触摸物区域计算所述触摸物区域的质心坐标(X,Y)，从而得到所述触摸物的三维触控点坐标为(X,Y,Z)。
作为上述方案的改进，当同时满足：X0≤X≤X0+W；Y0≤Y≤Y0+H,Z0-Zt≤Z≤Z0，判断所述触摸物的三维触控点坐标位于所述有效触控空间内；其中，Z0为深度传感器与投影平面之间的距离。
作为上述方案的改进，所述深度传感器的深度检测方向与所述投影平面平行，所述深度传感器上的摄像头获取的图像所在的平面与所述投影平面垂直。
作为上述方案的改进，在启动深度传感器上的摄像头获取触摸物的图像信息以及启动深度传感器获取触摸物的深度信息前，还包括步骤：
对深度传感器坐标系统和投影坐标系统进行标定，使所述投影平面的坐标原点(x0,y0)对应到所述深度传感器坐标系统中的坐标(X0,Z0)或(Z0,X0)；
标定所述投影平面的宽度和高度分别为W和H；
标定所述深度传感器上的摄像头的目标光带在Y坐标方向上的阈值为Yt,。
作为上述方案的改进，当所述深度传感器和投影平面置于同一平面上。
作为上述方案的改进，所述基于所述触摸物的图像信息和深度信息得到所述触摸物的三维触控点坐标包括：
基于所述深度信息获得触摸物的Z坐标；
基于所述触摸物的图像信息与预先得到的背景模型图像采用帧差法获得触摸物区域；
将所述触摸物区域与所述深度传感器上的摄像头的目标光带区域(0,Yt)及对应的投影平面的宽度区域(X0,X0+W)或(X0-W,X0)或对应的投影平面的高度区域(X0,X0+H)或(X0-H,X0)执行“与”操作，获得目标触控区域，计算所述目标触控区域的质心坐标(X,Y),则所述触摸物的三维触控点坐标为(X,Y,Z)。
作为上述方案的改进，当Z对应满足：Z0≤Z≤Z0+H、Z0-H≤Z≤Z0、或Z0≤Z≤Z0+W或Z0-W≤Z≤Z0，且所述目标触控区域不为空区域的情况下，判断所述触摸物的三维触控点坐标位于所述有效触控空间内。
作为上述方案的改进，通过以下方式对所述深度传感器坐标系统和投影坐标系统进行标定：
将所述深度传感器的目标视觉区域内的特定区域作为目标触控区域，调整所述投影设备，使所述投影设备所投射出的投影平面与所述目标触控区域重叠；或
将两个特定目标分别置于所述投影设备所投射出的投影平面的起点与终点坐标上，利用所述深度传感器实时检测到两个特定目标的坐标。本发明实施例还提供了一种基于投影屏幕的触控定位系统，包括：投影设备、带摄像头的深度传感器以及分别与所述投影设备、深度传感器连接的主控设备；所述投影设备将所述主控设备显示的界面投影到投影平面；所述深度传感器用于获取所述投影平面前侧的触摸物的图像信息和深度信息并发送给所述主控设备；所述主控设备基于所述触摸物的图像信息和深度信息计算得到所述触摸物的三维触控点坐标，并当判断所述触摸物的三维触控点坐标位于所述投影平面前侧的有效触控空间时，根据所述触摸物的三维触控点坐标响应对应的操作。
本发明实施例的基于投影屏幕的触控定位系统通过投影设备将所述主控设备显示的界面投影到投影平面，通过带摄像头的深度传感器上的摄像头获取由投影设备投射出的投影平面前侧的触摸物的图像信息以及通过深度传感器获取触摸物的深度信息，并通过主控设备计算得到触摸物的三维触控点坐标，并当判断所述触摸物的三维触控点坐标位于所述投影平面前侧的有效触控空间时，根据所述触摸物的三维触控点坐标响应对应的操作。因此，在保证触摸精度的前提下，能实现纯平面触摸，并且对目标墙体平整度要求较低，能实现任意触摸物进行触控操作。
作为上述方案的改进，所述主控设备进一步用于：将所述触摸物的三维触控点坐标转换成对应的二维投影坐标，并根据所述二维投影坐标响应对应的操作。
作为上述方案的改进，所述深度传感器设于所述投影平面的上侧、下侧、左侧、右侧或前侧。
作为上述方案的改进，所述深度传感器的深度检测方向与所述投影平面垂直，所述深度传感器上的摄像头获取的图像所在的平面与所述投影平面平行。
作为上述方案的改进，所述深度传感器的深度检测方向与所述投影平面平行，所述深度传感器上的摄像头获取的图像所在的平面与所述投影平面垂直。作为上述方案的改进，所述深度传感器和投影平面置于同一平面上。
附图说明
为了更清楚地说明本发明的技术方案，下面将对实施方式中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例1提供的基于投影屏幕的触控定位方法的流程示意图。
图2是本发明实施例2提供的基于投影屏幕的触控定位方法的流程示意图。
图3是本发明实施例3提供的基于投影屏幕的触控定位方法的流程示意图。
图4是本发明实施例4提供的基于投影屏幕的触控定位方法的流程示意图。
图5是本发明实施例5提供的基于投影屏幕的触控定位系统的结构示意图。
图6是本发明实施例6提供的基于投影屏幕的触控定位系统的结构示意图。
图7是本发明实施例7提供的基于投影屏幕的触控定位系统的结构示意图。
图8是本发明实施例8提供的基于投影屏幕的触控定位系统的结构示意图。
图9是本发明实施例9提供的基于投影屏幕的触控定位系统的结构示意图。
图10是本发明实施例中的目标光带区域示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参阅图1，是本发明实施例1提供的一种基于投影屏幕的触控定位方法，包括步骤S11～S13，具体如下：
S11，启动深度传感器上的摄像头获取由投影设备投射出的投影平面前侧的触摸物的图像信息以及启动深度传感器获取触摸物的深度信息；
S12，基于所述触摸物的图像信息和深度信息得到所述触摸物的三维触控点坐标；
S13，当判断所述触摸物的三维触控点坐标位于所述投影平面前侧的有效触控空间时，根据所述触摸物的三维触控点坐标响应对应的操作。
本发明实施例的基于投影屏幕的触控定位方法适用于包括投影设备、带摄像头的深度传感器以及主控设备的系统中，主控设备通过有线或无线的方式分别连接投影设备和深度传感器。其中，深度传感器的目标视觉区域能够完全覆盖投影设备投射出来(例如，投射到墙面上)的投影平面，以获取投影平面前侧的触摸物的深度信息和图像信息发送给主控设备，由主控设备基于所述触摸物的图像信息和深度信息得到所述触摸物的三维触控点坐标，并在判断所述触摸物的三维触控点坐标位于所述投影平面前侧的有效触控空间时，根据所述触摸物的三维触控点坐标响应对应的操作。其中，所述有效触控空间是指位于所述投影平面前侧、与所述投影平面重合且距离所述投影平面少于预设值的全部平面所构成的空间。即，当触摸物位于所述投影平面构成的平面坐标范围内，且距离所述投影平面的深度不大于预设值时，视为有效的触控操作。
在本实施例中，所述深度传感器可设于所述投影平面的上侧、下侧、左侧、右侧或前侧。下面通过具体的实施例，进一步描述当所述深度传感器位于所述投影平面的不同方位的具体工作过程。
参考图2，是本发明实施例2提供的一种基于投影屏幕的触控定位方法，该方法适用于包括投影设备、带摄像头的深度传感器以及分别与投影设备和深度传感器连接的主控设备的系统中，其中，深度传感器设于由投影设备投射出的投影平面的前侧(即与所述投影设备位于投影平面的同一侧)，优选的，深度传感器正对所述投影平面。请一并参阅图5，本实施例的触控定位方法包括步骤S21～S25:
S21，对深度传感器坐标系统和投影坐标系统进行标定，包括标定投影平面的坐标原点(x0,y0)(一般为(0,0))对应到所述深度传感器坐标系统中的坐标(X0,Y0)，标定投影平面的宽度和高度分别为W和H，以及标定投影平面在深度传感器上的Z坐标方向上的有效触控距离阈值为Zt。
在该步骤中，由于深度传感器坐标系统与投影坐标系统不同，其中，深度传感器坐标系统为三维坐标系统，而投影坐标系统为二维坐标系统(与主控设备的坐标系统一致)，因此需要将对深度传感器坐标系统和投影坐标系统进行标定。
其中，由于深度传感器位于所述投影平面的前侧，即深度传感器的深度检测方向与所述投影平面垂直(深度传感器坐标系统的Z轴与投影平面垂直)，而所述深度传感器上的摄像头获取的图像所在的平面与所述投影平面平行(深度传感器坐标系统的X、Y轴构成的平面与投影平面平行)。因此，通过标定，使投影平面的坐标原点(0,0)对应到所述深度传感器坐标系统中的坐标(X0,Y0)，这样，基于深度传感器获取的三维坐标点信息可以转化为二维的投影坐标点信息以进行定位。另外，标定投影平面的宽度和高度分别为W和H，以及标定投影平面在深度传感器上的Z坐标方向上的有效触控阈值为Zt(即距离投影平面的有效触控高度)，目的是限定了所述投影平面前侧的有效触控空间，所述有效触控空间具体为：
当深度传感器坐标系统中的X轴方向与投影坐标系统的x轴方向同向，且深度传感器坐标系统中的Y轴方向与投影坐标系统的y轴方向同向时，有效触控空间为：(X0,Y0,Z0)～(X0+W,Y0+H,Z0-Zt)；
当深度传感器坐标系统中的X轴方向与投影坐标系统的x轴方向同向，且深度传感器坐标系统中的Y轴方向与投影坐标系统的y轴方向反向时，有效触控空间为：(X0,Y0,Z0)～(X0+W,Y0-H,Z0-Zt)；
当深度传感器坐标系统中的X轴方向与投影坐标系统的x轴方向反向，且深度传感器坐标系统中的Y轴方向与投影坐标系统的y轴方向同向时，有效触控空间为：(X0,Y0,Z0)～(X0-W,Y0+H,Z0-Zt)；
当深度传感器坐标系统中的X轴方向与投影坐标系统的x轴方向反向，且深度传感器坐标系统中的Y轴方向与投影坐标系统的y轴方向反向时，有效触控空间为：(X0,Y0,Z0)～(X0-W,Y0-H,Z0-Zt)；
其中，Z0为深度传感器与投影平面之间的距离。
可见，为了减少计算，在该步骤中，对深度传感器坐标系统和投影坐标系统进行标定时，可标定深度传感器坐标系统中的任意两个轴方向与投影坐标系统的两个轴方向相同。例如，在本实施例中，标定深度传感器坐标系统中的X轴方向与投影坐标系统的x轴方向同向，且深度传感器坐标系统中的Y轴方向与投影坐标系统的y轴同向。
另外，为了描述方便，本实施例均以“深度传感器坐标系统中的X轴方向与投影坐标系统的x轴方向同向，且深度传感器坐标系统中的Y轴方向与投影坐标系统的y轴同向”为基础进行以下步骤的描述。
具体的，在该步骤中，可通过以下方式对所述深度传感器坐标系统和投影坐标系统进行标定，使所述投影平面的坐标原点(0,0)对应到所述深度传感器坐标系统中的坐标(X0,Y0)：
方式一：将所述深度传感器的目标视觉区域内的特定区域(X0,Y0)～(Xt,Yt)作为目标触控区域，调整所述投影设备，使所述投影设备所投射出的投影平面与所述目标触控区域重叠；
利用方式一来进行标定后，可得到标定后的投影平面的宽度和高度分别为W和H分别为：W＝|Xt-X0|；H＝|Yt-Y0|。
方式二：将两个特定目标分别置于所述投影设备所投射出的投影平面的起点与终点坐标上，利用所述深度传感器实时检测到两个特定目标的坐标为(X_start,Y_start)～(X_end,Y_end)，则(X_start,Y_start)作为(X0,Y0)。
利用方式一来进行标定后，可得到标定后的投影平面的宽度和高度分别为W和H分别为：W＝|X_end-X_start|；H＝|Y_end-Y_start|。
S22，在标定完成后，启动深度传感器上的摄像头获取所述投影平面前侧的触摸物的图像信息以及启动深度传感器获取触摸物的深度信息。
可以理解的，在标定完成后，即可启动深度传感器获取相关信息。在没有触控发生前，预先通过所述深度传感器上的摄像头将获取到的背景模型图像进行保存。
S23，基于所述深度信息获得触摸物的Z坐标，并基于所述图像信息与预先得到的背景模型图像采用帧差法获得触摸物区域，计算所述触摸物区域的质心坐标(X,Y)，从而得到所述触摸物的三维触控点坐标为(X,Y,Z)。
在该步骤中，深度传感器的深度图像可通过配准方法对齐到图像坐标系统，因此通过图像定位得到的触摸物区域，可直接用于在深度图像中计算对应的区域坐标均值，也就是目标触摸物体的深度坐标Z。
而通过实时图像与背景模型图像做减法的方式可获取的触摸物(运动物体)所覆盖的区域，通过计算该区域的质心坐标得到触摸物的X、Y坐标。
S24，当同时满足：X0≤X≤X0+W,Y0≤Y≤Y0+H,Z0-Zt≤Z≤Z0，判断所述触摸物的三维触控点坐标(X,Y,Z)位于所述投影平面前侧的有效触控空间内。
可以理解的，步骤S24是基于“深度传感器坐标系统中的X轴方向与投影坐标系统的x轴方向同向，且深度传感器坐标系统中的Y轴方向与投影坐标系统的y轴同向”计算得到的，在其他情况下需要根据步骤S21中有关有效触控空间的限定进行计算。
S25，在判断所述触摸物的三维触控点坐标(X,Y,Z)位于所述有效触控空间后，将所述三维触控点坐标(X,Y,Z)转换成对应的二维投影坐标(x,y)，并根据所述二维投影坐标响应对应的操作；其中，x＝X-X0，y＝Y-Y0。
可以理解的，步骤S25是基于“深度传感器坐标系统中的X轴方向与投影坐标系统的x轴方向同向，且深度传感器坐标系统中的Y轴方向与投影坐标系统的y轴同向”进行的，若：深度传感器坐标系统中的X轴方向与投影坐标系统的x轴方向同向，且深度传感器坐标系统中的Y轴方向与投影坐标系统的y轴方向反向时，x＝X-X0，y＝Y0-Y；
深度传感器坐标系统中的X轴方向与投影坐标系统的x轴方向反向，且深度传感器坐标系统中的Y轴方向与投影坐标系统的y轴方向同向时，x＝X0-X，y＝Y-Y0；
深度传感器坐标系统中的X轴方向与投影坐标系统的x轴方向反向，且深度传感器坐标系统中的Y轴方向与投影坐标系统的y轴方向反向时，x＝X0-X，y＝Y0-Y。
可见，本实施例的一种基于投影屏幕的触控定位方法通过设于投影平面的前侧的深度传感器上获取投影平面前侧的触摸物的图像信息以及深度传感器获取触摸物的深度信息得到触摸物的三维触控点坐标，并当判断所述触摸物的三维触控点坐标位于所述投影平面前侧的有效触控空间时，根据所述触摸物的三维触控点坐标响应对应的操作。因此，在保证触摸精度的前提下，能实现纯平面触摸，并且对目标墙体平整度要求较低，能实现任意触摸物进行触控操作。
参考图3，是本发明实施例3提供的一种基于投影屏幕的触控定位方法，该方法适用于包括投影设备、带摄像头的深度传感器以及分别与投影设备和深度传感器连接的主控设备的系统中，其中，深度传感器设于由投影设备投射出的投影平面的上侧(参考图6)或下侧(参考图7)，优选的，深度传感器与所述投影平面置于同一平面上。本实施例的触控定位方法包括步骤S31～S35：
S31，对深度传感器坐标系统和投影坐标系统进行标定，包括标定投影平面的坐标原点(x0,y0)(一般为(0,0))对应到所述深度传感器坐标系统中的坐标(X0,Z0)，标定投影平面的宽度和高度分别为W和H，以及标定所述深度传感器上的摄像头的目标光带在Y坐标方向上的阈值为Yt。
在该步骤中，由于深度传感器坐标系统与投影坐标系统不同，其中，深度传感器坐标系统为三维坐标系统，而投影坐标系统为二维坐标系统(与主控设备的坐标系统一致)，因此需要将对深度传感器坐标系统和投影坐标系统进行标定。
其中，由于深度传感器位于所述投影平面的上侧或下侧，即深度传感器的深度检测方向与所述投影平面平行(深度传感器坐标系统的Z轴与投影平面平行)，而所述深度传感器上的摄像头获取的图像所在的平面与所述投影平面平行((深度传感器坐标系统的X、Y轴构成的平面与投影平面垂直)。因此，通过标定，使投影平面的坐标原点(0,0)对应到所述深度传感器坐标系统中的坐标(X0,Z0)，这样，基于深度传感器获取的三维坐标点信息可以转化为二维的投影坐标点信息以进行定位。另外，标定投影平面的宽度和高度分别为W和H，以及标定所述深度传感器上的摄像头的目标光带在Y坐标方向上的阈值为Yt，目的是限定了所述投影平面前侧的有效触控空间，所述有效触控空间具体为：
当深度传感器坐标系统中的X轴方向与投影坐标系统的x轴方向同向，且深度传感器坐标系统中的Z轴方向与投影坐标系统的y轴方向同向时，有效触控空间为：(X0,Y0,Z0)～(X0+W,Y0+Yt,Z0+H)；
当深度传感器坐标系统中的X轴方向与投影坐标系统的x轴方向同向，且深度传感器坐标系统中的Z轴方向与投影坐标系统的y轴方向反向时，有效触控空间为：(X0,Y0,Z0)～(X0+W,Y0+Yt,Z0-H)；
当深度传感器坐标系统中的X轴方向与投影坐标系统的x轴方向反向，且深度传感器坐标系统中的Z轴方向与投影坐标系统的y轴方向同向时，有效触控空间为：(X0,Y0,Z0)～(X0-W,Y0+Yt,Z0+H)；
当深度传感器坐标系统中的X轴方向与投影坐标系统的x轴方向反向，且深度传感器坐标系统中的Z轴方向与投影坐标系统的y轴方向反向时，有效触控空间为：(X0,Y0,Z0)～(X0-W,Y0+Yt,Z0-H)；
其中，当所述深度传感器和投影平面置于同一平面上时，Y0＝0。
需要说明的是，上述需要标定的参数Yt，指的是垂直于投影平面的高度信息，仅在0～Yt范围内的触摸有效，控制触摸响应高度。在本实施例中，Y坐标上的0～Yt范围高度，在目标投影触控区域内，落在深度传感器的摄像头上的成像光带即是目标光带区域。如图10所示，目标光带是Y坐标方向范围内0～Yt这一段物理高度对应到图像坐标系统中的一条带状区域，本实施例中的Yt值可预先设置，在此不做限制。
另外，本实施例的深度传感器坐标系统中的Y轴方向指向投影平面的前侧。
同样的，为了减少计算，在该步骤中，对深度传感器坐标系统和投影坐标系统进行标定时，可标定深度传感器坐标系统中的任意两个轴方向与投影坐标系统的两个轴方向相同。例如，在本实施例中，标定深度传感器坐标系统中的X轴方向与投影坐标系统的x轴方向同向，且深度传感器坐标系统中的Z轴方向与投影坐标系统的y轴同向。
另外，为了描述方便，本实施例均以“深度传感器坐标系统中的X轴方向与投影坐标系统的x轴方向同向，且深度传感器坐标系统中的Z轴方向与投影坐标系统的y轴同向”为基础进行以下步骤的描述。
在该步骤中，可通过以下方式对所述深度传感器坐标系统和投影坐标系统进行标定，使所述投影平面的坐标原点(0,0)对应到所述深度传感器坐标系统中的坐标(X0,Z0)：
方式一：将所述深度传感器的目标视觉区域内的特定区域(X0,Z0)～(Xt,Zt)作为目标触控区域，调整所述投影设备，使所述投影设备所投射出的投影平面与所述目标触控区域重叠；
利用方式一来进行标定后，可得到标定后的投影平面的宽度和高度分别为W和H分别为：W＝|Xt-X0|；H＝|Zt-Z0|。
方式二：将两个特定目标分别置于所述投影设备所投射出的投影平面的起点与终点坐标上，利用所述深度传感器实时检测到两个特定目标的坐标为(X_start,Z_start)～(X_end,Z_end)，则(X_start,Z_start)作为(X0,Z0)。
利用方式一来进行标定后，可得到标定后的投影平面的宽度和高度分别为W和H分别为：W＝|X_end-X_start|；H＝|Z_end-Z_start|。
S32，在标定完成后，启动深度传感器上的摄像头获取所述投影平面前侧的触摸物的图像信息以及启动深度传感器获取触摸物的深度信息。
可以理解的，在标定完成后，即可启动深度传感器获取相关信息。在没有触控发生前，预先通过所述深度传感器上的摄像头将获取到的背景模型图像进行保存。
S33，基于所述深度信息获得触摸物的Z坐标，并基于所述图像信息与预先得到的背景模型图像采用帧差法获得触摸物区域，将所述触摸物区域与所述深度传感器上的摄像头的目标光带区域(0,Yt)及对应的投影平面的宽度区域(X0,X0+W)执行“与”操作，获得目标触控区域，计算所述目标触控区域的质心坐标(X,Y)，从而得到所述触摸物的三维触控点坐标为(X,Y,Z)。
在该步骤中，通过实时图像与背景模型图像做减法的方式获取的是整个触摸物(运动物体)所覆盖的区域，而实际触摸需求是与触摸平面接触的一个很小的区域，因此需要将运动目标中用于触摸的有效区域分割出来，本发明采用的方式是利用前景目标同目标光带区域的“与”操作实现。具体的，利用垂直于投影平面的目标高度内的光带信息与所检测得到的触摸物区域及对应的投影平面的宽度区域(X0,X0+W)(若深度传感器坐标系统中的X轴方向与投影坐标系统的x轴方向反向，则投影平面的宽度区域为(X0,X0-W))执行“与”操作，用于分割出目标触控区域，计算目标触摸区域的均值坐标(X，Y)；通过“与”操作去掉冗余区域信息，带来的有益效果是提高目标触摸物体的坐标计算精度；当触摸物体离触摸平面(即投影平面)的高度大于Yt或不在投影平面的宽度区域(X0,X0+W)内时，“与”操作获取的目标触控区域将是一块空区域。
而深度传感器的深度图像可通过配准方法对齐到图像坐标系统，因此通过图像定位得到的目标触摸物区域，可直接用于在深度图像中计算对应的区域坐标均值，也就是目标触摸物体的深度坐标Z。
S34，当Z对应满足：Z0≤Z≤Z0+H，且所述目标触控区域不为空区域的情况下，判断所述触摸物的三维触控点坐标(X,Y,Z)位于所述投影平面前侧的有效触控空间内。
在该步骤中，若深度传感器坐标系统中的Z轴方向与投影坐标系统的y轴方向反向，则Z应对应满足：Z0-H≤Z≤Z0。
S35，在判断所述触摸物的三维触控点坐标(X,Y,Z)位于所述有效触控空间后，将所述三维触控点坐标(X,Y,Z)转换成对应的二维投影坐标(x,y)，并根据所述二维投影坐标响应对应的操作；其中，x＝X-X0，y＝Z-Z0。
可以理解的，步骤S35是基于“深度传感器坐标系统中的X轴方向与投影坐标系统的x轴方向同向，且深度传感器坐标系统中的Z轴方向与投影坐标系统的y轴同向”进行的，若：
深度传感器坐标系统中的X轴方向与投影坐标系统的x轴方向同向，且深度传感器坐标系统中的Z轴方向与投影坐标系统的y轴方向反向时，x＝X-X0，y＝Z0-Z；
深度传感器坐标系统中的X轴方向与投影坐标系统的x轴方向反向，且深度传感器坐标系统中的Z轴方向与投影坐标系统的y轴方向同向时，x＝X0-X，y＝Z-Z0；
深度传感器坐标系统中的X轴方向与投影坐标系统的x轴方向反向，且深度传感器坐标系统中的Z轴方向与投影坐标系统的y轴方向反向时，x＝X0-X，y＝Z0-Z。
可见，本实施例的一种基于投影屏幕的触控定位方法通过设于投影平面的上侧/下侧的深度传感器上获取投影平面前侧的触摸物的图像信息以及深度传感器获取触摸物的深度信息得到触摸物的三维触控点坐标，并当判断所述触摸物的三维触控点坐标位于所述投影平面前侧的有效触控空间时，根据所述触摸物的三维触控点坐标响应对应的操作。因此，在保证触摸精度的前提下，能实现纯平面触摸，并且对目标墙体平整度要求较低，能实现任意触摸物进行触控操作。
参考图4，是本发明实施例4提供的一种基于投影屏幕的触控定位方法，该方法适用于包括投影设备、带摄像头的深度传感器以及分别与投影设备和深度传感器连接的主控设备的系统中，其中，深度传感器设于由投影设备投射出的投影平面的左侧(参考图8)或右侧(参考图9)，优选的，深度传感器与所述投影平面置于同一平面上。本实施例的触控定位方法包括步骤S41～S45：
S41，对深度传感器坐标系统和投影坐标系统进行标定，包括标定投影平面的坐标原点(x0,y0)(一般为(0,0))对应到所述深度传感器坐标系统中的坐标(Z0,X0)，标定投影平面的宽度和高度分别为W和H，以及标定所述深度传感器上的摄像头的目标光带在Y坐标方向上的阈值为Yt。
在该步骤中，由于深度传感器坐标系统与投影坐标系统不同，其中，深度传感器坐标系统为三维坐标系统，而投影坐标系统为二维坐标系统(与主控设备的坐标系统一致)，因此需要将对深度传感器坐标系统和投影坐标系统进行标定。
其中，由于深度传感器位于所述投影平面的左侧或右侧，即深度传感器的深度检测方向与所述投影平面平行(深度传感器坐标系统的Z轴与投影平面平行)，而所述深度传感器上的摄像头获取的图像所在的平面与所述投影平面平行((深度传感器坐标系统的X、Y轴构成的平面与投影平面垂直)。因此，通过标定，使投影平面的坐标原点(0,0)对应到所述深度传感器坐标系统中的坐标(Z0,-X0)，这样，基于深度传感器获取的三维坐标点信息可以转化为二维的投影坐标点信息以进行定位。另外，标定投影平面的宽度和高度分别为W和H，以及标定所述深度传感器上的摄像头的目标光带在Y坐标方向上的阈值为Yt，目的是限定了所述投影平面前侧的有效触控空间，所述有效触控空间具体为：
当深度传感器坐标系统中的Z轴方向与投影坐标系统的x轴方向同向，且深度传感器坐标系统中的X轴方向与投影坐标系统的y轴方向同向时，有效触控空间为：(X0,Y0,Z0)～(X0+H,Y0+Yt,Z0+W)；
当深度传感器坐标系统中的Z轴方向与投影坐标系统的x轴方向同向，且深度传感器坐标系统中的X轴方向与投影坐标系统的y轴方向反向时，有效触控空间为：(X0,Y0,Z0)～(X0+H,Y0+Yt,Z0-W)；
当深度传感器坐标系统中的Z轴方向与投影坐标系统的x轴方向反向，且深度传感器坐标系统中的X轴方向与投影坐标系统的y轴方向同向时，有效触控空间为：(X0,Y0,Z0)～(X0-H,Y0+Yt,Z0+W)；
当深度传感器坐标系统中的Z轴方向与投影坐标系统的x轴方向反向，且深度传感器坐标系统中的X轴方向与投影坐标系统的y轴方向反向时，有效触控空间为：(X0,Y0,Z0)～(X0-H,Y0+Yt,Z0-W)；
其中，当所述深度传感器和投影平面置于同一平面上时，Y0＝0。
需要说明的是，上述需要标定的参数Yt，指的是垂直于投影平面的高度信息，仅在0～Yt范围内的触摸有效，控制触摸响应高度。在本实施例中，Y坐标上的0～Yt范围高度，在目标投影触控区域内，落在深度传感器的摄像头上的成像光带即是目标光带区域。如图10所示，目标光带是Y坐标方向范围内0～Yt这一段物理高度对应到图像坐标系统中的一条带状区域，本实施例中的Yt值可预先设置，在此不做限制。
另外，本实施例的深度传感器坐标系统中的Y轴方向指向投影平面的前侧。
同样的，为了减少计算，在该步骤中，对深度传感器坐标系统和投影坐标系统进行标定时，可标定深度传感器坐标系统中的任意两个轴方向与投影坐标系统的两个轴方向相同。例如，在本实施例中，标定深度传感器坐标系统中的Z轴方向与投影坐标系统的x轴方向同向，且深度传感器坐标系统中的X轴方向与投影坐标系统的y轴同向。
另外，为了描述方便，本实施例均以“深度传感器坐标系统中的Z轴方向与投影坐标系统的x轴方向同向，且深度传感器坐标系统中的X轴方向与投影坐标系统的y轴同向”为基础进行以下步骤的描述。
在该步骤中，可通过以下方式对所述深度传感器坐标系统和投影坐标系统进行标定，使所述投影平面的坐标原点(0,0)对应到所述深度传感器坐标系统中的坐标(Z0,X0)，：
方式一：将所述深度传感器的目标视觉区域内的特定区域(X0,Z0)～(Xt,Zt)作为目标触控区域，调整所述投影设备，使所述投影设备所投射出的投影平面与所述目标触控区域重叠；
利用方式一来进行标定后，可得到标定后的投影平面的宽度和高度分别为W和H分别为：W＝|Zt-Z0|；H＝|Xt-X0|。
方式二：将两个特定目标分别置于所述投影设备所投射出的投影平面的起点与终点坐标上，利用所述深度传感器实时检测到两个特定目标的坐标为(X_start,Z_start)～(X_end,Z_end)，则(X_start,Z_start)作为(X0,Z0)。
利用方式一来进行标定后，可得到标定后的投影平面的宽度和高度分别为W和H分别为：W＝|Z_end-Z_start|；H＝|X_end-X_start|。
S42，在标定完成后，启动深度传感器上的摄像头获取所述投影平面前侧的触摸物的图像信息以及启动深度传感器获取触摸物的深度信息。
可以理解的，在标定完成后，即可启动深度传感器获取相关信息。在没有触控发生前，预先通过所述深度传感器上的摄像头将获取到的背景模型图像进行保存。
S43，基于所述深度信息获得触摸物的Z坐标，并基于所述图像信息与预先得到的背景模型图像采用帧差法获得触摸物区域，将所述触摸物区域与所述深度传感器上的摄像头的目标光带区域(0,Yt)及对应的投影平面的高度区域(X0,X0+H)执行“与”操作，获得目标触控区域，计算所述目标触控区域的质心坐标(X,Y)，从而得到所述触摸物的三维触控点坐标为(X,Y,Z)。
在该步骤中，通过实时图像与背景模型图像做减法的方式获取的是整个触摸物(运动物体)所覆盖的区域，而实际触摸需求是与触摸平面接触的一个很小的区域，因此需要将运动目标中用于触摸的有效区域分割出来，本发明采用的方式是利用前景目标同目标光带区域的“与”操作实现。具体的，利用垂直于投影平面的目标高度内的光带信息与所检测得到的触摸物区域及对应的投影平面的高度区域(X0,X0+H)(若深度传感器坐标系统中的X轴方向与投影坐标系统的y轴方向反向，则投影平面的宽度区域为(X0,X0-H))执行“与”操作，用于分割出目标触控区域，计算目标触摸区域的均值坐标(X，Y)；通过“与”操作去掉冗余区域信息，带来的有益效果是提高目标触摸物体的坐标计算精度；当触摸物体离触摸平面(即投影平面)的高度(距离)大于Yt或不在投影平面的高度区域(X0,X0+H)内时，“与”操作获取的目标触控区域将是一块空区域。
而深度传感器的深度图像可通过配准方法对齐到图像坐标系统，因此通过图像定位得到的目标触摸物区域，可直接用于在深度图像中计算对应的区域坐标均值，也就是目标触摸物体的深度坐标Z。
S44，当Z对应满足：Z0≤Z≤Z0+W，且所述目标触控区域不为空区域的情况下，判断所述触摸物的三维触控点坐标(X,Y,Z)位于所述投影平面前侧的有效触控空间内。
在该步骤中，若深度传感器坐标系统中的Z轴方向与投影坐标系统的x轴方向反向，则Z应对应满足：Z0-W≤Z≤Z0。
S45，在判断所述触摸物的三维触控点坐标(X,Y,Z)位于所述有效触控空间后，将所述三维触控点坐标(X,Y,Z)转换成对应的二维投影坐标(x,y)，并根据所述二维投影坐标响应对应的操作；其中，x＝Z-Z0，y＝X-X0)。
可以理解的，步骤S45是基于“深度传感器坐标系统中的Z轴方向与投影坐标系统的x轴方向同向，且深度传感器坐标系统中的X轴方向与投影坐标系统的y轴同向”进行的，若：
深度传感器坐标系统中的Z轴方向与投影坐标系统的x轴方向同向，且深度传感器坐标系统中的Y轴方向与投影坐标系统的y轴方向反向时，x＝Z-Z0，y＝X0-X；
深度传感器坐标系统中的Z轴方向与投影坐标系统的x轴方向反向，且深度传感器坐标系统中的Y轴方向与投影坐标系统的y轴方向同向时，x＝Z0-Z，y＝X-X0；
深度传感器坐标系统中的Z轴方向与投影坐标系统的x轴方向反向，且深度传感器坐标系统中的X轴方向与投影坐标系统的y轴方向反向时，x＝Z0-Z，y＝X0-X。
可见，本实施例的一种基于投影屏幕的触控定位方法通过设于投影平面的左侧/右侧的深度传感器上获取投影平面前侧的触摸物的图像信息以及深度传感器获取触摸物的深度信息得到触摸物的三维触控点坐标，并当判断所述触摸物的三维触控点坐标位于所述投影平面前侧的有效触控空间时，根据所述触摸物的三维触控点坐标响应对应的操作。因此，在保证触摸精度的前提下，能实现纯平面触摸，并且对目标墙体平整度要求较低，能实现任意触摸物进行触控操作。
参考图5～9，本实施例提供了一种基于投影屏幕的触控定位系统，包括：投影设备1、带摄像头的深度传感器2以及分别与所述投影设备1、深度传感器2连接的主控设备3；所述投影设备1将所述主控设备3显示的界面投影到投影平面11。所述深度传感器2用于获取所述投影平面11前侧的触摸物的图像信息和深度信息并发送给所述主控设备3。所述主控设备3基于所述触摸物的图像信息和深度信息计算得到所述触摸物的三维触控点坐标，并当判断所述触摸物的三维触控点坐标位于所述投影平面前侧的有效触控空间时，将所述触摸物的三维触控点坐标转换成对应的二维投影坐标，并根据所述二维投影坐标响应对应的操作。
其中，所述深度传感器2设于所述投影平面11的前侧(图5)、上侧(图6)、下侧(图7)、左侧(图8)或右侧(图9)。
当所述深度传感器2设于所述投影平面11的前侧时，所述深度传感器的深度检测方向与所述投影平面垂直，所述深度传感器上的摄像头获取的图像所在的平面与所述投影平面平行。
当所述深度传感器2设于所述投影平面11的上侧、下侧、左侧或右侧时，所述深度传感器的深度检测方向与所述投影平面平行，所述深度传感器上的摄像头获取的图像所在的平面与所述投影平面垂直。
优选的，当所述深度传感器2设于所述投影平面11的上侧、下侧、左侧或右侧时，所述深度传感器和投影平面置于同一平面上。
本实施例公开的基于投影屏幕的触控定位系统的工作过程请参数上述实施例的基于投影屏幕的触控定位方法的有关描述，在此不再赘述。
本实施例的所述主控设备3可以使PC主机或者移动便携式设备，包括智能手机、平板电脑、笔记本电脑等。所述主控设备3可以通过有线或无线方式与所述投影设备1、深度传感器2连接。
本实施例的基于投影屏幕的触控定位系统通过投影设备将所述主控设备显示的界面投影到投影平面，通过带摄像头的深度传感器上的摄像头获取由投影设备投射出的投影平面前侧的触摸物的图像信息以及通过深度传感器获取触摸物的深度信息，并通过主控设备计算得到触摸物的三维触控点坐标，并当判断所述触摸物的三维触控点坐标位于所述投影平面前侧的有效触控空间时，根据所述触摸物的三维触控点坐标响应对应的操作。因此，在保证触摸精度的前提下，能实现纯平面触摸，并且对目标墙体平整度要求较低，能实现任意触摸物进行触控操作。
以上所揭露的仅为本发明一种较佳实施例而已，当然不能以此来限定本发明之权利范围，本领域普通技术人员可以理解实现上述实施例的全部或部分流程，并依本发明权利要求所作的等同变化，仍属于发明所涵盖的范围。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)或随机存储记忆体(Random AccessMemory，RAM)等。

Claims (19)

1.一种基于投影屏幕的触控定位方法，其特征在于，包括步骤：
启动深度传感器上的摄像头获取由投影设备投射出的投影平面前侧的触摸物的图像信息以及启动深度传感器获取触摸物的深度信息；
基于所述触摸物的图像信息和深度信息得到所述触摸物的三维触控点坐标；
当判断所述触摸物的三维触控点坐标位于所述投影平面前侧的有效触控空间时，根据所述触摸物的三维触控点坐标响应对应的操作。
2.如权利要求1所述的基于投影屏幕的触控定位方法，其特征在于，所述根据所述触摸物的三维触控点坐标响应对应的操作包括：
将所述触摸物的三维触控点坐标转换成对应的二维投影坐标，并根据所述二维投影坐标响应对应的操作。
3.如权利要求1所述的基于投影屏幕的触控定位方法，其特征在于，所述深度传感器设于所述投影平面的上侧、下侧、左侧、右侧或前侧。
4.如权利要求1所述的基于投影屏幕的触控定位方法，其特征在于，所述深度传感器的深度检测方向与所述投影平面垂直，所述深度传感器上的摄像头获取的图像所在的平面与所述投影平面平行。
5.如权利要求4所述的基于投影屏幕的触控定位方法，其特征在于，在启动深度传感器上的摄像头获取触摸物的图像信息以及启动深度传感器获取触摸物的深度信息前，还包括：
标定投影平面的坐标原点(x0,y0)对应到所述深度传感器坐标系统中的坐标(X0,Y0)；
标定投影平面的宽度和高度分别为W和H；以及
标定在投影平面前侧且垂直投影平面的方向上的有效触控距离阈值为Zt。
6.如权利要求5所述的基于投影屏幕的触控定位方法，其特征在于，所述基于所述触摸物的图像信息和深度信息得到所述触摸物的三维触控点坐标包括：
基于所述深度信息获得触摸物的Z坐标；
基于所述触摸物的图像信息与预先得到的背景模型图像采用帧差法获得触摸物区域计算所述触摸物区域的质心坐标(X,Y)，从而得到所述触摸物的三维触控点坐标为(X,Y,Z)。
7.如权利要求6所述的基于投影屏幕的触控定位方法，其特征在于，当同时满足：X0≤X≤X0+W；Y0≤Y≤Y0+H,Z0-Zt≤Z≤Z0，判断所述触摸物的三维触控点坐标位于所述有效触控空间内；其中，Z0为深度传感器与投影平面之间的距离。
8.如权利要求1所述的基于投影屏幕的触控定位方法，其特征在于，所述深度传感器的深度检测方向与所述投影平面平行，所述深度传感器上的摄像头获取的图像所在的平面与所述投影平面垂直。
9.如权利要求8所述的基于投影屏幕的触控定位方法，其特征在于，在启动深度传感器上的摄像头获取触摸物的图像信息以及启动深度传感器获取触摸物的深度信息前，还包括步骤：
对深度传感器坐标系统和投影坐标系统进行标定，使所述投影平面的坐标原点(x0,y0)对应到所述深度传感器坐标系统中的坐标(X0,Z0)或(Z0,X0)；
标定所述投影平面的宽度和高度分别为W和H；
标定所述深度传感器上的摄像头的目标光带在Y坐标方向上的阈值为Yt,。
10.如权利要求9所述的基于投影屏幕的触控定位方法，其特征在于，当所述深度传感器和投影平面置于同一平面上。
11.如权利要求10所述的基于投影屏幕的触控定位方法，其特征在于，所述基于所述触摸物的图像信息和深度信息得到所述触摸物的三维触控点坐标包括：
基于所述深度信息获得触摸物的Z坐标；
基于所述触摸物的图像信息与预先得到的背景模型图像采用帧差法获得触摸物区域；
将所述触摸物区域与所述深度传感器上的摄像头的目标光带区域(0,Yt)及对应的投影平面的宽度区域(X0,X0+W)或(X0-W,X0)或对应的投影平面的高度区域(X0,X0+H)或(X0-H,X0)执行“与”操作，获得目标触控区域，计算所述目标触控区域的质心坐标(X,Y),则所述触摸物的三维触控点坐标为(X,Y,Z)。
12.如权利要求11所述的基于投影屏幕的触控定位方法，其特征在于，当Z对应满足：Z0≤Z≤Z0+H、Z0-H≤Z≤Z0、或Z0≤Z≤Z0+W或Z0-W≤Z≤Z0，且所述目标触控区域不为空区域的情况下，判断所述触摸物的三维触控点坐标位于所述有效触控空间内。
13.如权利要求5或9所述的基于投影屏幕的触控定位方法，其特征在于，通过以下方式对所述深度传感器坐标系统和投影坐标系统进行标定：
将所述深度传感器的目标视觉区域内的特定区域作为目标触控区域，调整所述投影设备，使所述投影设备所投射出的投影平面与所述目标触控区域重叠；或
将两个特定目标分别置于所述投影设备所投射出的投影平面的起点与终点 坐标上，利用所述深度传感器实时检测到两个特定目标的坐标。
14.一种基于投影屏幕的触控定位系统，其特征在于，包括：投影设备、带摄像头的深度传感器以及分别与所述投影设备、深度传感器连接的主控设备；所述投影设备将所述主控设备显示的界面投影到投影平面；所述深度传感器用于获取所述投影平面前侧的触摸物的图像信息和深度信息并发送给所述主控设备；所述主控设备基于所述触摸物的图像信息和深度信息计算得到所述触摸物的三维触控点坐标，并当判断所述触摸物的三维触控点坐标位于所述投影平面前侧的有效触控空间时，根据所述触摸物的三维触控点坐标响应对应的操作。
15.如权利要求14所述的基于投影屏幕的触控定位系统，其特征在于，所述主控设备进一步用于：将所述触摸物的三维触控点坐标转换成对应的二维投影坐标，并根据所述二维投影坐标响应对应的操作。
16.如权利要求14所述的基于投影屏幕的触控定位系统，其特征在于，所述深度传感器设于所述投影平面的上侧、下侧、左侧、右侧或前侧。
17.如权利要求14所述的基于投影屏幕的触控定位系统，其特征在于，所述深度传感器的深度检测方向与所述投影平面垂直，所述深度传感器上的摄像头获取的图像所在的平面与所述投影平面平行。
18.如权利要求14所述的基于投影屏幕的触控定位系统，其特征在于，所述深度传感器的深度检测方向与所述投影平面平行，所述深度传感器上的摄像头获取的图像所在的平面与所述投影平面垂直。
19.如权利要求18所述的基于投影屏幕的触控定位系统，其特征在于，所述深度传感器和投影平面置于同一平面上。
CN201610348330.9A 2016-05-23 2016-05-23 一种基于投影屏幕的触控定位方法及系统 Pending CN106095199A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610348330.9A CN106095199A (zh) 2016-05-23 2016-05-23 一种基于投影屏幕的触控定位方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610348330.9A CN106095199A (zh) 2016-05-23 2016-05-23 一种基于投影屏幕的触控定位方法及系统

Publications (1)

Publication Number Publication Date
CN106095199A true CN106095199A (zh) 2016-11-09

Family

ID=57230776

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610348330.9A Pending CN106095199A (zh) 2016-05-23 2016-05-23 一种基于投影屏幕的触控定位方法及系统

Country Status (1)

Country Link
CN (1) CN106095199A (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106919294A (zh) * 2017-03-10 2017-07-04 京东方科技集团股份有限公司 一种3d触控交互装置、其触控交互方法及显示装置
CN107506162A (zh) * 2017-08-29 2017-12-22 歌尔科技有限公司 坐标映射方法、计算机可读存储介质和投影仪
CN107506133A (zh) * 2017-08-24 2017-12-22 歌尔股份有限公司 投影触控系统的操作轨迹响应方法及系统
CN107515714A (zh) * 2017-07-27 2017-12-26 歌尔股份有限公司 一种手指触控识别方法、装置和触控投影设备
CN108228015A (zh) * 2018-01-05 2018-06-29 广东美的制冷设备有限公司 三维投影触控控制方法、控制器和家用电器
CN108710845A (zh) * 2018-05-11 2018-10-26 北京旷视科技有限公司 目标对象与物品的关联方法、装置及系统
CN112181211A (zh) * 2019-07-03 2021-01-05 Tcl集团股份有限公司 触控定位方法、装置及终端设备

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102257424A (zh) * 2008-10-28 2011-11-23 智能技术无限责任公司 图像投影方法和采用该方法的交互输入/投影系统
CN102968222A (zh) * 2012-11-07 2013-03-13 电子科技大学 一种基于深度摄像机的多点触摸设备
CN103207709A (zh) * 2013-04-07 2013-07-17 布法罗机器人科技（苏州）有限公司 一种多点触摸系统及方法
CN102508574B (zh) * 2011-11-09 2014-06-04 清华大学 基于投影屏幕的多点触控检测方法及多点触控系统
CN104765508A (zh) * 2014-01-03 2015-07-08 由田新技股份有限公司 基于图样的校正方法及电子装置
CN104991684A (zh) * 2015-07-23 2015-10-21 京东方科技集团股份有限公司 触控设备及其工作方法
CN105373266A (zh) * 2015-11-05 2016-03-02 上海影火智能科技有限公司 一种新型的基于双目视觉的交互方法和电子白板系统

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102257424A (zh) * 2008-10-28 2011-11-23 智能技术无限责任公司 图像投影方法和采用该方法的交互输入/投影系统
CN102508574B (zh) * 2011-11-09 2014-06-04 清华大学 基于投影屏幕的多点触控检测方法及多点触控系统
CN102968222A (zh) * 2012-11-07 2013-03-13 电子科技大学 一种基于深度摄像机的多点触摸设备
CN103207709A (zh) * 2013-04-07 2013-07-17 布法罗机器人科技（苏州）有限公司 一种多点触摸系统及方法
CN104765508A (zh) * 2014-01-03 2015-07-08 由田新技股份有限公司 基于图样的校正方法及电子装置
CN104991684A (zh) * 2015-07-23 2015-10-21 京东方科技集团股份有限公司 触控设备及其工作方法
CN105373266A (zh) * 2015-11-05 2016-03-02 上海影火智能科技有限公司 一种新型的基于双目视觉的交互方法和电子白板系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
陈旭梅: "《城市智能交通系统》", 30 August 2013 *

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106919294A (zh) * 2017-03-10 2017-07-04 京东方科技集团股份有限公司 一种3d触控交互装置、其触控交互方法及显示装置
CN106919294B (zh) * 2017-03-10 2020-07-21 京东方科技集团股份有限公司 一种3d触控交互装置、其触控交互方法及显示装置
CN107515714A (zh) * 2017-07-27 2017-12-26 歌尔股份有限公司 一种手指触控识别方法、装置和触控投影设备
CN107515714B (zh) * 2017-07-27 2020-08-28 歌尔股份有限公司 一种手指触控识别方法、装置和触控投影设备
CN107506133A (zh) * 2017-08-24 2017-12-22 歌尔股份有限公司 投影触控系统的操作轨迹响应方法及系统
CN107506133B (zh) * 2017-08-24 2020-09-18 歌尔股份有限公司 投影触控系统的操作轨迹响应方法及系统
CN107506162A (zh) * 2017-08-29 2017-12-22 歌尔科技有限公司 坐标映射方法、计算机可读存储介质和投影仪
CN107506162B (zh) * 2017-08-29 2020-10-09 歌尔科技有限公司 坐标映射方法、计算机可读存储介质和投影仪
CN108228015A (zh) * 2018-01-05 2018-06-29 广东美的制冷设备有限公司 三维投影触控控制方法、控制器和家用电器
CN108710845A (zh) * 2018-05-11 2018-10-26 北京旷视科技有限公司 目标对象与物品的关联方法、装置及系统
CN112181211A (zh) * 2019-07-03 2021-01-05 Tcl集团股份有限公司 触控定位方法、装置及终端设备

Similar Documents

Publication Publication Date Title
CN106095199A (zh) 一种基于投影屏幕的触控定位方法及系统
CN110967011B (zh) 一种定位方法、装置、设备及存储介质
CN103809880B (zh) 人机交互系统及方法
KR101253451B1 (ko) 음원의 위치를 감지할 수 있는 모바일 디바이스 및 그 제어 방법
CN104052976B (zh) 投影方法及装置
US9978147B2 (en) System and method for calibration of a depth camera system
CN109313502B (zh) 利用选择装置的敲击事件定位
CN102799318A (zh) 一种基于双目立体视觉的人机交互方法及系统
CN102508578B (zh) 投影定位装置及方法、交互系统和交互方法
CN112150560B (zh) 确定消失点的方法、装置及计算机存储介质
EP2590060A1 (en) 3D user interaction system and method
US20150317070A1 (en) Mobile handheld instruments and methods
CN104793784A (zh) 一种基于深度数据的模拟触摸操作系统及操作方法
CN103852066A (zh) 一种设备定位的方法、控制方法、电子设备及系统
CN113280752A (zh) 一种凹槽深度测量方法、装置、系统及激光测量设备
KR20210081576A (ko) 실내 측위를 제공하는 전자 장치 및 그 방법
CN112912936A (zh) 混合现实系统、程序、移动终端装置和方法
CN103398698A (zh) 一种水平测量方法、装置及移动终端
CN105698733B (zh) 房屋内部形状测量方法
CN108628487A (zh) 一种位置信息确定方法、投影设备和计算机存储介质
CN204066012U (zh) 一种投影装置
CN110569799B (zh) 一种指纹模组的位移量检测方法、装置及终端设备
CN107729862B (zh) 机器人视频监控的保密处理方法
CN103034345B (zh) 一种真实空间中的地理虚拟仿真三维鼠标笔
CN112308768A (zh) 一种数据处理方法、装置、电子设备以及存储介质

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20161109