CN201000620Y

CN201000620Y - 一种基于投影的触摸检测系统

Info

Publication number: CN201000620Y
Application number: CNU2006201340764U
Authority: CN
Inventors: 魏舜仪; 李晖; 孟艳; 雷锦超
Original assignee: Beijing Weiya Shixun Science & Technology Co Ltd
Current assignee: Beijing Weiya Shixun Science & Technology Co Ltd
Priority date: 2006-10-16
Filing date: 2006-10-16
Publication date: 2008-01-02
Anticipated expiration: 2016-10-16

Abstract

本实用新型提供一种基于投影的触摸检测系统，包括：摄像装置、图像采集装置、投影装置、投影屏幕和控制装置；不可见光发射装置，用于向所述的投影屏幕发射不可见光；滤光装置，设置于所述摄像装置的前端，用于过滤可见光成分；所述的投影装置将图像投影到投影屏幕，触摸物体被所述的不可见光照射，摄像装置透过滤光装置对投影屏幕上的图像和触摸物体进行拍摄并仅将被不可见光照射的触摸投影屏幕表面的物体的图像传送给图像采集装置，图像采集装置对接收的数据进行处理并将处理后的数据传送给所述的控制装置，控制装置根据接收的数据得到触摸投影屏幕表面的物体在投影屏幕上的位置数据。用以解决投影画面的背景画面的干扰问题。

Description

一种基于投影的触摸检测系统

技术领域

本实用新型涉及人机交互系统领域，特别涉及通过触摸投影表面来进行人机交互的技术，具体的讲是一种基于投影的触摸检测系统。

背景技术

在大型展示项目中经常需要实现大面积的可触摸交互系统，一般这种系统都使用投影机作为显示设备，将图像投影到特定区域。这种方式与原有的屏幕显示方式有很大的区别，导致原有的直接在显示器上的触摸检测技术无法在这种触摸投影表面的情况下使用。

针对这个问题，现有技术中一般采用基于图像区域运动检测的方法实现上述触摸投影表面的触摸检测，进而实现人机交互。如图1所示，这种方法的具体实现过程是：在环境中架设一台摄像机101，通过摄像机101拍摄投影装置103投影到投影屏幕区域105的图像。摄像机101将拍摄到的图像传送给图像采集装置102，图像采集装置102对图像数据进行处理并将处理后的数据传送给计算机104。当某一用户在投影屏幕区域105中不借助其他交互设备仅由身体部位，如：脚踩过或挥动手臂，则计算机104启动内部检测单元将摄像机101所拍摄得到的前后两张连续图像进行相减可以得到一个运动区域，并认为这个运动区域就是用户触摸的位置。计算机104连接有显示器106用于显示检测和交互数据。通过这种方式可以实现用户与系统之间的基于触摸投影表面的互动。

上述基于图像区域运动检测的触摸投影表面的触摸检测系统的系统构成原理如图2所示，该检测系统包括：摄像装置、图像采集装置、投影装置、具有检测单元的控制装置以及投影屏幕。

但是上述的基于图像区域运动检测的触摸投影表面的触摸检测系统存在一个致命的缺陷，即：当投影屏幕中的画面内容运动的时候，系统无法区分那些运动区域是由用户身体运动导致的，那些区域是画面内容运动导致的。这个时候会发生错误的判断，导致系统检测失败。

发明内容

为了解决了上述现有技术中的缺点，本实用新型提供一种基于投影的触摸检测系统，用以解决投影画面的背景画面的干扰问题。

本实用新型的目的在于，提供一种基于投影的触摸检测系统，包括：摄像装置、图像采集装置、投影装置、投影屏幕和控制装置；所述的摄像装置通过图像采集装置与所述的控制装置相连接；还包括：不可见光发射装置，用于向所述的投影屏幕发射不可见光；滤光装置，设置于所述摄像装置的前端，用于过滤可见光成分；所述的投影装置将图像投影到所述的投影屏幕，触摸投影屏幕表面的物体被所述的不可见光照射，所述的摄像装置透过所述的滤光装置对投影屏幕上的图像和触摸投影屏幕表面的物体进行拍摄并仅将被不可见光照射的触摸投影屏幕表面的物体的图像传送给所述的图像采集装置，所述的图像采集装置对接收的数据进行处理并将处理后的数据传送给所述的控制装置，所述的控制装置根据接收的数据得到触摸投影屏幕表面的物体在所述投影屏幕上的位置数据。

所述的基于投影的触摸检测系统还包括：反射装置，该反射装置设置于所述投影装置的前端，用于将投影装置放映的图像反射到所述的投影屏幕上。

所述的控制装置具有检测单元，该检测单元通过运动跟踪程序得出触摸投影屏幕表面的物体在所述投影屏幕上的位置数据及用动方向数据。

所述的不可见光发射装置包括：红外线发射装置。

所述的投影屏幕为：包括地面和墙面在内的任何形式及形状的投影硬幕或投影软幕。

所述的投影屏幕为：背面投影幕。

所述图像采集装置还包括中央处理器和存储器，该中央处理器对采集到的图像数据进行处理，存储器用于存储采集和处理的数据。

所述的图像采集装置的中央处理器为数字信号处理器(DSP)或现场可编程逻辑器件(FPGA)。

所述图像处理装置从摄像装置所接收的图像中获取图像数据和处理图像数据的速度不小于15次每秒。

所述控制装置是计算机，所述计算机还连接有显示装置；其中，所述计算机控制投影装置向投影屏幕进行投影，并且记录投影图像边界在摄像装置图像中形成四边形的四个定点的位置，根据所述的四个定点检测得到的触摸点位置，求得所述的触摸点在投影图像中对应的投影屏幕上的位置，将触摸点在投影图像中对应的投影屏幕上的位置输出，实现交互操作。

本实用新型将一种常见的光学现象引入大面积投影触摸检测系统中，通过在系统中加入不可见光照明单元和可见光过滤单元，从而有效的解决了背景画面的干扰问题。

附图说明

图1为现有技术中的投影面触摸式交互系统的示意图；

图2为现有技术中的投影面触摸式交互系统的结构框图；

图3为本实用新型系统的示意图；

图4为本实用新型系统的结构框图；

图5为本实用新型系统的具有反射装置的结构框图；

图6为本实用新型系统控制装置中检测单元的工作流程图；

图7为本实用新型系统图像采集装置的电路图；

图8为本实用新型系统的具有反射装置的实施例的示意图；

图9为本实用新型系统的具有背投装置的实施例的示意图。

具体实施方式

以下结合附图说明本实用新型的具体实施方式。本系统提出了一种基于在不可见光照明下摄像机感应不可见光下的人体运动检测的全新方法，使用这种方法可以实现比直接进行运动检测更为稳定和鲁棒性的效果。

如图3所示，本实用新型所提供的系统包括：任何形式的投影表面305；摄像机301前置可见光滤光片308(如红外截止滤光片)；摄像机301；投影机303；不可见光照明单元307(如红外光源)；图像采集装置302及软件处理部分；其中摄像机301采集投影表面305的图像，由于摄像机301前置红外截止滤光片作用，能够过滤可见光成分，投影机303所投出的画面在摄像机301中不会出现，在红外光源的照明作用下，环境中被该光源照明的物体和人能够清晰被摄像机301采集和出现，从而当摄像机301检测用户身体部位(如脚和手)在投影表面前的运动时不受投影机所投出画面的干扰。其中，所述的投影机303将图像投影到所述的投影屏幕305，触摸投影屏幕表面的物体被所述的不可见光照射，所述的摄像机透过所述的滤光装置对投影屏幕上的图像和触摸投影屏幕表面的物体进行拍摄并仅将被不可见光照射的触摸投影屏幕表面的物体的图像传送给所述的图像采集装置302，所述的图像采集装置对接收的数据进行处理并将处理后的数据传送给所述的控制装置304(例如是计算机)，所述的控制装置根据接收的数据得到触摸投影屏幕表面的物体在所述投影屏幕上的位置数据。

本实用新型所提供的系统的结构框图如图4所示，包括：摄像装置、图像采集装置、投影装置、投影屏幕和控制装置；所述的摄像装置通过图像采集装置与所述的控制装置相连接；还包括：不可见光发射装置，用于向所述的投影屏幕发射不可见光；滤光装置，设置于所述摄像装置的前端，用于过滤可见光成分；所述的投影装置将图像投影到所述的投影屏幕，触摸投影屏幕表面的物体被所述的不可见光照射，所述的摄像装置透过所述的滤光装置对投影屏幕上的图像和触摸投影屏幕表面的物体进行拍摄并仅将被不可见光照射的触摸投影屏幕表面的物体的图像传送给所述的图像采集装置，所述的图像采集装置对接收的数据进行处理并将处理后的数据传送给所述的控制装置，所述的控制装置根据接收的数据得到触摸投影屏幕表面的物体在所述投影屏幕上的位置数据。

本实用新型所提供的系统，基于红外光检测和图像处理的原理，通过安装在摄像机前端的红外截止滤光片和用于照明投影区域的红外光照明单元，实现可见光过滤和红外光照明下红外检测的功能。从而实现投影机投出的图像大部分被过滤掉的效果。由于这种形式不限制投影屏幕，所以可以使用任何形式的投影屏幕，包括正面和背面投影的投影硬软幕及其它可以显示投影的物体表面，也可以将任何形状的投影幕以正面，背面或平铺地板和天花板等各种方向布置。由于投影屏幕是用户运动的背景，由于背景上的图像变化被过滤，对用户身体部位运动的检测可以视为一个在静止背景上搜索运动区域的问题。从而大大简化了图像处理的难度，提高了系统的稳定性，减少了系统对使用场合的限制。

本实用新型所提供的系统还通过记录投影屏幕上画面的四个顶点在摄像机图像上的位置，通过图像扭曲运算，根据用户手部在摄像机图像上的位置，准确地计算用户手部实际上在投影画面上的位置，从而实现准确的屏幕交互。

本实用新型所提供的系统的处理流程如图6所示。系统首先采集经过红外截止滤光片过滤得到的红外图像。之后使用运动区域跟踪方法跟踪图像上独立的运动区域。这里的运动跟踪方法可以使用本行业内公认的各种算法，包括但不限于：CamShift(Continuously Apative Mean-Shift)算法。之后可以求得每个运动区域的中心位置和运动方向。此时得到的运动区域的位置仅仅是运动物体在摄像机图像上的位置。为了能够实现物体与投影图像之间的交互，需要将这个位置影射为投影图像对应的屏幕坐标系下的位置。一般情况下，投影图像的边界本身是一个矩形，但是由于经过投影机的投影和摄像机的拍摄，在摄像机图像上，投影图像的边界是一个四边形。在忽略镜头畸变的情况下，这个过程本身可以看作是一个仿射变换。由本行业内通行的知识可以知道，根据仿射变换前后四个共面对应点可以求出平面内任意点仿射变换前后的对应关系。在本系统中，可以预先记录投影图像边界在摄像机图像中形成四边形的四个顶点的位置。并且根据这四个顶点校正计算得到的触摸点的位置，从而求得这些触摸点在原始投影图像中对应的屏幕位置。最后将这些屏幕位置输出进行交互操作。

实施例1

地面投影交互系统，如图5所示，本实用新型所提供的应用于投影屏幕的触摸检测系统，包括投影表面；投影机；摄像机；摄像机前置红外截止滤光片；红外发射器；图像采集处理单元；光学反射单元；

在具体实施时，需要将投影机，摄像机，摄像机前置红外截止滤光片，红外发射器安装在互动投影地面的上方，可以采取用支架803固定于天花板或其他支架上的方式。安装高度视需要投影的面积和红外探测器可探测范围而定，通常在3米到10米的范围。在安装过程中，如果投影机不能竖直往下投影，可采取投影机水平放置，按照普通物理知识所能理解，在其前方添加光学反射单元，即反射镜804，可以将投影机投出的水平图像经过反射，投影到地面的投影表面，如附图8所示。

投影机801，摄像机802，摄像机前置红外截止滤光片，红外发射器805的安装方式如附图。首先将摄像机前置红外截止滤光片安装于摄像机802镜头前方，可直接粘接或采用螺纹连接。摄像机802安装于投影机801旁，镜头竖直往下，让摄像机802的图像采集范围能够覆盖投影区域，以保证探测范围能够覆盖需要投影交互的区域。

红外发射器805安装于投影机801旁，发射端竖直往下。红外发射器805能够发射红外波段的红外光，红外光的强度可以照射到地面，并足以照亮整个投影区域。

摄像机802采集投影屏幕的图像，由于摄像机前置红外截止滤光片和红外发射器805的相互作用，投影机801所投出的画面在摄像机802中不会出现，因为投影区域由红外光照亮，摄像机802在添加前置红外截止滤光片后只捕获红外光照亮的红外部分。从而当摄像机802检测用户身体部位在投影屏幕前的运动时不受投影机801所投出画面的干扰。投影表面可以采用任何形式的投影表面，投影硬软幕及其它可以显示投影的物体表面。用户走过地面进行交互。

所述摄像机前置红外截止滤光片和红外发射器805，应该选取同一波段的红外光发射器进行照明和红外截止滤光片过滤可见光成分，显示红外照射后的图像。在进行系统标定步骤时，应暂时关闭红外发射器805，取下摄像机前置红外截止滤光片，使得投影机801在投影表面上画面在摄像机图像上可见。这时可以通过记录该画面的四个顶点来记录该画面在图像上的位置。在系统正式运行并开始检测用户运动之前，应该打开红外发射器805进行照明，装上摄像机前置红外截止滤光片，使得投影机801在投影表面上画面在摄像机图像上不可见，以保证系统的正常运行。

为了达到对红外光具有较好的响应，所述摄像机优选为CCD摄像机，例如，普通CCD监控摄像头；所述摄像机的分辨率至少为320×240，例如更高的640×480；所述摄像机的采集速度至少为30帧/秒。

摄像机的摆放应该保证整个投影表面全部在摄像机图像内，并尽量充满图像。

正如本领域人员所公知的那样，所述摄像机可以通过有线或无线的数据传输方式将拍摄到的图像传输到图像采集处理单元，例如通过USB2.0接口。

所述图像采集处理单元包括中心处理器，用于控制图像处理单元的整体操作，所述中心处理器可以为DSP或FPGA。

所述图像采集处理单元还包括存储单元，用于存储图像处理单元的数据处理流程的程序和执行该程序时所产生的数据。所述存储单元优选为Flash存储器。图像采集单元的电路图如图7所示。

实施例2

背面投影幕的多点检测系统，如图9所示，背面投影幕901固定于支架上，正面(磨砂面)朝向用户，背面(光滑面)朝向反射镜904。

投影机905放置在背面投影幕901后下方位置，投影机905的镜头背对背面投影幕901，朝向放射镜904。具体位置可以依据背面投影幕901上的投影图像的大小进行调节，以使图像经反射镜904反射后布满整个背面投影幕。

反射镜904以及摄像机902和红外光发射器903的支架放置在背面投影幕901的后方，反射镜904固定在支架上，反射面朝向前方，反射镜倾角可调，配合投影机905位置的调整，可以调整投影的光路，达到投影图像经反射镜904反射后布满整个背面投影幕的显示效果。

摄像机902和红外光发射器903放置在位于反射镜支架顶端的平台上。红外光发射器903发出的固定波长红外光直射在背面投影幕901的背面，调节位置，使其可以照射整个背面投影幕901。摄像机902放置于红外光发射器903旁边，镜头前置红外截止滤光片，进行图像信息的采集。

背面投影幕901和反射镜904的中心应对齐，投影机905、摄像机902和红外光发射器903应该放置在两者中心连线所处的垂直平面内。图像经投影机投影和反射镜反射到达背面投影幕901后，由于投影光路的影响，会有梯形畸变，可利用投影机905自带梯形矫正功能进行图像矫正，使投影在背面投影幕901上的图像尽可能为矩形，符合背面投影幕901本身的尺寸。如果背面投影幕901上的投影图像模糊，可调节投影机镜头进行焦距调节得到清晰的投影图像。

至此，基于背面投影幕901的多点检测系统搭建完毕。投影机905与电脑连接，把电脑上的图像投影出去，经反射镜904反射成像在背面投影幕901的背面(光滑面)。红外光发射器903发出的红外光照射在背面投影幕901上，摄像机902连续采集背面投影幕上901的图像，并把图像数据传输给电脑，电脑上的图像处理单元通过判断相邻两幅图像的差别确定运动区域，从而在运动区域上叠加相应的交互内容，并再次投影在背面投影幕901上以显示给位于背面投影幕前的用户，这样用户只要伸出手指触摸背面投影幕901的正面(磨砂面)上的不同区域，即可完成与电脑的不同的交互内容。本系统比以往类似系统有所改进的地方在于：(1)对背面投影幕的要求不高，各种材质的背面投影幕包括软质背投幕和硬质背投幕等都可以满足要求。(2)可以进行多点检测，也就可以支持多用户的交互操作，突破了人数的限制，只要图像处理单元能够区分出不同的运动区域，就可以产生不同的交互内容。

以上具体实施方式仅用于说明本实用新型，而非用于限定本实用新型。

Claims

1.一种基于投影的触摸检测系统，包括：摄像装置、图像采集装置、投影装置、投影屏幕和控制装置；所述的摄像装置通过图像采集装置与所述的控制装置相连接；其特征是还包括：

不可见光发射装置，用于向所述的投影屏幕发射不可见光；

滤光装置，设置于所述摄像装置的前端，用于过滤可见光成分。

2.根据权利要求1所述的基于投影的触摸检测系统，其特征是包括：反射装置，该反射装置设置于所述投影装置的前端，用于将投影装置放映的图像反射到所述的投影屏幕上。

3.根据权利要求1所述的基于投影的触摸检测系统，其特征是，所述的控制装置具有检测单元，该检测单元通过运动跟踪程序得出触摸投影屏幕表面的物体在所述投影屏幕上的位置数据及用动方向数据。

4.根据权利要求1所述的基于投影的触摸检测系统，其特征是，所述的不可见光发射装置包括：红外线发射装置。

5.根据权利要求1所述的基于投影的触摸检测系统，其特征是，所述的投影屏幕为：包括地面和墙面在内的投影硬幕或投影软幕。

6.根据权利要求1所述的基于投影的触摸检测系统，其特征是，所述的投影屏幕为：背面投影幕。

7.根据权利要求1所述的基于投影的触摸检测系统，其特征是，所述图像采集装置还包括中央处理器和存储器，该中央处理器对采集到的图像数据进行处理，存储器用于存储采集和处理的数据。

8.根据权利要求7所述的基于投影的触摸检测系统，其特征是，所述的图像采集装置的中央处理器为DSP或FPGA。

9.根据权利要求7所述的基于投影的触摸检测系统，其特征是，所述图像处理装置从摄像装置所接收的图像中获取图像数据和处理图像数据的速度不小于15次每秒。

10.根据权利要求1所述的基于投影的触摸检测系统，其特征在于，所述控制装置是计算机，所述计算机还连接有显示装置；其中，所述计算机控制投影装置向投影屏幕进行投影，并且

记录投影图像边界在摄像装置图像中形成四边形的四个定点的位置，根据所述的四个定点检测得到的触摸点位置，求得所述的触摸点在投影图像中对应的投影屏幕上的位置，将触摸点在投影图像中对应的投影屏幕上的位置输出，实现交互操作。