CN101907954B - 交互式投影系统及交互投影方法 - Google Patents

Abstract

一种交互式投影系统，包括图像采集装置、控制装置、投影装置、红外信号发生装置及投射面，所述投影装置用于向所述投射面投影标定图像，所述图像采集装置用于采集投射面上的标定的投影图像，并将所述标定的投影图像送入控制装置进行标定，所述红外信号发生装置发出红外信号，所述红外信号遇到障碍物后形成光斑；所述图像采集装置还用于采集带光斑的图像，送入所述控制装置计算得到所述光斑在所述采集的投影图像于投影前预设在控制装置中的原图像中的位置。该交互式投影系统使用方便、成本低能很好地应用于人机交换领域。

Description

交互式投影系统及交互投影方法

【技术领域】

本发明涉及一种投影系统，尤其是涉及一种交互式投影系统及其交互投影方法。 

【背景技术】

现有人机交互技术可以大致划分为物理触摸屏和视觉检测两种工作模式。物理触摸屏由来已久，目前已广泛用于触摸式显示器和交互式电子白板领域，其通过在显示表面覆盖一层具有传感装置的透明薄膜，实现触点的定位，工作稳定，但尺寸固定，需要专用硬件配合检测，且成本较高。基于视觉的交互技术，通过摄像头检测装有红外发光装置的操作笔的运动轨迹，并实现交互操作，但多用于大屏幕投影与操作，且需专用操作笔配合方可工作。另一种方法为采用专用的控制台，桌面为透明或半透明玻璃，利用在控制台内发射出来的红外激光定位手指位置，这种方法价格较便宜，但无法在普通桌面上使用。 

【发明内容】

基于此，有必要提供一种使用方便、低成本的交互式投影系统。 

一种交互式投影系统，包括图像采集装置、控制装置、投影装置、红外信号发生装置及投射面，所述投影装置用于向所述投射面投影标定图像，所述图像采集装置用于采集投射面上的标定的投影图像，并将所述标定的投影图像送入控制装置进行标定，所述红外信号发生装置发出红外信号，所述红外信号遇到障碍物后形成光斑；所述图像采集装置还用于采集带光斑的图像，送入所述控制装置计算得到所述光斑在所述采集的投影图像于投影前预设在控制装置中的原图像中的位置； 

所述控制装置包括存储数据信息的存储模块、处理图像数据的处理器模块以及采集图像的采集模块； 

所述处理器模块包括系统标定单元，用于通过图像特征提取算法提取所述标定图像及标定的投影图像的标定点并进行排序，通过标定算法获得所述标定的投影图像和所述标定图像之间的投影变换矩阵； 

所述处理器模块还包括目标跟踪单元，用于通过阈值分割算法提取所述光斑的位置，并通过加权算法计算所述光斑的亚像素级中心位置，最后通过所述投影变换矩阵将所述光斑亚像素级中心位置转换为光斑在所述采集的投影图像于投影前预设在控制装置中的原图像中的位置。 

在优选的实施方式中，所述图像采集装置还包括带通频率与红外信号的频率相适应的滤光片。 

在优选的实施方式中，所述标定图像为二维棋盘图像。 

在优选的实施方式中，所述红外信号发生装置发出的红外信号平行且贴近于所述投射面。 

在优选的实施方式中，所述投影装置还包括投影仪和用于调整所述投影仪的投影角度的反光装置。 

此外，还有必要提供一种使用方便、低成本的交互式投影方法。 

一种交互式投影方法，包括如下步骤： 

向投射面投影标定图像，采集投射面上的标定的投影图像并进行标定； 

发射红外信号，所述红外信号遇到障碍物后形成光斑； 

采集带光斑的图像，根据所述带光斑的图像计算得到光斑在所述采集的投影图像于投影前预设在控制装置中的原图像中的位置； 

其中，进行标定的步骤具体是：通过图像特征提取算法提取所述标定图像及标定的投影图像的标定点，并进行排序； 

通过标定算法获得标定的投影图像和标定图像之间的投影变换矩阵； 

其中，所述根据带光斑的图像计算得到光斑在所述采集的投影图像于投影前预设在控制装置中的原图像中的位置的步骤具体是： 

通过阈值分割算法提取所述光斑的位置； 

通过加权算法计算所述光斑的亚像素级中心位置； 

通过所述投影变换矩阵把所述光斑的亚像素级中心位置转换光斑在所述采集的投影图像于投影前预设在控制装置中的原图像中的位置。 

上述交互式投影系统及交互投影方法能在普通的桌面上使用，在使用时只需人手点击投影图像，即可通过红外信号发生系统在手指上形成的光斑进行定位，从而响应相应的操作，无须外带任何的辅助工具，从而降低了生产的成本。该方法由控制装置自动控制进行，能在极短的时间完成系统标定，操作简单， 标定精度高，同时采用了亚像素级的位置定位，从数量级上提高了定位的精度。 

【附图说明】

图1为一个实施例中交互式投影系统的系统结构图； 

图2为一个实施例中的红外信号发生装置发出红外光光谱与窄带滤光片所通过的光谱的关系示意图； 

图3为一个实施例中交互式投影系统进行投影变换的示意图； 

图4为一个实施例中交互式投影系统的工作示意图； 

图5为一个实施例中交互式投影方法的流程图 

图6为一个实施例中标定方法的流程图； 

图7为一个实施例中光斑检测与定位的流程图。 

【具体实施方式】

下面结合附图进行进一步的说明。 

如图1所示，一种交互式投影系统，包括控制装置100，与控制装置100通讯连接的图像采集装置200、红外信号发生装置300、投影装置400，及用于投影装置400投影的投射面500。控制装置100与图像采集装置200、红外信号发生装置300、投影装置400的通讯连接方式可以是有线的，也可以是无线的。投射面500可以是布幕、墙壁、桌面等等。 

图像采集装置200用于采集数据信息并将所采集到的数据信息传输给控制装置100进行处理。本实施例中，图像采集装置200为摄像头，摄像头可以采用电荷耦合器件(Charge Coupled Device简称CCD)、互补金属氧化物半导体(Complementary Metal Oxide Semiconductor简称CMOS)等。以下的描述基于采用CCD器件基础下进行。摄像头的设置为分辨率640×480像素，速度30帧/秒。因为采用了亚像素技术，其定位精度可达0.1个像素，即达到6400×4800DPI的分辨率。 

为了提高系统对外界光线的抗干扰性，图像采集装置200上装设有滤光片，通过滤光片对外界光线进行过滤。如图2所示，图像采集装置200上采用的滤光片的带通频率与红外信号发生装置300发出的红外信号的频率相适应。本实施例中滤光片采用与红外信号发生装置300相一致的中心波长为850nm的滤光 片，这样可以大大减少外界光线的干扰，提高定位精度及图像处理速度。且由于图像采集装置200装设有滤光片，图像采集装置200采用普通的摄像器材如普通摄像机或摄像头即可，不需采用昂贵的红外摄像机。 

红外信号发生装置300与控制装置100通讯连接，并在接到控制装置100的指令后，发射出平行且贴近于投射面的扇形不可见红外信号，红外信号向无穷处延伸，当障碍物靠近投影图像时，挡住红外信号，红外信号便在障碍物上留下红外光斑。 

投影装置400与控制装置100通讯连接，接收来自控制装置100的数据信息如标定图像、预设的图像、文字数据、桌面游戏、菜单、虚拟键盘与电脑操作等，并将数据信息投影到投射面上。在优选的实施例中，投影装置400还包括反光装置420，该反光装置420用于调整投影装置400投影的角度，使投影装置400准确地投影到投射面上。 

控制装置100与图像采集装置200、红外信号发生装置300、投影装置400通信连接。控制装置100可采用台式计算机、笔记本电脑、嵌入式系统等控制器进行数据处理及程序运行。在一实施例中，控制装置100采用嵌入式系统。控制装置100包括存储数据信息的存储模块160、处理图像数据的处理器模块120以及采集图像的采集模块140。采集模块140、存储模块160与处理器模块120通讯连接。处理器模块120统一管理采集模块140、及存储模块160并控制采集模块140及存储模块160的运行。处理器模块120包括系统标定单元124及目标跟踪单元122。 

采集模块140用于接收处理图像采集装置200所采集的数据信息并将数据信息传输给处理器模块120进行处理。 

存储模块160用于存储数据信息。存储模块160所存储的数据信息包括标定图像如二维棋盘图像、其他图像及其他数据。其他图像包括预设的图像、文字数据及控制装置所接收的图像。预设的图像、文字数据可以是桌面游戏、菜单、虚拟键盘与电脑操作等。其他数据包括预存的图像阈值信息、运算公式、投影变换矩阵、运行程序及其他信息等。 

系统标定单元124运行过程如下：处理器模块120接收启动信息，系统标定单元124调用存储模块160中存储的标定图像，如二维棋盘图像，系统标定单元124驱动投影仪将所调用的标定图像投射到投射面500上形成二维棋盘图 像的投影图像。投影图像受投影装置400本身的畸变效应和投影装置400摆放位置的影响，会产生一定的变形，形成如图3所示的变形图像。系统标定单元驱动图像采集装置200对投射在投射面500上的二维棋盘的投影图像进行采集并传输给采集模块140，采集模块140将接收的二维棋盘的投影图像传输给处理器模块120，系统标定单元124通过图像特征提取算法提取投射面500中的二维棋盘的投影图像中标定点602的位置并进行排序，然后通过图像特征提取算法提取出存储模块160中存储的二维棋盘图像的标定点600的位置，并计算出投影变换矩阵。如图3所示，根据该投影变换矩阵可以将变形图像的像素与纠正图像的像素建立一一映射关系，从而确定标定的投影图像中的像素点与标定图像中的像素点的对应关系。 

目标跟踪单元122运行过程如下：红外信号发生装置300遇到障碍物，如手指、笔、吸管等等，并在障碍物上形成光斑，处理器模块120驱动图像采集装置200采集获取一帧图像传输给采集模块140，采集模块140将接收到的一帧图像传输给处理器模块120，目标跟踪单元122通过阈值分割法找出超过预设阈值的像素点集，再通过加权算法计算像素点集的亚像素级中心位置，目标跟踪单元122调用系统标定单元124运算出的投影变换矩阵，处理器模块120根据投影变换矩阵将光斑的位置转换为光斑在所述采集的投影图像于投影前预设在控制装置中的原图像中的位置。 

其一个较佳实施例如图4所示，控制装置100、图像采集装置200、红外信号发生装置300、投影装置400被集成在同一个壳体内，方便携带。壳体放置于桌面之上，桌面除了用于放置壳体外，还用于充当投射面500。红外信号发生装置300放置在壳体与桌面相接的底部，使得红外信号接近桌面传播，当手指伸入红外信号的传播路径时，红外信号将在手指上形成光斑，光斑经控制装置100检测后定位，减少对光斑定位的误差。 

如图5所示，一种交互式投影方法，包括如下步骤： 

步骤S10，向投射面投影标定图像，采集投射面上的标定的投影图像并进行标定。标定图像是指二维的棋盘图像或其它具有特征点的图。投射面500可以是桌面、墙壁、布幕等。投影装置400将标定图像投射到投射面500上，标定图像受投影装置400本身的畸变效应及投影装置400摆放位置的影响，发生形变。投射面500上的畸变图像即为标定的投影图像。然后，图像采集装置200 采集投射面500上标定的投影图像，并进行标定。在一个实施例中，如图6所示，步骤S10包括： 

步骤S101，通过图像特征提取算法提取所述标定图像及标定的投影图像的标定点，并进行排序。图像采集装置200采集标定的投影图像，通过图像特征提取算法提取标定的投影图像和标定图像的标定点，然后运用冒泡法、插入法、二叉树排序法等对标定点进行排序。 

步骤S102，通过标定算法获得标定的投影图像和标定图像之间的投影变换矩阵。通过标定算法将标定图像与标定的投影图像的相应标定点进行比较，得到两者之间的一一对应关系，从而得到投影变换矩阵。 

步骤S20，发射红外信号，所述红外信号遇到障碍物后形成光斑。红外信号是通常指红外光。红外信号发生装置300发射平行且贴近于投射面500的红外光。平时，红外光向无穷远处传播；在采集装置200采集有效范围内，当手指、吸管、笔等障碍物伸入红外光的传播路径时，红外光在障碍物上形成光斑。 

步骤S30，采集带光斑的图像，根据所述带光斑的图像计算得到光斑在所述采集的投影图像于投影前预设在控制装置中的原图像中的位置。在一个实施例中，如图7所示，步骤S30包括： 

步骤S301，通过阈值分割算法提取所述光斑的位置。光斑的位置所在的像素点具有与其它像素点不同的值。光斑的位置所在的像素点的值与其它像素点的值差别越大，阈值分割算法所提取的光斑位置越容易，精度也越高。 

步骤S302，通过加权算法计算所述光斑的亚像素级中心位置。通过阈值分割算法得到光斑的位置是一个范围比较大的连通域，为了可以精确地定位光斑的位置，可以通过加权算法计算出光斑的中心位置，所计算出的中心位置可达到亚像素级精度。 

步骤S303，通过所述投影变换矩阵把所述光斑的亚像素级中心位置转换为光斑在所述采集的投影图像于投影前预设在控制装置中的原图像中的位置。。 

以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附 权利要求为准。 

Claims (6)

1.一种交互式投影系统，其特征在于：包括图像采集装置、控制装置、投影装置、红外信号发生装置及投射面，所述投影装置用于向所述投射面投影标定图像，所述图像采集装置用于采集投射面上的标定的投影图像，并将所述标定的投影图像送入控制装置进行标定，所述红外信号发生装置发出红外信号，所述红外信号遇到障碍物后形成光斑；

所述图像采集装置还用于采集带光斑的图像，送入所述控制装置计算得到所述光斑在所述采集的投影图像于投影前预设在控制装置中的原图像中的位置；

所述控制装置包括存储数据信息的存储模块、处理图像数据的处理器模块以及采集图像的采集模块；

所述处理器模块包括系统标定单元，用于通过图像特征提取算法提取所述标定图像及标定的投影图像的标定点并进行排序，通过标定算法获得所述标定的投影图像和所述标定图像之间的投影变换矩阵；

所述处理器模块还包括目标跟踪单元，用于通过阈值分割算法提取所述光斑的位置，并通过加权算法计算所述光斑的亚像素级中心位置，最后通过所述投影变换矩阵将所述光斑亚像素级中心位置转换为光斑在所述采集的投影图像于投影前预设在控制装置中的原图像中的位置。

2.如权利要求1所述的交互式投影系统，其特征在于：所述图像采集装置还包括带通频率与红外信号的频率相适应的滤光片。

3.根据权利要求1或2所述的交互式投影系统，其特征在于：所述标定图像为二维棋盘图像。

4.根据权利要求1或2所述的交互式投影系统，其特征在于：所述红外信号发生装置发出的红外信号平行且贴近于所述投射面。

5.如权利要求1或2所述的交互式投影系统，其特征在于：所述投影装置还包括投影仪和用于调整所述投影仪的投影角度的反光装置。

6.一种交互式投影方法，包括如下步骤：

向投射面投影标定图像，采集投射面上的标定的投影图像并进行标定；发射红外信号，所述红外信号遇到障碍物后形成光斑；

采集带光斑的图像，根据所述带光斑的图像计算得到光斑在所述采集的投影图像于投影前预设在控制装置中的原图像中的位置；

其中，进行标定的步骤具体是：通过图像特征提取算法提取所述标定图像及标定的投影图像的标定点，并进行排序；

通过标定算法获得标定的投影图像和标定图像之间的投影变换矩阵；

其中，所述根据带光斑的图像计算得到光斑在所述采集的投影图像于投影前预设在控制装置中的原图像中的位置的步骤具体是：

通过阈值分割算法提取所述光斑的位置；

通过加权算法计算所述光斑的亚像素级中心位置；

通过所述投影变换矩阵把所述光斑的亚像素级中心位置转换光斑在所述采集的投影图像于投影前预设在控制装置中的原图像中的位置。

Images