CN102622108B - 一种交互式投影系统及其实现方法 - Google Patents

Abstract

本发明公开了交互式投影系统及其实现方法，首先，捕获投影在屏幕上的计算机显示屏的图像信息，再将捕捉到的图像信息的坐标与计算机的显示屏上的坐标对应起来，然后从视频采集装置捕捉到的图像信息中提取出光标的位置信息，并计算出光标在图像信息中的坐标位置对应在计算机的显示屏上的坐标位置，最后识别光标的闪断信息并产生相应的鼠标动作。通过本发明的交互式投影系统及其投影方法，可以完全模拟鼠标的所有操作，并且通过一种简单直观的图像处理方法，能够很容易检测到激光笔亮点的位置，使得鼠标光标定位精准，使系统实现真正的交互。

Description

一种交互式投影系统及其实现方法

技术领域

本发明涉及计算机应用技术领域，特别涉及一种交互式投影系统及其实现方法。

背景技术

投影系统包括投影仪和计算机，投影仪与计算机连接用于将计算机输出地视频信号投影到屏幕上去，目前， 投影系统被广泛应用到生产生活的各个领域中。

现有技术的投影系统一般还包括有一激光笔，其利用激光笔产生激光束并汇聚投射在屏幕上，起到指示作用。随着交互式技术的发展，在一些领域中，激光笔的功能已经不再限于指示作用，还可以起到相应的鼠标功能。比如，在PPT演讲时，利用激光笔可以实现下翻功能等，更进一步地，在操作过程中，通过激光笔的亮点确定鼠标光标的位置，通过激光笔的光标指示点亮灭信号频率的变化来执行计算机系统中鼠标的多个键功能，实现投影屏幕上图像与计算机系统中图像的交互。然而，现有技术中的投影系统的交互功能还存在一些不足：

（1）所述鼠标功能的实现主要应用在幻灯片的讲解中，而不是真正意义上的鼠标。目前的一些投影交互系统大都以讲解幻灯片为基础，而没有其他的应用：在设置功能的时候用只有一个或两个简单的功能键，不能完全模拟鼠标的操作；

（2）因为投影仪使用时候环境的亮度会有很大的不同，而为了实现交互式功能又需要从屏幕上提取激光笔的光标知识点的坐标信息；这样一来，采集装置在进行采集时，容易受到屏幕外的环境的干扰，造成后续图像处理时很复杂，且精度不够高。

有鉴于此，现有技术还有待改进和提高。

发明内容

鉴于上述现有技术的不足之处，本发明的目的在于提供一种交互式投影系统和方法，以解决现有技术中的交互式投影系统不能真正实现鼠标功能以及图像处理时精度较低等问题。

为了达到上述目的，本发明采取了以下技术方案：

一种交互式投影系统，包括用于将图像信息送至投影仪的计算机、用于将所述图像信息显示在屏幕上的投影仪、用于捕获投影在屏幕上的图像信息的视频采集装置和用于产生激光束并汇聚成光标投射在所述屏幕上的激光笔，其特征在于，所述交互式投影系统还包括：

自动标定单元，用于将视频采集装置捕捉到的图像信息的坐标与计算机的显示屏上的坐标对应起来；

位置识别单元，用于从视频采集装置捕捉到的图像信息中提取出光标的位置信息；

坐标转换单元，用于计算出光标在图像信息中的坐标位置对应在计算机的显示屏上的坐标位置；

鼠标功能识别单元，用于识别光标的闪断信息并产生相应的鼠标动作；

所述自动标定单元、位置识别单元、坐标转换单元和鼠标功能识别单元依次连接。

所述的交互式投影系统，其中，所述激光笔为能够产生四个闪断信息的激光笔，所述四个闪断信息分别对应鼠标动作中的左键单击、左键双击、右键单击和左键按下。

所述的交互式投影系统，其中，所述激光笔包括控制产生四个闪断信息的四个按键，每一按键对应才生一个闪断信息，所述四个按键分别连接单片机的一个输入/输出接口，由单片机来控制激光笔的闪断信息。

所述的交互式投影系统，其中，所述视频采集装置为可调整曝光时间的摄像机，所述交互式投影系统还包括一与摄像机连接的曝光调整单元，用于调节摄像机的曝光时间，使摄像机捕捉的投影在屏幕上的图像信息的平均灰度值在预设的范围之内。

所述的交互式投影系统，其中，所述交互式投影系统还包括一与曝光调整单元相连的图像处理单元，用于对摄像机捕捉的投影在屏幕上的图像信息进行处理。

所述的交互式投影系统，其中，所述激光笔的个数为多个，所述交互式投影系统还包括一多点识别和控制单元，用于根据多个光标的运动路径产生相应的操作驱动信号。

所述的交互式投影系统，其中，所述激光笔的个数两个，其发出的两个光标的运动路径包括：

两个光标的距离不断缩小，其对应的操作驱动信号为图像缩小；

两个光标的距离不断扩大，其对应的操作驱动信号为图像放大；

两个光标的连线发生旋转，其对应的操作驱动信号为图像进行相应的旋转。

一种所述的交互式交互式投影系统的实现方法，其中，所述方法包括以下步骤：

S1、捕获投影在屏幕上的计算机显示屏的图像信息；

S2、将捕捉到的图像信息的坐标与计算机的显示屏上的坐标对应起来；

S3、从视频采集装置捕捉到的图像信息中提取出光标的位置信息；

S4、计算出光标在图像信息中的坐标位置对应在计算机的显示屏上的坐标位置；

S5、识别光标的闪断信息并产生相应的鼠标动作。

一种射击游戏设备，其中，包括权所述的交互式系统，其中，

所述激光笔的形状为枪形，其控制光标闪断的按键设置为枪的扳机。

有益效果：

通过本发明的交互式投影系统及其投影方法，可以完全模拟鼠标的所有操作，并且通过一种简单直观的图像处理方法，能够很容易检测到激光笔亮点的位置，使得鼠标光标定位精准，使系统实现真正的交互。

附图说明

图1为本发明的交互式投影系统的结构框图。

图2为本发明的交互式投影系统中计算机的结构框图，

图3为本发明的交互式投影系统的实施例的示意图。

图4是本发明的交互式投影系统的实施例中光标闪断信息与相对应的鼠标动作的示意图。

图5为本发明的交互式投影系统的实现方法的流程图。

具体实施方式

本发明提供一种交互式投影系统及其实现方法，为使本发明的目的、技术方案及效果更加清楚、明确，以下参照附图并举实施例对本发明进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。

请参阅图1，图1为本发明的交互式投影系统的结构框图。如图所示，所述交互式投影系统包括：计算机100、投影仪200、视频采集装置300和激光笔400，其中，请一并参阅图2，图2为本发明的交互式投影系统中计算机的结构框图，如图所示，所述计算机100上还设置有自动标定单元110、位置识别单元120、坐标转换单元130和鼠标功能识别单元140。所述自动标定单元110、位置识别单元120、坐标转换单元130和鼠标功能识别单元140依次连接。

具体来说，所述计算机100用于将图像信息送至投影仪200上，这里计算机100可以为台式计算机、笔记本电脑、嵌入式系统等控制器，可以进行数据处理及数据运行。所述投影仪200用于将所述计算机100传送的图像信息显示在屏幕10上，其中，所述图像信息包括预设的图像、文字数据、桌面、菜单、虚拟键盘等。所述视频采集装置300用于捕获投影在屏幕10上的图像信息。在本实施例中，所述视频采集装置300为摄像头，摄像头可以采用CCD或者CMOS等，为了保证采集的图像信息的精度和准确性，应当保证所述摄像头具有一定的定位精度和速度，如：定位精度为0.1个像素，速度为每秒30帧等。为了提高对外界光线的抗干扰性，所述视频采集装置300上可以设置一滤光片，对外界光线进行过滤，一定程度上降低光线的干扰（进一步降低干扰的方法在后面会介绍到）。所述激光笔400能够产生激光束并汇聚成光标投射在所述屏幕上。为了实现真正意义上地互动，即通过激光笔真正实现鼠标功能。还需要在计算机100上设置一些相应的单元，具体说来，包括：依次连接的自动标定单元110、位置识别单元120、坐标转换单元130和鼠标功能识别单元140。其中，所述自动标定单元110用于将视频采集装置捕捉到的图像信息的坐标与计算机的显示屏上的坐标对应起来； 所述位置识别单元120用于从视频采集装置捕捉到的图像信息中提取出光标的位置信息；所述坐标转换单元130用于计算出光标在图像信息中的坐标位置对应在计算机的显示屏上的坐标位置；所述鼠标功能识别单元140用于识别光标的闪断信息并产生相应的鼠标动作。

为了更好地描述上述单元的功能，下面结合一个具体的实施例来说明：请一并参阅图3，在本实施例中，所述激光笔400为普通激光笔，当计算机100将所述图像信息发送到投影仪200中后，投影仪200将所述图像信息显示在屏幕10上后，使用者通过激光笔400产生激光束汇聚到所述屏幕10上，此时，视频采集装置（图中未画出）捕获投影在屏幕10上的图像信息。

为了实现鼠标功能，肯定需要计算鼠标位置；即首先要计算出激光指示点（即激光束）在图像中的位置，然后根据这个位置再计算出鼠标在电脑屏幕中的坐标。现有技术是利用视频采集装置（如摄像头）读入的图像坐标与鼠标在电脑屏幕中的坐标的转换来实现的。

在本发明中，自动标定单元110用于将视频采集装置捕捉到的图像信息的坐标与计算机的显示屏上的坐标对应起来，其一般是先在电脑屏幕上预先设置好几个关键点，将只有这几个关键点的图像投影到屏幕上，然后用摄像头捕捉屏幕画面，找出这几个关键点在摄像头图像中的位置坐标，为以后坐标转换提供基本信息。其具体流程可以为：让计算机显示一个全白色的矩形，用摄像头捕捉画面，检测矩形的位置，利用图像处理手段找出矩形四个角点的位置坐标。然后显示第二个矩形，再次用摄像头捕捉画面，检测出第二个矩形的四个角点的位置，这样就有了八个基准点，从而完成自动标定。当然，也可以采用其他手段完成自动标定，在这里就不一一赘述了。

定标完成后，位置识别单元120便从视频采集装置捕捉到的图像信息中提取出光标的位置信息。上面已经介绍到了，这一过程很容易受到外界的影响，及时在摄像头上安装一滤光片也不能完全解决问题。为了减小这种影响，在使用摄像头捕捉画面时，首先让程序自动调整摄像头的曝光时间，调整到合适的范围之后，再进行自动标定。

在本实施例中，所述视频采集装置为可调整曝光时间的摄像机，所述交互式投影系统还包括一与摄像机连接的曝光调整单元，用于调节摄像机的曝光时间，使摄像机捕捉的投影在屏幕上的图像信息的平均灰度值在预设的范围之内。进一步地，还包括一与曝光调整单元相连的图像处理单元，用于对摄像机捕捉的投影在屏幕上的图像信息进行处理。具体步骤可以如下方法：

A、固定摄像头和投影仪的位置，将摄像头放在靠近投影仪的地方，并尽量让摄像头镜头的平面与投影仪镜头的平面平行，这样有利于精度的提高；

B、让计算机的显示屏全屏显示一个全白的图片，用投影仪将这个全白的图片投射到屏幕上；

C、预先设置摄像头的一个曝光时间，然后摄像头开始捕捉画面，摄像头捕捉到的画面除了白色的屏幕外，可能还会有屏幕外的墙壁或者桌面等杂物的干扰。然后，通将摄像头读取的图片转化为灰度图，再计算出灰度图的平均灰度值，如果此值不在合适的范围就增大和减小曝光时间，再继续捕捉画面，调整曝光时间，直到捕捉到的图像的平均灰度值在预设的范围之内。这时，曝光设置好了，则可以进一步利用图像处理单元对图像进行处理，在读取的图像上，先去噪声然后提取直线，然后检测直线与直线的夹角是否可以成为矩形的条件，然后找到图像中的矩形，再把矩形的四个焦点检测。

曝光时间调整好之后，因为激光指示点（即激光束）的亮度远远超过投影仪投射出的影像的亮度，减少曝光时间图像就会变黑，不停地减少曝光时间直到投影影像经摄像头读回后变为全黑为止。这时候因为激光指示点亮度很高，所以呈现出的效果就是在全黑的图像上，只能看到激光指示点。投影影响在被读取之前，进行摄像头曝光时间的调整，极大地降低了图像处理的难度，并且识别激光指示点不会受到周围环境光线的影响。曝光调整之后，对读入的图像先转换成灰度图像，然后再转换成二值图像。得到二值图像就是全黑的图像上，只有一个或者两个亮点（对应激光笔为1个或者两个），之后的任务就是找到这一个或者两个亮点的中心位置，作为亮点的坐标。进一步地，当所述激光笔为两个以上时，本发明的交互式投影系统还设计了相应的多点识别，多点控制功能。

然后，通过坐标转换单元130计算出光标在图像信息中的坐标位置对应在计算机的显示屏上的坐标位置，，这个单元的功能是根据已有信息计算出鼠标的具体位置，换句话说，所述坐标转换单元130需要利用自动标定单元110的结果。计算的方法可以采用在触摸屏中常用的三点校正算法，因其为现有技术，故该方法的原理与步骤这里不再介绍。三点校正算法只需要提供三组对应的坐标点，在标定时此系统定出了八组对应的坐标点，在使用三点校正算法之前，首先找出距离要转换点最近的三组点进行变换，计算出在鼠标坐标系中，鼠标的实际位置。

计算出鼠标的位置后，便由鼠标功能识别单元140识别光标的闪断信息并产生相应的鼠标动作。这里，因为要实现鼠标的全部功能，便需要将光标的闪断信息对应起鼠标的相应的动作。我们知道，鼠标的动作分为4种：左键单击、左键双击、右键单击和左键按下。我们便相应地可以将光标的闪断信息分为四种，如图4所示，比如：在一定时间内，当光标发生一次亮灭，我们便将这种闪断信息对应左键单击；光标发生两次亮灭，便将这种闪断信息对应左键双击；光标发生多次（超过5次）亮灭，则对应左键按下（这时对应的是拖拽功能）。当我们使用的是一只普通激光笔时，只要使用者用一根手指头从激光上面扫过，就会产生一个闪断的信号，这样电脑就会做出一个左键单击的操作。如果想进行鼠标左键双击的操作，只要使用者用两根手指从激光光束上扫过，就会产生两次闪断的信号，这样电脑就会识别出这个动作，发出鼠标双击的消息，以此类推。应当理解地是，上述闪断信息仅仅是举例来解释是如何与鼠标操作对应的，而不仅仅限于上述四种闪断信息的组合，我们可以根据需要加以等同替换或改变，这些方法都应该在本发明的保护范围之内。

另外，除了以亮灭次数来作为闪断信息来对应鼠标操作以外，还可以通过一次亮灭中亮的时间t1与暗的时间t2之比来确定是鼠标左键的操作还是鼠标右键的操作，举例来说，当t1/t2>4时，对应鼠标左键；t1/t2<1，对应鼠标右键；应当理解地是，鼠标左、右键的操作也可以通过这两种不同的编码方式组合而成。其具体组合方式可以根据实际情况需要来设定，这里就不一一赘述了。

当然，为了方便使用者操作，我们可以特制一种激光笔，所述激光笔包括控制产生四个闪断信息的四个按键，每一按键对应产生一个闪断信息，所述四个按键分别连接单片机的一个输入/输出接口，由单片机来控制激光笔的闪断信息，硬件电路很简单，对单片机也没有特殊要求。普通性能的单片机（如78E516B型号的）就能满足要求。单片机连续检查是否有按键被按下，如果有，判断是哪个按键，然后程序作出相应的处理。

上面介绍了本发明的交互式投影系统还设计了相应的多点识别，多点控制功能。其通过一多点识别和控制单元，根据多个光标的运动路径产生相应的操作驱动信号。因为视屏采集装置可以识别出屏幕上有没有激光指示点、有几个激光指示点。在有多个激光指示点时，多点识别和控制单元可以分别识别出每一个激光指示点的位置，然后根据多个激光指示点的运动路径可以设计不同的功能。在本实施例中，我们设计了图像旋转与放大缩小的功能，当摄像头捕捉到屏幕上有两个激光点同时存在时，就会根据两个激光指示点的运动路径，做出编辑图像的动作。比如，先打开一幅图像，然后使用两个激光笔同时照射投影屏幕，当两个激光指示点的距离不断缩小时，让图片跟着缩小；当两个激光指示点的距离变大时，让图片也跟着变大。当两个点的连线发生逆时针转动时，让图片也进行逆时针转动；当两个点得连线发生顺时针转动时，让图片也进行相应的顺时针转动。利用多个点得动作可以设计出很多的应用，这一点可以广泛应用到游戏领域。

另外，本发明还提供了上述的交互式交互式投影系统的实现方法，如图5所示，所述方法包括以下步骤：

S1、捕获投影在屏幕上的计算机显示屏的图像信息；

S2、将捕捉到的图像信息的坐标与计算机的显示屏上的坐标对应起来；

S3、从视频采集装置捕捉到的图像信息中提取出光标的位置信息；

S4、计算出光标在图像信息中的坐标位置对应在计算机的显示屏上的坐标位置；

S5、识别光标的闪断信息并产生相应的鼠标动作。

因为其具体步骤都已经在上述实施例中做了详细描述，这里就不再赘述了。

另外，本发明的交互式投影系统的应用十分广泛，尤其是应用在游戏方面，将激光笔制作成为枪的样子，控制光标闪断的按键设置为枪的扳机，便可以玩各种射击类的游戏，给人一种很逼真的感受。

综上所述，本发明的交互式投影系统及其实现方法，首先，捕获投影在屏幕上的计算机的图像信息，再将捕捉到的图像信息的坐标与计算机的显示屏上的坐标对应起来，然后从视频采集装置捕捉到的图像信息中提取出光标的位置信息，并计算出光标在图像信息中的坐标位置对应在计算机的显示屏上的坐标位置，最后识别光标的闪断信息并产生相应的鼠标动作。通过本发明的交互式投影系统及其投影方法，可以完全模拟鼠标的所有操作，并且通过一种简单直观的图像处理方法，能够很容易检测到激光笔亮点的位置，使得鼠标光标定位精准，使系统实现真正的交互。

可以理解的是，对本领域普通技术人员来说，可以根据本发明的技术方案及其发明构思加以等同替换或改变，而所有这些改变或替换都应属于本发明所附的权利要求的保护范围。

Claims (2)

1.一种交互式投影系统，包括用于将图像信息送至投影仪的计算机、用于将所述图像信息显示在屏幕上的投影仪、用于捕获投影在屏幕上的图像信息的视频采集装置和用于产生激光束并汇聚成光标投射在所述屏幕上的激光笔，其特征在于，所述交互式投影系统还包括：

自动标定单元，用于将视频采集装置捕捉到的图像信息的坐标与计算机的显示屏上的坐标对应起来；

位置识别单元，用于从视频采集装置捕捉到的图像信息中提取出光标的位置信息；

坐标转换单元，用于计算出光标在图像信息中的坐标位置对应在计算机的显示屏上的坐标位置；所述坐标转换单元根据自动标定单元获取的结果进行计算；

鼠标功能识别单元，用于识别光标的闪断信息并产生相应的鼠标动作；

所述自动标定单元、位置识别单元、坐标转换单元和鼠标功能识别单元依次连接，且设置在计算机上；

所述激光笔为能够产生四个闪断信息的激光笔，所述四个闪断信息分别对应鼠标动作中的左键单击、左键双击、右键单击和左键按下；

所述激光笔包括控制产生四个闪断信息的四个按键，每一按键对应产生一个闪断信息，所述四个按键分别连接单片机的一个输入/输出接口，由单片机来控制激光笔的闪断信息；

所述视频采集装置上设置一滤光片，对外界光线进行过滤；

所述鼠标功能识别单元还能够根据一定时间内光标点亮时间和熄灭时间的比值，来确定做出相应的鼠标动作；

所述视频采集装置为摄像头，摄像头采用CCD或者CMOS；

所述视频采集装置为可调整曝光时间的摄像机，所述交互式投影系统还包括一与摄像机连接的曝光调整单元，用于调节摄像机的曝光时间，使摄像机捕捉的投影在屏幕上的图像信息的平均灰度值在预设的范围之内；

所述激光笔的个数为两个，所述交互式投影系统还包括一多点识别和控制单元，用于根据多个光标的运动路径产生相应的操作驱动信号；

其发出的两个光标的运动路径包括：

两个光标的距离不断缩小，其对应的操作驱动信号为图像缩小；

两个光标的距离不断扩大，其对应的操作驱动信号为图像放大；

两个光标的连线发生旋转，其对应的操作驱动信号为图像进行相应的旋转；

所述图像信息包括预设的图像、文字数据、桌面、菜单、虚拟键盘；

所述摄像头的定位精度为0.1个像素，速度为每秒30帧。

2.根据权利要求1所述的交互式投影系统，其特征在于，所述交互式投影系统还包括一与曝光调整单元相连的图像处理单元，用于对摄像机捕捉的投影在屏幕上的图像信息进行处理。

3. 一种权利要求1所述的交互式交互式投影系统的实现方法，其特征在于，所述方法包括以下步骤：

S1、捕获投影在屏幕上的计算机显示屏的图像信息；

S2、将捕捉到的图像信息的坐标与计算机的显示屏上的坐标对应起来；

S3、从视频采集装置捕捉到的图像信息中提取出光标的位置信息；

S4、计算出光标在图像信息中的坐标位置对应在计算机的显示屏上的坐标位置；

S5、识别光标的闪断信息并产生相应的鼠标动作；

所述视频采集装置为摄像头，摄像头采用CCD或者CMOS；

其发出的两个光标的运动路径包括：

两个光标的距离不断缩小，其对应的操作驱动信号为图像缩小；

两个光标的距离不断扩大，其对应的操作驱动信号为图像放大；

两个光标的连线发生旋转，其对应的操作驱动信号为图像进行相应的旋转；

所述图像信息包括预设的图像、文字数据、桌面、菜单、虚拟键盘；

所述摄像头的定位精度为0.1个像素，速度为每秒30帧。

4. 一种射击游戏设备，其特征在于，包括权利要求1所述的交互式系统，其中，

所述激光笔的形状为枪形，其控制光标闪断的按键设置为枪的扳机。