CN103019466B - 基于红外探测的投影互动系统 - Google Patents

Abstract

基于红外探测的投影互动系统，涉及投影技术的人机交互电子手写系统。设有电子笔、红外摄像头、投影仪、投影呈像面、计算机；所述投影仪、红外摄像头分别与计算机相连，所述电子笔的两端分别设有第1压力传感器和第2压力传感器，第1压力传感器和第2压力传感器的压力信号输出端接单片机的输入端口，单片机的输出端接红外光LED组，红外光LED组发出红外光并照射在电子笔所画的投影呈像面上并形成矩形投影区；计算机上安装有用于采集和处理红外摄像头拍摄的实时图像并根据坐标点进行画图的图像处理软件和画图软件。系统结构较简单，成本低廉。可以实现较精确的定位，有质感的手写体验，以及擦除等功能，可以很好地实现互动。

Description

基于红外探测的投影互动系统

技术领域

本发明涉及投影技术的人机交互电子手写系统，尤其是涉及一种在计算机投影时使用的基于红外探测的投影互动系统。

背景技术

在教室或者会议室等场合，计算机和投影仪被大量使用。人们用计算机通过投影仪的投影，对文字图片视频等文件进行演讲、展示和交流，已成为目前主流的信息传播方式。但是人们在演示使用这些设备时，却不能同时对其进行标记、书写和擦除等。例如学校的课堂上，教师在讲授ppt的内容，要重点说明或者补充解释时，因为无法书写，又需要转回传统的黑板上书写讲解。而传统的手写讲授，更容易被听众所接受。

若在现有的投影系统上，还能够实现显示手写的功能，就能够大大增强演示的效果，而且可以替代现有的粉笔-黑板或水笔-白板这种传统方式。但要实现手写投影功能，如何进行笔的定位、跟踪，如何投影，以及显示的效果，都需要综合的考虑。

在现有的投影仪专利中，有少数可以实现上述手写等功能，如公开号为CN1605927A的专利及其同族，通过可发红外光及超声波的笔，利用屏幕周围多个超声波接受器进行坐标定位。这种定位方式不但计算难度大而且成本昂贵。又如申请号为201010199301.3的中国专利，通过红外投影扫描和无线信号发送来进行坐标定位，结构复杂，可行性差。还有不少专利是通过红外摄像头拍摄电子笔的投影位置来进行坐标定位的，但参考点的设计没有被提及或不易实现。而且这些专利大都只提出通过投影设备进行手写的方法，却都没有涉及到将手写内容擦除的方案。

发明内容

本发明的目的在于提供一种在计算机投影时使用的基于红外探测的投影互动系统。

本发明设有电子笔、红外摄像头、投影仪、投影呈像面、计算机；所述投影仪、红外摄像头分别与计算机相连，所述电子笔的两端分别设有第1压力传感器和第2压力传感器，第1压力传感器和第2压力传感器的压力信号输出端接单片机的输入端口，单片机的输出端接红外光LED组，红外光LED组发出红外光并照射在电子笔所画的投影呈像面上并形成矩形投影区；计算机上安装有用于采集和处理红外摄像头拍摄的实时图像并根据坐标点进行画图的图像处理软件和画图软件。

所述电子笔设有笔杆、电源、电源开关、模式切换开关和擦除按钮；所述电源设在笔杆内，电源开关、模式切换开关和擦除按钮设在笔杆上。所述红外光LED组可设有前红外光LED、中红外光LED和后红外光LED，前红外光LED设在电子笔的前端，中红外光LED设在电子笔的中部，后红外光LED设在电子笔的后端。

本发明主要是靠红外摄像头识别电子笔的不同模式及相对坐标位置来实现互动和定位的功能。电子笔的两端有压力传感器，两端和中间都安装有红外LED，笔身上还有开关按钮、模式切换按钮和擦除按钮。电子笔有三种工作模式：参考点模式、书写模式和擦除模式。

首先，在正常投影时，投影呈像面（投影布或墙等）上会有一个矩形的投影区域，即投影的有效空间。先通过模式切换按钮将电子笔设为参考点模式，这时电子笔的一端（假设此端为前端）处于工作模式，电子笔内部的电池对其供电。用电子笔前端在投影形成的矩形区的一个顶点位置画一个小点。在画点时，由于前端的压力传感器感应到压力，启动前端多个排列紧凑的红外LED发出很强的红外光，。红外摄像头一直在实时拍摄并将图像传给计算机的后台软件进行处理。当拍摄到光斑时，图像处理软件通过阈值分割和灰度计算得到该光斑的亮度信息，光斑亮度超过某阈值，认为此时是参考点模式，图像处理软件进一步通过滤波、腐蚀、求质心等步骤找出投影区该顶点准确的位置点，并将该点在图像上的坐标位置记录并设为是参考点。

同样的，用电子笔前端在投影区剩下的三个顶点都画上记号，软件将记录这些位置，四个点就构成了完整的矩形。最后就得到矩形投影区域在红外摄像头的图像上的准确位置。

将电子笔换一头（设此端为后端），通过按钮切换电子笔使其工作在书写模式。后端顶部同样有压力传感器，和一个红外光LED。当使用者开始书写时，笔尖接触到投影的呈像面，压力传感器感应到压力，启动红外LED发出红外光。LED就会照射在所接触的位置，红外摄像头就会拍摄到光斑。由于使用者在书写时会用不同的力，笔尖顶端的压力传感器能感应到压力的大小并转变成电压的大小，通过内置单片机进行模数转换后在进行数模输出，以对应的电压驱动红外LED发光。即手写时用力越大，LED发光就越强，红外摄像头拍摄到的图像上的光斑灰度值就越高。因为是单个LED，光斑的亮度和大小都在一个小范围内，图像处理软件识别到光斑平均灰度小于某阈值后认为其是工作在书写模式下。经过图像处理后得到光斑的位置，并与刚才的四个参考点位置对比，最后得出该光斑中心（即笔尖）在屏幕上的坐标位置。

把该光斑的坐标位置和平均灰度信息传给计算机的画图软件，计算机将在屏幕的对应位置画出相应的点并投影到幕布或墙上，平均灰度越大，则画的点面积也大。当电子笔连续书写时，对应位置上连续的点就构成了相应的线。就好像使用者直接在投影布或墙上写一样，越用力写则线条越粗。这就与平时用笔手写时的效果相似，有很好的用户体验。

要将书写的笔迹或线条擦除时，则将笔横着对准要擦除的位置，按住擦除按钮，此时笔身部分电源接通，除两端外笔身上所有的红外LED均发光。图像处理软件将识别到一排的光线。总的光线区域面积大于某一阈值面积，软件认为此时为擦除模式，将该光线区域与预设的参考点位置进行对比，得到光线区域在屏幕上的坐标位置和大小。将该信息传给计算机上的画图软件，画图软件将清除屏幕上对应区域内所画的痕迹，恢复为原有的背景。这样在投影幕或墙上就可以看到笔所在区域的线条被擦除。使用者就好像使用黑板擦进行痕迹的擦除，使用非常方便。

系统结构较简单，成本低廉。可以实现较精确的定位，有质感的手写体验，以及擦除等功能，可以很好地实现互动。

附图说明

图1是本发明实施例的结构组成示意图。

图2是本发明实施例的电子笔的结构示意图。

图3是本发明实施例的参考点模式工作示意图。

具体实施方式

下面结合附图和实施例对本发明作进一步说明。

参见图1和2，本发明实施例设有电子笔3、红外摄像头5、投影仪4、投影呈像面1、计算机6；所述投影仪4、红外摄像头5分别与计算机6相连，所述电子笔3的两端分别设有第1压力传感器8和第2压力传感器14，第1压力传感器8和第2压力传感器14的压力信号输出端接单片机10的输入端口，单片机10的输出端接红外光LED组，所述红外光LED组可设有前红外光LED15、中红外光LED16和后红外光LED7，前红外光LED15设在电子笔3的前端A，中红外光LED16设在电子笔3的中部，后红外光LED7设在电子笔3的后端B。红外光LED组发出红外光并照射在电子笔3所画的投影呈像面1上并形成矩形投影区2；计算机6上安装有用于采集和处理红外摄像头拍摄的实时图像并根据坐标点进行画图的图像处理软件和画图软件。

所述电子笔3设有笔杆P、电源9、电源开关11、模式切换开关12和擦除按钮13；所述电源9设在笔杆P内，电源开关11、模式切换开关12和擦除按钮13设在笔杆P上。

当打开计算机6、投影仪4和红外摄像头5时，投影仪4将计算机屏幕上显示的内容投影到呈像面1上，呈现出矩形投影区2。红外摄像头5将拍摄到的实时图像传给计算机6上的软件进行图像处理。调整红外摄像头5，使得矩形投影区2的整个范围都在红外摄像头5的拍摄范围内。

首先进行参考点定位，即确定矩形投影区2在红外摄像头5所拍图像上的具体坐标位置。

打开电子笔3上的电源开关11，将模式切换开关12设置为参考点模式。用电子笔A端对准矩形投影区2的一个顶点画一下。由于A端的第2压力传感器14接触到呈像面1而感应到压力，单片机10接收到压力传感器的电信号就驱动红外LED组发出红外光，红外光就照射在电子笔3所画的顶点区。红外摄像头5拍摄并传给计算机的图像上就有一个高亮度的光斑。计算机上的图像处理软件通过滤波和阈值分割得到该光斑的面积和平均亮度。由于A端有多个LED，而B端只有一个LED，因此通过判断光斑面积和平均亮度的大小就可以确定当前工作在参考点模式。软件进一步通过腐蚀，滤波和求质心等算法得到光斑中心点的位置，即矩形投影区顶点在图像上的准确位置。

与上述过程相同，就可以得到矩形投影区剩下3个顶点在图像上的准确位置，进而得到整个矩形投影区域在图像上的坐标位置。如图3，为红外摄像头拍摄到的不同图像，得到4个顶点在图像上的像素坐标位置分别为a(x1,y1),b(x2,y2),c(x3,y3),d(x4,y4)。进而就可以获得矩形投影区所在位置。

设置完4个顶点坐标后，程序经过进一步校正，确定出以这些点的坐标为参考系。使用者就可以进行互动功能了。

使用者先将模式切换开关切换至书写模式，用电子笔的B端进行书写。书写时由于顶端的第1压力传感器8接触到呈像面1产生压电信号，电信号的强弱随着压力的变化而变化，单片机10采集到压电信号，进行模数转换，然后根据数字量的大小来调控B端红外LED7的电流，使其发光亮度随压力的变化而变化。假设使用者在矩形投影区内书写时，笔尖正处于某一点M，红外摄像头就拍摄到M点处的一个光斑。经过图像处理软件计算出该光斑的面积和平均灰度，由于此时只有单个LED发光，光斑面积和平均灰度都会小于某一值，软件就判断出此时为工作在书写模式下。软件进一步计算出光斑中心M点在图像上的像素坐标位置M(x0,y0)。由于之前参考点a,b,c,d的坐标是对应于计算机屏幕的4个顶点，将M点与参考点a,b,c,d的坐标进行比较和计算，就得到M点对应于屏幕的相对坐标。将M点的相对坐标和光斑的平均灰度值传给画图软件。画图软件将在屏幕对应的坐标点位置画点，点的大小随光斑平均灰度值的变化而变化。

当电子笔连续书写时，光斑也不断地移动，红外摄像头拍摄到的连续图像上不同位置的点的轨迹。画图软件绘出连续的点也就构成了平滑的线，再通过投影仪投影到呈像面上，就可以看到笔画过的位置出现了相同的线条。电子笔离开呈像面时，压力传感器感应不到压力，红外LED灯就不亮，就不在有线条出现。就好像使用者直接用笔在呈像面上写一样，而且越用力写则线条越粗。这就与平时用笔手写时的用户体验相似。

若使用者想要擦除刚才写下的痕迹，则按住擦除按钮13，此时笔身上的红外LED灯16将被上电接通，就有一排的区域发出红外光。用笔身对准要擦除的位置，红外摄像头拍摄到的图像该位置处就有一片高亮的区域。图像处理软件通过阈值分割区域联通等处理后，得到区域在屏幕上对应的坐标和面积。由于该光斑的面积大于一定值，软件认为是工作在擦除模式下，将这些信息传给画图软件。画图软件就擦除该屏幕区域内画过的痕迹，恢复为原有的背景。这样，只要按住擦除按钮，并对准特定区域挥动电子笔，就可以擦除该区域内书写的痕迹，就好像使用黑板檫一样，而且不会留下任何痕迹。松开按钮，红外LED灯16将断电，又可以继续使用手写功能。

本发明结构简单，完全依靠电子笔和软件实现了投影的定位，书写和擦除功能。对现有的投影仪直接进行改造就可以实现该互动功能，价格低廉，具有实用性。

Claims (3)

1.基于红外探测的投影互动系统，其特征在于设有电子笔、红外摄像头、投影仪、投影呈像面、计算机；所述投影仪、红外摄像头分别与计算机相连，所述电子笔的两端分别设有第1压力传感器和第2压力传感器，第1压力传感器和第2压力传感器的压力信号输出端接单片机的输入端口，单片机的输出端接红外光LED组，设置在电子笔前端(A)的第2压力传感器控制前端(A)的前红外光LED15发出红外光，用以形成矩形投影区；设置在电子笔后端(B)的第1压力传感器控制后端(B)的后红外光LED7发出红外光，用以形成书写模式；计算机上安装有用于采集和处理红外摄像头拍摄的实时图像并根据坐标点进行画图的图像处理软件和画图软件；

电子笔前端(A)具有多个排列紧凑的前红外光LED，后端(B)具有一个后红外光LED；投影仪将计算机屏幕上显示的内容投影到投影呈像面上呈现出矩形投影区；设置在电子笔前端(A)的第2压力传感器控制前端(A)的多个排列紧凑的前红外光LED发出红外光，红外光照射在矩形投影区的顶点，红外摄像头5拍摄并传给计算机的图像上有一个高亮度的光斑，计算机上的图像处理软件通过滤波和阈值分割得到该光斑的面积和平均亮度，由于前端(A)有多个排列紧凑的前红外光LED，后端(B)只有一个后红外光LED，通过判断光斑面积和平均亮度的大小就可以确定当前工作在参考点模式，同样地，可以得到矩形投影区剩下3个顶点在图像上的准确位置，进而得到整个矩形投影区域在红外摄像头所拍图像上的具体位置，经程序进一步校正后确定出以这些点的坐标为参考系，从而让投影者进行互动功能；使用者在矩形投影区内书写时，设置在电子笔后端(B)的第1压力传感器控制后端(B)的一个后红外光LED发出红外光，摄像头就拍摄到笔尖所在点处的一个光斑，图像处理软件计算出该光斑的面积和平均灰度，由于此时只有一个单个LED发光，光斑面积和平均灰度都会小于某一值，软件就判断出此时为工作在书写模式下，软件进一步计算出光斑中心在图像上的像素坐标位置。

2.如权利要求1所述的基于红外探测的投影互动系统，其特征在于所述电子笔设有笔杆、电源、电源开关、模式切换开关和擦除按钮；所述电源设在笔杆内，电源开关、模式切换开关和擦除按钮设在笔杆上。

3.如权利要求1所述的基于红外探测的投影互动系统，其特征在于所述红外光LED组设有前红外光LED、中红外光LED和后红外光LED，前红外光LED设在电子笔前端(A)，中红外光LED设在电子笔的中部，后红外光LED设在电子笔后端(B)。