CN101882012A - 基于投影跟踪的笔式交互系统 - Google Patents

Abstract

本发明涉及一种基于投影的笔式交互系统，包括红外投影扫描系统，包括了红外投影扫描系统、投影仪、投影屏、交互笔、无线通信接收模块，红外投影扫描模块将跟踪目标用的红外编码图像投射到投影屏上，投影仪将用户指定的显示图像也投射到投影屏上，交互笔在投影屏上运动，通过笔内的传感器接收红外光信号，经数据处理后由无线发送部发送至无线通信接收模块，该接收模块与用户端设备相连，完成交互。本发明的交互系统能够满足大范围交互的需要，实现对交互笔的准确跟踪定位，并在实现对交互笔的准确跟踪定位及身份识别功能的基础上，通过对笔尖的设计，实现逼真的毛笔书写交互效果。

Description

基于投影跟踪的笔式交互系统

技术领域

本发明属于人机交互领域，具体的，涉及一种基于投影跟踪的笔式交互系统。

背景技术

随着计算机和多媒体技术的发展，具有人机交互功能的大屏幕显示系统已广泛应用于各领域，成为多媒体展示、大型会议及现代化教学中所不可或缺的设备，而对交互对象的位置跟踪是人机交互系统中的关键技术之一，根据显示原理及交互原理，人机交互显示系统可以分为很多不同的种类。目前，触摸屏是日常生活中常见且广为使用的一种人机交互显示系统，传统的触摸屏按交互原理可分为电阻式触摸屏、电容式触摸屏、红外对射式触摸屏和表面声波触摸屏。其中，电阻式触摸屏响应速度快、分辨率高，但其表面极其怕损伤而使稳定性比较差，且很难支持多点触摸；电容式触摸屏虽然比电阻式触摸屏反应灵敏，但反光严重，存在明显的色彩失真和漂移的问题；红外对射式触摸屏的原理简单，但交互精度很低且不支持多点触控；表面声波触摸屏在性能上都优于上述三种触摸屏，但其抗干扰能力差，对使用环境要求较高，给实际应用带来了极大的不便。

迫于上述传统触摸屏存在的种种问题，人机交互系统的跟踪技术向基于摄像机投影的方向发展。基于摄像机的交互方式比较容易实现多点交互，当需要在较大尺寸的屏幕上实现时，成本较低，但基于摄像机的交互方式需要复杂的软件处理过程，容易造成反应速度慢的弊端，且难以实现对用户身份的识别，而在多点交互系统中，特别是应用在大尺寸的显示屏幕时，对用户的身份识别具有极其重要的意义。

发明内容

为了解决现有投影式人机交互系统存在的上述问题，本发明提出一种基于红外投影扫描的笔式交互系统，该系统突破了以往交互系统中交互笔的被动跟踪模式，实现对交互笔的准确跟踪定位，并在实现对交互笔的准确跟踪定位及身份识别功能的基础上，通过对笔尖的设计，实现逼真的毛笔书写交互效果。

根据本发明的一种基于红外投影扫描的笔式交互系统，包括：投影单元、投影屏幕、无线通信接收模块、信息处理及控制单元和至少一支交互笔，所述投影单元将用户要显示的图像和经过编码的红外光图案投射到所述投影屏幕上，交互笔前端接触或紧贴投影屏幕，内置在交互笔前端的红外接收器接收所述红外光图案经屏幕散射的红外光，所述红外接收器接收到的信号经交互笔内的信号处理模块处理后，通过交互笔尾端的无线发射部发送给无线通信接收模块，无线通信接收模块与信息处理及控制单元相连，所述信息处理及控制单元对无线通信接收模块传送来的信号进行处理，获得交互笔在屏幕上的位置信息，实现交互。

根据本发明所述的交互笔，不仅可以代替鼠标进行所有点击操作，还可以进行书写绘画，尤其可以通过笔中前部安装三个压力传感器，实现逼真的毛笔书写效果，所述压力传感器可以实时感测笔尖的运动方向和用户用力大小，压力传感器也与信号处理模块相连，对压力传感器得到的数据进行传输和处理，从而实现逼真的毛笔笔触书写效果。

系统中的交互笔数量可以为多个，每个交互笔中的红外接收器都是独立可区分的，经无线传输的数据互不干扰，这样可以实现对多个同时使用的交互笔进行区分识别，从而实现了对用户的身份识别功能。用户的身份识别功能使多个用户可以在同一交互区不同交互操作，表现出了笔式交互方与传统交互方式(如鼠标、键盘)相比所具有的优越性，能够满足在大屏幕显示应用中对多用户支持的需求。

当系统应用在不同场合时，投影面积将有所不同，而本发明中的红外投影扫描模块具有可扩展性，每个编码光栅和光源均为模块化结构，根据投影面积的需要进行添加或减少投影编码光栅的个数，从而改变系统的跟踪精度。本系统中由于使用了背投的投影方式，可以避免现有多种电子白板正投影时，由于使用者造成的遮挡带来的跟踪误差，也可以避免投影内容受到使用者的遮挡而不便于观看。

相比于现有的工作于LCD显示器上的手写笔，本发明提出的笔式交互系统特别适合于大显示范围下的交互，交互笔可以在大尺寸的投影屏幕上工作，避免了现有技术中LCD显示器件本身尺寸受工艺因素影响而导致的笔式交互范围受限，并且根据本发明系统的交互笔，不仅可以实现与鼠标精度一致的指示效果，并且使用户可以亲近演示屏幕，直接在屏幕上实现便捷流畅的笔式书写，具有更加便利有效且字体形态美观的交互效果。

附图说明

图1为基于投影跟踪的笔式交互系统的结构框图

图2为基于投影跟踪的笔式交互系统的示意图

图3为平行式编码的红外投影扫描模块的主要部件示意图

图4为转盘式编码的红外投影扫描模块的主要部件示意图

图5为根据图4的转盘式编码的红外投影扫描模块结构框图

图6为编码光栅转盘的一个示例图

图7为使用图3红外投影扫描模块的系统跟踪原理示意图

图中：1为红外编码光栅投影模块

2为投影屏

3为交互笔

4为无线通信接收模块

5为信息处理及控制计算机

6为投影仪

7为柱透镜组

8为红外光源

9为投影光栅

10为投影镜头

11为编码光栅转盘

12为光电开关

13为电机

14为缺口

具体实施例

如图1所示为本发明的基于投影跟踪的笔式交互系统，包括，投影单元、投影屏幕、无线通信接收模块、信息处理及控制单元和交互笔，其中投影单元中的红外投影扫描模块1以高于人眼识别频率的一定频率快速将一组经过编码的图案依次投射在投影屏2上，典型的红外投影扫描模块类似于高速红外投影仪，包括光源，光调制器和投影物镜，所述光源为红外LED或LD，光调制器件可以为LCD或DMD等投影设备中常见的像源型光调制器，但考虑目前主流LCD的刷新频率以及成本，本实施方式中以经过编码的一系列光栅板为光调制器件说明，通过控制光源的开关，或者控制光栅板的运动速度来控制红外投影扫描模块投影图像的频率，经过编码光栅板调制的光由投影物镜投影到屏幕上。由于红外投影扫描模块的光源为红外光，因此这部分图像也为红外光图像，在正常使用条件下，用户用肉眼无法观察到，从而在视觉上避免对正常投影显示的信息造成干扰；在上述红外光图像被投射在屏幕上的同时，投影单元中的投影仪6将所要显示的信息(图像)也投影在上述投影屏2上，这部分图像一般是可见光图像，如ppt文件、演示用视频等等，用户使用交互笔在投影屏上对上述ppt等文件作出指示，系统中的交互笔3具能够实现鼠标和手写笔的功能，一支交互笔3包括红外接收器、信号处理模块及无线通信发射部，依次位于该交互笔的前端到尾端，交互笔可以采用电池供电或其他满足便携要求的储电方式供电，与其余设备不发生有线连接，交互笔的红外接收器接收由投影屏散射的红外光信号，收集到的信号送至信号处理模块处理，再由无线通信发射部发送数据到无线通信接收模块4，无线通信接收模块4与系统中用于信息处理和控制的计算机5相连，完成数据通信，计算机同时也与投影单元相连接。经过计算机中的相应处理软件，将交互笔的指示位置和/或动作等反应在投影屏上，使手持交互笔的用户完成交互。

系统中红外投影扫描模块的数量可以根据需要确定，一个红外投影扫描模块可以实现对交互笔的一维追踪；当作为二维跟踪时，由二个红外投影扫描模块组成，如使用三个，则可实现三维位置跟踪。系统中的交互笔可以为多支，各笔独立工作，每个分别接受相应位置处的红外光信号，并将处理后的数据信息经各自无线通信发射部发送到计算机，供多用户在无冲突的条件下同时使用。

根据本发明所述的系统，其跟踪精度主要取决于红外投影扫描模块的分辨率，每组红外投影扫描模块中的编码光栅个数越多，投影图像的分辨率越高，以格雷编码的一系列编码光栅板为例，当光栅板中包含m个光栅时，每完成一扫描周期，可将屏幕分为2^m份，则系统最大跟踪精度为d/2^m，d为屏幕在跟踪维度方向上的长度。通过选择编码方式、调整编码光栅的个数可以使系统的跟踪精度发生变化，从而满足不同的交互需要。

图2所示为一种基于本发明的交互系统的简单空间构成方式，该系统实现二维的位置跟踪，投影模式为背投，两个红外投影扫描模块1和一投影仪6组成的投影单元置于投影屏2的一侧，投影单元连接着计算机，投影仪将用户的操作界面、图片视频等信息投射在投影屏上的同时，红外投影扫描模块也把编码图案从两方向(二维跟踪时一般为坐标系下的xy两方向)投影到投影屏2，交互笔3在投影屏的另一侧，按照用户的需要在投影屏上指示，交互笔的前端与投影屏呈接触或紧贴状态，交互笔前端安装的红外接收器实时采集到交互笔所处位置的红外光信号，交互笔内置的信号处理模块将采集到的红外光亮度信号转化为数字信号并进行必要的数据处理，再通过笔尾端的无线发射部将信号发送出去，经后续传输和处理，实时计算出交互笔在投影屏上的二维位置信息，用户通过操控交互笔进行指示、书写等实时交互。

图3、图4所示为典型的红外投影扫描模块的两种结构，但本系统中的红外投影扫描模块并不局限于此两种方式。如图3所示，为平行式，即各编码光栅图案9呈矩形板型，并排放置在成排设置的投影光源8前，各光栅板与其正对的光源相对应，投影镜头为柱面透镜7，成排设置的光源前还可设置聚光镜，使光源的光更加均匀，使各光源以一定的频率顺次点亮，将一系列光栅图案依次投影到投影屏的位置上，所有光栅图案投影一次，完成一个红外投影的扫描周期，利用此方式设置的编码光栅便于扩展，扩展时通过续排编码光栅图案扩展编码，增加编码量，从而提高识别精度，但这种增加编码光栅图案的扩展方式能承受的扩展量有限，由于编码光栅采用一字排列，当扩展的编码光栅图案增多时，依次投影出的各编码图案落在投影屏幕上的位置在水平方向上存在偏差，随着编码光栅图案数量的增多，这种偏差将增大，影响跟踪的精度。而如图4所示的转盘式，是将各编码光栅图案制成圆盘形状11，通过电机13带动旋转，并配合转盘圆周上的光电开关12共同控制投影图案的切换。利用此方式可以避免编码图案一字排列所带来投影图像偏差，如果需要扩展，则只需更换一个编码光栅盘即可改变系统投影编码光栅的个数。

图5为根据如图4的转盘式编码光栅的红外投影扫描模块结构框图，这种红外扫描模块具有电机驱动及控制电路，它实现对电机13的驱动并控制电机的转速，从而实现对投影扫描频率的控制，电机13带动编码光栅转盘11转动，调制由红外光源发出的光，经调制的光通过投影镜头10透射到屏幕上。转盘圆周上附有光电开关12，转盘外边缘位于光电开关12的发射端与接收端之间，转盘11如图6所示，在转盘的外边缘两个编码图案交界处开有小缺口14，当转盘从一个图案将要转到下一个图案时，上述缺口将会使光电开关接收端的信号发生改变，相当于图案转换的开关；光电开关的信号传送给控制电路，控制电路对光源进行亮灭控制，从而避免将不完整的图案投影在屏幕上。

根据如图3所示的红外投影扫描模块的一维跟踪交互系统，其工作时，计算机控制红外LED光源依次点亮，明暗相间的条纹图案被依次投影在屏幕上，条纹图案是格雷编码方式进行编码的光栅图案，如图7所示，第一幅光栅编码图像将屏幕一分为二，如果交互笔位于光亮区时，则笔上的红外接收器接收到红外光强信号，并转化为数字信号1，当位于暗区时，接收器的信号为0，当位于明暗分界线上时，则为不确定，设定此时红外接收器的信号为0，当下一个光栅编码图像投射到屏幕上时，此点在所述下一个光栅编码图像投射时接受的信号不会再位于边界上，即不会再为不确定；第二幅光栅编码图像将屏幕分成非均等的3份，目标依旧会有一个惟一编码。依此类推，光栅以一定频率依次变换，交互笔所处的位置对应一个惟一二进制字符串，屏幕中不同点的编码均不同且惟一，通过计算机解码识别，即得到交互笔的位置信息，继而反馈在投影屏幕上显示。

根据如图4-6所示的转盘式红外投影扫描模块的跟踪交互系统，当系统工作时，电机带动编码光栅转盘，调制由红外光源发出的光，编码光栅转盘上的各区域具有不同的光栅图案，依次从投影镜头前通过，当使用如图6所示的格雷编码设置转盘时，与图7所示原理类似，位于转盘第三象限位置的第一幅光栅编码图像将屏幕一分为二，如果交互笔位于光亮区时，则笔上的红外接收器接收到红外光强信号，并转化为数字信号1，当位于暗区时，接收器的信号为0，当位于明暗分界线上时，则为不确定，转盘顺时针旋转，第二幅光栅编码图像将屏幕分成非均等的3份，目标依旧会有一个惟一编码，依此类推，编码盘旋转使交互笔接收到的光信号生成一串二进制字符串，经交互笔上的蓝牙发射模块发送给计算机，该字符串与交互笔所处的位置对应，从而实现对交互笔位置的识别。

本申请的交互笔除实现简单的交互性的书写，还可以获得逼真的毛笔书写效果。在交互笔的前部安装三个压力传感器，用以感测用户书写时的力度和下笔方向，优选的，三个压力传感器从笔截面上看是呈三角形排列，各压力传感器实时感测笔尖的运动方向和用户用力大小，这些信息经无线数据发送，可以实现逼真的毛笔笔触书写效果。

可选的，本发明中的无线数据传输方式还可以为WIFI，所用编码光栅的编码方式为根据投射图案的时间顺序进行编码，即将一系列的图案连续的投射到被测物体表面。固定的像素值编码由一系列的投射图案亮暗值所代表，这种方法可以获得较高的测量精度，除上述实施方式中提到的格雷编码外，还可以为二值编码、N值编码、Hybird方法等。

虽然已经详细示出了本发明的实施，但是应当明白，本领域的技术人员可以想到对这些实施例的修改和调整，而不脱离如所附权利要求所提出的本发明的范围。

Claims (8)

1.一种基于红外投影扫描的笔式交互系统，包括：投影单元、投影屏幕、无线通信接收模块、信息处理及控制单元、至少一支交互笔，所述投影单元将用户要显示的图像和经过编码的红外光图案投射到所述投影屏幕上，交互笔前端接触或紧贴投影屏幕，内置在交互笔前端的红外接收器接收所述红外光图案经屏幕散射的红外光，所述红外接收器接收到的信号经交互笔内的信号处理模块处理后，通过交互笔尾端的无线发射部发送给无线通信接收模块，无线通信接收模块与信息处理及控制单元相连，所述信息处理及控制单元对无线通信接收模块传送来的信号进行处理，获得交互笔在屏幕上的位置信息，实现交互。

2.如权利要求1的一种基于红外投影扫描的笔式交互系统，所述投影单元包括投影仪和红外扫描投影模块，其中投影仪用于投影用户要显示的图像，红外扫描投影模块将一系列经过编码的光栅图像投射到屏幕上。

3.如权利要求2的一种基于红外投影扫描的笔式交互系统，所述红外扫描投影模块包括：红外光源、编码光栅和投影镜头，红外光源发出的光经编码光栅调制后由投影镜头投射到所述投影屏幕上。

4.如权利要求3的一种基于红外投影扫描的笔式交互系统，所述编码光栅的编码方式为根据投射图案的时间顺序进行编码。

5.如权利要求3的一种基于红外投影扫描的笔式交互系统，所述的红外扫描投影模块还包括电机以及电机驱动控制电路，所述的编码光栅为转盘式，转盘外圆周具有缺口，转盘圆周上具有一光电开关，所述电机驱动控制电路实现对电机的驱动并控制电机的转速，从而实现对投影扫描频率的控制，所述的光电开关用于控制光源，避免不完整光栅图案投射到屏幕上，电机带动编码光栅，调制由红外光源发出的光，经调制的光通过投影镜头透射到屏幕上。

6.如权利要求4的一种基于红外投影扫描的笔式交互系统，所述编码为格雷编码，编码光栅为平行式。

7.如权利要求1的一种基于红外投影扫描的笔式交互系统，所述交互笔还包括内置在笔前端的三个触力传感器。

8.如权利要求7的一种基于红外投影扫描的笔式交互系统，所述三个触力传感器在笔截面上呈三角形排列。

Images