CN102880360B - 红外式多点交互电子白板系统及白板投影标定方法 - Google Patents

Abstract

本发明一种红外式多点交互电子白板系统及白板投影标定方法，属于电子白板领域，该系统包括计算机、投影仪、投影幕、红外摄像头和红外笔，还包括激光定位装置；所述的计算机内包括后台无线数据控制器和前台多点交互器，所述的后台无线数据控制器包括标定模块、蓝牙无线通信模块和无线数据处理模块；所述的前台多点交互器包括手势识别模块、画图功能模块、图片展示功能模块、视频展示功能模块、PPT文件播放操作模块、PDF文件播放操作模块、手写输入识别模块和小窗口展示模块；本发明除了基本功能外，还增加了对PPT、PDF文件的操控功能，即对PPT、PDF文件实行打开、全屏播放、翻页、自由书写等功能。

Description

红外式多点交互电子白板系统及白板投影标定方法

技术领域

本发明属于电子白板领域，特别涉及一种红外式多点交互电子白板系统及白板投影标定方法。

背景技术

随着社会经济和科技的飞速发展，人类社会早已进入到了信息时代，尤其是信息技术与大众传播媒介的广泛应用，正在不断地改变着人们的传统观念和生活方式，给人类社会的方方面面带来革命性的变革和深远的影响。教育也逐渐地成为了社会发展的重中之重，越来越引起了人们重视，只有一个好的教育展示平台才能使社会快速的发展。传统的教育教学存在的诸如教育空间的有限性、教育时限的阶段性、教育内容的滞后性、教育对象的局限性等弊端日益显露出来。而多媒体作为卓有成效的现代化教育手段，使教育通过电子化空间走进每一个人身边，引发教育理念的急剧变革。随着数字投影、数字展示台、数字讲台的出现，由计算机辅助教学(CAI)发展而来的数字化学习，使课堂教学开始迈入一个新的时期——“数字时代”。

近年来，多媒体设备在教学、会议上的普及程度得到极大提高。以计算机和投影仪等组成的多媒体设备克服了传统课堂教学、演讲表现形式单一的不足，虽然多媒体教学技术比传统的黑板教学更加丰富和生动，但还是改变不了讲解者主要扮演放映员，听众则成为观众和屏幕抄写员的情况。由于讲演者需要不断的操作计算机，无法在课堂教学中充分展现的个人魅力，无暇充分顾及听众的反应，两者缺乏情感交流，很难做到及时互动，这样导致课堂效率低下。因此，多媒体课堂教学也遭到了不少批评和质疑，难怪有的教师做好了课件不用而宁愿重新使用黑板和粉笔来上课，还有的教师只在作课程介绍和总结时使用多媒体，而在讲解和分析时仍然使用传统的教学手段。

电子白板的出现解决了这种问题，电子白板是一种既包含黑板自由书写功能又包含多媒体投影播放功能的系统，且该系统能克服多媒体投影需要反复操作鼠标的缺陷，既能方便地引入数字化信息资源，又能构建演讲者和听众的参与、对话和交互的教学环境。交互式电子白板(InteractiveWhiteboard)的出现，顺应了信息化发展的趋势，逐渐成为教育教学不可或缺的一个部分。

采用电子白板的多媒体教室将多方面的教学内容呈现在观众面前，将理论教学和直观教学有机地结合在一起，调动学生的多种感官参与学习，提升了教学的质量，提高了教学效率，扩大了教学规模。它不仅仅能应用于教学方面，还以其直观、方便、信息内容丰富的特点被广泛应用于其它的各种场合。近年来，随着计算机、网络以及制作工艺的飞速发展，电子白板的应用进入了一个高速的发展时期。

目前，国内外已有的交互式电子白板系统主要有两大类：

一类是触摸式电子白板，这类电子白板实现了触摸，书写，绘图，存储，会议应用等功能。这类电子白板需要专门的一套硬件设备，无法利用已有的投影系统，所以使用成本昂贵，且所占空间较大，同时屏幕大小固定，不能按实际的需求而改变，而且要依靠厂家进行维护和升级等，这些缺点都严重地制约了该类系统的推广和普及。

另外一类是屏幕投影式交互电子白板，这类产品实现了书写，绘图，存储等实用功能，成本相对较低。但相应的应用软件功能不完善，大多缺乏对常见办公软件（如PowerPoint,AdobeReader等）的操控功能，且由于受到屏幕高度和屏幕尺寸的限制，使得演讲者很难对悬挂较高或者大尺寸屏幕的任意位置进行操作，同时由于大多系统采用单个摄像头，经常会出现演讲者遮挡书写笔的问题，限制了演讲者的活动范围，降低了与台下受众的互动性，不能完全适应课堂教学的需求。

在现有的白板专利中，大多数专利只侧重于硬件上的组织和部署，多数属于硬件方面的创新，如白板笔的设计，运用超声波或红外线、电磁波等感应装置，这些发明并未考虑电子白板作为教学、会议应用的功能性和特殊性。然而电子白板作为一种新型教学、会议工具，若离开了为电子白板设计的特定软件，则很难体现出电子白板在教学领域的使用优势。比如，很多演讲者喜欢使用PPT文件和PDF文件作为展示文档，若不能直接在PPT文件或PDF文件上进行注释、书写、画图等操作，演讲者必须重新使用黑板书写，回归到原始的教学方式，这大大降低了电子白板的可用性和使用效率。

发明内容

针对现有技术的不足，本发明提出一种红外式多点交互电子白板系统及白板投影标定方法，以达到降低硬件成本、简化装置部署；实现PPT、PDF文件的打开、全屏播放、简单手势翻页、多只红外笔自由书写、保存修改文件等功能；达到增强演示者与观众的互动性的目的。

一种红外式多点交互电子白板系统，该系统包括计算机、投影仪、投影幕、红外摄像头和红外笔，还包括激光定位装置；

所述的激光定位装置套于红外摄像头外，通过比较激光定位装置上的四支激光头照射到投影幕上的四个激光点与投影幕四角上所设置的目标点，实现红外摄像头的定位；

所述的计算机内包括后台无线数据控制器和前台多点交互器，所述的后台无线数据控制器包括标定模块、蓝牙无线通信模块和无线数据处理模块；其中，

标定模块：用于在投影幕的四角上设定目标点，将上述四个目标点形成的靶坐标与通过蓝牙无线通信模块传输的红外笔信号点形成的坐标进行比较，实现投影幕的标定；计算红外笔信号点相对于红外摄像头、红外笔信号点相对于投影幕之间的转换关系，将红外笔信号点的实际三维空间位置转换为相对计算机屏幕的二维位置坐标，并将上述建立的相对计算机屏幕的二维位置坐标传递至无线数据处理模块；

无线数据处理模块：是用于确定实际操作中红外笔信号点相对计算机屏幕的二维位置坐标，并将数据传送至前台多点交互器的装置；

所述的前台多点交互器包括手势识别模块、画图功能模块、图片展示功能模块、视频展示功能模块、PPT文件播放操作模块、PDF文件播放操作模块、手写输入识别模块和小窗口展示模块；其中，

PPT文件播放操作模块：是用于通过手势识别模块实现对PPT文件翻页的操作以及对工具条的调用的装置；

PDF文件播放操作模块：是用于通过手势识别模块实现对PDF文件翻页的操作以及对工具条的调用的装置；

小窗口展示模块：是用于将整个屏幕的内容按比例同步映射到该小窗口中并可在小窗口中书写标示，并将书写内容实时同步映射到大屏幕中的装置。

所述的前台多点交互器采用多点交互技术，即多只红外笔可同时书写。

所述的工具条在所展示的PPT文件和PDF文件上进行操作，该操作包括画笔状态调节、画笔使用、橡皮大小调节、橡皮使用、清屏、全屏截屏、小窗口展示、新建白板、画图、图片展示和视频展示。

采用红外式多点交互电子白板系统进行白板投影标定的方法，包括以下步骤：

步骤1、通过标定模块在投影幕的四角上设定目标点，并将上述四个目标点设置为四个靶坐标；

步骤2、红外笔点击投影幕上的第一个靶坐标，红外摄像头捕获信号并通过蓝牙无线通信模块传送至计算机后台无线数据控制器；

步骤3、红外摄像头捕获的信号经后台无线数据控制器的标定模块计算得出转置矩阵，信号点根据转置矩阵进行运算，从而得到相对计算机屏幕二维位置坐标，若红外笔信号点实际坐标与靶坐标之间距离在0cm～2cm误差范围内，则系统判定标定成功，则执行步骤4；否则，返回执行步骤2；

步骤4、红外笔点击投影幕上的第二个靶坐标，红外摄像头捕获信号并通过蓝牙无线通信模块传送至计算机后台无线数据控制器；

步骤5、红外摄像头捕获的信号经后台无线数据控制器的标定模块计算得出转置矩阵，信号点根据转置矩阵进行运算，从而得到相对计算机屏幕二维位置坐标，若红外笔信号点实际坐标与靶坐标之间距离在0cm～2cm误差范围内，则系统判定标定成功，则执行步骤6；否则，返回执行步骤4；

步骤6、红外笔点击投影幕上的第三个靶坐标，红外摄像头捕获信号并通过蓝牙无线通信模块传送至计算机后台无线数据控制器；

步骤7、红外摄像头捕获的信号经后台无线数据控制器的标定模块计算得出转置矩阵，信号点根据转置矩阵进行运算，从而得到相对计算机屏幕二维位置坐标，若红外笔信号点实际坐标与靶坐标之间距离在0cm～2cm误差范围内，则系统判定标定成功，则执行步骤8；否则，返回执行步骤6；

步骤8、红外笔点击投影幕上的第四个靶坐标，红外摄像头捕获信号并通过蓝牙无线通信模块传送至计算机后台无线数据控制器；

步骤9、红外摄像头捕获的信号经后台无线数据控制器的标定模块计算得出转置矩阵，信号点根据转置矩阵进行运算，从而得到相对计算机屏幕二维位置坐标，若红外笔信号点实际坐标与靶坐标之间距离在0cm～2cm误差范围内，则系统判定标定成功，则执行步骤10；否则，返回执行步骤8；

步骤10、投影幕四个靶坐标标定成功，即标定模块完成建立相对计算机屏幕二维位置坐标，标定模块将上述相对计算机屏幕二维位置坐标传递至无线数据处理模块，用户即可实现红外笔与计算机鼠标的同步操作。

本发明优点：

1.本系统的应用软件功能强大，简单易用，除了基本的手写输入识别、图片展示、视频演示、截屏等功能外，还增加了对PPT、PDF文件的操控功能，能够对PPT、PDF文件实行打开、全屏播放、翻页、在文档上自由书写、将修改过的PPT、PDF文件进行保存等功能；

2.本系统设计小窗口功能，有效避免了由于电子白板屏幕悬挂过高或者屏幕过大对整个屏幕操作的限制；

3.本系统采用多点交互技术，最多能允许四只红外笔同时书写，进一步增强了演示者与观众的互动性；

4.系统增加了多个手势识别功能，演示者运用手势即可实现调用工具条、对PPT和PDF文件的翻页等操作；

5.本系统硬件成本低，与现有投影设备兼容性好，部署方便，可以在原有的教学、会议设备基础上，通过增加一只红外笔、一只具有蓝牙传输功能的红外摄像头，实现硬件子系统的搭建，降低了对硬件的依赖性，克服了第一类电子白板系统必须舍弃原有设备的弊端；

6.本系统采用多个摄像头在不同方位捕捉红外信号，并通过对捕获的信号进行计算实现两个信号点的比较和选择，得到更贴合实际的笔迹点。这不仅避免遮挡问题，还提高了笔迹书写的准确度和识别度；

7.本系统增加了激光定位装置，使该系统可以快速的部署，而且在红外摄像头位置不变的情况下，一次部署即可长期多次使用。

附图说明

图1为本发明一种实施例整体系统示意图；

图2为本发明一种实施例激光定位装置示意图；

图3为本发明一种实施例激光定位装置电路图；

图4为本发明一种实施例后台无线数据控制器架构图；

图5为本发明一种实施例摄像机标定示意图；

图6为本发明一种实施例红外点的处理流程图；

图7为本发明一种实施例白板投影标定方法流程图；

图8为本发明一种实施例PPT或PDF文件操作流程图；

图9为本发明一种实施例PPT文件播放操作模块结构图；

图10为本发明一种实施例PPT截图操作流程图；

图11为本发明一种实施例PDF文件转换操作流程图；

图12为本发明一种实施例手势识别操作流程图；

图13为本发明一种实施例画图操作流程图；

图14为本发明一种实施例橡皮擦操作流程图；

图15为本发明一种实施例图片展示流程图；

图16为本发明一种实施例视频展示流程图；

图17为本发明一种实施例手写输入实现流程图。

具体实施方式

下面结合附图对发明实施例做进一步说明。

如图1所示，一种红外式多点交互电子白板系统，该系统包括计算机1、红外摄像头2,3、投影仪4、红外笔5和投影幕6，本发明实施例中，红外笔采用开关式红外笔或压感式红外笔，红外摄像头采用两个Wii游戏机手柄。计算机连接投影仪，设定红外摄像头（Wii游戏机手柄）的摆放位置。

图2为本发明一种实施例激光定位装置示意图，所述的激光定位装置套于红外摄像头外，通过比较激光定位装置上的四支激光头照射到投影幕上的四个激光点与投影幕四角上所设置的目标点，实现红外摄像头的定位。如图3所示，激光定位装置内部包括DC1.5V电池、按键开关、电阻和四支激光头。所述的DC1.5V电池、按键开关和四支激光头和一只电阻组成回路，启动开关，电路接通，四支激光头即可发射出红色的激光，打出的四个激光点在投影屏上形成一个长方形的四个顶点，将中空（即中间部分为空心）的激光定位装置圈套在红外摄像头（Wii游戏机手柄）上，该投影屏上形成的长方形的范围即为摄像头的视觉范围，从而使红外摄像头（Wii游戏机手柄）快速的摆正位置，本发明实施例中，两个红外摄像头（Wii游戏机手柄）之间夹角为90度，红外摄像头（Wii游戏机手柄）与计算机之间通过蓝牙无线通讯模块进行连接。

如图4所示，所述的计算机1内包括后台无线数据控制器和前台多点交互器，所述的后台无线数据控制器包括标定模块、蓝牙无线通信模块和无线数据处理模块；所述的前台多点交互器包括手势识别模块、画图功能模块、图片展示功能模块、视频展示功能模块、PPT文件播放操作模块、PDF文件播放操作模块、手写输入识别模块和小窗口展示模块，并采用多点交互技术，即多只红外笔可同时书写。

如图5所示，本发明实施例中，将画面通过投影仪4投影到投影幕6上，通过对投影面上的四个靶坐标的点击识别来实现投影幕的标定；所述的靶坐标是预先定义的在投影幕平面四个角上的四个坐标，红外笔通过依次点击标定这四个靶坐标来确定一个平面，红外摄像头（Wii游戏机手柄）通过蓝牙无线通讯模块将采集的信号传递至计算机。本发明实施例中，计算机内的标定模块采用张正友标定算法确定红外摄像头（Wii游戏机手柄）和投影幕平面之间的转换关系，即建立转置矩阵，将红外笔信号点的实际三维空间位置转换为相对计算机屏幕的二维位置坐标，即得到相对于投影幕平面的红外笔信号点和计算机内鼠标之间的映射关系，通过红外摄像头（Wii游戏机手柄）采集红外笔信号点，确定实际操作中红外笔信号点相对计算机屏幕的二维位置坐标，即可实现红外笔与计算机鼠标的同步操作。

图6为本发明一种实施例红外点的处理流程图，包括以下步骤：

步骤1、启动后台无线数据控制器；

步骤2、摄像机标定；

步骤3、采用张正友标定算法计算转置矩阵；

步骤4、红外摄像头（Wii游戏机手柄）内蓝牙无线通讯模块发送IRAccel报文；

步骤5、计算机内无线数据处理模块接收蓝牙无线通讯模块发送的IRAccel报文；

步骤6、计算机内无线数据处理模块得到目标点相对投影平面位置；

步骤7、实现红外笔与计算机鼠标的同步。

本发明实施例中，标定模块用于在投影幕的四角上设定目标点，将上述四个目标点形成的靶坐标与蓝牙无线通信模块所传输的红外笔信号点形成的坐标进行比较实现投影幕的标定；计算红外笔信号点相对于红外摄像头、红外笔信号点相对于投影幕之间的转换关系，将红外笔信号点的实际三维空间位置转换为相对计算机屏幕的二维位置坐标，并将上述建立的相对计算机屏幕的二维位置坐标传递至无线数据处理模块；

所述的标定模块内定义一个布局容器和一个Label控件。标定开始时，投影幕上只有第一个靶坐标是可见的，即Label控件，当用户点击屏幕上第一个靶坐标时，红外摄像头（Wii游戏机手柄）采集红外笔信号，并将数据传送至计算机，计算机内的标定模块将接收的坐标与靶坐标进行对比，若红外信号坐标和靶坐标的误差在2cm以内，则第一个坐标标定成功，Label控件移动至第二个靶坐标位置。依次类推，四个靶坐标的标定方式相同。本发明实施例中，建立投影平面的坐标系，第一个靶坐标位置坐标为（0，1），第二个靶坐标位置坐标为（1，1），第三个靶坐标位置坐标为（0，0），第四个靶坐标位置坐标为（1，0）；采用张正友标定算法确定红外摄像头（Wii游戏机手柄）和投影屏幕的转换关系，求出转置矩阵，即可将红外摄像头（Wii游戏机手柄）采集的红外笔信号点的实际三维坐标变换为相对投影幕的二维坐标。

如图7所示，采用红外式多点交互电子白板系统的白板投影标定的方法，包括以下步骤：

步骤1、通过标定模块在投影幕的四角上设定目标点，并将上述四个目标点设置为四个靶坐标；

步骤2、红外笔点击投影幕上的第一个靶坐标，红外摄像头捕获信号并通过蓝牙无线通信模块传送至计算机后台无线数据控制器；

步骤3、红外摄像头捕获的信号经后台无线数据控制器的标定模块计算得出转置矩阵，信号点根据转置矩阵进行运算，从而得到相对计算机屏幕二维位置坐标，若红外笔信号点实际坐标与靶坐标之间距离在0cm～2cm误差范围内，则系统判定标定成功，则执行步骤4；否则，返回执行步骤2；

步骤4、红外笔点击投影幕上的第二个靶坐标，红外摄像头捕获信号并通过蓝牙无线通信模块传送至计算机后台无线数据控制器；

步骤5、红外摄像头捕获的信号经后台无线数据控制器的标定模块计算得出转置矩阵，信号点根据转置矩阵进行运算，从而得到相对计算机屏幕二维位置坐标，若红外笔信号点实际坐标与靶坐标之间距离在0cm～2cm误差范围内，则系统判定标定成功，则执行步骤6；否则，返回执行步骤4；

步骤6、红外笔点击投影幕上的第三个靶坐标，红外摄像头捕获信号并通过蓝牙无线通信模块传送至计算机后台无线数据控制器；

步骤7、红外摄像头捕获的信号经后台无线数据控制器的标定模块计算得出转置矩阵，信号点根据转置矩阵进行运算，从而得到相对计算机屏幕二维位置坐标，若红外笔信号点实际坐标与靶坐标之间距离在0cm～2cm误差范围内，则系统判定标定成功，则执行步骤8；否则，返回执行步骤6；

步骤8、红外笔点击投影幕上的第四个靶坐标，红外摄像头捕获信号并通过蓝牙无线通信模块传送至计算机后台无线数据控制器；

步骤9、红外摄像头捕获的信号经后台无线数据控制器的标定模块计算得出转置矩阵，信号点根据转置矩阵进行运算，从而得到相对计算机屏幕二维位置坐标，若红外笔信号点实际坐标与靶坐标之间距离在0cm～2cm误差范围内，则系统判定标定成功，则执行步骤10；否则，返回执行步骤8；

步骤10、投影幕四个靶坐标标定成功，即标定模块完成建立相对计算机屏幕二维位置坐标，标定模块将上述相对计算机屏幕二维位置坐标传递至无线数据处理模块，用户即可实现红外笔与计算机鼠标的同步操作。

标定模块完成建立相对计算机屏幕二维位置坐标，标定模块将上述相对计算机屏幕二维位置坐标传递至无线数据处理模块，标定完成后标定模块退出，用户实际操作时蓝牙无线通讯模块之间将采集的数据传递至无线数据处理模块。

本发明实施例中，蓝牙无线通信模块是用于计算机与无线红外摄像头的数据通信的装置；

所述的蓝牙无线通讯模块通过蓝牙通信协议来获得红外摄像头（Wii游戏机手柄）传来的红外电子笔的实际空间三维坐标。该模块采用了WIImoteLib开源托管库来实现与红外摄像头（Wii游戏机手柄）的交互，在红外摄像头（Wii游戏机手柄）内部实现对WIImote报文的接收和分析。

本发明实施例中这报文类型包括：

·Buttons–仅按钮数据

·ButtonsAccel–按钮和加速度传感器数据

·IRAccel–按钮，加速度传感器和IR数据

·ButtonsExtension–按钮和扩展数据

·ExtensionAccel-按钮，加速度传感器和扩展数据

·IRExtensionAccel-按钮，加速度传感器，IR和扩展数据

报文类型可通过调用设置报文类型函数（SetReportType）设置，可设置使用不同的报文类型，决定是否不停的发送数据，或只在控制器状态改变时得到报文。由于本系统对实时交互需求较高，本模块采用轮询得到报文数据，实现相关数据的不遗漏。

本发明实施例中，无线数据处理模块是用于确定实际操作中红外笔信号点相对计算机屏幕的二维位置坐标，并将数据传送至前台多点交互器的装置；

本发明实施例中，前台多点交互器采用开源框架PyMT和.NET框架。

如图8所示，对PPT文件或PDF文件的操作方法如下，选择PPT或PDF文件，打开PPT或PDF文件，系统发送播放命令，列出已打开的PPT或PDF文件，选择需要的目标文件，系统发送播放命令，PPT文件或PDF文件翻页，系统发送退出PPT或PDF文件播放命令，保存为PDF文件。

本发明实施例中，PPT文件播放操作模块是用于通过手势识别模块实现对PPT文件翻页的操作以及对工具条的调用的装置；PDF文件播放操作模块是用于通过手势识别模块实现对PDF文件翻页的操作以及对工具条的调用的装置；所述的工具条在所展示的PPT和PDF上进行操作，该操作包括画笔状态调节和使用、橡皮大小调节和使用、清屏、全屏截屏、小窗口展示、新建白板、画图、图片展示和视频展示。小窗口展示模块用于将整个屏幕的内容按比例同步映射到该小窗口中，并可在小窗口中书写标示。PPT文件播放操作模块与PDF文件播放操作模块操作功能相似。

如图9所示，PPT文件播放操作模块保留了常见的PPT操作功能，如基本的手写输入识别、图片展示、视频演示、截屏功能。本发明实施例中增加了对PPT、PDF文件的操控功能，能够对PPT、PDF文件实行打开、全屏播放、翻页、在文档上自由书写、将修改过的PPT、PDF文件进行保存等功能。以PPT文件播放操作模块为例，该模块将播放中的每一页PPT进行全屏截图，并保存为一张位图，因此对PPT进行翻页、书写操作时，实际上是对截图进行翻页、书写操作，如图10所示，具体步骤包括：

步骤1、全屏播放PPT文件；

步骤2、启动多点应用程序；

步骤3、判断是否对当前PPT重新截图，若是，则执行步骤4，若否，则执行步骤5；

步骤4、对当前PPT播放窗口截图并保存为位图，同时删除之前对该PPT的截图文件；

步骤5、选择所需PPT截图文件；

步骤6、系统将PPT截图作为全屏控件的背景以展示PPT，并进入前台多点交互器；

本发明实施例中，PPT文件播放操作模块具有笔迹保存功能，如图11所示，可以按需要把标注或修改过的多个PPT截图文件保存为一个PDF文件，方便以后学习、参考。

如图12所示，本发明实施例中手势识别模块具有手势识别功能，可以实现对圆形手势及竖线手势等的识别。PyMT（Python多点触摸用户界面库）提供了手势组件MTGestureWidget，这个组件实现了手势事件。本发明实施例定义了两个手势，一个是PPT翻页手势，即画一条垂直于水平方向的长度大于屏幕宽度三分之一的竖线；另一个是PPT文件播放操作模块启动手势，即画一个圆圈的图形。

本发明实施例中，PPT翻页手势若是由上到下方向画的竖线，则系统判断为向后翻页，若是由下到上方向画的竖线，则系统判断为向前翻页。当手势为PPT翻页手势时，由于改变的是整个背景图，即当前的PPT图片，系统必须判断指定目录下的PPT截图图片是否存在。若手势是向前翻页且目录下有当前PPT前一页的PPT截图，则系统实现PPT图片向前翻页；若手势是向后翻页且目录下有当前PPT后一页的PPT截图，则系统实现PPT图片向后翻页。执行翻页手势的时候若没有相应的PPT截图图片，则手势失败。实现流程包括以下步骤：

步骤1、创建MTGestureWidget对象；

步骤2、手势使用并识别；

步骤3、判断手势是否匹配，若匹配，则执行步骤4，若不匹配，则执行步骤8；

步骤4、判断是否为翻页手势，若是，则执行步骤5；若不是，则PPT文件播放操作模块退出，并执行步骤8；

步骤5、向前或者向后翻页；

步骤6、判断目录中是否存在PPT截图页面，若是，则执行步骤7；若否，则直接执行步骤8；

步骤7、翻页成功；

步骤8、结束。

本发明实施例中，画图功能模块具有画板的功能，可以选择画笔的粗细，颜色等，能任意地涂写和保存笔迹。PyMT中提供了一种使用多点组件实现的滚动条组件MTSlider，本发明实施例中，该模块中使用它来创建画刷的属性。如图13所示，系统使用Canvas类创建一批图形对象，可存放多种图形指示并绘制图形，即画布功能。系统使用了MTSlider创建一个选项条，用于实现画刷的属性调节，包括粗细、颜色、透明度等选项。drawRoundedRectangle函数采用绘制一个圆角矩形代表一个点，采用画线函数实现画线，同时把画的点的ID、坐标位置包括横轴坐标和纵轴坐标保存在一个字典里，并把点的ID保存在一个元组里面，因此，调用橡皮擦功能的时，系统判断经过的点的坐标，若在字典里面有记录，则把当前点颜色设置为透明，同时删除当前点的ID，如图14所示。

本发明实施例中图片展示功能模块具有图片展示的功能，能同时展示多张图片，由于本系统具有多点操作功能，可以使用多支红外笔实现图片的缩放、旋转等操作。视频展示功能模块具有多个视频同时展示的功能，同时由于本系统具有多点操作功能，可以使用多支红外笔实现视频的缩放、旋转等操作。

本发明实施例中PyMT提供一种Scatter组件，实现了多点触控的元素分散效果。MTScatterImage继承于Scatter类，只是组件容纳的分散元素只能是图片。在图片装载时，图片展示功能模块定义了一个文件过滤器，只有为图片格式的文件才能被打开和装载。如图15所示，图片文件装载进MTScatterImage组件，并同时把移动事件和重绘事件加入到事件处理程序堆栈中。

本发明实施例中，视频展示功能模块具有视频展示的功能。PyMT提供了一种MTVideo组件，所述MTVideo组件是一个视频播放器，其内置按钮功能。

该模块首先定义了一个文件过滤器，在视频装载时只有符合规定的视频格式的文件才能打开和装载，本发明实施例中所支持的格式有mp4、rmvb、avi等几种格式。MTScatterWidget继承于Scatter类，是一种基于Scatter组件的容器组件，可装载图片、视频等分散元素。图16为本发明一种实施例视频展示流程图，系统把多个MTVideo组件装载进MTScatterWidget容器组件内，同时把移动事件和重绘事件加入到事件处理程序堆栈中，即可实现视频多点展示功能。

本发明实施例中，手写输入识别模块具有手写识别输入的功能。用户可以用电子白板笔在本模块提供的写字板中书写文字，包括英文、中文和数字符号，本模块可快速地识别出字符并输入至文本中，如在WORD文件、TXT文件、浏览器网址栏中输入中英文字符等，手写输入与虚拟键盘输入相比，输入中英文过程更加直观、简单，加快输入的速度，方便了对字符的输入操作。

微软在.NET框架中提供了一个墨迹识别库Microsoft.Ink。通过调用这个库系统实现了手写输入识别功能。Microsoft.Ink库中封装了识别对象Ink和相关的方法，便于开发人员使用。

如图17所示，本发明实施例中，系统先创建一个画图板窗口，然后创建InkCollector对象，用户使用画笔的轨迹保存在Ink中，同时系统进行墨迹识别，并把识别的结果呈现在一个文档控件中，同时把结果复制到当前操作系统的剪贴板中，当用户使用手写输入功能时，该模块可识别用户输入的墨迹，并把结果保存在剪贴板中。通过这种方式用户可以输入字符，即把剪贴板中的结果复制到当前光标的位置。

本发明实施例中，小窗口展示模块用于将整个屏幕的内容按比例同步映射到该小窗口中，并可在小窗口中书写标示。用户可以在小窗口中自由写入或做出标识，该内容会被实时同步映射到大屏幕中。本发明实施例中采用MTScatterImage组件把背景图片缩小至原图的40%放置于整个屏幕的右下角位置，若红外笔在小窗口书写，系统则通过计算出小窗口中的起始点相对于小窗口的位置从而得到整个背景图片的对应点，同时设置MOUSEEVENTF_LEFTDOWN事件，当红外笔完成小窗口书写，当前背景图片出现同样的轨迹，同时MOUSEEVENTF_LEFTUP事件触发，即完成小窗口和整个背景的同步映射。

Claims (4)

1.一种红外式多点交互电子白板系统，该系统包括计算机、投影仪、投影幕、红外摄像头和红外笔，其特征在于：还包括激光定位装置；

所述的激光定位装置套于红外摄像头外，通过比较激光定位装置上的四支激光头照射到投影幕上的四个激光点与投影幕四角上所设置的目标点，实现红外摄像头的定位；

激光定位装置内部包括DC1.5V电池、按键开关、电阻和四支激光头；所述的DC1.5V电池、按键开关和四支激光头和一只电阻组成回路；

所述的计算机内包括后台无线数据控制器和前台多点交互器，所述的后台无线数据控制器包括标定模块、蓝牙无线通信模块和无线数据处理模块；其中，

标定模块：用于在投影幕的四角上设定目标点，将上述四个目标点形成的靶坐标与通过蓝牙无线通信模块传输的红外笔信号点形成的坐标进行比较，实现投影幕的标定；计算红外笔信号点相对于红外摄像头、红外笔信号点相对于投影幕之间的转换关系，将红外笔信号点的实际三维空间位置转换为相对计算机屏幕的二维位置坐标，并将上述建立的相对计算机屏幕的二维位置坐标传递至无线数据处理模块；

无线数据处理模块：是用于确定实际操作中红外笔信号点相对计算机屏幕的二维位置坐标，并将数据传送至前台多点交互器的装置；

所述的前台多点交互器包括手势识别模块、画图功能模块、图片展示功能模块、视频展示功能模块、PPT文件播放操作模块、PDF文件播放操作模块、手写输入识别模块和小窗口展示模块；其中，

PPT文件播放操作模块：是用于通过手势识别模块实现对PPT文件翻页的操作以及对工具条的调用的装置；

PDF文件播放操作模块：是用于通过手势识别模块实现对PDF文件翻页的操作以及对工具条的调用的装置；

小窗口展示模块：是用于将整个屏幕的内容按比例同步映射到该小窗口中并可在小窗口中书写标示，并将书写内容实时同步映射到大屏幕中的装置；所述的将整个屏幕的内容按比例同步映射到该小窗口中：采用MTScatterImage组件把背景图片缩小至原图的40％放置于整个屏幕的右下角位置。

2.根据权利要求1所述的一种红外式多点交互电子白板系统，其特征在于：所述的前台多点交互器采用多点交互技术，即多只红外笔可同时书写。

3.根据权利要求1所述的一种红外式多点交互电子白板系统，其特征在于：所述的工具条在所展示的PPT文件和PDF文件上进行操作，该操作包括画笔状态调节、画笔使用、橡皮大小调节、橡皮使用、清屏、全屏截屏、小窗口展示、新建白板、画图、图片展示和视频展示。

4.采用权利要求1所述的红外式多点交互电子白板系统进行白板投影标定的方法，其特征在于：包括以下步骤：

步骤1、通过标定模块在投影幕的四角上设定目标点，并将上述四个目标点设置为四个靶坐标；

步骤2、红外笔点击投影幕上的第一个靶坐标，红外摄像头捕获信号并通过蓝牙无线通信模块传送至计算机后台无线数据控制器；

步骤3、红外摄像头捕获的信号经后台无线数据控制器的标定模块计算得出转置矩阵，信号点根据转置矩阵进行运算，从而得到相对计算机屏幕二维位置坐标，若红外笔信号点实际坐标与靶坐标之间距离在0cm～2cm误差范围内，则系统判定标定成功，则执行步骤4；否则，返回执行步骤2；

步骤4、红外笔点击投影幕上的第二个靶坐标，红外摄像头捕获信号并通过蓝牙无线通信模块传送至计算机后台无线数据控制器；

步骤5、红外摄像头捕获的信号经后台无线数据控制器的标定模块计算得出转置矩阵，信号点根据转置矩阵进行运算，从而得到相对计算机屏幕二维位置坐标，若红外笔信号点实际坐标与靶坐标之间距离在0cm～2cm误差范围内，则系统判定标定成功，则执行步骤6；否则，返回执行步骤4；

步骤6、红外笔点击投影幕上的第三个靶坐标，红外摄像头捕获信号并通过蓝牙无线通信模块传送至计算机后台无线数据控制器；

步骤7、红外摄像头捕获的信号经后台无线数据控制器的标定模块计算得出转置矩阵，信号点根据转置矩阵进行运算，从而得到相对计算机屏幕二维位置坐标，若红外笔信号点实际坐标与靶坐标之间距离在0cm～2cm误差范围内，则系统判定标定成功，则执行步骤8；否则，返回执行步骤6；

步骤8、红外笔点击投影幕上的第四个靶坐标，红外摄像头捕获信号并通过蓝牙无线通信模块传送至计算机后台无线数据控制器；

步骤9、红外摄像头捕获的信号经后台无线数据控制器的标定模块计算得出转置矩阵，信号点根据转置矩阵进行运算，从而得到相对计算机屏幕二维位置坐标，若红外笔信号点实际坐标与靶坐标之间距离在0cm～2cm误差范围内，则系统判定标定成功，则执行步骤10；否则，返回执行步骤8；

步骤10、投影幕四个靶坐标标定成功，即标定模块完成建立相对计算机屏幕二维位置坐标，标定模块将上述相对计算机屏幕二维位置坐标传递至无线数据处理模块，用户即可实现红外笔与计算机鼠标的同步操作。