CN113031841B - 一种激光笔交互控制系统和激光笔交互控制方法 - Google Patents

Abstract

本发明实施例公开了一种激光笔交互控制系统和激光笔交互控制方法，控制系统包括：激光笔，依次连接的控制子系统、放映设备和投影屏幕；使用者通过激光笔，在投影屏幕上发射出激光点，经过摄像头的图像采集，将实际图像显示在控制设备的LCD显示屏上，并实时利用网络传输到放映设备，在放映设备的控制软件程序中进行图像校准得到单独的投影屏幕图像，然后对投影屏幕图像中的激光点进行图像的特征点检测算法计算得到激光点的位置信息，并映射得到主机屏幕对应的坐标位置，根据坐标位置所在的不同屏幕区域实时控制幻灯片完成不同的交互动作。本发明实施例提供的方案，改进了激光笔与幻灯片互动的方式，提高了演讲的质量。

Description

一种激光笔交互控制系统和激光笔交互控制方法

技术领域

本申请涉及但不限于模式识别智能控制领域，尤指一种激光笔交互控制系统和激光笔交互控制方法。

背景技术

在具有多媒体演示场景的会议中，使用普通激光笔可以实现激光点指示、按键翻页等简单的功能。

随着多媒体演示地点的不断延伸，从一般的教室、报告厅到会议室等场所，普通激光笔在投影屏幕上的交互控制方式的程度不够，对投影屏幕实现更强的交互功能的需求在不断增多；显然，现有仅具有简单指示、翻页功能的激光笔以难以适应多媒体演示需求的发展需要。目前亟需提供对交互控制方式能进行更多功能扩展的激光笔交互控制系统，以实现具有更加丰富交互功能的新型的交互方式。

发明内容

本发明的目的：为了解决上述技术问题，本发明实施例提供了一种激光笔交互控制系统和激光笔交互控制方法，以解决现有激光笔在投影屏幕上的交互控制方式的程度简单且单一，从而导致现有激光笔的交互控制方式以难以适应具有更高需求的多媒体演示需求的问题。

本发明的技术方案：本发明实施例提供一种激光笔交互控制系统，包括：激光笔，依次连接的控制子系统、放映设备和投影屏幕，所述控制子系统包括控制设备，以及分别与所述控制设备相连接的摄像头、LCD显示屏；

其中，所述激光笔，用于根据使用者的操作，在所述投影屏幕上发射出激光点；

所述控制子系统，用于通过控制设备对摄像头和LCD显示屏进行控制，以控制所述摄像头进行图像采集获取到实际图像，在所述LCD显示屏上显示所述实际图像，并将所述实际图像传输给放映设备；其中，所述摄像头采集到的实际图像包括所述投影屏幕上的显示图像、所述激光笔发射到投屏幕上的激光点，以及所述投影屏幕的外围环境图像；

所述放映设备，用于对所述实际图像进行图像处理，得到投影屏幕图像和所述激光点的位置信息，以及得到所述激光点的位置信息映射到所述放映设备屏幕上对应的坐标位置，从而根据所述坐标位置和/或使用者对激光笔的操作方式，实时控制放映设备的幻灯片执行多种形式的交互放映操作。

可选地，如上所述的激光笔交互控制系统中，

所述放映设备，具体用于对所述实际图像进行图像校准，得到投影屏幕图像，所述投影屏幕图像包括投影图像和激光点；

所述放映设备，还具体用于对所述投影屏幕图像中的激光点进行图像的特征点检测算法，计算得到所述激光点的位置信息，并将所述激光点的位置信息映射到放映设备屏幕上对应的坐标位置；

所述放映设备，还具体用于根据坐标位置所在放映设备屏幕的不同区域和/或使用者对激光笔的操作方式，实时控制放映设备中幻灯片执行多种形式的交互放映操作，所述交互放映操作包括：根据激光点的移动轨迹在幻灯片上绘制出激光点移动的轨迹，对重点内容进行标记，向上翻页，向下翻页。

可选地，如上所述的激光笔交互控制系统中，所述投影屏幕包括中间显示区域和左、右侧操作区域，所述放映设备控制幻灯片执行多种形式的交互放映操作，包括以下一项或多项：

所述激光点在投影屏幕的中部显示区域时，通过移动激光点控制幻灯片执行轨迹绘制的交互操作；

所述激光点在投影屏幕为全屏显示的状态下，通过定点闪动激光点对幻灯片中的重点内容进行标记；

所述激光点在投影屏幕的左侧操作区域时，控制幻灯片执行向上翻页的交互操作；

所述激光点在投影屏幕的右侧操作区域时，控制幻灯片执行向下翻页的交互操作。

可选地，如上所述的激光笔交互控制系统中，所述控制子系统还包括与所述控制设备相连接的触摸屏；

所述触摸屏的图形用户界面GUI上设置有用于控制幻灯片交互的5种功能按键，所述功能按键包括：向上翻页，向下翻页，全屏模式，退出全屏模式，返回功能；

所述功能按键，用于使用者不采用激光笔控制幻灯片执行交互功能的情况下，在放映设备的程序界面中控制幻灯片的交互功能。

可选地，如上所述的激光笔交互控制系统中，所述控制子系统采用嵌入式操作系统，所述放映设备采用Windows操作系统，所述嵌入式操作系统包括：BootLoader、Linux内核、文件系统；

其中，所述BootLoader引导Linux内核启动，所述Linux内核运行之后启动所述文件系统；

所述Linux内核中配置有多种外围驱动模块，用于对相应的外围设备进行驱动。

可选地，如上所述的激光笔交互控制系统中，所述激光笔交互控制系统中配置有激光笔交互控制应用程序，所述激光笔交互控制应用程序包括客户端应用程序和服务器端应用程序；

所述客户端应用程序运行在所述控制子系统上，用于采用摄像头采集实际图像，显示在所述控制设备的LCD显示屏上，并通过网络将图像数据传输到放映设备上的服务器端应用程序；

所述服务器端应用程序运行在所述放映设备上，用于对从客户端应用程序接收到的图像数据进行图像处理，并根据得到的激光点的位置信息实时控制幻灯片的交互放映操作。

本发明实施例还提供一种激光笔交互控制方法，采用上述任一项所述的激光笔交互控制系统执行所述激光笔交互控制方法，包括：

步骤1，信号采集、显示和传输，包括：使用者通过所述激光笔，在所述投影屏幕上发射出激光点，经过所述摄像头的图像采集获取到实际图像，在所述LCD显示屏上显示所述实际图像，并将所述实际图像传输给放映设备；其中，所述摄像头采集到的实际图像包括所述投影屏幕上的显示图像、所述激光笔发射到投屏幕上的激光点，以及所述投影屏幕的外围环境图像；

步骤2，图像处理，包括：通过放映设备对所述实际图像进行图像校准，得到投影屏幕图像，所述投影屏幕图像包括投影图像和激光点；对所述投影屏幕图像中的激光点进行图像的特征点检测算法，计算得到所述激光点的位置信息，并将所述激光点的位置信息映射到所述放映设备屏幕对应的坐标位置；

步骤3，执行交互放映操作，包括：根据所述坐标位置所在放映设备屏幕的不同区域和/或使用者对激光笔的操作方式，实时控制放映设备中幻灯片执行多种形式的交互放映操作，所述交互放映操作包括：根据激光点的移动轨迹在幻灯片上绘制出激光点移动的轨迹，对重点内容进行标记，向上翻页，向下翻页。

可选地，如上所述的激光笔交互控制方法中，所述投影屏幕包括中部显示区域和左、右侧操作区域，所述控制幻灯片执行多种形式的交互放映操作，包括以下一项或多项：

所述激光点在投影屏幕的中部显示区域时，通过移动激光点控制幻灯片执行轨迹绘制的交互操作；

所述激光点在投影屏幕为全屏显示的状态下，通过定点闪动激光点对幻灯片中的重点内容进行标记；

所述激光点在投影屏幕的左侧操作区域时，控制幻灯片执行向上翻页的交互操作；

所述激光点在投影屏幕的右侧操作区域时，控制幻灯片执行向下翻页的交互操作。

可选地，如上所述的激光笔交互控制方法中，所述控制子系统还包括与所述控制设备相连接的触摸屏，所述触摸屏的图形用户界面GUI上设置有用于控制幻灯片交互的5种功能按键；所述方法还包括：

步骤4，使用者不采用激光笔控制幻灯片执行交互功能的情况下，在放映设备的程序界面中控制幻灯片的交互功能，所述交互功能包括：向上翻页，向下翻页，全屏模式，退出全屏模式，返回功能。

本发明的有益效果：本发明实施例提供的激光笔交互控制系统和激光笔交互控制方法，整个系统的硬件的主要结构为控制子系统和放映设备，控制子系统例如采用S3C2440控制设备和相关的外围硬件，采用嵌入式S3C2440控制设备作为数据传输和功能控制的主要硬件平台；整个系统的软件平台采用嵌入式Linux系统，数据传输和功能控制的实现通过设计激光笔交互控制应用程序完成，且设计中实现了嵌入式Linux系统下的开发环境和Windows系统下的开发环境的搭建和跨平台移植；系统的应用程序包括客户端应用程序与服务器端应用程序，实现了预先设计的数据传输、功能控制、图像处理以及幻灯片控制功能，具体的，需要实现的功能，可以使用Qt框架和OpenCV框架进行客户端与服务器端应用程序的创建，完成了从工程项目的建立、GUI界面设计到各个功能控制模块的设计；最终，通过整个系统进行功能测试和分析，可以测试出整个激光笔交互控制系统的功能实现效果。本发明实施例的技术方案，通过加入嵌入式设备(即S3C2440控制设备)和图像处理环节而为激光笔互动方式增加更多的交互控制功能，可以改变演讲者的操作方式，改进激光笔的交互方式，提高了演讲的质量；另外，借助于嵌入式环境中的客户端、服务器端，以及两者之间的网络交互，为人们及时而方便地提供所需的信息服务，使得人们有可能借助于手边的任意一个没有接收器的普通激光笔都能实现幻灯片的交互，改变了原先的幻灯片控制模式，也改变了在多媒体应用场景下的行为方式；也因为可以采用较为成熟的嵌入式设备和传输方式而压低整个激光笔交互控制系统的成本，获得更好的效益。

附图说明

附图用来提供对本发明技术方案的进一步理解，并且构成说明书的一部分，与本申请的实施例一起用于解释本发明的技术方案，并不构成对本发明技术方案的限制。

图1为本发明实施例提供的一种激光笔交互控制系统的结构示意图；

图2为本发明实施例提供的激光笔交互控制系统中一种嵌入式软件系统的构架示意图；

图3为本发明实施例提供的激光笔交互控制系统中一种激光笔交互控制应用程序的示意图；

图4为本发明实施例提供的一种激光笔交互控制方法的流程图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白，下文中将结合附图对本发明的实施例进行详细说明。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互任意组合。

在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行。并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。

本发明实施例涉及飞机座舱平视显示器的显示颜色设计，适用于平视显示器的显示界面相关应用领域，实现基于环境光颜色自动选取平视显示器显示颜色的色相，以提高飞行员对平视显示器显示信息的认知效果。

针对现有激光笔仅具有简单指示、翻页功能，难以适应多媒体演示需求的发展需要。本发明实施例提出了一种对交互控制方式能进行更多功能扩展的激光笔交互控制系统和相应的交互控制方法，以实现具有更加丰富交互功能的新型的交互方式。

同时，近些年来嵌入式技术和图像处理算法的发展，为改进激光笔的交互控制方式提供了可能。本发明实施例提供的激光笔交互控制系统和方法，根据激光笔与放映设备之间的关系，在两者之间使用了搭载嵌入式系统的控制设备(例如为S3C2440控制设备)，提供了一套集成有采集、显示、传输、处理图像数据并实时控制幻灯片交互功能为一体的交互控制系统，从而实现了激光笔的互动性。

本发明提供以下几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例不再赘述。

图1为本发明实施例提供的一种激光笔交互控制系统的结构示意图。本发明实施例提供的激光笔交互控制系统可以包括：激光笔，依次连接的控制子系统、放映设备和投影屏幕，其中的控制子系统包括控制设备，以及分别与控制设备相连接的摄像头、LCD显示屏，该控制设备例如为S3C2440控制设备，放映设备例如为一台PC机。图1中的各个设备形成一个完整的控制系统，且S3C2440控制设备、摄像头和LCD显示屏构成一个控制整体。

如图1所示的激光笔交互控制系统中，激光笔，用于根据使用者的操作，在投影屏幕上发射出激光点；本发明实施例中的控制子系统，用于通过控制设备对摄像头和LCD显示屏进行控制，以控制摄像头进行图像采集获取到实际图像，在LCD显示屏上显示实际图像，并实时利用网络将实际图像传输给放映设备；其中，摄像头采集到的实际图像包括投影屏幕上的显示图像、激光笔发射到投屏幕上的激光点，以及投影屏幕的外围环境图像。

本发明实施例中的放映设备，用于对实际图像进行图像处理，得到投影屏幕图像和激光点的位置信息，以及得到激光点的位置信息映射到放映设备屏幕上对应的坐标位置，从而根据坐标位置和/或使用者对激光笔的操作方式，实时控制放映设备的幻灯片执行多种形式的交互放映操作。

本发明实施例中放映设备实现交互功能的具体实施方式包括以下几种功能：

首先，放映设备，具体用于对实际图像进行图像校准，滤除拍摄到的实际图像中的外围环境图像，从而得到单独的投影屏幕图像，该投影屏幕图像包括投影图像和激光点；

再者，放映设备，还具体用于对投影屏幕图像中的激光点进行图像的特征点检测算法，计算得到激光点的位置信息，并将激光点的位置信息映射到放映设备屏幕上对应的坐标位置；

最后，放映设备，还具体用于根据坐标位置所在放映设备屏幕的不同区域和/或使用者对激光笔的操作方式，实时控制放映设备中幻灯片执行多种形式的交互放映操作；实际应用中，交互放映操作例如包括：根据激光点的移动轨迹在幻灯片上绘制出激光点移动的轨迹，对重点内容进行标记，向上翻页，向下翻页，且上述操作可以是在全屏或非全屏的状态下执行的，也可以是通过激光点在投影屏幕中的不同区域执行的。

为了解决现有激光笔交互功能单一的问题，本发明实施例提供的激光笔交互控制系统具体为一种基于S3C2440的激光笔交互控制系统，为了改变激光笔的交互方式，保证交互的实时性，使用了嵌入式设备和系统，构建一个完整的激光笔交互控制系统，利用图像信息，得到激光笔的行为动作信息，进而就能控制幻灯片的交互；本发明实施例中的控制子系统的软件平台为嵌入式操作系统，其中包括切入式S3C2440控制设备。本发明实施例的主要研究内容是在满足功能需求的硬件基础上，设计出激光笔交互控制系统的软件部分，包括作为控制子系统软件平台的嵌入式操作系统和运行在激光笔交互控制系统具上的应用程序，通过整个交互控制系统实现图像的采集、显示、网络传输和图像处理，进而实现最后的幻灯片的交互控制目的。

本发明实施例研究的最主要的三个部分就是：设计嵌入式操作系统作为激光笔交互控制系统的软件平台，设计应用程序作为激光笔交互控制应用程序，运行在放映设备上的图像处理算法。另外，本发明实施例中通过功能验证，可以实现新的交互方式，例如，利用激光点实现翻页，利用激光点的移动在幻灯片上实现激光点轨迹的绘制和重点标记灯；本发明实施例还可以实现传统的翻页功能。

本发明实施例在实际应用中，投影屏幕的投影区域可以包括中部显示区域和左、右侧操作区域，该放映设备控制幻灯片执行多种形式的交互放映操作，包括以下交互操作中的一项或多项：

操作一：激光点在投影屏幕的中部显示区域时，通过移动激光点控制幻灯片执行轨迹绘制的交互操作；

操作二：激光点在投影屏幕为全屏显示的状态下，通过定点闪动激光点对幻灯片中的重点内容进行标记；

操作三：激光点在投影屏幕的左侧操作区域时，控制幻灯片执行向上翻页的交互操作；

操作四：激光点在投影屏幕的右侧操作区域时，控制幻灯片执行向下翻页的交互操作。

进一步地，如图1所示，本发明实施例的控制子系统中还可以包括与控制设备相连接的触摸屏，该触摸屏的图形用户界面GUI上设置有用于控制幻灯片交互的5种功能按键，这些功能按键包括：向上翻页，向下翻页，全屏模式，退出全屏模式，返回功能。

本发明实施例中上述功能按键的作用为：在使用者不采用激光笔控制幻灯片执行交互功能的情况下，在放映设备的程序界面中控制幻灯片的交互功能。也就是说，本发明实施例不仅可以通过激光笔进行幻灯片的交互操作，还可以通过放映设备实现传统的翻页功能。

以下通过一个具体实施示例对本发明实施例提供的激光笔交互控制系统的具体实施方式进行详细说明。

该具体实施示例提供的激光笔交互控制系统主要由激光笔、S3C2440控制设备、放映设备和投影屏幕四个部分组成，其中控制设备与其外围设备(例如包括摄像头、LCD显示屏和触摸屏)构成一个控制整体。该具体实施示例中激光笔交互控制系统的操作步骤如下：使用者通过激光笔，在投影屏幕上发射出激光点，经过摄像头的图像采集，将拍摄的实际图像显示在控制设备的LCD显示屏上，并实时利用网络传输到放映设备，在放映设备的控制软件程序中进行图像校准得到单独的投影屏幕图像，然后对投影屏幕图像中的激光点进行图像的特征点检测算法计算得到激光点的位置信息，并映射得到主机屏幕对应的坐标位置，根据坐标位置所在的不同屏幕区域实时控制幻灯片完成不同的交互动作，比如可以根据激光点的移动轨迹在幻灯片上绘制出激光点移动的轨迹，对重点内容进行标记；另外，还能利用激光点在投影屏幕的左侧区域就控制幻灯片向上翻页，在右侧区域就向下翻页。

在本发明实施例的激光笔交互控制系统中，激光笔部分仅是为发射出激光点，实现激光点的移动来控制幻灯片交互。控制设备是作为图像采集、图像显示和图像数据传输的主要系统部分，其中摄像头用于实现图像采集的功能，LCD显示屏用于实现图像显示的功能，以便于调整摄像头的采集角度和距离，网卡是实现网络传输的功能，触摸屏实现控制设备的功能控制，例如进行参数设置、指令输入。在本发明实施例中，网络传输方式相较于其他传输方式，比如USB传输，要更加适合传输图像数据，并且因为网络的全双工通信特性，可以在控制设备和放映设备两端分别实现图像数据的处理。

根据本发明实施例中整个激光笔交互控制系统的设计思路，系统的硬件部分主要是S3C2440控制设备和外围硬件设备；系统的软件部分包括嵌入式操作系统和激光笔交互控制应用程序，在控制设备(即客户端)上要实现图像的采集、图像的显示、图像数据的传输以及其他控制功能，在放映设备(即服务器端)上要实现图像数据的处理和幻灯片交互的控制。

本发明实施例提供的激光笔交互控制系统中，使用摄像头对照射有激光点的投影屏幕进行图像采集，在S3C2440控制设备上显示并同步传输图像数据到放映设备的应用程序上，在放映设备的应用程序中进行图像处理，即对图像进行校准处理以及激光点的检测，根据激光点的位置信息对幻灯片进行实时交互控制。整个激光笔交互控制系统的开发工作主要分为两个部分：

第一部分：嵌入式操作系统的开发和移植，如图2所示，为本发明实施例提供的激光笔交互控制系统中一种嵌入式软件系统的构架示意图，该嵌入式软件系统为嵌入式Linux系统。

本发明实施例中的嵌入式软件系统是整个激光笔交互控制系统的基础，需要运行控制采集、显示、传输功能的应用程序，激光笔交互控制系统中的放映设备为Windows操作系统。该嵌入式软件系统的开发内容具体包括如下内容：

1)嵌入式Linux系统的开发和移植，包括BootLoaderU-Boot的开发、Linux内核的开发和文件系统的开发，以及相关运行环境和依赖库的移植(Linux-Windows的文件系统的移植，即控制子系统到放映设备的文件系统的移植)；

2)驱动程序的编写与移植，根据需要使用到的外围设备，编写两个外设(LCD显示屏和触摸屏)的驱动程序并配置摄像头的驱动程序。

在具体实施中，本发明实施例提供的激光笔交互控制系统，其系统软件平台选用如图2所示意出的嵌入式Linux系统，分为三个主要部分，包括：BootLoader、Linux内核、文件系统；其中，BootLoader引导Linux内核启动，Linux内核运行之后启动文件系统，驱动模块是Linux内核的一部分，但因为需要使用到上述的外围设备，所以需要单独对相关的LCD驱动模块、触摸屏驱动模块和摄像头驱动模块进行编写、内嵌或动态加载。

①BootLoader：对于嵌入式操作系统而言，BootLoader是根据不同的硬件平台的特点来实现的，因此不可能为所有的嵌入式操作系统建立通用的BootLoader，不同的处理器架构以及板级设置都会影响BootLoader的配置。开源的BootLoader可以支持主流的处理器，鉴于U-Boot对嵌入式Linux系统的支持以及对各种单板所做的兼容性工作，本发明实施例中选用的BootLoader解决方案就是U-Boot，版本例如是U-Boot-2012.04.01。

②Linux内核：Linux内核是Linux系统的核心部分，属于类Unix操作系统，是嵌入式操作系统的主要部分。Linux内核作为系统的核心部分，向下层管理着控制子系统中的所有硬件设备，对上层而言，Linux内核可以通过控制子系统调用向LibraryRoutine或者其它应用程序提供接口。因此，可以通过Linux内核为激光笔交互控制应用程序提供接口支持。

③文件系统：本发明实施例中的一个重要内容为文件系统移植，是通过开源工具Busybox制作的。Busybox是一个遵循GPL协议的开源项目，是一个小而全的文件系统制作工具，可以使用Busybox制作根文件系统。

④外围设备驱动：在本发明实施例的控制子系统设计需要编写和安装(安装即移植)的外围驱动模块包括LCD驱动模块和触摸屏驱动模块；摄像头由于是符合UVC协议的，为可以免驱安装的设备，因此只需要在Linux内核中配置相关的UVC驱动即可。

第二部分：激光笔交互控制应用程序开发，该部分是基于Qt开发框架和OpenCV库进行开发的，如图3所示，为本发明实施例提供的激光笔交互控制系统中一种激光笔交互控制应用程序的示意图。应用程序包括：客户端应用程序和服务器端应用程序，其中，1)客户端应用程序：利用摄像头采集图像，显示在S3C2440控制设备的LCD显示屏上，同时通过网络将图像数据传输到放映设备上的服务器端应用程序；2)服务器端应用程序：将客户端应用程序传输过来的图像数据进行图像处理，并根据得到的激光点的位置信息实时控制幻灯片的交互。

在具体实施中，本发明实施例中的激光笔交互控制应用程序的软件部分可以分为上述两大部分，包括：客户端应用程序和服务器端应用程序，均使用Qt开发框架进行开发。在客户端应用程序和服务器端应用程序之间使用网络方式进行数据信息的交换，客户端应用程序运行在控制子系统上，服务器端应用程序运行在放映设备上。在控制子系统上运行客户端应用程序，可以实现图像采集、显示和网络传输的功能，以及其他控制功能；在放映设备上运行服务器端应用程序，可以使用网络接收图像数据和其他控制数据、图像处理以及幻灯片控制功能。其中，在服务器端应用程序设计开发中涉及到图像处理功能，需要使用OpenCV开发框架。以下具体说明客户端应用程序和服务器端应用程序中需要实现的功能模块。

1)客户端应用程序：在客户端应用程序中设计了GUI界面、摄像头采集与显示模块、网络传输模块和多线程同步技术。

①GUI界面主要是为了方便用户输入指令或者使用界面上的按键控制激光笔交互前的功能设置；

②摄像头采集与显示模块是使用摄像头模组进行图像采集并实时显示在GUI界面上的图像显示区域的代码实现模块；

③网络传输模块主要是为了在客户端与服务器端之间建立网络连接，使用网线连接的网络传输方式将采集到的图像传输到放映设备上的服务器端应用程序中，进而对图像进行处理；

④多线程同步技术的使用是为了同步图像显示与网络传输的线程，使得当下显示的图像能实时传输到服务器端应用程序中进行处理，从而实现交互的实时性。

2)服务器端应用程序：在服务器端应用程序中设计了网络传输模块、图像处理模块和幻灯片控制模块。

①网络传输模块是为了接收来自客户端的网络请求，与客户端之间建立完整的全双工通信方式，接收通过网络传输过来的图像数据，便于进行图像处理；

②图像处理模块的工作是对网络传输过来的图像数据进行图像校准处理和特征点检测处理，获得激光点的位置信息，便于根据激光点的位置，控制幻灯片的交互；

③幻灯片控制模块是利用激光点在屏幕内不同区域的位置信息来驱动幻灯片软件做不同的交互动作。

进一步地，对本发明上述实施例中所开发设计出的激光笔交互控制系统，还可以进行功能验证，即提供了对完成开发的整个激光笔交互控制系统进行功能测试和分析。通过实验，可以测试出整个激光笔交互控制系统的功能实现效果，实际应用中，要求分别对摄像头采集与图像显示功能、网络连接和传输功能、触摸屏上功能按键的5种交互控制功能、图像处理功能和激光点控制幻灯片交互功能进行详细测试，得到实验测试的结果；且试验过程中要求控制时序满足试验时序的精度。

本发明实施例通过上述硬件部分和软件部分的设计，完成了激光笔交互控制系统的整体设计与构建，改进了激光笔与幻灯片互动的方式。通过功能验证，可以实现新的交互方式，即利用激光点的移动在幻灯片上实现激光点轨迹的绘制；另外，也能实现传统的翻页等控制功能。

本发明实施例提供的激光笔交互控制系统，为一种基于S3C2440的互动型激光笔交互控制系统，通过对激光笔控制幻灯片交互方式的实现进行改进，从激光笔端到放映设备端之间的控制环节进行重新设计和功能实现。首先，整个系统的硬件的主要结构为控制子系统和放映设备，控制子系统例如采用S3C2440控制设备和相关的外围硬件，采用嵌入式S3C2440控制设备作为数据传输和功能控制的主要硬件平台；其次，整个系统的软件平台采用嵌入式Linux系统，数据传输和功能控制的实现通过设计激光笔交互控制应用程序完成，且设计中实现了嵌入式Linux系统下的开发环境和Windows系统下的开发环境的搭建和跨平台移植；再者，系统的应用程序包括客户端应用程序与服务器端应用程序，实现了预先设计的数据传输、功能控制、图像处理以及幻灯片控制功能，具体的，需要实现的功能，可以使用Qt框架和OpenCV框架进行客户端与服务器端应用程序的创建，完成了从工程项目的建立、GUI界面设计到各个功能控制模块的设计；最终，通过整个系统进行功能测试和分析，可以测试出整个激光笔交互控制系统的功能实现效果。本发明实施例的技术方案，通过加入嵌入式设备(即S3C2440控制设备)和图像处理环节而为激光笔互动方式增加更多的交互控制功能，可以改变演讲者的操作方式，改进激光笔的交互方式，提高了演讲的质量；另外，借助于嵌入式环境中的客户端、服务器端，以及两者之间的网络交互，为人们及时而方便地提供所需的信息服务，使得人们有可能借助于手边的任意一个没有接收器的普通激光笔都能实现幻灯片的交互，改变了原先的幻灯片控制模式，也改变了在多媒体应用场景下的行为方式；也因为可以采用较为成熟的嵌入式设备和传输方式而压低整个激光笔交互控制系统的成本，获得更好的效益。

基于本发明上述实施例提供的激光笔交互控制系统，本发明实施例还提供一种激光笔交互控制方法，如图4所示，为本发明实施例提供的一种激光笔交互控制方法的流程图。本发明实施例中的激光笔交互控制方法由本发明上述各实施例中的激光笔交互控制系统执行，该激光笔交互控制方法，可以包括如下步骤：

步骤1，信号采集、显示和传输，包括：使用者通过激光笔，在投影屏幕上发射出激光点，经过摄像头的图像采集获取到实际图像，在LCD显示屏上显示实际图像，并将实际图像传输给放映设备；其中，摄像头采集到的实际图像包括投影屏幕上的显示图像、激光笔发射到投屏幕上的激光点，以及投影屏幕的外围环境图像；

步骤2，图像处理，包括：通过放映设备对实际图像进行图像校准，得到投影屏幕图像，投影屏幕图像包括投影图像和激光点；对投影屏幕图像中的激光点进行图像的特征点检测算法，计算得到激光点的位置信息，并将激光点的位置信息映射到放映设备屏幕对应的坐标位置；

步骤3，执行交互放映操作，包括：根据坐标位置所在放映设备屏幕的不同区域和/或使用者对激光笔的操作方式，实时控制放映设备中幻灯片执行多种形式的交互放映操作，交互放映操作包括：根据激光点的移动轨迹在幻灯片上绘制出激光点移动的轨迹，对重点内容进行标记，向上翻页，向下翻页。

本发明实施例在实际应用中，投影屏幕可以划分为中部显示区域和左、右侧操作区域，即步骤3中控制幻灯片执行多种形式的交互放映操作，包括以下一项或多项：

激光点在投影屏幕的中部显示区域时，通过移动激光点控制幻灯片执行轨迹绘制的交互操作；

激光点在投影屏幕为全屏显示的状态下，通过定点闪动激光点对幻灯片中的重点内容进行标记；

激光点在投影屏幕的左侧操作区域时，控制幻灯片执行向上翻页的交互操作；

激光点在投影屏幕的右侧操作区域时，控制幻灯片执行向下翻页的交互操作。

进一步地，本发明实施例的控制子系统还包括与控制设备相连接的触摸屏，触摸屏的图形用户界面GUI上设置有用于控制幻灯片交互的5种功能按键；相应地激光笔交互控制方法方法还可以包括：

步骤4，使用者不采用激光笔控制幻灯片执行交互功能的情况下，在放映设备的程序界面中控制幻灯片的交互功能，上述交互功能可以包括：向上翻页，向下翻页，全屏模式，退出全屏模式，返回功能。

从本发明实施例提供的整体激光笔交互控制系统和方法的设计过程回顾，激光笔控制幻灯片的交互可以较好地实现设计的功能，得到多种交互控制方式，在激光点控制交互方式的基础上加入了虚拟按键控制交互的方式，弥补了现阶段所能实现的激光点控制交互方式的不足。在以后的工作中，对于硬件设备的性能、算法处理效率可以做出更好的提升，从而能改善激光点检测上的不足和数据采集传输的效率。也可以在程序发明上做出更好的性能优化，最大限度利用硬件资源，得到更好的处理速度和效果。另外还可以在图像算法的方式上做出优化，比如实现更好的轨迹检测算法来优化激光点的绘制轨迹，得到更加精确的轨迹图形，实现更好的显示方式。

本发明实施例提供的激光笔交互控制系统和方法，不仅可以用于智能控制领域，同样可转化应用于其他复杂系统的研制、应用等领域。随着人机交互技术的发展，不仅在理论知识方面获得了很大的进展，而且翻页激光笔也逐渐应用到了人类的日常生活中。比如活中使用的电视遥控器、DVD遥控器、空调遥控器等自动化程度较高的各种领域，具有较大的实际应用价值。

虽然本发明所揭露的实施方式如上，但的内容仅为便于理解本发明而采用的实施方式，并非用以限定本发明。任何本发明所属领域内的技术人员，在不脱离本发明所揭露的精神和范围的前提下，可以在实施的形式及细节上进行任何的修改与变化，但本发明的专利保护范围，仍须以所附的权利要求书所界定的范围为准。

Claims (8)

1.一种激光笔交互控制系统，其特征在于，包括：激光笔，依次连接的控制子系统、放映设备和投影屏幕，所述控制子系统包括控制设备，以及分别与所述控制设备相连接的摄像头、LCD显示屏；

其中，所述激光笔，用于根据使用者的操作，在所述投影屏幕上发射出激光点；

所述控制子系统，用于通过控制设备对摄像头和LCD显示屏进行控制，以控制所述摄像头进行图像采集获取到实际图像，在所述LCD显示屏上显示所述实际图像，并将所述实际图像传输给放映设备；其中，所述摄像头采集到的实际图像包括所述投影屏幕上的显示图像、所述激光笔发射到投屏幕上的激光点，以及所述投影屏幕的外围环境图像；

所述放映设备，用于对所述实际图像进行图像处理，得到投影屏幕图像和所述激光点的位置信息，以及得到所述激光点的位置信息映射到所述放映设备屏幕上对应的坐标位置，从而根据所述坐标位置和/或使用者对激光笔的操作方式，实时控制放映设备的幻灯片执行多种形式的交互放映操作；所述交互放映操作包括：根据激光点的移动轨迹在幻灯片上绘制出激光点移动的轨迹，对重点内容进行标记，向上翻页，向下翻页；

所述投影屏幕包括中间显示区域和左、右侧操作区域，所述放映设备控制幻灯片执行多种形式的交互放映操作，包括以下一项或多项：

所述激光点在投影屏幕的中部显示区域时，通过移动激光点控制幻灯片执行轨迹绘制的交互操作；

所述激光点在投影屏幕为全屏显示的状态下，通过定点闪动激光点对幻灯片中的重点内容进行标记；

所述激光点在投影屏幕的左侧操作区域时，控制幻灯片执行向上翻页的交互操作；

所述激光点在投影屏幕的右侧操作区域时，控制幻灯片执行向下翻页的交互操作。

2.根据权利要求1所述的激光笔交互控制系统，其特征在于，

所述放映设备，具体用于对所述实际图像进行图像校准，得到投影屏幕图像，所述投影屏幕图像包括投影图像和激光点；

所述放映设备，还具体用于对所述投影屏幕图像中的激光点进行图像的特征点检测算法，计算得到所述激光点的位置信息，并将所述激光点的位置信息映射到放映设备屏幕上对应的坐标位置；

所述放映设备，还具体用于根据坐标位置所在放映设备屏幕的不同区域和/或使用者对激光笔的操作方式，实时控制放映设备中幻灯片执行多种形式的交互放映操作。

3.根据权利要求1或2所述的激光笔交互控制系统，其特征在于，所述控制子系统还包括与所述控制设备相连接的触摸屏；

所述触摸屏的图形用户界面GUI上设置有用于控制幻灯片交互的5种功能按键，所述功能按键包括：向上翻页，向下翻页，全屏模式，退出全屏模式，返回功能；

所述功能按键，用于使用者不采用激光笔控制幻灯片执行交互功能的情况下，在放映设备的程序界面中控制幻灯片的交互功能。

4.根据权利要求3所述的激光笔交互控制系统，其特征在于，所述控制子系统采用嵌入式操作系统，所述放映设备采用Windows操作系统，所述嵌入式操作系统包括：BootLoader、Linux内核、文件系统；

其中，所述BootLoader引导Linux内核启动，所述Linux内核运行之后启动所述文件系统；

所述Linux内核中配置有多种外围驱动模块，用于对相应的外围设备进行驱动。

5.根据权利要求3所述的激光笔交互控制系统，其特征在于，所述激光笔交互控制系统中配置有激光笔交互控制应用程序，所述激光笔交互控制应用程序包括客户端应用程序和服务器端应用程序；

所述客户端应用程序运行在所述控制子系统上，用于采用摄像头采集实际图像，显示在所述控制设备的LCD显示屏上，并通过网络将图像数据传输到放映设备上的服务器端应用程序；

所述服务器端应用程序运行在所述放映设备上，用于对从客户端应用程序接收到的图像数据进行图像处理，并根据得到的激光点的位置信息实时控制幻灯片的交互放映操作。

6.一种激光笔交互控制方法，其特征在于，采用所述权利要求1～5中任一项所述的激光笔交互控制系统执行所述激光笔交互控制方法，包括：

步骤1，信号采集、显示和传输，包括：使用者通过所述激光笔，在所述投影屏幕上发射出激光点，经过所述摄像头的图像采集获取到实际图像，在所述LCD显示屏上显示所述实际图像，并将所述实际图像传输给放映设备；其中，所述摄像头采集到的实际图像包括所述投影屏幕上的显示图像、所述激光笔发射到投屏幕上的激光点，以及所述投影屏幕的外围环境图像；

步骤2，图像处理，包括：通过放映设备对所述实际图像进行图像校准，得到投影屏幕图像，所述投影屏幕图像包括投影图像和激光点；对所述投影屏幕图像中的激光点进行图像的特征点检测算法，计算得到所述激光点的位置信息，并将所述激光点的位置信息映射到所述放映设备屏幕对应的坐标位置；

步骤3，执行交互放映操作，包括：根据所述坐标位置所在放映设备屏幕的不同区域和/或使用者对激光笔的操作方式，实时控制放映设备中幻灯片执行多种形式的交互放映操作，所述交互放映操作包括：根据激光点的移动轨迹在幻灯片上绘制出激光点移动的轨迹，对重点内容进行标记，向上翻页，向下翻页。

7.根据权利要求6所述的激光笔交互控制方法，其特征在于，所述投影屏幕包括中部显示区域和左、右侧操作区域，所述控制幻灯片执行多种形式的交互放映操作，包括以下一项或多项：

所述激光点在投影屏幕的中部显示区域时，通过移动激光点控制幻灯片执行轨迹绘制的交互操作；

所述激光点在投影屏幕为全屏显示的状态下，通过定点闪动激光点对幻灯片中的重点内容进行标记；

所述激光点在投影屏幕的左侧操作区域时，控制幻灯片执行向上翻页的交互操作；

所述激光点在投影屏幕的右侧操作区域时，控制幻灯片执行向下翻页的交互操作。

8.根据权利要求7所述的激光笔交互控制方法，其特征在于，所述控制子系统还包括与所述控制设备相连接的触摸屏，所述触摸屏的图形用户界面GUI上设置有用于控制幻灯片交互的5种功能按键；所述方法还包括：

步骤4，使用者不采用激光笔控制幻灯片执行交互功能的情况下，在放映设备的程序界面中控制幻灯片的交互功能，所述交互功能包括：向上翻页，向下翻页，全屏模式，退出全屏模式，返回功能。

Images