CN117687523A - 一种解决激光笔无法投射在显示屏上的方法及装置 - Google Patents

Abstract

本发明提供一种解决激光笔无法投射在显示屏上的方法及装置，通过图像识别判断激光笔照射在显示屏上的激光点是否显示，如果不显示，则根据当前激光笔的指向在显示屏上对应的位置生成模拟激光点的光斑。装置包括激光笔和上位机；所述激光笔上设置有摄像头和图像识别模块，摄像头采集的图像与激光笔的朝向耦合；通过图像识别模块判断激光笔照射在显示屏上的激光点是否显示，以及根据采集的图像确定生成光斑的位置；所述激光笔将生成光斑的位置信息通过无线通信发送至上位机，并由上位机在显示屏上生成替代激光点的光斑。

Description

一种解决激光笔无法投射在显示屏上的方法及装置

技术领域

本发明属于教学用具技术领域，具体涉及一种解决激光笔无法投射在显示屏上的方法及装置。

背景技术

随着计算机技术的不断发展，人机交互的方式越来越多样化， 从键盘、鼠标到手势、声控，一直朝着方便用户使用的方向发展，但在演讲或上课过程中激光笔更为好用。激光笔，又称为激光指示器，是把可见激光设计成便携、手易握、激光模组(二极管)加工成的笔型发射器；通常在演讲、会报、教学、导赏等环境中使用它来投射一个光点或一条光线指向物体。

激光笔作为人机交互的媒介已经有很多专利涉及到了。例如：专利CN200810035544.6 公开了一种激光笔指示与光点轨迹识别的方法，采用计算机与嵌入式设备交互的方法，实现激光笔、嵌入式设备、 计算机三者的交互，由嵌入式设备连接视频采集设备，通过获得的视频的亮度信息来获得激光笔的光点位置，然后传送至计算机中，由计算机对用户展示效果。该专利能成功识别光点的轨迹信息，形成各种形状、字母、数字灯的展示效果。专利CN201010194032.1 通过捕获包含激光点的投影屏幕的图像，检测激光点在投影屏幕中位置信息和时间信息。确定激光点是出于移动状态或停顿状态，并根据激光点状态信息，按照书写一个字符的过程中定位于书写交替进行的规律，将激光点在投影屏幕上的轨迹分割为定位轨迹和书写轨迹，并将其映射为能够显示在投影屏幕上的字符的笔画，实现人机交互的目的。专利 CN201210026754.5 发明了一种能用激光笔直接控制电脑的新型鼠标控制系统。由激光笔模块，位置检测模块，USB无线接收模块组成， 激光笔模块和位置检测模块分别向 USB 无线接收模块反馈按键开关状态信息和鼠标位置信息。从而使激光笔具有一个功能键并可以控制鼠标光标的移动。专利CN200810101593.5发明了一种带用户身份标识的无线控制激光笔: 由激光笔外壳、激光发射电路和无线发射电路组成,并且具有握式和书写等多种操作方式。同时激光笔上配置有鼠标左键右键，可以完成鼠标的所有功能，并支持多用户并用时匹配用户和光点轨迹，进而区分多用户同时支持多用户无冲突并行使用。专利201210471271.6公开了一种基于激光投影定位的人机交互方法与系统，系统包括：投影设备、交互设备、图像采集装置和上位机，图像采集装置固定在投影设备旁，交互设备连接上位机，图像采集装置和投影设备分别连接上位机。人机交互方法兼顾了传统鼠标按键定义方式，将交互指令转化为相应的鼠标按键信息，实现鼠标的多个按键功能。上位机根据交互信息和图像信息，经过计算获得交互信息在交互界面上的位置，具备绝对定位方式光标位置指示操作直接感，避免了系统标定问题，方便了使用，降低该交互系统对应用环境的要求。

以上专利基本上都是利用激光笔射出的亮点来完成所有交互功能，或者通过红光激光器加鼠标按键的形式增加激光笔的功能，提高交互的方便性，但这些专利都有一个前提条件是激光笔打在交互界面上时可以看到激光笔光点产生的耀斑。

在前些年，要显示几十英寸的画面基本上只能用投影机+白幕或白墙的形式实现，加上激光笔是很好用的。随着LED显示屏的点阵直径越来越小，以及彩色LED显示屏的出现，原先只能用于户外做显示广告屏的LED显示屏，已经可以装在室内近距离观看。而且LED显示屏具有亮度高、显示清晰等众多优点，越来越受到人们的喜爱。因此，几百寸的LED大显示屏被广泛应用于大型会场，成为不二的选择。

LCD液晶显示屏的价格近几年下降得很多，而且LCD显示屏的尺寸也越来越大，已经足以作为小型会场或者学校教室的显示器。因此，很多学校已经开始用LCD显示器作为显示器代替原先的投影机加白幕，解决了投影机亮度越来越暗、显示不清的问题。再加上很多LCD显示器还具有触摸屏功能，也丰富了人机交互形式，因此投影机基本上退出了历史舞台。

但因为单色LED显示器多为显示红色字体、彩色LED显示器也有红色LED灯管。因此，红色的激光打在显示屏上时，没入了显示屏的红色显示之中，就看不到了。另一个方面，LED显示器或者LCD显示屏表面都很光滑且平整，对方向性很好的激光具有很好的反射作用，激光按一定的角度投射到显示屏上时，基本上被吸收或全反射出去，不产生漫反射，因此只有在特定的角度上可以看到全反射的激光，而绝大多数观众都看不到激光笔打出的激光。因此，在LED显示屏与LCD显示屏面前，激光笔无法使用，成为广大教师与演讲者的痛点。就这个问题，目前市场上推荐的解决方案是用大功率的绿光激光笔，但也并不能很好地解决这个问题。

发明内容

针对现有技术存在的问题，本发明提供了一种解决激光笔无法投射在显示屏上的方法及装置，通过激光笔在显示屏上的投射用在显示屏上显示一个光斑来实现，解决了激光笔投射在显示屏上时激光被吸收了或反射了的问题。

本发明解决其技术问题具体采用的技术方案是：

一种解决激光笔无法投射在显示屏上的方法，其特征在于：通过图像识别判断激光笔照射在显示屏上的激光点是否显示，如果不显示，则根据当前激光笔的指向在显示屏上对应的位置生成模拟激光点的光斑。

进一步地，通过将摄像头安装在激光笔上实现采集图像与激光笔朝向的耦合。

比如可以提前调试使激光笔产生的激光点始终位于所采集图像的中点，这样就能够更加方便地进行定位和判断。

进一步地，通过当前采集图像确定所述光斑生成的位置。

进一步地，所述摄像头将所采集图像发送至图像处理模块以完成激光点是否显示的判断，经连接显示屏的上位机，在显示屏上生成光斑。

其中图像处理模块可以设置在激光笔本体内，也可以设置在本体外，由于当前的微处理器技术已经十分成熟，因此优选可以直接集成在激光笔内，内置简单的图像处理算法和判断逻辑即可实现本发明的功能。

进一步地，在生成光斑的情况下通过图像采集对光斑的位置进行校准。

进一步地，在校准光斑位置时，对拍摄的图像先进行R、G、B的亮度分析，并结合光斑的形状识别光斑与激光光点；采用Sobel图像边沿锐化算法确定边沿信息，再结合灰度、光斑信息确定显示屏的区域。

以及，一种解决激光笔无法投射在显示屏上的装置，其特征在于，包括：激光笔和上位机；所述激光笔上设置有摄像头和图像识别模块，摄像头采集的图像与激光笔的朝向耦合；通过图像识别模块判断激光笔照射在显示屏上的激光点是否显示，以及根据采集的图像确定生成光斑的位置；所述激光笔将生成光斑的位置信息通过无线通信发送至上位机，并由上位机在显示屏上生成替代激光点的光斑。

进一步地，所述上位机通过HDMI线或无线连接到显示屏，使得显示屏实时显示上位机的输出内容。

进一步地，在生成光斑的情况下通过图像采集对光斑的位置进行校准，摄像头采集当前激光笔指向的中心点A的位置与激光笔当前投射光斑B的位置，如这两个位置不重叠，则使上位机显示的光斑B向当前激光笔的指向的中心点A靠近，实现激光笔在显示屏上投射指向的功能。

进一步地，所述图像处理模块采用Sobel图像边沿锐化算法确定边沿信息，再结合灰度、光斑信息确定显示屏的区域；所述图像处理模块对拍摄的图像先进行R、G、B的亮度分析，并结合光斑的形状识别光斑与激光光点。

作为优选，以上所述的显示屏可以是LED显示屏与LCD液晶显示屏等，作为上位机的显示器。激光笔与上位机之间的无线通信是蓝牙或星闪或WIFI等无线通信方式。

上位机为台式计算机、笔记本电脑或嵌入式系统。

图像处理器是单片机CPU、SoC处理器或用FPGA实现的图像处理器。

相比于现有技术，本发明及其优选方案设计的激光笔不仅可应用于一般场合，还可以应用于用各种大型显示屏作为显示界面的场合。有效解决了目前因使用大型LED屏、LCD屏而无法使用激光笔做指示的问题，解决了广大教师与演讲者目前无激光笔可用的痛点。

附图说明

下面结合附图和具体实施方式对本发明进一步详细的说明：

图1是本发明实施例装置硬件结构示意图；

图2是本发明实施例装置优选激光笔结构示意图；

图3是本发明实施摄像头拍摄的图像示意图。

具体实施方式

为让本专利的特征和优点能更明显易懂，下文特举实施例，作详细说明如下：

应该指出，以下详细说明都是例示性的，旨在对本申请提供进一步的说明。除非另有指明，本说明书使用的所有技术和科学术语具有与本申请所属技术领域的普通技术人员通常理解的相同含义。

需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本申请的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。

本发明提供的优选实施例中，实现解决激光笔无法投射在显示屏上的方案的装置包括激光笔、笔记本电脑、LCD大显示屏、无线接收模块等，整个系统硬件结构示意图请参照图1。激光笔内集成了有激光头、摄像头、USB无线发射模块、图像处理器、按键、充电电池等。激光笔的外观示意图请参照图2，整个激光笔集成有上下左右与OK等5个键，激光笔外观还可以看到的激光头、摄像头与可以插在激光笔USB充电口上的USB无线接收模块等。上下左右四个键可用于实现电脑屏幕上下翻页等功能，OK键可以用于点亮激光头与启动摄像头摄像等功能。摄像头拍摄的图像为激光笔所指向的前景画面，拍摄的画面（图像）示意图如图3所示。

基于以上装置系统的设计，本发明提供了一种解决激光笔无法投射在显示屏上的方法， 方法包括以下步骤 ：

S1、USB无线接收模块从激光笔上取下并插到笔记本电脑的USB接口上，实现笔记本电脑通过USB无线接收模块与激光笔的USB无线发射模块通讯的功能；笔记本电脑通过HDMI线或无线连接到LCD大显示屏，使得LCD大显示屏实时显示笔记本电脑的显示内容，形成一个交互界面。

S2、当用户按下激光笔上的OK键时，点亮激光头在激光笔指向的前景中投射出一个激光光点C，并启动摄像头拍摄激光笔所指向的前景画面；

S3、激光笔内部的图像处理器对拍摄的图像进行运算，以确定激光笔投射的激光光点C是否存在的结论。

S4、激光光点C如果存在，则表明激光投射的点不在显示屏范围内或者当前交互界面中并没有显示屏，只需按常规的激光笔来使用就可以了，不用通知笔记本电脑显示光斑B。如果不能在当前的图像中找到激光光点，则认为激光笔投射到了显示屏上，激光被吸收了或反射了，则图像处理器根据当前图像画面的信息来评估当前拍摄画面的中心点A在笔记本电脑显示画面中可能的坐标D，通过USB无线发送模块发送指令让笔记本电脑在当前显示界面中坐标D的位置上显示一个光斑B；

S5、进一步地，在笔记本电脑显示光斑B的情况下，在每一帧拍摄的图像中再去识别光斑B的位置、显示屏的区域范围。

S6、图像处理器判断光斑B与图像的中心点A位置是否重合，如不重合，则通过USB无线发送模块发送光斑B向中心点A移动的方向信息与运动速度等信息给笔记本电脑。

S7、笔记本电脑接收到USB无线接收模块发来的激光笔的指令信息，执行系统软件实现光斑B向图像的中心点A移动的动作，实现光斑跟随激光笔指向的中心点A移动而移动。

在用户按下激光笔上的OK键的情况下，以上步骤S2到S7都是持续的，激光笔内的无线发射模块一直将当前画面的中心点A的位置信息与光斑B的位置信息发送出去，笔记本电脑的USB无线接收模块接收到相关信息后便提交给笔记本电脑系统，系统实时响应光斑B跟随中心点A的操作，这样可以完成真实的激光笔的操作。

更进一步地，在步骤 S3与S5中分析识别激光光点C、光斑B的位置在及显示屏的区域范围过程中，激光光点C与光斑B的识别可以采用R、G、B分别进行亮度分析，激光光点的耀斑亮度都会高于周围环境可以很容易识别出来，而光斑B也可以将它显示成高亮且可以显示成特定的形状，可以用亮度与形状匹配分析出来。显示屏区域可以用Sobel等图像的边沿锐化算法确定边沿信息，再结合灰度、光斑B的位置等信息确定显示屏的区域。

以上所述，仅是本发明的较佳实施例而已，并非是对本发明作其它形式的限制，任何熟悉本专业的技术人员可能利用上述揭示的技术内容加以变更或改型为等同变化的等效实施例。但是凡是未脱离本发明技术方案内容，依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与改型，仍属于本发明技术方案的保护范围。

本专利不局限于上述最佳实施方式，任何人在本专利的启示下都可以得出其它各种形式的一种解决激光笔无法投射在显示屏上的方法及装置，凡依本发明申请专利范围所做的均等变化与修饰，皆应属本专利的涵盖范围。

Claims (10)

1.一种解决激光笔无法投射在显示屏上的方法，其特征在于：通过图像识别判断激光笔照射在显示屏上的激光点是否显示，如果不显示，则根据当前激光笔的指向在显示屏上对应的位置生成模拟激光点的光斑。

2.根据权利要求1所述的一种解决激光笔无法投射在显示屏上的方法，其特征在于：通过将摄像头安装在激光笔上实现采集图像与激光笔朝向的耦合。

3.根据权利要求2所述的一种解决激光笔无法投射在显示屏上的方法，其特征在于：通过当前采集图像确定所述光斑生成的位置。

4.根据权利要求2所述的一种解决激光笔无法投射在显示屏上的方法，其特征在于：所述摄像头将所采集图像发送至图像处理模块以完成激光点是否显示的判断，经连接显示屏的上位机，在显示屏上生成光斑。

5.根据权利要求1所述的一种解决激光笔无法投射在显示屏上的方法，其特征在于：在生成光斑的情况下通过图像采集对光斑的位置进行校准。

6.根据权利要求5所述的一种解决激光笔无法投射在显示屏上的方法，其特征在于：在校准光斑位置时，对拍摄的图像先进行R、G、B的亮度分析，并结合光斑的形状识别光斑与激光光点；采用Sobel图像边沿锐化算法确定边沿信息，再结合灰度、光斑信息确定显示屏的区域。

7.一种解决激光笔无法投射在显示屏上的装置，其特征在于，包括：激光笔和上位机；所述激光笔上设置有摄像头和图像识别模块，摄像头采集的图像与激光笔的朝向耦合；通过图像识别模块判断激光笔照射在显示屏上的激光点是否显示，以及根据采集的图像确定生成光斑的位置；所述激光笔将生成光斑的位置信息通过无线通信发送至上位机，并由上位机在显示屏上生成替代激光点的光斑。

8.根据权利要求7所述的一种解决激光笔无法投射在显示屏上的装置，其特征在于：所述上位机通过HDMI线或无线连接到显示屏，使得显示屏实时显示上位机的输出内容。

9.根据权利要求7所述的一种解决激光笔无法投射在显示屏上的装置，其特征在于：在生成光斑的情况下通过图像采集对光斑的位置进行校准，摄像头采集当前激光笔指向的中心点A的位置与激光笔当前投射光斑B的位置，如这两个位置不重叠，则使上位机显示的光斑B向当前激光笔的指向的中心点A靠近，实现激光笔在显示屏上投射指向的功能。

10.根据权利要求9所述的一种解决激光笔无法投射在显示屏上的装置，其特征在于：所述图像处理模块采用Sobel图像边沿锐化算法确定边沿信息，再结合灰度、光斑信息确定显示屏的区域；所述图像处理模块对拍摄的图像先进行R、G、B的亮度分析，并结合光斑的形状识别光斑与激光光点。