CN102436327B - 一种屏幕输入系统及其实现方法 - Google Patents

Abstract

本发明公开了一种屏幕输入系统及其实现方法，属于计算机输入设备技术领域。一种屏幕输入系统，包括操作屏幕、触屏装置、激光光幕发射器、接收装置及电脑主机，所述接收装置与所述激光光幕发射器安装在所述操作屏幕同一侧，所述接收装置包括红外滤镜、摄像头模组及信号处理模块，所述信号处理模块输出端设有与电脑主机建立通信的连接器，所述激光光幕发射器安装于所述操作屏幕顶部并在所述操作屏幕表面形成一个光幕，所述触屏装置接触所述操作屏幕并在接触处造成反射光点，所述摄像头模组获取光幕从所述反射光点反射的光线，所述信号处理模块对所述摄像头模组获取的光线影像进行处理。本发明制造成本低廉、结构简单、方便实用。

Description

一种屏幕输入系统及其实现方法

技术领域

本发明涉及计算机输入设备技术领域，尤其是涉及一种屏幕输入系统及其实现方法。

背景技术

随着数字技术的发展，人机交互中的输入技术正从传统的鼠标、键盘输入方式演变成多种多样的输入方式。随着智能手机和平板电脑的流行，更加人性化的直接屏幕手势输入方法已被广泛应用，最新的Windows7已经正式支持手势输入方法，这使得输入能够直接在用于输出图像的屏幕上进行，即屏幕直接输入，无需外接键盘和鼠标。

专利申请CN200810035544.6公开了一种激光笔指示与光点轨迹识别方法，利用亮度信息提取用户使用的指示工具在目标屏幕上指示出的光点位置，但由于光点与显示屏图像混在一起，影响了识别率。专利申请CN200620044540.0公开了一种光电定位及红外书写的投影仪及具有该投影仪的投影系统，但不能自动感知提笔、落笔操作，而且它局限于投影屏幕，不能应用在大尺寸液晶显示器、背投等显示设备上，不是一种通用的输入设备装置。专利申请CN200710039996.7公开了一种基于视觉跟踪与语音识别的鼠标系统，但仅通过检测跟踪红外标志物的光斑图像的移动转换为鼠标光标在显示桌面上的运动，而非屏幕上的光点位置，且无法实现屏幕上的交互式书写。专利申请CN200910157908.2公开了一种多重识别表面红外激光幕布装置与方法，但需在四个边角安装红外激光发射器，也没有提出配套的接收装置与图像处理方法，没有达成一种计算机输入系统。

触屏输入是通过在屏幕上安装特定的位置检测装置（如电容膜、电阻膜、红外光电矩阵等）来实现，由用户手指在触摸屏表面触碰产生信号变换实现控制操作，通过使用专门的触摸屏或电子白板可以实现接触式手势输入，能够直接在屏幕上书写文字、移动鼠标指针等。

在屏幕上直接进行输入的方法是未来的发展方向，小型电子产品可以直接触屏输入，在输入面积较小时成本很低，应用广泛，但触屏技术在普通电脑屏幕以及大屏幕展示、游戏娱乐等领域则存在诸多问题。

1.触屏输入采用专门的设备，对现有屏幕的升级成本过高，这需要将当前广泛使用的液晶显示器和CRT显示器更换成触摸屏显示器，在教学、展览、娱乐中广泛应用的投影屏幕则需要更换为电子白板。

2.电子白板、激光投影系统不仅价格较高，且占用空间、需要独立安装布线，且屏幕的定位校准工作繁琐。当前红外光电白板采用栅格式的红外发射管与接收装置、制造和安装繁琐，不能在现有普通屏幕上升级。

3.目前的手势输入是接触式手势输入，即必须接触或非常靠近屏幕进行，这样存在屏幕磨损以及卫生等问题，超过人体活动范围的大型投影屏幕上也不便实现接触式手势输入。

发明内容

本发明的目的是克服现有技术中的不足，提供一种结构简单、不受屏幕尺寸和种类的限制的一种屏幕输入系统及其实现方法。

为达上述目的，本发明的一种屏幕输入系统，其包括操作屏幕、触屏装置、激光光幕发射器、接收装置及电脑主机，所述接收装置安装在所述操作屏幕一侧表面前方，所述接收装置包括红外滤镜、设置于所述红外滤镜后侧的摄像头模组及与所述摄像头模组输出端连接的信号处理模块，所述信号处理模块输出端设有与电脑主机建立通信的连接器，所述激光光幕发射器对应所述接收装置安装于所述操作屏幕同一侧，所述激光光幕发射器在所述操作屏幕表面形成一个光幕，所述触屏装置接触所述操作屏幕并在接触处造成反射光点，所述摄像头模组获取光幕从所述反射光点反射的光线，所述信号处理模块对所述摄像头模组获取的光线影像进行处理。

进一步地，所述激光光幕发射器设置有激光发射管及玻璃透镜，所述激光发射管发射一束红外激光光线，所述红外激光光线透过所述玻璃透镜形成向前扩展光线。

进一步地，所述接收装置还包括外壳，所述红外滤镜、摄像头模组及信号处理模块分别设置于所述外壳内，所述外壳底端部设置有基座，所述基座上开设有定位孔。

进一步地，所述接收装置与所述操作屏幕顶部及底部边缘的垂直连线夹角为45~60度。

进一步地，所述触屏装置为操作者手指或笔型装置。

进一步地，所述电脑主机安装驱动应用软件。

进一步地，所述连接器为有线连接所述接收装置和电脑主机，包括USB插头及电缆线，或者所述连接器为无线连接所述接收装置和电脑主机的发射器及无线接收器。

本发明一种屏幕输入系统的实现方法，包括如下步骤：

（1）、将激光光幕发射器安装于操作屏幕顶部，将接收装置安装于操作屏幕顶部表面前方，对接收装置进行自动校准；

（2）、触屏装置接触所述操作屏幕并在接触处造成反射光点，光幕在反射光点的漫反射下形成各方向的红外光，接收装置中的摄像头模组获取反射光点反射的红外光影像；

（3）、接收装置中的信号处理模块对摄像头模组获取的红外光影像进行滤波消噪处理后识别所述反射光点的图像坐标，经过与校准参数计算后得到相应的操作屏幕实际坐标，该操作屏幕实际坐标数据进入轨迹数据队列；

（4）、反射光点在操作屏幕上的实际坐标通过连接器传送到电脑主机，电脑主机控制操作屏幕上的鼠标指针移动到反射光点的坐标位置，在鼠标指针经过的位置，操作屏幕上出现触屏装置移动的轨迹。

进一步地，所述接收装置自动校准包括如下步骤：

①、所述接收装置与所述操作屏幕顶部及底部边缘的垂直连线夹角为a，操作屏幕高度为h，计算出接收装置与操作屏幕的垂直距离L为： L= h* ctg a ；

②、运行应用软件，对所述接收装置与所述操作屏幕顶部及底部边缘的垂直连线夹角进行微调，使所述摄像头模组侦测到完整的操作屏幕；

③、操作屏幕上显示标准棋盘方格图像，摄像头模组获取操作屏幕上的棋盘方格图像的四角坐标（x1,y1）、（x2,y2）、（x3,y3）和（x4,y4），结合标准棋盘方格图形的实际坐标（X1,Y1）、（X2,Y2）、（X3,Y3）和（X4,Y4），通过下列方程组计算摄像头模组的摄像点与操作屏幕上反射光点的位置映射变换校准参数A、B、C、D、E、F、G、H：

其中，所述（X1,Y1）、（X2,Y2）、（X3,Y3）和（X4,Y4）为常量并分别赋值为（0,65535）、（65535,65535）、 （65535,0）和（0,0）；

④、信号处理模块通过高斯消元法求解方程组，然后将A、B、C、D、E、F、G、H的值存储在Flash内存中，操作屏幕上显示校准完成；

进一步地，所述反射光点的图像坐标识别是指：

从Flash内存中读取A、B、C、D、E、F、G、H的值，通过以下等式将摄像点坐标（x,y）映射到操作屏幕实际坐标（X,Y）：

X=(A*x+B*y+C)/(x+G*y+H)

Y=(D*x+E*y+F)/(x+G*y+H)。

综上所述，本发明一种屏幕输入系统通过在不同尺寸或材质的操作屏幕上安装激光光幕发射器及接收装置并可进行自动校准，配合触屏装置的多样性，制造成本低廉、结构简单、方便实用。本发明一种屏幕输入系统的实现方法通过在操作屏幕上安装激光光幕发射器，所述操作屏幕表面形成一个光幕，利用触屏装置接触所述操作屏幕并在接触处造成反射光点，光幕在反射光点的漫反射下形成各方向的红外光，接收装置获取反射光点的红外光影像并计算判断反射光点在操作屏幕上的实际坐标进而实现信息输入。

附图说明

图1为本发明一种屏幕输入系统的实施场景图。

图2为图1所示本发明一种屏幕输入系统的侧视图。

图3为图1所示本发明接收装置的结构示意图。

图4为图1所示本发明操作屏幕及激光光幕发射器组合图。

图5为图1所示本发明操作屏幕及激光光幕发射器另一组合图。

图6为图1所示本发明一种屏幕输入系统的实现方法的流程图。

具体实施方式

为能进一步了解本发明的特征、技术手段以及所达到的具体目的、功能，下面结合附图与具体实施方式对本发明作进一步详细描述。

请参阅图1至图6，本发明一种屏幕输入系统包括操作屏幕10、触屏装置20、激光光幕发射器30、接收装置40及电脑主机50。所述操作屏幕10可设置为CRT显示屏、投影布、墙幕及LED阵列的不同尺寸或材质的装置，所述操作屏幕10顶部和底部设置有凹槽，所述触屏装置20为操作者手指或笔型装置，所述激光光幕发射器30安装于操作屏幕10顶部凹槽，通过预先设计好的钳位固定装置钳位固定。所述激光光幕发射器30设置有激光发射管31及半月形玻璃透镜32，所述激光发射管31可以发射一束红外激光光线33，所述红外激光光线33经过一个光程到达所述玻璃透镜32，所述红外激光光线33透过所述玻璃透镜32形成向前扩展光线，通过钳位固定使光线在所述操作屏幕10表面形成一个扇状光幕34，所述触屏装置20接触所述操作屏幕10并在接触处造成反射光点21。

所述接收装置40包括外壳41、红外滤镜42、摄像头模组43及信号处理模块44，所述外壳41为半球形结构，所述外壳41包括透明窗口411，所述外壳41底端部设置有基座412，所述基座412上开设有定位孔413，以将所述接收装置40固定在墙壁或工作台面上。所述红外滤镜42、摄像头模组43及信号处理模块44分别设置于所述外壳41内，所述红外滤镜42能过滤可见光。所述摄像头模组43设置于所述红外滤镜42后侧，以获取光幕34从所述反射光点21反射并透过所述红外滤镜42的红外光线。所述信号处理模块44设置有微处理器441，所述微处理器441采用一片STM32F103增强型高速32位处理器，所述微处理器441输入端与所述摄像头模组43的输出端相连，所述微处理器441对所述摄像头模组43获取的红外光线影像进行滤波消噪处理从而识别所述反射光点21的图像坐标，所述微处理器441识别所述反射光点21的坐标方法是对所述操作屏幕10上的视频帧图像进行扫描，累加亮区的像素量，当像素量达到设定值时则判断该位置存在反射光点21；当扫描到另一亮区累加像素量达到设定值时，则判断有一个以上的反射光点21。所述信号处理模块44的输出端设有与电脑主机50建立通信的连接器60，所述连接器60为有线连接所述接收装置40和电脑主机50，包括USB插头61及电缆线62，或者所述连接器60为无线连接所述接收装置和电脑主机的发射器及无线接收器（图未示）。

所述电脑主机50安装驱动应用软件，以实现书写轨迹的绘制以及文字识别功能。

安装本发明时，操作者在所述操作屏幕10的一定高度内进行触屏操作时，所述激光光幕发射器30垂直安装在操作屏幕10顶部，所述扇形光幕34以120度角度向下照射；操作者对整个操作屏幕10进行触屏操作时，所述激光光幕发射器30分别安装在操作屏幕10顶部两侧并与所述操作屏幕10呈45度夹角，所述扇形光幕34以90度角度覆盖所述操作屏幕10表面矩形区域。所述接收装置40对应所述激光光幕发射器30安装在所述操作屏幕10顶部表面前方，所述接收装置40与所述操作屏幕10顶部及底部边缘的垂直连线夹角为45~60度，所述接收装置40安装位置初步确定后，运行应用软件，对所述接收装置40与所述操作屏幕10顶部及底部边缘的垂直连线夹角进行微调，使所述摄像头模组43侦测到完整的操作屏幕10。

所述一种屏幕输入系统的实现方法步骤如下：

（1）、将激光光幕发射器30安装于操作屏幕10顶部，将接收装置40安装于操作屏幕10顶部表面前方，对接收装置40进行自动校准。

所述接收装置40自动校准步骤包括：

①、所述接收装置40与所述操作屏幕10顶部及底部边缘的垂直连线夹角为a，操作屏幕10高度为h，计算出接收装置40与操作屏幕10的垂直距离L为： L= h* ctg a ；

②、运行应用软件，对所述接收装置40与所述操作屏幕10顶部及底部边缘的垂直连线夹角进行微调，使所述摄像头模组43侦测到完整的操作屏幕10；

③、操作屏幕10上显示标准棋盘方格图像，摄像头模组43获取操作屏幕10上的棋盘方格图像的四角坐标（x1,y1）、（x2,y2）、（x3,y3）和（x4,y4），结合标准棋盘方格图形的实际坐标（X1,Y1）、（X2,Y2）、（X3,Y3）和（X4,Y4），所述（X1,Y1）、（X2,Y2）、（X3,Y3）和（X4,Y4）为常量并分别赋值为（0,65535）、（65535,65535）、 （65535,0）和（0,0）。通过下列方程组计算摄像头模组43的摄像点与操作屏幕10上反射光点21的位置映射变换校准参数A、B、C、D、E、F、G、H：

④、信号处理模块44通过高斯消元法求解方程组，然后将A、B、C、D、E、F、G、H的值存储在Flash内存中，操作屏幕10上显示校准完成。

（2）、触屏装置20接触所述操作屏幕10并在接触处造成反射光点21，光幕34在反射光点21的漫反射下形成各方向的红外光，接收装置40中的摄像头模组43获取反射光点21反射的红外光影像。

（3）、接收装置40中的信号处理模块44对摄像头模组43获取的红外光影像进行滤波消噪处理后识别所述反射光点21的图像坐标，经过与校准参数计算后得到相应的操作屏幕实际坐标，该操作屏幕实际坐标数据进入轨迹数据队列。

所述反射光点21的图像坐标识别方法是指：

从Flash内存中读取A、B、C、D、E、F、G、H的值，通过以下等式将摄像点坐标（x,y）映射到操作屏幕实际坐标（X,Y）：

X=(A*x+B*y+C)/(x+G*y+H)

Y=(D*x+E*y+F)/(x+G*y+H)。

（4）、反射光点21在操作屏幕10上的实际坐标通过连接器60传送到电脑主机50，电脑主机50控制操作屏幕10上的鼠标指针移动到反射光点21的坐标位置，在鼠标指针经过的位置，操作屏幕10上出现触屏装置20移动的轨迹；电脑主机50通过投影仪等设备将图像投影到操作屏幕10。

所述触屏装置20为操作者手指时，所述触屏装置20在操作屏幕10上移动鼠标指针的步骤包括：

①、操作者手指触及操作屏幕10显示的操作对象并在接触处造成反射光点21，手指穿透操作屏幕10表面上方的光幕34时会反射光幕34的红外光；     

②、接收装置40中的摄像头模组43获取到被手指反射的红外光影像；     

③、接收装置40中的微处理器441提取反射光点21的位置并经过与校准参数计算后得到相应的操作屏幕实际坐标，通过连接器60传送给电脑主机50；     

④、电脑主机50桌面上图标或窗口响应按下事件被点击或被拽住；     

⑤、操作者滑动手指，操作屏幕10上的反射光点21位置也随之变化，接收装置40不断对反射光点21位置进行计算，将反射光点21的移动转换为鼠标指针的移动，从而拖动屏幕对象。

所述触屏装置20为操作者手指时，所述触屏装置20在操作屏幕10上书写的步骤包括：

①、操作者手指点击操作屏幕10上的应用软件书写功能，进入书写模式，操作屏幕10上的鼠标光标变成笔型；     

②、操作者手指触及操作屏幕10并在接触处造成反射光点21，手指穿透操作屏幕10表面上方的光幕34时会反射光幕34的红外光；

③、接收装置40中的摄像头模组43获取到被手指反射的红外光影像；

④、接收装置中40的微处理器441提取反射光点21的位置并经过与校准参数计算后得到相应的操作屏幕实际坐标，通过连接器60传送给电脑主机50；     

⑤、操作者在操作屏幕10上滑动手指书写笔画或划线，操作屏幕10上的反射光点21位置也随之变化，接收装置40不断对反射光点21位置进行计算，将反射光点21的移动在操作屏幕10上以特定颜色绘制出轨迹；

⑥、操作者手指离开操作屏幕10和光幕34，反射光点21消失，接收装置40侦测不到反射光点21，本次轨迹绘制结束，即完成一次笔画或划线，重复操作可完成文字的书写或图形的绘制；

当电脑主机50内的应用软件启用了文字识别模块时，应用软件可对操作屏幕10上的书写轨迹进行手写文字识别。

综上所述，本发明一种屏幕输入系统通过在不同尺寸或材质的操作屏幕10上安装激光光幕发射器30及接收装置40并可进行自动校准，配合触屏装置20的多样性，制造成本低廉、结构简单、方便实用。本发明一种屏幕输入系统的实现方法通过在操作屏幕10上安装激光光幕发射器30，所述操作屏幕10表面形成一个光幕34，利用触屏装置20接触所述操作屏幕10并在接触处造成反射光点21，光幕34在反射光点21的漫反射下形成各方向的红外光，接收装置40获取反射光点21的红外光影像并计算判断反射光点21在操作屏幕10上的实际坐标进而实现信息输入。

以上所述实施例仅表达了本发明的一种实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明的保护范围应以所附权利要求为准。

Claims (9)

1.一种屏幕输入系统的实现方法，其特征在于，包括如下步骤：

（1）、将激光光幕发射器（30）安装于操作屏幕（10）顶部，将接收装置（40）安装于操作屏幕（10）顶部表面前方，对接收装置（40）进行自动校准；其中，接收装置（40）自动校准包括如下步骤，

①、对接收装置（40）与操作屏幕（10）顶部及底部边缘的垂直连线夹角进行微调，使摄像头模组（43）侦测到完整的操作屏幕（10）；

②、操作屏幕（10）上显示标准棋盘方格图像，摄像头模组（43）获取操作屏幕上的棋盘方格图像的四角坐标（x1,y1）、（x2,y2）、（x3,y3）和（x4,y4），结合标准棋盘方格图形的实际坐标（X1,Y1）、（X2,Y2）、（X3,Y3）和（X4,Y4），通过下列方程组计算摄像头模组（43）的摄像点与操作屏幕（10）上反射光点（21）的位置映射变换校准参数A、B、C、D、E、F、G、H：

其中，所述（X1,Y1）、（X2,Y2）、（X3,Y3）和（X4,Y4）为常量并分别赋值为（0,65535）、（65535,65535）、 （65535,0）和（0,0）；

③、信号处理模块（44）通过高斯消元法求解方程组，然后将A、B、C、D、E、F、G、H的值存储在Flash内存中，操作屏幕（10）上显示校准完成；

（2）、触屏装置（20）接触所述操作屏幕（10）并在接触处造成反射光点（21），光幕（34）在反射光点（21）的漫反射下形成各方向的红外光，接收装置（40）中的摄像头模组（43）获取反射光点（21）反射的红外光影像；

（3）、接收装置（40）中的信号处理模块（44）对摄像头模组（43）获取的红外光影像进行滤波消噪处理后识别所述反射光点（21）的图像坐标，经过与校准参数计算后得到相应的操作屏幕实际坐标，该操作屏幕实际坐标数据进入轨迹数据队列；

（4）、反射光点（21）在操作屏幕（10）上的实际坐标通过连接器（60）传送到电脑主机（50），电脑主机（50）控制操作屏幕（10）上的鼠标指针移动到反射光点（21）的坐标位置，在鼠标指针经过的位置，操作屏幕（10）上出现触屏装置（20）移动的轨迹。

2.根据权利要求1所述的一种屏幕输入系统的实现方法，其特征在于，所述反射光点（21）的图像坐标识别是指，

从Flash内存中读取A、B、C、D、E、F、G、H的值，通过以下等式将摄像点坐标（x,y）映射到操作屏幕实际坐标（X,Y）：

X=(A*x+B*y+C)/(x+G*y+H)

Y=(D*x+E*y+F)/(x+G*y+H)。

3.一种基于权利要求1或2所述实现方法的屏幕输入系统，包括操作屏幕（10）、触屏装置（20）、激光光幕发射器（30）、接收装置（40）及电脑主机（50），所述接收装置（40）安装在所述操作屏幕（10）一侧表面前方，所述接收装置（40）包括红外滤镜（42）、设置于所述红外滤镜（42）后侧的摄像头模组（43）及与所述摄像头模组（43）输出端连接的信号处理模块（44），所述信号处理模块（44）输出端设有与电脑主机（50）建立通信的连接器（60），其特征在于：所述激光光幕发射器（30）对应所述接收装置（40）安装于所述操作屏幕（10）同一侧，所述激光光幕发射器（30）在所述操作屏幕（10）表面形成一个光幕（34），所述触屏装置（20）接触所述操作屏幕（10）并在接触处造成反射光点（21），所述摄像头模组（43）获取光幕（34）从所述反射光点（21）反射的光线，所述信号处理模块（44）对所述摄像头模组（43）获取的光线影像进行处理。

4.根据权利要求3所述的一种屏幕输入系统，其特征在于：所述激光光幕发射器（30）设置有激光发射管（31）及玻璃透镜（32），所述激光发射管（31）发射一束红外激光光线（33），所述红外激光光线（33）透过所述玻璃透镜（32）形成向前扩展光线。

5.根据权利要求3所述的一种屏幕输入系统，其特征在于：所述接收装置（40）还包括外壳（41），所述红外滤镜（42）、摄像头模组（43）及信号处理模块（44）分别设置于所述外壳（41）内，所述外壳（41）底端部设置有基座（412），所述基座（412）上开设有定位孔（413）。

6.根据权利要求3所述的一种屏幕输入系统，其特征在于：所述接收装置（40）与所述操作屏幕（10）顶部及底部边缘的垂直连线夹角为45~60度。

7.根据权利要求3所述的一种屏幕输入系统，其特征在于：所述触屏装置（20）为操作者手指或笔型装置。

8.根据权利要求3所述的一种屏幕输入系统，其特征在于：所述电脑主机（50）安装驱动应用软件。

9.根据权利要求3所述的一种屏幕输入系统，其特征在于：所述连接器（60）为有线连接所述接收装置（40）和电脑主机（50），包括USB插头（61）及电缆线（62），或者所述连接器（60）为无线连接所述接收装置（40）和电脑主机（50）的发射器及无线接收器。