CN108062186A - 一种多功能激光虚拟键盘 - Google Patents

一种多功能激光虚拟键盘 Download PDF

Info

Publication number
CN108062186A
CN108062186A CN201810011771.9A CN201810011771A CN108062186A CN 108062186 A CN108062186 A CN 108062186A CN 201810011771 A CN201810011771 A CN 201810011771A CN 108062186 A CN108062186 A CN 108062186A
Authority
CN
China
Prior art keywords
keyboard
host computer
laser
image
finger
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810011771.9A
Other languages
English (en)
Inventor
王钱袁
邓开连
刘浩
刘晓洁
燕帅
李楠
华村
华一村
卢学民
沈利芳
张永芳
李华景
张凌轩
薛元
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Donghua University
National Dong Hwa University
Original Assignee
Donghua University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Donghua University filed Critical Donghua University
Priority to CN201810011771.9A priority Critical patent/CN108062186A/zh
Publication of CN108062186A publication Critical patent/CN108062186A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0425—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected
    • G06F3/0426—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected tracking fingers with respect to a virtual keyboard projected or printed on the surface

Abstract

本发明涉及一种多功能激光虚拟键盘，包括激光键盘投影模块、红外一字线激光器、摄像头传感器、微处理器和上位机，所述激光键盘投影模块用于在一个平面产生键盘的图案；所述红外一字线激光器产生与平面平行的线激光用于指示手指的按键位置；所述摄像头传感器用于采集手指的按键位置图像，将图像信息反馈给微处理器；所述微处理器将图像信息传输给所述上位机；所述上位机接收图像信息并进行图像处理，通过投影键盘图案的按键位置与摄像头传感器采集的键盘按键位置的映射关系，通过映射关系可完成按键检测功能、触摸屏功能以及涂鸦绘画功能。

Description

一种多功能激光虚拟键盘
技术领域
本发明涉及一种输入设备，特别是涉及一种多功能激光虚拟键盘。
背景技术
随着社会经济的迅猛发展，近几年来笔记本、IPAD、智能手机等多种智能终端的兴起，人们对交互键盘的使用体验要求越来越高，不仅仅局限于运行稳定，对时尚便携、功能创新等方面的需求越来越高。目前，市场上已有的支持智能终端的交互键盘涉及机械电子键盘、触屏式软键盘、折叠键盘、激光投影虚拟键盘等等。但是这些设备都存在着很多缺点，从键盘的实现原理来看，目前基于电子线路的机械电子键盘有敲击声音，维修不方便，不能严格防水。基于纯软件实现的软键盘，受到触摸屏幕的限制，输入速度慢，正确率低，用户体验更是被用户诟病已久。目前市场上新兴的虚拟键盘都是投影式虚拟键盘，是基于图像处理技术实现的新型键盘，工作原理和传统键盘有着本质上的区别，此产品兼具机械键盘与软键盘的优点，但发展还不成熟，而且价格昂贵，存在许多局限性。
发明内容
本发明所要解决的技术问题是提供一种多功能激光虚拟键盘，能够实现多种功能。
本发明解决其技术问题所采用的技术方案是：提供一种多功能激光虚拟键盘，包括激光键盘投影模块、红外一字线激光器、摄像头传感器、微处理器和上位机，所述激光键盘投影模块用于在一个平面产生键盘的图案；所述红外一字线激光器产生与平面平行的线激光用于指示手指的按键位置；所述摄像头传感器用于采集手指的按键位置图像，将图像信息反馈给微处理器；所述微处理器将图像信息传输给所述上位机；所述上位机接收图像信息并进行图像处理，通过投影键盘图案的按键位置与摄像头传感器采集的键盘按键位置的映射关系，识别手指按下按键的位置，实现键盘的功能。
所述上位机还根据手指按下按键的位置，将该位置的中心作为触摸点，整个投影平面作为触摸屏，实现触摸屏的功能，支持多点触摸。
所述上位机通过检测手指位置的轨迹，在上位机上进行绘图，完成涂鸦功能，可以自由选择不同的颜色进行绘图，选择多样。
所述上位机进行的图像处理包括：对接收到的图像进行灰度化处理，对灰度化处理后的图像进行阈值化变为二值化图像，最后对二值化图像进行边界检测，并用最小的矩形来包围检测到的边界，将矩形中心对应的坐标在事先调整好的坐标数组中进行查找，得到准确按键位置。
所述微处理器通过自带的通用同步异步收发器模块与上位机相连。
有益效果
由于采用了上述的技术方案，本发明与现有技术相比，具有以下的优点和积极效果：本发明采用低成本的微处理器、激光发射器和摄像头模块，解决价格昂贵的问题，同时用体积比传统键盘小的模具来搭建键盘，解决占地空间大的问题。通过加入触摸屏和绘画涂鸦的功能，最终形成多功能的键盘，更好地满足消费者的需求。
附图说明
图1是本发明的整体结构框图；
图2是微处理器模块与CMOS摄像头连接图；
图3是PC端上位机图像处理流程图；
图4是PC端上位机键盘模式界面图；
图5是PC端上位机触摸屏模式界面图；
图6是PC端上位机涂鸦模式界面图。
具体实施方式
下面结合具体实施例，进一步阐述本发明。应理解，这些实施例仅用于说明本发明而不用于限制本发明的范围。此外应理解，在阅读了本发明讲授的内容之后，本领域技术人员可以对本发明作各种改动或修改，这些等价形式同样落于本申请所附权利要求书所限定的范围。
本发明的实施方式涉及一种多功能激光虚拟键盘，如图1所示，包括激光键盘投影模块、红外一字线激光器、摄像头传感器、微处理器和上位机，所述激光键盘投影模块用于在一个平面产生键盘的图案；所述红外一字线激光器产生与平面平行的线激光用于指示手指的按键位置；所述摄像头传感器用于采集手指的按键位置图像，将图像信息反馈给微处理器；所述微处理器将图像信息传输给所述上位机；所述上位机接收图像信息并进行图像处理，通过投影键盘图案的按键位置与摄像头传感器采集的键盘按键位置的映射关系，识别手指按下按键的位置，实现键盘的功能。所述上位机还根据手指按下按键的位置，将该位置的中心作为触摸点，整个投影平面作为触摸屏，实现触摸屏的功能。所述上位机通过检测手指位置的轨迹，在上位机上进行绘图，完成涂鸦功能。
其中，激光虚拟键盘的投影模块和红外一字线激光器采用标称电压为3.7V的锂电池供电，环保无污染，而且锂电池可以通过充电重复使用，寿命较长。激光键盘投影模块和红外一字线激光器的功率都为几十毫瓦，功耗非常低，节约能源。
本实施方式中微处理器采用STM32F407VET6单片机作为核心。使用激光键盘投影模块和红外一字线激光器投影在平面上产生键盘的图案。通过在CMOS摄像头前加一片滤光片用于滤除干扰光，只剩下手指挡住红外线激光的弧形光斑。通过STM32F407VET6单片机采集CMOS摄像头中的图像数据用同步异步收发器(USART)模块发送给PC，PC通过上位机处理图像完成键盘模式、触摸屏模式和涂鸦模式三种模式的功能。
如图2所示为CMOS摄像头和微处理器模块的连接图。本设计采用的微处理器模块为STM32F407VET6单片机。STM32F407VET6单片机有内部的数字摄像头接口(DCMI)模块，将对应的引脚设置为复用功能并连接CMOS摄像头的引脚。DCMI模块不但有直接内存存取(DMA)接口，可以将数据传输的速度大大加快，而且还有FIFO，可以进行数据缓冲，防止因数据传输过快而出错，同时支持JPEG压缩数据，传输的数据量大大减小，也加快了传输的速度。
如图3所示，PC上位机进行图像处理，先对接收到的图像进行灰度化，方便后面的图像处理，然后进行阈值化，变为二值化图像，将采集到的手指按键位置处的部分变得更加突出，处理起来更容易，最后进行边界检测，并用最小的矩形来包围检测到的边界，将矩形中心对应的坐标在事先调整好的坐标数组中进行查找，得到准确按键位置，同时可以扩展出其他功能。
本实施方式的多功能激光虚拟键盘具体使用原理如下：
1.使用激光键盘投影模块在一个平面(如桌面)产生键盘的图案，用紧贴平面的红外一字线激光器在键盘图案上方产生线激光平面，与键盘图案所在平面平行。
2.使用添加滤光片的CMOS摄像头模块采集图像。因为该滤光片的截止波长为400nm-760nm，高透波长为800nm-1100nm，而键盘图案的光波长为650nm，线激光波长为808nm，所以键盘图案的光和可见光都被过滤掉了，而只剩下线激光波段。当有手指按下键盘时，线激光会被挡住，形成圆弧形的光斑，所以被摄像头采集的图像只有手指的位置。
3.用STM32F407VET6单片机连接摄像头，读回摄像头采集的图像数据用通用同步异步收发器(USART)模块通过USB数据线发送给PC上位机。STM32F407VET6单片机每采集到一帧图像便产生一次中断，将这一帧图像传送给PC上位机。
4.PC上位机接收到图像数据，使用计算机语言C#编写窗体应用程序作为上位机。将手指在投影的键盘图案中按下的位置和PC上位机收到的图像中的手指位置形成坐标映射关系，存入一个数组中，存入信息为按键在PC上位机接收图像中的坐标。
5.使用图像处理软件库EmguCV处理图像。调用CvtColor函数将采集到的图像转化为灰度图。
6.调用Threshold函数将图像进行阈值化操作，转化为二值图像。
7.调用FindContours函数寻找手指按下位置的边界。
8.调用BoundingRectangle函数用最小的矩形包围找到的边界。
9.把矩形中心位置作为手指按下位置，通过坐标映射关系来确定是哪个键被按下，完成键盘的功能。
图4所示的是键盘模式运行界面。首先选择连接的串口号，然后选择波特率为230400，点击打开串口按钮，上位机便开始工作。只要点击最下方的“键盘”按钮，便可以进入键盘模式，显示的图像为手指按下挡住线激光形成的圆弧形光斑，在下面有“按下的按键为”字样提示按下的键是什么内容。
10.因为现实中手指移动的方向和图像中手指移动的方向上下相反，并且左右相反，所以需要形成新的映射来完成触摸屏功能。PC上位机上接收到的图像分辨率为480*240，将坐标进行对称变换，假设接收到的坐标为(X，Y)，则将其变为(480-X,240-Y)，通过绘图函数重新绘制新的位图。
图5所示的是触摸屏模式运行界面。在打开串口的基础上，点击最下方的“触摸屏”按钮，即可进入触摸屏模式，显示的图像为手指触摸的位置，因为边界检测函数可以同时检测到多个边界，所以该模式可以支持多点触摸，可以让多个手指都被检测到。当上位机检测到位置后，进行坐标对称转换，画一个空心圆来指示手指的位置，完成触摸屏的功能。
11.涂鸦功能为在触摸屏功能的基础上的拓展。通过触摸屏功能得到的位置，选择不同的RGB值，构成不同的颜色，在触摸的位置进行画点，当触摸的位置连续移动时，就完成了画图的功能。
图6所示的是涂鸦模式运行界面。在打开串口的基础上，点击最下方的“涂鸦”按钮，即可进入涂鸦模式，在界面左下方的位置选择不同的RGB值，即可选择不同颜色的画笔，通过触摸屏功能检测到按键位置，在这些位置画出所选颜色的点，就可以完成涂鸦功能。
由此可见，本实施方式在PC上位机上设计了良好的人机交互界面，可以从界面上知道手指按键的位置和按下的键的内容。如果用作触摸屏，可以从界面上看到触摸位置。如果用作绘图，可以从界面上看到所画的图。
不难发现，本发明的激光虚拟键盘设计功能多样化，既可以作为键盘进行按键检测，也可以作为触摸屏检测触摸位置，支持多点触摸，同时还可以作为画板进行绘图，并且颜色可以挑选。

Claims (5)

1.一种多功能激光虚拟键盘，包括激光键盘投影模块、红外一字线激光器、摄像头传感器、微处理器和上位机，其特征在于，所述激光键盘投影模块用于在一个平面产生键盘的图案；所述红外一字线激光器产生与平面平行的线激光用于指示手指的按键位置；
所述摄像头传感器用于采集手指的按键位置图像，将图像信息反馈给微处理器；所述微处理器将图像信息传输给所述上位机；所述上位机接收图像信息并进行图像处理，通过投影键盘图案的按键位置与摄像头传感器采集的键盘按键位置的映射关系，识别手指按下按键的位置，实现键盘的功能。
2.根据权利要求1所述的多功能激光虚拟键盘，其特征在于，所述上位机还根据手指按下按键的位置，将该位置的中心作为触摸点，整个投影平面作为触摸屏，实现触摸屏的功能。
3.根据权利要求1所述的多功能激光虚拟键盘，其特征在于，所述上位机通过检测手指位置的轨迹，在上位机上进行绘图，完成涂鸦功能。
4.根据权利要求1所述的多功能激光虚拟键盘，其特征在于，所述上位机进行的图像处理包括：对接收到的图像进行灰度化处理，对灰度化处理后的图像进行阈值化变为二值化图像，最后对二值化图像进行边界检测，并用最小的矩形来包围检测到的边界，将矩形中心对应的坐标在事先调整好的坐标数组中进行查找，得到准确按键位置。
5.根据权利要求1所述的多功能激光虚拟键盘，其特征在于，所述微处理器通过自带的通用同步异步收发器模块与上位机相连。
CN201810011771.9A 2018-01-05 2018-01-05 一种多功能激光虚拟键盘 Pending CN108062186A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810011771.9A CN108062186A (zh) 2018-01-05 2018-01-05 一种多功能激光虚拟键盘

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810011771.9A CN108062186A (zh) 2018-01-05 2018-01-05 一种多功能激光虚拟键盘

Publications (1)

Publication Number Publication Date
CN108062186A true CN108062186A (zh) 2018-05-22

Family

ID=62141322

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810011771.9A Pending CN108062186A (zh) 2018-01-05 2018-01-05 一种多功能激光虚拟键盘

Country Status (1)

Country Link
CN (1) CN108062186A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109062419A (zh) * 2018-08-09 2018-12-21 郑州大学 一种优化的激光投影虚拟键盘
CN110275626A (zh) * 2019-06-24 2019-09-24 郑州轻工业学院 一种互动投影涂鸦工具及使用方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103399644A (zh) * 2013-07-09 2013-11-20 东莞光阵显示器制品有限公司 一种激光虚拟键盘的实现方法及装置
CN105549795A (zh) * 2015-12-11 2016-05-04 杭州东尚光电科技有限公司 用衍射光学元件实现的激光投影虚拟键盘系统及操作方法
CN205545647U (zh) * 2016-03-07 2016-08-31 绵阳光迅电子技术有限公司 带虚拟键盘的微型智能投影仪

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103399644A (zh) * 2013-07-09 2013-11-20 东莞光阵显示器制品有限公司 一种激光虚拟键盘的实现方法及装置
CN105549795A (zh) * 2015-12-11 2016-05-04 杭州东尚光电科技有限公司 用衍射光学元件实现的激光投影虚拟键盘系统及操作方法
CN205545647U (zh) * 2016-03-07 2016-08-31 绵阳光迅电子技术有限公司 带虚拟键盘的微型智能投影仪

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
蔡睿妍: "激光虚拟键盘的设计与实现", 《激光与红外》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109062419A (zh) * 2018-08-09 2018-12-21 郑州大学 一种优化的激光投影虚拟键盘
CN110275626A (zh) * 2019-06-24 2019-09-24 郑州轻工业学院 一种互动投影涂鸦工具及使用方法

Similar Documents

Publication Publication Date Title
CN111240789B (zh) 一种微件处理方法以及相关装置
CN202189336U (zh) 用于捕捉和处理手写注释数据的捕捉系统和设备
US6512838B1 (en) Methods for enhancing performance and data acquired from three-dimensional image systems
CN103729055B (zh) 多显示设备、输入笔、多显示控制方法和多显示系统
US9372540B2 (en) Method and electronic device for gesture recognition
CN103809880B (zh) 人机交互系统及方法
US9201590B2 (en) Method and electronic device for gesture-based key input
CN107918563A (zh) 一种复制和粘贴的方法、数据处理装置和用户设备
EP2778849A1 (en) Method and apparatus for operating sensors of user device
CN104850189A (zh) 一种兼具智能手机功能和个人计算机功能的移动智能终端
US20170052620A1 (en) Device And Method For Operating On Touch Screen, And Storage Medium
CN109164949A (zh) 一种聊天消息定位方法及移动终端
US20140267025A1 (en) Method and apparatus for operating sensors of user device
CN105183236A (zh) 一种触屏输入装置与方法
CN108415641A (zh) 一种图标的处理方法及移动终端
CN108563383A (zh) 一种图像查看方法及移动终端
CN107102773A (zh) 一种防误触控方法、终端及计算机可读存储介质
CN110221761A (zh) 显示方法及终端设备
CN107783747A (zh) 一种界面显示处理方法及移动终端
CN108062186A (zh) 一种多功能激光虚拟键盘
CN109710155A (zh) 一种信息处理方法及终端设备
CN109471841A (zh) 一种文件分类方法和装置
CN109065001A (zh) 一种图像的降采样方法、装置、终端设备和介质
CN211454535U (zh) 一种基于机器视觉的便携式激光虚拟键盘
CN107765900A (zh) 一种智能笔、智能笔的控制方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20180522

WD01 Invention patent application deemed withdrawn after publication