CN105183242A - 基于虚拟网格畸变区域识别的虚拟键盘及其控制方法 - Google Patents

Abstract

本发明公开了一种基于虚拟网格畸变区域识别的虚拟键盘及其控制方法，该虚拟键盘由光线投射装置、图像接收装置、键位识别模块组成，光线投射装置用于发出光线投射在平面介质上形成光线网格和键盘的键位图案，图像接收装置用于对平面介质上的光线网格进行图像采集，键位识别模块用于对图形接收装置采集到的网格图像进行图形识别并找出畸变区域对应的键位。本发明结合微光学激光投射技术和图形识别技术，针对不同角度下投射导致的键位图案变形能够正确识别，具有自适应能力，便于集成应用到数码产品中，实现功能的扩展。

Description

基于虚拟网格畸变区域识别的虚拟键盘及其控制方法

技术领域

本发明涉及一种虚拟键盘及其控制方法，特别是涉及一种基于虚拟网格畸变区域识别的虚拟键盘及其控制方法。

背景技术

虚拟键盘作为数码产品的辅助设备，可以提高人机交互的输入效率，增强使用的舒适性，目前虚拟键盘产品所采用的线激光测距方式，投射出来的虚拟键盘键位通过预先设置的实际测量坐标识别，如果放置角度发生偏差或温度导致的产品尺寸发生变化，则原键位对应的坐标距离将发生偏离，导致键位识别出现错误，由于不能自动适应变化，无法获得良好的使用效果。随着数码产品的轻薄化、大屏化，并且根据个人的使用习惯和需求，将数码产品竖立起来后的角度很难保证能够满足精度要求，由于此不足，将此技术延伸集成应用到数码产品中存在较大的难度。

发明内容

本发明所要解决的技术问题是提供一种基于虚拟网格畸变区域识别的虚拟键盘及其控制方法，其结合微光学激光投射技术和图形识别技术，针对不同角度下投射导致的键位图案变形能够正确识别，具有自适应能力，便于集成应用到数码产品中，实现功能的扩展。

本发明是通过下述技术方案来解决上述技术问题的：一种基于虚拟网格畸变区域识别的虚拟键盘，其特征在于，其由光线投射装置、图像接收装置、键位识别模块组成，光线投射装置用于发出光线投射在平面介质上形成光线网格和键盘的键位图案，图像接收装置用于对平面介质上的光线网格进行图像采集，键位识别模块用于对图形接收装置采集到的网格图像进行图形识别并找出畸变区域对应的键位。

优选地，所述光线投射装置包括键位投射装置和网格投射装置。

优选地，所述图像接收装置包括摄像头。

优选地，所述光线投射装置安装在一个竖起的数码产品底部。

优选地，所述图像接收装置安装在一个竖起的数码产品的顶部。

优选地，所述光线投射装置采用红色激光作为光源。

本发明还提供一种基于虚拟网格畸变区域识别的虚拟键盘的控制方法，其特征在于，其包括以下步骤：

第一步：光线投射装置发出的光线投射在平面介质上形成光线网格和键盘的键位图案；

第二步：图形接收装置对平面介质上的光线网格进行图像采集，将采集到的网格图像采集到的网格图像发送给键位识别模块；

第三步：键位识别模块对图形接收装置采集到的网格图像进行图形识别并找出畸变区域对应的键位。

优选地，所述第三步中，首先通过图形识别找出畸变区域的网格坐标，然后根据键盘键位与网格坐标的对应关系找出对应的键位，将平面进行虚拟网格化后，在图形空间中通过图形识别定位畸变区域的网格坐标，从而获得按下的键位信息，通过虚拟网格和网格坐标的使用，避免了实际测量坐标偏差导致的键位识别错误，实现了虚拟键盘的自适应。

优选地，所述图像接收装置在键盘的键位图案停止显示时对网格图像进行采集，这样能够简化图形中的无用信息，保留必要的特征信息，从而降低运算量，加快计算速度；键位识别模块自动进行网格变形的修正校准，通过图形计算变换，将变形的网格转换为矩形，以便图形中网格坐标的识别。

本发明的积极进步效果在于：本发明结合微光学激光投射技术和图形识别技术，针对不同角度下投射导致的键位图案变形能够正确识别，具有自适应能力，便于集成应用到数码产品中，实现功能的扩展，结构简单，成本低。

附图说明

图1为本发明基于虚拟网格畸变区域识别的虚拟键盘的工作原理图。

图2为虚拟键盘键位与网格自动校准示意图。

图3为间隔图像采样原理图。

图4为手指按下时图像中网格畸变示意图。

具体实施方式

下面结合附图给出本发明较佳实施例，以详细说明本发明的技术方案。

本发明基于虚拟网格畸变区域识别的虚拟键盘由光线投射装置、图像接收装置、键位识别模块组成，光线投射装置用于发出光线投射在平面介质上形成光线网格和键盘的键位图案，图像接收装置用于对平面介质上的光线网格进行图像采集，键位识别模块用于对图形接收装置采集到的网格图像进行图形识别并找出畸变区域对应的键位。光线投射装置包括键位投射装置和网格投射装置。图像接收装置包括摄像头。在物体平面投射出光线网格，本发明将平面进行虚拟网格化后图像采集，当图像发生变形时，通过图像处理算法的识别和变换，仍可得到变形区域的网格坐标。

本发明基于虚拟网格畸变区域识别的虚拟键盘的控制方法包括以下步骤：

第一步：光线投射装置发出的光线投射在平面介质上形成光线网格和键盘的键位图案，其中键位图案是间隔投射的，并且键位图案的光线比网格图案的亮，从而达到良好的视觉识别效果；

第二步：为了简化图形中的无用信息，保留必要的特征信息，键位检测在键位图案停止投射的间隔中进行，此时光线网格仍然存在，图形接收装置对平面介质上的光线网格进行图像采集，将采集到的网格图像发送给键位识别模块；

第三步：图像采集后能够识别出每个网格的网格坐标，根据制造时输入的键位与网格坐标之间的映射信息，键位识别模块对图形接收装置采集到的网格图像进行图形识别并找出畸变区域对应的键位。

键盘的键位图案是间隔显示的，其刷新频率不低于10HZ，本次采用30HZ；图像接收装置在键盘的键位图案停止显示时对网格图像进行采集；键位识别模块自动进行网格变形的修正校准，能够适应一定范围内不同角度下投射导致的变形；光线投射装置可以安装在竖起的数码产品底部，负责网格和键盘图案的投射。图像接收装置可以安装在竖起的数码产品的顶部，根据成像需要可以自动调整光线的入射角度。光线投射装置采用红色激光或其他可见光线作为光源。

由于数码产品众多，为了便于说明，如下实施方式中采用目前广泛使用的大屏幕智能手机作为案例进行说明，利用手机的顶部摄像头作为图像传感器，键位识别模块安装在手机上。

虚拟键盘的工作原理如图1所示，将键位投射装置102和网格投射装置103这两个独立的微光学的光线投射装置相邻安装在手机机身104的底部，键位投射装置102、网格投射装置103在实际安装中不区分上下左右，尽可能的靠近，这样投射出的图案形状伸缩变形变化时能够同步。光线投射装置在虚拟键盘启用后投射出的网格图案106、键位图案107叠加在平面108上，其中键位图案的光线比网格图案的亮，从而达到良好的视觉识别效果，光线投射装置可采用红色激光或其他可见光线作为光源。

为了能够达到良好的识别效果，手机顶部的摄像头需能够宽角度成像，并且具有满足图像识别需要的分辨率，通过采用电磁微动控制技术，控制摄像头成像角度发生偏转，实现一定角度内的调整。

当手机的虚拟键盘启用时，键位识别模块首先进行自检，通过摄像头101对网格图案进行采集，当摄像头能够完整采集到网格时，则不做摄像头成像角度的调整，否则自动调整摄像头的角度，直到能够完整采集到网格图像位置，若摄像头角度调整到最大后仍无法采集到全部网格，键位识别模块则在手机屏幕105上显示虚拟键盘无法工作，给出问题原因和建议处理方法。

虚拟键盘自检通过后在键位检测期间，使用手机顶部的摄像头101作为图像传感器进行网格图像采集，当手机竖起的角度变化时，投射出来的网格图案106和键位图案107发生同步变形，键位识别模块针对采集到的变形网格通过图像计算变换予以修正校准，以便后续图形计算识别处理，当变形超出了计算修正能力范围时，在手机屏幕105上提示虚拟键盘无法工作，给出问题原因和建议处理方法。

手机竖起的摆放角度变化等导致投射的图像发生变形时，如图2中左侧变形的网格图像201和键位图案202，键位识别模块根据图像处理算法予以修正，修正原理如图2所示，首先对采集到的网格图像201进行识别，找出网格的边界，然后通过图形计算变换，将变形的网格转换为矩形，以便图形中网格坐标的识别，由于网格图案和键位图案两个光线投射装置相邻，投射出来的两个图案在发生变形时也是同步的，由于网格图案和键位图案保持同步变化，故键位和网格坐标在图案变形时仍保持相互对应，即在变形后的图案中某个键位上手指按下后，手指按下导致畸变区域的网格坐标仍然不变，通过对投射网格图像的网格坐标读取，实现了虚拟键盘的自适应，每次校准完毕后若手机固定不动，则无需再次校准，当通过手机内置的传感器检测到有改变现有形态的行为，则重新进行图案的自我校准，同时在屏幕上给出校准过程信息，反馈给使用者。

为了能够简化图形中的无用信息，保留必要的特征信息，从而降低运算量，加快计算速度，键位图案是间隔投射的，键位检测在键位图案停止投射的间隔中进行，如图3所示，其中A为网格投射装置工作过程，B键位图案投射装置工作过程，C为摄像头采集网格图像工作过程，由于网格图像采集在键位图像停止投射期间进行，在平面108上这时只有网格图案，这样摄像头采集到的就只有网格图像，避免了键位图案对图形识别的干扰。图案间隔投射刷新容易造成视觉闪烁，利用眼睛的“视觉暂留”的特性，键位图案刷新的频率不低于10HZ即可消除闪烁，本次采用30HZ，也可以采用其他频率，具体视硬件计算能力和虚拟键盘的性能需要而定。另外，还可以在摄像头前加装仅允许所使用的投影光线通过的带通滤波镜片，避免环境光线的干扰。

键位图案和网格图案投射装置相距很近，在制造时根据两个装置投射图案的重合情况，建立了键位与网格坐标之间的映射信息，输入到虚拟键盘键位识别模块中，键位图案用于协助使用者的输入定位及键位检索使用。网格投射装置在平面108上投射出网格图案，图像采集后能够识别出每个网格的网格坐标，当手指在某个键位按下时，由于此处的平面出现了凸起物体，投射过来的光线网格发生了扭曲变形，在图像采集装置中的成像如图4所示，其中401为触碰平面的手指，402为网格投射装置，403为手机机身，键位识别模块对网格图像进行识别并找出畸变区域的网格坐标，根据网格坐标信息和键位图的映射找出本次手指按下时所对应的键位。

上述实施方式中光线网格和键位图案投射由两个独立独立的光线投射装置完成，也可以通过采用具有微电子机械系统(MEMS)的微型激光投影装置实现，这样不仅可以将键位投射装置102和网格投射装置103合二为一，还可以实现上述的键盘键位图像间隔显示功能，同时键位识别模块根据采集到的光线网格投射在平面108的图案变形情况，调整微型激光投影装置内的输入画面，从而在平面108上投射出的标准的无变形的网格和键盘键位图案，这样就避免了后期图2所示的虚拟键盘键位与网格自动校准过程，降低了计算量，同时也能够在不同角度下都可以投射出标准的键盘键位图，提高了使用的舒适程度。

本发明将平面进行虚拟网格化后，在图形空间中通过图形识别定位畸变区域的网格坐标，从而获得按下的键位信息，通过虚拟网格和网格坐标的使用，实现了虚拟键盘的自适应。

上述键位识别原理的不仅可以应用于如上所述的智能手机中，还可以应用与其他产品，如作为智能手机虚拟键盘底座，手机上安装应用软件来驱动手机自带的顶部摄像头，采集底座投射出的网格和键位，自动进行图形的修正校准，找出网格中局部畸变区域的网格坐标，从而实现信息输入。针对上方摄像头由于角度所限，无法采集到投射的图案问题，可以通过在顶部摄像头配置一个可拆卸的小反光镜予以实现，通过反光镜的反射采集到底部投射的图案。虚拟键盘底座供电可以通过手机机身的接口实现，或由外部电源供电。手机与虚拟键盘底座通过通讯控制网格图案和键位图案的光线投射，具体通讯接口可以为WIFI、蓝牙、USBOTG以及其他方式。

基于上述网格坐标识别原理，还可以将本发明应用于移动趋势跟踪，实现触摸屏功能，同时本系统还可实现多键位，能够满足功能组合键等的多键输入需要。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化，凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (9)

1.一种基于虚拟网格畸变区域识别的虚拟键盘，其特征在于，其由光线投射装置、图像接收装置、键位识别模块组成，光线投射装置用于发出光线投射在平面介质上形成光线网格和键盘的键位图案，图像接收装置用于对平面介质上的光线网格进行图像采集，键位识别模块用于对图形接收装置采集到的网格图像进行图形识别并找出畸变区域对应的键位。

2.如权利要求1所述的基于虚拟网格畸变区域识别的虚拟键盘，其特征在于，所述光线投射装置包括键位投射装置和网格投射装置。

3.如权利要求1所述的基于虚拟网格畸变区域识别的虚拟键盘，其特征在于，所述图像接收装置包括摄像头。

4.如权利要求1所述的基于虚拟网格畸变区域识别的虚拟键盘，其特征在于，所述光线投射装置安装在一个竖起的数码产品底部。

5.如权利要求1所述的基于虚拟网格畸变区域识别的虚拟键盘，其特征在于，所述图像接收装置安装在一个竖起的数码产品的顶部。

6.如权利要求1所述的基于虚拟网格畸变区域识别的虚拟键盘，其特征在于，所述光线投射装置采用红色激光作为光源。

7.一种基于虚拟网格畸变区域识别的虚拟键盘的控制方法，其特征在于，其包括以下步骤：

第一步：光线投射装置发出的光线投射在平面介质上形成光线网格和键盘的键位图案；

第二步：图形接收装置对平面介质上的光线网格进行图像采集，将采集到的网格图像采集到的网格图像发送给键位识别模块；

第三步：键位识别模块对图形接收装置采集到的网格图像进行图形识别并找出畸变区域对应的键位。

8.如权利要求7所述的基于虚拟网格畸变区域识别的虚拟键盘的控制方法，其特征在于，所述第三步中，首先通过图形识别找出畸变区域的网格坐标，然后根据键盘键位与网格坐标的对应关系找出对应的键位。

9.如权利要求7所述的基于虚拟网格畸变区域识别的虚拟键盘的控制方法，其特征在于，所述图像接收装置在键盘的键位图案停止显示时对网格图像进行采集；键位识别模块自动进行网格变形的修正校准。