CN103294210B - 一种可生成虚拟键盘的方法 - Google Patents

Abstract

本发明公开了一种可生成虚拟键盘的系统及方法，其包括采集模块、存储模块、显示模块、量测分析模块和虚拟建模模块，所述的采集模块的输出端连接量测分析模块的输入端，所述的量测分析模块的输出端连接虚拟建模模块的输入端，虚拟建模模块的输出端连接显示模块的输入端，所述的量测分析模块和虚拟建模模块还同时与存储模块相连接。本发明解决了目前智能显示设备终端的虚拟输入控制系统，触摸虚拟键盘会占用显示屏幕的大部分或者全部的显示画面得缺陷，不会造成显示画面被遮挡，并且可根据不同用户生成不同的虚拟键盘，给用户带来便捷的操作体验，增加用户使用舒适度；其也不需要进行激光投射，不会产生激光污染，较环保。

Description

一种可生成虚拟键盘的方法

技术领域

本发明涉及一种可生成虚拟键盘的方法。

背景技术

目前传统的机械键盘就显得不能跟上发展脚步，甚至成为累赘，影响着便携设备的技术发展。在显示屏幕上面发展的触摸屏技术，虽然已经摆脱了实体键盘，但是这个触摸虚拟键盘会占用显示屏幕的大部分或者全部的显示画面，而且其触摸屏幕是平行放置在显示屏幕或者直接内嵌在显示屏幕内部，这样就造成了显示画面被遮挡，还有就是与用户的使用习惯相违背，给用户带来不好的使用体验。后续的激光投射虚拟键盘，其需要进行激光投射，这样会产生一定的光污染，其投射的激光键盘由于投射关系，其键盘为锥形，与传统键盘形状相异，而且其对投射平面要求比较高，而现有的虚拟键盘，往往是固定大小的键盘，这样对不同的人会有不同的手指跨度，在手指跨度不一样的前提下，使用同一大小、固定版本的虚拟键盘，也一定程度上给人们带来不便。

发明内容

本发明的目的在于提供一种使用便捷、提高用户使用舒适度且环保的实现虚拟键盘的系统及其方法。

为实现上述目的，本发明采用以下设计方案，所述的系统包括采集模块、显示模块、量测分析模块、虚拟建模模块，以及存储量测分析模块和虚拟建模模块的运行数据的存储模块，其中：

采集模块：采集扫描区域内用户的各手指影像数据，经处理后传送至量测分析模块；

量测分析模块：对采集模块传送的各手指影像数据进行处理分析，得到各手指影像的空间坐标和相对坐标，以及虚拟平面坐标，进而分析得到各手指影像的平均指宽S和平均指距D，最后将数据传送至虚拟建模模块；

虚拟建模模块：根据量测分析模块传送过来的各手指影像的空间坐标和相对

坐标，以及各手指影像的平均指宽S和平均指距D，建立对应的虚拟键盘，并传送至显示模块进行显示；

显示模块：显示出虚拟键盘，并在虚拟键盘建立过程中以及建立完成后在使用中对用户进行引导和提示。

进一步的，所述的采集模块为双摄像头模块或红外模块，所述的红外模块包括红外发射模块和红外接收模块。

所述的方法包括以下步骤：

1)用户将手指放置在采集模块扫描区域上；

2)采集模块采集扫描区域内用户的手影像数据，经处理后传送至量测分析模块；

3)量测分析模块对采集模块传送过来的各手指影像数据进行处理分析，得到各手指影像的空间坐标和相对坐标，以及虚拟平面坐标，进而分析得到各手指影像的平均指宽S和平均指距D，同时当量测分析模块检测到用户左手和右手没有位于同一直线时，显示模块会提示用户挪动左手和右手使其位于同一直线上，并且达到左手和右手距离为3D+2S，最后将数据传送至虚拟建模模块；

4)虚拟建模模块根据量测分析模块传送的各手指影像的空间坐标和相对坐标，生成虚拟键盘上的按键符号，并根据各手指影像的平均指宽S和平均指距D，逐一建立起对应的虚拟键盘，并将数据传送至显示模块；

5)显示模块显示出对应的虚拟键盘。

其中，所述的步骤4)中建立起对应的虚拟键盘具体过程为：

a．虚拟建模模块在用户左手食指和右手食指之间生成虚拟键盘中间的两个按键,即G键和H键，并以G键和H键为中心，根据各手指影像的平均指宽S和平均指距D生成本行的其他按键，定义本行为K1；

b．显示模块提示用户在K1行的基础上，敲击虚拟键盘上其他任意行的按键，采集模块采集到用户敲击其他任意行的按键的动作影像后传送至量测分析模块，量测分析模块计算出此动作影像和K1上的按键的平均垂直距离H，并将数据传送至虚拟建模模块，虚拟建模模块根据各手指影像的平均指宽S和平均指距D以及平均垂直距离H，生成虚拟键盘其他任意行的完整按键；

c．重复步骤b，直至建立起完整的虚拟键盘。

进一步的，虚拟键盘建立后，虚拟键盘上的按键处于半激活状态，用户根据显示模块提示点击虚拟键盘上的对应按键后，虚拟键盘被激活。

本发明采用以上设计方案，量测分析模块通过对扫描平面的各手指影像数据进行虚拟坐标建立，对手指的指宽和间距进行分析，完成全局虚拟输入系统建立和虚拟键盘的实现，满足不同人群对虚拟键盘大小，规格以及跨距的不同要求，更加灵活，人性化；同时解决了目前智能显示设备终端的虚拟输入控制系统，触摸虚拟键盘会占用显示屏幕的大部分或者全部的显示画面的缺陷，不会造成显示画面被遮挡，并且可根据不同用户生成不同的虚拟键盘，给用户带来便捷的操作体验，增加用户使用舒适度；其也不需要进行激光投射，不会产生激光污染，较环保。

附图说明

下面结合附图和具体实施方式本对本发明进行一步详细的说明：

图1本发明结构示意图；

图2为本发明采集模块安装位置结构示意图；

图3为本发明的应用场景图；

图4为本发明扫描食指平面坐标示意图；

图5为本发明初步匹配并分析手指间距示意图；

图6为本发明建立其中一行的虚拟键盘示意图；

图7为本发明基于图6建立另一行虚拟键盘示意图；

图8为本发明基于图7再建立另一行虚拟键盘示意图；

图9为本发明全局虚拟键盘示意图；

图10为本发明按键处于半激活示意图；

图11为本发明按键处于半激活的另一种状态示意图。

具体实施方式

如图1所示，本发明所述的系统包括采集模块1、显示模块2、量测分析模块3、虚拟建模模块4，以及存储量测分析模块3和虚拟建模模块4的运行数据的存储模块5，其中：

采集模块1：采集扫描区域内用户的各手指影像数据，经处理后传送至量测分析模块；

量测分析模块3：对采集模块1传送的各手指影像数据进行处理分析，得到各手指影像的空间坐标和相对坐标，以及虚拟平面坐标，进而分析得到各手指影像的平均指宽S和平均指距D，最后将数据传送至虚拟建模模块4；

虚拟建模模块4：根据量测分析模块3传送过来的各手指影像的空间坐标和相对坐标，以及各手指影像的平均指宽S和平均指距D，建立对应的虚拟键盘6，并传送至显示模块2进行显示；

显示模块2：显示出虚拟键盘6，并在虚拟键盘6建立过程中以及建立完成后在使用对用户进行引导和提示。

进一步的，所述的采集模块1为双摄像头模块或红外模块，所述的红外模块包括红外发射模块和红外接收模块。

所述的方法包括以下步骤：

1)用户将手指放置在采集模块1扫描区域上；

2)采集模块1采集扫描区域内用户的手影像，经处理后传送至量测分析模块3；

3)量测分析模块3对采集模块1传送过来的各手指影像数据进行处理分析，得到各手指的影像的空间坐标和相对坐标，以及虚拟平面坐标，进而分析得到各手指影像的平均指宽S和平均指距D，同时当量测分析模块3检测到用户左手和右手没有位于同一直线时，显示模块2会提示用户挪动左手和右手使其位于同一直线上，并且达到左手和右手距离为3D+2S，最后将数据传送至虚拟建模模块4；

4)虚拟建模模块4根据量测分析模块3传送的各手指影像的空间坐标和相对坐标，生成虚拟键盘6上的按键符号，并根据各手指影像的平均指宽S和平均指距D，逐一建立起对应的虚拟键盘6，并将数据传送至显示模块2；

5)显示模块2显示出对应的虚拟键盘6。

其中所述的步骤4)中建立起对应的虚拟键盘6具体可以为：

a.虚拟建模模块4在用户左手食指和右手食指之间生成虚拟键盘6中间的两个按键,即G键和H键，并以G键和H键为中心，根据各手指影像的平均指宽S和平均指距D生成本行的其他按键，定义本行为K1；

b.显示模块2提示用户在K1行的基础上，敲击虚拟键盘6上其他任意行的按键，采集模块1采集到用户敲击其他任意行的按键的动作影像后传送至量测分析模块3，量测分析模块3计算出此动作影像和K1上的按键的平均垂直距离H，并将数据传送至虚拟建模模块4，虚拟建模模块4根据各手指影像的平均指宽S和平均指距D以及平均垂直距离H，生成虚拟键盘6其他任意行的完整按键；

c.重复步骤b，直至建立起完整的虚拟键盘6。

进一步的，虚拟键盘6建立后，虚拟键盘6上的按键处于半激活状态，用户根据显示模块提示点击虚拟键盘6上的对应按键后，虚拟键盘6被激活。

如图2所示，当为本发明的采集模块1为双摄像头时，摄像头11,12分别设在显示模块2的上下外壳上，实际中也可以设置在同一侧。

如图3所示，为本发明针对图2的应用场景图。

图4到图9为系统流程的详细每部动作的具体描述。

如图4所示，系统大致流程为首先采集模块1扫描用户左手和右手的食指、中指、无名指和小指在扫描平面的位置，并分析得出其8个手指的空间坐标，以及得到每个手指的间距和指宽。

具体的，如图5所示，量测分析模块3检测到左手的手指间距为D1，D2，D3，左手的小指，无名指，中指，食指的指宽分别为S1，S2，S3，S4,同样右手的手指间距为D7，D8，D9，右手的食指、中指、无名指和小指的指宽分别为S7，S8，S9，S10,由于传统用户使用习惯左手的食指应该对应传统键盘的“F”键，右手的食指应该对应传统键盘的“J”键，左右手的食指中间应该还会有两个按键位置，其为“G”和“H”，所以应该两个食指的距离应该为2个指宽和3个指距的长度，通过前面分析得到的D1，D2，D3和D7，D8，D9，量测分析模块3得到每个手指的平均指距D，同样的通过得到的左右手指宽S1，S2，S3，S4，S7，S8，S9，S10,也可以得到用户手指的平均指宽S，这样用户的左右手的两个食指的间距应该为3S+2D，如果用户的两个食指的间距小于3S+2D系统会在显示模块给出提示，提醒用户两个手掌远离，相应地，如果用户的两个食指的间距大于3S+2D系统会在显示模块2给出提示，提醒用户两个手掌靠近，以满足两个食指间能够预留两个按键间距，这样进入到第二阶段，进行手指和K1行虚拟按键的匹配，并再次分析手指的间距和指宽，由于产生了中间虚拟按键“G”和“H”，同样得到其对应的指距D4，D5，D6和指宽，S5，S6，其指宽和指距是依据两个食指间的间距并且参考平均指宽S和平均指距D进行分析得到，这样可以得到K1行的所有指距D1，D2，D3，D4，D5，D6，D7，D8，D9和指宽S1，S2，S3，S4，S5，S6，S7，S8，S9，S10通过对这些数据的分析得到用户的平均指宽S和平均指距D，通过手指的坐标位置，虚拟建模模块4对指宽指距进行综合，并对虚拟键盘6进行拟合，完成K1行按键“A”“S”“D”“F”“G”“H”“J”“K”“L”“;”的虚拟按键与左右手的食指、中指、无名指和小指的对应，其效果如图6所示。

当完成K1虚拟按键，接下来由显示模块2进行引导用户开始建立其他行虚拟按键，这里先开始建立K2行按键，如图7所示，虚拟建模模块4推演上一行键盘坐标，拟合，建立K2虚拟键坐标，其根据上一步建立的K1虚拟按键，模糊产生K2部分按键，如根据传统键盘的惯用位置，在按键“D”，“F”的上面中间位置产生“R”键，显示模块2引导用户根据自己的使用习惯去敲击产生的“R”,同样地，还可以通过引导得出K2行的“T”，“Y”，“U”其水平的指宽、指距可以参考K1行的数值，其处理方法也可和K1处理方法一致，这里不赘述，主要的这里要解决K2行虚拟按键与K1行的跨距问题，显示模块2引导产生的“R”,“T”，“Y”，“U”，量测分析模块3根据用户的实际使用习惯得到对应的与K1的跨距H1，H2,H3，H4，同样的还可以得到其他虚拟键的跨距，这里以“R”,“T”，“Y”，“U”进行实施例阐述，对其H1，H2,H3，H4的跨距进行平均，得到其平均跨距H，虚拟建模模块4根据与K1得到的平均指宽S和平均指距D，完成对K2虚拟键的建立。

同样，完成K1和K2的虚拟按键建立后，再建立K3行虚拟按键，如图8所示，推演下一行键盘坐标，拟合，建立K3虚拟键坐标，其主要过程和处理方法与上一步相同，主要是显示模块2引导用户计算手指的缩进距离，这里量测分析模块3以K3的“C”,“V”，“B”，“N”虚拟按键与K1的缩进距离B1，B2，B3，B4，得到平均缩进距离B，虚拟建模模块4根据与K1得到的平均指宽S和平均指距D，这样就完成对K2虚拟键的建立。

这样虚拟建模模块4完成了K1,K2，K3的虚拟按键的产生和建立，同样的按照以上方法产生其他行的按键，完成全局虚拟键盘6，如图9所示，这样就完成了整个虚拟输入系统的建立和虚拟键盘6的实现。

具体实施中，可以先建立K3再建立K1，这个顺序不进行限制。

需要说明的是，这里的实施例是假设用户双手是大致在一条直线上，如果用户左右手指，不在扫描平面的一条直线上，系统会根据其在扫描平面的虚拟坐标，建立双手的空间坐标，根据手指的坐标，结合回归方程拟合出双手手指的线性回归方程，通过比较方程提示用户移动双手进行拟合，是双手在大致一条直线上。同样还可以通过直接坐标判断方法直接提示用户移动手掌来改变坐标位置，以达到手指在一条直线上。

这里需要补充说明的是，当虚拟键盘6建立后，用户手指放置在扫描平面，其每个手指所对应的虚拟按键处于半激活状态，其会在显示模块上面进行显示，如图10所示，当用户点击按键，虚拟键盘6按键被激活，同样也会进行显示，如图11所示。需要说明的是给出的图10和图11所示，半激活和激活状态仅是为了本提案阐述说明装填，实际应用中不限至于此，可以有多种提示状态。

Claims (5)

1.一种可生成虚拟键盘的方法，其特征在于：该方法采用的可生成虚拟键盘的系统包括采集模块、显示模块、量测分析模块、虚拟建模模块，以及存储量测分析模块和虚拟建模模块的运行数据的存储模块，其中：

采集模块：采集扫描区域内用户的各手指影像数据，经处理后传送至量测分析模块；

量测分析模块：对采集模块传送的各手指影像数据进行处理分析，得到各手指影像的空间坐标和相对坐标，以及虚拟平面坐标，进而分析得到各手指影像的平均指宽S和平均指距D，最后将数据传送至虚拟建模模块；

虚拟建模模块：根据量测分析模块传送过来的各手指影像的空间坐标和相对坐标，以及各手指影像的平均指宽S和平均指距D，建立对应的虚拟键盘，并传送至显示模块进行显示；

显示模块：显示出虚拟键盘，并在虚拟键盘建立过程中以及建立完成后在使用中对用户进行引导和提示；

所述的方法包括以下步骤：

1）用户将手指放置在采集模块扫描区域上；

2）采集模块采集扫描区域内用户的各手指影像数据，经处理后传送至量测分析模块；

3）量测分析模块对采集模块传送过来的各手指影像数据进行处理分析，得到各手指的空间坐标和相对坐标，以及虚拟平面坐标，进而分析得到各手指影像的平均指宽S和平均指距D，同时当量测分析模块检测到用户左手和右手没有位于同一直线时，显示模块会提示用户挪动左手和右手使其位于同一直线上，并且达到左手和右手距离为3D+2S，最后将数据传送至虚拟建模模块；

4）虚拟建模模块根据量测分析模块传送的各手指影像的空间坐标和相对坐标，生成虚拟键盘上的按键符号，并根据各手指影像的平均指宽S和平均指距D，逐一建立起对应5）的虚拟键盘，并将数据传送至显示模块；

5）显示模块显示出对应的虚拟键盘。

2.根据权利要求1所述的可生成虚拟键盘的方法，其特征在于：所述的步骤4)中建立起对应的虚拟键盘具体过程为：

a.虚拟建模模块在用户左手食指和右手食指之间生成虚拟键盘中间的两个按键,即G键和H键，并以G键和H键为中心，根据各手指影像的平均指宽S和平均指距D生成本行的其他按键，定义本行为K1；

b.显示模块提示用户在K1行的基础上，敲击虚拟键盘上其他任意行的按键，采集模块采集到用户敲击其他任意行的按键的动作影像后传送至量测分析模块，量测分析模块计算出此动作影像和K1上的按键的平均垂直距离H，并将数据传送至虚拟建模模块，虚拟建模模块根据各手指影像的平均指宽S和平均指距D以及平均垂直距离H，生成虚拟键盘其他任意行的完整按键；

c.重复步骤b，直至建立起完整的虚拟键盘。

3.根据权利要求1所述的可生成虚拟键盘的方法，其特征在于：虚拟键盘建立后，虚拟键盘上的按键处于半激活状态，用户根据显示模块提示点击虚拟键盘上的对应按键后，虚拟键盘被激活。

4.根据权利要求1所述的可生成虚拟键盘的方法，其特征在于：所述的采集模块为双摄像头模块。

5.根据权利要求1所述的可生成虚拟键盘的方法，其特征在于：所述的采集模块为红外模块，所述的红外模块包括红外发射模块和红外接收模块。