CN102736726A - 键盘和鼠标的隐形技术 - Google Patents

Abstract

本发明键盘和鼠标的隐形技术是运用现有的各种计算机软件编程技术，以无标记动作捕捉技术为核心，把传统的实体键盘和鼠标设计成三维虚拟键盘、鼠标隐形于屏幕中，将用户的手三维数字化，并将其与软件系统中虚拟三维手匹配互动，由此用户就可以徒手控制屏幕中虚拟手进行按键或鼠标动作，功能实现同其它键盘鼠标一样，只是除了屏幕显示外，不再有实物或可见光的投影外形。

Description

键盘和鼠标的隐形技术

技术领域

本发明属于多媒体数码设备领域，适合于各种需要键盘或鼠标等输入设备的多媒体数码电子产品，特别适用于掌上数码设备类，如智能手机、掌上电脑等。

背景技术

输入设备是用户和多媒体数码系统之间进行信息交换的主要装置之一，键盘，鼠标，摇控器，摄像头，扫描仪，光笔，手写输入板，游戏杆，语音输入装置等都属于输入设备，而其中的键盘与鼠标是人机交互必不可少的最基本的数据输入设备，现有的各种机械式或光电式的键盘与鼠标其共同特征是都有外形可见可触的，特别是键盘，因为26个英文字母、10个数字、标点符号和其它功能键所占平面空间，并受人手固有体积大小所限，使得键盘一直以来外形大小基本上还是保持原样，这在各种电子产品都向微型化发展的今天，特别是掌上数码电脑化的发展趋势，键盘和鼠标的相对较大体积占用成了一个急需解决的瓶颈，现在最新技术——光键盘，可以算是个突破，但不彻底，它仍然需要一个相对较好固体平面用来投影虚拟的光键盘，还有一种是戴在手指上的小鼠标同样也要较好的固体平面，与传统的实体键盘和鼠标相比其应用优势并不十分明显，特别是对于掌上数码设备来说。

本发明所提供的键盘和鼠标是无形无光的，并且不需要任何固体支撑物，但是在手指给出类似的敲键动作时一样可以给出同样的输入表现，由此彻底解决键盘鼠标的体积瓶颈问题。

发明内容

本发明键盘和鼠标的隐形技术是运用现有的各种计算机软件编程技术，以无标记动作捕捉技术为核心，把传统的实体键盘和鼠标设计成三维虚拟键盘、鼠标隐形于屏幕中，将用户的手三维数字化，并将其与软件系统中虚拟三维手匹配互动，由此用户就可以徒手控制屏幕中虚拟手进行按键或鼠标动作，功能实现同其它键盘鼠标一样，只是除了屏幕显示外，不再有实物或可见光的投影外形。

附图说明

图1是该发明在大屏幕掌上数码设备上的运用效果图。

图2是从PrimeSense深度影像获取模块所拍摄的用户双手及其指关节中心点示意图。

图3是任意按键手势示意图。

图4是右手控制隐形键盘改变方位时的示意图

具体实施方式

为方便叙述该发明的实施方式，下面只以内置计算机操作系统的掌上数码设备为例作具体说明，该掌上数码实质是一台智能手机与微型电脑的混合体，同时使用了最新的发明《一种可实现大屏幕的掌上数码设备》201110068358.4所提供的技术，实现了大屏幕，可以将其当作是标准的笔记本电脑，屏幕2所显示的是WORD文字处理软件界面，但这并不表明该发明只能用在掌上数码设备上，其它如电脑、电视机、投影机等等多媒体设备亦可方便运用该发明。

图1中的1是掌上数码机体，其内部须事先安装无标记动作捕捉集成软件和配套的芯片，目前无标记动作捕捉技术算是最新兴人机互动技术，比如PrimeSense深度影像获取技术，以及单目视频运动捕捉技术等，其中PrimeSense深度影像获取是目前运用较为成熟的技术，微软的体感游戏X-BOX系列就是个很好例证，这里暂以PrimeSense技术为基础来详述本发明具体实施过程。

除动作捕捉技术外，本发明还要求定制的软件功能包括视频采集、三维重建、提取和匹配图2中所有虚构黑圆点——指关节中心点13三维数据、虚拟手(包括左手6和右手7)、虚拟键盘8、虚拟鼠标(包括滚轮9/右键10/左键11)、虚拟手动作控制、视频合成并输出等功能，这些图像处理软件技术，在目前来讲都是可以通过计算机软件编程成熟实现的，这里就不再赘述，下面只在这些图像处理技术基础上详述本发明所独有的实施方法和原理。

3是安装于掌上数码机体1内的PrimeSense深度影像获取模块，该模块内含一个红外发射器、红外接收CMOS，彩像CMOS，以及PrimeSense的PS1080SoC(系统级芯片)等相关电子件。用户的左手4和右手5须置于PrimeSense深度影像获取模块3前的有效的拍摄范围内，如图2所示，因为每个用户手形都不一样，所以在启用该技术发明之前，都须将用户手形各个方向用PrimeSense深度影像获取模块3拍摄并三维数字化，手动将软件虚构指关节中心点与软件内置三维虚拟手的指关节中心点一一匹配，之后用户就可以在PrimeSense深度影像获取模块3前的有效空间内控制屏幕2中虚拟手进行按键或鼠标动作，如果一台数码设备有不同的用户，只要一一按以上步骤完成虚拟手的培训动作并各自建立数据库，用户切换时各自调用自己的数据库即可正常使用。

与传统实体键盘靠触觉定位操作不同的是，该键盘和鼠标的隐形技术发明主要是靠视觉和听觉来定位操作，也就是说用户只要注意屏幕中虚拟手在虚拟键盘和鼠标中的位置和动作，或者也可以根据用户偏好设置按键声音，为了提高视觉方便性，虚拟键盘8、鼠标、手都可由用户自行调整在它们屏幕中透明度，其中虚拟手甚至可以隐藏手形，只留下指端的指示圈，在不用时，虚拟键盘8、鼠标都会自动隐藏，可以设置虚拟键盘8与鼠标的自动或手动出现。

虚拟键盘8与常规实体键盘的按键的数量、位置和功能都完全一样，但为了节省屏幕空间，图1所示的虚拟键盘已经把辅助键区暂时隐藏，如有需要用户可以自行将其调出。

虚拟鼠标其各键功能与传统实体鼠标也是一样的，用户可以事先自定义任意三根手指分别对应滚轮9、右键10、左键11，用户的虚拟手12可以是虚拟左手6或7，虚拟手12从键盘转移到虚拟鼠标时，须用事先已定义好的三指对准三个键同时大幅度向下点击以此激活虚拟鼠标，同样的不用虚拟鼠标时三指同时按下虚拟手12即可与虚拟鼠标脱离链接，在激活状态下，鼠标移动、滚轮动作和按键动作与实体鼠标操作也是一样，该三指同时移动即可带动虚拟鼠标移动，其中按键行程和灵敏度可以根据用户个人习惯自定义，在使用鼠标过程中，用户甚至可以让虚拟鼠标隐藏，只关注鼠标指针16在屏幕中的动作，这时用户的三个指头自身就成了虚拟鼠标的三个键，假设这三指分别为右手的食指、中指、无名指，整个右手移动时，鼠标指针16会跟着移动，食指按下时表示点击左键11，中指相对屏幕的前后拉动时表示滚动中间的滚轮，大幅度往下压时则表示按下滚轮键，无名指按下时表示点击右键。

使用该发明时，用户双手有可能在虚空中或者在各种固体平面或非平面上，为此，本发明在软件系统中为两只手各内置一个指端隐形键盘算法模型如图2中左右手的隐形键盘14，下面以右手5为例作详细说明。

图4中所示隐形键盘14在实际的运用场景中是看不到的，它实际是紧随用户双手下的一组三维空间数据，其总面积大小可由用户自定义，以此确定双手可移动操作的空间范围，这里为描述方便而把它现形，为确保双手十指动作都能被PrimeSense深度影像获取模块3准确攻取，这里规定隐形键盘14的XY平面与屏幕2平面夹角度数，该夹角度数可根据PrimeSense深度影像获取模块3在各种数码设备的性能表现而定，一般来讲不超过45°～90°的范围就可，当然这些都是指用户面对着屏幕前提下而言。

隐形键盘14构成数据来自右手5指端的5个关节中心点13的三维空间数据，这5个关节中心点到隐形键盘14的XY平面垂直距离之和总是趋向于最小值，在系统初次启用时，会要求用户对虚拟手进行培训操作，要求用户右手5指端尽量呈平面控制虚拟右手7同时对准虚拟键盘8上的5个键并按住，以此来形成初始参考平面，之后跟随右手的隐形键盘14的XY平面都会自动与之平行，反过来说只要用户右手5指端只要在大致在平行于初始参考平面的空间中平行移动都会自动形成一个有效的紧随的隐形键盘14。

如图4所示，为减少误操作用户必须事先规定其中5个键为控制键，而且这5个键必须是在随意按键时不会被同时碰到，这5个键是隐形键盘14在三维空间XY平面中的固定位置的关键数据点，也可以是确定隐形键盘14面积大小的参考点，这里假设为“Alt”、“D”、“T”、“Y”和“K”5个键。

在未固定键盘前，右手5指端的5个关节中心点13总是会与这5个控制键相连接，相当右手掌下在虚空中跟贴着一个隐形键盘14，用户可自行选择在PrimeSense深度影像获取模块3的有效拍摄空间内把右手放到自己感觉最舒服的位置，然后5指上下错开，这时隐形键盘14的初始XY平面就确定了，同时隐形键盘14的有效按键区域也在这XY平面中固定，之后用户右手5指端只要在与隐形键盘14的初始XY平面平行的键盘区域内移动，就可控制虚拟右手7在屏幕上作二维平面移动。

有时右手5有可能在隐形键盘14的Z轴大致方向上下移动，类似按键行为，但只要5指头间的相对位置移动没有超过系统预定值，系统仍然默认为是无按键动作，只有其中1～4指出现往下按的动作时，屏幕上虚拟键盘8上对应的键才会发生颜色和行程变化，键的颜色会随着虚拟右手7上5个指头位置和上下行程而变化，只要一个指头端的关节中心点13在处于一个键的区域时，注意这关节中心点13面积实质只有一个屏幕像素点，图3中是为了表述方便而将其表示一个脱离实际比例的大黑圆点，这个键颜色就会产生变化，这里假设为由白色变色淡黄色，随着按键行程增加，颜色越变越深，直至变成黑色，同时也可以有一个提示声音，这样就完成一个有效的按键动作，因为每个键都有由用户自己事先规定一个最大的适合自己的有效行程，所以即使一个手指往下按有可能带动旁边手指轻微往下移动，由此可杜绝旁边手指的误按键行为，以上按键动作除了可用颜色表示外，也可用实时三维键动作表示，或两者结合亦可。

左手4按键动作和紧随其后的隐形键盘14的形成等相关内容与右手原理是一样的，这里就不再详述。

本发明把虚拟鼠标设置成虚拟键盘8的从属部分，所以只要用户双手可以与虚拟键盘8互动，就一定可以虚拟鼠标互动，除滚轮动作外，虚拟鼠标的键操作规则与虚拟键盘8的操作也是一样的。

两只手只要在PrimeSense深度影像获取模块3的有效拍摄范围内，用户可以按自己感觉最舒服的方式分别放置双手，不局限放于一个传统实体键盘面积大小的区域内，也不局限放于同一个水平面内，可以拉开至最大距离，或两手成夹角，或两手掌心相对或如图3所示一正一反等等手势，软件系统都可以自动把左右两手隐形键盘14和按键动作数据自动集成一个公共的隐形键盘15并转化成影像投射到屏幕2上，而且虚拟手永远都只会在屏幕上作二维平面移动，但是手指还是照样可显示其按键或平面滑行的实时三维动作效果。

Claims (9)

1.键盘和鼠标的隐形技术，相比于其它种类键盘和鼠标，其特征是指除屏幕显示外没有实物和光投影的外形，但又可以正常实现键盘和鼠标的功能，其操作完全不受空间限制。

2.根据权利要求1，所述键盘和鼠标的隐形特征是指运用现有的各种计算机软件编程技术，以无标记动作捕捉技术为核心，将人手动作转化为屏幕中虚拟手的动作，并将传统的实体键盘和鼠标设计成三维虚拟键盘、鼠标隐形于屏幕中，这样用户就可以徒手控制屏幕中的虚拟手在屏幕中虚拟键盘和鼠标上进行各种常规操作。

3.根据权利要求1，所述操作完全不受空间限制的特征是指用户的手只要在影像获取模块的有效拍摄范围内，无论是在虚空中，还是在实物平台或者非平台上，都可以方便操作屏幕中虚拟键盘和鼠标，而且用户两只手可以分别随便放置，不局限放于一个传统实体键盘面积大小的区域内，也不局限放于同一个水平面内。

4.根据权利要求2，所述人手对屏幕中虚拟手的控制，是指把人手2维视频通过动作捕捉系统软件进行三维重建，将人手三维数字化，并提取其中虚构的关节中心点三维数据与屏幕中虚拟手的各个关节中心点一一匹配，从而达到屏幕中虚拟手与人手同步动作的目的。

5.根据权利要求2，所述虚拟鼠标操作，用三根手指可以控制虚拟鼠标，三指头同时按三个键表示激活开关，激活状态时，用户甚至可以让虚拟鼠标隐藏，只关注鼠标指针16在屏幕中的动作，这时用户的三个指头自身就成了虚拟鼠标的三个键，假设这三指分别为右手的食指、中指、无名指，整个右手移动时，鼠标指针16会跟着移动，食指按下时表示点击左键11，中指相对屏幕的前后拉动时表示滚动中间的滚轮，大幅度往下压时则表示按下滚轮键，无名指按下时表示点击右键，用户可以事先自定义自己感觉合适的三根指头对应虚拟鼠标的三个键。

6.根据权利要求3，用户不受空间限制方便操作屏幕中虚拟键盘和鼠标，是因为采用了一种稳形键盘的算法模型，在影像获取模块的有效拍摄范围内，用户用单手5指就可以控制稳形键盘放置在用户自己觉得合适的固定方位和调整键盘有效面积大小，从属于虚拟键盘的虚拟鼠标也由此得到方便的控制。

7.根据权利要求5，软件系统可以自动把左右两手稳形键盘和按键动作的三维数据自动集成一个虚拟键盘并投射到屏幕上，而且虚拟手永远都只会在屏幕上作二维平面移动，但是手指还是照样可显示其按键或平面滑行的实时三维动作效果。

8.根据权利要求5，有时用户的手有可能在隐形键盘14的Z轴大致方向上下移动，类似按键行为，但只要5指头间的相对位置移动没有超过系统预定值，系统仍然默认为是无按键动作，只有其中1～4指出现往下按的动作时，屏幕上虚拟键盘8上对应的键才会发生颜色和行程变化。

9.根据权利要求6，虚拟键盘上的每个键都可以由用户自己事先规定一个最大的有效行程，所以即使一个手指往下按有可能带动旁边手指轻微往下移动，只要行程不够，由此可杜绝旁边手指的误按键行为。

Images