CN103995610B - 从手持式计算机化设备的替代触摸板进行用户输入的方法 - Google Patents

从手持式计算机化设备的替代触摸板进行用户输入的方法 Download PDF

Info

Publication number
CN103995610B
CN103995610B CN201410055219.1A CN201410055219A CN103995610B CN 103995610 B CN103995610 B CN 103995610B CN 201410055219 A CN201410055219 A CN 201410055219A CN 103995610 B CN103995610 B CN 103995610B
Authority
CN
China
Prior art keywords
user
finger
hand
touch tablet
biomethanics
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201410055219.1A
Other languages
English (en)
Other versions
CN103995610A (zh
Inventor
罗童
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Handscape Technologies Inc
Original Assignee
Shenzhen Hansi Cape Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from US13/770,791 external-priority patent/US9311724B2/en
Application filed by Shenzhen Hansi Cape Technology Co Ltd filed Critical Shenzhen Hansi Cape Technology Co Ltd
Publication of CN103995610A publication Critical patent/CN103995610A/zh
Application granted granted Critical
Publication of CN103995610B publication Critical patent/CN103995610B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/02—Input arrangements using manually operated switches, e.g. using keyboards or dials
    • G06F3/023—Arrangements for converting discrete items of information into a coded form, e.g. arrangements for interpreting keyboard generated codes as alphanumeric codes, operand codes or instruction codes
    • G06F3/0233—Character input methods
    • G06F3/0237—Character input methods using prediction or retrieval techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416—Control or interface arrangements specially adapted for digitisers
    • G06F3/0418—Control or interface arrangements specially adapted for digitisers for error correction or compensation, e.g. based on parallax, calibration or alignment
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04886—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures by partitioning the display area of the touch-screen or the surface of the digitising tablet into independently controllable areas, e.g. virtual keyboards or menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041—Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04101—2.5D-digitiser, i.e. digitiser detecting the X/Y position of the input means, finger or stylus, also when it does not touch, but is proximate to the digitiser's interaction surface and also measures the distance of the input means within a short range in the Z direction, possibly with a separate measurement setup

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Input From Keyboards Or The Like (AREA)
  • Position Input By Displaying (AREA)

Abstract

本发明提供了从手持式计算机化设备的替代触摸板进行用户输入的方法。本发明涉及一种手持式计算机化设备，其在正面面板上具有位映射显示屏幕，并且在替代位置安装有触摸板。更具体而言，本发明涉及一种方法和图形用户界面，其例如可以使得用户能够看到来自设备背面的用户的手指位置和运动叠加在正面面板上的虚拟键盘布局上。这可允许用户使用设备背面的触摸板键区来输入击键和鼠标动作，并且这些将以“虚拟手指”或等同物的形式反映在手持式计算机化设备的正面的显示屏幕上。系统通过将触摸板数据输入到人类手部的软件生物力学和解剖学模型中，该模型可选地由视频或图像信息来补充以完善此模型。

Description

从手持式计算机化设备的替代触摸板进行用户输入的方法
相关申请的交叉引用
本申请是2010年5月4日递交的标题为“METHOD FOR USER INPUT FROM THE BACKPANEL OF A HANDHELD COMPUTERIZED DEVICE”、发明人为Tong Luo的美国专利申请12/773,075的部分继续案；本申请也是2011年9月1日递交的标题为“DETACHABLE BACKMOUNTED TOUCHPAD FOR A HANDHELD COMPUTERIZED DEVICE”、发明人为Tong Luo的美国专利申请13/223,836的部分继续案；申请12/773,075进而又要求2010年4月23日递交的标题为“METHOD,GRAPHICAL USER INTERFACE,AND APPARATUS FOR USER INPUT FROM THE BACKPANEL OF A HANDHELD ELECTRONIC DEVICE”、发明人为Tong Luo的美国临时申请61/327,102的优先权；这些申请的内容都通过引用并入在此。
技术领域
本发明涉及具有安装在背面面板或主体的其他部分而不是显示屏幕上的触摸板的手持式计算机化设备。更具体而言，本发明涉及使得用户能够看到叠加在显示屏幕的键盘布局上的来自设备背面的用户手指位置和运动的方法和图形用户界面。这使得用户更容易从安装在手持设备的背面面板或其他部分上的触摸板输入击键和鼠标动作。
背景技术
诸如蜂窝电话、个人数字助理（PDA）、游戏设备、平板PC（例如iPad）等等之类的手持式计算机化设备（即，配备有微处理器和高级显示器的设备）在日常生活中正扮演着越来越重要的角色，并且正变得越来越不可或缺。随着技术的进步，以及手持式计算机化设备的处理能力的改进，功能和存储器空间都在以惊人的步伐增长。同时，手持式计算机化设备的大小继续变得越来越小。
为了迎接此挑战，手持式计算机化设备的设计者通常使用两种方法。一种方法是使键盘键越来越小，使键微型化。此外，可以赋予键盘键多种功能——即使其重载（overloaded），并且也在引入更复杂功能的键盘键。
另一种方法是在正面面板上使用触摸屏幕键盘，或者说所谓的“软键”。这里，用户可使用手写笔或手指来通过图形用户界面选择软键。然而，由于由显示屏幕引入的光幻觉，以及用户的手指经常在各种显示屏幕软键之上（因此阻挡了对他们的直接查看）这个事实，软键不能太小。另一个问题是，当软键太小时，经常单根手指按压会激活多个键。结果，设计者可能必须将键划分成不同的群组和层次，并且只在屏幕上显示少数的键。
这两种当前方法都有一些严重的缺陷：用户输入区域占用正面面板的很大部分，并且用户输入过程虽然要求花大量的用户注意力来操作，但却仍是很易出错的。
用户经常必须使用一只手来握持着手持式计算机化设备，并且使用另一只手来输入数据，从而占用了两只手。为了完成一个相当简单的输入，用户经常必须要经过一长序列的键击，并且在不同的用户界面屏幕之间来回切换。结果，为了高效地操作手持式计算机化设备，会有一个相当大的学习曲线来让用户学习重载键、功能键、键分组和键层次。
虽然先前的工作者，例如Libenow等人的美国专利6,909,424提出了在设备的背面有传感器并且在设备的正面表示用户手指的设计，但这个现有技术工作未能充分地描述在显示面板上显示用户的手指或手部的象征的过程。
其他先前的工作者，例如Westerman等人在美国专利申请2008/0211766中描述了如下系统：其中，图像传感器将会获得在操作设备的同时用户手指的图像，并且使用此图像数据来更好地确定用户的手指在敲击哪些真实或虚拟键。然而，这种方法依赖于以能够查看用户手指的尖端的方式定位的图像传感器。这类图像传感器放置在许多类型的手持式用户计算机化设备上经常是难以实现的。Westerman方法的另一个缺陷是其在低光线情形中难以实现。此方法在平滑且平坦的书桌或桌子空间有限的情形中可能也是难以实现的。
发明内容
因此，希望有更高效且用户友好的方式来对手持式计算机化设备进行用户输入。本发明对于上述这些问题给出了有效的解决方案。本发明通过将先前通常未使用的背面面板空间用于用户输入，解放了正面面板上的原始键盘空间来用于应用。本发明既能够应对键盘输入也能够应对鼠标输入。本发明在正面面板屏幕上给出了极好的图形用户界面，在这里，在键盘布局的显示（虚拟键盘）上方，用户可以看到其握持着背面面板的手指的实时位置和运动。本发明的方法比当前的触摸屏幕键盘更精确，因为其去除了当前存在于手指和触摸板之间的显示层。其还将用户的手指从正面面板移开，从而使得用户的手指不会阻挡对手指当前在操作的软键或区域的查看。对于更小的手持设备，例如蜂窝电话、iPhoneTM或iPadTM，握持设备的手现在也可以进行输入，因此解放了另一只手来进行其他活动。
从而，本发明的一个目的是提供一种对于手持式计算机化设备提供更高效且用户友好的用户输入的方法。
本发明的另一个目的是释放小电子设备的正面面板上当前由键盘占用的空间，并且将手持设备的背面面板上的通常未使用的空间用于用户输入用途。
本发明的另一个目的是给出一种视觉上吸引人的用户界面设计，其使得握持设备的手指的实时位置和运动——其通常会被设备本身隐藏而不能查看——能够以“虚拟手指”的形式与键盘布局的显示（虚拟键盘）一起被显示在正面面板上。用户的手指位置和键盘布局或者可显示为背景图像，或者可显示为当前在手持设备上运行的应用中的一些或全部之上的透明层。用户的手指位置和虚拟键盘的这些半透明表示允许了用户容易地输入数据，并同时继续允许用户对在手持设备上运行的各种应用的无阻碍访问。从而，例如，在缺少物理键盘的平板计算机设备上可以在无需代码修改的情况下容易地运行原本为具有物理键盘的计算机设备编写的应用。从而，也给出用户的手指运动的信息的这些虚拟半透明键盘和方法可以非常有用。
本发明的另一个目的是使得握持设备的手也能够进行用户输入操作，因此解放了另一只手来进行其他输入或用于其他用途。
在一个实施例中，本发明包括一种设备和方法，其具有：在正面面板上的显示屏幕（其可以是位映射显示屏幕）；嵌入在背面面板上的触摸板，其能够感测用户的手指位置和运动，以及图形用户界面。此图形用户界面通常将包括软件和可选的图形加速硬件两者以使得能够在显示屏幕上迅速显示复杂的图形。设备还具有可选的虚拟键盘处理器，其显示键盘布局，并且实时地计算并显示用户的手指位置。从而可以计算并以所有其他应用之上的层的形式在前显示屏幕上显示用户的手指在背面面板的触摸板上的位置和运动，其中该层可以是半透明层。虚拟键盘处理器还可解释手指运动（敲击），并且基于键盘上的手指位置的已知位置来调用相应的操作。
然而，与诸如Liebenhow这样的现有技术不同，用户的手指不需要被约束为放置到触摸板的特定区域上，而是可布置在任何任意位置。与诸如Westerman这样的其他现有技术不同，虽然可提供与用户手部的至少某个部分有关的视频信息的实时视频在某种程度上可辅助本发明，但用户手指——尤其是用户手指的尖端——的可视化是不必要的。这使得可以使用为一般摄影目的设计的手持设备视频相机来帮助可视化用户手部，而不要求用户手部的大部分实际上被拍摄。完全不要求用户的手指尖端在操作设备的同时被拍摄。
附图说明
图1是显示握持背面面板的手指的位置和运动的手持式计算机化设备的正面面板视图。
图2是手持式计算机化设备的背面面板视图。
图3是显示多组键的手持式计算机化设备的正面面板视图。
图4是同时显示握持背面面板的手指的位置和运动以及多组键的手持式计算机化设备的正面面板视图。
图5是显示与背面面板的触摸板接触的一根手指的位置和运动的更小的手持式计算机化设备的正面面板视图。
图6是同时显示与背面面板的触摸板接触的一根手指的位置和运动和多组键的更小的手持式计算机化设备的正面面板视图。
图7是显示作为标准键盘的键布局的另一实施例的手持式计算机化设备的正面面板视图。
图8是示出正面面板屏幕、背面面板触摸板、虚拟键盘处理器和设备存储器之间的主要组件和数据流的框图。
图9示出了可如何校准和调适手部和手指运动的生物力学模型来帮助将原始触摸板数据变成用户的手部和手指位置的精确模型。
图10示出了可如何使用预测性键入方法来提高在键入的同时虚拟手部和手指的外观的精确度。
图11示出了对于手指接近触摸板，触摸板灵敏度的动态变化可如何辅助突出显示用户在虚拟键盘上键入的同时即将敲击的虚拟键。
图12示出了在设备的图形显示屏幕上生成虚拟手部和手指的图像的方法。
图13示出了人类手部的生物力学和解剖学模型，示出了有皮肤覆盖的内部骨架结构。
图14示出了可如何由设备的相机或另外的相机来拍摄用户的一个或多个手部，并且此图像信息可用于完善用户手部的生物力学和解剖学模型的默认参数。
图15示出了可如何使用设备相机来获得在使用设备的触摸板的同时用户手部的部分图像，并且此信息也用于更新并完善用户手部的生物力学和解剖学模型。
具体实施方式
本发明涉及一种手持式计算机化设备，其在正面面板上具有位映射显示屏幕，并且在背面面板、侧面板或除了显示屏幕外的其他区域上安装有触摸板。更具体而言，本发明涉及一种方法和图形用户界面，其使得用户能够看到用户从设备后方的手指位置和运动叠加在正面面板上的虚拟键盘布局上。
从正面来看的此配置在图1中示出。可以看出，用户正握持着类似于Apple iPadTM或等同物的手持式电子平板设备（100）。设备的正面面板被大图形显示屏幕（102）占用，该图形显示屏幕可以是位映射图形显示屏幕。其实，在一些实施例中，整个正面面板屏幕或正面面板可被此图形显示屏幕（102）占用。用户利用他或她的手部（104）握持设备（100），其中用户的拇指（106）在设备前方，并且用户的手指（108）在设备后方。虽然设备（100）不是透明的，然而图形显示屏幕（102）被示为表示用户手指（108）的图形表示以及用户的手指明显在触摸不可见表面（110）的区域。此表面（110）对应于用户手指的尖端的实时手指打印图像。
图2示出了手持式计算机化设备（100）的背面。与先前在图1中示出的设备（100）的包含大图形显示屏幕的正面不同，手持式计算机化设备的背面不包含大图形显示屏幕，而是包含大触摸板（200）。可以看出，现在可以看到用户的手指（208）定位在触摸板上方，其中用户手指的尖端（210）触摸着触摸板。
注意，在一些实施例中，此背面触摸板可作为否则就缺少这种背面触摸板的手持式计算机化设备的改装或附加组件提供。这种方法和系统——例如“夹式”背面触摸板——在父申请13/223,836中有更详细描述，这里通过引用并入该父申请的内容。
图3示出了一种可能的可选“虚拟键盘”被显示在设备（100）的大图形显示屏幕（102）上的图。在此示例中，“虚拟键盘”具有符号键区（300）、数字键区（302）和QUERTY键区（304）。注意，在许多实施例中，可以以轮廓线或半透明的形式描绘键以免掩盖在图形显示屏幕（102）上运行的任何其他图形应用。
此方案允许了用户可选地使用设备背面的触摸板键区来输入键击和鼠标动作，并且这些将以“虚拟手指”或等同物的形式反映在手持式计算机化设备的正面的显示屏幕上。如前所述，正面面板上的此虚拟键盘布局可具有标准的或经修改的QUERTY键盘或键区、数字键盘或键区（数字输入键盘）或者可替换地具有一些不那么标准的键盘或键区，例如音乐键盘、Qwerty、Azerty、Dvorak、Colemak、Neo、土耳其语、阿拉伯语、亚美尼亚语、希腊语、希伯来语、俄语、摩尔多瓦语、乌克兰语、保加利亚语、梵文字母、泰国语、高棉语、藏语、中文、韩语（朝鲜语）、日语或其他类型的键盘。通常，此键区将是半透明的键区，以允许用户继续查看在虚拟键盘下方的显示屏幕上运行的各种应用程序。
图4示出了在电子设备的背面安装的触摸板上键入的用户可如何看到设备（100）的图形屏幕（102）上的他或她的手指（108）的图形表示以及虚拟键盘布局（300、302、304）（例如先前在图3中论述的那种）的示例。从而增强了用户输入数据的能力，因为用户可以从视觉上判断他或她的手指（108）与所关注的键区键（300、302和304）之间的距离并且适当地移动他或她的手指来击中期望的键。用户还可以点击超链接，例如链接1、链接2等等，或者其他可点击的对象。
因为从显示屏幕移开了用户的操作手指，所以手指将不会阻挡对显示屏幕的软键、软按钮、链接或其他区域的查看。现在可以更精确地看到这些区域，这进而允许了对设备的更精确操作。
这对于诸如Microsoft SurfaceTM系列、Windows8等等之类的一些更新平板计算机可以是尤其有坐标的特征，这些平板计算机可以在针对传统触摸输入设计的第一平板操作模式和从传统的桌面操作系统衍生而来的针对更精确的鼠标输入而优化的第二桌面操作模式之间交替操作模式。通过使能这种更严密的控制，以下情形变得更可行了：用户在传统桌面模式中操作这种类似“Surface”的设备，而无需使用鼠标或其他手部操作的指点器具。
因为正面键盘不再必要，所以本发明释放了设备上否则可能用于正面面板上的原始键盘空间的空间，并且为额外的显示和应用创造了空间。本发明利用了当前通常不使用的正面面板空间，从而使得正面显示器能够示出大得多的虚拟键，或者其间有更多空间的虚拟键。
本发明可以产生吸引人的视觉效果，以及有用的视觉效果，因为用户可以看到他或她的握持着背面面板并从而通常被阻挡而不能查看的手指与虚拟的（计算机生成的）键盘布局显示一起虚拟地显示在正面面板上。因为用户的手指位置、手指触摸区域、手指运动和虚拟键盘都从正面面板可见，所以在位于设备的背面面板上的触摸面板上的用户手指输入既是合乎直觉的也是易于使用的。不会有学习曲线，也不需要特殊的训练。本发明的用户输入方法比传统的触摸屏幕键盘更精确，因为这些方法去除了手指与触摸板之间的掩盖层，并且操作手指不会阻挡查看。对于诸如蜂窝电话和iPhone之类的小手持设备，本发明使得握持设备的手能够执行文本输入和其他命令，因此解放了另一只手来进行其他活动。
注意，虽然经常会呈现虚拟键盘，但根据这些方法也可以使用诸如互联网浏览器上的超链接等等之类的替代数据输入兴趣点。
或者，在与正面面板的屏幕上的当前应用相分离的区域上，可显示包括数字、字母和符号在内的多组键的布局（很像经常用于软键的传统分离显示区域）。
此方法的一个重要优点是利用本可选虚拟键盘和虚拟手指方法的设备不需要具有物理QUERTY键区或物理QUERTY键盘，或者任何其他类型的物理键区，例如物理数字输入键区或物理数字输入键盘。这帮助了改善设备人体工程学，从而允许了更大的图形显示屏幕，并且还降低了成本。
图5是更小的手持式计算机化设备（500）的正视图，该设备经常可以是蜂窝电话大小的设备（例如，Apple iPhoneTM大小的设备），具有更小的图形显示屏幕（502），显示与背面面板的触摸板接触（110）的多根手指（108）的位置和运动。
图6是同一个更小的手持式计算机化设备（500）的正视图，其同时显示与背面面板的触摸板接触（110）的多根手指的位置和运动以及多组键（300、302、304）。
图7是手持式计算机化设备（100）的图形显示（102）的正视图，其显示作为标准键盘的键布局的另一实施例（经修改的QUERTY键盘或键区）。
在一个方面中，本发明是一种由计算机实现的方法，包括：手持式计算机化设备，其在正面具有能够显示图形用户界面的屏幕，并且具有触摸敏感背面面板（或侧面板或除显示屏幕以外的其他区域）用户界面，例如二维触摸传感器。为了简单，不需要一定是平板的并且不需要一定安装在设备的背面的此触摸敏感面板有时将被称为触摸敏感背面面板，但这种用法并不打算是限制性的。
触摸传感器将实时地确定手指的运动，并且设备的软件和（一个或多个）处理器将使用触摸传感器数据来计算触摸背面面板上的触摸传感器的用户手指的实时位置和运动。这些“虚拟手指”随后将被显示在设备的图形用户界面上、静态背景的上方，在这里可选地可显示多组键，包括数字、字母和符号（例如，虚拟键盘）或超链接。通过观看用户的虚拟手指在虚拟键盘上的运动，用户可以容易地操作设备，并且可选地精确确定在何处敲击手指以便击中期望的虚拟键。
这里，可以用鲜明但非妨碍性的颜色来描画背面面板用户界面（UI）的轮廓并将其显示为当前应用上方的透明层，因此当前应用和背面面板UI的所有细节都被显示给用户。
或者，握持背面面板的手指的实时位置和运动可被在正面面板的屏幕上。
或者，包括数字、字母和符号在内的多组键的布局可被显示在正面面板的屏幕上，作为握持背面面板的手指的实时位置和运动的背景。
或者，握持背面面板的手指的实时位置和运动可被显示在包括数字、字母和符号在内的多组键的静态背景上，使得用户能够精确地在期望的键上敲击手指。
或者，虚拟手部的显示可以是有创造性的并且有美感的。例如，显示可以改为示出骨架、动物爪子、毛茸茸的手、带纹身的手等等，以实现更吸引人或有趣的效果。
在另一方面中，本发明是一种由计算机实现的方法，包括手持式计算机化设备，其具有安装在背面面板上的触摸板，其中触摸板能够感测多根手指的触摸、移动和敲击运动。这里，一根或多根手指的手指运动的信息——包括运动类型（例如，触摸、移动和敲击模式等等）和运动位置——被传递到虚拟键盘处理器（例如计算机处理器）。虚拟键盘处理器可分析手指运动，将手指位置与登记的键（虚拟键）以及超链接和应用程序的其他触摸按钮（统称为“用户输入区域”）的位置相比较，然后将决定用户输入区域中的哪个项目被敲击。虚拟键盘处理器随后可调用相应的操作。虚拟键盘处理器还可在每次手指运动之后更新手指或指肚或者其实是（一个或多个）用户手部在正面屏幕上的实时图像。
这里，触摸板可安装在手持式计算机化设备的背面面板上，并且可能够感测多根用户手指的触摸、移动和敲击运动。
或者，与多根用户手指的手指运动有关的信息——包括运动类型（例如，触摸、移动和敲击动作等等）以及运动位置——可被传递到虚拟键盘处理器。
或者，虚拟键盘处理器可以分析手指运动、将手指位置与登记的键位置相比较，确定哪个键被敲击，并且调用相应的操作。
或者，虚拟键盘处理器可更新握持背面面板的手指的实时位置和运动。
在另一方面中，本发明是用于手持式计算机化设备的图形用户界面。此界面可包括对包括数字、字母和符号在内的多组键的显示。这些可显示在正面面板屏幕上的图形用户界面上，并且其实此区域可占用整个屏幕。这里，图形用户界面的内容不被应用所阻挡，并且与应用一起被示出。
在另一方面中，本发明是用于手持式计算机化设备的图形用户界面。此界面包括对握持背面面板的手指的实时位置和运动的显示。这里，该显示在正面面板屏幕上，并且实际上可占用整个屏幕。由于此方法的优点，用户的手指位置和运动的内容不被应用或者包括数字、字母和符号在内的键组的显示所阻挡。
在另一方面中，本发明可以是一种帮助用户输入数据到手持式计算机化设备中的方法。此手持式计算机化设备经常将包括至少一个触摸板（经常位于手持式计算机的在设备的持有图形显示屏幕的那侧后面的一侧）、至少一个图形显示屏幕、至少一个处理器、存储器和软件。然而，通常，手持式计算机化设备将缺少QUERTY键区或键盘，并且可能甚至也缺少数字键区或键盘。该方法通常将包括在设备的所述至少一个图形显示屏幕上显示至少一个数据输入位置。这至少一个数据输入位置经常将会是可包括多个数据输入位置的键盘或键区的图形显示。这里，系统将使用触摸板来获得关于用户的手指和/或手部的位置和移动的数据。系统可根据人类手部的生物力学和解剖学模型来分析关于用户的手指和/或手部的位置和移动的数据，并且将把关于所述用户的手指和/或手部的位置和移动的数据指派到人类手部（通常是用户的手部）的这个生物力学和解剖学模型上的特定手指。系统随后可使用人类手部的这个生物力学和解剖学模型来计算至少是用户的手指并且常常是用户手指和（一个或多个）用户手部两者的图形表示。系统随后将在设备的图形显示屏幕上显示至少用户手指（并且同样经常是用户的手指和手部两者）的图形表示。从而，图形显示屏幕上的用户手指的图形表示与数据输入位置（例如虚拟键盘）之间的距离将给出将会帮助用户在触摸板上适当地定位他/或她的手指和/或手部的信息，这进而将促进用户输入。
图8示出了可用于实现本发明的一个实施例的软件和硬件的概况。这里，首先从背面面板触摸板收集手指位置和运动数据（800），然后将其传递到虚拟键盘处理器（802）。虚拟键盘处理器（其经常由软件和诸如微处理器、图形处理器、触摸板控制器和存储器之类的硬件的组合实现）将虚拟手指位置和运动与键盘布局一起显示在正面面板屏幕上（804）。虚拟键盘处理器还分析手指位置和运动信息、将其与登记的键（或超链接）的位置相比较并且调用适当的操作（806）。键盘位置信息可被编程在虚拟键盘进程中，或者可保存在系统存储器中（808）。用户打算传递到应用的按键或超链接信息可通过存储器或者通过进程间通信被传递到虚拟键盘控制器。
触摸板技术
原则上，对于此设备可使用许多不同类型的触摸板技术，包括电容式感测（由Gerpheide在美国专利5,305,017中例示）、电导感测、电阻式电测、表面声波感测、表面电容感测、投影电容感测、应变仪、光学成像、色散信号技术、声脉冲识别以及双向屏幕感测。然而，在优选实施例中，可以使用不要求大量手指压力的触摸板感测技术，以及能够同时感测多个手指位置的触摸板技术。这种同时感测多个手指位置或手势的能力经常被称为多点触摸或多点触控感测技术。
适用于本发明的适当的多点触控触摸板技术的一个良好示例由加州圣何塞的赛普拉斯半导体公司（Cypress Semiconductor Corporation）生产的Cypress TrueTouchTM投影电容产品家族例示。2007年1月17日Robert Jania在白皮书“Cypress’CapSenseSuccessive Approximation Algorithm”（CSA RJO.doc）中描述的技术通过检测手指存在或接近电容式传感器来工作。因为此触摸板系统感测手指接近，而不是手指压力，所以其很适合于多点触控应用，因为取决于电容检测电路的调谐和下层的触摸板弹性，可以分析从轻到重的各种程度的手指压力。虽然经常用于触摸屏幕，但如Jania所教导的，此方法实际上能够与很宽范围的基板一起工作。
虚拟手指和手部位置软件（虚拟键盘处理器）
适当的手指和手部位置算法包括1999年春University of Delaware的Westerman的电气工程博士论文“Hand Tracking,Finger identification,and chordicmanipulation on a multi-touch surface”；以及van Nierop,“A natural human handmodel”,Visual Computing(2008)24:31-44。这些算法使得能够从触摸板数据以良好的精确度识别每只手上的所有手指。
如Westerman所教导的，尝试创建“虚拟手指”的一个问题在于，传统的多点触控传感器通常最多只能检测到手部的特定区域，例如手指尖端，可能还有手掌（Westerman的摘要，第xxix-xxx页）。Westerman教导了如何通过从手部位置估计自举来克服此问题，这克服了将手指尖端链接到手掌的结构的不可见性。Westerman还发现，通过使用对各种接近图像构造的上下文相关分割以及通过对与每个可辨识的表面接触相对应的像素组进行参数化，可以获得适当的算法。他还发现，通过跨越接连的图像对链接进行路径跟踪，可以确定与相同手部部分相对应的那些群组，并且可以可靠地检测到个体手指何时向下触摸多点触控板表面以及从该表面上抬起。他还发现并提出了数种不同的组合优化算法，这些算法使用生物力学约束和解剖学特征来将每个接触的路径与特定的手指尖端、拇指或任一手的手掌关联起来。他的算法还通过利用平方距离成本度量将接触指派到手部部分吸引点的环来操作，有效地针对手部部分吸引点的环对接触身份分类。
Westerman还描述了用于可靠地检测同步手指触摸、提取独立的手部平移、缩放和旋转速度以及手指和手部识别的方法。
Van Nierop等人教导了一种基于人类手部的骨架链接模型的软件，其创建了关节运动的基于生物学的（生物力学和解剖学）模型和关联约束集合。他们的方法还基于能够伸展和膨胀以便容纳此内部骨架的皮肤的软件模型。他们的软件对人类手部中的四种不同类型的关节的自然连接轴进行建模，而且考虑到了下层的手骨结构的相对长度，并且还考虑到了手部肌肉和皮肤占据的空间。
图9示出了如何可调适这个一般类型的方法来用于本发明的概要。该方法可仅利用手部和手指关系的标准化模型来以充分的精确度工作。这里，例如，仅通过一初始校准步骤，系统即可充分地执行，在该步骤中，例如，系统邀请用户将他或她的手部放在显示屏幕上，系统显示各种大小的手部，并且用户被邀请输入哪个标准化手部大小最符合他或她自己的手部。系统随后可将此数据用于其各种计算。更简单的是，系统可以默认平均手部大小来在最初使用，从而允许了在没有预备校准的情况下实现某种程度的功能。
然而，通过采用一个或多个主动校准步骤来更好地校准系统经常将是有用的。这些步骤可以在实际使用条件下完善初始手部模型，并且对手部模型的各种部分进行适当的调整，这些调整将会最佳地符合在实际使用条件下获得的数据。
此主动校准过程的示例在图9中示出。这里，在步骤（900）中，系统可邀请用户进行主动校准步骤，或者用户将会自愿开始主动校准步骤。为了促进此校准步骤，系统可以可选地在屏幕上显示一个或多个目标，这些目标可以是键盘目标，或者可以是专门设计的校准目标，这些校准目标是针对主动校准步骤特别设计的。可选的摄影校准步骤针对图14来描述。
为了降低复杂度，系统可以可选地请求用户一次校准一只手，并且其实可以请求用户以不同于通常键入的方式操作其手上的手指以收集额外的数据。例如，可以请求用户首先将特定的手指伸到最大长度并按压，然后伸到最小长度并按压，然后伸到极左并按压，然后伸到极右并按压，等等，此过程可能以一次一根的方式经过所有手指和拇指。应当清楚的是，这种数据集合随后自然可被转化成该特定用户的手部及其维持数个不同配置的能力的合理详细的模型。在此过程期间，系统将利用触摸板感测硬件和校准软件来积累触摸数据（902）。系统还将通过从各种手部位置估计进行自举来对用户的手部和手指的位置作出预测（904）。为此系统经常将会跨越接连的时间间隔跟踪手部和手指的位置，并且计算可能的手指路径（906）。系统经常还会使用其内部的用户手部生物力学特征和解剖学特征的模型来进行上述预测，并且帮助将各种投影路径与用户的手指尖端和拇指位置关联起来，所述位置至少在主动校准过程期间将会已知（908）。系统随后在步骤（910）中将通过将预测结果与真实数据相比较来完善其关于用户手部生物力学和解剖学特征的模型，并且确定其用户手部模型是否以充分的精确度工作。如果是，则此用户手部模型随后将被采用并用于后续的用户虚拟键盘数据输入用途。如果用户手部模型不以充分的精确度工作，则系统将尝试通过改变一个或多个手部模型参数来调整手部模型（912），并且经常将会继续校准过程，直到获得可接受的性能为止。
从而，此校准软件使得人类手部的生物力学和解剖学模型能够被更精确地校准以匹配特定用户的手指和/或手部的生物力学和解剖学特性。
可以可选地利用预测性键入模型来促进屏幕上的仿真虚拟手指的真实感。此方法在用户在虚拟键盘上键入文本时将会尤其有用，因为系统可以扫描已经输入的先前文本，并且利用字典和其他手段——例如特定语言中的字母的统计分布——来对接下来将会键入哪个字母作出有根据的猜测。这个有根据的猜测随后可用于补充关于最后的手指尖端位置和移动的触摸板数据，以倾向于将仿真手指的外观朝着逻辑上的下一个键引导。然而，因为此系统有时往往会猜测错误，所以用户可能发现依据用户和情形将此预测性键入“暗示”调整到各种设置将会是有用的。从而，是有经验的触摸键入者并且往往键入得既相当迅速又相当准确的用户往往会发现预测性键入暗示有用，因为预测性方法对于此类用户往往会工作得较好。另一方面，更大程度上是缓慢且迟疑不决的“看着键盘打字”的键入者的用户可能会发现预测性方法不那么有用，并且可能希望降低暗示的强度或者可能甚至将预测性键入“暗示”完全关闭。
此预测性键入“暗示”方法的图在图10中示出。在预测性键入系统中，软件首先将访问用户手部的生物力学和解剖学模型数据（1000），以及来自触摸板传感器的最新手指尖端和拇指位置数据（1002）。系统随后将使用此信息来在设备的显示屏幕上显示用户的虚拟手部和手指（1004）。如果预测性键入模型开启（1006），则系统将尝试（基于键入速度，以及用户在键入速度上的一贯性，以及上下文）推断用户接下来有可能键入的最可能的一个或多个字母。系统还将尝试预测用户将用来键入此最可能的字母的最可能的一根或多根手指（1008）。例如，如果用户正迅速且一贯地键入，并且单词或句子的上下文表明可能是诸如“e”之类元音，则系统可将此因素用在其对来自触摸传感器的有点含噪声的手指位置数据的分析中，以增大用户的左食指（其经常用于键入键盘上的“e”，并且实际上可能没有配准在触摸板上，因为用户已抬起了左食指以移动去敲击“e”键）在朝着“e”键移动的概率。当被适当地使用时，这种预测性键入算法可帮助增强用户正在透过显示器看到其在显示器下方的手部的幻觉。相反，如果预测性键入模式被“关闭”（或设置到降低的强度）（1010），则系统在其对用户的手部和手指的显示中将不会考虑可能的下一个字母。
通过包含用户对每个特定键的手指使用历史，可以进一步增强预测性键入的效率。例如，一个用户可具有使用右食指来键入键“H”和“J”的较强倾向，而作为另一示例，同一用户可具有使用其左小指来键入字母“A”和“Z”的倾向。这里，系统可随着时间的流逝观察个体用户的键入模式，此观察或者是作为初始校准步骤的一部分进行，或者是稍后（并且甚至可能持续地）在监视用户的键入模式的同时进行，并且系统将用户的个体化手指到字母关联习惯用作预测性键入算法的一部分。
从而，此预测性键入软件使得计算机化设备能够通过除了使用利用触摸板获得的关于用户手指和/或手部的位置和移动的数据以外，还额外地使用击键预测，来以更好的精度计算至少是用户的手指（并且经常是用户的手指和手部）的图形表示。
为了提高虚拟手指的真实感，还可以使用额外的“手指悬停”算法。本说明书中使用的“手指悬停”指的是，每当系统相信用户的手指正悬停在虚拟键盘上的一虚拟键上方时或者即将要敲击该虚拟键时，就突出显示或以其他方式在图形上更改该虚拟键的外观。对于此类算法，使用能够感测手指与触摸板表面的相对接近的触摸板，例如投影电容式技术触摸板，可能尤其有用。
检测表面上方的相对手指高度的传感器和算法可被调节到各种灵敏程度，并且其实此灵敏水平代表了一个重要的工程折衷。如果触摸板被调节到太高的灵敏度，则其往往会生成假（错误）信号，并且还缺少关于手指即将落在触摸板上的确切何处的精度。如果触摸板被调节到更低的灵敏度，则触摸板往往会只检测到在触摸板表面上施加相当大量的压力的手指尖端。
虽然许多现有技术触摸板往往总是使用连续水平的触摸板灵敏度，但对于本说明书中描述的“手指悬停”选项，使用动态或可变水平的触摸板灵敏度可能是有利的。例如，为了检测手指悬停在键的上方，触摸板可首先以通常水平的灵敏度操作，直到其检测到在特定键的策略敲击距离内的手指尖端已离开了触摸板的表面为止。此时，为了检测键上方的“手指悬停”，触摸板电路可临时将其灵敏度重置到更高的水平，该更高的水平被设计为更精确地检测用户的手指何时悬停在键上方。如果该更高水平的触摸板灵敏度检测到手指尖端接近，则该键可被突出显示。如果该更高水平的触摸板灵敏度没有检测到悬停的手指尖端，则该键将不会被突出显示。在一小段时间——经常大约是十分之一秒——之后，触摸板随后可重置到通常水平的灵敏度以更精确地确定手指随后是否实际触摸了触摸板。
图11示出了检测并指示“手指悬停”的算法的示例。这里，系统显示虚拟键盘（1100），以及在此虚拟键盘上或附近的用户虚拟手指的覆盖（1102）。当系统检测到某根手指——该手指由于其接近某个键或者由于预测性键入考虑而被怀疑是即将要按压该键的手指——离开触摸板（最有可能是因为用户已在触摸板上方抬起该手指以为敲击该虚拟键作准备）时（1104），系统将会瞬间将触摸板手指接近检测器变到更高水平的灵敏度（1106），并且软件将会具体地查明是否能够检测到手指悬停在怀疑的一个或多个键上方（1108）。如果是，并且能够在此怀疑键上方检测到手指悬停信号，则此键将被突出显示以帮助引导用户（1110）。在通常将不超过大约十分之一秒的一段时间之后，系统将会再次把手指接近检测器的灵敏度降低到通常水平（1112），以便精确地检测手指是否即将要敲击该键（1114）。如果现在在通常灵敏度下操作的触摸板现在检测到该虚拟键已被用户敲击，则系统将会通过对该键的进一步图形改变来适当地在虚拟键盘上指示出该键击（1116），并且可选地可以还发出可听到的键按压或键点击声音以向用户给出进一步反馈。
更一般而言，此方法允许了每当如下情况发生时就在设备的图形显示屏幕上突出显示至少一个数据输入位置（键）：计算机化设备确定所述用户的手上的至少一根手指已离开了触摸板，并且手指的位置和运动历史与手指敲击触摸板上的与图形显示屏幕上该数据输入位置（键）的位置一致的位置的能力一致。
用户的（一个或多个）人类手部和手指的图形表示
一旦计算机化设备已获得了来自触摸板的数据，以及任何额外的预测性键入数据、悬停检测方法数据、校准数据等等，并且已更新了其内部的用户的一个或多个手部（包括手指）的生物力学和解剖学模型来反映此新数据，则系统就可利用用户的一个或多个手部的这个生物力学和解剖学模型来计算适合于显示在设备的图形显示屏幕上的至少是用户的手指并且经常是用户的手部和手指的图形表示。
用户的手部和手指的逼真图形表示是不必要的。经常，所需要的就只是用户的手部和手指的更像是阴影图或漫画状的二维模型（或表示）。通常，用户的手部和手指的这些二维表示不需要包含许多内部细节（如果有任何内部细节的话）。更确切地说，这些表示可以例如看起来很像用户的手部和手指在表面上的半透明的灰色或其他颜色的阴影投影。这里，用户的手部和手指的锐度和对比度以及细节只需要足够锐利，并且相对于显示屏幕的其他区域具有足够辨别的对比度，以便使得用户能够精确地将他或她的手部和手指放置在图形显示中示出的适当虚拟按钮或虚拟键盘上。在本说明书中稍后也论述了更奇幻的或者具有艺术灵感的手部表示。
图形地表示用户的手部和手指或者至少用户的手指的许多方式是可能的。一种方式在图12中示出。这里，基于（一个或多个）人类手部的生物力学和解剖学模型（1200），并且可选地基于关于用户的手指和手部的位置和移动的具体数据（该具体数据是基于触摸板数据的）（以及来自预测性键入软件或悬停检测的任何额外数据），在设备的存储器中可构造描绘用户的（一个或多个）手部和手指的三维虚拟模型（1202）。
基于此3D模型，可在与触摸板的表面相对应的数学表面上作出用户的手部和手指的一般轮廓的二维投影（1204）。此投影可以采取手部和/或手指轮廓的形式，或者可以产生虚拟手部和手指阴影。随后可将此投影与被发送到用于设备的显示屏幕的存储器缓冲器或图形显示缓冲器的任何其他数据相组合，然后显示给用户（1206）。
从而，在一个实施例中，图形显示屏幕上的至少用户手指（并且经常是用户的手部和手指两者）的图形表示可利用先前的如下指派来完成：该指派将关于用户的手指和/或（一个或多个）手部的位置和移动的数据指派到所述（一个或多个）人类手部的生物力学和解剖学模型上的特定手指，以在计算机化设备的存储器中创建用户的（一个或多个）手部和手指的三维模型。接下来，可以作出存储器中的用户的（一个或多个）手部和手指的这个三维模型的二维投影。这里，该二维投影可以在一虚构平面上，该虚构平面在与用户手指的模型的距离和朝向两者上都对应于触摸板。从而，如果真实用户的手指在触摸板上方1/4”处，则用户手指的三维模型与在距离和朝向上对应于触摸板的虚构平面之间的距离也将是1/4”。在虚构“触摸板”平面（虚拟触摸板）上的这个二维投影可用于在图形显示屏幕上生成至少用户手指的图形表示，并且经常也用于生成用户的手指和（一个或多个）手部的图形表示。
或者，在一种不那么计算密集的方案中，可操纵用户手部和手指的二维模型以最好地符合先前所述的手部和手指位置和运动数据，并且此二维模型随后用于图形表示。
这个二维模型可根据用户的手部大小来进一步加以用户选择，并且其实可通过让用户将其手部放置在触摸板上、从而允许系统直接感测用户手部的尺寸来加以校准。
图13示出了人类手部的生物力学和解剖学模型的一个实施例的更多细节。部分基于人体的格雷解剖学的1918年版（从http://www.bartleby.com/107/illus234.html获得）的图234的这个图示示出了手部的主要骨骼，其中食指和拇指的骨骼分开以便允许更好地可视化关节。
在此图中，示出了手部的内部骨架结构（1300），以及手部左侧的皮肤的轮廓（1302）。手指的骨骼被称为远端指骨（1304）、中间指骨（1306）、近端指骨（1308）和掌骨（1310）。拇指缺少中间指骨。
这里，各种手指关节被称为远端指骨间关节（dip）（1312）、近端指骨间关节（pip）（1314）和掌指关节（mcp）（1316）。拇指缺少远端指骨间关节（dip），而是具有指骨间关节（ip）（1318）以及腕掌（cmc）关节（1320）。为了获得最高的精确程度，利用实际用户手部参数来替换这各种骨骼的至少长度的默认参数值，经常会是有用的。一般地，人类的生物力学和解剖学模型的各种默认参数相对于实际用户手部参数越精确越好。在一些实施例中，甚至关节运动的范围也可通过实验来确定，并用于替换一个或多个关节运动范围默认参数。
在一些实施例中，为了提高精确度（即利用实际用户参数来替换标准的人类手部生物力学和解剖学模型默认参数），获取用户手部的图像并且采用各种图像处理和分析技术来分析用户的一个或多个手部的这个图像以更好地估计用户手部的各种骨骼的相对长度，将会是有用的。其实，在用户失去了一根或多根手指的情况下，系统则可使用此信息来对它的人类手部生物力学和解剖学模型进行相应的改变。
图14示出了可如何由设备的相机或另外的相机来拍摄用户的一个或多个手部，并且此图像信息可用于完善用户手部的生物力学和解剖学模型。在获取这种图像时，让系统提供标准化背景，例如一系列距离标记、坐标纸等等，以便更好地校准手部的图像并且针对任何失真进行校正，经常是有用的（1400）。这个标准化背景还可额外地包含各种颜色、灰度以及分辨率测试目标。可以通过以电子方式提供用于在用户的打印机上打印的一个或多个背景图像纸（例如，jpeg、png、pdf或其他图像文件）来方便地提供该背景。
在一个实施例中，用户可将每只手放在此背景上，并且利用计算机化设备的相机或另一相机来拍摄（一个或多个）手部的照片（1402）。此图像随后可优选由一图像分析程序来分析。背景图像将帮助对由不同的相机角度等等造成的任何图像失真进行校正。
这个用户手部图像分析可在用户的手持式计算机化设备上完成，但并不是必须要这样。在替代实施例中，用户可将由任何成像设备所拍摄的手部的一个或多个图像上传到外部图像分析器，例如远程互联网服务器。在任一情况下，图像分析器将分析用户的皮肤外观（1404），推断用户手部的一个或多个骨骼——例如用户的各种手指和拇指骨骼——的最可能长度，并且将此数据或用于校正用户的（一个或多个）手部的默认生物力学和解剖学模型的其他数据发回到用户的计算机化设备。
或者，至少利用能够提供大量接触点的位置细节的更高级并且可能为下一代的触摸板，用户可通过将用户手部的一部分或全部牢牢地按压在触摸板上并且允许具有高能力的触摸板进而精确地呈现所得到的手印，来校准触摸板。计算机程序随后可分析触摸板得出的手印，提取诸如手指关节位置、可能的手指和手部骨骼长度等等之类的参数，并且得出与先前针对以上摄影校准步骤所述相同的信息。
触摸板的替代或补充
在替代实施例中，可利用光学方法来获得关于用户的手指放置的信息。从而，在替代实施例中，触摸板传感器可以是诸如一个或多个相机之类的光学方法。这（一个或多个）相机可以保持跟踪用户的手部和手指位置，并且此数据随后可被馈送到（一个或多个）人类手部的生物力学和解剖学模型中以如前所述计算至少用户手指的图形表示。
实时视频更新
在另一实施例中，图像信息也可用于在用户使用设备的同时实时地完善（一个或多个）用户的生物力学和解剖学模型。
图15示出了在近距离经常只有很有限视野（1502）的后部安装设备相机（1500）却如何可用于利用安装在计算机化设备（1510）的背面的触摸板在用户在使用后部安装触摸板（1508）的同时获得用户手部（1506）的一部分（1504）的实时视频图像。同时，触摸板数据以强触摸板信号的形式给出用户食指（1512）的位置，并且以较弱的触摸板信号（1514）的形式给出用户的中指（1514）的位置。
注意，虽然视频相机（1500）可直接可视化的手部的唯一部分（1504）根本不包含与用户手指的位置有关的任何图像信息，但图像信息（1504）确实提供了对用户手部的生物力学和解剖学模型的重要的一系列进一步约束。从而，此部分手部图像信息结合触摸板数据（1512）、（1514）以及可选地结合以上图14中获得的这个用户手部的经完善的生物力学和解剖学模型（如果可用的话）可以大幅提高对用户的手部和手指的描绘的精确度。
其他变化
在一些实施例中，出于娱乐或艺术目的，用户可能不希望让用户手部的完全精确的解剖学模型显示在屏幕上，而是可能反而更想要一种变体，例如“兽手”的逼真描绘，其中手指被爪子、皮毛或指肚等等所替换，或者骨架手部的逼真描绘，其示出了根据图13的用户手部骨骼的下层生物力学和解剖学估计。
作为一个选项，系统软件还可被配置为将用户的手指和手部呈现为各种手部变体。一般地，这些手部变体仍将提供与用户的手部和手指放置有关的逼真信息，但也将提供此信息作为经常可根据用户偏好来定制的各种用户艺术选项。
商标：iPADTM和iPhoneTM是加州库比蒂诺的苹果公司的商标，SurfaceTM是微软公司的著作权。

Claims (17)

1.一种创建在操作手持式计算机化设备的同时用户的一个或多个手部的至少一些部分的虚拟图像的方法，所述手持式计算机化设备包括至少一个触摸板、至少一个图形显示屏幕、至少一个处理器、存储器和软件，所述方法包括：
利用所述触摸板获得关于用户的手指和/或手部的位置和移动的数据；
所述触摸板位于所述手持式计算机化设备的与所述至少一个显示屏幕的位置不同的位置；
通过获得用户的一个或多个手部的至少一个完整或部分图像来补充或完善人类手部的生物力学和解剖学模型；
所述手持式计算机化设备还包括至少一个视频相机，该至少一个视频相机被配置为拍摄接近所述至少一个触摸板的空间的区域的至少一部分，但未被配置为拍摄所述触摸板的表面；
其中，当所述用户在触摸所述触摸板时，所述用户的手指的至少远端指骨的位置未被所述至少一个视频相机所拍摄；
其中，用从所述至少一个相机获得的所述人类手部的至少非手指区域的实时视频图像来进一步补充或完善人类手部的生物力学和解剖学模型；
根据人类手部的生物力学和解剖学模型分析来自所述触摸板的关于所述用户的手指和/或手部的位置和移动的所述数据，并且将关于所述用户的手指和/或手部的位置和移动的所述数据指派到所述人类手部的所述生物力学和解剖学模型上的特定手指，从而作出关于用户的手部和手指的位置的预测；
利用所述人类手部的所述生物力学和解剖学模型，以及对用户的手部和手指的位置的所述预测，来计算至少所述用户的手指的图形表示；
在所述手持式计算机化设备的所述至少一个图形显示屏幕上显示至少所述用户的手指的所述图形表示。
2.如权利要求1所述的方法，还分析用户的一个或多个手部的所述至少一个完整或部分图像以计算所述人类手部的所述生物力学和解剖学模型的一个或多个用户参数；
并且使用所述人类手部的所述生物力学和解剖学模型的所述一个或多个用户参数来替换所述人类手部的所述生物力学和解剖学模型的一个或多个默认参数。
3.如权利要求2所述的方法，其中，所述一个或多个用户参数包括所述用户的一个或多个手部的至少一个或多个远端指骨或中间指骨或近端指骨或掌骨的长度。
4.如权利要求1所述的方法，其中，所述触摸板位于所述手持式计算机化设备的与所述手持式设备的保持所述至少一个图形显示屏幕的那侧不同的一侧。
5.如权利要求1所述的方法，其中，所述触摸板能够检测在所述触摸板的表面上方所述用户的手指的接近；
其中，当所述用户的手指与所述触摸板的表面之间的距离大于零时，所述触摸板能够辨别所述距离。
6.如权利要求1所述的方法，其中，所述软件包括校准软件，以使得所述人类手部的生物力学和解剖学模型能够被根据触摸板数据校准，以更精确地匹配所述用户的手指和/或手部的生物力学和解剖学特性；并且其中，所述生物力学和解剖学特性至少包括用户的手指的长度，从而允许所述人类手部的所述模型对于多个不同的手部配置确定所述用户的手指的长度。
7.如权利要求1所述的方法，用于帮助用户输入数据到所述手持式计算机化设备中，还包括：
在所述手持式计算机化设备的所述至少一个图形显示屏幕上显示至少一个数据输入位置；
其中，所述至少一个数据输入位置是包括多个数据输入位置的键盘或键区的图形显示，或者其中所述至少一个数据输入位置是超链接。
8.如权利要求7所述的方法，其中，每当所述计算机化设备确定所述用户的手部上的至少一根手指离开了触摸板并且所述至少一根手指的位置和运动历史与所述用户的手部上的所述至少一根手指敲击所述触摸板上的与所述至少一个图形显示屏幕上的所述至少一个数据输入位置的位置一致的位置的能力一致时，就在所述至少一个图形显示屏幕上突出显示所述至少一个数据输入位置；
其中，所述突出显示在所述至少一根手指敲击所述键区上的下一位置之前开始。
9.如权利要求7所述的方法，其中，所述至少一个数据输入位置包括字母数字字母数据输入位置，并且其中所述软件包括预测性键入软件，该预测性键入软件被配置为推断用户接下来有可能要键入的最可能的一个或多个字母、以及用户将用来键入此最可能字母的最可能的一根或多根手指，并且所述计算机化设备利用由所述预测性键入软件作出的击键预测以及关于使用所述触摸板的所述用户的手指和/或手部的位置和移动的所述数据来计算至少所述用户的手指的图形表示。
10.如权利要求7所述的方法，其中，所述至少一个图形显示屏幕上的至少所述用户的手指的图形表示是半透明的，以使得能够同时观察图形显示和所述用户的手指；或者其中，所述至少一个数据输入位置是半透明键盘或半透明键区的图形显示，从而允许在所述图形显示上运行的当前应用的细节与所述半透明键盘或半透明键区一起被可视化。
11.一种创建在操作手持式计算机化设备的同时用户的一个或多个手部的至少一些部分的虚拟图像的方法，所述手持式计算机化设备包括至少一个触摸板、至少一个图形显示屏幕、至少一个处理器、存储器和软件，所述方法包括：
在所述手持式计算机化设备的所述至少一个图形显示屏幕上还显示至少一个数据输入位置；
利用所述触摸板获得关于用户的手指和/或手部的位置和移动的数据；
所述触摸板位于所述手持式计算机化设备的与所述至少一个显示屏幕的位置不同的位置；
根据人类手部的生物力学和解剖学模型分析来自所述触摸板的关于所述用户的手指和/或手部的位置和移动的所述数据，将关于所述用户手指和/或手部的位置和移动的所述数据指派到所述人类手部的所述生物力学和解剖学模型上的特定手指，从而作出关于用户的手部和手指的位置的预测；
其中，通过获得用户的一个或多个手部的至少一个完整或部分图像来补充或完善人类手部的生物力学和解剖学模型；
所述手持式计算机化设备还包括至少一个视频相机，该至少一个视频相机被配置为拍摄接近所述至少一个触摸板的空间的区域的至少一部分，但未被配置为拍摄所述触摸板的表面；
其中，当所述用户在触摸所述触摸板时，所述用户的手指的至少远端指骨的位置未被所述至少一个视频相机所拍摄；
其中，用从所述至少一个相机获得的所述人类手部的至少非手指区域的实时视频图像来进一步补充或完善人类手部的生物力学和解剖学模型；
使用所述人类手部的所述生物力学和解剖学模型，以及对用户的手部和手指的位置的所述预测，来计算至少所述用户的手指的图形表示；
在所述手持式计算机化设备的所述至少一个图形显示屏幕上显示至少所述用户的手指的所述图形表示，
其中，所述至少一个图形显示屏幕上的至少所述用户的手指的所述图形表示与所述至少一个数据输入位置之间的距离向所述用户给出了信息来帮助所述用户在所述至少一个触摸板上定位所述用户的手指和/或手部以将用户数据输入到所述至少一个数据输入位置中。
12.如权利要求11所述的方法，还分析用户的一个或多个手部的所述至少一个完整或部分图像以计算所述人类手部的所述生物力学和解剖学模型的一个或多个用户参数；
并且使用所述人类手部的所述生物力学和解剖学模型的所述一个或多个用户参数来替换所述人类手部的所述生物力学和解剖学模型的一个或多个默认参数；
其中，所述一个或多个用户参数包括所述用户的一个或多个手部的至少一个或多个远端指骨或中间指骨或近端指骨或掌骨的长度。
13.如权利要求11所述的方法，其中，所述软件包括校准软件，以使得所述人类手部
的生物力学和解剖学模型能够被根据触摸板数据校准以更精确地匹配所述用户的手指和/
或手部的生物力学和解剖学特性；并且
其中，所述生物力学和解剖学特性至少包括用户的手指的长度，从而允许所述人类手
部的所述模型对于多个不同的手部配置确定所述用户的手指的长度。
14.如权利要求11所述的方法，用于帮助用户输入数据到所述手持式计算机化设备中，还包括：
在所述手持式计算机化设备的所述至少一个图形显示屏幕上显示至少一个数据输入位置；
其中，所述至少一个数据输入位置是包括多个数据输入位置的键盘或键区的图形显示，或者其中所述至少一个数据输入位置是超链接。
15.如权利要求14所述的方法，其中，每当所述计算机化设备确定所述用户的手部上
的至少一根手指离开了触摸板并且所述至少一根手指的位置和运动历史与所述用户的手
部上的所述至少一根手指敲击所述触摸板上的与所述至少一个图形显示屏幕上的所述至
少一个数据输入位置的位置一致的位置的能力一致时，就在所述至少一个图形显示屏幕上
突出显示所述至少一个数据输入位置；
其中，所述突出显示在所述至少一根手指敲击所述键区上的下一位置之前开始。
16.如权利要求14所述的方法，其中，所述至少一个数据输入位置包括字母数字字母数据输入位置，并且其中所述软件包括预测性键入软件，该预测性键入软件被配置为推断用户接下来有可能要键入的最可能的一个或多个字母、以及用户将用来键入此最可能字母的最可能的一根或多根手指，并且所述计算机化设备利用由所述预测性键入软件作出的击键预测以及关于使用所述触摸板的所述用户的手指和/或手部的位置和移动的所述数据来计算至少所述用户的手指的图形表示。
17.如权利要求14所述的方法，其中，所述至少一个图形显示屏幕上的至少所述用户的手指的图形表示是半透明的，以使得能够同时观察图形显示和所述用户的手指；或者
其中，所述至少一个数据输入位置是半透明键盘或半透明键区的图形显示，从而允许在所述图形显示上运行的当前应用的细节与所述半透明键盘或半透明键区一起被可视化。
CN201410055219.1A 2013-02-19 2014-02-19 从手持式计算机化设备的替代触摸板进行用户输入的方法 Expired - Fee Related CN103995610B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US13/770,791 2013-02-19
US13/770,791 US9311724B2 (en) 2010-04-23 2013-02-19 Method for user input from alternative touchpads of a handheld computerized device

Publications (2)

Publication Number Publication Date
CN103995610A CN103995610A (zh) 2014-08-20
CN103995610B true CN103995610B (zh) 2019-01-29

Family

ID=50184733

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410055219.1A Expired - Fee Related CN103995610B (zh) 2013-02-19 2014-02-19 从手持式计算机化设备的替代触摸板进行用户输入的方法

Country Status (2)

Country Link
EP (1) EP2767888A3 (zh)
CN (1) CN103995610B (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104363345A (zh) * 2014-11-17 2015-02-18 联想(北京)有限公司 一种显示方法和电子设备
CN106502324B (zh) 2016-10-21 2019-09-10 昆山龙腾光电有限公司 移动智能终端
US10955961B2 (en) * 2018-02-02 2021-03-23 Microchip Technology Incorporated Display user interface, and related systems, methods and devices
CN108803984A (zh) * 2018-04-27 2018-11-13 宇龙计算机通信科技(深圳)有限公司 一种输入控制方法及装置
CN109558061B (zh) * 2018-11-30 2021-05-18 维沃移动通信有限公司 一种操作控制方法及终端
US11150751B2 (en) * 2019-05-09 2021-10-19 Dell Products, L.P. Dynamically reconfigurable touchpad
CN113238699B (zh) * 2021-05-31 2022-07-01 东莞市铭冠电子科技有限公司 一种画直线的鼠标辅助功能的方法
CN117170505A (zh) * 2023-11-03 2023-12-05 南方科技大学 虚拟键盘的控制方法和系统

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102339205A (zh) * 2010-04-23 2012-02-01 罗彤 用于从手持计算机化设备的背板进行用户输入的方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5305017A (en) 1989-08-16 1994-04-19 Gerpheide George E Methods and apparatus for data input
US6909424B2 (en) 1999-09-29 2005-06-21 Gateway Inc. Digital information appliance input device
JP4351599B2 (ja) * 2004-09-03 2009-10-28 パナソニック株式会社 入力装置
JP5201999B2 (ja) * 2006-02-03 2013-06-05 パナソニック株式会社 入力装置、及びその方法
US10437459B2 (en) 2007-01-07 2019-10-08 Apple Inc. Multitouch data fusion
KR101119325B1 (ko) * 2009-01-22 2012-03-06 삼성전자주식회사 휴대 단말기
KR101651191B1 (ko) * 2010-06-14 2016-08-25 엘지전자 주식회사 이동 단말기 및 그 제어방법

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102339205A (zh) * 2010-04-23 2012-02-01 罗彤 用于从手持计算机化设备的背板进行用户输入的方法

Also Published As

Publication number Publication date
EP2767888A2 (en) 2014-08-20
EP2767888A3 (en) 2014-10-01
CN103995610A (zh) 2014-08-20

Similar Documents

Publication Publication Date Title
US9311724B2 (en) Method for user input from alternative touchpads of a handheld computerized device
CN103995610B (zh) 从手持式计算机化设备的替代触摸板进行用户输入的方法
US9529523B2 (en) Method using a finger above a touchpad for controlling a computerized system
US9891821B2 (en) Method for controlling a control region of a computerized device from a touchpad
US9891820B2 (en) Method for controlling a virtual keyboard from a touchpad of a computerized device
US9430147B2 (en) Method for user input from alternative touchpads of a computerized system
US9477874B2 (en) Method using a touchpad for controlling a computerized system with epidermal print information
US20160364138A1 (en) Front touchscreen and back touchpad operated user interface employing semi-persistent button groups
US8384683B2 (en) Method for user input from the back panel of a handheld computerized device
US9678662B2 (en) Method for detecting user gestures from alternative touchpads of a handheld computerized device
US20170017393A1 (en) Method for controlling interactive objects from a touchpad of a computerized device
US9542032B2 (en) Method using a predicted finger location above a touchpad for controlling a computerized system
US20150363038A1 (en) Method for orienting a hand on a touchpad of a computerized system
CN104898879B (zh) 用于数据输入的方法及装置
US9430145B2 (en) Dynamic text input using on and above surface sensing of hands and fingers
Murugappan et al. Extended multitouch: recovering touch posture and differentiating users using a depth camera
Vogel et al. Hand occlusion on a multi-touch tabletop
US9857868B2 (en) Method and system for ergonomic touch-free interface
US20140253486A1 (en) Method Using a Finger Above a Touchpad During a Time Window for Controlling a Computerized System
US9639195B2 (en) Method using finger force upon a touchpad for controlling a computerized system
WO2015178893A1 (en) Method using finger force upon a touchpad for controlling a computerized system
WO2015042444A1 (en) Method for controlling a control region of a computerized device from a touchpad
WO2015013662A1 (en) Method for controlling a virtual keyboard from a touchpad of a computerized device
WO2018035353A1 (en) Front touchscreen and back touchpad operated user interface employing semi-persistent button groups
AU2011242487B2 (en) Method for user input from the back panel of a handheld computerized device

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20180305

Address after: Sannuo smart building No. 3012 Nanshan District Binhai Avenue on the north side of Shenzhen City, Guangdong streets of Guangdong Province, 20 floor

Applicant after: SHENZHEN HANDSCAPE TECHNOLOGIES, Inc.

Address before: American California

Applicant before: Hans Technology Co.,Ltd.

GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20190129