CN104903836A

CN104903836A - 用于在移动计算设备上打字的方法和设备

Info

Publication number: CN104903836A
Application number: CN201380069076.3A
Authority: CN
Inventors: 奥利弗.舍恩勒本; 安蒂.奥拉斯维塔; 丹尼尔.布舍克
Original assignee: Individual
Current assignee: Individual
Priority date: 2012-11-15
Filing date: 2013-11-15
Publication date: 2015-09-09
Also published as: US20150293695A1; WO2014076258A1; US10013163B2; EP2920678A1

Abstract

本发明涉及用于可靠和快速文本键入的方法和移动计算设备。该方法依赖于具有在手持计算设备的前侧和背侧二者上展开的多点触摸交互表面的虚拟键盘布局。用户自适应更新算法允许虚拟键盘布局适配于用户的设备操控。

Description

用于在移动计算设备上打字的方法和设备

技术领域

本发明涉及用于在手持或者移动计算设备上提供触摸输入的方法。更具体地，本发明涉及使得这种设备的用户能够在以双手沿着该设备的边缘紧握该设备时握持该设备，同时在设备的前面和背面上提供触摸输入。本发明还涉及实现公开的方法的设备。

背景技术

在桌上型计算机上，通常通过在按照按键的按压大致生成一个字符的物理键盘上打字来键入文本。键盘布局确定哪个字符由哪个按键的按压生成。突出示例是QWERTY布局和Dvorak标准键盘(DSK)布局。常规键盘的字母表部分被划分为三行：顶行、基键行(home row)和底行。字母按键当被按压时产生文本键入，通常是小写字母。修改按键是以某一预定方式修改输入的键盘上的指定按键。例如，换挡修改器(Shift modifer)当与字母按键一起被按压时通常产生大写字母，而不是小写字母。Alt修改器可以产生替换字母表(例如，希腊语替代拉丁语)的字母、图形或者数学符号以及其他类型的符号输入。触摸打字指代一次系统地部署9-10个手指并且使得能够免视打字(即，在不需要看着键盘的情况下键入文本)的打字技术。

触摸面板经常被集成到显示屏幕并且解释用户的触摸，由此生成可以由计算设备的软件和电子电路处理的信息。多点触摸指代用以同时解释和区分例如来自若干手指的多个分离触摸的这种触摸面板的性质。

在具有触摸面板的移动设备(诸如智能手机和平板计算机之类)中，低文本键入率是认识到的交互瓶颈。在现有设备的状态中，分离触摸可以被鲁棒地检测到并且相互区分，并且每个触摸的参数可以被清晰地报告给解释它们的软件组件。在触摸感知移动设备上，文本通常在用户按压在屏幕上绘制出的虚拟按钮时被键入，以使得当操作表面也是触摸面板时，它们仿照(resemble)一般被称为虚拟键盘或者屏幕上键盘的小型键盘。虚拟键盘一般展示QWERY键盘布局。在这种软件键盘上打字典型遭受慢键入率、高错误率并且提供普遍乏味和令人沮丧的体验。

诸如大智能手机和平板计算机之类的移动计算设备典型配备有能够多点触摸的显示单元，其使得能够在显示单元的屏幕上直接键入文本。若干研究已经示出这种设备主要用于数据消费，诸如网页浏览、消费数字媒体或者玩游戏之类。对于生产性使用情况，用户总的来说求助于膝上型或者桌上型计算机。这一点的原因之一看上去是难于在这种移动设备上键入文本。虽然用户趋向于通过沿着平板计算机的侧边缘牢固地紧握平板计算机来握持该平板计算机以看着设备的屏幕，但是这个位置总的来说不适于屏幕上文本键入。为了键入文本，典型不得不使设备进入稳定位置，这使得双手的手指能够触摸屏幕。屏幕用以显示屏幕上软件键盘以及文本应该被键入到的应用二者。这种设置减少可用于显示应用的屏幕的有效尺寸。

已知使用连接到移动计算设备的外设键盘。这种外围设备例如通过通用串行总线(USB)或者无线通道(诸如Bluetooth^TM之类)技术连接。虽然外设键盘的使用允许向平板计算机的高效文本键入，但是其破坏移动外形因素。

已知附属物理键盘到移动计算设备的背部。这允许用户以双手握持计算设备，并且以将通常留在设备的背面的手指使用键盘。典型桌上型键盘的行被分割并且定位在移动计算设备的背面的左部分和右部分。常规桌上型键盘的手指到按键的映射由这种折叠键盘的布置来维护。然而，设备的外形因素被显著改变，当用户不得不适配输入设备时，学习使用这种键盘经常是困难的。据我们所知，保持移动计算设备的移动外形因素的所有已知文本键入解决方案，即使在延长学习阶段之后，也展现显著低于由受训练的打字员在传统桌上型键盘上实现的打字率(其是大约50-60个字每分钟(wpm))的打字率。

发明内容

要解决的技术问题

本发明的目的是提供使能在手持计算设备上的触摸输入的方法，其利用提供在计算设备的背面上的多点触摸感测单元来向设备键入诸如文本元素的输入元素，并且其克服现有技术的至少一些缺点。

技术方案

根据本发明的第一方面，提供用于在手持计算设备中提供触摸输入的方法。该设备配备有在其前面上的至少一个多点触摸感测部件和在其背面上的至少一个多点触摸感测部件。多点触摸感测部件可以包括单个多点触摸传感器单元或者多个单点触摸传感器单元(优选布置为阵列)。该方法包括以下步骤：

-在所述设备中提供虚拟键盘布局，该虚拟键盘布局将所述背面多点触摸感测部件的至少一个第一目标区映射到第一预定输入元素并且将所述前面多点触摸感测部件的至少一个第二目标区映射到第二预定输入元素；

-在所述设备中检测所述多点触摸感测部件上的至少一个触摸事件的位置；

-在所述设备中确定虚拟键盘布局上的所述触摸事件的可能目标区；

-在所述设备中存储检测到的事件位置和对应的已确定目标区；

-更新虚拟键盘布局，其中，基于检测到的触摸事件位置适配所述区的位置或者形状。

虚拟键盘布局不包含目标区到输入元素映射的图形表示。多个不同的目标区可以被映射到同一输入元素。反之亦然。可以要求触摸多个不同的目标区以选择单个输入元素。

根据本发明的另一方面，提供用于在计算设备中提供触摸输入的方法。该设备配备有在其前面上或其背面上的至少一个触摸多点触摸感测部件。多点触摸感测部件可以包括单个多点触摸传感器单元或者多个单点触摸传感器单元(优选布置为阵列)。该方法包括以下步骤：

-在所述设备中提供虚拟键盘布局，该虚拟键盘布局将所述背面或者正面多点触摸感测部件的至少一个第一目标区映射到预定输入元素；

优选地，该方法还包括以下步骤：

-将所述前面和背面多点触摸感测部件的区域与用户的特定手指相关联；

-对于所述虚拟键盘布局提供将用户的手指分配给多点触摸感测部件上的目标区的集合的手指到按键映射；

另外，所述确定步骤还包括：

-基于检测到的触摸事件与所述区域的接近程度确定哪个按键产生触摸事件；

-在被映射到确定的手指的目标区的集合之中确定虚拟按键布局上的所述触摸事件的可能目标区。

所述确定步骤还优选地包括选择虚拟键盘布局的目标区，该目标区的重心位置具有到检测到的触摸事件位置的最短欧几里得距离。

更优选地，所述确定步骤可以包括基于虚拟按键布局的目标区的似然性选择该目标区，其中，所述似然性是目标区的重心位置和检测到的触摸事件的位置之间的欧几里得距离的函数。

目标区的似然性还可以是在所述位置上给定之前触摸事件的情况下之前已经确定目标区的出现次数的函数。另外，该似然性还可以是在给定之前确定的目标区的情况下目标区的相关联的输入元素的出现概率的函数。在预定输入元素是文本字符、n字母组或者字的情况下，这种概率例如可以由语言模型提供。

所述更新步骤可以优选地包括朝检测到的触摸事件位置移动确定的目标区的位置。

所述更新步骤还可以优选地包括朝对于其已经确定同一目标区的之前检测到并且存储的触摸事件位置的全部或者一部分的重心移动确定的目标区的位置。触摸位置的重心照常定义为两个坐标方向上的集合的全部触摸位置的均值位置。

该设备还包括其前面上的显示部件，并且其中，该方法可以优选地包括在所述前显示部件上选择性显示与背面多点触摸感测部件对应的检测到的虚拟键盘布局的表示。该方法还可以优选地包括在前显示部件上选择性显示背面多点触摸感测部件上的检测到的触摸位置的表示。

虚拟键盘布局可以有利地将设备的背面的左侧和右侧上的目标区的集合映射到文本字符元素，以提供可分别使用左手和右手的手指触摸的折叠键盘布局。

检测到的触摸事件可以优选地包括触摸“抬起”、触摸“下压”或者触摸姿势事件。

该方法还可以包括在已经确定目标区之后将相关联的预定输入元素提供到设备的输入存储器缓冲器中的步骤。

根据该方法的步骤可以有利地被重复以将所述目标区的位置适配于用户的设备操控。

根据本发明的另一方面，提供手持计算设备。该设备包括在其前面上的至少一个多点触摸感测部件和在其背面上的至少一个多点触摸感测部件。该设备还包括存储器单元和计算部件。该计算部件和存储器单元配置用于：

-提供虚拟键盘布局，该虚拟键盘布局将所述背面多点触摸感测部件的至少一个第一目标区映射到第一预定输入元素并且将所述前面多点触摸感测部件的至少一个第二目标区映射到第二预定输入元素；

-检测所述多点触摸感测部件上的至少一个触摸事件的位置；

-确定虚拟键盘布局上的所述触摸事件的可能目标区；

-在所述存储器单元中存储检测到的事件位置和对应的已确定目标区；

-更新虚拟键盘布局，其中，基于检测到的触摸事件位置适配所述区的位置或者形状，并且存储所述更新的虚拟键盘布局。

该计算部件还配置用于：

以及配置用于在所述确定步骤期间执行以下另外的步骤：

该计算部件还可以配置为执行根据之前描述的方法步骤的附加步骤。

该设备还可以包括在其前面上的显示器，所述前面多点触摸感测部件与该显示器共置。优选地，该设备可以是平板计算机。

所述背面多点触摸感测部件可以优选地可拆卸地附属到所述设备。

所述背面多点触摸感测部件可以优选地基本沿着设备的侧边缘布置，并且朝背面的中间延伸。

可替代地，所述背面多点触摸感测部件可以基本覆盖全部背面。

根据本发明的另一方面，提供能够实施根据本发明的的方法的计算机。

根据本发明的另一方面，提供包括计算机可读代码部件的计算机程序，该计算机可读代码部件当运行在计算机上时，使得计算机实施根据本发明的方法。

根据本发明的最后一个方面，提供包括计算机可读介质的计算机程序产品，在该计算机可读介质上存储根据本发明的计算机程序。

通过使用根据本发明的方法和设备，测试已经示出可以实现训练8小时之后的桌上型键盘的速率的64％的打字率，这与手持计算设备的本领域现有技术的文本键入方法相比具有显著进步。主要通过模仿物理键盘的行为并且减少学习曲线的快速敲击(即，触摸和释放多点触摸传感器表面)实现高打字率。当用双手牢固紧握手持设备时执行打字时，在用户打字的同时维持该设备的移动外形因素。这同时最大化用户和手持设备之间的交互区。在行走、静坐或者躺下时快速打字是可能的，由此使得所有普通移动使用情况成为可能。

根据本发明的方法设计为很灵活并且适配用户的手部骨骼和打字形为。因为诸如平板之类的手持计算设备总的来说不被成形为在打字的同时人体工学地握持，所以该适配是高效工作和用户采纳的关键。该方法还可以通过比较他们的触摸行为与在其数据库中存储的用户触摸模型来检测其用户。

通过主要向设备的背部分转移键盘交互表面避免了屏幕实体(real-estate)遮挡。一旦用户知道在哪里定位按键(即，他像在常规物理键盘上那样对于相同按键使用相同手指)，就能够呈现无视触摸打字。对于运行应用节省所有屏幕实体。如果需要视觉反馈，则虚拟键盘在与计算设备连接的显示单元上示出为临时可视并且优选部分透明的覆盖。

打字初学者可以使用平板上运行的应用学习打字技术。在常规训练例程中，他们实现训练1小时后实现9wpm，训练2小时后实现11wpm。初学者不被约束到特定键盘(像QWERY那样)，并且可以从开始就被呈现优化的键盘(例如，DSK)。

软件驱动方法可以通过逐渐改变键盘布局按键到字母映射、引入多字母动作或者改变系统以仿照任何其他最优策略(甚至和音(chording))发展为变得甚至效率更高，而没有对性能的负面短期影响。

多点触摸面板是便宜的硬件组件，其使得可以在其上以低经济开销运行方法的设备的生产成为可能，同时增加它们的用户的生产率。

附图说明

本发明的若干实施例通过不限制本发明的保护范围的附图来例示，在附图中：

-图1a是已知屏幕上键盘的图示；

-图1b图示由用户握持的根据本发明的优选实施例的设备的优选实施例的前视图；

-图2图示由用户握持的根据本发明的优选实施例的设备的优选实施例的后视图；

-图3图示包括虚拟键盘布局映射的视觉反馈的根据本发明的优选实施例的设备的前视图；

-图4是图示根据本发明的优选实施例的主要方法步骤的流程图；

-图5a、5b和5c图示根据本发明的优选实施例的按键更新步骤；

-图6图示手指与触敏传感器部件的交互；

-图7a图示按照根据本发明的方法的优选实施例的依据用户的触摸位置学习的按键目标区域；

-图7b图示表示按照根据本发明的方法的优选实施例的基于用户的触摸位置的手部模型计算机的线；

-图8示意图示包括不同触觉反馈区域的根据本发明的优选实施例的设备的背部触摸传感器；

-图9图示根据本发明的优选实施例的按键更新步骤的结果；

-图10是图示根据本发明的涉及激活服务模式的方法步骤的流程图；

-图11图示包括虚拟键盘映射的图形表示的根据本发明的设备的优选实施例的前视图；

-图12示意图示根据本发明的设备的优选实施例；

-图13a、13b、13c和13d图示结合已知平板计算设备的根据本发明的设备的优选实施例的顶视图；以及

-图14图示背部触摸感测部件上的触摸事件如何被映射到根据本发明的优选实施例的设备的前屏幕或者到外部显示部件。

具体实施方式

本部分基于优选实施例并且基于附图更详细描述本发明。除非另外声明，相同的参考标号将用于跨本发明的不同实施例指示相同的概念。例如，参考标号100、200和300在三个不同实施例中将用以指示根据本发明的设备。

这里呈现的实施例应该允许技术人员理解和实现根据本发明的方法和设备。除非另外声明，对于特定实施例描述的特征可应用于根据本发明的所有实施例。

图1a示出诸如平板计算机之类的计算设备的现有技术的屏幕上键盘的状态。显示的虚拟键盘的布置镜像硬件键盘上的已知布置。为了高效地并且快速用双手在这种键盘上打字，必须例如通过桌子支撑平板设备。图1b概念性示出通过使用根据本发明的方法和设备实现的交互。诸如平板计算机或者智能手机之类的手持计算设备100以用户的双手握持。用户沿着设备的侧边缘牢固地紧握该设备。在那个位置，当设备不需要被放下时，用户和设备二者的移动性被保持。用户的拇指自然地留在设备的前面，该前面至少在拇指在其上停留的那些区配备有多点触摸传感器110。每只手的剩余四个手指自然地停留在设备的背面或者悬停在设备的背面上，该背面至少在这些手指在其上停留的那些区配备有多点触摸传感器120。根据本发明的方法和设备使得用户能够在图1b中描绘的位置键入文本并且提供另外的输入元素到设备中。使用多点触摸感测单元110、120使得与设备的交互成为可能。这些感测单元上的触摸依赖于用户交互的上下文解释为击键或者其他输入元素。此外，根据本发明的方法在用户正使用设备的同时，将正被使用的特定虚拟键盘(即，将多点触摸传感器110、120的区与虚拟按键或者目标区相关联的映射)适配于用户。可以通过移动虚拟按键到由用户的手指实际点击的位置或者通过改变虚拟按键的尺寸以使得用户能够以更高的概率点击虚拟按键来完成适配。通过学习用户的设备操作，该方法允许实现高打字率、低错误率并且符合人体工学地适配用户的手部的位置。图2提供设备100如何由用户握持的另一图示，其中，虚拟按键出于清楚的缘故由圆形描绘。图3提供包括文本键入框的图形用户界面的图示。平板设备100的前显示器160用以将设备的背面多点触摸传感器上的区(示出为圆形)映射到对应圆形中描绘的特定字母的虚拟键盘布局的图形表示150选择性显示作为对图形用户界面的覆盖。显示器上提供的视觉反馈可以以适于反映按键的重要性质的任何形式接近当前所述按键位置。反馈还可以包括触摸数据的虚拟化，例如，与背侧触摸传感器上出现触摸的位置对应的平板的前屏幕上的虚拟化。另外，虚拟键盘的图形表示150可以用以强调用户可能在当前应用上下文中喜爱的特定按键(例如，通过以特定颜色示出它们，或者通过示出它们被夸张的尺寸)。

图4是图示根据本发明的方法的优选实施例的主要步骤的流程图。该方法借助其前面上的至少一个多点触摸感测部件和在其背面上的至少一个多点触摸感测部件提供将输入元素键入到诸如例如平板计算机或者智能手机之类的手持计算设备中的方式。该方法同样可应用于穿戴式触摸感测接口和放置在物理对象上的这种传感器。

提供虚拟键盘布局102，其定义所述背面多点触摸感测部件的至少一个第一目标区到第一预定输入元素以及所述前面多点触摸感测部件的至少一个第二目标区到第二预定输入元素之间的映射。该映射优选存储在设备的存储器单元上，并且优选在多个存储的映射之中由用户选择。

优选地，背面多点触摸感测部件上的多个目标区或者虚拟按键被映射到字母表的字母，以提供使得文本键入成为可能的键盘。然而，诸如符号、字或者控制事件之类的其他输入元素同样地被映射到任何虚拟按键。在优选实施例中，前面多点触摸感测部件包括被映射到空格键按键、换挡修改器或者任何其他键盘修改器中的任一个。

在第一步骤10期间，在设备的前面上或者背面上，在所述多点触摸感测部件上检测至少一个触摸事件的位置。在第二步骤20期间，确定检测到的触摸事件的可能目标区或者虚拟按键。在设备的存储器单元(优选地以数据库的阵列结构)中存储检测到的触摸事件位置和对应的已确定目标，用于未来检索。这对应于步骤30。在更新步骤40期间，通过潜在地改变位置和/或已经通过考虑检测到的触摸事件的位置而被确定的目标区的形状，适配虚拟键盘布局。更新后的虚拟按键布局102被存储并且其将在用户与多点触摸传感器的随后交互期间使用，以确定最可能预期被点击的目标区。通过迭代地适配目标区或者虚拟按键的大小和位置，键盘被适配于用户并且反之不亦然，以导致对计算设备的更高效和更少易于出错的输入元素的键入。

这概括地描述本发明所根据的原理。将在另外实施例的以下描述中提供另外的细节。

在本发明的优选实施例中，检测到的触摸事件的预期目标区域被选择为其中心位置具有到检测到的触摸事件的位置的最短欧几里得距离的目标区。

无论何时检测到触摸事件，其预期目标按键被计算为具有到所述触摸位置的最小计算欧几里得距离的按键。换言之，如果触摸事件的位置由关于在其上已经检测到触摸传感器的坐标tx、ty给出触摸事件的位置，并且kx、ky是可用目标区的集合K内的目标区k的重心的坐标，则到触摸事件的最近按键由Eucl(k,t):＝arg min_k∈K((kx-tx)²+(ky-ty)²)^0.5估算。由此，对于背侧触摸面板上的每个可能触摸位置(x，y)，存在被分配给(x，y)的恰好一个按键目标。

可选地，可以要求触摸位置t和目标区或者按键k之间的最大欧几里得距离，这导致不被分配给任何按键的区。在该情况下，识别器可以忽略触摸，或者咨询按键确定的另一部件，如这里以下另外描述。

真实性度量可以优选地计算为表达虚拟按键k可以确定的“确定性”的程度。在最简单的情况下，真实性或者似然性是Eucl(k，t)的逆；此外，到其他按键的距离可以被存储，并且计算为度量。最可能的预期按键或者目标区被存储并且例如使用语言模型在这些之中进一步细化确定，如下面进一步描述。在给定可能按键的预选择的情况下，语言模型将选择与具有最小欧几里得距离的一个按键k’不同的另一按键k；在该情况下，不适配k’，但将适配按键k或者将不适配按键k。

执行适配步骤，以使得虚拟键盘布局更好地匹配用户的当前打字行为。适配例如按如下完成：

k＝(x，y)按键适配于触摸t，其中，t.loc＝(tx，ty)是触摸事件的位置。k的适配指k由k’：＝k+c(t.loc-k)＝(k.x+c(t.loc.tx-k.x.)，k.y.+c(t.loc.ty-k.y))取代。

c的正值指“向”触摸的运动，而负值产生“离开”触摸的运动。总的来说，应该是c<1(c＝1将导致按键准确重新定位在触摸上)。c的值可以在打字期间改变，例如，c的更高值可能适合于会话开始之后的打字行为，(特别是在校准期间)，并且更低值可能对于特定用户更好地适应打字会话期间的情况。

图5a示出按键“t”预期被点击但由星形状指示的检测到的触摸更靠近与输入元素“r”对应的目标区的状况。如图5b中所示，预期目标“t”可以向检测到的触摸的位置移动，而与输入元素“r”对应的区保留在原地。替代地，或者对这个调整补充地，与输入元素“r”对应的区可以从检测到的触摸位置移动离开，以解决目标区域的可能杂乱。这由图5c图示。

可以变化根据其适配按键的条件。优选地，无论何时通过按键注册触摸抬起(touch up)事件(即，确定对应目标区已经由检测到的触摸事件点击，见图6)，所述按键都被适配。可替代地，可以要求与点击目标区的释放对应的触摸下压(touch down)事件和通过所述按键的对应触摸抬起事件之间的行进距离，小于规定的长度。通过这样做，可以不考虑不精确的移动。

优选地，在每次适配之后执行均衡步骤。这种步骤应该确保按键位置之间的和谐几何关系。优选地，考虑目标区或者按键之间的所有距离的均值；然后，测量适配后的按键到其他按键的距离。如果所述距离之一小于该均值，则后退特定量：是V，从适配后的按键k的新位置(x’，y’)到其在适配之前的位置(x，y)的矢量，即，V＝((x’，y’)，(x，y))；是m，按键平面中的每两个按键之间的平均距离；然后，对于任何真实常数c，均衡步骤之后的k的位置(x”，y”)应该是(x’，y’)+c·V。

在根据本发明的方法的第二优选实施例中，检测到的触摸位置的预期目标区的确定步骤20通过另外使用用户的手部的模型来实现。为此，所述前多点触摸感测部件的区域与用户的特定手指相关联。典型地，设备的侧前边缘的顶部区中的区域与用户的左拇指和右拇指相关联。类似地，沿着设备的侧边缘的区域与每只手的剩余4个手指相关联。另外，在前和后多点触摸感测部件二者上提供手指到按键的映射，其向目标区或者虚拟按键的集合分配用户的手指。优选地选取虚拟键盘布局和映射，以使得在规则物理键盘上触摸打字的同时手指到按键映射与将被使用的映射对应。

首先，方法基于检测到的触摸事件位置到每个所述区域的接近程度来确定哪个手指产生了触摸事件。这允许标识被映射到如此确定的手指的可能的目标区域的集合。然后使用稍早描述的方法在这个集合之中确定所述触摸事件的可能目标区域。

这以下提供该实施例的进一步细节。所公开的手指确定方法可以容易地在超出要求保护的发明的范围的使用情况下使用。例如算法可以用以标识桌上型计算机等上的预期按键触摸。

该方法使用机器学习方法，以具体解决三种可变性：第一，围绕触摸目标建模触摸位置分布，见图7a。第二，为了利用键盘更新说明手势和手指放置行为的正进行的改变，使用手部模型。最后，为了遵循用户之间的变化，在用户特定触摸数据上训练模型。

贯穿本实施例的描述，我们假定按键到字符的一对一的映射。与像QWERTY那样的已知布局的折叠版本组合，这被认为使得来自物理键盘的用户的现有的运动程序的转移成为可能。这也定义预测任务：每个触摸(在x；y)必须被映射到字符。

根据本发明的方法建模键盘、手部和语言。虚拟键盘模型基于用户的触摸分布个性化按键位置和尺寸。可以期望虚拟按键或者目标区与用户的个人触摸行为匹配，以改进分类。对软键盘的个性化按键目标的相关现有技术工作大多数使用高斯贝叶斯分类器。其利用(二变量)高斯分布建模按键，如由前屏幕交互的证据证明。

手部模型依据未标注触摸估计手指位置，并且预测哪个触摸属于哪个手指。当手势在打字期间改变时，其支持键盘适配。这种动态适配改进触摸分类。总的来说，用以变化用户行为的适配分类器理想地在每个会话需要新训练数据。这对于用户可能是不可接受的。已经提出关于移动设备的软键盘的相关工作，以使用当前模型的预测标注触摸来从自由打字收集训练数据。然而，这暗示信任我们想要更新的同一模型，如果我们期望动态改变行为，则这是不合适的。另一已知方法是预先训练多个监管模型，然后在每个上下文中选择最特定的一个以实现适配。遗憾的是，这种已知方法假定离散手势(例如，一个/两个拇指)，但背面上的打字姿势可以是连续的。根据本发明，提出提供键盘更新方法，其不依赖于标注出的触摸。其具有两个部分。第一，依据手部模型和关于布局(例如，QWERTY)的知识的触摸到手指分配用以聚类未标注的新触摸。第二，现有按键和新群集位置的最优配对被确定以更新虚拟键盘布局。

语言上下文对于模糊触摸位置改进分类，这是因为不是所有字符或者输入元素同等可能地继续之前键入的文本。已经对于软键盘在之前的工作中使用语言建模，以依据触摸和语言上下文二者预测。根据本发明的方法是双重的。首先，n字母组用以在打字期间改进按键歧义消除。其次，字依据触摸序列利用隐马尔科夫模型(HMM)推断并且使用字典来校正它们。自动校正是现代设备的共同特征。

触摸分类器可以学习以统计地将触摸特征值(即，触摸抬起、触摸下压等)与目标区或者虚拟按键相关联。其在标注出的触摸上被训练，这意味着已知每个训练触摸的基础真实按键(ground-truth key)。然后训练后的分类器可以预测用于未来未标注触摸按键。我们使用高斯贝叶斯，其利用(二变量)正态分布建模每个按键，见图7a。这个模型由贝叶斯定理定义：

p (k | t) = \frac{p (t | k) p (k)}{p (t)}

公式1

p(t|k)～N(μ,∑)是给定按键k的触摸t的似然性。p(k)建模k中的先验信任。p(t)是所有可用按键或者目标区域K的集合的归一化的因数：

p (k) = \underset{k &Element; K}{Σ} p (t | k) p (k)

公式2

为了训练模型，从具有标注k的所有触摸中推导出似然性p(t|k)：μ是它们的平均位置，∑是它们的协方差。先验p(k)由语言或者训练文本中的字符的相对频率给出。我们提出考虑稀疏训练数据。非共同字符的按键可以具有很少的训练触摸。这导致对它们的似然性分布p(t|k)的差估计。我们利用回退到默认分布来解决这个问题。如果对于按键k存在比最少点(例如，5个或者更多，可替代地，15个或更多)更少的训练触摸，则不依据这些触摸估计p(t|k)的协方差矩阵。其宁可设置为具有零协方差和方差d的默认矩阵。由此，d定义默认按键尺寸。

我们呈现设备背部打字的简单手部模型。其使用线的集合来表示每一个手指头(digit finger)的可能指尖位置。线取向和位置依据触摸来学习。作为结果，我们的模型捕获手部相对于设备的位置和旋转。我们使用这个上下文知识来便于键盘更新，同时利用改变手势来打字。每只手由五条直线来表示。每一个手指头建模为一条线，拇指不需要在背面多点触摸传感器上。然而，食指获得两条线；其在折叠布局中服务两行按键。手部模型θ由图8图示并且定义为：

θ = [θ^{i}], θ^{i} = {(θ_{1}^{i}, θ_{2}^{i})}^{T}, 1 \leq i \leq 5

公式3

θⁱ以截距θ₁ ⁱ和斜率θ₂ ⁱ定义第i条线。垂直排序的线(图4b)：θ¹和θ²定义食指，θ³是中间手指，θ⁴是无名指，θ⁵是小指。

为了学习呈现的手部模型的参数，我们不得不将手指线拟合到触摸位置。直觉地，我们的方法采用首先被通知的猜想来放置初始线。然后它们被迭代地细化。每个迭代步骤具有两个部分，第一，每个触摸被分配给它的最近线。第二，每条线的斜率和截距被更新以拟合被分配的触摸。当不再出现更多的改变时，算法终止。

算法使用最大期望(EM)并且类似于k均值(k-means)。其在现有技术中被称为k线。下面给出我们的过程的详细描述：

1.初始化：

初始斜率设置为0(水平手指)。仅使用触摸的y值利用k均值初始化截距。我们定义k线θⁱ＝(c_i；0)^T。c_i是k均值聚类的第i个群集均值(cluster-means)。群集均值被分类以匹配对于手部模型描述的手指索引。然后，我们以两个迭代步骤开始EM循环。

2.将触摸拟合到线

每个迭代步骤的第一步骤向其最近的线分配每个触摸t＝(t_x；t_y)^T：

l i n e (t) = \underset{1 \leq i \leq k}{\arg \min d i s \tan c e} (t, θ^{i}) = \underset{1 \leq i \leq k}{\arg \min} \frac{| θ_{1}^{i} + θ_{2}^{i} t_{x} - t_{y} |}{\sqrt{θ_{1}^{i 2} + 1}}

公式4

3.将线拟合到触摸：

第二迭代步骤利用基函数使用线性回归将k线拟合到触摸。

我们按线创建设计矩阵X和目标矢量y：

使T_i表示分配给第i条线的所有触摸t的集合。第i条线的N×M设计矩阵X_i定义为：

X_i＝[x_nm],x_nm＝Φ_m(t_n),t_n∈T_i 公式

Φ_m表示M个基函数的第m个。X_i的N＝|T_i|行的每个包含一个触摸，每个列一个特征。对于直手指线，我们设置Φ₁(t)＝1(偏离)并且Φ₂(t)＝t_x(线性项)。算法是灵活的：其他Φ和对应距离度量可以建模不同的假设，例如二次分量Φ₃(t)＝t²x。接着，y_i定义为T_i中所有触摸t＝(t_x；t_y)的y值的矢量。最后，X_i和y_i以最小平方使用：

θ^{i} = {(X_{i}^{T} X_{i} + λ I)}^{- 1} X_{i}^{T} y_{i}

公式6

Φ₁；Φ₃如上描述，θⁱ表示具有截距θ₁ ⁱ和斜率θ₂ ⁱ的直线。λ处罚大θ并且限制模型以避免高倾斜(指示交叉手指)和超过设备边界的截距。

4.终止：重复地执行步骤2和3，直至不因为最后迭代发生对线分配的进一步改变。对于物理手指分配，简单地合并食指线的两个群集。这完成算法的期望输出-手指分配和最终手部模型θ。图7b示出示例结果。

同一用户的触摸行为可以在打字会话之间或者打字会话期间变化。个性化键盘模型不得不将其按键适配于这些改变，或者旧按键位置和新触摸位置的失配将增加触摸分类错误。收集新标注的数据以重新训练模型不是选项，这是因为训练阶段打扰用户。来自用户的正进行自由打字的新触摸可以替代地通知模型，但它们缺乏标注。因此，不知道哪个触摸应该更新哪个按键。通过聚类方法中的键盘和手部模型的组合解决这个问题。这允许使用未标注的触摸来更新键盘并且避免新训练阶段打扰用户。该方法具有两个部分。第一，聚类找到未标注的按键位置。第二，现有标注的按键与新位置配对。然后，每个按键移动到其新位置。标准聚类方法(例如，k均值)不充分利用关于布局和手部的上下文知识。因此，我们提出客户分级聚类算法：

1.手部：如果手部不重叠，则它们由对于设备中心的触摸的相对位置在数学上简单给出。

2.手指：我们的手部模型用以由手指聚类每只手的触摸。图1c)示出一个示例。

3.按键：每个手指的触摸利用k均值聚类为按键，以现有模型的按键位置初始化。

手部模型使得重要的第二步骤成为可能；其允许按每个手指搜索按键群集(步骤3)，不只是按每只手。该方法至少需要每个按键的至少一个触摸，这是因为群集的数目被固定。这可以通过向新触摸添加现有键盘的按键位置来确保。在聚类之后，每个现有按键与新群集均值相关联。对此设置匹配问题的解决方案是最小化距离的总和的配对，如图9中所示。

参考图9，由标注的圆形示出现有虚拟键盘映射。通过由黑点表示的引入未标注的触摸更新该虚拟键盘映射。依据这些触摸计算的群集均值示出为未标注的白色空圆形。它们定义新的或者更新后的按键位置。通过将新按键位置与旧按键配对来标注新按键位置，以最小化距离的全局总和。虚圆形强调示出每个手指的最优配对的重要性的示例。在这些情况下，简单地分配所有旧目标区或者按键中最近的将导致错误。

可以尝试所有可能的配对或者使用从Kuhn在Nabal Research LogisticsQuarterly 2，1-2(1955年3月)知道的Hungarian方法。可以分别对待手指。然后每个按键移动到其对应群集均值。可以在打字期间定期安排更新。例如，可以在语句结束时执行更新。然后更新后的模型用以分类未来触摸，直至其下一更新为止。

在模糊触摸位置的情况下，语言性质可以帮助推断用户预期。由此语言模型可以补充触摸行为的模型。这对于所有公开的实施例有效。语言模型存储在可由根据本发明的方法和设备访问的数据库中。语言模型优选地包括至少以下模块：

-在数据库中可用和可维护的情况下的当前活动语言中的现有字的字典。

-当前活动语言中的字n字母组的频率。这个模型依赖于该字典。

-当前活动语言中的字母n字母组的频率。这个模型可用于多数语言。

语言模型的所有方面优选在用户正在生产性(即，正常打字使用)使用情况下打字的同时被更新，以匹配所述用户的个人语言使用。存储的交互历史可以用以建立用户模型，该用户模型可以在生产性使用情况下在打字期间被咨询。如下推荐调用。用户的语言模型应该例如通过向语言模型数据库添加(字符和字)n字母组的实例被整合到全局语言模型。推荐比全局数据更高地加权用户特定数据。

目标区确定步骤的语言模型的权重优选依赖于分类的真实性。

提出使用n字母组模型、隐马尔科夫模型(HMM)和字典。不在本实施例中考虑这里的字(例如，字n字母组)之间的关系。我们使用字符n字母组模型作为像相关工作那样的先验，以预测p(k_n)＝p(k_n|k₁，k₂，…，k_n-1)，给定最后n-1个预测的k₁，k₂，…，k_n-1下的按键k_n的概率。贝叶斯模型将其与触摸似然性p(t|k_n)组合：

p (k_{n} | t) = \frac{p (t | k_{n}) p (k_{n} | k_{1}, k_{2}, ..., k_{n - 1})}{p (t)}

公式7

像之前那样同样训练。n字母组模型本身在大型文本库上被训练。

还提出使用仿照自动校正的字估算：HMM以状态转移扩展贝叶斯模型，以在给定观察序列(触摸)的情况下找到最可能的状态序列(字)。HMM模型λ＝(A；B；Π)利用已知信息设置。初始概率Π是语言(一字母组模型)的字符频率。由二字母组模型给出转移矩阵A。发射(emissions)B是来自贝叶斯模型的似然性分布p(t|k)。此外，字典可以校正打字错误或者分类错误的字。大型训练文本用以建议候选者，其可能以输入的相似性排序。我们另外通过触摸概率而不通过训练文本频率，等同地排序类似候选者。然后利用最佳候选者校正输入。

在下文中，描述根据本发明的方法的另一优选实施例，其中，在不以任何方式限制本发明的保护范围的情况下，仅通过示例的方式给出优选实现方式。

在该实施例中，在具有作为被多点触摸启用的前屏幕和具有包括触敏表面的背面的平板计算机上实施该方法。前面和背面触摸感测单元的至少部分用作用于文本键入的交互表面。显示器可以用以提供虚拟键盘布局的一部分的视觉反馈，该虚拟键盘布局将背面传感器的区映射到虚拟按键。

背面传感器上的触摸t的虚拟化应该反映t的性质；例如，触摸到的区应该表达为实际区，由触摸作用的压力可以被映射为虚拟化的亮度上。显然地，触摸的位置应该被直接反映在投射上：t.loc＝(x，y)应该在(x，y)处生成虚拟化。

推荐背侧上的触摸事件被转换为图形表示的坐标系统。例如，如果使用恰好一个背侧触摸面板(其提供4000×4000单位的分辨率)，并且前侧具有提供1280×800像素的分辨率的显示器，则前侧触摸事件随着它们的“自然”位置坐标，同时背侧触摸事件的位置坐标被变换为：t’.loc＝(x’，y’)e∈([0……4000]，[0……4000])，背侧触摸感测部件上的触摸t’的“自然”位置，对应触摸t不得不以位置t.loc＝(1280-(x’/4000*1280)，(y/4000*800)注册。注意，该x被镜像；这使得前侧和背侧的位置一致，以使得背侧的触摸被投射到前侧(从用户的视点，投射在真实世界空间中的手指“之上”)上的空间上最接近的点。在这个优选实施例中，触摸和目标区或者虚拟按键二者被显示在这种位置的前侧上。当使用远程或者外部显示器以示出虚拟键盘布局映射的图形表示或者投射时，存在坐标的直接映射，以使得例如显示器示出朝相同的方向的移动，以使得当朝所使用的设备的前侧上的相同方向时用户察觉到它们。由图14图示图形表示的映射。

例如通过在具有两个背侧传感器的“翅膀”实施例中交换水平和垂直坐标来相应地处理文本键入设备上的多个背侧传感器。

可以以看上去例如适合为圆形或者多边形(其可以交叉或者可以不交叉，并且可以或者可以不消费触摸感测单元的整个交互表面)或者指示通过该按键的过去触摸的位置的点的任何形式显示虚拟按键。优选地，按键显示为描绘相符的按键的UI单元的布置，其粗糙地仿照被映射到该按键上的触摸感测部件的区。建议按键被颜色编码以反映哪个按键意味着要由哪个手指来操作。可以使用按键的组的表示以表示当前按键平面，即虚拟按键布局映射。

除了显示器上选择性示出的图形表示之外，建议其他种类的反馈。特别地，短振动或者其他触觉反馈可以指示被判定用于识别的确定事件，例如，确定按键上的触摸下压。

键盘级的概念用以定义若干虚拟键盘布局映射，其共享相同空间分配(即，按键位置)，但依赖于应用的上下文或者修改器按键的切换，向这些按键分配不同的输入元素。参考公知物理键盘，默认键盘层将按键映射至小写字符，而换挡按键选择将相同按键映射到大写字符的键盘层。建议预定义很多按键级，并且软件提供这些键盘级的选择，以使得当前交互上下文的最相关的键盘级可容易地访问。例如，在向应用中或者网络形式的规则文本键入栏进行文本键入期间，通过下面定义的任何手段使得可容易地访问键盘级“小写”、“大写”和“数字和频率符号”。另外，建议以与键盘级相同的方式向用户提供特定化的UI。

特定化的UI可以是菜单；即，可以在给定时间被执行的动作的集合。建议在当应用想要示出菜单的任何时间，示出其菜单项，以使得它们可以方便地从背侧被选择；特别地，它们应该被放置在当前虚拟键盘布局的按键位置。

推荐根据本发明的方法运行为服务，以使得该方法总的来说可用于运行应用。服务是以对用户透明的方式运行在操作系统上的软件的片段。服务可以在任何时间由用户调用。在运行Android^TMOS的设备上，推荐提供该方法作为输入方法编辑器(IME)，以使得其可用作所述设备上的标准文本键入部件。

总的来说，用户应该被识别并且验证，所以系统知道谁当前与其交互。这允许选择之前已经在一个或者多个稍早打字会话期间被适配于用户的存储的虚拟键盘布局。为了这个目的，推荐并且由图10图示以下例程：任意信号(例如，8个同时触摸)被定义为从旁路(即，不调用服务)模式1000切换到打字模式1050。当识别到信号时1010，用户验证开始1020。推荐秘密密码短语被用于每个用户。因为是客户，所以密码应该匹配存储的密码以验证用户。在不匹配1030的情况下，系统返回旁路模式。在正匹配1030的情况下，附加地，在键入密码短语时生成的触摸数据应该被用以调整按键平面1040。这可以与校准相似地完成，但当由正在讨论的用户点击时也考虑按键之间的典型距离。这些“典型”距离事先存储在交互日志中，并且也可以用作附加安全性度量；例如，密码和打字特性二者必须匹配以验证用户。如果验证成功，则调用根据本发明的方法。预定信号1060可以用以识别用户想要停止使用服务。除非信号被识别，服务保持活动并且根据本发明的方法被运行。鼓励其他普通用户验证触发器，像基于RFID那样或者经由应用的UI。鼓励在远程服务器上存储用户数据，以使得简档可用于其他设备上的用户。

目标实践应用将生成或者从之前存储的打字会话中检索识别出的用户的虚拟键盘布局。然后将以随机或者预定义(例如，用以训练特定序列)顺序显示按键的投射并且强调它们；要根据被强调的按键从前侧或者背侧触摸所述按键。这个应用的重复使用将使得用户的触摸交互更精确，并且由此对于识别器更容易理解。目标实践应用应该存储用于统计估算的识别出的用户的所有交互的日志并且特别是训练具有用户方的最差性能和精确性的那些序列。

短语训练应用在训练作为文本键入手段的该方法时帮助识别出的用户，即，建立关于哪个手指用于哪个位置(扩展、放松、灵活)的知识，以产生特定输入元素。短语训练应用应该存储每个用户的个性化模型，至少包括它们的进程和它们的交互日志。短语训练应用应该提供预定义“课程”，包含至少三个类别的短语：目标语言的频繁n字母组，目标语言的频繁字和包含20-30个字母的语句。这个学习应用将在初学者的课程中利用按键强调和其他投射特征。

特别地，应用可以根据由用户执行的校准设置虚拟键盘布局。刺激源(文本)可以显示为投射的一部分。用户被要求抄录所述短语。当用户抄录该刺激源时，光标移动通过短语，以指示要打字的下一字符；由此与所述字符对应的目标区域变成当前预期的目标区域。应用测量需要用于抄录刺激源短语的时间。

作为由软件实施的先决条件，建立初始虚拟键盘布局，以使得其将触摸感测部件(前侧和背侧)的区域映射到诸如文本字符之类的输入元素上。

优选使用以下交互动态作为优选方案以利用我们的方法。建立虚拟键盘布局，以使得其以这样的方式仿照常规(虚拟)键盘布局：该方式在以设备的侧边缘握持设备的同时允许用户大致执行与当在常规桌上型键盘上打字时他们将做的相同的手指移动。为了这个目的，将桌上型键盘的尺寸的虚拟键盘划分为两个一半键盘，一半左手和一半右手；然后，两个一半键盘被平移并且旋转到背侧上，以使得原来在键盘的中心的部分概念上出现在上部，原来在边缘的部分被映射至背面触摸传感器的下部。注意，在这个优选实施例中，除了操作6个按键(其3个可通过食指的更强外展访问)的食指之外，每个手指头操作最多3个按键。紧握设备的打字员可以以任何手指头触摸设备的背面感测部件。用户依赖于他们使用的手指触摸不同位置的触摸传感器，并且如何强地收缩或者扩展手指是何时触摸传感器。特别地，对于每个手指可以调出三个位置：收缩、放松和扩展。在桌上型键盘上，手指的这三个位置导致点击键盘上的不同行：底行(收缩)、基键行(放松)和顶行(扩展)。通过按照这个优选实施例中建议地配置虚拟键盘布局，使得打字员能够在相同位置用相同手指点击相同按键；例如，当利用普通QWERTY键盘布局时，左中指仍将负责相同按键：“c”(收缩)、“d”(放松)和“e”(扩展)。允许相同分配便于利用物理键盘从用户的现有技能的正转移。

推荐背侧的每个手指操作不超过三个位置(收缩、放松、扩展)。因此，常规键盘的一些按钮不被映射到虚拟键盘布局上，例如，在“顶行”之上的行中可用的数字和符号。建议使得通常所述难以访问的按钮上可用的输入元素，可用在替代键盘级上。其他输入元素(特别是普遍在桌上型键盘上不可用的那些)也可以映射至任何键盘级。

特别地，普通QWERY布局可以由该布局仿照。可替代地，可以反映(对于英语优化的)Dvorak DSK布局。可替代地，可以仿照对于任何语言的任何现有或者定制键盘布局。我们建议主键盘级将使得至少小写字母和最频繁的标点符号(特别是逗号和句号)可访问。

用户将触摸背侧触摸传感器。背侧触摸传感器上的每个位置(x，y)优选地被映射至目标区或者虚拟按键k。在每个触摸抬起事件(即，无论何时手指被提升离开传感器)，估算所述按键k，并且实现其相关联的效果。触摸下压事件可以具有对图形表示反馈的影响，像例如通过示出GUI的专用区中的对应输入来示出在其上出现触摸事件的按键。仅考虑用于生成键入的触摸抬起事件，使得预备手指运动成为可能：打字员在通过按键触摸触摸传感部件的同时可以已经将手指放置在要按压的接下来的按键上，而不实施不想要的效果。在快打字期间，出现多个手指同时触摸背侧感测部件；换言之，生成这些触摸下压事件，而在其间没有触摸抬起事件。因为触摸下压事件在这个操作的优选模式中不生成输入，所以只要手指以正确的顺序从表面释放，则键入将是正确的。此外，如果仅触摸抬起事件产生输入，则打字员可以在触摸下压和触摸抬起事件之间校正它们的触摸位置，以避免错误。虚拟键盘布局的GUI表示可以通过暴露按键(通过该按键发生触摸下压事件)鼓励这一点。

可替代，仅对于生成键入考虑触摸下压事件，而不是仅触摸抬起事件。例如，物理键盘的行为可以被仿真：在按键上的触摸下压事件之后的确定延迟之后，可以生成被分配给所述按键的输入元素的重复输入，直至对应触摸抬起事件到达。

另外，建议在背侧上的触摸的执行期间在前侧触摸感测部件上的保持下压拇指，导致背侧按键映射的变化。特别地，在执行通常导致小写字母的输入的触摸时保持下压左拇指，将导致所述字母的大写对应物的输入。

系统仍未知的用户将获得预形成虚拟键盘布局配置；然而，优选这些适配于用户的手部骨骼。推荐以下方案。用户测量他们的中指的长度m(从头底部到指尖)和当不相互伸展离开时所述三个手指的近似宽度w。虚拟键盘布局的每个半个(即，每个手部的键盘的部分)将以下面的方式设置：

生成参考位置C＝(Cx，Cy)。在这个位置，中指的基键行按键将(通过其重心或者名义位置)放置。考虑将可能触摸的预期位置标记为用户的中指的扩展/收缩变化程度的线L；是V，那条线上的矢量，其起点(foot)在C上；V与L平行，以朝扩展(不是收缩)方向指向；V的长度是0.2m；将中指的顶行按键的位置放置在(Cx，Cy)+V，其底行按键在(Cx，Cy)-V；是W，起点等于V的起点的矢量；W方向相对V的方向是90°(即，与V正交，并且朝食指按键指向)；W的长度是0.65w；将食指的基键放置在(Cx，Cy)-0.5V+W和(Cx，Cy)+0.5V+1.8W；将无名指的基键放置在(Cx，Cy)-0.5V-W，并且放置小指的基键在(Cx，Cy)-0.75V-1.8W；将所有剩余手指的顶行和底行按键类似中指的那些地放置，但是保持它们和基键行按键之间的距离稍微小于对于中指的，甚至小于对于小指的。

优选向用户提供小物理对象(例如，具有粘底的塑料捏手)以标记特定按键位置；所述对象可以放置在中指的基键行按钮的计算出的位置之下(在利用QWERTY键盘的优选模式中，这些将使对于“d”和“k”的按键)，以在用户正训练使用该方法的同时提供触觉反馈。由此也可以标记附加按键。此外，自粘的很薄的带可以放置在表面上，以标记按键之间的线段。用户将决定对于他们自己中指基键行按钮的哪个位置L对于他们最好。然后，系统可以平移上面设置的按键平面，以使得两个半个键盘匹配所述位置；对于每个半个键盘，每个按键可以由定义为从C到L的相同矢量V平移。如果硬件提供动态触觉反馈，则可以创建类似触感提示。

优选将交互日志存储在存储器单元中，该日志包括特定用户的交互。他们可以帮助通知识别，并且允许用户行动和打字行为的统计评估。

推荐使用具有至少以下数据的数据库：

-键入的每个字母n字母组(推荐n≥4)；这允许字母的键入(和由此很难够到的按键位置)之间的时间间隔和用户的个人词汇表(在识别时使用)中的n字母组频率的稍后建立。

-对于虚拟按键布局的稍后重建的每个触摸事件；

-对于稍后重建的当前用户的当前虚拟键盘布局的组织；可以在设置键盘布局之后，以完全或者某一程度来恢复按键相互的相对位置。

校准是这样的动作：在该动作中：用户一次在背侧触摸感测部件上放多个手指，以通知识别器关于1)他们的开始使用系统的预期，以及2)他们的当前手势。

当检测到校准时，系统优选地执行算法以通过根据(名义)位置放置按键来根据识别出的手势(重新)组织虚拟键盘布局。此后，系统可以切换到打字模式。

以下算法描述可以如何检测校准：

对于该文件的剩余部分定义以下概念：

N：＝要操作当前按键平面的手指的数目；

XH：＝触摸面板的水平分辨率(就像由驱动器软件和OS给定的那样)除以2；

在优选实施例中，当他们使用N个手指头触摸背侧触摸传感器时，由用户指示校准。推荐以下算法用于N＝8的优选实施例。

#START

总的来说，总是保持跟踪触摸背侧传感器的所有手指(即，触摸下压和触摸抬起之间)并且将它们存储到T；8

然后，软件根据集合T'和T"重新组织键盘布局，如下面公开。在优选实施例，在侧边缘紧握设备。因此，可以通过它们的位置的y坐标存储触摸。在其他实施例，手指区分可能更难。

推荐给出特殊信号(例如，比通常振动信号更长)作为触觉反馈，以指示已经识别出校准。

对于其他实施例，可以相应地发现类似算法：在可穿戴传感器上，典型地可以要求#(T)＝5，或者如果一起考虑5个手指中每个手指两个传感器，则#(T)＝10。为了确定手指，用户可以被要求以规定顺序将他们的手指放在背侧触摸传感部件上。

对于优选的折叠键盘布局，存在3个“键盘行”，其对应于手指姿势(收缩：底行；放松：基键行；扩展：顶行)。在校准期间，对于每个手指将完成如下工作：考虑触摸下压和触摸抬起事件之间的(欧几里得)矢量；计算所述矢量V的中心c；考虑从所述手指的基键行按键的当前位置到其顶行按键的矢量W；计算所述矢量W的长度和触摸下压事件的位置和计算出的中心c之间的距离之间的算术均值a；将基键行按键的重心和矢量W的起点放在c上，而不对其进行旋转；缩放W至长度a，并且将顶行按键的重心放在W的头部。当收集到来自用户的更多数据时，a可以由W的另一比率取代。类似地对底行进行，其中对于该步骤W被缩放为-a。

如果触摸下压和对应(同一id)触摸抬起事件之间的所有距离的均值低于确定阈值，则不计算任何矢量，但只是对于每个手指平移这三个按键，以使得基键行按键在手指下面，并且平移其他两个按钮，以使得保留它们的原始距离和角度。可替代地，可以利用对于新用户的虚拟键盘布局设置步骤。

可以在短语训练应用的运行期间设置特殊约束。在用户转录刺激源短语时，系统总是知道预期的输入元素，以例如在刺激源光标处产生字符。可以参考稍早给出的适配公式按照如下完成适配：k’：＝k+c(t.loc-k)＝(k.x+c(t.loc.tx-k.x)+c(t.loc.ty-k.y))：

-在“强适配”模式中，在每次打字字符之后，朝触摸(例如，c＝0.25)移动所预期的(借助刺激源短语知道，这没有必要是点击按键)，除非触摸和按键之间的欧几里得距离超过预置最大值，或者按键被点击意味着要使用另一只手点击。这个模式适于对于未知用户配置虚拟键盘布局。

-在“弱适配”模式中，在当按键k被预期时点击按键h之后：

o如果h＝k，则k将朝触摸(例如，c＝0.25)移动；

o否则，没有按键将被移动；可替代地，h可以从触摸(例如，c＝-0.17)移动离开，以解决凌乱的按键。

在生产性使用情况下，打字员的预期事先不是已知的，就像在训练期间那样。因此推荐保持适配按键的历史，即，存储它们的重心在阵列中，当使得适配的键入输入元素此后获得校正(通过回退)时，可以通过恢复存储的重心位置撤销适配。在撤销时，从历史去除使用的重心；由此，可以适当时撤销对于同一按键的多个适配处理。

可以例如通过围绕直接操纵拖动按键(通过其投射)鼓励用户“手动”重新布置按键。

在传递悬停在触摸感测部件上的部分手指的接近轮廓(即，手指的收缩/扩展程度)的传感器控制器驱动器组合，可以更鲁棒地推测“键盘行”，例如由此：

使用常规计算机视觉算法建立指尖位置。参考悬停在表面的手指的该部分的各个长度，以推测所述手指的收缩和扩展程度。将按键位置适配于手指；特别地，考虑每个手指的顶行和底行按钮之间的线段；所述线被旋转和平移，以匹配识别出的手指的轮廓；然后，相应地放置按键至它们对于所述线段的原始相对位置。

推荐与电阻式触摸传感器组合地使用这些先进的传感器，以获得触摸的准确时刻和位置。所述位置将针对计算机视觉推导的消息被检查(以验证触摸手指)，并且基于从以上算法推导出的按键位置，被转发到同时运行的(适合的按键或者机器学习)识别器。

图12图示能够实施根据本发明的方法的设备。在描绘的优选实施例中，设备200包括在其前面上的至少一个多点触摸感测单元210，同时其包括在其背面上的至少一个另外的多点触摸感测单元220。优选地，设备的外形因素是板或者平板计算机的外形因素。其基本上是平的并且具有矩形的一般轮廓。设备包括诸如中央处理单元CPU之类的计算部件230和计算部件对其具有读取/写入访问的至少一个存储器单元240。感测部件210、220可操作地连接到计算部件230，以使得后者可以使用由前者提供的输入。计算部件配置为实现根据本发明的方法步骤。

优选地，该设备还包括在其前面上的屏幕，前感测部件210如现有技术中已知地与该屏幕共置。平板计算机可以是交互的源(接收和处理触摸输入)和目标(接收推断的输入元素)。用户将信息经由源的触摸感测部件上的触摸交互输入到目标中。在设备的替代实施例中，源(即，在其上键入文本的计算机)是与作为与源通信的计算机的目标。在另一替代中，插在目标和源设备之间的通信链路上的计算机系统可以操作为其他目标，或者操作为进行与操作在源设备上的文本键入处理有关的显示视觉反馈的部件。在图14中图示这个状况，其中背表面120上的触摸事件可以显示在设备100的前显示器160上，或者替代地在目标设备A的显示器上。目标设备可以经由中间设备B接收来自设备100的显示信息。

作为另一实施例，推荐在笔记本电脑、笔记本电脑或者膝上型铰接的显示面板的背侧附属多个触摸感测部件，并且将此与和显示器共置的前侧多点触摸传感器组合。

在本领域公知已知的多点触摸传感器，即当多个手指触摸并且在传感器上移动时可以鲁棒地跟踪该多个手指的表面。触摸表面可以物理地构建到一个传感器中，或者包括单个触摸传感器的阵列。通过已知度量(触摸数据插入)，空间传感器分辨率可以增强超过阵列尺寸，所以相对少的阵列的数目(例如，8乘8个传感器)对于允许根据本发明交互的“虚拟”分辨率足够。传感器(阵列)所根据的技术可以变化；此外，传感器可以被任意成形并且以不同形式布署。

提供由根据本发明的设备100所需的功能的可能的实施例包括但不限于：

-投射电容式多点触摸传感器，优选利用互电容，通常生产为双层玻璃面板或者构建到移动设备中；优选这些传感器，因为它们提供良好的空间和时间分辨率；此外，它们可以配置(“校准”)为感测接近程度；已经示出可以使用这个技术检测手指轮廓；

-电阻式触摸和多点触摸传感器；

-包含电容式(触摸和接近)或者电阻式(触摸和力)传感器单元的阵列的成形和潜在的符合单元，由导电金属片、导电泡沫、导电纱或者其他材料制成；

-具有编织导电纱的织物衣服；

-光，例如，红外光栅；

-声音，例如表面声波；

-计算机视觉驱动传感器，像在例如由FTIR支持的一些多点触摸表中部署那样；

-基于相机的传感器，用于定位手指；

-上面那些的任何组合，以使得组件对它们可以最佳地传递的传感器信息有贡献；特别是：

o配置为与能够检测接近程度和/或力的电阻式触摸传感器组合地检测接近程度的投射电容式触摸传感器的单元；电容式传感器对手指的轮廓有贡献，而电阻式传感器对触摸的准确时间戳和位置有贡献。

o配置为与陀螺仪、加速度或者听觉传感器(如果识别器运行目标，则可以使用那个目标设备的传感器)组合地检测接近程度的投射电容式触摸感测器的单元；陀螺仪、加速度或者听觉传感器将对手指和传感器表面之间的接触的时间戳和力有贡献；

o具有放置在大交互区的表面之下的麦克风的基于光或者FTIR或RD的组合；第一传感器对准确位置有贡献，后面的传感器对手指和传感器表面之间的接触的实例和力有贡献；

-能够多点触摸或者手指跟踪的现有技术已知的任何其他技术。

传感器可以被任意成形，特别是：

-平的，例如，如果被构建到平板的背侧中，或者如果包含在要连接到平板计算机的外围装置中；

-弯曲成匹配手指的操作区，特别是当手部的手掌相对装置被固定；

-弯曲成匹配人类骨骼，例如被锻造成任意但对于任何按键平面结构足够尺寸的镯子；

-符合对象，例如家具；

-符合地附属到衣服或者对象；

存在已知的硬件系统，该硬件系统允许动态触觉反馈，这意味着触摸面板区可以利用触觉提示加强，该触觉提示可以被算法地操纵以出现在期望位置并且产生不同种类的触觉感觉。如果可能的话，优选在任何实施例中部署这种技术，以创建在特别是在背侧操作的同时引导用户的手指的触觉反馈。该技术可以变化；优选是改变感测表面的形状的系统；可替代地，可以使用电或者声音系统；然而，它们要求手指在表面上滑动，以给出反馈。可以通过将致动器(例如，振动马达)的阵列构建到被符合或者可符合的传感器表面中来实现触觉通道的特定丰富性。

假定生成的触感提示可以利用足够的空间粒度任意成形，推荐如下增加感测表面的结构：

-应该存在围绕特定或者所有按键的感测部件的位置的区中的触觉反馈。如果可能的话，所述区的质量、形状和尺寸应该依赖于按键的性质(至少与所述按键相关联的手指、预期用于所述按键的手指姿势(收缩/扩展程度))变化。

-在按键或者目标区之间，应该存在展示(sport)触觉反馈的线或者曲线形的区，以通知用户他们何时正在特定按键之间触摸；特别地，由此可以连接与同一手指相关联的或者属于相同收缩/扩展程度的按键。优选地，反馈质量应该是对于用户来说，与按键位置上的触觉反馈可区别的。

图11示出根据本发明的设备的背面多点触摸传感器12。不同的触感提示提供为关于右手和左手可以在其上操作的区的示例。虽然在这个示例中，目标区的位置是圆形，但触感反馈可以由圆点(左手)提供，在圆点之间具有连接以允许用户感测按键之间的距离。可替代地，不同按键行可以通过不同粗糙度的不同形状识别(右手)。键盘的边界也可以由触感标记提供，如由用于右手部分的反C形结构121指示。

本发明教导具有装置的至少两个可触摸区(称为前侧和背侧)的设备的优选使用。在这个优选方式中，拇指操作在前侧上，手指头操作在背侧上。优选地使用两只手在设备的侧边缘上紧握设备，以使得手部的手掌可以使用很小的压力固定设备；同时，设备被握持以使得其重量由手部的手掌支持；这种使用允许设备上的安全和舒适保持，同时保留多数手指头在背侧触摸感测部件上对于触摸交互的可移动性。

背侧传感器可以包括一个、若干或者很多传感器单元。仅使用一个传感器区的实施例坚持传感器提供关于n>1或者2的多点触摸。使用若干多点触摸传感器单元将允许背侧交互区的形状容易修改。例如，使用两个多点触摸显示器允许传感器可以是在至少以下配置之一中的设备的配置：

平的，所以它们将不改变设备的外形因素并且允许用户与前侧对象最直觉的交互。

“拍打”，像翅膀那样，即，形成它们本身和平板平面之间的角度以便更容易地达到，并且允许相对于前侧的不同投射角度，这例如可以使得更多的平板的中心区域可达到；

推荐例如以浴室壁橱门的方式(其中温和向内推动将影响由弹簧引起的向外移动)实现在这两个配置之间切换的舒适方式。优选地，可以例如借助内置电阻以“翅膀”的角度调整角度。这种实施例通过图13a和13b的示例描述。

使用很多传感器单元(例如，以x*y个传感器的栅格结构布局)可以允许使用不昂贵的电容式触摸传感器，其每个将不总必须是多点触摸传感器。具有很多感测单元的这样构建的传感器区可以连接到数字信号处理器，该数字信号处理器依据来自触摸传感器单元阵列的“原始”传感器数据计算触摸位置。

在优选实施例中，设备是在前侧和后侧中具有内置电容式多点触摸传感器的平板计算机。两个传感器可以在没有“重影”的情况下鲁棒地同时跟踪至少2个手指。

在这个优选实施例，平板的计算基础设施可以用于系统的所有部分；所以，平板将文本键入的源和目标变成一个。然而，设备可能向外部目标设备发送信息，以使得后者称为用于GUI表示的监视器或者到另一目标设备。为了这个目的，根据本发明的设备也可以包括诸如串行端口或者无线连接设备之类的通信部件，其允许传送键入的输入元素到目标设备。

在替代实施例中，(源)设备是硬件设备，其基本仿照嵌入外壳中的平屏幕(该外壳具有包含至少一个触摸面板控制器的遮光板和运行至少一个触摸面板驱动器的计算机系统)，并且便于向外部计算系统发送信息(无线地和/或经由电缆)。优选地，内置计算机运行实现根据本发明的方法和驱动通信设施的软件。优选地，该实施例也具有前屏幕触摸传感器或者用于拇指交互的按钮和用以示出投射的显示器。该实施例的300背侧可以具有平或者“可拍动”翅膀320，如图13a和13b中描述。这个实施例也可以包含填充材料，以给出设备的某个物理体。

另一实施例将消费级触摸板420附属到平板计算机的背侧，如图13c所示。这种跟踪板典型经由Bluetooth^TM与计算设备通信，该计算设备可以经由驱动软件读取触摸数据并且将其馈送到识别器。

类似实施例将被成形为符合人类手部，特别是背侧感测部件的凹面一半，以使得由手指头的舒适的触摸交互成为可能；拇指的类似适配是可能的。

总的来说，每个实施例的每个传感器区可以被设计为平的，以尽可能低地保持对设备的大小的影响，或者“可拍打”或者弯曲以符合人类手部骨骼和/或提供设备上的更人体工学或者方便(触摸)操作和安全紧握。另一实施例包括优选地使用双侧胶带或者陶瓷箔的、相互的、背侧对背侧的两个类似大小或者相同触摸启用移动设备。然后，设备之一可以用作背侧触摸传感器。两个平板应该经由Bluetooth^TM或者焊接USB连接通信。

在图13d中所示的设备的另一实施例，一个背侧多点触摸520传感器被嵌入硬件装置的背侧，该硬件装置以优选是弯曲的并且可能柔软的至少可抓住的侧边缘为特征和以前侧上的移动设备(例如，平板、智能手机或者PDA)的底座为特征。可以使用拍和/或翅膀和/或磁体和/或粘合单元(诸如陶瓷粘合箔)制作底座。除了这个底座之外，前侧可以展示要由用户的拇指操作的触摸传感器或者按钮。

在设备的另一实施例中，使用常规或者双侧胶带或者陶瓷胶箔将像通常用于kiosk系统那样的第三方多点触摸传感器面板附属至MD的背侧，并且连接的微计算机运行触摸面板的驱动器和另外将触摸数据传送到远程计算系统的根据本发明的软件二者。

对于在边缘被紧握的所有实施例，推荐使用软的或者像橡胶那样的材料，并且形成圆边缘，以避免手部皮肤的拉紧。

一般来说，硬件的所有组件：前侧、背侧、显示器以及外部计算系统被布置，以使得它们可以相互通信。特别是，作为单元的每个实施例可以与外部计算系统通信。所述外部系统可以连接到显示器，由此可以用作交互监视器。此外，它们可以是交互的目标，例如提供的输入元素应该被键入的计算系统。

用以通信的优选方式是电缆(USB、I2C、焊接或者其他电缆连接)或者被构建到任何设置的设备的无线通信。如果局域网(LAN)、广域网(WAN)或者因特网需要，则优选地使用Bluetooth^TM、端到端WiFi(有时，“WiFiDirect^TM”)和常规WiFi^TM实现无线通信；如果必要，可以插入LAN或者因特网中的其他计算设备。

应该理解，仅通过例示方式给出特定优选实施例的详细描述，因为本发明的范围内的各种改变和修改将对于本领域技术人员显而易见。由以下权利要求的集合定义保护的范围。

Claims

1.一种用于在手持计算设备中提供触摸输入的方法，其中，所述设备(100，200，300)配备有在其前面上的至少一个多点触摸感测部件(110，210)和在其背面上的至少一个多点触摸感测部件(120，220)，其中，该方法包括以下步骤：

-在所述设备中提供虚拟键盘布局(102)，该虚拟键盘布局将所述背面多点触摸感测部件(120，220)的至少一个第一目标区映射到第一预定输入元素并且将所述前面多点触摸感测部件(110，210)的至少一个第二目标区映射到第二预定输入元素；

-在所述设备中检测所述多点触摸感测部件(110，210；120，220)上的至少一个触摸事件的位置(10)；

-在所述设备中确定虚拟键盘布局上的所述触摸事件的可能目标区(20)；

-在所述设备中存储检测到的事件位置和对应的已确定目标区(30)；

-更新虚拟键盘布局(102)，其中，基于检测到的触摸事件位置适配所述区的位置或者形状(40)。

2.如权利要求1所述的方法，其中，该方法还包括：

-将所述前面和背面多点触摸感测部件(110，210；120，220)的区域与用户的特定手指相关联；

以及，其中，所述确定步骤(20)还包括：

3.如权利要求1或2所述的方法，其中，所述确定步骤(20)包括选择虚拟键盘布局(102)的目标区，该目标区的重心位置具有到检测到的触摸事件位置的最短欧几里得距离。

4.如权利要求1或2所述的方法，其中，所述确定步骤(20)包括基于虚拟按键布局(102)的目标区的似然性选择该目标区，其中，所述似然性是目标区的重心位置和检测到的触摸事件的位置之间的欧几里得距离的函数。

5.如权利要求4所述的方法，其中，目标区的似然性还是在所述位置上给定之前触摸事件的情况下之前已经确定目标区的出现次数的函数。

6.如权利要求4或5所述的方法，其中，目标区的似然性还是在给定之前确定的目标区的情况下目标区的相关联的输入元素的概率的函数。

7.如权利要求1至6中任一项所述的方法，其中，所述更新步骤(40)包括朝检测到的触摸事件位置移动确定的目标区的位置。

8.如权利要求1至6中任一项所述的方法，其中，所述更新步骤(40)包括朝对于其已经确定同一目标区的之前检测到并且存储的触摸事件位置的全部或者一部分的重心移动确定的目标区的位置。

9.如权利要求1至8中任一项所述的方法，其中，该设备还包括其前面上的显示部件，并且其中，该方法还包括在所述前显示部件上选择性显示与背面多点触摸感测部件对应的虚拟键盘布局的表示的步骤。

10.如权利要求9所述的方法，其中，该方法还包括在前显示部件上选择性显示背面多点触摸感测部件上的检测到的触摸位置的表示的步骤。

11.如权利要求1至10中任一项所述的方法，其中，虚拟键盘布局将背面的左侧和右侧上的目标区的集合映射到文本字符元素，以提供可分别使用左手和右手的手指触摸的折叠键盘布局。

12.如权利要求1至11中任一项所述的方法，其中，所述检测到的触摸事件包括触摸“抬起”、触摸“下压”或者触摸姿势事件。

13.如权利要求1至12中任一项所述的方法，其中，该方法还包括在已经确定目标区之后将相关联的预定输入元素提供到设备的输入存储器缓冲器中的步骤。

14.如权利要求1至13中任一项所述的方法，其中，所述步骤(10，20，30，40)被重复以将所述目标区的位置适配于用户的设备操控。

15.一种手持计算设备，包括在其前面上的至少一个多点触摸感测部件和在其背面上的至少一个多点触摸感测部件，该设备还包括存储器单元和计算部件，其中，计算部件和存储器单元配置用于：

-检测所述多点触摸感测部件上的至少一个触摸事件的位置(10)；

-确定虚拟键盘布局上的所述触摸事件的可能目标区(20)；

-在所述存储器单元中存储检测到的事件位置和对应的已确定目标区(30)；

-更新虚拟键盘布局，其中，基于检测到的触摸事件位置适配所述区的位置或者形状，并且存储所述更新的虚拟键盘布局(40)。

16.如权利要求15所述的设备，其中，该计算部件还配置用于：

以及配置用于在所述确定步骤(20)期间执行以下另外的步骤：

-基于检测到的触摸事件与所述区域的接近程度确定哪个按键产生触摸事件(22)；

-在被映射到确定的手指的目标区的集合之中确定虚拟按键布局上的所述触摸事件的可能目标区(24)。

17.如权利要求15或16所述的设备，其中，计算部件还配置为执行根据权利要求3至14中任一项所述的附加步骤。

18.如权利要求15至17中任一项所述的设备，其中，该设备还包括在其前面上的显示器，所述前面多点触摸感测部件与该显示器共置。

19.如权利要求15至18中任一项所述的设备，其中，该设备是平板计算机。

20.如权利要求15至19中任一项所述的设备，其中，所述背面多点触摸感测部件可拆卸地附属到所述设备。

21.如权利要求15至20中任一项所述的设备，其中，所述背面多点触摸感测部件基本沿着设备的侧边缘布置，并且朝背面的中间延伸。

22.如权利要求15至20中任一项所述的设备，其中，所述背面多点触摸感测部件基本覆盖全部背面。

23.一种能够实施根据权利要求1至14中任一项所述的方法的计算机。

24.一种包括计算机可读代码部件的计算机程序，该计算机可读代码部件当运行在计算机上时，使得计算机实施根据权利要求1至14中任一项所述的方法。

25.一种包括计算机可读介质的计算机程序产品，在该计算机可读介质上存储如权利要求24所述的计算机程序。