CN109952551A - 触敏键盘 - Google Patents

触敏键盘 Download PDF

Info

Publication number
CN109952551A
CN109952551A CN201780070622.3A CN201780070622A CN109952551A CN 109952551 A CN109952551 A CN 109952551A CN 201780070622 A CN201780070622 A CN 201780070622A CN 109952551 A CN109952551 A CN 109952551A
Authority
CN
China
Prior art keywords
touch
key
keyboard
signal
sensitive
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201780070622.3A
Other languages
English (en)
Inventor
C·福林斯
D·霍尔曼
S·丹尼斯
R·J·乔塔科斯塔
S·L·桑德斯
D·C·威尔金森
B·莫斯利
B·R·德阿劳约
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tactual Labs Co
Original Assignee
Tactual Labs Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tactual Labs Co filed Critical Tactual Labs Co
Publication of CN109952551A publication Critical patent/CN109952551A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04886—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures by partitioning the display area of the touch-screen or the surface of the digitising tablet into independently controllable areas, e.g. virtual keyboards or menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/02—Input arrangements using manually operated switches, e.g. using keyboards or dials
    • G06F3/0202—Constructional details or processes of manufacture of the input device
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/02—Input arrangements using manually operated switches, e.g. using keyboards or dials
    • G06F3/023—Arrangements for converting discrete items of information into a coded form, e.g. arrangements for interpreting keyboard generated codes as alphanumeric codes, operand codes or instruction codes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/02—Input arrangements using manually operated switches, e.g. using keyboards or dials
    • G06F3/023—Arrangements for converting discrete items of information into a coded form, e.g. arrangements for interpreting keyboard generated codes as alphanumeric codes, operand codes or instruction codes
    • G06F3/0233—Character input methods
    • G06F3/0234—Character input methods using switches operable in different directions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/02—Input arrangements using manually operated switches, e.g. using keyboards or dials
    • G06F3/023—Arrangements for converting discrete items of information into a coded form, e.g. arrangements for interpreting keyboard generated codes as alphanumeric codes, operand codes or instruction codes
    • G06F3/0233—Character input methods
    • G06F3/0235—Character input methods using chord techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/02—Input arrangements using manually operated switches, e.g. using keyboards or dials
    • G06F3/023—Arrangements for converting discrete items of information into a coded form, e.g. arrangements for interpreting keyboard generated codes as alphanumeric codes, operand codes or instruction codes
    • G06F3/0238—Programmable keyboards
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0425—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected
    • G06F3/0426—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected tracking fingers with respect to a virtual keyboard projected or printed on the surface
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041—Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04108—Touchless 2D- digitiser, i.e. digitiser detecting the X/Y position of the input means, finger or stylus, also when it does not touch, but is proximate to the digitiser's interaction surface without distance measurement in the Z direction

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Position Input By Displaying (AREA)
  • User Interface Of Digital Computer (AREA)
  • Input From Keyboards Or The Like (AREA)
  • Electronic Switches (AREA)

Abstract

公开了一种触敏键盘。在一个实施例中，提供了一种触敏键盘，该触敏键盘具有与键盘键分开的触摸板区域。键盘被配置为在接收到特定触摸信号时禁用触摸板敏感度。在另一个实施例中，触敏键盘被用作控制器。在控制器模式中，触敏键盘上的键被适配为输出对应于键与作为控制键操作的手指之间的距离的信号强度。在一个实施例中，触敏键盘包括处理器，该处理器被适配为响应于被按压的多个触敏键中的一个触敏键来输出键击，并被适配为输出通过针对键盘上的多个触敏键中的每一个触敏键内插信号强度来确定的一个或多个触摸点。

Description

触敏键盘
本申请是于2016年9月16日提交的题为“TOUCH SENSITIVE DEVICE INTERACTIONS(触敏设备交互)”的美国临时专利申请第62/395,835号的非临时申请并且要求其优先权。本申请涉及在2016年7月29日提交的题为“HOVER-SENSITIVE TOUCHPAD(悬停敏感触摸板)”的美国专利申请第15/224,226号、在2016年8月30日提交的题为“TOUCH-SENSITIVEOBJECTS(触敏物体)”的美国专利申请第15/251,859号、在2017年8月25日提交的题为“SYSTEMS AND METHODS FOR ULTRASONIC，MILLIMETER WAVE AND HYBRID SENSING(用于超声波、毫米波和混合感测的系统和方法)”的公开内容。本申请也涉及用户接口，诸如快速多触摸传感器和在于2016年2月29日提交的题为“ALTERABLE GROUND PLANE FOR TOUCHSURFACES(用于触摸表面的可改变的接地平面)”的美国专利申请第15/056,805号以及2014年9月18日提交的题为“SYSTEMS AND METHODS FOR PROVIDING RESPONSE TO USER INPUTUSING INFORMATION ABOUT STATE CHANGES AND PREDICTING FUTURE USER INPUT(用于使用关于状态变化的信息来提供对用户输入的响应并预测未来用户输入的系统和方法)”的美国专利申请第14/490,363号中公开的其他接口。本申请进一步涉及电容式传感器的导体的各种布局，诸如于2016年4月14日提交的题为“SENSOR PATTERNS(传感器图案)”的美国专利申请第15/099,179号和于2017年8月29日提交的题为“CAPACITIVE SENSOR(电容式传感器)”的美国专利申请第15/690,234号中所公开的。前面给出的申请和/或专利的全部公开内容通过引用结合于此。
本申请包括受版权保护的材料。版权所有者不反对任何人对本专利公开进行影印，就像它出现在专利和商标局文件或记录中，但在别的方面保留所有版权。
技术领域
所公开的系统总的来说涉及用户输入领域，且更具体地涉及提供对触摸(包括悬停和压力)敏感的键盘和键盘开关。
背景技术
已知的方法通常具有仅依赖键内的接触来确定键何时被按压的缺点。如本文中所公开的感测悬停、接触和键按压信息并使信息可用于理解用户的手势和交互的能力引入多种与触摸设备进行交互的可能性。
附图说明
通过如附图中展示的对优选实施例的以下更具体的描述，本发明的目标、特征和优点将是明显的，其中，参考字符指贯穿各个视图的相同部分。这些附图并不一定是按比例的，而是将重点放在展示本发明的原理上。尽管为了说明本发明的目的而公开了示例实施例和相关数据，但是鉴于本公开，在不脱离本文公开的范围和精神的情况下，其他实施例和相关数据对于本领域技术人员而言将是明显的。
图1A示出用于传统式键盘的键盘开关的示例性实施例的透视图。
图1B示出没有键帽的示例性键盘开关的透视图。
图1C示出键盘开关的左侧视图。
图1D示出键盘开关的右侧剖视图。
图2A和图2B示出使用了图1A至图1D中所示的示例性键盘开关的键盘的示例性发射层和接收层。
图3A和图3B示出键盘开关的另一示例性实施例。
图4A和图4B示出键盘开关的又一示例性实施例。
图5示出键盘开关的进一步的示例性实施例。
图6示出键盘开关的再进一步的示例性实施例。
图7示出示例性键盘，用户的手被定位在该示例性键盘的附近，并且图7示出计算机生成的热图被叠加在所图示的键盘上以对应于用户的手与该示例性键盘的定位和接近的图示。
图8示出示例性键盘的另一个视图，其中，用户的手被重新定位在该示例性键盘的附近，并且图8示出具有计算机所生成的热图被叠加在该键盘上的图示的该键盘的图示。
图9是示出有特征的键盘的用户的视图和真实世界视图的混合的图示。
图10是示出特征稀疏的键盘的用户的视图和真实世界视图的混合的图示。
图11示出有特征的键盘的示例性实施例。
图12A示出有特征的键盘的说明性传感器范围。
图12B示出在有特征的键盘上的在传感器范围内的用户手指和手的热图的示例。
图12C示出在虚拟现实或增强现实中被重建在键盘上的用户的手指、手、和腕部以及视觉情境的示例。
图13是示出在用户的虚拟现实视图或增强现实视图中显示了悬浮的工具提示的键盘的用户的视图和真实世界视图的混合的图示。
图14提供了可与本文中所公开的触敏设备相结合地使用的空中手势的样本列表。
图15A示出具有单独的键盘和触摸板的设备。
图15B示出被使用的设备的键盘，其中触摸板被禁用以防止意外的输入。
图15C示出当用户的手/手指远离触敏键盘的键时被使用的设备的触摸板。
图16A示出用户的两个手指搁置在控制(CTRL)键和交替(ALT)键上并且正使用食指触摸触敏键盘。
图16B示出食指在触敏区域上的移动。
图17A示出用户的两个拇指搁置在空格(SPACE)键上并且正使用食指触摸触敏键盘。
图17B示出食指在触敏区域上的移动。
图18示出用户的手/手指搁置在键盘的本位(home)键上从而触发状态变化。
图19A示出搁置在K键的中心的手指。
图19B示出搁置在K键的左侧上的手指。
图19C示出搁置在K键的右侧上的手指。
图19D示出搁置在K键的顶部边缘上的手指。
图20A示出触敏键盘并且描绘键盘上的每个键所测得的信号强度。
图20B示出从不规则间隔开的键生成的正则化的热图。
具体实施方式
在各种实施例中，本公开针对对悬停、接触和压力敏感的键盘以及真实世界设定、虚拟现实设定、以及增强现实设定中的该键盘的应用。本领域普通技术人员将理解到，本文中的本公开通常应用于所有类型的键盘，包括但不限于：薄膜键盘、圆顶开关键盘、剪式开关键盘、电容式键盘、机械开关键盘、屈曲弹簧键盘、霍尔效应键盘、激光投影键盘、卷轴式键盘、以及光学键盘技术。
贯穿本公开，可以使用术语“悬停”、“触摸”、“多个触摸”、“接触”、“多个接触”、“压力”或“多个压力”或其他描述符来描述由传感器检测到用户的手指、触控笔、物体或身体部位的事件或时间段。在一些实施例中，如通常由术语“接触”表示的，这些检测在用户与传感器或设备(传感器具体化于该设备中)物理地接触时发生。在其他实施例中，如通常由术语“悬停”指代的，可以调谐传感器以允许检测悬停在触摸表面上方的一定距离或以其他方式与触敏设备分离的“触摸”。如本文中使用的，“触摸表面”包括键盘或键；然而，如可以容易地理解到的那样，触摸表面可以不具有真实的键或特征，并且可以是通常特征稀疏的表面。本说明书中使用的暗示依赖感测的物理接触的语言不应被视为所描述的技术仅适用于这些实施例；实际上，通常，本文描述的内容同样适用于“接触”以及“悬停”，其中每一个都是术语“触摸”。更一般地，如本文中使用的，术语“触摸”指代可以由本文中公开的传感器的类型检测的动作，因此，如本文中使用的术语“悬停”是在本文中旨在“触摸”意义上的一种“触摸”。“压力”指“接触”的压力，即，一种力，用户利用该力来将他们的手指或手对键或其他表面进行下压。“压力”的量与“接触”的测量相似。还应该注意到，被按压的键是进一步的一种类型的“接触”，因此，通常，如本文中所描述的那样，“触摸”指代“悬停”、“接触”和被完全按压的键，而缺乏“触摸”通常通过传感器的精确测量的阈值之下的信号来识别。
如本文中使用的，并且特别是权利要求内的，诸如第一和第二的叙述术语本身并不旨在意味着序列、时间或独特性，而是用于区分一个所述的构造与另一个。在上下文规定的一些用途中，这些术语可能暗示着第一和第二是唯一的。例如，在第一时间发生事件，并且在第二时间发生另一个事件时，没有意图指示第一时间发生在第二时间之前。然而，在权利要求中提出了在第一时间之后的第二时间的进一步限制，上下文将要求第一时间和第二时间理解为唯一的时间。类似地，在上下文如此指示的或允许的情况下，序数术语旨在被广义地解释，使得两个识别的权利要求构造可以具有相同的特征或不同的特征。由此，例如，没有进一步限制的第一和第二频率可以是同一频率，例如第一频率是10Mhz并且第二频率是10Mhz，或可以是不同的频率，例如，第一频率是10Mhz并且第二频率是11Mhz。例如，上下文可以规定第一和第二频率被进一步限制为彼此正交，在这种情况下，它们不可能是同一频率。
当前公开用于设计、制造和使用电容性触摸传感器的系统，并且具体地，采用基于正交信号的复用机制的电容性触摸传感器，所述复用机制诸如但不限于：频分复用(FDM)、码分复用(CDM)、或者结合了FDM方法和CDM方法的混合调制技术。本文中对频率的引用也可以指代为其他正交信号基础。由此，本申请纳入申请人于2013年3月15日提交的题为“Low-Latency Touch Sensitive Device(低等待时间触敏设备)”的在先美国专利申请第13/841,436号和2013年11月1日提交的题为“Fast Multi-Touch Post Processing(快速触摸后处理)”的美国专利申请第14/069,609号作为引用。这些申请考虑了电容式FDM、CDM或FDM/CDM混合触摸传感器，所述电容式FDM、CDM或FDM/CDM混合触摸传感器可以结合当前公开的传感器使用。在这样的传感器中，当被驱动的导体与感测导体之间的电容关系变化(例如，增加或减少)并在感测导体上感测到结果时，可以感测到触摸。
本公开将首先大致描述快速多触摸传感器的操作，用于设计、制造和使用的本系统和方法可以应用于所述快速多触摸传感器。随后，在标题“键盘实施例”下将进一步描述与对悬停、接触和压力敏感的键盘相关的系统和方法的细节。
如本文中所使用的，短语“触摸事件”和单词“触摸”在被用作名词时包括接近触摸和接近触摸事件，或者可通过使用传感器来识别的任何其它手势。根据实施例，触摸事件可以非常低的等待时间(例如大约十毫秒或更少时间、或者少于一毫秒)被检测、处理并提供至下游计算进程。
在一个实施例中，所公开的快速多触摸传感器利用投射电容式方法，该方法已被改善以用于触摸事件的高更新率和低等待时间测量。该技术可使用并行硬件和较高频率波形以获得上述优势。在一个实施例中，公开的方法和装置可被用于进行敏感的和强健的测量，该方法可被用于透明显示器表面并且可以允许使用该技术的产品的经济型制造。在一个实施例中，所公开的方法和装置可以被使用在传统的键盘、薄膜键盘和具有键的其他键盘上，以及可以被使用在特征稀疏的或触觉的键控表面上，以及可以被使用在各种键盘开关(即，键)上，并且可以允许采用该技术的产品的经济型制造。在这一点上，本文中使用的“电容性物体”可以是手指、人体的其它部分、触控笔或传感器对其敏感的其它物体。本文公开的传感器和方法不需要依赖于电容。对于例如光传感器，这样的实施例利用光子隧穿和泄漏以感测触摸事件，并且本文使用的“电容性物体”包括可与这种感测兼容的任何物体，诸如触控笔或手指。类似地，本文中使用的“触摸位置”和“触敏设备”不需要电容性物体与所披露的传感器之间的实际触摸接触。
如2014年3月17日提交的题为“Fast Multi-Touch Stylus and Sensor(快速多触摸触控笔和传感器)”的美国专利申请第14/216,948号中所描述的，快速多触摸传感器将不同的信号发射到单元的行中的每一个行上。本申请的全部公开内容通过引用结合在此。信号通常被设计成“正交的”，即，可彼此隔开并可区分。接收器附连至单元的任意指定的列中的每一列。接收器被设计为在具有或不具有其他信号和/或噪声的情况下接收被发送的信号的任何信号或它们的任何组合，并且单独地确定出现在该列上的正交的被发送的信号中的每一个信号的测量(例如，数量)。传感器的触摸表面包括一系列行和列，正交信号可沿这些行和列传播。在一个实施例中，这些行和列被设计成：当它们没有经受触摸事件时，一个量的信号被耦合在它们之间，相反，当它们经受触摸事件时，另一个量的信号被耦合在它们之间。在一个实施例中，较少量的信号可代表触摸事件，而较大量的信号可代表缺乏触摸。因为触摸传感器最终由于耦合的变化而检测到触摸，所以除了对于特定实施例可能更明显的原因之外，触摸相关的耦合是导致列中存在的行信号的量增加还是导致列中存在的行信号的量减少并不特别重要。如以上所讨论的，触摸或触摸事件不需要物理接触，而是影响耦合信号的电平的事件。
在一个实施例中，一般来说，在行和列两者附近的触摸事件的电容性结果可能使出现在与该列耦合的行上的信号的量的不可忽略的变化。更一般地说，触摸事件导致并由此对应于列上接收的信号。由于行上的信号是正交的，因此多个行信号可被耦合至列并由接收器区分。同样，每行上的信号可被耦合至多个列。对于与给定行耦合的每一列(并且无论耦合是否导致出现在列上的行信号的增加或减少)，在列上找到的信号包含将指示在该列附近哪些行正在被触摸的信息。所接收的每个信号的量通常与携带对应信号的列与行之间的耦合的量有关，并且因此可以指示正在触摸的物体到表面的距离、触摸所覆盖的表面的面积和/或触摸的压力。
当行和列被同时触摸时，信号中存在于该行上的一些信号被耦合至对应列(耦合可以导致列上的行信号增加或减少)。(如以上所讨论的，术语“触摸”或“被触摸(touched)”不需要实际的物理接触，而是相对接近。)事实上，在触摸设备的各种实现中，与行和/或列的物理接触是不太可能的，因为在行和/或列与手指或其它触摸物体之间可存在保护性障碍物。此外，一般来说，行和列本身不彼此接触，而是被布置在附近，这允许一定量的信号被耦合在它们之间并且该量可以随着触摸变化(正或负)。一般来说，行-列耦合不是由它们之间的实际接触导致的，也不是由来自手指或其它触摸物体的实际接触导致的，而是由使手指(或其它物体)紧密靠近的电容性效应导致——该紧密靠近导致电容性效应在本文中被称为触摸。
如2016年7月1日提交的题为“Systems and Methods for Sensing Pressure inTouch Sensitive Devices(触敏设备中的用于感测压力的系统以及方法)”的美国专利申请第15/200,320号(该专利的全部公开内容通过引用被并入本文)中所详细描述的那样，在其中存在实际物理接触，手指和触摸表面的接触区域的尺寸和形状与被施加至该表面的压力量之间存在一定关系。由于人类手指不是刚性的，所以在一定范围上，人类手指根据压力变形。如此，当较高水平的压力被施加到触摸表面时，手指的接触面积一般较大，而当较低水平的压力被施加时，手指的接触面积一般较小。类似地，相对于电容式触摸传感器中的列与行之间的电容耦合，一般来说，施加的压力越大，电容耦合越高。电容耦合的量可以由触摸系统的通常操作方法来推断。在一个实施例中，电容耦合的量的变化将改变行与列之间的经测量的信号强度。较高水平的压力使更多的皮肤、脂肪、肌肉和组织与触摸表面达到紧密接触，并且人体的这些部分提供了电导和介电质，该电导和介电质导致增加的电容耦合。
行和列的性质是任意的并且具体取向是无关的。事实上，术语“行”和“列”不旨在表示方格，而是表示在其上发送信号的一组导体(行)以及在其上可以耦合信号的一组导体(列)。(信号在行上发射并且在列上接收的概念本身是任意的，并且信号可以容易地在任意命名为列的导体上发射并且在任意命名为行的导体上接收，或者两者可以任意地被命名为别的)。进一步，行和列不一定在一个网格中。其它形状是可能的，只要触摸事件将触摸部分“行”和部分“列”，并造成某种形式的耦合。例如，“行”可以是同心圆，而“列”可以是从中心向外辐射的轮辐。作为另一个示例，如美国专利申请第15/690,234中所公开的，行和列完全不需要相交。并且“行”和“列”都不需要遵循任何几何或空间模式，因此，例如，可以任意地连接键盘上的键以形成行和列(与其相对位置有关或无关)。此外，不一定仅存在两种类型的信号传播通道：在一个实施例中，取代行和列，可提供通道“A”、“B”和“C”，在“A”上发送的信号可在“B”和“C”上被接收，或者，在一个实施例中，在“A”和“B”上发送的信号可在“C”上被接收。还可能的是，信号传播通道可交替发挥作用，有时支持发送，有时支持接收。也可以构想到，信号传播通道可以同时地支持发射器和接收器——只要所发送的信号与接收到的信号是正交的并且因此是可分离的。可以使用三个或更多类型的天线导体，而不是仅仅“行”和“列”。许多替代实施例是可能的并对本领域内技术人员而言在考虑本公开后将变得显而易见。
如前面所提到的，在一个实施例中，触摸表面由一系列行和列构成，信号可沿该一系列行和列传播。如上所述，行和列被设计成使得当它们没有被触摸时，它们之间耦合有一个量的信号量，并且当它们被触摸时，它们之间耦合有另一个量的信号。行和列之间耦合的信号的变化通常可以与接触成正比或成反比(但是不一定成线性比例)，使得触摸更少地是是否问题，并且更多的是渐变，这允许更多的触摸(即，更近的或更结实的)和更少的触摸(即，更远的或更软的)和甚至没有触摸之间的区分。此外，不同的信号被发送到行中的每个行。在一个实施例中，这些不同信号中的每一个信号是彼此正交的(即可隔开和可区分的)。当同时触摸行和列时，行上存在的信号被(正或负)耦合，导致或多或少地出现在相应的列中。被耦合到列上的信号的量可与触摸的接近度、压力或面积相关。
接收器被附接至每个列。接收器被设计成接收在列上存在的信号，包括正交信号中的任一个、或正交信号的任意组合、以及任何存在的噪声或其他信号。通常，将接收器被设计成接收存在于列上的信号的帧，并且识别提供信号的列。在一个实施例中，接收器(或与接收器数据相关联的信号处理器)可以在信号帧被捕获的时间期间确定与存在于该列上的正交发送的信号中的每一个信号的量相关联的测量。如此，除了识别与每个列接触的行，接收器可提供关于该触摸的额外(例如定性)的信息。一般来说，触摸事件可对应(或反向对应)于在列上接收的信号。对于每个列，在其上接收的不同信号指示了对应的行中的哪些行在该列附近被触摸。在一个实施例中，对应的行和列之间的耦合量可以指示例如由触摸覆盖的表面的面积、触摸的压力等。在一个实施例中，对应的行和列之间的耦合随时间的变化指示两者交点处的触摸变化。
简单正弦波实施例
在一个实施例中，被发送到行上的正交信号可以是未经调制的正弦波，每个正弦波具有不同的频率，选择频率以使它们在接收器中能彼此区分。在一个实施例中，选择频率以在这些频率之间提供充分的间隔，以使这些频率在接收器中能更容易地彼此区分。在一个实施例中，频率被选择为使得选定的频率之间不存在简单谐波关系。简单谐波关系的缺乏可减轻可能导致一个信号模仿另一个信号的非线性伪像。
一般来说，如果频率之间的间隔Δf至少是测量周期(又名积分周期)τ的倒数，相邻频率之间的间隔是恒定的频率“梳”一般能满足这些标准。在一个实施例中，这样的频率的“梳”可以包括最高频率比最低频率的两倍要小的约束。例如，如果期望测量(例如来自列的)信号组合以确定哪些行信号在一个毫秒(τ)中，则频率间隔(Δf)必须大于一千赫(即Δf＞1/τ)。为了避免疑问，测量或积分周期τ不限定何时进行测量，但相反地限定期间进行测量的周期。换句话说，可以以较低的速率对测量周期τ进行测量，并因此可以(但不必)每个毫秒进行1毫秒的对测量周期τ的测量。例如，在不脱离本公开内容的精神和范围的情况下，可以每个毫秒或可以每1.5个毫秒或每两个毫秒或以任何其他的间隔来进行这样的测量。
在说明性示例中，在具有十行的示例情况下，可以使用下列频率：
行1：5.000MHz 行6：5.005MHz
行2：5.001MHz 行7：5.006MHz
行3：5.002MHz 行8：5.007MHz
行4：5.003MHz 行9：5.008MHz
行5：5.004MHz 行10：5.009MHz
对于本领域内技术人员将明显的是，频率间隔可以大于该最小值Δf＝1/τ。作为一个示例，具有0.5cm行/列间隔的20cm×20cm触摸表面将需要40个行和40个列并且需要在40个不同频率下的正弦波。尽管每毫秒一次的分析速率可能只需要1KHz间隔，然而为了更稳健的实现方式而利用任意更大的间隔。在一个实施例中，任意更大的间隔受制于如下约束条件：最大频率不应大于最低频率的两倍(即fmax＜2(fmin))。由此，在一个示例性实施例中，可使用最低频率设定在5MHz的100kHz的频率间隔，由此得到5.0MHz、5.1MHz、5.2MHz以此类推直至8.9MHz的频率列表。
在一个实施例中，列表上的每个正弦波可通过信号发生器产生并通过信号发射器或发射器在分离的行上发送。在一个实施例中，可以预生成正弦波。为了识别被同时地触摸的行和列，接收器接收出现在列上的任何信号并且信号处理器分析该信号以确定哪些(如果有的话)频率出现在列表上。在一个实施例中，该识别可通过频率分析技术(例如傅立叶变换)或通过使用滤波器组来支持。在一个实施例中，接收器接收通过FFT被处理的列信号的帧，并且因此针对每个频率确定测量。在一个实施例中，对于每一个帧，FFT为每个频率提供同相测量和正交测量。
在一个实施例中，接收器/信号处理器可以从每列的信号中确定该列上的信号中找到的频率列表中的每一个频率的值(并且在一个实施例中是同相值和正交值)。在一个实施例中，在对应于频率的值大于或小于某个阈值，或从现有值改变的情况下，该信息被用于识别对应于该频率的列与行之间的触摸事件。在一个实施例中，可将对应于各种物理现象的信号强度信息作为定位触摸事件区域的辅助手段，所述信号强度信息包括离行/列交叉点的触摸距离、触摸物体的尺寸、物体下压于此的压力、正被触摸的行/列交叉点的部分等等。在一个实施例中，确定的值不是自主确定触摸，而是与其他值一起被进一步处理以确定触摸事件。
一旦为至少两个频率(该频率对应行)或为至少两个列确定了正交频率中的每一个正交频率的值，就可以创建二维映射，其中该值被用作该行/列交叉点处的映射的值，或与该值成正比/反比。在一个实施例中，在触摸表面上的多个行/列的交叉点处确定值以产生触摸表面或区域的映射。在一个实施例中，为在触摸表面或触摸表面的区域内的每个行/列确定值以产生用于该触摸表面或区域的映射。在一个实施例中，对于每列上的每个频率计算信号的值。一旦计算出信号值，则可以创建二维映射。在一个实施例中，信号值是在该行/列交叉点处的映射值。在一个实施例中，在被用作该行/列交叉点处的映射值之前，信号值被处理以减小噪声。在一个实施例中，采用与信号值成正比、反比、或以其他方式相关的另一个值(在被处理以减小噪声之后)作为在该行/列交叉点处的映射的值。在一个实施例中，由于触摸表面在不同频率下的物理差异，信号值对于给定的触摸被归一化或被校准。同样，在一个实施例中，由于跨触摸表面或在交叉点之间的物理差异，对于给定的触摸需要对信号值进行归一化或对信号值进行校准。
在一个实施例中，使用从值信息产生的映射来识别触摸事件，并且因此考虑到相邻行/列的交叉点的值的变化。在一个实施例中，可以将二维映射数据阈值化以便更好地识别、确定或隔离触摸事件。在一个实施例中，可以使用二维映射数据来推导关于触摸该表面的物体的形状、定向等的信息。
在一个实施例中，可在触摸传感器的分立式触摸控制器上执行这种分析以及本文所述的任何触摸处理。在另一实施例中，可以在其它计算机系统组件上执行这种分析和触摸处理，诸如但不限于ASIC、MCU、FPGA、CPU、GPU、SoC、DSP或专用电路中的一个或多个。如本文所使用的术语“硬件处理器”意味着上述设备以及执行计算功能的任何其他设备(现在已知的或者之后开发的)中的任何一个。
回到对在行上发送的信号的讨论，正弦波不是能在上述配置中使用的唯一的正交信号。事实上，如之前讨论的，可彼此区分的任何组的信号都将起作用。尽管如此，正弦波可以具有一些优势性质，能够给予使用这项技术的设备更简单的设计和更高成本效益的制造。例如，正弦波具有非常窄的频率分布(通过定义)，并且不需要向下扩展至低频率(接近DC)。此外，正弦波可相对地不受1/f噪声影响，该噪声可能对扩展至较低频率的较宽信号产生影响。
在一个实施例中，可以由滤波器组来检测正弦波。在一个实施例中，正弦波可通过频率分析技术(例如傅立叶变换/快速傅里叶变换)予以检测。频率分析技术可以以相对高效的方式来实现并可倾向于具有良好的动态范围特性，由此允许其检测大量的同时的正弦波并在大量的同时的正弦波之间区分。在宽信号处理方面，可以认为接收器对多个正弦波的解码是频分复用的一种形式。在一个实施例中，也可以使用诸如时分和码分复用的其它调制技术。时分复用具有良好的动态范围特性，但通常需要延长有限的时间以便发送到触摸表面中(或分析从触摸表面接收的信号)。码分复用具有与频分复用相同的同步性质，但可能遇到动态范围问题并且可能无法容易地在多个同时的信号之间作出区分。
经调制的正弦波实施例
在一个实施例中，可使用经调制的正弦波作为前述正弦波实施例的替代、组合方案和/或改进。未调制的正弦波的使用可能造成对触摸表面附近的其它设备的射频干扰，并因此，采用未调制正弦波的设备在通过规章测试(例如，FCC、CE)时会遇到麻烦。另外，未调制正弦波的使用可能容易受到来自环境中其它正弦波的干扰，不管是来自蓄意发射器的正弦波还是来自其它干扰设备(甚至可能是另一相同触摸表面)。在一个实施例中，这种干扰可能造成所描述设备中错误的或劣化的触摸测量。
在一个实施例中，为了避免干扰，可以这样一种方式在通过发射器发送之前先对正弦波进行调制或“搅动”：即一旦信号到达接收器就能对信号进行解调(“解除搅动”)。在一个实施例中，可使用可逆变换(或几乎可逆的变换)来调制信号，以使得该变换可被补偿并且当信号到达接收器时基本恢复。如对于本领域技术人员而言同样是显而易见的，如本文所述在触摸设备中使用调制技术发射或接收的信号与其它事物具有较少的关联性，并因此更像单纯的噪声，而不是看上去类似于环境中出现的其它信号和/或受来自环境中出现的其它信号的干扰。
2013年3月15日提交的题为“Low-Latency Touch Sensitive Device(低时延触敏设备)”的美国专利申请第13/841,436号公开了涉及频率调制、直接序列扩频调制的实施例以及低成本的实现方式实施例。该申请的全部公开内容通过引用结合在此。
正弦波检测
在一个实施例中，可使用具有傅立叶变换检测方案的完整无线电接收器在接收器内检测正弦波。这种检测可能需要将高速RF波形数字化并在其上执行数字信号处理。可对表面的每个列执行单独的数字化和信号处理；这允许信号处理器发现哪些行信号与该列接触。在具有四十行和四十列的触摸表面的以上提到的示例中，将需要该信号链的四十个副本。如今，就硬件、成本和功率而言，数字化和数字信号处理是相对昂贵的操作。利用更节约成本的检测正弦波的方法将会是有益的，尤其是可被容易地复制并且需要非常少的功率的方法。
在一个实施例中，可使用滤波器组检测正弦波。滤波器组包括带通滤波器的阵列，所述带通滤波器的阵列可获取输入信号并将其分解成与每个滤波器相关联的频率分量。离散傅立叶变换(DFT，其中FFT的一种有效实现方式)是具有均匀间隔的带通滤波器的滤波器组的一种形式，该离散傅立叶变换可以被用于频率分析。DFT可以数字方式实现，但数字化步骤可能是昂贵的。可由单独的滤波器来实现滤波器组，诸如无源LC(电感器和电容器)或RC有源滤波器。难以很好地将电感器实现在VLSI工艺上，并且分立的电感器大而且昂贵，因此在滤波器组中使用电感器可能不是成本节约的。
在较低频率(大约10MHz和10MHz以下)，可将多组RC有源滤波器构筑在VLSI上。这样的有源滤波器可表现良好，但也会占据很多管芯空间并且需要比期望更多的功率。
在较高频率下，可以通过表面声波(SAW)滤波器技术来构筑滤波器组。这允许几乎任意的FIR滤波器几何结构。SAW滤波器技术需要比直接CMOS VLSI更昂贵的压电材料。此外，SAW滤波器技术可能不允许足够的同步抽头(simultaneous tap)来将足够多的滤波器集成到单个封装内，由此增加了制造成本。
在一个实施例中，可使用模拟滤波器组检测正弦波，该模拟滤波器组通过开关电容器技术实现在标准CMOS VLSI工艺上，其采用FFT式“蝴蝶”拓扑结构。这种实现方式所需的管芯面积通常是通道数的平方的函数，这意味着使用相同技术的64通道滤波器组只需要1024通道版本的管芯面积的1/256。在一个实施例中，用于低等待时间触摸传感器的完整接收系统被实现在多个VLSI管芯上，该系统包括适当组的滤波器组和适当的放大器、开关、能量检测器等等。在一个实施例中，用于低等待时间触摸传感器的完整接收系统被实现在单个VLSI管芯上，该系统包括适当组的滤波器组和适当的放大器、开关、能量检测器等等。在一个实施例中，用于低等待时间触摸传感器的完整接收系统被实现在单个VLSI管芯上，该系统包含n沟道滤波器组的n个实例并为适当的放大器、开关、能量检测器等留出空间。
正弦波生成
在低等待时间触摸传感器中产生发送信号(例如正弦波)一般比检测要简单，主要是因为每个行需要产生单个信号(或少量信号)而列接收器必须检测许多信号并且在许多信号之间作出区分。在一个实施例中，可用一系列的锁相环(PLL)来生成正弦波，每个锁相环将共同基准频率乘以一不同的倍数。
在一个实施例中，低等待时间触摸传感器设计不要求所发送的正弦波具有非常高的质量，而是相比在无线电电路中经常允许或希望的，它可以容许具有更多相位噪声、频率变化(随时间、温度等等)、谐波畸变和其它不完美性的所发送正弦波。在一个实施例中，可通过数字装置生成大量的频率并随后采用相对粗略的数模转换处理。如前面讨论的，在一个实施例中，所生成的行频率应当彼此间不具有任何简单谐波关系，生成处理中的任何非线性不应当使组中的一个信号“混淆”或模仿另一个信号。
在一个实施例中，可通过使一串窄脉冲由滤波器组滤波而产生频率梳，滤波器组中的每个滤波器输出信号以在行上发送。频率“梳”是通过滤波器组产生的，该滤波器组可以与可由接收器使用的滤波器组相同。作为示例，在一个实施例中，以100kHz的速率重复的10纳秒脉冲被传到滤波器组中，该滤波器组被设计成将开始在5MHz处的频率梳分量隔开，并隔开100kHz。如定义那样的脉冲串将具有从100kHz至几十MHz的频率分量，并因此对发射器中的每个行将会具有信号。因此，如果使脉冲串通过与上述滤波器组相同的滤波器组以检测所接收的列信号中的正弦波，则滤波器组输出将各自包含可被传送到行上的单个正弦波。
快速多触摸后处理
在已使用例如前述过程计算来自每列中的每行的信号强度之后，执行后处理以将作为结果的2-D“热图”(也被称为“矩阵”)转换成可用的触摸事件。在一个实施例中，这样的后处理包括下面四个过程中的至少一些：场平坦化、触摸点检测、插值和帧之间的触摸点匹配。场平坦化过程减去偏移电平以去除行和列之间的串扰，并补偿特定行/列组合之间由于衰减造成的幅度差。触摸点检测过程通过寻找平坦化的信号中的局部最大值来计算粗略触摸点。插值过程通过将与粗略触摸点关联的数据拟合到抛物面来计算精细触摸点。帧匹配过程跨帧地将计算出的触摸点彼此匹配。下面，将依次描述四个过程中的每一个。另外公开了对每个处理步骤的一些实现方式、可能的故障模式和结果的示例。由于对非常低的等待时间的需求，这些处理步骤应当被优化和并行化。
首先描述场平坦化过程。由于触摸表面和传感器电子器件的设计造成的系统性问题可能导致每个列接收的信号强度中的伪像。在一个实施例中，这些伪像可以被如下地补偿。首先，由于行和列之间的串扰，针对每个行/列组合接收到的信号强度将经历偏移电平。为了良好的近似，该偏移电平将是恒定的并可被减去(增加)。
其次，由于在给定行和列交叉点处校准的触摸造成的在一个列上接收的信号的幅度将依赖于该特定的行和列，主要是由于信号沿行和列传播时的衰减。信号走得越远，就会有越多衰减，因此更远离发射器的列和更远离接收器的行在“热图”中比其对应物具有更低的信号强度。如果行和列的RF衰减低，则信号强度差可以是可忽略的和小的，或者不需要补偿。如果衰减高，则补偿可能是必须的或者可提高触摸检测的灵敏性或质量。一般来说，期望在接收器处测得的信号强度与在列中发送的信号量成线性关系。因此，在一个实施例中，补偿将涉及用对该特定行/列组合的校准常数乘以热图中的每个位置。在一个实施例中，可使用测量或估计以确定热图补偿表，该表同样可用来提供通过乘法的补偿。在一个实施例中，使用校准操作来创建热图补偿表。本文中使用的术语“热图”不需要实际的热图，相反，该术语可意指包含与这些位置对应的数据的至少二维阵列。
在一个实施例中，整个场的平坦化过程如下。在没有任何物体触摸该表面的情况下，首先在每个列接收器处测量每个行信号的信号强度。由于不存在触摸，所接收的整个信号基本上是由串扰造成的。测得的值(例如每个列上发现的每个行的信号的量)是需要从热图中的该位置被减去的偏移电平。然后，在减去恒定的偏移的情况下，经校准的触摸物体被布置在行/列交叉点处并且在该列接收器处测得该行的信号的信号强度。在一个实施例中，使用所有的行/列交叉点以用于校准。信号处理器可被配置成将触摸事件归一化至触摸表面上的一个位置的值。可任意地选择可能具有最强信号(由于其经历最少衰减)的位置，即最接近发射器和接收器的行/列交叉点。如果在该位置处的经校准触摸信号强度是SN而对于每行和每列的经校准触摸信号强度为SR，C，则如果将热图中的每个位置乘以(SN/SR，C)，则所有触摸值将被归一化。在一个实施例中，经校正的触摸可以使热图中的任何行/列的归一化信号强度等于1。
场平坦化过程良好地并行化。一旦偏移和归一化参数被测量和存储——这应当只需要做一次(或者可能在维护间隔内再做一次)——每个信号强度一被测量就可施加校正。
在一个实施例中，可能需要定期地或在选择的维护间隔内校准每个行/列交叉点。在一个实施例中，可能对于每个单元需要校准每个行/列交叉点一次。在一个实施例中，可能对于每个设计需要校准每个行/列交叉点一次。在一个实施例中，尤其是在例如行和列的RF衰减为低的情形下，可能根本不需要校准每个行/列交叉点。此外，在沿行和列的信号衰减相当可预见的实施例中，可以仅从几个交叉点测量值来校准整个表面。
如果触摸表面确实经历许多衰减，则场平坦化过程将至少某种程度地对测量值进行归一化，但这可能具有一些副作用。例如，每个测量值上的噪声将随着其归一化恒定的变大而增加。本领域内技术人员将能理解，对于更低的信号强度和更高的衰减，这可能造成触摸点检测和插值过程的错误和不稳定。相应地，在一个实施例中，向经历最大的衰减(例如最远的行/列交叉点)的信号提供足够的信号强度。
现在解决触摸点检测，在该触摸点检测中，识别一个或多个粗略的触摸点。在一个实施例中，在生成热图并且将场平坦化之后，可以识别一个或多个粗略的触摸点。在一个实施例中，识别一个或多个粗略的触摸点可通过寻找归一化(平坦化)信号强度中的局部最大值来完成。在一个实施例中，用于寻找一个或多个触摸点的快速和可并行方法将归一化热图的每个要素与其邻近点作比较并且如果一个要素完全大于所有邻近点则将该要素标记为局部最大值。在一个实施例中，如果一个点完全地大于其所有邻近点并高于一给定阈值，则将其识别为局部最大值。
以各种方式限定这组邻近点都落在本公开的范围内。在一个实施例中，最近的邻近点是通过冯诺依曼邻近法定义的。在一个实施例中，最近的邻近点是通过摩尔邻近法定义的。冯诺依曼邻近法可包括与中心处的要素垂直地和水平地相邻的四个要素(即其东南西北四个位置的要素)。这也被称为“四相连”邻近法。更复杂的(即更大的)冯诺依曼邻近法也是可行的并且可被使用。摩尔邻近法可包括与中心处的要素垂直地、水平地和对角地相邻的八个要素(即该要素东、南、西、北、东北、西北、东南和西南位置的要素)。这也被称为“八相连”邻近法。
所选择的邻近法可依赖于用来计算精细触摸点的插值方案。这在下面更详细地予以解说。
在给定的邻近点比较中，可能存在特殊情形，其中要素的归一化信号强度严格地等于其一个或多个邻近点，或在噪声水平所允许的容限内。在一个实施例中，这样的对中没有一个点被认为是触摸点，即便它们具有高于阈值的值。在一个实施例中，这样的对中的两个点被认为是触摸点。在一个实施例中，其中两个或更多个邻近点具有大致相同值的区域被视为一个触摸事件。在一个实施例中，其中两个或更多个邻近点具有大致相同值的区域被视为与其中可找到单个局部最大值的区域不同类型的触摸事件(例如可能某人用手腕接触触摸表面)。
现在转向插值过程。一旦已确定(即识别)粗略触摸点，则可使用插值来计算精细触摸点。在一个实施例中，分布式触摸的电容性接触被拟合到具有最大值的模型函数。在一个实施例中，模型函数是在二维或更多维上的二次函数。在一个实施例中，该二次函数是抛物面。在一个实施例中，抛物面模型是对于可用于接触触摸表面的多种物体(诸如手指或指示笔)的可接受的近似。此外，如下所述，抛物面模型是相对非计算密集的。在一个实施例中，可使用更复杂或更计算密集的模型以从平坦化的热图中提供对触摸的更准确估计。为了下面的解释，以抛物面作为解说性示例，但本领域内技术人员鉴于本公开将能理解，可采用其它模型来用于插值，包括具有更大或更小复杂度的模型。
对于示例性局部最大值周围的这样的四相连的冯诺依曼邻近法，将出现相关点，其中心要素是局部最大值而下标是相对于它的特定要素的坐标。将五个要素的位置和信号强度拟合到定义抛物面的下列方程：
其中x和y是要素的位置，z是要素的信号强度，而A、C、D、E和F是二次多项式的系数。相对于中心点，所有要素x、y位置是恒定的。z值是在每个要素测得的信号强度，并因此是已知的。在一个实施例中，可使用五个联立方程来求解五个未知的多项式系数。每个方程代表五个点中的一个，其包括中心点及其四个邻近点。
在一个实施例中，可采用冯诺依曼式矩阵来求解多项式系数，如下：
用值代入要素位置，提供：
然后通过对恒定冯诺依曼式矩阵作逆变换来求解多项式系数：
这得到：
在一个实施例中，这些多项式系数是信号强度的线性组合并且是牵涉到负和单偏移的唯一简单乘数，需要计算这些多项式系数；因此，它们可在FPGA或ASIC中高效地计算出。
在抛物面的最大值处，下面两个偏导数均为零：
和
这将发生在点xf、yf处，其中：
和
由此，在一个实施例中，将邻近点数据拟合到抛物面，并因为抛物面具有一个最大值，因此该最大值被用作精细触摸点的位置。在利用四相连近邻的实施例中，值xf和yf是彼此独立的，其中xf仅依赖于中心点左侧和右侧的元素的信号强度，而yf仅依赖于中心点上方和下方的元素的信号强度。
对于局部最大值周围的摩尔邻近法或八相连邻近法，相关点将表现为中心要素是局部最大值而下标是相对于它的特定要素的坐标。九个元素的位置和信号强度可被拟合至抛物面方程。由于本例相比之前的例子更多输入数据可用，因此可采用某种程度上更复杂的抛物面方程：
Ax2+Bxy+Cy2+Dx+Ey+F＝z
该方程具有增加的xy交叉项和新的B系数，它允许模型沿着x、y以外的方向上的延长线进行补偿。同样，相对于中心点，所有要素x、y位置是恒定的并且z值是已知的。九个联立方程(每个要素一个)可用来确定(即超额确定)六个未知的多项式系数。九个联立方程(每个元素一个方程)可被用于确定(即，超定)六个未知的多项式系数。可使用最小二乘法技术来求解六个未知的多项式系数。
可使用冯诺依曼式矩阵来拟合多项式。不同于以上描述的实施例，该矩阵是非方形的，它具有九个行和六个列。
冯诺依曼式矩阵的所有条目是恒定的，并且z值是已知的，由此代入到恒定的值，得到：
由于冯诺依曼式矩阵是非正方形的，因此它无法被逆变换以求解多项式系数。然而，它可使用其摩尔-彭罗斯(Moore-Penrose)伪逆变换并对多项式系数执行最小二乘法拟合来求解。在一个实施例中，伪逆变换被定义为：
pinv(X)＝(XTX)-1XT
给出：
这些多项式系数是信号强度的线性组合。乘法运算稍微更复杂些，但许多被乘数可作为因数取出并在快要计算结束时施加一次。此步骤的目的是寻找抛物面的最大值。因此，所有的比例因数是不相关的，并且只需要将注意力放在使函数最大化的相对值和变量上，在一个实施例中，许多操作能够消除，由此提高实施效率。
如前所述，精细触摸点被假设在抛物面的最大值处，在该最大值处，两个偏导数为零；
和
这将发生在点xf、yf处，其中：
xf＝(BE-2CD)/(4AC-B2)和yf＝(DB-2AE)/(4AC-B2)
和
对于八相连邻近点，值xf、yf不彼此独立。两者均依赖于所有八个邻近点的信号强度。因此，该方法可具有增加的计算负担，以及信号强度的某些组合将产生精细触摸点的奇异值的可能性。在对八个摩尔邻近点使用最小二乘法的实施例中，这种实现方式对于噪声信号强度值更为稳健。换句话说，在一个实施例中，一个信号强度中的小误差将通过计算中所使用的增加的数据量和该数据的自一致性(self-consistency)而被补偿。
此外，八相连的邻近点提供B系数——一段额外的信息——它作为用户接口的一部分可能证明是有用的。xy交叉项的B系数可连同A系数和C系数中固有的纵横比信息一起被用于表征所拟合的抛物面的非对称性，这可允许软件来确定触摸发生所处的角度。
通过示例的方式，可以通过在特定z值处截短该抛物面来获得具有椭圆形截面的触摸点。a和b的值可从多项式的A和C系数获得，并且它们提供关于触摸表面的物体的纵横比的信息。例如，手指或指示笔不一定是圆对称的，并且a与b的比率可提供关于其形状的信息。
知晓角度φ能提供关于椭圆方位的信息，并例如可指示手指或笔指向的方式。可从通过下式给出的2x2矩阵M的本征值和本征向量中计算出φ：
该矩阵将具有两个本征值和两个本征向量。与最大本征值关联的本征向量将沿椭圆的长轴方向指向。另一本征向量将在短轴方向上指向。本征值λ1和λ2可如下地计算出：
其中tr(M)是矩阵M的迹，它等于AC，而det(M)是矩阵M的行列式，它等于AC-B2/4。
一旦获得本征值，可使用凯莱-哈密顿定理来计算本征向量。与λ1相关联的本征向量是矩阵M-λ2I的列中的任一个，而与λ2相关联的本征向量是矩阵M-λ1I的列中的任一个。注意本征值下标的颠倒。椭圆的长轴相对于我们的坐标系的x轴成的角度是本征向量的斜率的反正切。本征向量的斜率只是Δy/Δx。
如前面讨论的那样，插值步骤需要例如使用从平坦化的热图获得的数据来确定精细触摸点，但不一定限于前面讨论的解说性抛物面模型。确定精细触摸点的目的在于允许后处理器提供触摸点的更好粒度，并尤其提供超出传感器的交叉点的粒度。换句话说，经建模和内插的精细触摸点可直接落在行/列交叉点上，或落在这些交叉点之间的任何地方。在模型的准确度及其计算要求之间可能存在权衡；类似地，在模型的准确度及其提供与实际触摸对应的经内插的精细触摸点的能力之间可能存在权衡。因此，在一个实施例中，模型被选择成需要最小的计算负荷同时提供经内插的触摸点和实际触摸之间的充分对应。在一个实施例中，模型被选择成需要经内插的触摸点和实际触摸之间的充分对应，且处理硬件被选择成适应该模型的计算负荷。在一个实施例中，选择不超过预选择的硬件和/或操作触摸界面的其它软件的计算能力的模型。
转向帧匹配过程，为了随着时间流逝正确地跟踪在触摸表面上移动的物体，重要的是，使计算出的触摸点跨帧边界地彼此匹配并由此随着物体在触摸表面上移动而跟踪它。因此，在一个实施例中，一个帧中每个计算出的触摸点应当被标识在后一帧中，或者在后一帧中具有另一布置(例如，被移除)。虽然这代表一般情形中可能无法解决的根本上困难的问题，但在一个实施例中，可使用几何学和物理定律两者来实现解决方案。由于与触摸表面接触的这些物品具有有限尺寸并根据某些物理原理移动，在一个实施例中，因而某些情形因为在似合理的范围外而可被忽略。此外，在一个实施例中，应该将帧速率选择为足够地高以允许具有合理的确定性的物体跟踪(即，帧-帧触摸点跟踪)。因此，例如，在待被跟踪的物体已知在触摸表面上以最大速率移动或者跟踪被设计成跟踪物体仅高至最大速率的情形下，可选择将允许用合理的确定性跟踪的帧速率。例如，如果跨触摸表面的多个行或列的移动的最大速率为例如每秒1000行或列，则1000Hz的帧速率将“看到”不超过1行或列/帧的物体移动。在一个实施例中，(如以上所讨论的)触摸点插值可提供触摸点位置的更精确测量，并因此行内(intra-row)和列内(intra-column)位置是可容易地识别的，如本文中更充分地描述的那样。
手指和指示笔具有最小尺寸并且在大多数情况中不太可能彼此足够地接近以造成不清楚的情形。它们也以人的手臂及其部分(例如，手腕、手肘、手指等)的运动特有的速度行进，这提供了限制。在一个实施例中，触摸表面具有一千赫或更高的数量级的更新率，因此在从一帧至下一帧的更新周期期间，触摸该表面的手指和指示笔无法移动到非常远或以极端角度移动。由于有限的距离和角度，根据本公开，可通过将来自一帧的数据与一个或多个之前的帧相对比来进行跟踪。
在一个实施例中，关于过往帧的数据(例如，热图)可被保持在临时缓冲器中。在一个实施例中，关于过往帧的经处理的数据(例如，场平坦化的热图或拟合的多项式系数)可被保持在临时缓冲器中。在一个实施例中，被保持在临时缓冲器内的关于一过往帧的数据可包括或可由以下部分构成：在先前帧中的每个精细触摸点的经内插的精细触摸点坐标以及关于这些精细触摸点的先前运动的向量(在这些精细触摸点存在的情况下)。临时缓冲器可保存关于一个或多个过往帧的数据，并且当其不再与之后计算有关时可停止保存该数据。
在一个实施例中，帧匹配处理一开始假设当前帧i内的物体触摸点可能是几何上最接近该帧的之前帧(即，i-1)内的触摸点。
在一个实施例中，关于触摸点的运动的数据(例如速度和方向)被确定并并与一个或多个帧相关联地被存储。在一个实施例中，关于触摸点的运动的数据被用于预测该触摸点在下一帧中的可能位置。关于触摸点的运动的数据可包括例如速度或位置变化，并且可来自一个或多个先前帧。在一个实施例中，预测帧内可能的位置是通过考虑两个帧之间的运动来完成的——由此得出每个帧的位移及其方向。在一个实施例中，预测帧内的可能位置是通过考虑三个或更多个帧内的运动来完成的。使用来自三个或更多个帧的精细触摸点位置信息可产生更精确的预测，因为它除了考虑每帧的位移和方向外也能够把加速度和方向变化考虑在内。在一个实施例中，相比被分配给较老的帧数据，更多权重被分配给更新的帧数据。帧匹配过程则可一开始假设物体在当前帧i内的触摸点更可能对应于之前帧(即i-1)内的触摸点，该触摸点关联于最接近当前帧的触摸点的预测的可能位置。
在一个实施例中，关于触摸点尺寸(大小)的数据(例如抛物面的A和C系数)被确定并并与一个或多个帧相关联地被存储。帧匹配过程可一开始假设当前帧i内的给定物体的尺寸对应于之前帧(即i-1)内的该物体的尺寸。
在一个实施例中，关于触摸点随时间的尺寸(大小)变化的数据被确定并与一个或多个帧相关联地被存储。在一个实施例中，关于帧内触摸点尺寸变化的数据(例如，从最后一帧算起，或在多个帧上)被用来预测该触摸点在下一帧内的可能尺寸。帧匹配过程则可一开始假设在当前帧i内的物体更可能对应于之前帧(即i-1)内的物体，该物体关联于最接近当前帧内的触摸点的尺寸的预测的最可能的尺寸。
在一个实施例中，关于触摸点随时间的旋转取向变化的数据(例如抛物面的B系数)联系一个或多个帧被确定并存储。在一个实施例中，关于帧内触摸点的旋转取向的数据(例如，从最后一帧算起，或在多个帧上)被用于预测该触摸点在下一帧内的旋转取向。帧匹配过程则可一开始假设在当前帧i内的物体更可能对应于之前帧(即i-1)内的物体，该物体关联于最接近当前帧内的触摸点的旋转取向的所预测的最可能的旋转取向。在一个实施例中，触摸点的旋转取向可允许旋转的单触摸点控制(例如单指控制)，因此例如一个手指在屏幕上的旋转可提供充分的信息以例如旋转视图——这个功能一般需要与触摸表面接触的两个旋转点。使用描述随时间的旋转取向的数据，可计算出旋转速度。类似地，关于旋转取向或旋转速度的数据可被用于计算旋转加速度。因此，旋转速度和旋转加速度两者均利用旋转取向。可针对一触摸点计算旋转取向、旋转速度和/或旋转加速度并且该旋转取向、旋转速度和/或旋转加速度可被帧匹配过程输出或使用。
在一个实施例中，帧匹配的启发包括距离的变化和触摸点的速度向量的变化。在一个实施例中，在非限制的情况下，帧匹配的启发包括下列中的一个或多个：
帧i+1内的物体的触摸点更可能是几何上最接近它的帧i内的触摸点；
帧i+1内的物体的触摸点更可能是帧i内最接近该点的触摸点，在那里它将被预测为给定的物体的速度历史；以及
物体在帧i+1内的触摸点更可能与其在帧i内的触摸点具有相同尺寸。
可使用历史数据的其它组合而不脱离本公开的范围。在一个实施例中，先前位置和速度历史两者均可被用于启发式(heuristic)帧匹配过程中。在一个实施例中，先前位置、速度历史和尺寸历史可被用于启发式帧匹配过程中。在一个实施例中，先前位置和另一历史信息可被用于启发式帧匹配过程中。在一个实施例中，在多个帧上的历史信息被用于启发式帧匹配过程中。鉴于前述公开内容，其它组合对于本领域技术人员将是显而易见的。
在2014年3月17日提交的题为“Fast Multi-Touch Noise Reduction(快速多触摸噪声降低)”的美国专利申请第14/216,791号中，提供了方法和系统以克服其中噪声造成与快速多触摸(FMT)传感器干涉或幽灵接触(phantom touch)的某些状况。本申请的全部公开内容通过引用结合在此。在一个实施例中，可在所有行和列上发送独特的信号。在一个实施例中，可在多个行的一个或多个子集中的每个行上发送独特的信号。在一个实施例中，可在多个列的一个或多个子集中的每个列上发送独特的信号。在一个实施例中，所有行和列被配置成检测独特的信号。在一个实施例中，多个行的一个或多个子集中的每个行被配置成检测独特的信号。在一个实施例中，多个列的一个或多个子集中的每个列被配置成检测独特的信号。
如2015年1月22日提交的题为“Dynamic Assignment of Possible Channels ina Touch Sensor(触摸传感器中的可能通道的动态分配)”的美国专利申请第14/603,104号中公开的那样，系统和方法使得触摸传感器能够减小或消除这样的错误或带噪声的读数并维持高信噪比，即使它接近于来自其它计算机系统组件的干扰电磁噪声或不想要的外部信号。该方法也可用来动态地重新配置信号调制方案，由此在给定时间点调整触摸传感器的选择部分或整个表面积，从而降低传感器的总功耗，同时仍然就并行化、延迟、采样率、动态范围、感测粒度等方面优化传感器的总体性能。该申请的全部公开内容通过引用结合在此。
键盘实施例
虚拟现实或增强现实(后文中记为“VR/AR”，虽然两个术语可能是互相排斥的)中的物理键盘设定的使用因以下事实而复杂化：当在VR/AR设定内时，用户可能不具有键盘的任何视图或不具有键盘的完整的视图。本文中所公开的键盘和键盘开关使一个或多个键、触摸表面、或键盘成为敏感的、动态的、对悬停、接触和压力敏感的表面，该表面可用于传统键盘或键控应用这两者以及由可从键或表面获得的附加信息实现的多种新的应用。在一个实施例中，物理键盘被描述为不仅可以感测传统键盘输入还可能能够区分手指-键接触和手指悬停，因此使得能够在键盘正被使用时确定用户的手指、手、腕部和潜在前臂的相应位置。在一个实施例中，使用键盘数据以重构用户的手指、手、前臂和潜在VR/AR设定中的键盘(包括对键盘的改变，诸如添加键顶部或侧部标签或者例如工具提示)的位置和取向。这样的重构允许用户“看见”他的或她的手指、手、腕部和可能前臂相对于键盘VR/AR设定的，这使得可在VR/AR设定中使用键盘。
首先转至图1A至图1D，示出键盘开关110的说明性实施例。在一个实施例中，键座100支撑键盘开关110的其他元件。在一个实施例中，键帽101被提供为可相对于键座100移动。在一个实施例中，键帽101相对于键座100仅部分可移动。在一个实施例中，偏置装置(未图示)在静止时将键帽101推动到其伸出位置，并且对于本领域技术人员而言是明显的，键帽101在大致垂直于该键帽101的上表面的方向上移动。
在一个实施例中，两个天线102、103与键盘开关110相关联，这两个天线中的一个天线是接收天线103，而另一个天线是发射天线102。对发射或接收的指定是任意的，除了在一个实施例中，每个中的至少一个天线与键盘开关相关联。两个天线102、103彼此间隔开，从而使得发射天线102没有任何部分与接收天线103的任何部分接触。在一个实施例中，键盘开关110与一个或多个其他的键共享该键盘开关110的天线102、103。在一个实施例中，键盘开关110包括一个独特的天线，并与一个或多个其他键共享该键盘开关110的其他天线。如将在以下更完全地讨论的，键盘开关110可以是唯一的键盘开关，或更常见地可以与多个其他键盘开关一同在键盘中使用。
在一个实施例中，一个天线是发射天线102，并且另一个天线是接收天线103。在一个实施例中，键盘开关110可以具有一个或多个附加的发射天线(未图示)。在一个实施例中，键盘开关110可以具有一个或多个附加的接收天线(未图示)。与任何键盘开关110相关联的所述天线中的每一个天线彼此间隔开，从而使得任何天线没有任何部分接触任何其他天线的任何部分。
虽然在示例性实施例中示出键座100的前侧和后侧，但天线可以被布置成最适合预期应用。例如，在各种实施例中，
1)将发射天线布置在键的一侧上，并将接收天线布置在另一侧上；
2)将发射天线布置在键座内，并将接收天线环绕键座；
3)将发射天线布置在键座的每一侧上，并将接收天线布置在键座的中心内；
4)将接收天线布置在键座的每一侧上，并将发射天线布置在键座的中心内；或
5)将发射天线布置在键座的每一侧上，并将接收天线布置在键座的前面和后面。
许多其他配置将对本领域技术人员而言是明显的，并在不背离要求保护的发明的精神和范围的情况下可作出许多其他配置。
在一个实施例中，天线102、103是固定的，并且在键帽101被移动或按压时不相对于彼此移动。在一个实施例中，天线102、103中的至少一个天线可以相对于另一个天线移动。在一个实施例中，天线102、103中的至少一个天线在键帽101被移动或按压时相对于另一个天线移动。天线的移动(或缺乏移动)可导致与键盘静止的情况不同的对键下压的响应。如将由本领域技术人员理解的，按键的压力或水平需要大量的粒度—即，对键帽101被压下的程度的非常灵敏的测量—这希望，作为该键帽101下压的结果，天线102、103中的至少一个天线移动。在物体对键帽101进行下压具有有限的电容影响时(例如，使用长的指甲来键入，戴着手套键入、利用铅笔或其他工具键入、在水下键入等)，也希望一个或多个天线响应于键帽101的移动而移动。
在一个实施例中，发射天线102与信号发射器相关联(未图示)。在一个实施例中，当将信号发射至发射天线102上并且接收器(未图示)接收存在于接收天线103上的信号时，天线102、103形成触摸传感器。在一个实施例中，使用信号处理器(未图示)来确定被发射至发射天线102上的信号的量或量的变化，该信号存在于接收天线103上的信号中。在一个实施例中，发射天线102和接收天线103被设计成使得：当它们没有经受触摸事件时，一个量的信号被耦合在它们之间，相反，当它们经受触摸事件时，另一个量的信号被耦合在它们之间。另外，在一个实施例中，发射天线102和接收天线103被设计成使得耦合在它们之间的信号的量随各种接触事件(从最远的悬停，到通过键接触，一直到键完全被按压)变化。在一个实施例中，从最远的悬停到键完全被按压的信号的变化包括一系列可检测的触摸状态，这可以包括除了未接触状态之外的至少三种触摸状态(例如，悬停、接触和按压)。在一个实施例中，表示悬停触摸状态的信号的变化包括多个离散的电平。在一个实施例中，表示接触触摸状态的信号的变化包括多个离散的电平。在一个实施例中，从最远的悬停到键完全被按压的信号的变化包括一系列可检测的触摸状态，这包括除了未接触状态之外的至少255种或更多的触摸状态。如以上所讨论的，因为触摸传感器最终由于耦合的变化而检测到触摸，所以除了对于特定实施例可能更明显的原因之外，无论触摸相关的耦合是导致发射天线103上存在的信号的量增加还是导致接收天线103上存在的信号的量减少并不特别重要。
为了识别接触，接收器接收存在于接收天线103上的信号，并且信号处理器分析所接收的信号，以确定耦合的经发射的信号的量。在一个实施例中，该识别可通过频率分析技术(例如傅立叶变换)或通过使用滤波器组来支持。在一个实施例中，接收器接收通过FFT被处理的信号的帧，并且因此至少为经发射的频率确定测量。在一个实施例中，对于每一个帧，FFT至少为发射频率提供同相测量和正交测量。
在一个实施例中，信号发射器导电地耦合至用于键盘开关110的发射天线102。信号发射器发出源信号，该源信号使得与该信号发射器相关联的发射天线102发射源信号。源信号可以是例如其他信号的组合，因此，例如，虽然源信号可能是简单正弦波(例如，5.01Mhz)，但源信号是两个或多个正弦波的组合也在本公开的范围内。在一个实施例中，可以有一个以上的信号发射器导电地耦合至用于键盘开关110的发射天线102。在一个以上的信号发射器被导电地耦合至发射天线102的情况下，一个以上的信号发射器的输出提供由发射天线102所发射的信号。在一个实施例中，多个源信号的发射可以增加敏感度。在一个实施例中，若将高频信号和低频信号相组合，则多个源信号的发射可以进一步地增加敏感度。在一个实施例中，源信号是频率正交的。如本文中在以上所使用的，频率正交指的是源信号可彼此隔开并可彼此区分。在一个实施例中，接收器耦合至接收天线103，并且适配为捕捉耦合的接收天线103上存在的信号的帧。在另一个接收天线(未图示)与键盘开关110相关联的情况下，附加的接收天线可以共享同一接收器(并且因此，如对于本领域技术人员而言是明显的，可以被认为是同一天线的不同的部分)，或可任选地，可以导电地耦合至单独的接收器。
在一个实施例中，在发射天线102上发射多个正交信号。为了在这样的实施例中识别接触，接收器接收存在于接收天线103上的信号，并且信号处理器分析所接收的信号，以确定对应于被耦合在所接收的信号之间的正交的所发射的信号中的每一个信号的量。可通过频率分析技术(例如傅立叶变换)或通过使用滤波器组来支持上述识别。在一个实施例中，接收器接收通过FFT被处理的信号的帧，并且因此针对每个频率确定测量。在一个实施例中，对于每一个帧，FFT为每个发射频率提供同相测量和正交测量。
在一个实施例中，接收器/信号处理器可以从所接收的信号中确定在该接收天线103上接收的信号中找到的频率列表中的每一个频率的值(并且在一个实施例中是同相值和正交值)。在一个实施例中，在对应于频率的值大于或小于某个阈值或从现有值改变(或从大于阈值一定量的现有值改变)的情况下，该信息被用于识别在键盘开关110处的触摸事件。在一个实施例中，可以使用对应于各种物理现象的值信息来从一系列可检测的触摸状态中识别触摸状态，该值信息包括离键盘开关110的触摸距离、触摸物体的尺寸、物体下压到键盘开关上的压力、被触摸的键帽101的部分等等。在一个实施例中，可以使用值信息的变化来从一系列可检测的触摸状态中识别触摸状态。在一个实施例中，经确定的值不是自主确定触摸状态，而是与其他值一起被进一步处理以确定触摸状态。在一个实施例中，进一步对靠近经确定的值连同来自邻近于键盘开关110的其他键盘开关的值进行处理，以确定键盘开关110的触摸状态。
在一个实施例中，与键盘开关110相关联的天线102、103形状相似。在一个实施例中，与键盘开关110相关联的天线102、103形状不同。不同形状的天线102、103基于天线102、103的形状来生成不同形状的天线图案。如鉴于本公开将对于本领域技术人员而言是明显的，可以将与键盘开关110相关联的天线102、103定向为不同的空间取向以生成不同的天线图案。在一个实施例中，每个相应的发射天线和接收天线102、103与发射层或接收层相关联，由此导致键盘开关110的多层构造。
在一个实施例中，信号处理器适配为从每个帧确定测量，该测量对应于接收天线103上存在的源信号的量。在一个实施例中，信号处理器进一步适配为至少部分地基于对应的测量从一系列触摸状态中确定键盘开关触摸状态。
键盘开关110可以是唯一的键盘开关，或更常见地可以与多个其他键盘开关(未图示)一同在键盘中使用。在一个实施例中，键盘由键盘开关110的集合组成。在一个实施例中，键盘开关110被组织成逻辑行和逻辑列，从而使得多个键盘开关中的每一个键盘开关与一行和一列相关联并且由一行和一列唯一地识别。在一个实施例中，键盘开关110可被组织成逻辑行和逻辑列，从而使得多个键盘开关中的每一个键盘开关与至少一行和一列相关联并且由至少一行和一列唯一地识别。
在一个实施例中，键盘中没有两个键盘开关可以共享共用的行/列组合，因此键盘可以检测对于相应的键盘开关110而言唯一的测量。在一个实施例中，每个键盘开关110通过在天线102上发射信号以及接收另一个天线103上的经耦合的信号来作为接近度传感器进行操作。如以上所讨论的，对于每个键盘开关110，可从在经耦合的信号中发现的经发射的信号的量推导与键盘开关110处的触摸相关联的值或者该量的变化。值可以与一系列触摸状态中的一个触摸状态相关联。在一个实施例中，该一系列的触摸状态包括无悬停、悬停、接触、和被下压或被按压。在一个实施例中，“无悬停”意味着在键盘开关110附近没有检测到用户的手指、手、或前臂。如这里所使用的，通常，“悬停”指的是对应于电容性物体(例如，用户的手指、手、前臂、或触控笔)的可检测位置在键盘开关的检测的极限内但不包括与键盘开关或键盘的实际接触的触摸状态。如这里所使用的，通常，“触摸”指的是对应于一直到被下压为止的键盘开关或键盘与电容性物体存在可检测接触的触摸状态。被下压或按压对应于例如在对应的字符要被置于屏幕上时将键闭合的传统观念。然而，如这里所使用的，“被按压”或“被下压”指的是对应于检测到完全被按压的键的触摸状态，并且还可包括对应于在完全被按压之后在键上存在压力的各种附加的状态。在一个实施例中，触摸状态可以使用例如从0到255的原始范围(其中零对应于无触摸状态)、对应于各种悬停状态的例如从1到127的第一范围、对应于各种触摸状态的例如128-197的第二范围、以及对应于被下压的状态的范围的例如198-255的第三范围。在一个实施例中，该一系列的触摸状态包括至少四种状态。在一个实施例中，该一系列触摸状态包括至少6种状态，其中至少两种子状态对应于悬停以及接触。在一个实施例中，该一系列触摸状态包括至少256种状态，其中至少三种子状态对应于悬停、接触以及被下压。在一个实施例中，该一系列的触摸状态包括至少1024种状态。如鉴于本公开对于本领域技术人员而言是明显的，触摸状态的数目和这些状态与任何子状态之间的关联性是设计选择，并且可以被选择为提供针对键盘开关的所希望的粒度。此外，子状态不一定具有与其他的子状态相等的粒度。例如，在一个实施例中，可能希望在接触状态上或在悬停状态与接触状态之间的划分上具有更多粒度。类似地，在一个实施例中，可能更希望在悬停状态或在被下压状态上具有附加的粒度。值得注意的是，本文公开的新颖的触敏键(上下两者)可以在有或没有检测键击的传统机械接触的情况下使用。因此，在一个实施例中，如本文所公开的电容式键开关可用于报告触摸和变化的按压水平，而传统的机械接触(或其他指示器)可用于肯定地识别键击。
在一个实施例中，使用这些状态，键盘上的键盘开关110可以提供涉及相应的键盘开关110上(或者可能在相应的键盘开关110之间)的用户的手指的粒状的、多层次的信息。例如，在一个实施例中，当键帽101被按压时，键盘可以检测到与手指接触的键的表面积的变化。进一步地，在一个实施例中，当键被按压时，键帽101更接近导体，并因此表面积以及电容性物体与导体的接近度这两者的变化可能导致电容变化，该电容变化提供涉及键盘开关上的用户的手指的信息。
图2A和图2B示出了示例性典型键盘的实施例的天线层。图2A示出了多个发射天线220的导电地耦合的列(水平地被示出)的示例性图示。(列和行的指定是任意的。)将发射迹线225沿发射层210进行布线以将发射天线220组连接到一起，并在束235处将发射迹线225捆绑在一起。图2B示出了被组织成导电地耦合的行(垂直地被示出)的多个接收天线200的示例性图示。将接收迹线205沿接收层230进行布线直到束215处。天线层250、260是分开的并且堆叠在键盘(未图示)中，该键盘具有多个键座(未图示)，键座中的每一个具有键帽(未图示)。在一个实施例中，天线220、200形成每个键盘开关(未图示)的发射天线102和接收天线103(参见图1B)。
在一个实施例中，信号发射器(未示出)与每个发射迹线225导电地耦合，并经由发射器在发射天线220行中的每一行上分别发射多个信号。在一个实施例中，多个信号中的每一个信号正交于其他多个信号中的每一个信号。在一个实施例中，在发射天线102中的每一个发射天线上同时地发射多个正交信号。
接收器(未图示)与接收迹线205中的每一条迹线导电地耦合。接收器和/或与该接收器相关联的信号处理器(未图示)被适配为接收在接收迹线205上存在(即，来自于接收天线200)的信号的帧，并且从帧中确定针对在发射天线102中的每一个发射天线上被发射的多个信号中的每一个信号的值。在一个实施例中，每个值与一系列触摸状态中的一个触摸状态相关联，并且所有的值共同地产生键盘状态。在一个实施例中，键盘中的每个键盘开关与一系列触摸状态中的一个触摸状态相关联，并且至少部分地基于与该键盘开关相关联的值来计算该关联性。在一个实施例中，至少部分地基于与该键盘开关相关联的值和至少与一个相邻键盘开关相关联的值来计算该关联性。
可通过频率分析技术(例如傅立叶变换)或通过使用滤波器组来支持对在发射天线102上被发射的多个信号中的每一个信号的值的确定。在一个实施例中，接收器接收通过FFT被处理的信号的帧，并且因此针对每个频率确定测量。在一个实施例中，对于每一个帧，FFT为每个发射频率提供同相测量和正交测量。
虽然经由每个发射天线来发送经发射器被发送的多个信号中的至少一个信号，但在一个实施例中，至少一个发射天线102同时地发射多个信号中的第二个信号。在一个实施例中，同时地发射多个正交信号，以使得在发射天线102上同时地发射所述正交信号中的至少两个正交信号。在一个实施例中，在单个发射天线上对多个信号同时进行发射可以增加敏感度。在一个实施例中，在单个发射天线102上发射频率远(frequency-distant)的正交信号。
转至图3A至图6，示出了键盘开关的数个附加的示例性实施例。如图1A至图1D中所示的键盘开关110，可以单独地使用图3A至图6中所示的键盘开关或者使用图3A至图6中所示的键盘开关作为小键盘或键盘的一部分。虽然可以在许多种键盘中使用图3A至图6中所公开的键盘开关，但它们在非传统键盘(例如，诸如“巧克力”(或浮岛式)键盘和薄膜键盘之类的较薄的键盘)的设计中是尤其有用的。图3A至图5中所公开的键盘开关被示出为具有单个发射天线和单个接收天线。在不背离本公开的精神以及范围的情况下，这些键盘开关可具有一个或多个附加的发射天线和/或一个或多个附加的接收天线。例如，如以下更详细地描述的那样，图6示出具有两个发射天线的实施例。
如在图1A至图1D中所示出的之前讨论的键盘开关110那样，在一个实施例中，图3A至图5中所公开的键盘开关各自在其发射天线上发射单个频率。还如之前讨论的在图1A至图1D中所示的键盘开关，在一个实施例中，图3A至图5中公开的键盘开关每一个都在其发射天线上发射多个正交信号。具有两个发射天线的图6中所示的键盘开关可以类似地使用单个发射频率、或者多个同时正交发射频率。
图3A示出键盘开关的天线部件310的说明性取向，该键盘开关的天线部件310包括：发射天线300和导电地耦合至该发射天线300的发射迹线301，以及接收天线302和导电地耦合至该接收天线302的接收迹线303。如将由本领域技术人员所理解的，这里的发射和接收的指定是任意的，并且在可以使用接收天线302来进行发射的同时可以使用发射天线300来进行接收；这些任意的指定仅是为了说明性目的的便利。在一个实施例中，信号发射器(未图示)发出一个或多个信号以用于经由发射迹线301在发射天线300上进行发射，并且接收器(未图示)经由接收迹线303接收在接收天线302上存在的信号的帧。信号处理器(未图示)分析该帧以确定对应于在发射天线300上被发射的一个或多个信号的量的值。可将该值(或该值的变化)与一系列触摸状态中的一个触摸状态相关联。图3B示出使用了图3A中的天线部件310的说明性取向的键盘开关311的示意性视图。键盘311包括覆盖了天线部件310的键帽305。在一个实施例中，用户可以与键帽305进行交互以作为键盘的键。在一个实施例中，键帽305具有偏置装置(未图示)，诸如弹簧，该弹簧将该键帽305朝远离天线部件310的就位位置偏置。在一个实施例中，键帽305由可变形的记忆材料制成，该可变形的记忆材料自身将回到远离天线部件310的就位形状。
如以上详细地讨论的，在一个实施例中，由使用天线300、302形成的触摸检测器来检测电容性物体(包括例如用户的手或手指或者触控笔)，并且由此可以将一系列触摸状态中的一个触摸状态与键盘开关311相关联。同样如以上所讨论的，在一个实施例中，键盘开关311适用于键盘中。在一个实施例中，行和列与键盘开关的矩阵中的每一个键盘开关相关联。在一个实施例中，可以至少部分地基于触摸检测器(该触摸检测器使用天线300、302形成)所检测到的信息或该信息的变化来确定键的触摸状态。在一个实施例中，可以至少部分地基于由另一个接近的键盘开关的天线检测到的信息(或检测到的信息的变化)来确定键的触摸状态。
图4A示出键盘开关的天线部件410的说明性取向，该键盘开关的天线部件410具有：发射天线300和导电地耦合至该发射天线300的发射迹线301，以及接收天线302和导电地耦合至该接收天线302的接收迹线303。还示出导电衬底404。如以上那样，发射和接收的指定是任意的。在一个实施例中，信号发射器(未图示)发出一个或多个信号以用于经由发射迹线301在发射天线300上进行发射，并且接收器(未图示)经由接收迹线303接收在接收天线302上存在的信号的帧。信号处理器(未图示)分析该帧以确定对应于在发射天线300上被发射的一个或多个信号的量的值。可将该值(或该值的变化)与一系列触摸状态中的一个触摸状态相关联。
现在转至图4B，图4B是使用了图4A中的天线部件410的说明性取向的键盘开关411的示意性视图。键盘411包括覆盖了天线部件410的键帽405。在一个实施例中，键帽405具有偏置装置(未图示)，该偏置装置在该键帽405没被接触时将该键帽405朝就位位置偏置。在一个实施例中，偏置装置可以是弹簧。在一个实施例中，偏置装置可以包括柔性可变形键帽。导电衬底404定位于键帽405的底面。在一个实施例中，导电衬底404适配为与键帽405的上表面的至少一部分一致地移动。在一个实施例中，导电衬底404可以将与其相接触的电容性物体的电容性效应放大。在一个实施例中，导电衬底404使处于悬停和接触的触摸状态之间的过渡中的来自触摸检测器的响应更加可测量。在一个实施例中，可以使用导电衬底404来增强在电容性物体与键帽405相接触的触摸状态的可测量的范围，因此改进触摸传感器中的可测量的状态的粒度。在一个实施例中，导电衬底404是固体导电材料。在一个实施例中，导电衬底404是导电网状材料。在一个实施例中，导电衬底404的导电性质与键帽405的导电性质不同。在一个实施例中，使用上胶工艺将导电衬底404粘附到键帽405上。在一个实施例中，将导电衬底404粘附到键帽405上，从而使得导电衬底404的导电部分突出穿过键帽405并且可以被电容性物体直接接触。在一个实施例中，导电衬底404和键帽405由同一种材料形成，导电衬底404具有比键帽405的顶部要大的厚度。在一个实施例中，将导电衬底404与键帽405模塑为单个物体。可以以与键盘开关311相同的方式来使用键盘开关411，然而，电容衬底404的添加可以增强对接触的检测，并且可提供接触触摸状态之间的更好的可测量的粒度。
转至图5，在示意性剖视图中示出键盘开关511的另一个实施例。键盘开关511包括许多与键盘411(图4B)通用的部件，包括发射天线300、发射迹线301、接收天线302、接收迹线303以及键帽405和导电衬底404。键盘开关511还与键盘开关411相似地使用信号发射器(未图示)和接收器(未图示)进行操作。键盘开关511进一步包括导电衬底404与发射天线300之间的导电耦合506。在一个实施例中，导电耦合可形成偏置装置，诸如将键帽405推至就位位置的弹簧(例如，螺旋弹簧或板簧)。导电衬底404与发射天线300之间的导电耦合506使导电衬底404作为用于发射信号的发射的进一步的天线来操作。在一个实施例中，发射天线300、导电衬底404和导电耦合506共同地形成单个可移动天线，可以使用该单个可移动天线来对发射信号进行发射(或者接收信号，如果该单个可移动天线附连至接收器的话)。
图6示出又一个键盘开关611的实施例的示意性剖视图，该键盘开关611具有两个发射天线(或者两个接收天线)。键盘开关611包括许多与键盘411(图4B)通用的部件，包括发射天线300、发射迹线301、接收天线302、接收迹线303以及键帽405和导电衬底404。对于其通用部件的程度，键盘开关511与键盘开关411相似地使用信号发射器(未图示)和接收器(未图示)进行操作。键盘开关611进一步包括导电导线606，该导电导线606导电地耦合至导电衬底404。进一步的信号发射器(未图示)导电地耦合至导电导线606。进一步的信号发射器发出一个或多个进一步的信号以用于导电衬底404上的发射。在一个实施例中，一个或多个进一步的信号与在发射天线300上被发射的一个或多个信号正交。信号处理器(未图示)还分析由接收器接收到的帧，以确定对应于在导电衬底404上被发射的一个或多个进一步的信号的量的进一步的值。在一个实施例中，可以将该进一步的值(或该进一步的值的变化)与一系列触摸状态中的一个触摸状态相关联。在一个实施例中，使用该值(该值对应于一个或多个信号)和该进一步的值(所述进一步的值对应于一个或多个进一步的信号)这两者作为识别与键盘开关相关联的触摸状态的基础。在其他的实施例中，可以附加地使用来自相邻的键或接近的键的值(和进一步的值)作为识别与键盘开关相关联的触摸状态的基础的至少一部分。在不背离本公开的精神以及范围的情况下，替代具有两个发射天线和一个接收天线，键盘开关611可以具有两个接收天线和一个发射天线。
在一个实施例中，可使用键盘中的各种键盘开关所提供的触摸状态的范围来对电容性物体及其相对于键盘的位置和取向进行建模。在一个实施例中，可使用这样的建模来提供视觉反馈，包括在VR/AR设定中的电容性物体的视觉3D模型。例如，VR/AR设置中的2-D和3-D“全息”视觉反馈的叠加可以基于用户的手指、手、手腕和前臂在由触摸检测键盘开关组成的物理键盘上或附近的真实世界位置。进一步地，因为键盘可以进行对电容性物体相对于键盘的位置的精细测量，可使用触摸测量来重新创建手指、手以及可能其他部位(包括腕部和/或前臂，因为手和前臂可以相对于手指移动的方式的数目是有限的-例如，有限的范围和自由度)的位置和取向。
现在转向图7和图8，该图7和图8示出了计算机生成的被显示的触摸状态信息的说明性示例以及对根据本公开的触敏键盘的描绘。图7和图8中的图700、800示出手701、801相对于示例性物理键盘702、802的位置。在键盘图示上方的高度和颜色703、803用于触摸状态说明的目的。所示的高度和颜色仅仅是说明性的。如图7和图8中所示，可以使用本文中所公开的物理键盘702、802的实施例来提供关于每个键盘开关的触摸状态的信息，如所示的，该信息可以提供对悬停、键接触和键按压的视觉显示704、804。特别地，图7示出根据本发明的示例性键盘702，其中，用户的手701被定位在该示例性键盘的附近，并且图7示出具有计算机所生成的热图703被叠加在该键盘705上的示图的键盘705的图示。计算机生成的热图703对应于各种键盘开关的触摸状态，并且因此旨在对应于用户的手与该示例性键盘702的定位和接近度。图8示出示例性键盘802的另一个视图，其中，用户的手801从图7的状态被重新定位，并且图8示出具有计算机所生成的热图803被叠加在该键盘805上的键盘805的图示。
在一个实施例中，悬停、接触和压力信息的重构可以配置为显示3D模型，这允许用户在VR/AR视图中相对于键盘地看见他或她的手指、并潜在地看见手、腕部和/或前臂。在一个实施例中，对应于悬停的触摸状态的范围从键盘开关的表面延伸出至少5mm。在一个实施例中，对应于悬停的触摸状态的范围从键盘开关的表面延伸出至少10mm。在一个实施例中，对应于悬停的触摸状态的范围从键盘开关的表面延伸出基本上大于10mm。
在一个实施例中，可以完成运行中调节以在维持接触敏感键盘的同时准许延伸的悬停。在一个实施例中，与一系列接触状态中所使用的信号不同的正交信号被用在非悬停状态以及悬停状态中，或者被用在相对于近悬停状态的远悬停状态中。在一个实施例中，与一系列接触状态中所使用的天线不同的物理天线被用于在非悬停状态以及悬停状态中发射和接收信号，或者被用在在相对于近悬停状态的远悬停状态中。
2016年3月23日提交的题为“Transmitting and Receiving System and Methodfor Bidirectional Orthogonal Signaling Sensors(用于双向正交信令传感器的发送和接收系统以及方法)”的美国专利申请第15/162,240号(该申请的全部公开内容通过引用被并入本文)提供了快速多点触摸传感器中的用户、手和物体辨别。在一个实施例中，双向正交信令与触敏键盘相结合地使用以提供如该申请中所解释的益处。在使用双向正交信令的情况下，可将所述天线中的每一个天线用作接收天线和发射天线这两者。
2014年8月22日提交的题为“Orthogonal Signaling Touch User，Hand andObject Discrimination Systems and Methods(正交信令触摸用户、手和物体辨别系统以及方法)”的美国专利申请第14/466,624号全部公开内容通过引用被并入本文。在一个实施例中，本文中所公开的键盘或键盘开关可以在多个用户的手和手指之间、同一用户的不同的手之间、相同用户的不同的手指之间以及手与物体之间进行区分。
图9是示出部分表示有特征的键盘的用户的VR/AR视图和部分表示有特征的键盘的真实世界视图的混合的视图。在VR/AR设定中，在一个实施例中，键盘上的每个交互性键可成为独立的、交互性的触摸显示。允许键盘将更多的灵活性适配到经定义的软件或相关任务，并且在使用键盘时向用户提供动态视觉反馈。在一个实施例中，可以使用来自所公开的触敏键盘的触摸状态信息来采用3D建模，以在VR/AR设定中向用户提供他的或她的手指、手、腕部、前臂和甚至键盘的视图。在一个实施例中，可与对用户动作的预测相结合地使用触摸状态信息，并且可使用这样的预测来减轻或消除时延。
图10是示出部分表示特征稀少的键盘的用户的VR/AR视角和部分表示特征稀少的键盘的真实世界视角的混合视图。如本文中所使用的，术语“特征稀少的键盘”包括没有通常具有固定的键间隔的特定的物理键的表面。例如，iPad键盘或移动电话键盘可以被认为是特征稀少的键盘。然而，术语“特征稀少的键盘”还包括含有一些物理特征的键盘，并且可以包括对当前键的触觉反馈或键盘的其他特征。这样的触觉反馈可以包括但不限于移动机械部分、机器人图形、静电反馈和/或电击反馈。在VR/AR设定中，在一个实施例中，特征稀少的键盘和/或触觉键盘可成为独立的、交互性的触摸显示。在VR/AR设定中，通过本领域已知的技术，特征稀少的触觉键盘可在触觉上似乎具有键，并且可以当在该设定中使用键盘时向用户提供动态物理反馈。在VR/AR设定中，通过本领域已知的技术，特征稀少的键盘和/或触觉键盘可在视觉上呈现为具有键和/或标签，并且可以当在该设定中使用键盘时向用户提供动态物理反馈。因此，即使用户在真实世界设定中看见有限的特征或者完全没有特征，也可以在VR/AR设定中添加键轮廓和标签。
图11和图12A至图12C描绘了可使用本文中所公开的方法和装置的数个实施例。图11展示了真实世界设定中的具有物理特征1101的键盘1100的示例性实施例。在一个实施例中，并且如以上所描述的，键盘可以是用于VR/AR设定中的特征稀少的键盘和/或触觉键盘。图12A示出正在使用的有特征的键盘1200的触摸传感器范围1201的示例。虽然描绘了传感器范围1201，但是该描绘仅是为了说明性的目的。在一个实施例中，键盘1200可以是VR/AR设定中使用的特征稀少的键盘和/或触觉键盘。在一个实施例中，触摸传感器的传感器范围1201对应于键盘1200上的键盘开关的触摸敏感度。图12B示出了用户的手指和手的触摸传感器范围内的信息的热图1203以及从用户的腕部1204的热图1203的外推的示例。
图12C示出同一用户的手指、手和腕部的VR/AR世界视图以及可被重构以与VR/AR设定中的键盘相结合地使用的视觉文本的实施例。在一个实施例中，可使用触摸状态信息来在低时延的情况下在VR/AR设定中的3D中重构用户的手指、手和腕部。低时延可以准许VR/AR系统提供3D触觉，因此在真实世界键盘上向用户提供物理按钮和控制器，该物理按钮和控制器反映VR/AR键盘的软件限定的按钮和控制。例如，在一个实施例中，3D触觉可以创建物理输入表面，该物理输入表面可灵活地对它们的物理控制进行变形以便匹配给定的VR/AR应用的VR/AR数字控制。在一个实施例中，触觉可以使用户感知物理输入界面，以匹配给定的VR/AR应用的VR/AR数字控制。在一个实施例中，物理表面或触觉表面可以被提供成可适合于它们的预期的用途，并且可以被提供成反映VR/AR设定中的它们的数字等效物。
由于不要求接触，所以在一个实施例中，触摸状态信息可以被用作至手势解释算法的输入。由此，可以将位于键盘上方一定距离的一个位置变成用户可以做手势的区域。这样的区域可以是模态的，其自身由手势、接触或键下压或者手势、接触或按键的组合激活。在一个实施例中，可以使用手作为计算机鼠标，其在不将手从键盘的近处移开的情况下做出熟悉的移动。在一个实施例中，将手成杯(“cupping)”成类似鼠标的形状将自动地使来自该手的进一步的手势被解释为鼠标手势一包括例如按钮点击，滚轮旋转和移动。在一个实施例中，可以将空中的轻敲运动解释为手指，并且该轻敲运动可以导致系统响应。在一个实施例中，当用户用他或她的手指或手在其上掠过或做出一些其他类型的手势时，键或键的子集的表面可以充当跟踪板。
由本文中所呈现的新颖的键盘开关和键盘提供的触摸状态信息允许应用和操作系统软件得到信息，从该信息可以识别出在物理键(或VR/AR键)上搁置或者悬停在物理键(或VR/AR键)上。转至图13，示出了工具提示的示例性实现方式。图13提供了键盘的用户的视图和真实世界视图的混合视图的示例性实现方式，该示例性实现方式向用户提供悬浮的工具提示，以例如协助了解用于给定的应用或操作系统的键盘的快捷键，因为键盘可以感测用户搁置或悬停在键上或者在用户与键进行接触之前预测用户的接下来的(一个或多个)键压下。在一个实施例中，使用触摸状态信息来确定特定的位置或位置的组合，在该特定的位置或位置的组合处希望有工具提示或其他反馈并且可以在VR/AR表示中呈现这样的工具提示或其他反馈。类似地，可能希望附加的显示空间是以气球的形式的，从而使得例如在用户悬停于键盘开关(或组合)之上或接触键盘开关(或组合)的情况下可以显示气球，诸如，如果按下下一个键则可以播放下一首歌。在一个说明性实施例中，所公开的键盘使得VR/AR用户界面能够被映射至物理输入表面，该物理输入表面包括但不限于键盘。这样，键盘上的每个键可以是多触摸手势显示，因为物理键盘上的每个键可以成为VR/AR设定中的视觉屏幕。例如，可将VR/AR用户界面元件映射至物理键盘输入控制作为交互性2D图标、图像和文本(例如，示出当前音量水平的音量按钮控制等)以及甚至作为3D图标、图像和文本(例如，播放按钮，该播放按钮在用户将他的或她的手指搁置在相关联的物理键盘上时出现，由此创建沿z轴的3D工具提示，该3D工具提示经由显示专辑封面图片来向用户示出将播放什么专辑)。
键盘交互
以下讨论触摸、空中和混合触摸/空中键盘用户输入交互的新的形式。在一个实施例中，可通过前面所提到的共同未决的申请中所公开的新颖的设备中的一个或多个来实现或增强触摸、空中和混合触摸/空中键盘用户输入交互。在一个实施例中，所公开的交互形式可被包括作为专用设备的特征或可被包括在提出实现本文所公开的实施例中的一个或多个实施例的特定API软件开发者工具包(SDK)中。包括在SDK中使OS制造商、OEM、应用程序开发者和用户能够开发、构建基于触敏设备的通用接口或标准接口或与基于触敏设备的通用接口或标准接口进行交互，并支持手势力学中的一些或全部，包括本文所述的那些手势力学，如可能期望的那样。在各种实施例中，可以在各种对象上实现新颖的交互技术或实现新颖的交互技术以用于与各种对象结合使用，所述各种对象包括但不限于：包含多个物理键帽的键盘；包括但不限于单个物理键帽(例如按钮)的键盘；包括其他物理控制件的键盘，所述其他物理控制件包括但不限于开关、滑块和拨盘；包括虚拟控制件的键盘，包括但不限于由触觉技术模拟的虚拟的键帽、按钮、开关、滑块和拨盘，所述触觉技术包括但不限于静电、电击和振动触觉反馈；包括即时或可重塑的物理控制件的键盘，所述物理控制件包括但不限于物理键帽、按钮、开关、滑块和拨盘，它们的形状可通过计算机控制的物理变形技术形成或改变，所述物理变形技术包括但不限于微机电机器人和电活性聚合物；触摸和悬停垫；和其他触敏物理对象，包括游戏控制器、方向盘、体育用品夹具和球。
贯穿本公开内容，像“触敏键盘”、“触摸板”、“悬停板”和“触敏设备”的术语可互换使用来指代可感测触摸和悬停的变化程度这两者的触敏设备的类别。这样的触敏设备在共同未决的以下申请中被描述和公开：在2016年7月1日提交的题为“TOUCH SENSITIVEKEYBOARD(触敏键盘)”的美国专利申请第15/200,642号；美国专利申请第15/221,391号；在2016年7月29日提交的题为“HOVER-SENSITIVE TOUCHPAD(悬停敏感触摸板)”的美国专利申请第15/224,226号；以及在2016年8月30日提交的题为“TOUCH-SENSITIVE OBJECTS(触敏物体)”的美国专利申请第15/251,859号。预想到与本文中的这些公开内容和术语有相似性。
单手滑动手势。在一个实施例中，在触敏键盘设备上，从左至右在键盘上、从右至左在键盘上、从顶到底、或从底到顶地在空中或与键盘的键相接触地移动的单个手可被识别为用户做出的输入手势。在一个实施例中，在与键的平面大约垂直的平面中，还可识别向上远离键盘表面或向下朝向键盘表面的手部移动。
在一个实施例中，可以使用用于识别移动的已知技术(诸如但不限于模板匹配或启发式方法)将由被跟踪的点或对象所限定的3D空间中的路径映射至响应。在一个实施例中，被跟踪的点可以是任意点，诸如与指尖相关联的一个或多个点。在一个实施例中，被跟踪的点可以是点的布置，诸如用于检测手指的“卷曲”的指尖与手掌的相对间隔。所使用的特定识别算法是不重要的。本文中所公开的算法、系统和方法是在比识别算法要高的水平上的；作为示例，算法、系统和方法描述了系统响应于手势识别所采取的动作而不是识别本身。
一旦识别了手势，来自系统的混合响应是可能的。在一个实施例中，这样的响应可被分类成两个类别，即：连续动作(例如，从系统产生连续(或多个)响应的动作)；以及离散动作(例如，产生离散响应的动作)。在一个实施例中，可将相同的物理手势映射到这两个类别。作为示例，将手在大约平行于键盘并在键盘上方的平面中从左至右地滑动可能触发离散应用开关，或可能触发连续响应，系统通过该响应连续地给出反馈，诸如映射屏幕上的对象到手部移动的转换。可由系统执行或可由系统发起的任何动作可与对一个手势或多于一个手势的识别相关联。此外，手势可以是简单的(如在手指或手势的移动中)，手势可以是更复杂的(诸如手上的手指中的数个或全部的移动(例如用手制作形状)或可能需要多于一只手(例如，两只手的移动、手内的触控笔的移动))。响应于手势的识别所采取的动作的其他示例包括但不限于：离散动作，诸如关闭当前应用程序、锁定计算机、切换到列表中的下一个应用程序、在文档中前进或后退1页、返回到网络浏览器中、滑动移动以及滑动关闭/存档，如交互、播放/暂停媒体、窗口管理命令、开始或结束通信会话；和(b)连续输入，诸如调节音量、调节亮度、通过滚轮浏览视频/音频、浏览相机、缩放、滚动和移动指针(例如，鼠标指针)。鉴于本公开，对于本领域技术人员明显的是，可以将一个或多个特定手势映射至一个或多个特定系统响应，并且一个或多个特定系统响应可以是连续的或者离散型，所有这些都在本公开内容的范围和精神内。
双手手势。在触敏设备上方的空间中操作的双手可以允许附加保真度。应用至对这样的手势的检测的感测和识别技术是可互换的；例如，跟踪同一只手上的两个垫对两只手中的每一只手上的一个点在检测算法选择的水平上不是功能上有区别的。关于可被检测到的手势：两只手可以例如协调地移动(例如两只手在触敏设备上从左至右移动)或可以例如与彼此相反地移动(例如两只手在键盘上方移动分离或移动到一起)。两只手还可以在同时地移动手的部分的同时进行移动。在一个实施例中，手势语言遍布所有的或基本上所有的手的灵活性。
在一个实施例中，识别出的手势可区分与键盘的平面大约平行的平面中发生的数个手部姿势。这些包括但不限于：双手一起左移；双手一起右移；双手一起向前移动；双手一起向后移动；双手靠在一起；双手移动分开；一只手向前移动而另一只手向后移动；以及一只手保持静止而另一只手向左和向右或向前和向后移动。在一个实施例中，触敏设备可区分以下垂直运动：双手向上移动；双手向下移动；一只手向上或向下移动而另一只手在相反方向上移动；以及一只手向上或向下移动而另一只手保持(垂直方向上)静止。在一个实施例中，触敏设备可向主机操作系统或可被配置为根据识别出的手势的出现而动作的其他计算设备报告所有识别出的手势。在一个实施例中，触敏设备可向主机操作系统或可被配置为根据识别出的手势的出现而动作的其他计算设备报告识别出的手势的子集。
拨号手势。除了利用触敏设备来执行的基于点的输入和多点输入之外，在一个实施例中，将于键表面上进行的触摸或于键上方进行的移动解释为拨号手势。拨号手势可以提供连续输入的自然方式。在一个实施例中，例如，以逆时针方式转动键盘上方的手指或其他对象可以向上滚动或向下滚动。拨号手势不具有自然范围(也就是说，与联合运动不同，它没有最大或最小位置)。相应地，在一个实施例中，可以采用拨号手势以用于滚动文档，包括非常长的文档。在一个实施例中，提供任意的控制/显示增益功能以使得拨号可以产生对被拨号的物体的更多或更少的影响。
虚拟方向盘。被物理控制件所拘束的交互提供有限自由度，并且已知实现进一步的精确度，因为用户能够集中于减少的交互空间上。作为示例，用方向盘对轿车进行转向臂同时用操纵杆控制方向和燃料流量要简单。由此，在一个实施例中，手的移动被映射到虚拟物理对象，对该虚拟物理对象的操纵提供了控制信号。在一个实施例中，可以经由2D监视器或头戴式的VR或AR显示器来向用户呈现方向盘的数字图像，它们可转动以向驾驶模拟器提供输入；3D空间中的手的移动可被映射到盘的移动，就像是用户正在握持该盘。在实施例中，3D空间中的手的移动可被映射到盘的非传统移动(例如，更快或更慢)，由此，使用该技术，可以以若用户不握持盘则是不可能的方式来完成控制。
辨别非手对象。除了识别在键盘附近的一只或两只手，在一个实施例中，触敏设备可感测何时手正在抓取物理对象。示例包括但不限于何时单个手在键盘上方握持移动设备，或何时两只手抓握物理方向盘控制件。在一个实施例中，在触敏设备上方创建的感应电场可检测在物理对象上的或在物理对象下面的3D标记或一组标记，以帮助输入处理算法识别正被一个或多个用户在触敏设备上方抓取的物理对象。在一个实施例中，在触敏设备上方被握持的物理对象的形状或类别可以由触敏设备通过分析正握持物理对象的一个或多个用户的3D手部和抓握姿态来推测。在一个实施例中，靠近3D空间中的触敏物体的物理对象可通过由触敏设备检测到的已知的频率或码分调制信号或通过离散的射频通信信道(诸如但不限于近场通信、WiFi和蓝牙)将该物理对象的身份、类别和3D位置传送到触敏设备。
多模态交互。在一个实施例中，除了识别在触敏设备附近的一个或多个手之外，手和设备输入的组合被用于做手势。在一个实施例中，在(i)使用鼠标或触敏屏幕于计算机显示器上选择目标并随后(ii)用手势来修改所选的目标时，使用手和设备输入的组合。在一个实施例中，用户使用鼠标选择地图应用上的感兴趣点并且随后通过将手向上移动并移动远离键盘来缩小地图视图。在一个实施例中，触敏设备用离散滤波、处理、后处理和应用程序界面将该触敏设备的原始感测数据分段成多个输入流，所述应用程序界面是针对给定的输入流定制的，所述给定的输入流诸如但不限于感测到的(一个或多个)2D手部模型、(一个或多个)3D手部模型、(一个或多个)2D手指模型、(一个或多个)3D手指模型、触敏设备表面上方的2D指尖位置、触敏设备表面上方的3D指尖位置、在与键盘表面平行的和/或在键盘表面上方的2D/3D平面中发生的多手指手势、手部识别、以及用户识别。
描述有形状的表面。在一个实施例中，触敏设备或api在体积中感测手部和悬停手势，并且使用手部和悬停手势的位置和形状来描述表面几何形状。在一个实施例中，使用平面指向设备(即，鼠标或触控板)，这促进了对三维表面(尤其是具有复杂几何形状的三维表面)的描述。在一个实施例中，可通过在想象的表面上移动一只或多只手来限定三维NURBS(非均匀比例基样条)表面。在一个实施例中，可以在体积中描绘主曲率或轮廓线以限定3D表面。在一个实施例中，可使用手势来促成3D建模功能，包括但不限于：挤压、扫掠、卷积、推/拉操作和雕刻。在一个实施例中，可使用体积中的手势来促成3D建模功能。在一个实施例中，可使用单手手势来促成3D建模功能。在一个实施例中，可使用双手手势来促成3D建模功能。
重新定向输入。可能难以在诸如电话之类的移动设备上或特别地在如智能手表之类的基于小屏幕的小型移动设备上键入。在一个实施例中，对到触敏设备的识别出的手势或输入进行重定向，例如当移动设备放置在与触敏设备靠近的体积中时重定向作为至移动设备的键盘输入。在一个实施例中，用户可以在触敏设备或键盘上方的体积中举起穿戴着智能手表的手臂。在一个实施例中，用户可以在触敏设备或键盘上方的体积中举起穿戴智能手表的手臂。不论哪个情况，用户都可使用另一只手(或者如果设备正在休息则两只手)来与触敏设备进行交互(例如，在键盘上键入)并且交互可被重定向至移动设备，例如智能手表或移动电话。在一个实施例中，将设备(例如，智能手表或移动电话)放置在与触敏设备相关联的特定体积中指示了设备应从触敏设备接收键盘输入。在一个实施例中，触敏设备或键盘将键盘数据输入至设备。在一个实施例中，对应于与触敏设备的交互的信息自动地出现在相应设备的屏幕上。在一个实施例中，对应于在触敏键盘上键入的信息自动地出现在被放置为与和触敏键盘相关联的体积靠近的移动设备的屏幕上。
位于垂直表面上的抢先感测。在传统的膝上型计算机显示器上，悬停信息是有限的并且不能感测指尖的远距离位置。使用被定位于垂直显示器(例如，膝上型计算机显示器)下面的触敏设备，感测手指是如何接近和接触屏幕(例如，膝上型计算机屏幕)是可能的。在实施例中，将不为触敏的显示器与触敏设备相结合使用以实现在该显示器上的触摸能力。在实施例中，具有触摸能力的现有膝上型显示器与触敏设备相结合使用，以用来自键盘的垂直悬停数据来补充现有显示器2D触摸信息。在一个实施例中，将触敏设备结合以用垂直悬停数据(例如，来自触敏设备的垂直悬停数据)来补充现有显示器2D触摸信息可实现来自显示器的3D感测。在一个实施例中，将这样的触敏设备/显示器组合的输入信息的子集提供至应用程序。在实施例中，来自触敏键盘的悬停输入可用于指示手指何时接近屏幕。在一个实施例中，指示手指接近屏幕的来自触敏键盘的悬停输入用来例如从深度休眠唤醒显示器的触摸传感器。在一个实施例中，在手指接触屏幕之前计算手指的轨迹，并使用手指的轨迹来准备好用户界面并改善目标选择准确度。
状态之间的转变。在本发明的实施例中，用户身体(例如，手指、手等)距触敏键盘的距离可以作为连续变量(例如，“z”的值)被提交给应用程序或其他软件。在一个实施例中，可以将该距离离散化成可以被称为“状态”的东西，并且该被称为“状态”的东西可用于确定进入、存在和/或退出至这些状态和/或从这些状态进入、存在和/或退出。在一个实施例中，这样的“状态”被用作用于提供(例如，发起)响应的方法的一部分。在一个实施例中，可以将悬停信息离散化为“悬停”状态以及“键入”状态或“搁置在键上”状态。在一个实施例中，被离散化的信息用于触发当用户处于相关联的状态时(例如，准备好开始键入)有意义的动作。在一个实施例中，状态可以包括其他离散化，诸如“在远处悬停”或“在近处悬停”。在一个实施例中，使用更多的状态。在一个实施例中，状态可包括子状态.在一个实施例中，“悬停”状态包括子状态。在一个实施例中，“悬停”状态包括至少两个子状态，诸如“在远处悬停”以及“在近处悬停”。
在一个实施例中，使用悬停状态来打开“休眠中的”显示器。在一个实施例中，已很长时间未被使用的被锁定的计算机在“悬停”上打开显示器。在一个实施例中，代替使用鼠标光标来集中在口令字段，在“悬停”到“搁置在键上”之间的转变可集中在正确字段。另外，可以使用用户接近键盘(以及创建转变)的方式来识别用户并提供解锁计算机的快速方式(例如，使用正确的用户名和密码或基于另一生物识别)。也可以采用相反方式。在一个实施例中，当在一时间段内完全没有检测到悬停(或键交互)时，工作站可以被锁定。由此，在一个实施例中，如果(且仅如果)不存在键盘附近的手时，锁定屏幕倒计时开始。
作为另一个示例，在一个实施例中，实践本发明的系统可以指定这样的状态之间的转变作为“手势”，其中将手从“在近处悬停”移动至“在远处悬停”可能使操纵或移动被应用至当前应用程序的窗口而不是被应用至其内容。这允许用户执行相同移动(滑动它们的手横跨键盘区域的顶部)以操纵不同的内容。
手指跟踪。在键入时，一些手指(特别是拇指)具有一些移动自由。拇指很少用在除了空格键之外的其他地方。然而，具有多个按钮的拇指岛可以提高产率。悬停感测可以用于感测拇指的手势，诸如例如：拇指接近时，空格键过载；使拇指悬停移动被识别为改变文本格式(如斜体和/或粗体)的手势；和/或在“悬停”状态下被识别的水平移动可以触发撤消或删除动作。在一个实施例中，可采用拇指感测来促成改变而无需将整个手抬离键盘。在一个实施例中，在键入时未被使用的手指的手指跟踪姿势可用于自动地关联将标记正被键入的文本的表情符号。这对于增加基于本文的会话的表达性是很有用的，这允许快速地和广泛地访问补充被分享的文本的预限定的一组标签。这还可在键入文档和添加附加信息作为标签或脚注时被应用。
针对悬停的打开/合上的手部选择动作。处于“悬停”状态的手基于每当手合上或打开时呈现不同的签名。在一个实施例中，该信息可用于触发选择动作而不离开悬停。在一个实施例中，该行为可用于例如使用水平移动来“切换窗口(alt-tab)”到特定窗口并“抓取”窗口以将窗口在视觉上拖拽至左半部或右半部最大化。当用膝上型电脑上的触控板来使用触敏设备时，在一个实施例中，“拖拽”可由一只手通过触控板来控制，并且如果另一只手位于触敏设备所检测的体积中，则选择的开始和结束可通过打开或合上另一只手来识别。更通常地，检测手的打开或合上或用手做出形状可用于解释其他交互，诸如触控笔的交互(例如，墨水颜色、或线条粗细或橡皮相对于笔)，另一只手的手势的交互(例如，更快或更慢地进行滚动)、在键盘上的另一只手的交互等。在一个实施例中，检测手的打开或合上可以用于解释用那只手的动作，诸如例如如果把手放在鼠标的形状上则可将该手的动作解释为鼠标的动作。
按键、徒手多模态输入。可以通过多键快捷键来获得更多深奥状态。在一个实施例中，例如，控制缩放，控制键+和控制键-通常是用于在网页上递增放大的多键组合。在一个实施例中，基于按下什么键，“悬停”状态可具有不同意义。由此，例如，在一个实施例中，当按压特定的键(例如，Z键)时，可将“悬停”信息解释为连续(相对的或绝对的)缩放。在另一个示例中，按压“空格”使得“悬停”信息被解释为谷歌(google)地图上的平移动作。
使用悬停信息的基于手指运动的文本校正。对于“悬停”的介绍可提供键与键之间的完整手指转变。在一个实施例中，该信息可以用于识别多个字母打字错误，该多个打字错误因为用户错误地定位他们的手并键入了一系列错误的字母而开始。作为示例，如果用户键入“tonirriw”而非键入“tomorrow”，则可指示右手在第一个“o”之后没有正确地定位。在一个实施例中，一旦这种键入错误被识别，则“悬停”信息可用于正确地校正剩下的按键。在一个实施例中，一旦这种键入错误被识别，则“悬停”信息可用于添加要用于拼写检查算法的额外的信息。这样的实现可以达到实时的拼写检查，该实时的拼写检查基于“书面语言”，还基于用户的典型的手部位置错误并甚至在糟糕的手部定位的情况下提供正确的键入，由此潜在地抢先避免屏幕上可见的键入错误。
对其他输入设备的暗示。在本发明的一些实施例中，触敏键盘可被其他输入设备所围绕，诸如移动，“悬停”状态可指示键入与和鼠标结合之间的转变(通过观察右手离开键盘右侧的水平移动)。在一个实施例中，这可提供暗示来提升鼠标采样速率或正当鼠标要被使用时突出显示鼠标光标。在一个实施例中，包括内置在键盘(诸如膝上型计算机上的键盘)下方的设备中的触控板；此类触控板通常是偶然输入的原因，因为用户的手掌搁置在键盘下方。在一个实施例中，通过当用户手指正搁置在悬停键盘上时关闭或以其他方式忽略触控板输入来减轻或避免这样的偶然输入。在一个实施例中，通过当用户手指正搁置在悬停键盘上时关闭或以其他方式忽略触控板输入来减轻或避免这样的偶然输入。
在一个实施例中，触敏键盘包括：多个键，其中该多个键每一个都被适配成响应于手指的接近来输出触摸信号；触摸板区域，该触摸板区域与键分开，该触摸板区域对于接近是敏感的；以及处理器，该处理器可操作地连接到多个键，使得从而可以接收触摸信号，并且该处理器被配置成当至少一个触摸信号被接收到时禁用触摸板对触摸的敏感度。在一个实施例中，处理器被配置为当预配置的一组触摸信号被接收到时禁用触摸板对触摸的敏感度。在一个实施例中，处理器被配置为响应于来自一组预配置的键的信号不禁用触摸板对触摸的敏感度。在一个实施例中，多个键不包括预选择的一组键。在一个实施例中，预选择的一组键包括选自包括以下项的群组中的至少一项：控制键、变换(shift)键和交替键。在一个实施例中，预选择的一组键包括选自包括以下项的群组的至少一个键：控制键、变换键、交替键、功能键、大写锁定(caps lock)键、制表(tab)键、回车(enter)键、插入(insert)键、删除键、本位键、结束键、翻上页(pgup)键、翻下页(pgdn)键、箭头键、截屏(prtscn)键、滚动锁定(scrlk)键、暂停键。在一个实施例中，预选择的一组键包括全部的非字符键。
为了说明，图15A示出如在通常的膝上型计算机上见到的键盘以及独立的触摸板。在一个实施例中，当手和/或手指被检测到在触敏键盘上和/或在触敏键盘上方时，触摸板被禁用。图15B示出正使用键盘的用户，其中导致禁用触摸板。当手和/或手指远离触摸键盘时(图15C)，触摸板被禁用。
作为等距操纵杆的(一个或多个)键。在一个实施例中，单个键或键的集合充当等距操纵杆。在一个实施例中，通过在键盘上的相邻的键之间内插信号强度来计算操纵杆方向。在一个实施例中，将键盘上的单个键指定成“中心”键，并且通过内插该“中心”键的信号强度和紧邻该“中心”键的键来确定等距操纵杆的方向。
该等距操纵杆的一种此类使用是作为指向杆，一种控制计算机指向设备的等距操纵杆。这样的物理指向杆在膝上型计算机和其他便携式计算机上是通用的，因为该物理指向杆尺寸小(参见IBM/Lenovo的触控点(Trackpoint)、Dell的触控杆(Track Stick)以及Samsung的指向杆(Pointing Stick)等)。这些物理指向杆全部在机器键盘之外都需要附加的硬件。通常情况下，相对的应变计对测量由用户手指施加到指向杆的横向力。本文所公开的等距操纵杆减轻了对附加的指向硬件的需要。在一个实施例中，一组(一个或多个)键可以用作等张操纵杆。
在一个实施例中，触敏键盘可以用作操纵杆或其他的控制件。在一个实施例中，触敏键盘上的多个键被采用，所述键中的每一个键适配为输出对应于键与作为控制件操作的手指之间的距离的信号强度。在一个实施例中，该方法包括以下步骤：基于至少一个手指的至少一部分相对于触敏键盘的预限定定位，将触敏键盘置于控制状态；通过在键盘上的一组相邻键之间内插信号强度来确定控制方向；和将控制方向输出到主机系统以用于控制。在一个实施例中，该方法也包括以下步骤：通过在键盘上的一组相邻键之间内插信号强度来确定控制幅度；并将控制幅度输出到主机系统以用于控制。在一个实施例中，预限定定位是从以下项的群组中选出的一项：搁置在控制键和交替键上的一只手的两根手指；以及搁置在空格键上的两根拇指。在一个实施例中，预限定定位被预先选择为容易符合人体工程学，但在通常的键盘使用中不太可能偶然地发生。在一个实施例中，相邻键的群组包括中心键和每一个毗邻的键。在一个实施例中，相邻键的群组包括与毗邻中心键毗邻的每一个键。在一个实施例中，相邻键的群组包括位于中心键的特定距离内的每一个键。方法还可包括：建立作为控制件操作的手指的基线位置的步骤、以及确定可建立相对于基线位置的一定增量的控制方向。在一个实施例中，相对于基线的增量的方法可用于模拟操纵杆或其他控制件的输出。在一个实施例中，可使用控制方向和任选地使用其幅度来模拟操纵杆或其他控制件。在一个实施例中，控制方向选自由以下项组成的群组：上、下、左和右。在一个实施例中，触敏键盘在一时间段内保持在控制状态。在一个实施例中，触敏键盘保持在控制状态，直到出现至少一根手指的至少一部分相对于触敏键盘的第二预限定定位。在一个实施例中，第二预限定定位是起始(home)行位置。
图16A示出其中用户的左手的两根手指搁置在控制(CTRL)键和交替(ALT)键上。该手指定位将系统置于由右手(在图16A/图16B中，右手的食指)做出的触敏键盘上的触摸产生触摸输入时间的状态。图16A与图16B之间的食指的移动对应于滑动右输入动作。当左手的手指从CTRL键和ALT键抬起时，系统退出该状态。
图17A和图17B示出相关的实施例，其中通过将两根拇指都放在空格键上来进入触摸状态。再次，右手上的食指执行触摸输入。
在相关的实施例中，通过将手指以特定配置放置在触敏键盘上而进入的状态保持到甚至在那些手指被抬起之后。系统保持在该状态直到手指的第二配置被检测到。图18示出一个这样的配置，其中手指被放置在键盘的本位键上以退出触摸状态并返回到键盘键入。
作为模拟或多轴数字操纵杆的键盘部分。在一个实施例中，单个键或键的集合充当操纵杆。在一个实施例中，通过在键盘上的相邻键之间内插信号强度来计算操纵杆方向。在一个实施例中，将键盘上的单个键指定成“中心”键，并且通过内插该“中心”键的信号强度和紧邻该“中心”键的键来确定等距操纵杆的方向。在一个实施例中，两(或更多)个键或键的两(或更多)个集合充当独立的操纵杆。
图19A至图19D示出用触敏键盘的控制方向的生成和操纵杆的模拟。在该实施例中，K键被视为中心键。当手指搁置在K键的中心时(图19A)，没有方向被生成。通过查看K键的相对接近程度以及与该K键相邻的键，触敏键盘可生成方向，诸如“左”(图19B)、“右”(图19C)、或“上”(图19D)。以该方式，用户可通过将用户的手指在K键上方晃动以控制光标或其他元素的方向。
作为渐变控制件的键盘部分。渐变控制件是一种选择范围(通常以线性方式)的滑动开关。在一个实施例中，触敏键盘可模拟渐变器。在触敏键盘模拟渐变器的情况下，键盘的一部分被指定为提供与渐变控制件等效的输入，其中提供数字序列或模拟值以指示虚拟渐变器的位置。在一个实施例中，虚拟渐变器在被释放时可返回至中心。在一个实施例中，虚拟渐变器在被释放时可保持在其最后的位置。在一个实施例中，触摸或悬停信号的不存在可促成释放虚拟渐变器。在一个实施例中，渐变控制件可以使用键盘的空格键。空格键的长的形状使其自身自然而然地可由人的手指在该空格键之上滑动。在一个实施例中，数个传感器位于空格键内，以用于检测这样的滑动运动或悬停运动。在一个实施例中，计算空格键上的用户手指的左/右位置并且将空格键上的用户手指的左/右位置传递给应用程序。
作为“触摸板”的键盘。在一个实施例中，触敏键盘具有一个或多个模式，在该一个或多个模式中触敏键盘表现得像是触摸板指针设备。在一个实施例中，触敏键盘向一般与触摸板相关联的手势中的至少一些手势且潜在地全部手势提供输入。在一个实施例中，当处于触摸板模式中时，触敏键盘向以下项中的至少一些项提供输入：点击、双击、滑动、捏合缩放(pinch zoom)、滚动、打开所有窗口、显示桌面、在窗口之间切换、以及被主机接受作为交互的其他手势，例如桌面交互中所提供的那些手势。
在一个实施例中，可通过改变“状态”来进入所提供的模式，即移动到不同的“状态”，如上所述。在一个实施例中，代替用户动作或除了用户动作之外，可以通过应用程序来进入模式。在一个实施例中，可以通过来自另一个设备或传感器(诸如计算机相机注意到用户眼部位置、姿势的变化等)的输入来进入(或附加地进入)模式。在一个实施例中，还可以通过触敏键盘所注意到的用户手部姿势的变化来进入(或附加地进入)模式。在一个实施例中，用户手部姿势变化可包括将一只手从键盘移除。在一个实施例中，用户手部姿势变化可包括以“捏合”的姿势将两根手指一起移除。在触摸板模式中，触摸压力可以被委派给悬停距离以向用户提供相似交互。
在一个实施例中，提供具有以下项的触敏键盘：多个触敏键；信号处理器，所述信号处理器被适配为测量信号强度，所述信号强度对应于所述多个触敏键中的每一个触敏键与接近其的一根手指之间的距离；和处理器，所述处理器被配置为：响应于多个触敏键中的一个触敏键被按压来输出键击，并且周期性地输出通过针对键盘上的多个触敏键中的每一个触敏键内插信号强度来确定的一个或多个触摸点。在一个实施例中，在键盘处于触摸板模式中时，处理器输出一个或多个触摸点。在一个实施例中，在键盘处于触摸板模式中时，处理器不输出对应于被按压的键的键击。在一个实施例中，在键盘处于键入模式中时，处理器输出对应于被按压的键的键击。在一个实施例中，其中在键盘处于键入模式中时，处理器不输出一个或多个触摸点。
可能存在很多针对传统触摸板(可能想要与本发明中所述的键盘结合地使用该传统触摸板)的软件库。这些库假定在触摸板中有均匀间隔的X，Y传感器的直线输入阵列。这样的库不能与包括以非直线阵列间隔开的键的键盘立即兼容。在一个实施例中，对传感器值进行整流以创建与现有软件库兼容的直线网格。在一个实施例中，在离散的传感器上应用线性插值以创建直线阵列。在一个实施例中，在离散的传感器上应用二次插值以创建直线阵列。在一个实施例中，在离散的传感器上应用双线性插值以创建直线阵列。在一个实施例中，在离散的传感器上应用三次插值以创建直线阵列。对于本领域技术人员而言明显的是，鉴于本公开内容，存在许多在非直线阵列(诸如可由公开的触敏键盘产生的热图)与直线阵列(诸如将与传统触摸板相关联的东西)之间转换的方法。
图20A示出触敏键盘上的键以及与它们相关联的信号强度。图20B示出已经从键盘上的不规则地间隔开的键生成出的正则化的热图。
除了三次插值或双线性插值之外，在一个实施例中使用径向基函数进行插值以从键盘上的不规则地间隔开的键生成正则化的热图。
径向基函数可以优于其他类型的插值。在高级别上，可假设来自任何触摸传感器的所有被采样的点都包含一些噪声并且所有被采样的点不是该传感器处的值的“真实”测量。通过执行径向基函数，我们使用来自数个物理键的测量来生成经内插的热图中的值。
如果将一个键上的测量视为M，则它是信号T的“真实”测量加上一些误差E：
M＝T+E
触摸传感器接收M，但更期望是T。
通过使用径向基函数，数个键(在正则化的热图中的一个点周围的领域)对正则化的热图中的每一个值都有贡献。如果误差E是正态分布的(或者甚至是除了均匀偏置之外的任何形式)，那么它们部分地或完全地相互抵消，只留下T或至少比T更接近于从M单独获得的。
零延迟键入键盘。来自键盘和鼠标的输入被认为是当今计算系统中可获得的最快的输入之一，并且由于游戏行业，来自键盘和鼠标的输入被纳入近些年的几项机械创新。然而，即使考虑到它们作为现有计算的输入设备的偏好，仅机械键盘仍然表现出通信信道固有的延迟以及它们如何由操作系统处理。在一个实施例中，实现新的信息通道以解决与键盘相关的延迟问题。特别地，在一个实施例中，触敏键盘的感测能力使得能够将延迟减少技术应用于键盘，如共同未决的美国专利申请第14/490,363号所述。本文公开的触敏设备允许迄今为止归入触摸屏的技术使用基于物理按钮的设备，使用热图悬停感测信息来分析物理键盘的近距离内的运动以理解手指轨迹并且更准确地预测手指将落在键上并触发其动作。悬停能力使得预测方法的应用能够减少由于硬件或软件通信而导致的响应时间，并且对采用的计算系统显示技术提供更直接的视觉响应。
键盘交互的应用可视化。悬停键盘提供有关触摸和触摸接近度的高分辨率数据。在一个实施例中，应用程序可使用此数据来显示有关触摸和触摸接近度的详细的信息，以用于验证、开发或娱乐。在一个实施例中，触摸和触摸接近度数据可以被显示为覆盖在应用程序画布上，以向用户提供关于应用程序交互的视觉提示。在一个实施例中，触摸和触摸接近数据可以是热图、直方图、手和手指的表示、工具、字符、化身(avatar)和其他适于应用程序的可视化的形式。
空中+接触手指键盘手势。在一个实施例中，触敏设备实现跨越与键帽和空中事件的物理接触的混合手势。这里，感测到与触敏设备表面的部分物理接触的时刻用于指定空中姿势的键帽目标并且用于分割在多个键帽上方或跨多个键帽的空中手势的“开始”和“停止”(几乎像书面语言中的标点符号)。并且空中手势感测用于为感测的输入事件添加表达性和模态。在用于给定的触敏设备键帽的单指输入的实施例中，以下示例性的空中+接触混合手势词表是可能的：图14提供空中手势的样本列表(即，样本手势词表)可以与本文公开的触敏设备结合使用。在一个实施例中，一个或多个混合手势可用于执行预定的或可编程的功能。以下实施例旨在说明可以使用这种混合手势的方式，但是这些并不旨在限制本公开的更一般性质，本公开仅受所附权利要求的限制。
键帽接触之间的空中“拐角”手势。在一个实施例中，这些混合触敏设备输入手势可以用于将两个或更多个离散键帽输入激活链接到单个键帽激活，包括但不限于：在多个键盘上跨多个键帽激活地保持功能键-锁定键/控制(Crtl)键-锁定键/变换(Shift)键-锁定键、或创建顺序键盘宏命令(其中多键帽同时或顺序输入被组合并链接到单个键帽激活)。
接触后的空中“拐角”或“线性滑动”手势。在一个实施例中，这些混合触敏设备输入手势可以用于通过用手指接触该键(但是不是激活——即仅仅放在键帽上)、然后抬离键帽、并且随后执行线性滑动手势以循环键帽功能的顺序列表(该键帽功能稍后可以与激活该物理键相关联)来改变触敏设备的给定键帽的激活功能。
接触之前的空中“圆圈”手势。在一个实施例中，这些混合触敏设备输入手势可以用于通过于触摸键之前在空中顺时针画圆或逆时针画圆来快速地在两个状态之间改变键帽功能。在一个实施例中，在激活之前在“j”键帽之上于空中顺时针画圆将“j”字符输入设置为小写，而在激活之前在“j”键帽之上逆时针画圆将“j”字符输入设置为大写。在一个实施例中，双状态功能键帽可以在键帽的左侧显示音量静音命令图标，并且在键帽的右侧显示F4功能图标。朝向音量静音命令的逆时针空中手势将在键帽激活时注册该命令，而朝向F4功能图标的顺时针空中手势将在键帽激活上注册该命令。
接触之间的空中“圆圈”手势。在一个实施例中，这些混合触敏设备输入手势可以用于将两个或更多个离散键帽输入激活链接到单个键帽激活，包括但不限于：在多个键盘上跨多个键帽激活地保持功能键-锁定键/Crtl键-锁定键/Shift键-锁定键、或创建顺序键盘宏命令(其中多键帽同时或顺序输入被组合并链接到单个键帽激活)。
接触之后的空中“圆圈”手势。在一个实施例中，这些混合触敏设备输入手势可用于通过接触(但不是激活——即仅仅放置在键帽上)专用于音量功能的键帽、然后抬离键帽、随后执行圆周运动(其中顺时针或逆时针旋转线性映射到增大或减小音量水平)来改变由触敏设备控制的计算机系统的音量或亮度。
在接触之间的空中“辫子”手势。在一个实施例中，这些混合触敏设备输入手势可以用于将两个或更多个离散键帽输入激活链接到单个键帽激活，包括但不限于：在多个键盘上跨多个键帽激活地保持功能键-锁定键/Crtl键-锁定键/Shift键-锁定键、或创建顺序键盘宏命令(其中多键帽同时或顺序输入被组合并链接到单个键帽激活)。
接触之后的空中“辫子”手势。在一个实施例中，这些混合触敏设备输入手势可用于通过接触(但不是激活——即仅仅放置在键帽上)专用于音量功能的键帽、然后抬离键帽、随后执行圆周运动(其中顺时针或逆时针旋转线性映射到增大或减小音量水平)来改变由触敏设备控制的计算机系统的音量或亮度。
在接触之间的空中“Z字形”手势。在一个实施例中，这些混合触敏设备输入手势可以用于将两个或更多个离散键帽输入激活链接到单个键帽激活，包括但不限于：在多个键盘上跨多个键帽激活地保持功能键-锁定键/Crtl键-锁定键/Shift键-锁定键、或创建顺序键盘宏命令(其中多键帽同时或顺序输入被组合并链接到单个键帽激活)。
接触之后的空中“Z字形”手势。在一个实施例中，这些混合触敏设备输入手势可以用于删除或撤消刚刚在感测到空中Z字形手势之前执行的一系列顺序的键帽激活。
接触之前的空中“尖峰”手势。在一个实施例中，这些混合触敏设备输入手势可以用作键帽激活力的代理，或者用作通过测量在键帽激活之前手指轨迹的空中z高度是否超过某个阈值高度或斜率来快速切换针对给定键帽的两个可能的输入命令的手段。
在接触之间的空中“尖峰”手势。在一个实施例中，这些混合触敏设备输入手势可以用于将通过特定斜率或高度阈值的空中手势链接的两个或更多个离散键帽输入激活链接到单个键帽激活，包括但不限于：在多个键盘上跨多个键帽激活地保持功能键-锁定键/Crtl键-锁定键/Shift键-锁定键、或创建顺序键盘宏命令(其中多键帽同时或顺序输入被组合并链接到单个键帽激活)。
接触之后的空中“尖峰”手势。在一个实施例中，这些混合触敏设备输入手势可以用于通过首先与当前分配给物理键帽激活的键帽命令接触然后执行空中尖峰手势以从键盘表面“抛出或拉开”来在映射到给定物理键帽的一组输入命令中移除可能的潜在输入命令。
空中手势命令，开启和关闭范围微键手势(方向、位置、到键的距离)。在触敏设备的一个实施例中，软件补充信息可以作为其键盘ASCII码的附件提供给键盘的每个键。这可用于修改键含义的近距离操作。例如，诸如复选框、组合列表、单选按钮和滑块之类的现有GUI小部件可以使用其悬停感测功能直接映射到键上，以控制由键表示和识别的UI元素。例如，一组键可以映射一组滑块以基于到给定键的悬停距离来指定一组范围值。关键手势也可以用于确认UI元素的选择，允许键盘在用户按键时被用作GUI交互和键入的相同类型。
在一个实施例中，可扩展提供了基本的关键手势的词典，诸如键上的方向闪烁(flicking)手势，该方向闪烁手势可以由给定的应用程序用作快捷键或使用耦合到被按压的键的传感信息的修饰符。这些微导向手势将基于靠近给定键边缘的手指运动向应用程序提供附加的输入事件。例如，在文本编辑器应用程序中，这可以用于改变所键入的文本的字体的属性，增加、减小字体大小或根据这些微观上的键手势的使用来粗体化单词。
在一个实施例中，触敏设备用于补充具有手指击中按键的位置(即其中心或靠近按键的给定边缘(左、右、上、下)或主要方向)的按键信息。这样的键内位置信息可用于激活与被按下的键相关的给定动作的快捷键或修饰符。例如，通过按压键的顶部部分，将使字母大写，而不需要大写(caps)键或变换键。
使用键盘作为测量系统。在触敏设备的一个实施例中，通过将对象放置在键盘顶部以引入尺寸、或通过与键交互以允许基于接近一个给定的键需所花费的时长来限定时间或通过在接近一个键时查看动作来限定力，热图信息和键盘上的运动被用作测量系统。可使用键盘的其他区域或键来激活这些模式。可使用传感器所提供的热图所占面积来限定测量和形状。可对检测手指处于给定键的范围内直到手指真正击中键为止的时间进行指定。可以利用从手指在键的范围内直到手指击中键为止的时间中的运动来对力进行估计。
音乐动作。选择“动作”来区分在音乐符号、学习和练习中具有特定含义的“手势”。在使用“手势”的情况下，这指的是键盘的手势定义和识别或其输入数据的处理。以下实施例演示了为支持音乐动作而定制的触敏设备的使用。可以通过分析悬停和触摸数据以及与操作仪器的预期手势匹配来模拟与每个乐器的交互。以这种方式，可以模拟任何乐器交互，并且相关软件以超越当前在合成器和定序器上使用的传统钢琴风格键盘的方式来播放真实乐器的音调、声音、幅度以及声音。打击乐动作包括打击、刷、敲击和其他动作。这些动作可以被识别为用于驱动虚拟打击乐器(其中键盘成为虚拟鼓组件并且可以播放各种打击乐器的声音和特征)的手势。来自键盘的输入驱动显示器，该显示器具有以鼓棒、刷子和其他打击设备的形式的触摸数据的叠加。与诸如吉他或小提琴之类的弦乐器的交互具有一系列动作，这一系列动作由软件识别为特定手势并可以改变虚拟弦乐器的状态和输出。仪器和仪器上的动作可以以手、拨片(pick)和弓的形式显示。
可以通过来自悬停键盘的输入来控制诸如定序器、合成器、鼓机、失真设备之类的音乐设备。通过对来自输入流的手势进行分类并应用于音乐输出，可以进行新的手势和音乐信号处理。例如，失真可以通过观察到的手的形状及其移动来控制。另一个例子是某些手势可以控制均衡器或通道调整。
在一个实施例中，乐器是由模拟了导体动作的手来控制的整个管弦乐队，其中手指和手是导体的身体、手臂、手、指挥棒的代理。方向、速度和节奏的变化可用于指导许多虚拟乐器。合上或打开手、或手掌向上或向下等的特定动作可用于指示管弦乐队的部分变得安静、放缓、冲击或加速。用手指进行节奏动作可指示节拍加速或放缓。
生物识别。已经进行了先前的尝试以通过查看与传统机械键帽交互相关的某些特征来区分键盘的不同用户。这样的特征包括各个按键的长度、后续按键之间的时间、按键序列的时间以及被键入的键的压力。这些技术试图区分“你如何打字”与“其他人如何打字”。
在一个实施例中，触敏设备可以允许检测手指在朝向键行进时经过的路径、手和手指的大小和形状、在键入操作期间你的手的姿势、你的手指和手是如何地搁置在键上(而不按压它们)的、手和手指的导电性、以及形成接触的键上的位置。在一个实施例中，在区分不同的用户或改变模式(例如，键入相对于触控板)中应用这些附加的特征。在一个实施例中，这些附加特征通知分类方法或算法。在一个实施例中，使用以下项中的至少一项来区分键入者：当朝向键行进时手指所经过的路径、手和手指的大小和形状、键入操作期间的手的姿势、手指和手是如何地搁置在按键上(而不按压它们)的、手和手指的导电性、以及形成接触的键上的位置。
在一个实施例中，触敏设备传感器能够在键盘的近距离范围内区分手指和手的形状和大小，这可以用于辨识哪个用户正在与键盘交互。在一个实施例中，检测到的手或手指的大小和/或形状可以用作锁定(和/或解锁)对给定内容或设备的访问的机制。在一个实施例中，检测到的手或手指的大小和/或形状补充了为每个文件或每个用户帐户指定的传统显式访问策略提供的现有操作系统。
手部建模。了解用户手部相对于键盘的确切位置和姿势在VR、AR和生物识别中具有重要的应用价值。这样，在一个实施例中，在由触敏设备测量的热图和由附加传感器测量的手部姿势之间建立对应关系。这样的附加传感器可以包括但不限于运动捕捉系统、飞行时间3D传感器(例如Kinect、体感控制器(Leap-Motion Controllers))和相机。在触敏设备上方感测的热图数据可以首先被解释为深度图，并且来自这种经变换的图的特定特征可以用于当用户手部在键盘的范围内计算用户手部的手部骨架模型。手部骨架包括手位置以及与手指相对应的所有关节。这种手部骨架的应用可实现可靠的手势识别，这将实现上述手势。它还将能够提出用于增加用户存在的虚拟环境的手的虚拟表示以及将这样的手部骨架信息与冲突检测和游戏物理引擎相结合的虚拟内容物理真实性。
虚拟现实镜像。在一个实施例中，当用户在VR环境中与键盘交互时，触敏设备用于跟踪用户的手。键盘和手都可以被用作参考系统。这样做使得能够由于触敏设备的手部感测能力而呈现键盘的虚拟表示。在一个实施例中，当通过键盘感测到手时，可以向用户呈现键盘的虚拟表示，使得用户能够在不离开VR环境的情况下与键盘交互。在一个实施例中，当手不在物理键盘的范围内时(例如，当完成键入时)，键盘的虚拟表示可以消失，让用户沉浸在VR环境中。在一个实施例中，虚拟键盘表示可以匹配键盘的物理表示。在一个实施例中，虚拟键盘表示是示出了键布局的浮动叠加。在一个实施例中，虚拟手部镜像被实际表示在键盘之上。在一个实施例中，象征性地在虚拟键盘布局的顶部上表示虚拟手部镜像。
根据本文中的公开内容，VR中的触敏设备的一个或多个用户的精确的物理手指、手和前臂的位置低延迟镜像允许一个或多个用户在他们于数字环境中进行键入时看见他们的物理手指、手、和前臂的姿态。此外，它实现给定的一个或多个用户的手指、手和前臂的准确的大小和解剖结构的镜像以增加沉浸感。
AR手部镜像。在一个实施例中，触敏设备为AR和VR应用程序提供应用程序编程界面以在触敏设备上或触敏设备上方检测和显示用户的(一根或多根)手指或(一只或多只)手的姿态/模型的2D或3D的(一个或多个)手部模型。在一个实施例中，该2D或3D的(一根或多根)手指或(一只或多只)手的姿态/模型是对在触敏设备表面上或上方感测到的手指和手的在解剖学上准确的重建。在一个实施例中，将该2D或3D的(一根或多根)手指或(一只或多只)手的姿态/模型作为对在触敏设备表面上或上方感测到的手指和手的在解剖学上准确的重建向(一个或多个)用户进行显示。在一个实施例中，该2D或3D的(一根或多根)手指或(一只或多只)手的姿态/模型被显示给(一个或多个)用户作为在触敏设备的表面上或上方的感测的手指和手的幻想的或增强的呈现——诸如但不限于将用户的2D或3D手指和手姿势模型的解剖结构和感测的运动映射到人造3D模型，诸如但不限于视频游戏中虚构角色的3D机器人爪。在一个实施例中，在AR或VR中，当感测到2D或3D的(一只或多只)手的姿势/模型在位于垂直于触敏设备的物理表面的固定z高度的给定平行平面上方移动时，使得触敏设备对(一个或多个)用户不可见。在一个实施例中，在AR或VR中，当感测到2D或3D的(一只或多只)手的姿势/模型在位于垂直于触敏设备的物理表面的固定z高度的给定平行平面下方移动时，使得触敏设备对(一个或多个)用户可见。在一个实施例中，在AR或VR中，该感测的2D或3D的(一只或多只)手的姿势/模型的垂直z高度与触敏设备的物理表面的所呈现的透明度相关联，使得当用户或用户的手越接近或远离其物理表面时触敏设备淡“入”可见或淡“出”可见，反之亦然。在一个实施例中，在协作交互期间，在映射到另一个用户的触敏设备的3D或物理模型的2D、AR或VR显示器上呈现一个触敏设备用户的感测到的2D或3D的(一根或多根)手指和/或(一只或多只)手的姿势模型。这样的实施例向两个用户提供关于他们之间的手指/手姿势通信的意图的优越情境，并且在一个实施例中，其作为用于一个用户教导另一个如何在触敏设备上使用一些命令的工具可以是特别有用的。
虚拟现实物理-对象映射UI。在一个实施例中，在VR环境中，触敏设备具有一组应用程序编程界面，该一组应用程序编程界面使得应用程序开发者和/或计算机系统能够生成精确映射到给定的物理或虚拟的键帽、控制、滑块或按钮上的2D和3D的VR全息图。这些指示了当前所映射的一组输入命令，该一组输入命令可在物理键帽激活时发生，同时该一组输入命令提供视觉功能以了解键盘快捷键。在一个实施例中，其可指定与被连接至触敏设备的计算机系统的主动应用程序相关联的可用的键帽命令。在一个实施例中，当使用任何VR技术(包括但不限于头戴式显示器、绘制可见的2D和3D的VR全息)从虚拟环境观察空白物理键帽时，可以向用户显示交互式图标，其被映射到特定物理键盘位置且漂浮在特定物理键盘位置上方。在一个实施例中，呈现多级物理/数字按钮，其中给定的物理按钮被扩展为多层数字按钮，该多层数字按钮作为一组连续的全息UI层存在，该一组连续的全息UI层在键盘的物理表面上方的逐渐更高的z高度处打开。在一个实施例中，将2D和3D视觉反馈与表面相联接和/或在给定的物理键帽的表面上方在特定的z高度处设定2D和3D视觉反馈(响应于键帽靠近状态、搁置状态和激活状态)，这可用于例如将视觉反馈生动化为爆炸等，这带给VR环境更多的视觉效果。
AR全息UI。在一个实施例中，VR物理-对象映射的用户界面也适用于增强现实环境，其中虚拟内容和物理触敏设备都以逼真或非逼真的方式无缝地重叠。在一个实施例中，在AR环境中，触敏设备具有一组应用程序编程界面，该一组应用程序编程界面使得应用程序开发者和计算机控制的2D和3D的AR全息图能够精确地覆盖给定的物理键帽、控件或按钮。
这些指示了在物理键帽激活时可能发生的当前映射的输入命令集，同时它提供了视觉可靠性以学习由于增强现实显示器或投影系统而在物理键盘上方覆盖这种数字信息的键盘快捷键。在一个实施例中，其可指定与被连接至触敏设备的计算机系统的主动应用程序相关联的可用的键帽命令。当从AR观察时，通过绘制的2D和3D全息交互式图标在视觉上替换空白物理键帽，改变用户对物理键盘的感知。在一个实施例中，呈现多级物理/数字按钮，其中给定的物理按钮被扩展为多层数字按钮，该多层数字按钮作为一组连续的全息UI层存在，该一组连续的全息UI层在键盘的物理表面上方的逐渐更高的z高度处打开。在一个实施例中，将2D和3D可见反馈与表面相联接和/或在给定的物理键帽(该物理键帽对应于键帽靠近状态、搁置状态和激活状态)的表面上方在特定的z高度处设定2D和3D可见反馈，这可用于例如将视觉反馈生动化为爆炸等，这带给VR环境更多的视觉效果并创建将改变对物理环境的感知的现实视觉效果。
键帽特定和手指特定的触觉。在一个实施例中，提供触敏设备，该触敏设备可感测用户物理手指和/或手的姿态的3D的(一根或多根)手指和/或(一只或多只)手的模型。在一个实施例中，此类触敏设备可以用于响应于用户输入来将键帽特定和手指特定的触觉指向用户的手指和/或手。
虚拟控制件。在一个实施例中，提供一种触敏设备，其中由包括但不限于振动触觉技术、电磁技术、物理功能技术或电击技术通过局部的触觉反馈来模拟该触敏设备的输入控制件中的一些或部分输入控制件。
动态、可重塑的物理控制件。在一个实施例中，提供一种触敏设备，其中通过受控的物理变形技术(包括但不限于电活性聚合物和微机电机器人)来形成或重塑该触敏设备的物理输入控制件中的一些或部分物理输入控制件。
参考用于频分调制触摸系统中的对悬停、接触和压力敏感的键盘的设备，在以上对本系统进行了描述。应理解，每个操作示例可以通过模拟或数字硬件和计算机程序指令来实现。计算机程序指令可以被提供到通用计算机、专用计算机、ASIC，或其他可编程数据处理设备的处理器，以便通过计算机或其他可编程数据处理设备的处理器执行的指令实现在指定的功能/动作。除了上述讨论明确限制之外，在一些替代实现方式中，功能/动作可以不按照操作说明中指出的顺序发生。
如本文所使用的，包括在权项内，当用于识别未编号对象时，诸如第一和第二之类的序数词仅用于区分那些对象，并且不旨在创建对象的顺序或以其他方式限制所述序数词用于识别的对象。类似，在适用的情况下，可在不脱离本发明的情况下按照不同的顺序实践以上所述的元件和/或步骤和/或按照特定顺序的所附权利要求书。
以上实施例和偏好用于说明本发明。对于本专利来说，既不必要也不旨在概括或限定每种可能的组合或实施例。本公开内容旨在公开足够的信息以准许本领域技术人员实践本发明的至少一个实施例。在不脱离如以下权利要求书中所限定的本发明的范围的情况下，以上描述和附图仅用于说明本发明，并且部件、结构和程序的变化是可能的，事实上旨在部件、结构和程序的变化是可能的。因此，虽然已经参照本发明的实施例具体示出和描述了本发明，但是本领域技术人员将理解，在不脱离本发明的精神和范围的情况下，可以对形式和细节做出各种修改。

Claims (22)

1.一种触敏键盘，包括：
a.多个键，其中所述多个键各自被适配为响应于手指的接近而输出触摸信号；
b.触摸板区域，所述触摸板区域与所述键分开，所述触摸板区域对触摸是敏感的；和
c.处理器，所述处理器可操作地连接至所述多个键，使得所述处理器能由此接收触摸信号输出，并且所述处理器被配置为在至少一个接近信号被接收到时禁用所述触摸板对触摸的敏感度。
2.根据权利要求1所述的设备，其特征在于，所述处理器被配置为当预配置的一组接近信号被接收到时禁用所述触摸板对触摸的敏感度。
3.根据权利要求1所述的设备，其特征在于，所述处理器被配置为响应于来自一组预配置的键的接近信号而不禁用所述触模板对触摸的敏感度。
4.根据权利要求1所述的设备，其特征在于，所述多个键不包括预选择的一组键。
5.根据权利要求4所述的设备，其特征在于，所述预选择的一组键包括选自包括以下项的群组中的至少一项：控制(control)、变换(shift)和交替(alt)。
6.一种使用触敏键盘作为控制件的方法，在所述触敏键盘上有多个键，所述键中的每一个键被适配为输出对应于所述键与作为控制件来操作的手指之间的距离的信号强度，所述方法包括以下步骤：
a.基于至少一根手指的至少一部分相对于所述触敏键盘的预限定定位来将所述触敏键盘置于控制状态；
b.当处于所述控制状态时，通过在所述键盘上的一组相邻的键之间内插信号强度来重复确定控制方向；和
c.将所述控制方向输出到主机以用于控制。
7.根据权利要求6所述的方法，其特征在于，进一步包括以下步骤：
a.通过在所述键盘上的一组相邻键之间内插信号强度来确定控制幅度；和
b.将所述控制幅度输出到所述主机以用于控制。
8.根据权利要求6所述的方法，其特征在于，所述预限定定位是从以下项的组中选择出的一项：搁置在ctrl键和alt键上的一只手的两根手指；和搁置在空格键上的两个拇指。
9.根据权利要求6所述的方法，其特征在于，所述预限定定位被预先选择为符合人体工程学但在普通的键盘使用中不太可能偶然地发生。
10.根据权利要求6所述的方法，其特征在于，所述一组相邻键包括中心键和每个毗邻的键。
11.根据权利要求6所述的方法，其特征在于，所述一组相邻键包括每个与中心键毗邻的键。
12.根据权利要求6所述的方法，其特征在于，所述一组相邻键包括每个位于中心键的特定距离内的键。
13.根据权利要求6所述的方法，其特征在于，所述一组相邻键包括位于所述触敏键盘的一行上的一组毗邻的键。
14.根据权利要求6所述的方法，其特征在于，所述一组相邻键包括位于所述触敏键盘的至少两个毗邻的行上的一组毗邻的键。
15.根据权利要求7所述的方法，其特征在于，所述控制方向以及所述控制幅度被用来模拟操纵杆。
16.根据权利要求7所述的方法，其特征在于，所述控制方向以及所述控制幅度被用来模拟计算机鼠标。
17.根据权利要求6所述的方法，进一步包括以下步骤：
a.建立作为控制件来操作的手指的基线位置；和
b.其中所述确定控制方向的步骤建立相比于所述基线位置的增量。
18.根据权利要求6所述的方法，其特征在于，所述控制方向是从包括以下项的群组中选择的：上、下、左和右。
19.根据权利要求6所述的方法，其特征在于，所述触敏键盘在一时间段内保持在所述控制状态。
20.根据权利要求6所述的方法，其特征在于，所述触敏键盘保持在所述控制状态，直到至少一根手指的至少一部分相对于所述触敏键盘的第二预限定定位的出现为止。
21.根据权利要求20所述的方法，其特征在于，所述第二预限定定位是本位行位置。
22.一种触敏键盘，包括：
a.多个触敏键；
b.信号处理器，所述信号处理器被适配为测量信号强度，所述信号强度对应于所述多个触敏键中的每一个触敏键与接近其的至少一根手指之间的距离；
c.处理器，所述处理器被适配为：
i.响应于所述多个触敏键中的一个触敏键被按压来输出键击，和
ii.输出通过针对所述键盘上的所述多个触敏键中的每一个触敏键内插信号强度来确定的一个或多个触摸点。
CN201780070622.3A 2016-09-16 2017-09-15 触敏键盘 Pending CN109952551A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201662395835P 2016-09-16 2016-09-16
US62/395,835 2016-09-16
PCT/US2017/051918 WO2018053357A1 (en) 2016-09-16 2017-09-15 Touch sensitive keyboard

Publications (1)

Publication Number Publication Date
CN109952551A true CN109952551A (zh) 2019-06-28

Family

ID=61619763

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780070622.3A Pending CN109952551A (zh) 2016-09-16 2017-09-15 触敏键盘

Country Status (5)

Country Link
US (1) US11029843B2 (zh)
JP (1) JP2019537084A (zh)
CN (1) CN109952551A (zh)
DE (1) DE112017004677T5 (zh)
WO (1) WO2018053357A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI778395B (zh) * 2019-07-29 2022-09-21 美商瑟克公司 計算裝置、控制計算裝置之方法及其電腦程式產品

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104919507B (zh) 2012-06-14 2018-06-26 百利游戏技术有限公司 用于增强现实游戏的系统和方法
DE102016212240A1 (de) * 2016-07-05 2018-01-11 Siemens Aktiengesellschaft Verfahren zur Interaktion eines Bedieners mit einem Modell eines technischen Systems
US10394342B2 (en) * 2017-09-27 2019-08-27 Facebook Technologies, Llc Apparatuses, systems, and methods for representing user interactions with real-world input devices in a virtual space
CN107833251B (zh) * 2017-11-13 2020-12-04 京东方科技集团股份有限公司 瞳孔定位装置和方法、虚拟现实设备的显示驱动器
US20190213519A1 (en) * 2018-01-05 2019-07-11 Saent Holding Ltd. Productivity Improvement Device
US10318811B1 (en) * 2018-04-22 2019-06-11 Bubbler International Llc Methods and systems for detecting objects by non-visible radio frequencies and displaying associated augmented reality effects
US11177093B1 (en) * 2018-09-27 2021-11-16 Apple Inc. Touch-sensitive mechanical keyboard with sensing circuits for touch events and key depression events
US11890533B2 (en) 2018-10-19 2024-02-06 Hit Box, L.L.C. Ergonomic game controller and system
US10769874B2 (en) * 2018-12-11 2020-09-08 Ford Global Technologies, Llc Variable height exterior keypad
WO2020147840A1 (zh) * 2019-01-17 2020-07-23 北京钛方科技有限责任公司 触控板按压力检测方法、装置、存储介质和计算机设备
US10852844B1 (en) * 2019-05-09 2020-12-01 Dell Products, L.P. Configuring the layout of a keyboard using gestures
US10719137B1 (en) * 2019-05-09 2020-07-21 Dell Products, L.P. User identification via hand detection using a hovering keyboard
CN211555751U (zh) * 2019-05-20 2020-09-22 光宝电子(广州)有限公司 剪刀件与按键结构
KR20210069491A (ko) * 2019-12-03 2021-06-11 삼성전자주식회사 전자 장치 및 이의 제어 방법
DE102020113863A1 (de) * 2020-05-23 2021-11-25 Andreas Fischer Elektronisches Labor- und Prüfgerät und Verfahren zum Betreiben eines solchen
US11471765B2 (en) * 2020-11-30 2022-10-18 Sony Interactive Entertainment Inc. Handwriting recognition using cardinal directions between sample points
US11614824B2 (en) * 2021-07-29 2023-03-28 Talent Unlimited Online Services Pvt. Ltd. System and method to measure latency in displaying a key tap event
US11983327B2 (en) * 2021-10-06 2024-05-14 Fotonation Limited Method for identifying a gesture
US20230121241A1 (en) * 2021-10-20 2023-04-20 Dell Products L.P. System and method of utilizing a keyboard with a display
TWI824632B (zh) * 2022-07-26 2023-12-01 達方電子股份有限公司 具有鍵擊手感的可靜音輸入裝置
DE102022127225A1 (de) 2022-10-17 2024-04-18 Inventus Engineering Gmbh Vorrichtung und Verfahren zum Steuern von Tasteneinheiten

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101689089A (zh) * 2007-07-12 2010-03-31 爱特梅尔公司 二维触摸面板
US20110210917A1 (en) * 2010-02-26 2011-09-01 Microsoft Corporation User Interface Control Using a Keyboard
CN203838674U (zh) * 2014-05-21 2014-09-17 合肥联宝信息技术有限公司 一种笔记本电脑的触摸装置硬件
CN105022445A (zh) * 2014-04-23 2015-11-04 纬创资通股份有限公司 电子装置与其控制方法
CN105653049A (zh) * 2014-12-01 2016-06-08 罗技欧洲公司 具有触摸敏感元件的键盘

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20010040550A1 (en) * 1998-03-12 2001-11-15 Scott Vance Multiple pressure sensors per finger of glove for virtual full typing
US6057540A (en) * 1998-04-30 2000-05-02 Hewlett-Packard Co Mouseless optical and position translation type screen pointer control for a computer system
US20020180704A1 (en) * 2001-05-30 2002-12-05 Rudd Michael L. Automatic disabling of computer keyboard insertion point control during typing
JP2003208261A (ja) * 2002-01-16 2003-07-25 Toshiba Corp 電子機器およびポインティング手段制御方法
JP2004295727A (ja) * 2003-03-28 2004-10-21 Toshiba Corp 情報処理装置、および入力制御方法
US20060132447A1 (en) * 2004-12-16 2006-06-22 Conrad Richard H Method and apparatus for automatically transforming functions of computer keyboard keys and pointing devices by detection of hand location
JP2008004000A (ja) * 2006-06-26 2008-01-10 Toshiba Corp 入力装置
JP2008134836A (ja) * 2006-11-28 2008-06-12 Wacom Co Ltd タッチパネル装置
US9448721B2 (en) * 2008-03-19 2016-09-20 Blackberry Limited Electronic device including touch-sensitive input device and method of determining selection
WO2012177237A1 (en) * 2011-06-21 2012-12-27 Empire Technology Development Llc Gesture based user interface for augmented reality
EP2592566A1 (en) * 2011-11-10 2013-05-15 Research In Motion Limited Touchscreen keyboard predictive display and generation of a set of characters
JP6233844B2 (ja) * 2014-05-15 2017-11-22 アルプス電気株式会社 キーボード装置
JP2015219663A (ja) * 2014-05-15 2015-12-07 アルプス電気株式会社 キーボード装置
US9746937B2 (en) * 2015-10-02 2017-08-29 Blackberry Limited Method and apparatus for movable assembly position sensing and virtual keyboard display
US10365775B2 (en) * 2016-01-21 2019-07-30 Microchip Technology Incorporated Method and system for sensing impedance change in the local space between electrodes

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101689089A (zh) * 2007-07-12 2010-03-31 爱特梅尔公司 二维触摸面板
US20110210917A1 (en) * 2010-02-26 2011-09-01 Microsoft Corporation User Interface Control Using a Keyboard
CN105022445A (zh) * 2014-04-23 2015-11-04 纬创资通股份有限公司 电子装置与其控制方法
CN203838674U (zh) * 2014-05-21 2014-09-17 合肥联宝信息技术有限公司 一种笔记本电脑的触摸装置硬件
CN105653049A (zh) * 2014-12-01 2016-06-08 罗技欧洲公司 具有触摸敏感元件的键盘

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI778395B (zh) * 2019-07-29 2022-09-21 美商瑟克公司 計算裝置、控制計算裝置之方法及其電腦程式產品

Also Published As

Publication number Publication date
DE112017004677T5 (de) 2019-06-06
US20190294258A1 (en) 2019-09-26
WO2018053357A1 (en) 2018-03-22
JP2019537084A (ja) 2019-12-19
US11029843B2 (en) 2021-06-08

Similar Documents

Publication Publication Date Title
CN109952551A (zh) 触敏键盘
Le et al. InfiniTouch: Finger-aware interaction on fully touch sensitive smartphones
US9891820B2 (en) Method for controlling a virtual keyboard from a touchpad of a computerized device
JP5519539B2 (ja) 処理装置に入力を与える方法及び装置、並びにセンサパッド
JP2019527400A (ja) タッチセンシティブキーボード
US9891821B2 (en) Method for controlling a control region of a computerized device from a touchpad
CN104185831B (zh) 用于使用输入装置动态调节用户界面参数的系统和方法
US9678662B2 (en) Method for detecting user gestures from alternative touchpads of a handheld computerized device
US8144129B2 (en) Flexible touch sensing circuits
US20160364138A1 (en) Front touchscreen and back touchpad operated user interface employing semi-persistent button groups
EP2717120B1 (en) Apparatus, methods and computer program products providing finger-based and hand-based gesture commands for portable electronic device applications
US9311724B2 (en) Method for user input from alternative touchpads of a handheld computerized device
US9529523B2 (en) Method using a finger above a touchpad for controlling a computerized system
US8830189B2 (en) Device and method for monitoring the object's behavior
US20170017393A1 (en) Method for controlling interactive objects from a touchpad of a computerized device
US9542032B2 (en) Method using a predicted finger location above a touchpad for controlling a computerized system
CN102364413A (zh) 手写注释捕捉系统和方法
US10175772B2 (en) Touch sensitive keyboard
US20110248946A1 (en) Multi-mode prosthetic device to facilitate multi-state touch screen detection
Bhowmik Interactive Displays: Natural Human-Interface Technologies
Rekimoto Organic interaction technologies: from stone to skin
US9639195B2 (en) Method using finger force upon a touchpad for controlling a computerized system
Murase et al. Gesture keyboard requiring only one camera
Everitt et al. Investigating Pointing Performance for Tangible Surfaces with Physical 3D Targets
WO2015013662A1 (en) Method for controlling a virtual keyboard from a touchpad of a computerized device

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20190628

WD01 Invention patent application deemed withdrawn after publication