CN106462341B - 用于笔和触敏计算设备交互的传感器相关 - Google Patents

用于笔和触敏计算设备交互的传感器相关 Download PDF

Info

Publication number
CN106462341B
CN106462341B CN201580031182.1A CN201580031182A CN106462341B CN 106462341 B CN106462341 B CN 106462341B CN 201580031182 A CN201580031182 A CN 201580031182A CN 106462341 B CN106462341 B CN 106462341B
Authority
CN
China
Prior art keywords
touch
pen
sensitive
computing device
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201580031182.1A
Other languages
English (en)
Other versions
CN106462341A (zh
Inventor
K·欣克莱
H·本科
M·帕胡德
A·D·威尔森
P·P·伊拉尼
F·吉姆布雷蒂里
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Microsoft Technology Licensing LLC
Original Assignee
Microsoft Technology Licensing LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Microsoft Technology Licensing LLC filed Critical Microsoft Technology Licensing LLC
Publication of CN106462341A publication Critical patent/CN106462341A/zh
Application granted granted Critical
Publication of CN106462341B publication Critical patent/CN106462341B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03545—Pens or stylus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/038—Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry
    • G06F3/0383—Signal control means within the pointing device
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416—Control or interface arrangements specially adapted for digitisers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416—Control or interface arrangements specially adapted for digitisers
    • G06F3/04162—Control or interface arrangements specially adapted for digitisers for exchanging data with external devices, e.g. smart pens, via the digitiser sensing hardware
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041—Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04104—Multi-touch detection in digitiser, i.e. details about the simultaneous detection of a plurality of touching locations, e.g. multiple fingers or pen and finger
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04808—Several contacts: gestures triggering a specific function, e.g. scrolling, zooming, right-click, when the user establishes several contacts with the surface simultaneously; e.g. using several fingers or a combination of fingers and pen

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)

Abstract

笔(502)和触敏计算设备(504)传感器的相关技术的实施例将从触敏笔上的各种抓握接收到的传感器信号和针对触敏计算设备的触摸进行相关，以确定这样的抓握和触摸的上下文(520)并且向该触敏笔或触敏计算设备发出上下文适当的命令(522)。从触敏笔和触敏计算设备二者接收的并发传感器输入的组合被进行相关。该触敏笔和触敏计算设备如何被触摸或抓握被用来确定它们的使用的上下文和用户的意图。随后能够发起基于此的上下文适当的用户接口动作。该上下文还能够被用来标记元数据(524)。

Description

用于笔和触敏计算设备交互的传感器相关
背景技术
许多移动计算设备(例如，平板电脑、电话等)以及诸如桌面数字化仪、绘图板、桌面、电子阅读器、电子白板和其它大型显示器之类的其它设备与用于输入目的的计算设备的数字化仪部件的组合使用笔、指示器或笔型输入设备。这些计算设备中的许多计算设备具有触敏屏幕并且与笔和裸手触摸或与两者组合地进行交互。
发明内容
提供本发明内容以便以简化形式介绍将在具体实施方式中进一步描述的一些概念。本发明内容不旨在标识所要求保护的主题的关键特征或必要特征，也不旨在用于帮助确定所要求保护的主题的范围。
一般来说，本文中所描述的笔和计算设备传感器相关技术的实现方式使从触敏笔(例如，本文中也称为笔、传感器笔或触敏笔)上的各种抓握和对触敏计算设备(例如，触敏平板计算设备)的触摸或其上的抓握接收的传感器信号相关以便确定这种抓握和触摸的上下文，并且向触敏笔和/或触敏计算设备发出上下文适当的命令。
在笔和计算设备传感器相关技术的各种实施例中，从触敏笔和触敏计算设备二者接收的并发传感器输入的组合被相关。该触敏笔如何被抓握以及该触敏计算设备如何被触摸或抓握被用来确定它们的使用的上下文和用户的意图。随后能够发起基于这些抓握和触摸输入的用户接口动作。
在笔和计算设备传感器相关技术的一些实施例中，笔和计算设备运动能够与并发触摸和抓握传感器输入相关，以确定设备是被握持在用户的优选手中还是被握持在用户的非优选手中，从而确定推断的上下文，以及发起上下文适当的命令和能力。例如，所确定的上下文能够被用来发起命令以抑制显示器上的意外内容旋转，平移或缩放显示器上所显示的内容，显示特定于笔的工具的菜单，显示画布工具或绘图工具的菜单，或者显示对计算设备的显示器上的内容进行放大的放大器/放大镜工具，等等。
此外，笔和计算设备传感器相关技术的一些实施例可以用于找到元信息以语义地标记所感测到的抓握或触摸的上下文。例如，一些笔和计算设备传感器相关技术实施例将用户在两个或更多触敏设备上接收的接触的信号相关，并且基于信号的相关性来确定接触的上下文。所确定的接触上下文被标记为在应用中使用的元数据。例如，该上下文可以是用户正在持有设备的哪只手、用户如何握持设备、有多少用户正在共享设备等等。所导出的元数据可以用于标记任何类型的输入并且可以用于其它目的。上下文元数据还可以用于发起上下文适当的用户接口动作。
利用用户或多个用户握持并且触摸触敏笔和/或触敏计算设备以便向用户提供上下文特定工具的自然方式的许多其它能力是可能的。
附图说明
参考以下描述、所附权利要求和附图，将更好地理解所要求保护的主题的具体特征、方面和优点，其中：
图1描绘了示例性天然存在的核心笔抓握和姿势。
图2描绘了用于触摸屏操纵的示例性天然存在的单指延伸抓握。
图3描绘了用于触摸屏操纵的示例性天然存在的多个手指延伸抓握。
图4描绘了其它类型的天然存在的笔抓握。
图5提供了示例性系统，其图示了用于实现如本文中所描述的笔和计算设备传感器相关技术的各种实现方式的程序模块。
图6提供了使用如本文中所描述的笔和计算设备传感器相关技术来提供相关的触摸和传感器笔输入机构的示例性流程图。
图7提供了使用笔和计算设备传感器相关技术以基于由于在两个或更多触敏设备上的接触而接收的相关的信号来提供元数据的示例性流程图。
图8提供了使用指点设备来继续控制触敏计算设备的显示屏上的输入的示例性流程图。
图9提供了将触敏计算设备从主用户传递到次用户的示例性流程图。
图10提供了将触敏计算设备和触敏笔都从主用户传递到次用户的示例性流程图。
图11提供了使用笔和计算设备传感器相关技术来基于如本文中所描述的以缩拢(tuck)抓握的方式被握持在用户的优选手中的笔提供放大器/放大镜工具输入机构的示例性图示。
图12提供了使用笔和计算设备传感器相关技术以如本文中所描述的基于用户的非优选手的动作提供全画布平移/缩放输入机构的示例性图示。
图13提供了使用笔和计算设备传感器相关技术以基于如本文中所描述的用户的优选手和用户的非优选手的触摸和抓握模式提供绘图工具输入机构的示例性图示。
图14提供了使用笔和计算设备传感器相关技术以基于如本文中所描述的用户的优选手和用户的非优选手的触摸和抓握模式提供笔工具输入机构的示例性图示。
图15提供了使用笔和计算设备传感器相关技术以基于如本文中所描述的用户的优选手和用户的非优选手的触摸和抓握模式提供画布工具输入机构的示例性图示。
图16提供了两个用户基于如本文中所描述的触敏笔上的两个用户的抓握模式和笔的定向在它们之间传递触敏笔并且发起上下文适当的能力的示例性图示。
图17提供了两个用户基于如本文中所描述的触敏计算设备上的两个用户的抓握模式和触敏计算设备的定向在它们之间传递或共享触敏计算设备的示例性图示。
图18是描绘了具有简化的计算和I/O能力的简化通用计算设备的一般系统图，其与具有各种传感器、供电和通信能力的触敏笔结合，用于实现如本文中所描述的笔和计算设备传感器相关技术的各种实现方式。
具体实施方式
在所要求保护的主题的实现方式的以下描述中，参照形成其一部分的附图，并且其中，通过说明的方式示出了其中可以实践所要求保护的主题的特定实现方式。应当理解，在不背离当前所要求保护的主题的范围的情况下，可以利用其它实现方式并且可以进行结构改变。
1.0介绍
以下段落提供对触敏计算设备上的移动感测、传感器增强笔、抓握感测和笔+触摸输入的介绍。
1.1手持计算设备上的移动感测
在移动设备上的倾斜、压力和接近感测使得能够进行上下文适应，诸如检测偏向性、纵向/横向检测或步行对静止使用。抓握感测允许移动设备检测用户如何抓握它、或者使用抓握自动接合诸如打电话、拍照或观看视频的功能。本文中所描述的笔和计算设备传感器相关技术的实现方式采用感测自然用户行为并且将其应用于单个或多个触敏笔和触敏计算设备(例如，平板)交互的透视图。
具有3轴陀螺仪、加速度计和磁力计的多点触摸输入和惯性传感器(惯性测量单元(IMU))为移动设备提供了基于抓握和运动动力学来辨别用户意图的新的可能性。此外，其它传感器可以跟踪这些移动设备的位置。笔和计算设备传感器相关技术的实现方式图示了当这些类型的运动感测、抓握感测和多点触摸输入分布在单独的笔和触敏计算(例如，平板)设备上时利用它们的新技术。
1.2平板的抓握和感测
诸如平板之类的轻量计算设备提供了许多新的抓握、移动和感测技术。本文中所描述的笔和计算设备传感器相关技术的实现方式是首先同时在平板和笔上实现全抓握感测和运动感测，用于感测笔+触摸交互。注意，“抓握”可以被系统识别为考虑到器具或设备的3D定向或移动的特定手接触模式的整体组合；也就是说，在触敏抓握感测和惯性运动感测本身之间不能绘制清楚的线，因为所有这些自由度可以由识别程序采用以尽可能精确地对当前观察到的“抓握”进行分类。因此，每当使用术语“抓握”时，暗示了触摸与运动或定向自由度的可能组合。
1.3手掌检测和无意的触摸处理
手掌接触可能在笔+触摸交互期间引起显著的假激活问题。例如，一些便签制作应用程序包括掌闭锁，但似乎依赖于关于用户将如何和在哪里写入的应用程序特定的假设。一些手掌误触(rejection)技术要求用户在将手掌向下放置之前将笔尖置于屏幕上或附近，这需要用户修改其自然移动。笔和计算设备传感器相关技术的实现方式使用传感器来检测触摸屏接触何时与握持笔的手相关联。
1.4传感器增强和多DOF笔输入
辅助倾斜、滚动和其它笔自由度可以组合以调用菜单或触发模式开关，而不必中断自然使用。笔和计算设备传感器相关技术的实现方式实现了其中用户可以在打褶笔时延伸一个或多个手指的能力。笔和计算设备传感器相关技术实现方式可以将这些接触感测为具有单独功能的不同上下文，即使用户将笔远离屏幕握持。
可以用运动、抓握和近表面范围感测来增强笔。一种类型的笔使用抓握感测来检测三脚架书写抓握或调用不同类型的刷子。其它系统使用笔上的集成IMU作为帮助抓握识别并且感测相关联的计算设备/平板(例如，用于水平与绘图桌使用)的定向的特征，以帮助提供适当的素描辅助。本文中所描述的笔和计算设备传感器相关技术实现方式通过探测所感测的笔抓握和与笔+触摸手势相结合的运动以及通过将抓握感测扩展到平板本身超出了这些努力。
2.0自然笔和平板用户行为
本文中所描述的笔和计算设备传感器相关技术的实现方式使用自然笔和触敏计算设备(例如，平板)用户行为来确定与这些行为相关联的上下文，以便向用户提供上下文适当的工具。因此，在数字笔和平板任务期间出现的一些常见抓握，特别是在笔在手中时被链接的触摸屏交互，对于回顾是有用的并且在下文列举并且在图1、图2、图3和图4中示出。已经观察到广泛多种行为(在下文列出为B1至B11)，并且用于设计笔和计算设备传感器相关技术的各种实现方式。以下段落侧重于惯用右手的人的行为；已知惯用左手的人展示多种附加的抓握和适应。应当指出，下文所讨论的并且在图1、图2、图3和图4中示出的行为本质上仅是示例性的，并且其它行为是完全可能的。
2.1行为B1，在使用触摸时收纳笔。
当在触敏计算设备(诸如平板)的触摸屏上执行触摸手势时，用户收纳笔的趋势是显而易见的。当用户预期他们将长时间不再需要它时，或者如果他们遇到他们感觉太难或难以用手中笔执行的任务，诸如使用屏上键盘打字很多文本，则用户通常仅放下笔。
2.2行为B2，用于收纳笔的缩拢与手掌。
用户采用两个不同的抓握来收纳笔。这些是图1中所示的缩拢抓握(放置在手指之间的钢笔)104和图1中所示的手掌抓握(手指轻轻地围绕笔杆)106。用户在暂停期间收纳笔或提供触摸交互。
2.3行为B3，优选笔收纳抓握取决于任务上下文。
对于采用缩拢抓握104和手掌抓握106的用户，缩拢抓握提供快速瞬时的触摸交互，而如果用户预期更长的触摸交互序列，则主要使用手掌抓握。其它用户仅使用缩拢抓握104来收纳笔。
2.4行为B4，抓握与姿势。
对于每个抓握，即，握持笔的每种方式，通常通过手腕旋后(即，向上转动手掌)发生改变笔定向的姿势范围。因此，用笔进行的人的抓握运动涵盖筒上的手接触模式以及笔的3D定向。如图1所示，对于缩拢抓握104和手掌抓握106观察到完全手掌旋后112，而对于书写抓握仅观察到半旋后110。
2.5行为B5，用于触摸的延伸抓握。
如图2和图3所示，存在许多延伸抓握，其中，用户在握持笔以与触摸屏接触的同时延伸一个或多个手指。这些被广泛地分类为用户可以从缩拢抓握或手掌抓握链接的单指延伸抓握(图2，200)与多指延伸抓握(图3，300)。(注意，尽管未图示，但是根据一些抓握，三指延伸抓握也是可能的)。
2.6行为B6，笔抓握的变化。
用户在用于书写的三脚架抓握中展示许多变化，其导致用户所得到的缩拢抓握、手掌抓握和延伸抓握的变化。例如，一个用户的缩拢风格导致她喜欢她的无名指用于单点触摸手势(参见缩拢-无名指延伸抓握(图2，206))。
2.7行为B7，抓握的一致性。
每个用户倾向于在相同的情形下一致地应用相同的笔抓握。用户还倾向于维持任何抓握需要最小的努力，直到在交互中感知到的障碍(诸如疲劳或低效)给予他们偏移抓握的动机为止。当坐着而不是站立时，用户在移动计算设备(例如，平板)上更频繁地切换抓握，这可能是因为在站立时握持或重新抓握这样的设备的有效方式很少。
2.8行为B8，触摸屏误触行为。
用户经常采用笔抓握和手姿势，诸如在书写时将手掌浮动在触摸屏上方，或者以螃蟹状姿势张开手指，以避免与屏幕的偶然接触。另一种触摸屏误触形式是沿着触敏计算设备(例如，平板罩板)的外边缘置放拇指，而不是在拾取触敏计算设备时使其偏离触摸屏太近。这些非自然和可能疲劳的适应反映了系统不能区分有意触摸或无意触摸的上下文。
2.9行为B9，激活笔控制的手指抬起。
观察到，用户仅从书写抓握(图1，102，108，110)激活笔杆按钮，然后仅用食指激活。用户在轻敲按钮时仍然握持笔。拇指也潜在地可用于来自手掌状的拇指滑动抓握(图4，404)的控制。
2.10行为B10，外部精确抓握。
用户采用外部精确抓握(图4，402)，而笔保持朝向指尖并且垂直于书写表面，以精确地指向小目标。这提供了提供上下文增强的可能性，诸如当检测到该抓握时自动缩放笔尖下方的平板屏幕的区域。
2.11行为B11，传递抓握。
当参与者将笔和触敏计算设备(例如，平板)传递给另一个人时，观察到传递握捉。用户倾向于以更多的动力抓握牢固地握持设备，并且将其从身体延伸，同时保持其水平，以使他们的意图是清楚的，并且以使另一个人可以从远侧抓住它。
已经描述了这些自然行为，以下部分描述了如何使用对所有这些抓握、触摸和运动的识别来利用这些行为，以便提供用于执行用户所意图的动作的上下文适当的工具。
3.0笔和计算设备传感器相关技术的介绍：
本文中所描述的笔和计算设备传感器相关技术实现方式为触敏计算设备/笔(例如，平板-触笔)分布式感测系统提供跨设备同步姿势和交叉信道输入，以感测由于笔+触摸交互而出现的天然存在的用户行为和独特的上下文。然而，注意，尽管本文大部分讨论集中于笔/平板交互，但是其它笔状机械中介或小型可穿戴设备可以在使用笔和计算设备传感器相关技术的变化与平板互动时实现上下文感测。佩戴在食指上的小的运动感测环例如可以感测用户用该手指与另一数字轻敲屏幕的时间。手表、佩戴在指尖或指甲上的传感器、手镯、手臂带、绷带或包裹物、肘垫、背带、腕带、用传感器增强的手套、皮下植入物或甚至具有嵌入式传感器的电子织物衬衫袖子表示可能使得能够并且为本领域技术人员建议相关技术的其它类似示例。同样地，诸如尺、罗盘、解剖刀、镊子、邮票、放大镜、透镜、小键盘、计算器、曲线板(french curve)、形状模板、颜料刷或喷枪之类的其它手动工具可以用作也使得能够实现相关技术的笔状器具，是否握持在优选手中还是握持在非优选手中。
本文中所描述的笔和计算设备传感器相关技术的实现方式采用抓握和触摸感测以提供利用用户如何自然地操纵这些设备的新技术。笔和计算设备传感器相关技术的实现方式可以检测用户是否以书写抓握握持笔，或者藏于手掌中和/或以收纳模式在他的手指之间缩拢。此外，笔和计算设备传感器相关技术实现方式可以区分诸如由用户的非优选手产生的拖拽和夹捏手势之类的裸手输入与由必须向笔赋予可检测的运动信号的握持触敏笔的手产生的触摸手势。笔和计算设备传感器相关技术的实现方式可以感测哪个手抓握触敏计算设备(例如，平板)，并且确定屏幕相对于笔的定向，并且使用屏幕的定向和触摸模式以防止意外的屏幕内容旋转。通过选择性地组合来自触敏笔和触敏计算设备的传感器信号并且使用它们来互补，笔和计算设备传感器相关技术的实现方式可以针对使用上下文定制用户与它们的交互，诸如例如通过在书写时忽略无意触摸输入，或者支持上下文适当的工具，诸如用于当用户夹捏在他的手指之间打褶的触敏笔时出现的详细笔划工作的放大器。
如本文中所描述的笔和计算设备传感器相关技术的实现方式使用利用电源(例如，电池)和多个传感器(例如，传感器笔)增强的触敏笔以基于握持触敏笔的用户的相关抓握模式和触敏计算设备(例如，触敏平板计算机)上的触摸接触和抓握以及这些设备的相关运动和定向实现多种输入技术和命令。例如，压力传感器可以用于检测用户在传感器笔上的抓握模式和在触敏计算设备上的触摸和抓握模式。笔和计算设备传感器相关技术的实现方式使传感器笔抓握和触敏计算设备触摸和抓握相关，以确定用户的意图和用户希望使用触敏笔或触敏计算设备的上下文。这基于天然存在的用户行为，诸如例如，用户用他们的优选手还是他们的非优选手抓握任一设备。所确定的用户意图和使用上下文然后用于生成用于触敏计算设备和/或触敏笔的上下文适当的命令和能力。
如本文中所描述的涉及压力传感器等的术语压力可以是指各种传感器类型和配置。例如，在各种情况和实现方式中，压力可以是指施加在显示器上的笔尖压力。通常，笔尖压力通常由笔内部的某种类型的压力换能器感测，但是在一些设备中也可以由显示器/数字化仪本身完成笔尖压力感测。另外，术语压力或压力感测等还可以是指感测接触触敏笔或触敏计算设备的外壳或表面的手(或手指)的抓握压力的单独通道。由笔和计算设备传感器相关技术采用的各种感测模态可以采用两种类型的压力感测(即，笔尖压力和抓握压力)来发起各种能力和命令。
用于实现本文中所描述的笔和计算设备传感器相关技术的许多实现方式中的一些实现方式的各种设备包括出于讨论的目的在本文中通常被称为传感器笔或触敏笔的笔、指示器、笔型输入设备等。进一步地，本文中所描述的传感器笔或触敏笔可以适于合并电源和传感器的各种组合。例如，存在将功率并入笔中的各种可能性，诸如通过电感耦合，并入当笔进入范围内或者对接到计算设备或放置在计算设备上/附近时快速重新充电的笔中的超级电容器，并入笔中的电池，经由笔绳获得功率，或经由笔的运动获取寄生功率。当笔未移动或未被抓握时，电源可以具有自动低功率模式。传感器也可以通知该决定。传感器的各种组合可以包括但不限于惯性传感器、加速度计、压力传感器、抓握传感器、近场通信传感器、RFID标签和/或传感器、温度传感器、麦克风、磁力计、电容传感器、陀螺仪、可以与用于与各种计算设备接口的各种无线通信能力结合跟踪的设备、指纹传感器、皮肤电反应传感器等的位置的传感器。注意，任何或所有这些传感器可以是多轴或多位置传感器(例如，3轴加速度计、陀螺仪和磁力计)。另外，在各种实现方式中，本文中所描述的触敏笔已经进一步适于合并存储器和/或计算能力，其允许它们与其它计算设备、其它触敏笔组合或协作、或者甚至作为独立计算设备动作。
笔和计算设备传感器相关技术的实现方式可适于与具有一个或多个触敏表面或区域(例如，触摸屏、触敏罩板或壳体、用于检测悬停式输入的传感器、光学触摸传感器等)的任何触敏计算设备一起使用。注意，触敏计算设备包括单触摸设备和多触摸设备。触敏计算设备的示例可以包括但不限于连接到计算设备的触敏显示设备、触敏电话设备、触敏媒体播放器、触敏电子阅读器、笔记本、上网本、小册子(双屏)、平板型计算机或具有一个或多个触敏表面或输入模态的任何其它设备。这样的计算设备的触敏区域不需要与显示器相关联，并且接触敏感区域的位置或类型(例如，显示器上的设备的前部，与没有任何相关联的显示器的设备的背部)可以被认为是用于发起一个或多个运动姿势(即，与运动姿势相对应的用户接口动作)的输入参数。
贯穿本文档使用的术语“触摸”通常是指使用电容传感器等的计算设备的触敏显示器或其它触敏表面上的物理用户接触(例如，手指、手掌、手等)。然而，一些触摸技术结合了某种程度的非接触感测，诸如使用高度敏感的自电容检测器来检测手指、笔和手在显示器附近的几何形状，以及笔尖悬停感测。为此目的，IR传感器-发射器对或者像素内传感器显示元件的阵列也可以部署在笔、平板和键盘上。因此，触摸和抓握也可以合并这种非接触信号用于“抓握”检测的整体或统一概念。
另外，笔和计算设备传感器相关技术实现方式可以使用多种技术来区分由触敏计算设备的一个或多个触敏表面接收的有效触摸和无效触摸。有效触摸和接触的示例包括用户手指触摸(包括手势类型触摸)、笔或笔触摸或输入、悬停类型输入或其任何组合。关于无效或非预期的触摸，处于设备或应用控制目的，笔和计算设备传感器相关技术实现方式禁用或忽略期望接收无意接触或者不意图作为输入的有意接触的触敏输入表面的一个或多个区域或子区域。可能不旨在作为输入的接触的示例包括但不限于用户的手掌停留在触摸屏上，同时用户使用笔在该屏幕上书写或通过抓握触敏罩板等来抓握计算设备。
笔和计算设备传感器相关技术实现方式提供了与基于笔的用户与触敏笔和触敏计算设备交互的若干优点，包括但不限于：
---感测抓握和运动以捕获笔和触敏计算设备(例如，平板)使用的完整上下文的新型解决方案。
---使用传感器来减轻无意触摸(来自手掌或者拾取设备时的拇指)，还可以通过非优选手促进有意触摸，或者经由延伸抓握以交错笔输入和触摸输入。
---新型的上下文适当的工具，其结合了抓握、运动和触摸屏接触，包括例如用于裸手输入、打褶笔时的夹捏输入的不同工具，以及当笔准备用于书写时用户可以用非优选手召唤的绘图工具。
3.0示例系统：
笔和计算设备传感器相关技术实现方式部分地通过相关来自触敏笔和触敏计算设备的传感器输入来操作以触发关于触敏笔或触敏计算设备或两者的各种动作和能力。
图5提供了图示了用于实现笔和计算设备传感器相关技术的各种实现方式的程序模块的示例性系统500的图。更具体地，图5示出了经由通信链路506与触敏计算设备504通信的触敏笔或传感器笔502。如本文进一步详细讨论的，传感器笔502可以包括多种传感器。传感器笔502中的传感器模块508监测这些传感器中的一个或多个传感器的读数，并且将它们提供给通信模块510以发送到触敏计算设备504(或者可能是执行计算并且向触敏计算设备504提供输入的另一个计算设备(未示出))。应当注意，在另一实现方式中，在发送之前(即，利用机器学习的抓握识别)可以在笔上直接进行一些(或所有)计算，并且一些数据可能不总是被发送到触敏计算设备(即，如果结果用于笔的本地)。在一些实例中，触敏计算设备可以向笔而非或者最要的向触敏计算设备发送数据的笔向发送信息。
传感器笔输入模块512从传感器笔502的一个或多个传感器接收输入(例如，惯性、加速度计、压力、触摸、抓握、近场通信、RFID、温度、麦克风、磁力计、电容传感器、陀螺仪、IR或电容式接近传感器、指纹传感器、皮肤电反应传感器等)，并且将该传感器输入提供给抓握和触摸确定模块516。类似地，计算设备触摸输入模块514从触敏计算设备504的一个或多个传感器接收输入(例如，惯性、加速度计、压力、触摸、抓握、近场通信、RFID、温度、麦克风、磁力计、电容传感器、陀螺仪、IR或电容式接近传感器、指纹传感器、皮肤电反应传感器等)，并且将该传感器输入提供给抓握和触摸确定模块516。
抓握和触摸确定模块516基于用户的手在传感器笔的触敏表面上的接触(和/或笔的定向，偏航、俯仰、滚动或其一些子集，和/或来自传感器的其它信息)来确定用户在传感器笔502上的抓握。例如，来自用户在笔上的抓握的传感器信号可以与抓握模式的数据库518进行比较，以便确定抓握笔的用户的抓握模式或多个抓握模式。在一个实现方式中，经训练的分类器用于基于抓握训练数据将传感器信号分类为传感器笔502上的抓握模式。注意，该抓握训练数据可以是(1)用于许多用户的大样本；(2)仅基于来自特定用户的输入而适应或训练；和(3)两者的一些加权组合。还有，基于输入的显着尺寸的单独数据库(例如，惯用左手的用户与惯用右手的用户，所使用的设备的大小或类型，设备的当前使用姿势，无论是在桌子上，握持在手中，停留在膝上等等)可以触发使用整体或部分地针对每个使用情况优化的单独数据库。类似地，抓握和触摸确定模块516基于用户的手指或手在触敏计算设备504的显示器上的接触信号来确定用户在触敏计算设备504的显示器上的触摸(以及/或设备的定向和/或来自传感器的其它信息)。附加地，抓握和触摸确定模块516可以确定用户是否正在抓握触敏计算设备的壳体的触敏表面。例如，来自用户在触敏计算设备的壳体上的抓握的传感器信号可以与抓握模式的数据库518进行比较，以便确定抓握该设备的用户的抓握模式或者多个抓握模式。在一个实现方式中，一个或多个触敏传感器报告壳体的什么部分被触摸的图像。可以使用各种图像处理技术来解释图像并且推断抓握。在一个实现方式中，在设备(例如，壳体合并电容传感器矩阵)的壳体上感测(多点触摸，电容)抓握模式并且触敏计算设备(和/或笔)的运动信号和定向也被馈入该确定中。在一些实现方式中，如果触摸屏具有非接触式接近感测能力，则在设备的屏幕边缘处的感测接近度可以用作壳体上的抓握感测的良好代表。在一个实现方式中，经训练的分类器用于基于抓握训练数据将传感器信号分类为触敏计算设备的壳体上的抓握模式。
抓握和触摸确定模块516将来自传感器笔502和触敏计算设备504的传感器的传感器输入相关，以将用户如何抓握笔与用户如何与屏幕交互或触摸敏感计算设备的情况相关联。该相关数据可以用于确定用户触摸传感器笔和/或触敏计算设备的用户的优选手/非优选手。在一个实现方式中，由于笔的运动，优选手与非优选手区分开。当优选手的一部分与计算设备的触摸屏接触时，测量笔运动中的碰撞。在接触之后，还可以连续地确认笔运动与触摸屏运动相关，以便确认握持笔的手被握持在用户的优选手中。在一些实现方式中，当触摸屏幕时(例如，如果对屏幕的触摸非常微妙或柔软)，笔不必记录碰撞，以便只要观察到相关运动，就确定用户的优选手或非优选手。
所确定的抓握和触摸模式以及其它相关的传感器输入也可以被输入到上下文确定模块520中。上下文确定模块520从相关的抓握模式、触摸模式和其它传感器数据确定用户的意图和用户打算的动作的上下文。上下文示例包括但不限于多少用户正在与笔或触敏计算设备交互、正在与多少设备交互、用户是否将传感器笔或计算设备握持在用户的优选手还是非优选手、笔或计算设备的各个或相对运动、触敏笔或触敏计算设备如何被抓握或触摸、应用状态、笔定向、触敏计算设备定向、传感器笔相对于计算设备的定向、触敏笔和触敏计算设备的轨迹和/或加速度、用户的身份等等。该上下文数据可以被发送到元数据标记模块524，该元数据标记模块524可以用于语义地标记该数据。
触摸/抓握模式和其它相关联的传感器读数和任何相关联的上下文数据被输入到命令发起模块522中。命令发起模块522评估可用输入以触发触敏计算设备和/或传感器笔上的一个或多个命令或能力，以便通过触发或激活触敏笔502和/或触敏计算设备504上的一个或多个命令或运动手势来以更有效和用户友好的方式帮助实现用户的意图。将在下文详细讨论的所触发的各种运动手势或命令(526，528，530，532，534，536，538和540)的示例由命令发起模块522激活。笔和计算设备传感器相关技术的实现方式允许通过用户接口来定义用户定义的运动手势542，该用户接口允许用户使用传感器笔抓握与触敏计算设备504上的触摸输入和/或抓握结合来定义一个或多个能力或运动手势。运动姿势或能力526至540中的许多运动姿势或能力在本文档的后面进一步详细描述，这些运动姿势和能力中的许多运动姿势和能力的示例在图11至图17中图示。
关于悬停范围，在各种实现方式中，笔和计算设备传感器相关技术考虑传感器笔502在触敏计算设备504的数字化仪上方的距离。尽管可以考虑多种范围，但是在各种测试实现方式中，在数字化仪的悬停范围内或超出数字化仪的范围之外考虑三个范围类别，包括：物理接触。用于任何特定运动姿势的激活机构可以结合计算设备的任何其它相关输入、触摸和/或运动来考虑传感器笔的这些不同范围。
在一些实现方式中，原始传感器读数可以从传感器笔502报告或发送到计算设备504，以由计算设备进行评估和表征。例如，来自传感器笔502内的惯性传感器的原始传感器数据可以由传感器笔报告给触敏计算设备504，然后计算设备确定作为来自惯性传感器的数据的函数确定笔定向。可替代地，在各种实现方式中，传感器笔502使用板载计算能力来评估来自各种传感器的输入。例如，从传感器笔502内的惯性传感器导出的传感器数据可以由传感器笔的计算部件处理以确定笔定向，然后倾斜定向由传感器笔报告给计算设备504。
可以根据传感器笔的计算能力来执行报告原始传感器数据和由传感器笔502向计算设备报告经处理的传感器数据的任何期望的组合。然而，出于解释的目的，本文中的讨论通常是指由传感器笔502向触敏计算设备504报告传感器数据，以便由计算设备进一步处理以确定各种命令、运动姿势或其它输入场景。在一些实现方式中，用户在计算设备的触敏屏幕上的触摸与对笔中的陀螺仪或加速度计的碰撞相关，以便确定用户正在做什么。事实上，该技术的许多实现方式使用触、对笔的碰撞和笔抓握之间的相关性，以确定用户的意图是什么。下面简要介绍由笔和计算设备传感器相关技术实现的各种运动手势和能力的几个示例。
例如，被称为“放大器”或“放大镜工具”(图5，530)的一种这样的输入技术使用来自用户在触敏笔502上的抓握的传感器输入来辨别笔被握持在用户的手中的缩拢位置。同时，用户在计算设备的触敏屏幕上的触摸被配准到进行诸如相对于屏幕的夹捏运动之类的双指触摸手势的用户的触摸。这两个所感测的输入被相关，以使用握持笔的手的夹捏运动引起放大器/放大镜工具530。原理是，由于用户通过仅暂时收纳笔并且笔仍然处于准备就绪的事实而再次演示使用笔的意图，与握持笔的手的触摸交互应当强调支持笔的能力。放大器/放大镜工具530的优点在于，其支持并且强调影响仅显示在屏幕上的内容的局部区域的快速缩放，其特别适合于详述使用笔的工作。在一些实现方式中，用户在计算设备的触敏屏幕上的触摸与对笔中的陀螺仪或加速度计的碰撞相关，以便确定用户的意图。
在一个实现方式中被称为“全画布平移/缩放”手势(图5，532)的有关手势使用所感测到的用户的双指触摸手势，诸如用户的非优选手在触敏计算设备504(例如，平板)的显示器上的夹捏运动，来触发在计算设备的显示器上显示的内容的标准全画布缩放。当传感器笔502没有准备就绪时(例如，当传感器笔以缩拢抓握或者手掌抓握被握持在用户的优选手中，或者用户根本没有握持传感器笔时)提供该功能性。然后，由于在笔中缺少对应的运动，非优选手势可以被识别为这种。
在本文中被称为“笔工具”手势(图5，536)的另一手势使用传感器笔502和触敏计算设备504的传感器来检测用户正把传感器笔拿在用户的优选手中的缩拢位置(例如，缩拢抓握)，并且检测计算设备504的触敏显示器上的并行接触，诸如来自用户的优选手的手指的轻敲。这两个动作的相关引出一笔专用工具的菜单。在一些实现方式中，当笔被握持在用户的首选手中的完全掌控位置时，可以显示笔工具选项的不同调色板。
在本文中被称为“画布工具”手势(图5，538)的类似手势使用笔的传感器和触敏计算设备上的传感器检测用户何时正把触敏笔502握持在用户的优选手中的非书写位置中并且检测计算设备504的触摸屏上的接触，诸如用户的非优选手的手指轻敲。这些相关的并行动作使得画布工具的菜单显示在计算设备的显示器上。例如，该工具菜单可以包括撤消/重做、剪切-复制-粘贴、新页面、搜索和类似命令。
在本文中被称为“绘图工具”手势(图5，540)的另一手势使用笔502的传感器和触敏计算设备504上的传感器检测触敏笔正以书写抓握被握持在用户的优选手中并且检测诸如用户的非优选手对计算设备504的触敏显示器的单指触摸之类的接触。当笔准备好书写时，使用用户的非优选裸手的一个手指轻敲打开一组绘图工具。这些特殊工具支持使用笔。这样的工具可以是例如绘制弧的圆规或对屏幕上的内容着色的喷枪。
附加地，“高级绘图工具”手势(图5，528)使用笔502上的传感器和触敏计算设备504上的传感器来检测传感器笔以书写抓握被握持在用户的优选手中并且检测计算设备的触敏显示器处的诸如用户的非优选手的夹捏运动之类的双指触摸手势。当笔准备好写入时，用户的非优选手的夹捏运动打开一组高级绘图工具。这些特殊工具进一步支持使用从第二触摸受益的笔。例如，这些高级绘图工具可以包括尺子或对准边缘、曲线板或拉动新张纸的功能(取决于特定的高级绘图工具，可能具有双指位置、旋转和/或缩放)。
相对于计算设备的相关传感器笔运动的其它示例包括使用笔传感器(例如，加速度计、压力传感器、惯性传感器、抓握传感器等)来确定传感器笔何时被用户拾取或放下。通过考虑与计算设备上的用户的抓握模式(例如，不被用户握持，用用户的非优选手或非优选手触摸显示器等)相关的当前传感器抓握模式(即，被打褶在用户的优选手中，准备好写入用户的优选手中，放下)，可以发起适当的命令。
笔和计算设备传感器相关技术的一些实现方式在触敏计算设备504的壳体的背面和侧面上使用电容式抓握感测来检测若干个附加接触。
笔和计算设备传感器相关技术的一些实现方式可以在多用户/多设备模式中使用。例如，在一些实现方式中，主用户在触敏计算设备504上的抓握和次用户在触敏计算设备上的抓握被感测并且相关。可以例如通过触敏计算设备上的触敏表面来感测抓握，或者可以通过确定每个用户的皮肤电响应来感测抓握，并且皮肤电响应中的差异可以用于从一个用户告诉另一个用户。也可以使用其它传感器数据，诸如例如加速度计数据、位置数据、轨迹数据等。评估主用户和次用户的抓握以发起在触敏计算设备504上执行的应用中的命令。可以评估相关的抓握和触敏计算设备504的定向以确定次用户的抓握表示计算设备从主用户到次用户的切换。在这种情况下，触敏计算设备的一个或多个能力可以在切换之后被限制。可替代地，可以确定次用户的抓握与主用户的抓握并行。在这种情况下，可以在计算设备上录入共享模式。例如，可以仅允许次用户仅查看和标记当前显示在计算设备的显示器上的内容。存在其中用户拿起并且用双手握持笔使得笔不可用的许多实例。
笔和计算设备传感器相关技术的实现方式使用抓握来感测用户用哪只手握持触敏计算设备504。笔和计算设备传感器相关技术的实现方式然后使用它来引发触敏计算设备504的适当侧处的“拇指菜单”(图5，534)，其有利地允许用户直接用拇指激活各种按钮和菜单。如果用户用第二只手抓住触敏计算设备，则笔和计算设备传感器相关技术的实现方式使得拇指菜单在其首次出现的一侧可见。
与触敏计算设备类似，在笔和计算设备传感器相关技术的一些实现方式中，可以感测主用户的抓握和次用户在触敏笔502上的抓握。如先前所讨论的，例如也可以考虑其它数据，诸如加速度、位置和轨迹数据。主用户和次用户的抓握然后可以被相关以发起在触敏笔502上执行的应用中的命令。例如，可以确定次用户的抓握以表示笔502从主用户到次用户的切换。在这种情况下，可以经由笔502的切换将数据从主用户传递到次用户。次用户然后可以将所传递的数据下载到计算设备，例如，最初与触笔一起使用的不同计算设备。可替代地，可以在切换之后限制触敏笔502的一个或多个能力。
除了在传感器笔502上和在计算设备504上的抓握模式之外，一些实现方式考虑计算设备和传感器笔的运动。例如，实现方式使用传感器笔502和计算设备的运动以及夹持模式来确定笔是否被握持在用户的优选手(或非优选手)中。可以从相关的抓握模式和相关联的信息确定用户的优选手和非优选手。例如，当表示笔碰撞的运动信号与触敏计算设备上的新接触同时发生时，传感器笔502和触敏计算设备504上的抓握/触摸都相关，并且特定运动手势或命令基于这些识别的抓握模式来发起。
进一步地，在各种实现方式中，笔和计算设备传感器相关技术还有利地拒绝或忽略用户的不想要的或非预期的触摸。为此目的，可以使用手掌误触模块(图5，526)。特别地，手掌误触模块526评估任何触摸以确定该触摸是否是预期的或者它是由无意中停留在触敏计算设备上的手掌而做出的，然后接受该触摸作为输入用于进一步处理，或拒绝该触摸。另外，在各种实现方式中，取决于该触摸的上下文，手掌误触模块禁用或忽略(即，“拒绝”)任何触敏表面的特定区域上或附近的用户手掌触摸。注意，“被拒绝的”触摸仍然可以由笔和计算设备传感器相关技术作为输入来处理，以知道手掌被植在何处，但被标记，使得无意按钮按压或手势不会在操作系统或应用中被意外触发。在一些实现方式中，笔和计算设备传感器相关技术能够在接触移动时(只要接触正在触摸)跟踪手掌(例如，使用所指定的联系人标识符)。此外，在一些实现方式中，如果新接触在手掌接触的给定半径内被检测到，则它们也将被标记为手掌接触(例如，指节)并且被忽略。类似于手掌误触模块526，还可以启用拇指接触误触模块544。
4.0示例过程
已经描述了用于实现笔和计算设备传感器相关技术的实现方式的示例性系统，下面的部分讨论用于实践笔和计算设备传感器相关技术的各种实现方式的示例性过程。
图6描绘了用于实践该技术的一个实现方式的示例性过程600。如方框602所示，接收来自触敏笔设备和触敏计算设备的并行传感器输入的组合。这些并行传感器输入包括基于触敏笔上的抓握模式的一个或多个传感器输入以及基于触敏计算设备上的触摸模式的一个或多个传感器输入。在一些情况下，如果用户没有触摸或抓握这两个项之一，则笔或触敏计算设备上可能没有触摸模式。如方框604所示，传感器输入用于确定如何抓握触敏笔与如何触摸触敏计算设备并行。例如，评估抓握模式和触摸模式以确定是否用户正在使用用户的优选手或用户的非优选手(即，在一些实现方式中，基于触敏计算设备上的手的触摸按下与触敏笔的陀螺仪或加速度计中的碰撞的相关性来检测支配手/优选手，并且假定笔被握持在优选手中)。如方框606所示，基于触敏笔上的抓握模式和触敏计算设备上的触摸模式的组合来发起上下文适当的用户接口动作。例如，确定笔设备如何被用户的优选手或非优选手触摸可以用于推断使用的上下文和/或用户意图，以便发起上下文适当的命令或能力，诸如关于图5所描述的那些。
图7描绘了用于实践笔和计算设备传感器相关技术以便找到元信息的另一示例性实现方式700。如方框702所示，由单个用户在两个或更多触敏设备上的接触的信号被相关。例如，两个或更多触敏计算设备中的一个可以是传感器笔，并且一个可以是平板计算设备。如方框704所示，基于信号的相关性来确定两个或更多触敏设备上的接触的上下文。如方框706所示，所确定的接触的上下文被标记为元数据用于应用。例如，上下文元数据可以包括但不限于多少用户正在与笔或触敏计算设备交互，正在与多少设备进行交互，用户是否把传感器笔或计算设备握持在用户的优选手中，笔或计算设备的各个或相对运动，传感器笔或触敏计算设备如何被抓握或触摸，笔定向，触敏计算设备定向，传感器笔相对于计算设备的定向等等。如果指纹传感器可用，则可以使用指纹来确定哪个用户正在握持设备，用户正在用哪个手指触摸设备，用户是否正用他的首选手并且尤其是以该抓握握持该设备。例如，指纹传感器还可以用于通过他或她的指纹来识别用户以建立用户的优选模式。元数据可以进一步用于发起上下文适当的用户接口动作，如方框708所示，或者其可以用于一些其它目的。应当注意，类似的过程可以有利地用于为多于一个用户查找和标记元数据。
图8描绘了用于实践笔和计算设备传感器相关技术的又一示例性实现方式800。如方框802所示，当指向设备进入计算设备的触敏表面的预定范围内时，感测到计算设备的存在。例如，指向设备可以是触敏笔。如方框804所示，当指向设备在预定范围内时，使用指向设备的运动开始控制计算设备的显示屏上的输入。如方框806所示，当指向设备在预先确定的范围之外时，使用指向设备的运动继续控制显示屏上的输入。应当注意，悬停感测对电磁数字化仪是固有的，当指向器(例如，笔)足够靠近屏幕，该电磁数字化仪感测指向器尖端(例如，笔尖)的x，y位置。指示器(例如，笔)将通过无线电链路保持报告其3D定向(和运动信号)。这也可以用于推断一些相对运动，或继续光标控制。笔和计算设备传感器相关技术的一些实现方式还可以使用加速度计或其它传感器数据来跟踪计算设备的位置。
图9描绘了用于实践笔和计算设备传感器相关技术的另一示例性过程900。如方框902所示，使用传感器数据来感测主用户在触敏计算设备上的抓握(例如，传感器数据示出抓握是用一只手，设备是平的，并且设备的加速度朝向最有可能在主用户的相对侧上的次用户)。如方框904所示，次用户在触敏计算设备上的抓握也使用传感器数据来感测(例如，传感器数据示出了次用户作为主用户在设备的相对侧上的抓握)。如方框906所示，将主用户和次用户的抓握相关以确定抓握的上下文(例如，它们是否正在共享设备或他们正在将其传递其它用户)，并且如方框908所示，发起在触敏计算设备上执行的应用中的命令。如先前所讨论的，抓握的上下文可以指示触敏计算设备正在从主用户传递到次用户。可替代地，抓握的上下文可以指示主用户正在与次用户共享触敏计算设备。根据上下文，将在触敏计算设备上启用不同的命令和能力。例如，可以例如通过使用语音命令来确认用户的共享他们的设备的意图。
图10描绘了用于实践笔和计算设备传感器相关技术的又一示例性过程1000。在该实现方式中，触敏计算设备和触敏笔都从主用户传递到次用户。如方框1002所示，感测表示主用户在触敏计算设备和触敏笔上的抓握的传感器输入。在大约同时，如方框1004所示，也感测表示次用户在触敏计算设备和触敏笔上的抓握的传感器输入。主用户和次用户在笔和触敏计算设备上的抓握相关以确定抓握的上下文(方框1006)，并且如方框1008所示，发起在触敏笔或触敏计算设备上执行的应用中的命令。例如，可以确定抓握以表示笔和计算设备从主用户到次用户的切换。在这种情况下，在切换之后，可以限制触敏笔或触敏计算设备的一个或多个能力。同样，如果触敏计算设备上的传感器和数字化仪指示相同用户在不同数字化仪(例如，不同计算设备)上采用相同的笔，则这可以携带状态信息(诸如模式或笔的颜色/厚度/笔尖样式)或文件和数据(诸如当前剪贴板内容)跨越到另一设备。这可以通过观察用户在握持一个平板电脑的同时利用手指在另一个平板电脑上书写或触摸来确定。在这些实现方式中的任一个实现方式中，所确定的上下文可以用于发起在触敏计算设备上或在触敏笔上执行的应用中的命令。变化也是可能的。例如，单个用户可以使用单个触敏笔来向许多触敏计算设备发送命令或传递数据。这是有利的，在于其允许用户将数据或对象从一个设备传递到一个或许多其它设备。
5.0细节和示例实现方式：
已经提供了对笔和计算设备传感器相关技术实现方式的介绍以及用于实践技术的示例性系统和示例性过程，以下段落提供了笔和计算设备传感器相关技术的各种示例性实现方式的细节。尽管下文的许多细节参照将平板计算机与笔组合使用，但是应当理解，这仅是用于简化描述的一个示例性设备。下文所描述的示例性实现方式可以与任何触敏计算设备(例如，电话、台式数字化仪、平板手机、电子阅读器、电子白板、车辆触摸显示器等)一起使用。
通过评估触摸屏输入(或计算设备的其它表面上的触摸输入)和触敏笔抓握之间的对应关系，笔和计算设备传感器相关技术推断关于用户如何触摸屏幕或其它触敏表面的附加信息。通过将来自触敏笔抓握的信号与来自计算设备上的裸手触摸输入的信号以及笔和计算设备的运动和定向和其它传感器数据相关，笔和计算设备传感器相关技术使得多种上下文适当的工具和运动手势能够辅助用户完成可以从相关的传感器信号推断的预期任务。注意，这样的相关可以查看在与触摸屏接触之前、期间和之后(对于牵涉到平板数字化仪的相关)发生的运动或抓握传感器数据的对应关系(或非对应关系，视情况而定)。在接触时间时或接近接触时间的信息可以用于确定接触类型的初步评估，例如，随着进一步的传感器信号和设备输入事件实时到达，可以在稍后的时间进行更确定的评估。这样，系统可以向用户的输入事件提供即时的或接近即时的实时响应和反馈，同时最大限度地利用所有信息以尽可能正确地确定用户动作的上下文。
出于解释的目的，以下讨论将是指平板型计算设备的上下文中的草图或绘图类型应用。然而，应当理解，传感器笔和(多个)触敏计算设备都完全能够与任何期望的应用类型或操作系统类型交互和互操作。在其它应用上下文中，诸如例如，主动阅读或数学草图，可以定义不同的手势或映射。事实上，如上文所指出的，任何期望的用户可定义手势和并行笔接触输入可以被配置成用于任何期望的应用、操作系统或计算设备的任何期望的动作。进一步地，还应当理解，语音或话音输入、眼睛注视输入以及用户接近度和身体姿势输入(诸如由深度相机提供)可以与上文所讨论的各种输入技术中的任何一种输入技术组合，以启用宽广范围的混合输入技术。
5.1抓握+运动交互技术
在支持注释、平移和缩放的简单草图应用以及一些附加草图工具的上下文中采用笔和计算设备传感器相关技术的示例性实现方式。这些实现方式的一些能力在下文的段落中进行讨论。许多其它实现方式和这些能力的组合是可能的。
5.1.1相对于触敏计算设备感测的笔定向
在一些实现方式中，惯性传感器融合允许笔和计算设备传感器相关技术的实现方式以相对于触敏计算设备(诸如例如，平板)维持公共参考系。该技术的一些实现方式在抓握识别阶段以及在笔运动的解释(诸如对于喷枪工具，稍后进行更详细地描述)中采用平板相对定向。该技术的一些实现方式只能感测笔相对于触敏计算设备(例如，平板)的定向。在一些实现方式中，惯性感测不能可靠地确定笔的(x，y)平移或z高度，而不求助于某些其它绝对外部参考。在其它实现方式中，在外部绝对参考可用的情况下，技术实现方式可以通过将惯性传感能力(intertial sensing capability)与绝对参考融合继续跟踪笔尖的绝对(x，y)和高度(z)，即使当它超过屏幕自身的感测范围时。绝对参考可以是非本征源(例如，对笔上的标记或IR源的光学跟踪)或本征源(例如，无线电信号强度三角测量，以确定笔无线电收发器与平板或环境中的其它收发器的近似距离)。通常，无线和无线电信号强度可以用于近似足以(当与细粒度惯性感测组合时)产生设备相对于另一设备的x，y，z位置的良好估计的位置，这可以通过多个源的三角测量来完成。附加地，在一些实现方式中，深度相机可以用于跟踪笔和/或触敏计算设备。
5.1.2检测无意手掌接触
感测触敏表面或屏幕上的无意手掌接触是个困难的问题，因为在触摸开始时，经常没有充足的信息来区分发生什么类型的触摸。手掌可以被识别为具有大接触面积的触摸，但是这种接触通常开始较小，并且可能需要一段时间以通过一定大小的阈值。还有，一些无意触摸(诸如由指节产生的接触)可能永远不会变成“大”接触。因此，该策略需要在处理触摸事件中的延迟(引入滞后)，并且仍然可能无法检测到许多接触。
为了增加稳定性并且避免疲劳，用户自然地将他的手放在书写表面上，但是当前的平板用户被迫采用触摸屏拒斥行为。因为人们在使用触摸时收纳笔并且使用各种延伸抓握来触摸屏幕，所以简单地感测用户握持笔是不够的。因为每次抓握可以与一定范围的手腕旋后相关联，并且因为用户以多种方式抓握笔，所以笔定向也不够。
然而，由于无意触摸主要发生在书写时，所以感测书写抓握本身是强有力的提示，特别地，因为用户通常在将手放在显示器上之前采用书写抓握。因此，高度保守的手掌误触程序可以简单地拒绝当笔被以书写抓握握持时发生的任何触摸。然而，这排除了每当笔被以书写抓握握持时由非优选手做出的有意触摸，其消除了许多期望场景(例如，使用非优先手进行平移和缩放)以及同时的笔+触摸手势。
当用户将他的手置放在计算设备(例如，平板)的触敏屏幕上时，它同时在笔的运动传感器上感应相应的信号。(设备的运动传感器也拾取该运动的一些，但是其被设备的更大质量稍微阻尼)。尽管如此，但是来自笔和/或触敏计算设备(例如，平板)的运动信号可以是组合使用以帮助推断发生的接触的类型，并且它们自身可以彼此相关，诸如以感测在笔被对接(附接)到该触敏计算设备(例如，平板)时它正在被移动或未正在被移动。
当握持笔的手接触触敏计算设备(例如，平板)时，笔的运动展现出类似于在其它上下文下的碰撞手势、敲击手势和键击手势中看到的特点硬接触轮廓。笔和计算设备传感器相关技术的实现方式寻找超过给定窗口(例如，10样本窗口)内的最小阈值的与笔的运动传感器相对应的信号中的峰值(例如，通过使用加速度计或陀螺仪的三个组合轴上的二阶有限差分)。因为在触摸屏检测到新的接触的同时，手掌置放在笔的运动中产生碰撞，所以应当确切知道何时寻找这个信号。笔和计算设备传感器相关技术的测试实现方式可以在最差情况下在触摸按下事件之后的最少5ms内或最多56ms之内标识该峰值。尽管一般而言，这里的焦点是在设备的屏幕部分上的手掌接触，但是注意，该碰撞信号可以被施加到设备前面和设备后面的手接触，即，由触摸屏、平板的外壳上的抓握触感器或两者产生的触摸信号。因此，设备接触的背面/侧面也可以区分各种类型的手和笔接触。
因此，笔和计算设备传感器相关技术的实现方式对于碰撞信号采用相当低的阈值，从而允许甚至相当微妙的手掌接触被感测，同时还平滑地拒绝不与新的触摸屏幕接触同时发生的其它运动信号。该检测方案对于书写期间的大多数正常笔交互而言工作良好
对于只要检测到的手掌接触仍然存在，如果任何新触摸落在初始接触的规定半径(例如，300像素半径)内，笔和计算设备传感器相关技术的实现方式也可以将它们标记为“手掌”。在一些实现方式中，考虑到用户的抓握和握持笔的角度，以及相对的屏幕定向，诸如手遮挡模型等等，可以并入预期的手接触区域的模型。笔和计算设备传感器相关技术的一种实现方式通过播放以手掌向下位置为中心的“雷达圆”的简短动画提供初始手掌检测的反馈，其随着其扩展而渐弱。这有利地提供无干扰反馈，其向用户确认成功检测到手掌接触。在没有这种反馈的情况下，用户可能会留下关于他们的手掌是否已经触发了当前被手遮挡的不期望的动作(诸如调出菜单或留下油墨轨迹)的令人不得安宁的不确定性。然而，这种反馈是可选的，并且可以由用户或由特定应用禁用。
5.1.3允许有意触摸
笔和计算设备传感器相关技术的实现方式允许同时的有意触摸，即使当手掌停留在屏幕上时。一般而言，在一些实现方案中，远离手掌发生的任何新触摸(其在先前检测到的手掌接触的预先确定的半径之外并且没有伴随笔上的碰撞)表示真实有意触摸。笔和计算设备传感器相关技术的一些实现方式使用未被标记为手掌接触以支持夹捏放缩手势的前两个附加触摸。手掌接触被忽略，并且即使手掌移动，也不干扰平移/缩放。还可以支持其它单个或多个手指或整个手势。
然而，由于笔和计算设备传感器相关技术的一些实现方式仍然跟踪手掌，而不是彻底“拒绝”它本身，这种途径也可以支持使用手掌位置作为输入的技术，诸如以帮助正确地定向菜单或锚定对象。
5.1.4放大器工具对全画布缩放
图11中所示的放大器/放大镜工具1100的功能性采用了焦点加上下文放大技术(被称为“放大镜”)，其尤其适合于绘制用户想要做出几个细节描绘而不丢失工作空间的整体上下文的任务。笔和计算设备传感器相关技术的实现方式通过感测用户如何与笔和触敏计算设备(例如，平板)交互来支持放大器和全画布缩放。
当用户收纳笔(以缩拢抓握或手掌抓握)时，笔和计算设备传感器相关技术的实现方式识别该抓握。如果用户然后使两个手指与显示器接触，则笔和计算设备传感器相关技术的实现方式检查笔的与触摸信号大致同时发生的对应“碰撞”。当笔和计算设备传感器相关技术的实现方式看到这种组合的笔碰撞+双指触摸信号时，它引出放大器/放大镜工具。注意，双指触摸信号不需要手指精确地同时触摸；允许短的宽限期，以使可以正确地识别非同时触摸作为调用放大镜。在一些实现方式中，对单个手指触摸的响应被稍微延迟以使第二手指触摸到达。在其它实现方式中，如果在所分配的时间窗口期间检测到第二手指，则开始单个手指动作，然后取消(或撤消)。如果需要，也可以应用关于两个手指接触必须如何接近(或远离)的空间约束。
如果笔和计算设备传感器相关技术的一些实现方式看到在触笔上没有任何对应碰撞的双指触摸，则实现方式反而推断用户使用不是握持笔的他们的另一(非优选)手进行触摸。在一些实现方式中，这然后触发标准的双指平移和缩放交互以允许如图12所示的全画布缩放1200(而非焦点加上下文放大器工具)。
在一些实现方式中，放大器/放大镜工具仅缩放圆形工具下的画布的区域。放大器/放大镜工具根据用户两个手指之间的距离交互地调整自身大小。用户也可以触摸按下放大器/放大镜工具的边界上的手指以将其拖动到新位置。放大器/放大镜工具外的任何位置的单个手指敲击或笔划被忽略，从而使画布不受其原始缩放水平的干扰。
注意，由于笔和计算设备传感器相关技术的一些实现方式采用最小运动阈值来检测碰撞信号，所以如果用户非常轻轻地触摸按下其手指，则笔可能不能检测到足以超过该阈值的运动信号。尽管如此，但是笔和计算设备传感器相关技术的这些阈值足以检测当用户在收纳笔时自然地将他们的手指带到屏幕时产生的运动。
5.1.6绘图工具
绘图工具(图13，1300)的能力来自于用户通常在书写活动的突发之间维持书写抓握的观察。例如，在暂停期间，用户经常将手腕旋转远离屏幕，以使笔进入书写半旋后姿势。因此，书写抓握本身表示可以通过提供考虑到用户正在以准备书写姿势握持笔的各种绘图工具来明确支持的有趣的上下文。
在笔和计算设备传感器相关技术的一些实现方式中，用户通过单个接触(诸如触摸按下非优选手的单个手指(由单个触摸识别，而不用笔上的对应碰撞信号))明确地调用绘图工具菜单。如果笔以书写抓握握持，则这将引出小调色板，该小调色板提供各种笔+触摸工具模式，包括喷枪和圆规等。在笔和计算设备传感器相关技术的一些实现方式中，一旦用户触摸按下他的手指，就调用绘图工具菜单。在一些技术实现方式中，喷枪是初始默认模式。在一些技术实现方式中，用户然后可以轻敲另一工具(诸如圆规)来改变模式。在一些实现方式中，所有绘图工具被实现为弹簧加载模式(spring-loaded modes)；即，只要用户按下他的手指，就维持该模式。还注意，默认情况下，“绘图工具”菜单可以在用户发起接触时激活最近使用的工具(模式)。这使得在多个位置处更有效地重复使用相同的工具。下文对喷枪工具、圆规工具以及单击虚拟笔杆按钮的实现方式进行更详细地描述。
附加地，在一些实现方式中，“高级绘图工具”的能力可以使用笔上的传感器和触敏计算设备上的传感器来检测传感器笔被以书写抓握握持在用户的优选手中，并且检测双指触摸手势，诸如用户的非优选手在计算设备的触敏显示器处的夹捏运动。当笔准备好书写时，用户的非优选手的夹捏运动引发一组高级绘图工具。这些特殊工具进一步支持使用从第二触摸受益的笔。例如，这些绘图工具可以包括尺子或对准边缘、曲线板或拉动新纸张(具有双指位置和旋转)的功能。用户还可以通过提升(或放回去)两个手指中的一个手指在高级绘图工具和标准绘图工具之间来回移动；所示的工具组与放置在显示器上的手指的数目相对应。
5.1.6.1喷枪工具
喷枪工具的一个实现方式首先示出了如果用户开启颜料流动，则喷枪将喷雾的位置的灰色虚线椭圆的光标反馈。用户通过(非优选手)手指的位置指示喷枪工具应当喷雾的位置。这是必要的，因为(如先前所指出的)惯性感测不能确定笔尖在平板上方的绝对(x，y，z)位置，仅相对于平板的3D定向。笔定向的相对感测可以通过旋转触敏计算设备(例如，平板)而不是触笔来演示。
在一个实现方式中，用户通过改变笔相对于触敏屏/平板表面的方位角和仰角来控制喷雾椭圆。用户可以将笔很好地握持在屏幕上方，使得容易根据需要倾斜笔，这与之前对没有采用笔倾斜角度的喷枪状工具的探索不同，可能是因为难以重新定向笔，同时还将其保持在平板的有限的～15mm接近感测范围内。在一些实现方式中，可以使用单独的感测信道(诸如接近传感器)来确定屏幕上方的笔的高度，其然后确定喷雾椭圆的大小(范围)。
在一些实现方式中，用户通过轻敲他们在笔杆上的食指来打开和关闭颜料流，其如下文进一步详细所述的被感测。当用户激活喷雾时，反馈变为粗体红色虚线椭圆，以给出所产生的喷雾的形状的明确反馈。在一个原型中，高度透明的椭圆被“喷雾”到画布上。用户也可以通过滑动手指与笔杆接触来调整椭圆的大小或喷雾的透明度，就好像它是物理滑块控件一样。手指接触的运动可以由笔的抓握传感器感测和跟踪。
5.1.6.2单击虚拟笔杆按钮
该技术的实现方式通过策略性地组合一些或所有触笔感测信道来成功地支持虚拟杆按钮的单击激活。除了笔的运动数据之外，本文中所描述的单击虚拟笔杆按钮的实现方式使用抓握感测数据。
为了标识候选轻敲事件，笔和触敏计算设备传感器相关技术的一些实现方式在新的触摸接触出现在通过使用笔杆上的电容传感器创建的电容图像映射上的同时从手指轻敲寻找笔杆上的碰撞信号。然而，因为移位抓握还可以产生与新的手指接触一致的碰撞信号，所以这单独可能不足以滤除由重新抓握笔产生的假阳性。为了滤除这些，该技术的一些实现方式依赖于这样的观察：用户仍然以书写抓握握持，以当他们抬起食指以轻敲在笔杆时(根据观察B9)维持稳定的三脚架抓握。因为书写抓握的检测提供了用于确保不可能发生错误检测的门，所以这是有利的。因此，该技术的各种实现方式查看正在进行的加速度计和陀螺仪信号，并且计算简单的时间衰减运动信号以确定设备是移动还是保持静止。然后，仅接受笔未移动时发生的候选轻敲事件，其有效地滤除任何假接触。在一个工作实现方式中，笔必须保持新的移动(或不移动)状态至少100ms。否则，笔杆轻敲本身可以触发“移动”信号的短暂激活，其当然会阻碍识别笔杆轻敲。
5.1.6.3圆规工具
绘图工具调色板还包括圆规，其支持笔+触摸模式，其中笔被约束以绘制以手指(再次是非优选手)的当前位置为中心的圆弧。
5.1.7笔控件
作为另一示例，在收纳笔时诸如轻敲的单指接触带来包含笔控件的小的现场调色板(图14，1400)，从而允许用户改变模式，或者修改笔颜色和笔划粗细，而不需要往返到对接在工作空间边缘处的工具栏。该示例再次利用当用户使用任何单个手指进行触摸屏接触时从延伸抓握轻敲触摸屏时在笔上产生的碰撞的优点。工具出现在手指旁边。然后，用户可以使用笔或触摸来与放射状菜单交互，因为研究已经一致地发现用户期望笔和触摸对于UI控件是可互换的。注意，在一些实现方式中，这些或相关控件可以通过轻敲(即，手指向下+手指向上序列)或者通过轻敲和握持(手指向下+维持与屏幕的手指接触)来激活。后者特别有利于弹簧加载模式，只要手指保持与数字化仪接触，该模式就得以维持。
5.1.8画布工具
画布工具(图15，1500)使用笔的传感器和触敏计算设备上的传感器来检测用户何时将传感器笔握持在用户的优选手中的非书写位置，并且检测何时单个接触(诸如例如，用户的非优选手在计算设备的触摸屏上的手指轻敲)。这些相关的并行动作使得画布工具的菜单显示在计算设备的显示器上。例如，该工具菜单可以包括撤消/重做、剪切-复制-粘贴、新页面、搜索和类似命令。类似于笔工具，在一些实现方式中，可以根据实现方式通过轻敲或轻敲并握持手势来激活画布工具和相关工具。
5.1.9触敏计算设备/平板电脑抓握检测
笔和计算设备传感器相关技术的实现方式在触敏计算设备壳体的背面和侧面上使用电容式抓握感测来检测若干个附加的接触并且确定它们的上下文。
5.1.9.1拇指菜单和用手习惯检测
存在许多实例，其中用户用双手拿起并且握持触敏计算设备(例如，平板或其它类似设备)，使得笔不可用。笔和计算设备传感器相关技术的实现方式使用抓握来感测用户正在用哪只手握持触敏计算设备。笔和计算设备传感器相关技术的实现方式然后使用它来在触敏计算设备(例如，平板)的适当侧召唤拇指菜单(图5，534)，其允许用户直接用拇指激活各种按钮和菜单。如果用户用第二只手握住触敏计算设备(例如，平板)，则笔和计算设备传感器相关技术的实现方式使得拇指菜单在其首次出现的一侧可见。在其它实现方式中，其可以跨两个拇指分开(或复制)。
如果观察到用户正在用一只手握持触敏计算设备的同时握住笔，则笔和计算设备传感器相关技术的实现方式可以立即推断用户的用手习惯。握持笔的手被推断为优选手，并且握持触敏计算设备(例如，平板)的手可以被推断为不是优选手。一些技术实现方式还可以通过在用户的手接触触敏计算设备(例如，平板)上的抓握传感器时，通过在笔上查找碰撞来告知握持笔的手握住还是抓握触敏计算＝设备(例如，平板)。
5.1.9.2检测无意拇指接触
在笔和计算设备传感器相关技术的一些实现方式中，当拇指菜单第一次出现时，其在短(例如，1.5秒)的间隔内渐变，并且同样，如果用户放开触敏计算设备，则它在短时间(例如，350ms)之后淡出。该动画反馈的目的是以暂定状态呈现拇指菜单，以使如果用户的拇指在拾取平板的同时偏离到触摸屏上，则拇指接触可以被忽略或者被视为可能的无意输入。
笔和计算设备传感器相关技术的实现方式推断，如果拇指在与平板壳体的对应背部部分上的新手抓握同时(或之后不就)发生，则该拇指表示无意触摸。笔和计算设备传感器相关技术的一些实现方式然后将拇指检测为无意接触，并且如果无意拇指接触与拇指菜单重叠，则冻结拇指菜单的淡入。该反馈向用户指示拇指接触已被识别，但被拦截以防止菜单的意外激活。然后，如果需要，用户可以有意地与拇指菜单交互，只需抬起拇指并且将其放回菜单上即可。一旦用户抬起他或她的拇指，则淡入动画就继续。如果用户在拾起触敏计算设备时没有把拇指放置在屏幕上，则淡入也用作拇指菜单完全准备好使用的辅助提示。由于意外激活主要趋向于在用户首次握住触敏计算设备时发生，所以在经过几秒钟之后，假定任何与屏幕的手接触是有意的。因此，这说明了笔和计算设备传感器相关技术的实现方式的检测方案如何阻止无意触摸，同时还允许有意触摸通过，不像在某些应用中忽略屏幕边缘附近的任何手接触的简单的拇指阻塞启发法。
5.1.10.3切换：将笔或触敏计算设备传递给另一用户
在笔和计算设备传感器的实现方式中，将触敏计算设备(例如，平板)或笔传递给另一用户的相关技术用作提供与另一用户共享内容的备选的更具物理语义的方式。传递握捉和其它用户观察的研究指示用户经历了一系列特定动作。首先，他们延伸对象，同时握持它近似水平以将该对象提供给另一个人，然后他们维持其抓握，直到另一个人牢牢地握住该对象。传递设备的人然后放开，而另一个人将它放在更接近他们的身体，通常同时也将屏幕定向到他或她的优选的视角。可以感测该序列的全部或部分以检测传递握捉交互。
例如，图16示出了主用户1602将笔1604传递给次用户1606。感测到主用户在触敏笔上的抓握(例如，指挥棒抓握)。同时或几乎同时，也感测次用户在触敏笔上的抓握。主用户和次用户在笔上的抓握被相关以确定抓握的上下文并且发起在触敏笔(和/或与笔通信的计算设备)上执行的应用中的命令。例如，可以确定次用户的抓握以表示笔从主用户到次用户的切换。在这种情况下，可以经由笔的切换将数据从主用户传递到次用户。可替代地，可以在切换之后约束触敏笔的一个或多个能力。
类似地，图17示出了主用户1702将触敏计算设备1704传递给次用户1706。笔和计算设备传感器相关技术的一些实现方式采用传感器来使用设备的壳体抓握感测检测两个用户在触敏计算设备上的抓握，以确定每个用户何时握住设备，以及检测设备的定向以确定其是否是水平的。所检测到的抓握和设备的定向(以及可能的其他数据)可以用于在使用触敏计算设备时为每个用户分配具有不同的权限集的不同的角色。当在一些实现方式中检测到这些条件时，特殊的注释层在屏幕上剥离，好像透明物或一片犊皮纸已经掉在显示器上。然后，其它用户可以自由注释内容，但不能进行数字拷贝或浏览到其它文档或文件。这是与由其它跨设备信息传送技术支持的信息的数字传送相比非常不同并且非常有限的共享形式。当单个用户用双手握持显示器向上时，笔和计算设备传感器相关技术的实现方式不触发平板切换；在这种交互期间，用户倾向于使平板朝向他们自己倾斜，因此它不是水平的。以类似的方式，可以检测到设备在桌子上完全平坦的交互，使得如果用户碰巧用两只手接触或握持他们的设备，则他们不会无意地触发平板设备切换。
5.2在与传感器上的碰撞相关之前的历史。
笔和计算设备传感器相关技术的一些实现方式分析传感器在触敏笔和/或触敏计算设备上的过去数据(例如，通过不断记录传感器数据获得)。该数据可以例如与在与触摸笔的触摸相关联的碰撞时获取的传感器数据相关，以确认或加强触摸与笔的移动相关。使用除了当前相关数据之外的过去相关数据的技术的实现方式可以比不使用现有相关数据的技术更加鲁棒。例如，在与放下他或她的手进行书写的人相关联的传感器数据之前，可能存在与笔相关联的加速/减速模式，其在碰撞检测时被识别，以确认接触是手掌，而不是偶然地用非优选手触摸按下，同时笔同时被移动。
6.0示例系统硬件：
在原型实现方式中，为了支持所设想的上下文感测技术的范围，定制硬件被设计成利用惯性传感器和电容式抓握感测以及定制软件/固件来增强笔和触敏计算设备以处理来自触摸屏的同时笔+触摸事件。以下示例性原型硬件和软件/固件的描述并不意味着限制，而是提供用于示出如何实现本文中所讨论的实现方式。本领域普通技术人员将认识到，许多其它实现方式是可能的。
6.1笔硬件设计
在一个示例性工作实现方式中，由7×30个感测元件组成的柔性电容网格覆盖笔的整个笔杆，其被包裹在热收缩管中以保护传感器并且提供平滑且易于抓握的圆柱形表面用于感测。笔的内部由容纳微型电磁笔的3D打印的壳体、4AAAA电池和定制电路组成。对于惯性感测，使用陀螺仪以及加速度计/磁力计模块。对于电容感测，采用触摸控制器。笔使用以2Mbps操作的收发器将所有数据流送到主计算机。微控制器运行固件。
在该特定实现方式中，所有惯性传感器数据以130Hz从笔流出，并且7x30电容图以30Hz流出。所得的笔是19cm长，外径为13mm。
6.2触敏计算设备/平板硬件设计
该示例性原型系统中的触敏计算设备是平板计算机。平板壳体覆盖平板的整个背部表面和侧面。刚性壳体由印刷电路板构成，该印刷电路板由44×26个电容性感测元件组成。存在安装集成电路的小不敏感区域(在背面上的壳体的中间)。壳体包括与笔相同的传感器部件，除了用于电容网格的不同部分的四个触摸控制器。平板传感器数据经由USB流式传输，平板的惯性传感器以100Hz采样，平板的44×26电容图以25Hz采样。
6.3来自触摸屏的同步笔和触摸
通过直接从人机接口设备(HID)控制器截取多点触摸和笔事件来处理这些多点触摸和笔事件。使用这种途径，三星公司的7系列Slate用于可以报告与笔输入同时的多达8个触摸接触的原型。
6.4软件/固件设计
一些技术实现方式在外部PC上对笔和平板传感器数据进行聚集和为其指定精确时间以进行处理，然后将相关输入事件传送到平板以在用户接口中呈现。此外，一些技术实现方式在外部PC上计算抓握识别。如此，一个实现方式由具有四个协作部件的分布式系统组成：触敏笔、平板壳体、平板本身和外部PC。然而，应当注意，可以在平板计算机上执行对传感器数据聚集并且对传感器数据指定精确时间以及抓握识别，从而消除对独立个人计算机(PC)的需要。壳体可以直接集成到触敏计算设备中。在一些实现方式中，来自所有分布式事件流的指定精确时间的数据在同步缓冲器中排队。一些技术实现方式然后处理来自这些缓冲器的事件直到所有事件可用的最新时间戳。在其它实现方式中，一些事件可以实时分派，但是如果将来的事件样本从可能更改它们的解释的其它源到达，则随后被修改。这可以通过延迟反馈、显示试探性反馈或撤销最终用户应用中的推测性操作来实现。
6.5惯性传感器融合
一些技术实现方式使用方向余弦矩阵算法来组合加速度计、陀螺仪和磁力计传感器输入。这在东-北-天(east-north-up)地球坐标系中产生稳定的偏航、俯仰和滚动值。这用于在相对于平板的一致的参考系中导出笔方向。
6.6笔抓握分类
原型实现方式识别四个不同的抓握：书写、缩拢、手掌和非抓握(当笔未被握持时)。根据观察到的行为B4(抓握与姿势)，抓握识别考虑手接触的模式(电容式抓握感测)以及触笔的姿势(定向)。系统的原型实现方式处理输入数据以提取显着特征，然后训练多类分类器以提取笔抓握。技术实现方式通过使用一组一对全(one-vs-all)学习者来执行笔抓握模式的多类分类，其中，每个学习者是支持向量机(SVM)分类器。结果是所有四个抓握的概率分布。
技术实现方式选择考虑到笔形状因数的独特考虑的用于抓握分类的特征。特别地，由于笔沿着笔杆的轴线是对称的(圆柱形)，所以所感测的抓握对于笔的滚动角是不可知的。类似地，用户在笔杆上的较低位置还是较高位置抓握笔或者他的手的大小不应该影响抓握分类。因此，系统的一些实现方式计算相对于抓握高度和滚动角的标准化图像不变量。从原始7×30电容图，系统将非零电容值拟合为7×10归一化图像。电容图在y维度上移位，以使第一行的亮(非零电容)像素与归一化图像的底部相对应，然后缩放非零电容像素以拟合10行的归一化图像。因此，用于抓握分类的特征包括笔偏航和俯仰角、归一化的抓握图像、以及在x和y维度上的归一化抓握直方图。技术实现方式还包括亮(非零)像素的数目的特征、以及来自原始电容图的所有7×30电容值的像素和。
6.6抓握训练数据集收集
在一个实现方式中，使用九个惯用右手的参与者(4个女性)，所有这些参与者都先前接触过笔和平板使用，以产生抓握训练数据集。用户被引导通过图示特定抓握和在每次抓握中执行的动作的脚本。这些包括在使用来自缩拢和手掌抓握(行为B2)的触摸(根据观察到的行为B1)时收纳笔。还包括不同的任务序列以捕获抓握之间的各种常见转变(行为B3)。用户被引导通过每次抓握的全旋后范围(行为B4)，其包括书写和单指和两指延伸抓握之间的转变(行为B5)，伴随直接操纵手势的接合，诸如轻敲、拖动和夹捏。然而，没有指定使用的三脚架抓握，而是允许用户自然地握持笔，以使数据集可能捕获书写抓握的交叉用户变化(根据行为B6)。每个用户的数据收集持续大约15分钟，每个用户每次抓握总共1200个样本，从而产生1200×3次抓握×9个用户＝32400个样本的总训练数据集。
6.6笔抓握识别精度
使用收集的抓握训练数据集的10倍交叉验证对于用户无关模型产生了88％的总体精度。进行了9个附加惯用右手的用户的单独检查，他们都没有向训练数据集提供数据。这对于书写抓握产生用户无关抓握识别精度为93％、缩拢抓握93％、以及手掌抓握77％。手掌抓握的相对低的识别率似乎源于几个用户以该抓握非常轻地握持笔的趋势，从而导致由电容式抓握阵列感测到的接触的有些不一致的模式。然而，系统仍然能够以97％的精度区分书写抓抓握与非书写抓握(即，缩拢或手掌)。由于大多数交互技术不依赖于缩拢抓握与手掌抓握之间的任何区别，所以使用这种即使在不收集新遇到的用户的训练数据的情况下仍然工作得很好的用户无关抓握模型。
7.0示例性操作环境：
本文中所描述的笔和计算设备传感器相关技术的实现方式可在许多类型的通用或专用计算系统环境或配置内操作。图18图示了与用笔或各种传感器增强的笔结合的通用计算机系统的简化示例，利用其可以实现如本文中所描述的笔和计算设备传感器相关技术的各种实现方式和元件。应当注意，在图18中由折线或虚线表示的任何方框图表示简化的计算设备和传感器笔的备选实现方式，并且如下文所描述的这些备选实现中的任何或全部备选实现方式可以与贯穿本文档描述的其它备选实现方式结合使用。
例如，图18示出了示出简化的触敏计算设备1800的一般系统图。一般而言，这样的触敏计算设备1800具有一个或多个触敏表面1805或区域(例如，触摸屏、触敏罩板或壳体、用于检测悬停型输入的传感器、光学触摸传感器等)。触敏计算设备1800的示例包括但不限于连接到计算设备的触敏显示设备、触敏电话设备、触敏媒体播放器、触敏电子阅读器、笔记本、上网本、小册子(双屏)、平板型计算机或具有一个或多个触敏表面或输入模态的任何其它设备。
为了允许设备实现笔和计算设备传感器相关技术，计算设备1800应该具有足够的计算能力和系统存储器以使得能够进行基本计算操作。另外，计算设备1800可以包括一个或多个传感器1810，包括但不限于加速度计、陀螺仪、磁力计、指纹检测器、包括深度相机的相机、电容传感器、接近传感器、麦克风、多光谱传感器等等。如图18所图示的，计算能力通常由一个或多个处理单元1825图示，并且还可以包括一个或多个GPU 1815，其中任一个或两者与系统存储器1820通信。注意，计算设备1800的(多个)处理单元1825可以是专用微处理器，诸如DSP、VLIW或其它微控制器，或者可以是具有包括多核CPU中的基于专用GPU的核在内的一个或多个处理核的常规CPU。
另外，计算设备1800还可以包括其它部件，诸如例如用于从传感器笔设备1835接收通信的通信接口1830。计算设备1800还可以包括一个或多个常规计算机输入设备1840或这些设备(例如，指向设备、键盘、音频输入设备、基于话音或基于语音的输入和控制设备、视频输入设备、触觉输入设备、触摸输入设备、用于接收有线或无线数据传输的设备等)的组合。计算设备1800还可以包括其它可选部件，诸如例如，一个或多个常规计算机输出设备1850(例如，(多个)显示设备1855、音频输出设备、视频输出设备、用于传送有线或无线数据传输的设备等)。注意，用于通用计算机的典型通信接口1830、输入设备1840、输出设备1850和存储设备1860是本领域技术人员公知的，并且本文中不再详细描述。
计算设备1800还可以包括多种计算机可读介质。计算机可读介质可以是可以经由存储设备1860由计算机设备1800访问的任何可用介质，并且包括可移除1870和/或不可移除1880的易失性和非易失性介质，用于存储诸如计算机可读或计算机可执行指令、数据结构、程序模块或其它数据之类的信息。作为示例而非限制，计算机可读介质可以包括计算机存储介质和通信介质。计算机存储介质是指诸如DVD、CD、软盘、磁带驱动器、硬盘驱动器、光驱动器、固态存储器设备、RAM、ROM、EEPROM、闪存或其它存储器技术、磁带、磁盘存储设备或其它磁存储设备之类的有形计算机或机器可读介质或存储设备，或可以用于存储所需信息并且可以由一个或多个计算设备访问的任何其它设备。
诸如计算机可读或计算机可执行指令、数据结构、程序模块等之类的信息的存储还可以通过使用多种上述通信介质中的任何一种来实现，以编码一个或多个经调制的数据信号或者载波或其它传输机制或通信协议，并且包括任何有线或无线信息传递机制。注意，术语“经调制的数据信号”或“载波”通常是指以在信号中编码信息的方式设置或改变其特点中的一个或多个特点的信号。例如，通信介质包括携带一个或多个经调制的数据信号的诸如有线网络或直接线连接之类的有线介质以及用于传送和/或接收一个或多个经调制的数据信号或载波的诸如声学、RF、红外、激光和其它无线介质之类的无线介质。任何上述的组合也应当包括在通信介质的范围内。
诸如计算机可读或计算机可执行指令、数据结构、程序模块等之类的信息的保留还可以通过使用多种上述通信介质中的任何一种来实现，以编码一个或多个经调制的数据信号、或者载波或其它传输机制或通信协议，并且包括任何有线或无线信息传递机制。注意，术语“经调制的数据信号”或“载波”通常是指以在信号中编码信息的方式设置或改变其特点中的一个或多个特点的信号。例如，通信介质包括携带一个或多个经调制的数据信号的诸如有线网络或直接线连接之类的有线介质以及用于传送和/或接收一个或多个经调制的数据信号或载波的诸如声学、RF、红外、激光和其它无线介质之类的无线介质。任何上述的组合也应当包括在通信介质的范围内。
进一步地，体现本文中所描述的笔和计算设备传感器相关技术的一些或所有各种实现方式的软件、程序和/或计算机程序产品或其部分可以被存储、接收、传送和/或从计算机或机器可读介质或存储设备以及计算机可执行指令和/或其它数据结构形式的通信介质的任何期望组合中读取。
最后，本文中所描述的笔和计算设备传感器相关技术可以在诸如由计算设备执行的程序模块之类的计算机可执行指令的一般上下文中进一步描述。通常，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、部件、数据结构等。本文中所描述的实现方式还可以在分布式计算环境中实践，其中，任务由一个或多个远程处理设备执行，或者在通过一个或多个通信网络链接的一个或多个设备的云内执行。在分布式计算环境中，程序模块可以位于包括媒体存储设备的本地和远程计算机存储介质中。还进一步地，上述指令可以部分或全部实现为硬件逻辑电路，其可以包括或可以不包括处理器。
图18所图示的传感器笔设备1835示出了用笔或笔传感器1845、逻辑1865、电源1875(例如，电池)和基本I/O能力1885增强的笔的简化版本。如上文所讨论的，用于传感器笔设备1835一起使用的笔传感器1845的示例包括但不限于惯性传感器、包括深度相机的相机、接近传感器、指纹传感器、皮肤电反应传感器、加速度计、压力传感器、抓握传感器、近场通信传感器、RFID标签和/或传感器、温度传感器、麦克风、磁力计、电容传感器、陀螺仪等。
一般而言，传感器笔设备1835的逻辑1865类似于计算设备1800的计算能力，但在计算速度、存储器等方面通常较不强大。然而，传感器笔设备1835可以用足够的逻辑1865构建，使得其可以被认为是独立的能力计算设备。
传感器笔设备1835的电源1875以各种形状因数实现，包括但不限于可更换电池、可再充电电池、电容性能量存储设备、燃料电池等。最后，传感器笔设备1835的I/O 1885提供常规有线或无线通信能力，其允许传感器笔设备将传感器数据和/或其它信息传达到计算设备1800。
出于说明和描述的目的，已经呈现了笔和计算设备传感器相关技术的前述描述。其并不旨在穷尽或将所要求保护的主题限制于所公开的精确形式。鉴于上述教导，许多修改和变化是可能的。进一步地，应当注意，上述备选实现方式的任何或所有实现方式可以以期望以形成笔和计算设备传感器相关技术的附加混合实现方式的任何组合使用。例如，用于实现本文中所描述的笔和计算设备传感器相关技术的许多实现方式中的一些实现方式的各种设备包括笔、指示器、笔型输入设备。然而，本文中所描述的功能性可以以用于与各种游戏设备、游戏控制台或其它计算设备一起使用的任何期望的形式因素来实现，例如，电话、读出笔、工作人员、球拍、玩具剑等。进一步地，本文中所描述的传感器笔适于与用于与各种计算设备接口的各种无线通信能力结合并入电源和传感器的各种组合，包括但不限于惯性传感器、包括深度相机的相机、加速度计、压力传感器、抓握传感器、近场通信传感器、RFID标签和/或传感器、温度传感器、麦克风、磁力计、电容传感器、陀螺仪等。注意，任何或所有这些传感器可以是多轴或多位置传感器(例如，3轴加速度计、陀螺仪和磁力计)。另外，在各种实现方式中，本文中所描述的传感器笔已经进一步适于并入允许传感器笔与其它计算设备、其它传感器笔组合或协作或者甚至作为独立计算设备动作的存储器和/或计算能力。
尽管笔和计算设备传感器相关技术感测到对传感器笔和触敏计算设备的实际触摸，但是它也可以与虚拟触摸输入一起使用。相对于投影显示器、电子白板或其它表面或对象的虚拟触摸输入以与触敏表面上的实际触摸输入相同的方式由笔和计算设备传感器相关技术来处理。使用常规技术来检测这种虚拟触摸输入，诸如例如使用相机或其它成像技术来跟踪相对于投影图像、相对于电子白板上的文本、相对于物理对象等的用户手指移动。
另外，应当理解，笔和计算设备传感器相关技术可用于广泛多种的用于确定或感测触摸或压力的触摸和柔性敏感材料。例如，适于由笔和计算设备传感器相关技术使用的一种触摸感测技术通过相对于被触摸表面的某些确定变形评估光源来感测接触来确定触摸或压力。还有，应当注意，如本文中所讨论的传感器笔可以包括多种类型的触摸和/或压力感测基板。例如，传感器笔可以使用传感器(诸如例如，电容传感器、压力传感器、基于挠曲或基于变形的传感器、深度传感器等)的任何组合而是触敏和/或压敏的。
意图是，本公开的范围不是受该具体实施方式的限制，而是由所附的权利要求限制。尽管已经以对结构特征和/或方法动作专用的语言描述了主题，但是应当理解，所附权利要求中定义的主题不一定限于上文所描述的具体特征或动作。相反，上文所描述的具体特征和动作被公开为实现权利要求的示例形式。

Claims (18)

1.一种计算机实施的用于发起用户接口动作的方法，包括使用计算机用于：
接收从触敏笔和触敏计算设备接收的并发传感器输入的组合，所述并发传感器输入包括：
基于所述触敏笔上的抓握模式的一个或多个传感器输入，
基于所述触敏计算设备上的触摸模式的一个或多个传感器输入；
根据所述传感器输入来确定用户的优选手和非优选手，其中通过以下来确定所述用户的优选手：
在与所述触敏计算设备进行接触时感测所述触敏笔的运动中的颠簸；以及
使所述触敏笔的运动中的所述颠簸与所述触敏计算设备的运动相关，以确定握持所述触敏笔的手为所述优选手；
使用所述传感器输入来并发地确定所述触敏笔正在被如何抓握以及所述触敏计算设备正在被如何触摸；以及
基于所述触敏笔设备上的所述抓握模式与所述触敏计算设备上的所述触摸模式的组合来发起用户接口动作。
2.根据权利要求1所述的方法，进一步包括：
使用对所述用户的优选手的所述确定作为元数据。
3.根据权利要求1所述的方法，进一步包括：
在确定所述抓握模式时使用表示所述触敏笔的定向的信号。
4.根据权利要求1所述的方法，进一步包括：
感测所述触敏计算设备的运动；
使感测的所述触敏计算设备的所述运动与所述触敏计算设备上的所述触摸模式相关；以及
使用相关的所述触敏计算设备上的所述运动和所述触摸模式来抑制所述触敏计算设备的显示器上的意外屏幕内容旋转。
5.根据权利要求1所述的方法，进一步包括：
使用所述抓握模式确定所述用户是否正在利用裸手作出手势或者所述用户是否正在利用握持所述触敏笔的手作出手势。
6.根据权利要求1所述的方法，进一步包括：
确定所述触敏笔在所述用户的优选手中的收纳位置被握持；
检测所述触敏计算设备的显示器上来自所述用户的优选手的接触；以及
响应于所述接触而显示特定于上下文的工具。
7.根据权利要求1所述的方法，进一步包括：
确定所述触敏笔以指示所述触敏笔并非处于待书写位置的抓握而被握持在所述用户的优选手中；
检测所述触敏计算设备的显示器上来自所述用户的非优选手的接触；以及
响应于所述接触而显示特定于上下文的工具。
8.根据权利要求1所述的方法，进一步包括：
确定所述触敏笔以指示所述触敏笔处于待书写位置的抓握而被握持在所述用户的优选手中；
检测所述触敏计算设备的显示器上来自所述用户的非优选手的接触；以及
响应于所述接触而显示特定于上下文的工具。
9.根据权利要求1所述的方法，进一步包括：
确定所述触敏笔以指示所述触敏笔处于待书写位置的抓握而被握持在所述用户的优选手中；
检测所述触敏计算设备的显示器上来自所述用户的非优选手的多指触摸手势；以及
响应于所述多指触摸手势而显示特定于上下文的工具。
10.根据权利要求1所述的方法，进一步包括：
确定所述触敏笔以指示所述触敏笔并非处于待书写位置的抓握而被握持在所述用户的优选手中；
检测所述触敏计算设备的显示器上来自所述用户的优选手的双指触摸手势；以及
响应于所述双指触摸手势而在所述触敏计算设备的显示器上显示将内容进行放大的放大镜工具。
11.根据权利要求1所述的方法，进一步包括：
确定在所述触敏计算设备的外壳的相应背部部分上的新的手部抓握模式被检测的同时用户的拇指在所述触敏计算设备的触敏屏幕上进行触摸；以及
指定所述拇指在所述触敏屏幕上所进行的触摸是无意的。
12.根据权利要求1所述的方法，进一步包括：
确定用户正在使用哪只手握持所述触敏计算设备；以及
在所述触敏计算设备的屏幕上能够由用户利用握持所述触敏计算设备的所述手的拇指进行激活的位置中显示拇指菜单。
13.根据权利要求12所述的方法，其中当所述用户不再触摸所述触敏计算设备时，所述拇指菜单逐渐消失。
14.一种计算机实施的用于查找元信息的方法，包括：
使用计算设备用于：
使单个用户在两个或更多触敏设备上进行的同时接触的信号相关；
根据同时的传感器输入的经相关的信号来确定所述用户的优选手，其中通过以下来确定所述用户的优选手：
在与第一触敏设备进行接触时感测所述第一触敏设备的运动中的颠簸；以及
使所述第一触敏设备的所述运动中的所述颠簸与第二触敏设备的运动相关，以确定握持所述第一触敏设备的手为所述优选手；
基于所述信号的所述相关来确定所述两个或更多触敏设备上的所述接触的上下文；
将确定的所述接触的所述上下文标记为元数据以用于在应用中使用。
15.根据权利要求14所述的方法，其中一个触敏设备是触敏笔并且另一个触敏设备是触敏计算设备，并且其中所述接触的所述上下文通过所述触敏笔正在被如何抓握以及所述触敏计算设备正在被用户的裸手如何接触而被确定。
16.根据权利要求14所述的方法，进一步包括：
使用所述元数据在应用中发起命令。
17.根据权利要求14所述的方法，其中所述信号中的一个或多个信号表示所述用户的指纹，所述指纹被用来识别所述用户。
18.根据权利要求14所述的方法，进一步包括：
使用历史信号数据来改善所述信号的所述相关。
CN201580031182.1A 2014-06-12 2015-06-08 用于笔和触敏计算设备交互的传感器相关 Active CN106462341B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US14/303,203 US9727161B2 (en) 2014-06-12 2014-06-12 Sensor correlation for pen and touch-sensitive computing device interaction
US14/303,203 2014-06-12
PCT/US2015/034612 WO2015191409A1 (en) 2014-06-12 2015-06-08 Sensor correlation for pen and touch-sensitive computing device interaction

Publications (2)

Publication Number Publication Date
CN106462341A CN106462341A (zh) 2017-02-22
CN106462341B true CN106462341B (zh) 2020-02-28

Family

ID=53477003

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201580031182.1A Active CN106462341B (zh) 2014-06-12 2015-06-08 用于笔和触敏计算设备交互的传感器相关

Country Status (6)

Country Link
US (2) US9727161B2 (zh)
EP (1) EP3155508A1 (zh)
JP (1) JP6660309B2 (zh)
KR (1) KR102295271B1 (zh)
CN (1) CN106462341B (zh)
WO (1) WO2015191409A1 (zh)

Families Citing this family (89)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9591339B1 (en) 2012-11-27 2017-03-07 Apple Inc. Agnostic media delivery system
US10200761B1 (en) 2012-12-13 2019-02-05 Apple Inc. TV side bar user interface
US9532111B1 (en) 2012-12-18 2016-12-27 Apple Inc. Devices and method for providing remote control hints on a display
US10521188B1 (en) 2012-12-31 2019-12-31 Apple Inc. Multi-user TV user interface
WO2014192204A1 (ja) * 2013-05-28 2014-12-04 京セラドキュメントソリューションズ株式会社 表示装置及び画像形成装置
CN111078110B (zh) * 2014-06-24 2023-10-24 苹果公司 输入设备和用户界面交互
CN111782128B (zh) 2014-06-24 2023-12-08 苹果公司 用于在用户界面中导航的列界面
US10318023B2 (en) * 2014-08-05 2019-06-11 Hewlett-Packard Development Company, L.P. Determining a position of an input object
US9762316B2 (en) * 2014-09-03 2017-09-12 Adobe Systems Incorporated Lightweight pairing and connection transfer protocol via gesture-driven shared secrets
KR102271434B1 (ko) * 2014-09-26 2021-07-01 엘지전자 주식회사 이동단말기 및 그 제어방법
US9766724B2 (en) * 2014-11-03 2017-09-19 Lenovo (Singapore) Pte. Ltd. Orientation dependent stylus button function
US9552097B2 (en) * 2015-01-28 2017-01-24 Qualcomm Incorporated Techniques for discerning between intended and unintended gestures on wearable touch-sensitive fabric
US20170021662A1 (en) * 2015-07-24 2017-01-26 Tyler S. Forester System and Method for Training Correct Positioning and Pressure of Digits on a Marking Instrument
US10007421B2 (en) * 2015-08-03 2018-06-26 Lenovo (Singapore) Pte. Ltd. Natural handwriting detection on a touch surface
US9981131B2 (en) * 2015-11-19 2018-05-29 Pacesetter, Inc. Systems and methods for determining spinal cord stimulation parameters based on patient feedback
US9811926B2 (en) * 2016-01-21 2017-11-07 Lenovo Enterprise Solutions (Singapore) Pte. Ltd. Touch screen gesture for perfect simple line drawings
US10838502B2 (en) * 2016-03-29 2020-11-17 Microsoft Technology Licensing, Llc Sharing across environments
US10248880B1 (en) * 2016-06-06 2019-04-02 Boston Inventions, LLC Method of processing and recognizing hand-written characters
DK201670581A1 (en) 2016-06-12 2018-01-08 Apple Inc Device-level authorization for viewing content
DK201670582A1 (en) 2016-06-12 2018-01-02 Apple Inc Identifying applications on which content is available
US10088915B2 (en) * 2016-07-01 2018-10-02 Deere & Company Method and system with sensors for sensing hand or finger positions for adjustable control
US10139961B2 (en) 2016-08-18 2018-11-27 Microsoft Technology Licensing, Llc Touch detection using feature-vector dictionary
US10187504B1 (en) * 2016-09-23 2019-01-22 Apple Inc. Echo control based on state of a device
US11966560B2 (en) 2016-10-26 2024-04-23 Apple Inc. User interfaces for browsing content from multiple content applications on an electronic device
US10613676B2 (en) * 2016-11-04 2020-04-07 Microsoft Technology Licensing, Llc Non-uniform code constellations in electrostatic communication
US10514844B2 (en) * 2016-11-16 2019-12-24 Dell Products L.P. Automatically modifying an input area based on a proximity to one or more edges
US10768196B2 (en) 2016-12-19 2020-09-08 Huami Inc. Determine wearing position of a wearable device
KR102560598B1 (ko) * 2016-12-21 2023-07-28 삼성전자주식회사 디스플레이 장치 및 그 제어방법
US10289300B2 (en) * 2016-12-28 2019-05-14 Amazon Technologies, Inc. Feedback animation for touch-based interactions
TWI621971B (zh) * 2016-12-30 2018-04-21 華碩電腦股份有限公司 書寫姿勢提醒方法與使用其之電子系統
US10922743B1 (en) 2017-01-04 2021-02-16 Amazon Technologies, Inc. Adaptive performance of actions associated with custom user interface controls
US10635291B2 (en) 2017-02-20 2020-04-28 Microsoft Technology Licensing, Llc Thumb and pen interaction on a mobile device
US10656760B2 (en) * 2017-03-01 2020-05-19 Microsoft Technology Licensing, Llc Replay of recorded touch input data
KR102316024B1 (ko) * 2017-03-02 2021-10-26 삼성전자주식회사 디스플레이 장치 및 디스플레이 장치의 사용자 인터페이스 표시 방법
US10877575B2 (en) * 2017-03-06 2020-12-29 Microsoft Technology Licensing, Llc Change of active user of a stylus pen with a multi user-interactive display
CN107704181A (zh) * 2017-03-14 2018-02-16 上海斐讯数据通信技术有限公司 一种移动终端触摸屏应急操作装置及操作方法
US11513678B2 (en) * 2017-06-06 2022-11-29 Polycom, Inc. Context based annotating in an electronic presentation system
JP6457587B2 (ja) * 2017-06-07 2019-01-23 ファナック株式会社 ワークの動画に基づいて教示点を設定するロボットの教示装置
KR102353494B1 (ko) 2017-06-30 2022-01-20 삼성전자주식회사 사용자의 근접을 검출하기 위한 전자 장치 및 그의 동작 방법
US10937215B1 (en) * 2017-09-29 2021-03-02 Apple Inc. Techniques for enabling drawing in a computer-generated reality environment
US10712840B2 (en) * 2017-10-13 2020-07-14 Dell Products L.P. Active pen system
US11126258B2 (en) * 2017-10-14 2021-09-21 Qualcomm Incorporated Managing and mapping multi-sided touch
US10484530B2 (en) * 2017-11-07 2019-11-19 Google Llc Sensor based component activation
EP3550408A4 (en) * 2018-01-05 2019-11-27 Shenzhen Goodix Technology Co., Ltd. PRESSURE METHOD AND DEVICE FOR ACTIVE PEN AND ACTIVE PEN
JP7101504B2 (ja) * 2018-03-23 2022-07-15 日本光電工業株式会社 携帯情報端末、生体情報管理方法、生体情報管理プログラム、およびコンピュータが読み取り可能な記憶媒体
US20190369754A1 (en) * 2018-06-01 2019-12-05 Apple Inc. Devices, methods, and graphical user interfaces for an electronic device interacting with a stylus
DK201870354A1 (en) 2018-06-03 2019-12-20 Apple Inc. SETUP PROCEDURES FOR AN ELECTRONIC DEVICE
US10649550B2 (en) * 2018-06-26 2020-05-12 Intel Corporation Predictive detection of user intent for stylus use
US10635895B2 (en) 2018-06-27 2020-04-28 Facebook Technologies, Llc Gesture-based casting and manipulation of virtual content in artificial-reality environments
US10496193B1 (en) * 2018-06-28 2019-12-03 Dell Products, L.P. Digital pen with three-dimensional input interface
CN109002803B (zh) * 2018-07-24 2021-09-24 武汉大学 一种基于智能手表的握笔姿势检测和汉字笔顺识别方法
US11029761B2 (en) 2018-08-02 2021-06-08 International Business Machines Corporation Context based gesture control
US10891033B2 (en) * 2018-08-24 2021-01-12 Microsoft Technology Licensing, Llc System and method for enhanced touch selection of content
US10824772B2 (en) 2018-11-28 2020-11-03 International Business Machines Corporation Dynamically adjusting grip panel
US11683565B2 (en) 2019-03-24 2023-06-20 Apple Inc. User interfaces for interacting with channels that provide content that plays in a media browsing application
CN113906419A (zh) 2019-03-24 2022-01-07 苹果公司 用于媒体浏览应用程序的用户界面
WO2020198237A1 (en) 2019-03-24 2020-10-01 Apple Inc. User interfaces including selectable representations of content items
CN113940088A (zh) 2019-03-24 2022-01-14 苹果公司 用于查看和访问电子设备上的内容的用户界面
CN111914259B (zh) * 2019-05-09 2024-07-02 阿里巴巴集团控股有限公司 数据处理方法及计算设备
US11507206B2 (en) 2019-05-13 2022-11-22 Microsoft Technology Licensing, Llc Force-sensing input device
JP7299754B2 (ja) * 2019-05-22 2023-06-28 シャープ株式会社 情報処理装置、情報処理方法、及び情報処理プログラム
CN113906380A (zh) 2019-05-31 2022-01-07 苹果公司 用于播客浏览和回放应用程序的用户界面
US11863837B2 (en) 2019-05-31 2024-01-02 Apple Inc. Notification of augmented reality content on an electronic device
US11036326B2 (en) * 2019-07-02 2021-06-15 Microsoft Technology Licensing, Llc Haptic interaction via magnetic force
IT201900013440A1 (it) * 2019-07-31 2021-01-31 St Microelectronics Srl Sistema e metodo di riconoscimento di gesti per un dispositivo del tipo a penna digitale e corrispondente dispositivo del tipo a penna digitale
US11843838B2 (en) 2020-03-24 2023-12-12 Apple Inc. User interfaces for accessing episodes of a content series
US11899895B2 (en) 2020-06-21 2024-02-13 Apple Inc. User interfaces for setting up an electronic device
US11989965B2 (en) * 2020-06-24 2024-05-21 AR & NS Investment, LLC Cross-correlation system and method for spatial detection using a network of RF repeaters
US11283510B2 (en) 2020-06-24 2022-03-22 AR & NS Investment, LLC Phase noise removal in a network of radio frequency (RF) repeaters
WO2022019899A1 (en) * 2020-07-22 2022-01-27 Hewlett-Packard Development Company, L.P. Stylus with force sensor arrays
US11054943B1 (en) 2020-08-17 2021-07-06 Microsoft Technology Licensing, Llc Touch restriction region for touch-sensitive display
US11755128B2 (en) 2020-09-25 2023-09-12 Apple Inc. Stylus with compressive force sensor
US11360616B1 (en) 2020-09-25 2022-06-14 Apple Inc. Stylus with touch input and compressive force sensors
US11720229B2 (en) 2020-12-07 2023-08-08 Apple Inc. User interfaces for browsing and presenting content
US11934640B2 (en) 2021-01-29 2024-03-19 Apple Inc. User interfaces for record labels
AU2022217895A1 (en) * 2021-02-05 2023-09-07 Jonathan Siegel A system and method for an electronic signature device
NL2027963B1 (en) * 2021-04-14 2022-10-25 Microsoft Technology Licensing Llc Touch-sensitive input device
US11487400B1 (en) * 2021-08-13 2022-11-01 International Business Machines Corporation Aggregated multidimensional user interface display with electronic pen for holographic projection
WO2023055924A1 (en) * 2021-09-29 2023-04-06 Linus Health, Inc. Computational approaches to assessing central nervous system functionality using a digital tablet and stylus
TWI792613B (zh) * 2021-10-15 2023-02-11 致伸科技股份有限公司 一種資料回報率之調整方法
US11537239B1 (en) * 2022-01-14 2022-12-27 Microsoft Technology Licensing, Llc Diffusion-based handedness classification for touch-based input
CN114494183B (zh) * 2022-01-25 2024-04-02 哈尔滨医科大学附属第一医院 一种基于人工智能的髋臼半径自动测量方法及系统
US11662839B1 (en) 2022-04-19 2023-05-30 Dell Products L.P. Information handling system stylus with power management through acceleration and sound context
US11733788B1 (en) 2022-04-19 2023-08-22 Dell Products L.P. Information handling system stylus with single piece molded body
US11662838B1 (en) 2022-04-19 2023-05-30 Dell Products L.P. Information handling system stylus with power management through acceleration and sound context
NL2031789B1 (en) * 2022-05-06 2023-11-14 Microsoft Technology Licensing Llc Aggregated likelihood of unintentional touch input
DE102022115764A1 (de) 2022-06-24 2024-01-04 Signata GmbH Verfahren zum Erkennen einer Griffart eines ein rotatorisches Bedienelement benutzenden Bedieners
CN115495055B (zh) * 2022-11-03 2023-09-08 杭州实在智能科技有限公司 基于界面区域识别技术的rpa元素匹配方法及系统
US11989369B1 (en) 2023-03-30 2024-05-21 Microsoft Technology Licensing, Llc Neural network-based touch input classification

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1797305A (zh) * 2004-11-23 2006-07-05 微软公司 降低意外激活触敏设备
CN101714055A (zh) * 2008-10-06 2010-05-26 三星电子株式会社 根据用户的接触模式显示图形用户界面的方法和设备
CN102362249A (zh) * 2009-03-24 2012-02-22 微软公司 双模触敏数字笔记本

Family Cites Families (164)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU624838B2 (en) 1988-05-27 1992-06-25 Global 360, Inc. Document annotation and manipulation in a data processing system
US5149919A (en) 1990-10-31 1992-09-22 International Business Machines Corporation Stylus sensing system
US5198623A (en) 1991-11-27 1993-03-30 Calcomp, Inc. Method for use in a digitizer for determining pen tilt
US5561444A (en) 1992-12-21 1996-10-01 Apple Computer, Inc. Method and apparatus for providing visual feedback during manipulation of text on a computer screen
US5463725A (en) 1992-12-31 1995-10-31 International Business Machines Corp. Data processing system graphical user interface which emulates printed material
US5414227A (en) 1993-04-29 1995-05-09 International Business Machines Corporation Stylus tilt detection apparatus for communication with a remote digitizing display
JP4074661B2 (ja) 1995-05-08 2008-04-09 マサチューセッツ・インスティテュート・オブ・テクノロジー 信号伝送媒体として人体を用いた非接触検知及び信号システム
US5956020A (en) 1995-07-27 1999-09-21 Microtouch Systems, Inc. Touchscreen controller with pen and/or finger inputs
US5778404A (en) 1995-08-07 1998-07-07 Apple Computer, Inc. String inserter for pen-based computer systems and method for providing same
US5867163A (en) 1995-12-01 1999-02-02 Silicon Graphics, Inc. Graphical user interface for defining and invoking user-customized tool shelf execution sequence
ES2182363T3 (es) 1997-09-25 2003-03-01 Tegic Communications Inc Sistema de resolucion de ambiguedades de teclado reducido.
US7800592B2 (en) 2005-03-04 2010-09-21 Apple Inc. Hand held electronic device with multiple touch sensing devices
US8479122B2 (en) 2004-07-30 2013-07-02 Apple Inc. Gestures for touch sensitive input devices
EP2256605B1 (en) 1998-01-26 2017-12-06 Apple Inc. Method and apparatus for integrating manual input
EP1058181A4 (en) 1998-02-25 2002-09-11 Sharp Kk DISPLAY DEVICE
DE69902896T2 (de) 1998-04-06 2003-01-16 Ethertouch Ltd Positionierung eines cursors auf einem rechnerbildschirm
US6337698B1 (en) 1998-11-20 2002-01-08 Microsoft Corporation Pen-based interface for a notepad computer
US7289102B2 (en) 2000-07-17 2007-10-30 Microsoft Corporation Method and apparatus using multiple sensors in a device with a display
US6906703B2 (en) 2001-03-28 2005-06-14 Microsoft Corporation Electronic module for sensing pen motion
US6882340B2 (en) 2001-10-19 2005-04-19 Wacom Co., Ltd. Electronic pen
US20040047505A1 (en) 2001-12-26 2004-03-11 Firooz Ghassabian Stylus computer
US20030164821A1 (en) 2002-02-05 2003-09-04 Omid Rezania Writing instrument with variable display
FI20021655A (fi) 2002-06-19 2003-12-20 Nokia Corp Menetelmä lukituksen avaamiseksi ja kannettava elektroninen laite
US11275405B2 (en) 2005-03-04 2022-03-15 Apple Inc. Multi-functional hand-held device
US20040012575A1 (en) 2002-07-22 2004-01-22 Homer Steven S. Storage and removal system for pointer utilized with an electronic device
US20040073432A1 (en) 2002-10-15 2004-04-15 Stone Christopher J. Webpad for the disabled
US20040203520A1 (en) 2002-12-20 2004-10-14 Tom Schirtzinger Apparatus and method for application control in an electronic device
US20040140962A1 (en) 2003-01-21 2004-07-22 Microsoft Corporation Inertial sensors integration
US7231609B2 (en) 2003-02-03 2007-06-12 Microsoft Corporation System and method for accessing remote screen content
US7068262B2 (en) 2003-06-09 2006-06-27 Leapfrog Enterprises, Inc. Writing stylus for electrographic position location apparatus
US8373660B2 (en) 2003-07-14 2013-02-12 Matt Pallakoff System and method for a portable multimedia client
US20050024346A1 (en) 2003-07-30 2005-02-03 Jean-Luc Dupraz Digital pen function control
US20050052427A1 (en) 2003-09-10 2005-03-10 Wu Michael Chi Hung Hand gesture interaction with touch surface
US7231231B2 (en) 2003-10-14 2007-06-12 Nokia Corporation Method and apparatus for locking a mobile telephone touch screen
US7532196B2 (en) 2003-10-30 2009-05-12 Microsoft Corporation Distributed sensing techniques for mobile devices
US7966352B2 (en) 2004-01-26 2011-06-21 Microsoft Corporation Context harvesting from selected content
US7358965B2 (en) 2004-02-18 2008-04-15 Microsoft Corporation Tapping to create writing
US7176888B2 (en) 2004-03-23 2007-02-13 Fujitsu Limited Selective engagement of motion detection
US7400316B2 (en) 2004-05-28 2008-07-15 International Business Machines Corporation Method and apparatus for dynamically modifying web page display for mobile devices
WO2005119404A1 (en) 2004-06-01 2005-12-15 Beech Technology Incorporated Portable, folding and separable multi-display computing system
US20060012580A1 (en) 2004-07-15 2006-01-19 N-Trig Ltd. Automatic switching for a dual mode digitizer
US7432916B2 (en) 2004-12-09 2008-10-07 Universal Electronics, Inc. Controlling device with dual-mode, touch-sensitive display
KR101085447B1 (ko) 2004-12-31 2011-11-21 삼성전자주식회사 터치 위치 검출 장치 및 이의 터치 위치 검출 방법과,이를 구비한 터치 스크린 표시 장치
US8250493B2 (en) 2005-02-05 2012-08-21 Samsung Electronics Co., Ltd. User interface method, medium, and apparatus with gesture-recognition
US8253693B2 (en) 2005-02-17 2012-08-28 Koninklijke Philips Electronics N.V. Device capable of being operated within a network, network system, method of operating a device within a network, program element, and computer-readable medium
US20060256008A1 (en) 2005-05-13 2006-11-16 Outland Research, Llc Pointing interface for person-to-person information exchange
US20060267958A1 (en) 2005-04-22 2006-11-30 Microsoft Corporation Touch Input Programmatical Interfaces
US7928964B2 (en) 2005-04-22 2011-04-19 Microsoft Corporation Touch input data handling
KR100668341B1 (ko) 2005-06-29 2007-01-12 삼성전자주식회사 사용자의 파지 형태를 이용한 휴대용 단말기의 기능 입력방법 및 장치.
US7982739B2 (en) 2005-08-18 2011-07-19 Realnetworks, Inc. System and/or method for adjusting for input latency in a handheld device
US7633076B2 (en) 2005-09-30 2009-12-15 Apple Inc. Automated response to and sensing of user activity in portable devices
US7362221B2 (en) 2005-11-09 2008-04-22 Honeywell International Inc. Touchscreen device for controlling a security system
US7523405B2 (en) 2005-11-16 2009-04-21 Microsoft Corporation Displaying 2D graphic content using depth wells
US7663620B2 (en) 2005-12-05 2010-02-16 Microsoft Corporation Accessing 2D graphic content using axonometric layer views
US8018440B2 (en) 2005-12-30 2011-09-13 Microsoft Corporation Unintentional touch rejection
US7812826B2 (en) 2005-12-30 2010-10-12 Apple Inc. Portable electronic device with multi-touch input
US20070188477A1 (en) 2006-02-13 2007-08-16 Rehm Peter H Sketch pad and optical stylus for a personal computer
US7966573B2 (en) 2006-02-17 2011-06-21 Microsoft Corporation Method and system for improving interaction with a user interface
US20100045705A1 (en) 2006-03-30 2010-02-25 Roel Vertegaal Interaction techniques for flexible displays
KR100771626B1 (ko) 2006-04-25 2007-10-31 엘지전자 주식회사 단말기 및 이를 위한 명령 입력 방법
US20080040692A1 (en) 2006-06-29 2008-02-14 Microsoft Corporation Gesture input
US8873858B2 (en) 2006-06-29 2014-10-28 Rpx Corporation Apparatus, method, device and computer program product providing enhanced text copy capability with touch input display
US9069417B2 (en) 2006-07-12 2015-06-30 N-Trig Ltd. Hover and touch detection for digitizer
DE202007018940U1 (de) 2006-08-15 2009-12-10 N-Trig Ltd. Bewegungserkennung für einen Digitalisierer
US7705837B2 (en) 2006-09-01 2010-04-27 Lenovo (Singapore) Pte. Ltd. System and method for alarming for misplaced computer tablet pen
US9201556B2 (en) 2006-11-08 2015-12-01 3M Innovative Properties Company Touch location sensing system and method employing sensor data fitting to a predefined curve
US7855718B2 (en) 2007-01-03 2010-12-21 Apple Inc. Multi-touch input discrimination
US7876310B2 (en) 2007-01-03 2011-01-25 Apple Inc. Far-field input identification
US9311528B2 (en) 2007-01-03 2016-04-12 Apple Inc. Gesture learning
US20090262074A1 (en) 2007-01-05 2009-10-22 Invensense Inc. Controlling and accessing content using motion processing on mobile devices
US20090265671A1 (en) 2008-04-21 2009-10-22 Invensense Mobile devices with motion gesture recognition
US8462109B2 (en) 2007-01-05 2013-06-11 Invensense, Inc. Controlling and accessing content using motion processing on mobile devices
US7956847B2 (en) 2007-01-05 2011-06-07 Apple Inc. Gestures for controlling, manipulating, and editing of media files using touch sensitive devices
US20080292195A1 (en) 2007-05-22 2008-11-27 Vijayasenan Deepu Data Processing System And Method
US8171432B2 (en) 2008-01-06 2012-05-01 Apple Inc. Touch screen device, method, and graphical user interface for displaying and selecting application options
KR101345755B1 (ko) 2007-09-11 2013-12-27 삼성전자주식회사 휴대용 단말기의 조작제어장치 및 그 방법
US8564574B2 (en) 2007-09-18 2013-10-22 Acer Incorporated Input apparatus with multi-mode switching function
KR101961052B1 (ko) 2007-09-24 2019-03-21 애플 인크. 전자 장치 내의 내장형 인증 시스템들
US8631358B2 (en) 2007-10-10 2014-01-14 Apple Inc. Variable device graphical user interface
US9274698B2 (en) 2007-10-26 2016-03-01 Blackberry Limited Electronic device and method of controlling same
TW200925944A (en) 2007-12-12 2009-06-16 Mitac Int Corp Touch pen with erasure function
JP2009163278A (ja) * 2007-12-21 2009-07-23 Toshiba Corp 携帯型機器
KR20090070491A (ko) 2007-12-27 2009-07-01 엔에이치엔(주) 터치스크린을 이용한 화면 제어 장치 및 방법
US20090167702A1 (en) 2008-01-02 2009-07-02 Nokia Corporation Pointing device detection
US20090209285A1 (en) 2008-02-15 2009-08-20 Sony Ericsson Mobile Communications Ab Portable communication device having touch-sensitive input device ...
US8650507B2 (en) 2008-03-04 2014-02-11 Apple Inc. Selecting of text using gestures
JP2009266097A (ja) * 2008-04-28 2009-11-12 Toshiba Corp 入力機器
US8414210B2 (en) 2008-06-23 2013-04-09 Silverbrook Research Pty Ltd Electronic pen with retractable nib and force sensor
KR20100006219A (ko) 2008-07-09 2010-01-19 삼성전자주식회사 사용자 인터페이스 방법 및 장치
US8390577B2 (en) 2008-07-25 2013-03-05 Intuilab Continuous recognition of multi-touch gestures
TW201011605A (en) 2008-09-01 2010-03-16 Turbotouch Technology Inc E Method capable of preventing mistakenly triggering a touch panel
US20100053120A1 (en) 2008-09-03 2010-03-04 Chang An-Yu Touchscreen stylus
US8810522B2 (en) 2008-09-29 2014-08-19 Smart Technologies Ulc Method for selecting and manipulating a graphical object in an interactive input system, and interactive input system executing the method
GB2464094A (en) 2008-09-30 2010-04-07 Rapid Mobile Media Ltd Method and apparatus for displaying content at a mobile device
EP3654141A1 (en) * 2008-10-06 2020-05-20 Samsung Electronics Co., Ltd. Method and apparatus for displaying graphical user interface depending on a user's contact pattern
CA2681778A1 (en) 2008-10-07 2010-04-07 Research In Motion Limited Multi-touch motion simulation using a non-touchscreen computer input device
US8466879B2 (en) 2008-10-26 2013-06-18 Microsoft Corporation Multi-touch manipulation of application objects
US8477103B2 (en) 2008-10-26 2013-07-02 Microsoft Corporation Multi-touch object inertia simulation
US8493408B2 (en) 2008-11-19 2013-07-23 Apple Inc. Techniques for manipulating panoramas
KR101662172B1 (ko) 2008-11-21 2016-10-10 삼성전자주식회사 입력 장치
US8294047B2 (en) 2008-12-08 2012-10-23 Apple Inc. Selective input signal rejection and modification
JP4743267B2 (ja) 2008-12-12 2011-08-10 ソニー株式会社 情報処理装置、情報処理方法およびプログラム
KR20100071754A (ko) 2008-12-19 2010-06-29 삼성전자주식회사 터치와 키조작에 의한 멀티 입력 방식을 이용한 촬영방법 및 이를 적용한 촬영장치
JP4702475B2 (ja) 2008-12-25 2011-06-15 ソニー株式会社 入力装置、ハンドヘルド装置及び制御方法
US8499251B2 (en) 2009-01-07 2013-07-30 Microsoft Corporation Virtual page turn
US8704767B2 (en) 2009-01-29 2014-04-22 Microsoft Corporation Environmental gesture recognition
US9468846B2 (en) 2009-01-30 2016-10-18 Performance Designed Products Llc Tactile feedback apparatus and method
US8255830B2 (en) 2009-03-16 2012-08-28 Apple Inc. Methods and graphical user interfaces for editing on a multifunction device with a touch screen display
US20100281435A1 (en) 2009-04-30 2010-11-04 At&T Intellectual Property I, L.P. System and method for multimodal interaction using robust gesture processing
US8352884B2 (en) 2009-05-21 2013-01-08 Sony Computer Entertainment Inc. Dynamic reconfiguration of GUI display decomposition based on predictive model
KR101574117B1 (ko) 2009-05-22 2015-12-11 엘지전자 주식회사 이동 단말기 및 이를 이용한 콜 기능 수행 방법
US8619029B2 (en) 2009-05-22 2013-12-31 Motorola Mobility Llc Electronic device with sensing assembly and method for interpreting consecutive gestures
US20100306670A1 (en) 2009-05-29 2010-12-02 Microsoft Corporation Gesture-based document sharing manipulation
WO2010140805A2 (ko) * 2009-05-30 2010-12-09 Hwang Jay-Yeob 핸드헬드 태블릿피씨 시스템
US8462134B2 (en) 2009-06-29 2013-06-11 Autodesk, Inc. Multi-finger mouse emulation
US9710097B2 (en) 2009-07-10 2017-07-18 Adobe Systems Incorporated Methods and apparatus for natural media painting using touch-and-stylus combination gestures
CN102576268B (zh) 2009-08-25 2015-05-13 普罗米斯有限公司 利用多种输入检测技术的交互表面
US8535133B2 (en) 2009-11-16 2013-09-17 Broadcom Corporation Video game with controller sensing player inappropriate activity
KR101708682B1 (ko) 2010-03-03 2017-02-21 엘지전자 주식회사 영상표시장치 및 그 동작 방법.
US20110167357A1 (en) 2010-01-05 2011-07-07 Todd Benjamin Scenario-Based Content Organization and Retrieval
US20110187651A1 (en) 2010-02-03 2011-08-04 Honeywell International Inc. Touch screen having adaptive input parameter
US8839150B2 (en) 2010-02-10 2014-09-16 Apple Inc. Graphical objects that respond to touch or motion input
US8769443B2 (en) 2010-02-11 2014-07-01 Apple Inc. Touch inputs interacting with user interface items
US20110231796A1 (en) 2010-02-16 2011-09-22 Jose Manuel Vigil Methods for navigating a touch screen device in conjunction with gestures
US9003334B2 (en) 2010-03-05 2015-04-07 Adobe Systems Incorporated Editing content using multiple touch inputs
CN101813982B (zh) 2010-03-10 2012-05-30 鸿富锦精密工业（深圳）有限公司 具有运动响应功能的电子装置及其执行输入操作的方法
US9069416B2 (en) 2010-03-25 2015-06-30 Google Inc. Method and system for selecting content using a touchscreen
US8228292B1 (en) 2010-04-02 2012-07-24 Google Inc. Flipping for motion-based input
US20120092269A1 (en) 2010-10-15 2012-04-19 Hon Hai Precision Industry Co., Ltd. Computer-implemented method for manipulating onscreen data
US20120092268A1 (en) 2010-10-15 2012-04-19 Hon Hai Precision Industry Co., Ltd. Computer-implemented method for manipulating onscreen data
US8982045B2 (en) * 2010-12-17 2015-03-17 Microsoft Corporation Using movement of a computing device to enhance interpretation of input events produced when interacting with the computing device
US8660978B2 (en) 2010-12-17 2014-02-25 Microsoft Corporation Detecting and responding to unintentional contact with a computing device
US20120154295A1 (en) 2010-12-17 2012-06-21 Microsoft Corporation Cooperative use of plural input mechanisms to convey gestures
US8988398B2 (en) 2011-02-11 2015-03-24 Microsoft Corporation Multi-touch input device with orientation sensing
US8994646B2 (en) 2010-12-17 2015-03-31 Microsoft Corporation Detecting gestures involving intentional movement of a computing device
US9244545B2 (en) 2010-12-17 2016-01-26 Microsoft Technology Licensing, Llc Touch and stylus discrimination and rejection for contact sensitive computing devices
US9201539B2 (en) 2010-12-17 2015-12-01 Microsoft Technology Licensing, Llc Supplementing a touch input mechanism with fingerprint detection
JP5664303B2 (ja) * 2011-02-09 2015-02-04 大日本印刷株式会社 コンピュータ装置、入力システム、及びプログラム
US9201520B2 (en) 2011-02-11 2015-12-01 Microsoft Technology Licensing, Llc Motion and context sharing for pen-based computing inputs
US9857868B2 (en) * 2011-03-19 2018-01-02 The Board Of Trustees Of The Leland Stanford Junior University Method and system for ergonomic touch-free interface
US9223495B2 (en) 2011-03-25 2015-12-29 Samsung Electronics Co., Ltd. System and method for crossing navigation for use in an electronic terminal
US20120260220A1 (en) 2011-04-06 2012-10-11 Research In Motion Limited Portable electronic device having gesture recognition and a method for controlling the same
JPWO2012153536A1 (ja) * 2011-05-12 2014-07-31 パナソニック株式会社 座標入力装置及び座標入力方法
KR101802759B1 (ko) 2011-05-30 2017-11-29 엘지전자 주식회사 이동 단말기 및 이것의 디스플레이 제어 방법
US20120327040A1 (en) 2011-06-22 2012-12-27 Simon David I Identifiable stylus
US9329703B2 (en) 2011-06-22 2016-05-03 Apple Inc. Intelligent stylus
US8638320B2 (en) 2011-06-22 2014-01-28 Apple Inc. Stylus orientation detection
TW201303655A (zh) 2011-07-13 2013-01-16 Asustek Comp Inc 無線傳輸觸控筆與觸控顯示系統
US20130159939A1 (en) 2011-10-12 2013-06-20 Qualcomm Incorporated Authenticated gesture recognition
WO2013054155A1 (en) 2011-10-14 2013-04-18 Universite Lille 1-Sciences Et Technologies Multi-touch human interface system and device for graphical input, and method for processing image in such a system.
KR101163346B1 (ko) 2011-10-28 2012-07-05 한국과학기술원 터치스크린 제어방법, 장치, 이를 위한 기록매체 및 이를 포함하는 사용자 단말
US10423248B2 (en) 2011-10-28 2019-09-24 Wacom Co., Ltd. Touch-sensitive system with motion filtering
US20130106741A1 (en) 2011-10-28 2013-05-02 Atmel Corporation Active Stylus with Tactile Input and Output
US9389701B2 (en) 2011-10-28 2016-07-12 Atmel Corporation Data transfer from active stylus
US20130154952A1 (en) 2011-12-16 2013-06-20 Microsoft Corporation Gesture combining multi-touch and movement
JP2013145463A (ja) 2012-01-13 2013-07-25 Sony Corp 情報処理装置及び情報処理方法、並びにコンピューター・プログラム
US9519419B2 (en) 2012-01-17 2016-12-13 Microsoft Technology Licensing, Llc Skinnable touch device grip patterns
US8902181B2 (en) 2012-02-07 2014-12-02 Microsoft Corporation Multi-touch-movement gestures for tablet computing devices
TW201410305A (zh) 2012-09-07 2014-03-16 Dexin Corp 具有效能調校及優化資料分享功能之遊戲系統
JP2014062962A (ja) * 2012-09-20 2014-04-10 Sony Corp 情報処理装置、筆記具、情報処理方法およびプログラム
US20140108979A1 (en) 2012-10-17 2014-04-17 Perceptive Pixel, Inc. Controlling Virtual Objects
US20140210797A1 (en) 2013-01-31 2014-07-31 Research In Motion Limited Dynamic stylus palette
US9946365B2 (en) 2013-03-11 2018-04-17 Barnes & Noble College Booksellers, Llc Stylus-based pressure-sensitive area for UI control of computing device
US20140267025A1 (en) * 2013-03-14 2014-09-18 Samsung Electronics Co., Ltd. Method and apparatus for operating sensors of user device

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1797305A (zh) * 2004-11-23 2006-07-05 微软公司 降低意外激活触敏设备
CN101714055A (zh) * 2008-10-06 2010-05-26 三星电子株式会社 根据用户的接触模式显示图形用户界面的方法和设备
CN102362249A (zh) * 2009-03-24 2012-02-22 微软公司 双模触敏数字笔记本

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Combining and Measuring the Benefits of Bimanual Pen and Direct-Touch Interaction on Horizontal Interfaces;Peter Brandl 等;《AVI2008》;20080531;第154-161页 *

Also Published As

Publication number Publication date
US10168827B2 (en) 2019-01-01
JP2017517813A (ja) 2017-06-29
US9727161B2 (en) 2017-08-08
WO2015191409A1 (en) 2015-12-17
KR102295271B1 (ko) 2021-08-27
EP3155508A1 (en) 2017-04-19
JP6660309B2 (ja) 2020-03-11
US20150363035A1 (en) 2015-12-17
CN106462341A (zh) 2017-02-22
KR20170016869A (ko) 2017-02-14
US20170300170A1 (en) 2017-10-19

Similar Documents

Publication Publication Date Title
CN106462341B (zh) 用于笔和触敏计算设备交互的传感器相关
KR102407071B1 (ko) 펜과 컴퓨팅 디바이스 상호작용을 위한 다중 디바이스 다중 사용자 센서 상관
Hinckley et al. Sensing techniques for tablet+ stylus interaction
CN109074217B (zh) 用于多点触摸输入检测的应用
US9201520B2 (en) Motion and context sharing for pen-based computing inputs
US9244545B2 (en) Touch and stylus discrimination and rejection for contact sensitive computing devices
TWI528227B (zh) 一種指環式無線指感控制器、控制方法及控制系統
KR102170321B1 (ko) 파지된 물체를 이용한 모션을 인식하는 장치 및 방법, 시스템
Bergström et al. Human--Computer interaction on the skin
Tarun et al. Snaplet: using body shape to inform function in mobile flexible display devices
US8884930B2 (en) Graphical display with optical pen input
Zhou et al. Gripmarks: Using hand grips to transform in-hand objects into mixed reality input
Matulic et al. Pensight: Enhanced interaction with a pen-top camera
Hinckley et al. Motion and context sensing techniques for pen computing
KR20160008890A (ko) 신체를 이용하여 터치 입력을 제공하는 장치 및 방법
WO2023044352A1 (en) Touchless image-based input interface
Hinckley A background perspective on touch as a multimodal (and multisensor) construct
Wu et al. Infofinder: just-in-time information interface from the combination of an hwd with a smartwatch
Matulic et al. Deep Learning-Based Hand Posture Recognition for Pen Interaction Enhancement
Gaur AUGMENTED TOUCH INTERACTIONS WITH FINGER CONTACT SHAPE AND ORIENTATION
Hinckley A Background Perspective on Touch
Hollatz Combining auxiliary finger input with thumb touch for single-handed mobile device interfaces
Hanewich-Hollatz Combining Auxiliary Finger Input With Thumb Touch for Single-Handed Mobile Device Interfaces

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant