CN109074217A - 用于多点触摸输入检测的应用 - Google Patents

用于多点触摸输入检测的应用 Download PDF

Info

Publication number
CN109074217A
CN109074217A CN201780020764.9A CN201780020764A CN109074217A CN 109074217 A CN109074217 A CN 109074217A CN 201780020764 A CN201780020764 A CN 201780020764A CN 109074217 A CN109074217 A CN 109074217A
Authority
CN
China
Prior art keywords
user
touch
menu
display
uwd
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201780020764.9A
Other languages
English (en)
Other versions
CN109074217B (zh
Inventor
M·帕胡德
K·P·欣克利
W·巴克斯顿
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Microsoft Technology Licensing LLC
Original Assignee
Microsoft Technology Licensing LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Microsoft Technology Licensing LLC filed Critical Microsoft Technology Licensing LLC
Priority to CN202110907417.6A priority Critical patent/CN113608665A/zh
Publication of CN109074217A publication Critical patent/CN109074217A/zh
Application granted granted Critical
Publication of CN109074217B publication Critical patent/CN109074217B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0412—Digitisers structurally integrated in a display
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/70—Manipulators specially adapted for use in surgery
    • A61B34/76—Manipulators having means for providing feel, e.g. force or tactile feedback
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/163—Wearable computers, e.g. on a belt
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041—Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04104—Multi-touch detection in digitiser, i.e. details about the simultaneous detection of a plurality of touching locations, e.g. multiple fingers or pen and finger
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04808—Several contacts: gestures triggering a specific function, e.g. scrolling, zooming, right-click, when the user establishes several contacts with the surface simultaneously; e.g. using several fingers or a combination of fingers and pen
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

通常，本文中描述的多点触摸检测实现使用触摸检测技术以使用触摸、笔和用户可穿戴设备(UWD)在用户与触摸显示器之间提供新的和有利的交互。这些新的和有利的交互包括用户相关联的移动菜单、组合的点击和径向标记菜单、用于自动化和改进显示器上的内容的绘制或操纵的菜单、在显示器上选择对象和文本的新菜单和方法、以及通过使用手势使用UWD与UWD和触摸屏显示器的新交互。另外，启用了对显示器的特定用户的UWD的目标触觉反馈。在一些多点触摸检测实现中，可用于作用于显示器上的对象的菜单或工具可以完全或部分地在显示器之间移植，诸如在小型显示器与大型显示器之间移植。

Description

用于多点触摸输入检测的应用
背景技术
智能手机、平板计算机和很多类型的信息设备的普及正在推动对各种类型的电子设备的触摸屏的需求和接受。触摸屏经常在键盘和鼠标系统不允许用户与显示器的内容进行适当直观、快速或准确的交互的情况下使用。很多移动计算设备(例如，平板计算机、智能电话等)具有触摸屏并且将笔、指示器或笔型输入设备与计算设备的数字转换器组件结合用于输入目的。这些移动计算设备中的很多允许用笔和裸手触摸或两者结合使用来与这些触敏屏幕交互。
此外，触摸屏显示器的大小继续增加。例如，大型触摸屏(例如，大于八十英寸对角线)被用作观众面前的演讲工具或者用于工作人员之间的协作。这些触摸屏允许用户操纵由触摸屏显示的对象(例如，通过选择对象，定位它(例如，经由拖动)，等等)。
发明内容
提供本“发明内容”是为了以简化的形式介绍一些概念，这些概念将在下面的“具体实施方式”中进一步描述。本“发明内容”不旨在标识所要求保护的主题的关键特征或必要特征，也不旨在用于限制所要求保护的主题的范围。
通常，本文中描述的多点触摸检测实现使用触摸检测技术以使用触摸、笔和用户可穿戴设备(UWD)在用户与触摸显示器之间提供新的和有利的交互。这些新的和有利的交互包括用户相关联的移动菜单、组合的点击和径向标记菜单、用于自动化和改进显示器上的内容的绘制或操纵的菜单、在显示器上选择对象和文本的新菜单和方法、以及通过使用手势使用UWD的、用于操纵显示器上显示的菜单和对象的与UWD和触摸屏显示器的新交互。另外，启用了对显示器的特定用户的UWD的目标触觉反馈。在一些多点触摸检测实现中，可用于作用于大型屏幕显示器上的对象的菜单或工具可以完全或部分地移植到小型屏幕设备。
本文中描述的一些多点触摸检测实现涉及交互式触摸屏显示器、尤其是能够区分和响应于多个同时触摸(多点触摸)和/或一个或多个数字触笔(笔和/或触摸)的交互式触摸屏显示器。虽然一些实现可以应用于较大的交互式数字白板型显示器，但是其他实现可以例如应用于较小版本的交互式显示器(诸如合并在所谓的板式或平板计算机中的那些)和甚至更小的设备(诸如触摸屏操作的智能手机)。在本文中描述的一些多点触摸检测实现中，菜单和工具可以在小型显示器与大型显示器之间分开或分布。
本文中描述的多点触摸检测实现具有很多优点。例如，当使用大型触摸屏显示器时，如果接收到多个触摸命令，则计算设备/系统的处理器可以正确地解释输入。这通过避免来自显示器(例如，大型触摸屏)上的多个或同时触摸命令的错误和无意输入的解释中的错误而提高了计算效率并且提高了可用性。另外，由于本文中描述的很多多点触摸检测实现提供了相对于大型显示器与用户的手或手指一起移动的菜单，因此与一个或多个菜单在大型显示器上的固定位置的情况相比，用户必须达到更少并且移动更少以操纵大型显示器上的数据。在一些多点触摸检测实现中，这些菜单中的一些菜单的轮廓也可以用作绘制工具，而无需调出特定的绘制工具菜单或控件。通过穿戴与特定用户相关联的、允许标识每个用户的UWD或其他设备，通过允许在屏幕上处理信息和对象的个性化菜单和能力来改进用户体验，包括例如基于用户的过去的动作或偏好的个性化菜单、对个人数据(例如，图像、文档或其他文件)的访问、以及对一个或多个特定用户的个性化触觉反馈，包括对特定用户的UWD的个性化触觉反馈。此外，由于可以区分用笔和触摸两者同时处理显示器上显示的对象和信息的多个人，因此可以减少在显示器上完成各种任务的时间，并且提高了用户之间的协作。
附图说明
关于以下描述、所附权利要求和附图，将更好地理解本公开的具体特征、方面和优点，在附图中：
图1是描绘其中可以实现如本文中描述的多点触摸检测实现的示例性计算环境的框图。
图2是根据如本文中描述的示例性多点触摸检测实现的包括触摸屏和触摸屏的用户的示例性系统的示意图。
图3包括由穿戴用户可穿戴设备的手臂/手执行的示例触摸事件的时序图。
图4描绘了用户的手臂/手与显示在触摸屏上的示例性对象交互。
图5描绘了两个用户的手臂/手与显示在触摸屏上的对象交互。
图6描绘了用于修改在触摸屏显示器上绘制的笔划的笔划特性的示例性组合的点击和径向标记菜单。
图7描绘了在图6中描绘的触摸屏显示器上绘制的笔划的已修改的笔划特性。
图8描绘了通过本文中称为x射线菜单的相关联的显示菜单使用两个手指或手指和拇指在触摸屏上选择内容。内容的选择可以通过重新定位、调节大小或旋转两个手指(或手指和拇指)或一些其他预定数目的手指/拇指来重定向。一个或多个其他身体部位、(多个)笔和/或(多个)其他对象也可以用于创建x射线菜单。这个示例示出了手写文本“slope(斜率)”的选择以及用于将文本识别应用于手写文本的相关联的菜单的显示。
图9描绘了图8中所示的文本识别菜单的扩展。菜单902也可以用触笔(或其他对象)而不是手指来选择。
图10描绘了通过图8和9中所示的组合的点击径向标记菜单来激活在应用文本识别之后将手写文本“slope”转换为类型写入的“slope”。在一些实现中，一旦从显示器移除手指，则X射线菜单被移除并且径向标记菜单也不可见。
图11描绘了一种菜单，其轮廓可以用作绘制工具，诸如曲线板、直边、圆形或可以用于帮助用户绘制的其他形状。菜单的轮廓可以由用户改变并且还可以用于执行除了绘制之外的其他任务(例如，切割或掩蔽显示器上的内容)，而不必为这些目的而激活专用控件。
图12描绘了图11中绘制的曲线的修改，其中用户通过使用触摸或多点触摸(即，用用户的惯用手)修改菜单轮廓的特性来修改曲线。
图13描绘了用户使用具有小型屏幕的手持计算设备以实现如本文中描述的多点触摸检测实现。
图14描绘了可以用于实践如本文中描述的各种多点触摸检测实现的示例性计算机实现的过程。
图15描绘了组合的点击和径向标记菜单的示例性扩展。
图16描绘了通过在本文中描述的一些多点触摸检测实现中采用的组合的点击和径向标记菜单的扩展可访问的示例性菜单。
图17描绘了从中可以选择特定用户的照片的组合的点击和径向菜单。
具体实施方式
在如本文中描述的多点触摸检测实现的以下描述中，参考了附图，附图形成了描述的一部分并且通过说明的方式示出了可以实践本文中描述的实现的示例。应当理解，在不脱离所要求保护的主题的范围的情况下，可以利用其他实施例并且可以进行结构改变。
1.0多点触摸检测实现
以下部分提供了多点触摸检测实现的概述、实现本文中描述的多点触摸检测技术的基础技术的描述、以及示例性计算环境的描述。还可以提供其中可以实现本文中描述的多点触摸检测实现的系统以及各种示例性多点触摸检测实现。
作为初步事项，下面的一些附图在一个或多个结构组件的上下文中描述概念，这些结构组件不同地称为功能、模块、特征、元件等。图中所示的各种组件可以以任何方式实现。在一种情况下，图中各个组件的所示出的分离为不同的单元可以反映在实际实现中的对应的不同组件的使用。替代地或另外地，附图中示出的任何单个组件可以由多个实际组件实现。替代地或另外地，附图中的任何两个或更多个分离的组件的描绘可以反映由单个实际组件执行的不同功能。
其他附图以流程图的形式描述了概念。在这种形式中，某些操作被描述为构成以特定顺序执行的不同框。这些实现是说明性的而非限制性的。本文中描述的某些框可以组合在一起并且在单个操作中执行，某些框可以分成多个组件框，并且某些框可以按照与本文中所示的顺序不同的顺序执行(包括执行框的并行方式)。流程图中示出的框可以以任何方式实现。
1.1概述
通常，本文中描述的多点触摸检测实现使用显示器(或其他触敏设备)上的多点触摸检测(例如，通过一个或多个手指、一个或多个笔和/或一个或多个其他对象的触摸)以使用触摸、笔、用户可穿戴设备(UWD)和/或其他对象或设备(其中一些可以与给定用户相关联)在用户与触摸显示器或其他触敏设备之间提供新的和有利的交互。这些新的和有利的交互包括用户相关联的移动菜单、组合的点击和径向标记菜单、通过使用菜单的轮廓来自动化和改进显示器上的内容的绘制或操纵的菜单、选择和修改显示器上的对象和文本的新的方法、以及通过使用手势使用UWD与UWD和触摸屏显示器的新交互等。另外，启用对显示器的一个或多个特定用户的UWD的目标触觉反馈。本文中描述的各种实现可以用笔、手指/手或触摸显示器的其他对象来实现。
1.2使用用户可穿戴设备的相对于显示器的多点触摸检测
本部分提供了示例性技术的概述，通过该技术，计算设备的处理器可以标识和分类由一个或多个用户的惯用和非惯用手进行的对显示器的多个触摸以便通过使用如本文中描述的各种实现来改善大型或小型显示器的可用性。该技术以及能够辨别触摸屏显示器上的触摸和标识哪个用户以及用户用哪只手触摸显示器的其他技术同样可以用于实现本文中描述的各种多点触摸检测实现。
当与对象或设备交互时，用户的每只手(本文中定义为具有右手和左手或具有一只手和相反手的人)可以具有不同的角色。例如，非惯用手可以专门用于定位惯用手的工作空间。在一些配置中，装置可以通过接收表示用户穿戴的设备(例如，带或环)的运动的无线信号来区分用户的惯用手与非惯用手。本文中称为用户可穿戴设备(UWD)的设备可以包括例如运动传感器，诸如加速计和/或陀螺仪或惯性测量单元(IMU)类型。所涉及的技术可以将UWD的运动与触摸屏(并且由触摸屏检测到)的(多个)触摸事件相关联。在一些实现中，这样的技术可以允许检测(或确定)两个或更多个用户中的哪个用户(以及用户的哪个手)正在利用触摸屏(或“显示表面”，其可以包括可以包括显示的图像的任何表面)执行触摸事件。然而，应当注意，不可穿戴的其他设备可以执行本文中描述的UWD的功能。这些可以是例如手持设备、或传感器发射器对、或者可以给予与如本文中描述的UWD所提供的效果相同或相似的效果的某个其他实现。
本文中的各种术语可以用于触摸显示设备，诸如触摸屏、触摸显示器等。除非在特定上下文中另有说明，否则这些术语基本上是等同的。触摸屏可以包括通常分层放置在信息处理系统的电子可视显示器顶部的输入设备。通过使用特殊触笔/笔、一个或多个手指、一个或多个手或其他身体部位触摸显示器，用户可以使用简单或多点触摸手势在触摸事件期间提供输入或控制信息处理系统。例如，用户可以使用触摸显示器对显示的内容做出反应并且控制其如何被显示(例如，通过扩展(缩放)文本大小，选择菜单项或对象，等等)。本文中，触摸事件可以涉及用户(例如，用户的(多个)手指、(多个)手)或诸如触笔和触摸屏等对象之间的物理触摸，或者可以涉及用户(例如，用户的(多个)手指、(多个)手)或诸如触笔等对象在不触摸触摸屏的情况下相对接近(例如，几毫米或几厘米)触摸屏的表面的悬停事件。在一些示例中，触摸事件可以是指超过接触表面上的特定压力水平(力)的按压事件，诸如电阻式触摸屏所需要的压力水平。除非另有指示，否则术语“触摸事件”是指触摸事件、悬停事件或其组合。本文中，术语“手臂/手”用于表示用户的手臂或手的任何部分，从肩部到手指或拇指中的任何一个。对于一些示例，手臂/手的触摸事件可以涉及一个或多个手指触摸触摸屏，手的侧面触摸、悬停或越过触摸屏的一部分，或者触摸屏上方的特定定向的前臂。要求保护的主题不限于此。
触摸屏可以使得用户能够直接与显示的显示对象(例如，窗口、菜单、文本、图画、图标、图像等)进行交互，而不是使用鼠标、触摸板或任何其他中间设备。尽管本文中的一些示例叙述了“屏幕”，但是本文中的技术可以类似地应用于没有集成显示器或者显示器与输入表面分开定位(或显示器单独投影在输入表面上)的触摸表面。例如，UWD感测技术可以与握持传感器结合使用，以及与触摸屏结合使用(例如，用于感测哪只手和/或用户与握持感测平板的后表面接触)。因此，在一些示例中，触敏表面加UWD的组合不需要涉及显示器。
触摸屏可以用在诸如游戏控制台、个人计算机、平板计算机、智能电话、大型显示屏(例如，位于教室或演讲厅的前面)等设备中。触摸屏可以附接到(多个)计算机或者使用客户端设备(例如，作为终端)以用于网络。触摸屏可以集成在数字设备的设计中，诸如个人数字助理(PDA)、GPS导航设备、移动电话、视频游戏、电子书等。
各种示例描述了能够(尤其是)检测触摸触摸屏或非触敏表面或显示器的手臂/手的动态的系统的技术和架构。例如，系统可以检测或确定手臂/手的触摸到显示器或其他表面上的冲击(例如，三维的速度和加速度)。
在各种示例中，对于穿戴将运动感测数据流传输到与触摸屏相关联的接收器的一个或多个UWD的用户，系统可以允许这种技术在诸如智能手机、平板、大型显示器等多种类型的触摸屏中的任何一种上的可移植性以及分布式处理和显示。
在一些配置中，系统可以自动检测、标识或区分操作(或接近)触摸屏的多个用户。例如，在多个人并排工作和/或在大型触摸屏上协作的情况下，这可能是有用的。在一些实现中，即使用户的手没有穿戴UWD，也可以使用群集信息来检测用户的动作。在一些实现中，针对特定用户个体地定制的菜单可以跟随跨多个设备的个体用户。在一些实现中，例如，手指剪贴板可以用于通过云携带文件。
本文中描述的一些配置涉及UWD，UWD可以是腕带、手链、贴片(例如，粘合剂贴片)、手套(例如，其不需要覆盖整个手)等。在某些情况下，UWD可以是手表或被认为是珠宝。UWD的其他示例包括带(例如，手链、扣环、手镯等)、环(例如，(多个)手指或(多个)拇指上的一个或多个)、臂带或前臂袖或其他电子纺织品(例如，电子服装)、上臂上穿戴的肘垫或臂带、固定或捆绑到肢体的移动设备(例如，电话)、绷带、带有嵌入式传感器的电子纹身、电子皮肤或移植物、皮下传感器(例如，可植入或注射在皮肤下的相对较小的模块)、电子指甲(例如，具有显示和/或感测能力的粘贴)、或作为刺穿或其他珠宝的一部分而固定的传感器等。
在任何情况下，UWD可以被配置为无线地传输表示UWD的运动(例如，平移、旋转、定向、速率、速度、加速度等)的电子信号和/或UWD的穿戴者的标识(ID)。这样的ID可以包括特定用户或一组用户的标识信息。例如，指示用户是教师成员而不是学生的标识可以允许对未向学生提供的教师用户的特定用户特权或数据访问。例如，UWD可以包括存储器设备、传输器和/或收发器、和/或处理器，但是所要求保护的主题不限于此。在一些实现中，用户可以穿戴多于一个UWD(例如，非惯用手上的带和惯用手上的环)。在一些实现中，UWD还可以无线地从计算设备接收电子信号，该计算设备可以控制用户正在使用的显示器或其他设备。例如，UWD可以接收针对UWD的穿戴者对显示器上显示的对象采取的动作的触觉反馈。该触觉反馈可以在触摸事件的同时或之后，或者可以根本不与触摸事件相关。在一些实现中，UWD可以被配置为无线接收表示引起UWD执行某种功能的命令的电子信号，例如响应于该命令而振动或提供可听警报。
在一些示例中，ID可以是全局唯一标识符(GUID)或MAC地址或从UWD与显示器或其他接近设备的连接(配对)导出的其他唯一字符串的形式。在一些实现中，可以通过使用UWD的GUID在因特网或云上找到用户的用户名和/或用户信息(例如，用户偏好)(例如，未存储在UWD中的用户名)。在一些特定示例中，检测或建立ID不需要除了传感器和无线连接之外的任何附加硬件。
在一些配置中，当用户的手指触摸触摸屏时，可以通过应用程序编程接口(API)产生“向下触摸”事件(有时称为“指针按下”)。该事件可以响应于手指触摸了触摸屏。在一些配置中，该事件可以涉及可以允许处理器例如确定用户的哪只手或多个用户中的哪个用户触摸了触摸屏的信息。例如，该信息可以包括用户的标识数据。数据可以存储在用户穿戴的UWD中。数据可以在以下情况下无线传送到处理器(例如，触摸屏的处理器)：(i)在向下触摸事件之后或与向下触摸事件并行，(ii)不时或周期性地，(iii)当用户(以及UWD)在距离触摸屏的特定距离内时，或者(iv)在触摸屏的使用的期间的开始时，仅举几个示例。
向下触摸事件可以涉及可以允许处理器确定触摸的强度的信息。如下所述，这种确定可以至少部分基于使用诸如加速计、陀螺仪、罗盘等惯性测量设备检测的运动。
在一些示例配置中，处理器的动作以及触摸屏的相关联的动作(例如，可以在事件之后显示什么对象或图像)可以至少部分基于以下各项的确定：(i)用户的哪一只手、或多个用户中的哪个用户触摸了触摸屏，(ii)触摸时手的定向，(iii)触摸时其他用户的手的定向，以及(iv)触摸的强度等。例如，如果确定特定用户已经触摸了触摸屏，则可以显示针对特定用户定制的菜单(例如，先验的或者基于特定用户在当前设备上或其他地方最近使用的命令和工具)。在另一示例中，如果确定用户的惯用手已经触摸了触摸屏，则触摸屏可以因此显示与确定非惯用手已经触摸了触摸屏的情况不同的对象或图像。在又一示例中，如果确定(或检测到)高于特定阈值的强度(例如，触摸冲击——用户多猛烈地触摸屏幕)，则触摸屏可以最终显示与确定(或检测)强度低于特定阈值的情况不同的对象或图像。在另一示例中，可能存在多于一个阈值。
本文中，短语“修改由触摸屏显示的至少一个对象”是指触摸屏(例如，或其他类型的显示器或表面)改变它显示对象或显示背景的内容(例如，窗口、菜单、图标、图形对象、文本等)或如何显示(例如，触摸屏的特定部分的亮度和/或对比度)。在一些示例中，系统可以使用间接输入(例如，如在桌面计算中，其中桌面上的设备触发分离的显示器上的动作)。在其他示例中，系统可以在投影表面上使用(多个)交互。表面本身不必是显示器，诸如将图像投影到诸如墙壁或桌子等表面上的情况。
可以包括触摸屏、触摸屏的处理器和用户穿戴的UWD的系统可以无线地从UWD接收信号。表示UWD的运动的信号(以及因此用户的相关运动)可以包括形状、轮廓、尖峰等。例如，表示作为时间的函数绘制的加速度的信号可以包括可以指示向下触摸事件的加速度脉冲(例如，尖峰或尖锐轮廓脉冲)。这是因为，峰值加速度可能在用户的手指或手触摸表面(例如，触摸屏)时发生。因此，加速度信号的脉冲可以指示这样的向下触摸事件。这样的脉冲可以具有大约100毫秒或更短的脉冲宽度(例如，半高全宽(full width at half max，FWHM))，但是所要求保护的主题不限于此。
在一些配置中，如果加速度脉冲的宽度低于(预定)阈值并且其高度(幅度)高于检测阈值，则系统的处理器可以确定向下触摸事件与UWD产生的加速度脉冲之间存在相关性。因此，穿戴UWD的手(非惯用手可能穿戴UWD，但不一定是这种情况)可能只是触摸了触摸屏(或其他表面)。系统的处理器(例如，经由API)随后可以发起手检测事件，该事件将具有关于哪只手刚刚触摸(例如，在这种情况下是非惯用手)的信息、用户信息(因为API“知道”哪个UWD运动在此时产生加速计的尖峰)、以及触摸的强度(基于尖峰(脉冲)的形状)。在一些示例中，API可以返回联系人ID和手指位置(例如，其可以由标准触摸API来感测)。出于说明性目的，由非惯用手提供的输入在本文中称为非惯用输入，并且由惯用手提供的输入在本文中称为惯用输入。
如刚才所述，在一些配置中，由执行触摸的手穿戴的UWD可以产生加速度脉冲和/或其他运动速率变化。穿戴在执行触摸的手上的UWD可以在触摸发生时测量加速度轮廓。(在一些实现中，UWD可以流传输所传输的传感器数据，同时控制显示器的处理器至少部分基于传感器数据测量加速度轮廓或其他运动参数。类似地，在一些实现中，触摸显示器上的控制器当触摸事件被接收时可以通知UWD，并且然后UWD可以在测量UWD的加速度和其他运动参数的尖峰时通知显示控制器)。另一方面，没有穿戴UWD的手可以代替地进行触摸。即使没有穿戴UWD的手进行了触摸并且穿戴UWD的手没有进行触摸，UWD仍然可以产生加速度轮廓。这是因为，用户的一部分的运动可以转移(例如，“震动”波、重量转移等)到用户的另一部分。不同之处如下：执行触摸的手的UWD可以产生具有相对大幅度的相对尖峰轮廓。但是另一个手上穿戴的UWD(其未执行触摸)在一些实现中可以产生相对平坦的脉冲
在一些配置中，用户可以在同一臂(即，环和带)上穿戴多个UWD。例如，在这种情况下，系统可以能够确定手指和手腕的定向以创建更复杂的手势。在这种情况下，每个设备提供的运动信号也可以组合，以更自信或更灵敏地检测运动信号中的尖峰。
在一些配置中，UWD可以穿戴在非惯用手上，但是可以至少部分基于针对特定用户的用户偏好来向系统自动通知穿戴UWD的位置。这样的用户偏好可以从位于云或系统的一部分中的存储器提供，由用户输入，或者可以直接从UWD收集(例如，存储在UWD上的用户设置)。在知识不完整的情况下，也可以使用默认设置(例如，用户通常在左手上穿戴手表)。在另一实例中，机器学习和/或相机等可以用于确定穿戴UWD的位置。在另一实例中，还可以混合这些方法来确定穿戴UWD的位置。本文中描述的配置可以应用于平板(例如，不限于大型显示器和智能电话)或可以触摸的任何类型的设备(具有或不具有显示器)。
在本文中的示例中，尽管诸如用户、对象、手指、手、UWD、处理器等元件可以以单数形式陈述，但所要求保护的主题不限于此。因此，例如，除非另有说明，否则可以暗示多于一个这样的元件。
1.3示例性操作环境
下面描述的环境构成用于实践如本文中描述的各种多点触摸检测实现的一个示例性操作环境，并且不旨在将权利要求限制于任何一个特定操作环境。在不脱离所要求保护的主题的精神和范围的情况下，可以使用其他环境。
图1示出了本文中描述的示例性过程可以在其中操作的示例性环境100。在一些示例中，环境100的各种设备和/或组件包括各种计算设备102。作为示例而非限制，计算设备102可以包括可以经由网络103互连的设备102a-102f，网络103例如可以包括因特网或云(例如，计算云)。虽然被示出为各种各样的设备类型，但是计算设备102可以是其他设备类型，并且不限于所示的设备类型。计算设备102可以包括具有例如经由总线110可操作地连接到输入/输出接口106和存储器108的一个或多个处理器104的任何类型的设备。计算设备102可以包括个人计算机，例如台式计算机102a、膝上型计算机102b、平板计算机102c、电信设备102d、个人数字助理(PDA)102e、(多个)触摸屏102f、电子书阅读器、可穿戴计算机、汽车计算机、游戏设备、测量设备等。计算设备102还可以包括面向商业或零售的设备，例如服务器计算机、瘦客户端、终端和/或工作站。在一些示例中，计算设备102可以包括例如用于集成在计算设备、装置或其他种类的设备中的组件。
在一些示例中，被描述为由计算设备102执行的一些或所有功能可以由一个或多个远程对等计算设备、一个或多个远程服务器或云计算资源来实现。在一些示例中，计算设备102可以包括一个或多个处理器104以经由输入/输出106从UWD接收运动学和/或用户标识，输入/输出106可以包括例如无线接收器。
在一些示例中，如关于触摸屏102f所示，存储器108可以存储由处理器104可执行的指令(包括操作系统(OS)112)以及由处理器104可加载和可执行的程序或应用116。一个或多个处理器104可以包括一个或多个中央处理单元(CPU)、图形处理单元(GPU)、视频缓冲处理器等。在一些实现中，机器学习模块114包括可执行代码，其存储在存储器108中并且由处理器104可执行以通过计算设备102经由输入/输出106在本地或远程地收集信息。该信息可以与一个或多个应用116相关联。机器学习模块114可以选择性地应用存储在存储器108中(或者更具体地，存储在机器学习114中)的多个机器学习决策模型中的任何一个以应用于输入数据。例如，机器学习可以涉及如下过程，该过程涉及处理器至少部分基于从UWD118接收的信息来解释或确定用户动作，UWD 118可以经由无线通信路径120与操作触摸屏102f的设备(例如，102)无线通信。在一些实现中，触摸屏102f可以包括与处理器104相关联的显示表面(例如，诸如墙壁、桌子等任何表面)。例如，触摸屏102f可以是其上通过由处理器操作的投影仪而显示有图像的墙壁。
尽管已经将某些模块描述为执行各种操作，但是模块仅仅是示例，并且相同或相似的功能可以由更多或更少数目的模块执行。此外，由所描述的模块执行的功能不一定必须由单个设备在本地执行。相反，一些操作可以由远程设备(例如，对等、服务器、云等)执行。
替代地或另外地，本文中描述的一些或所有功能可以至少部分由一个或多个硬件逻辑组件来执行。例如而非限制，可以使用的说明性类型的硬件逻辑组件包括现场可编程门阵列(FPGA)、程序专用集成电路(ASIC)、程序专用标准产品(ASSP)、系统级芯片系统(SOC)、复杂可编程逻辑器件(CPLD)等。
在一些示例中，计算设备102可以与深度相机相关联，深度相机可以用于测量从相机到由相机捕获的图像的各个部分的距离。在一些情况下，图像的个体像素可以具有指定从相机到与相应像素相对应的图像部分的距离的相关联的距离数据。在一些示例中，计算设备102可以与能够捕获图像和/或视频的相机和/或能够捕获音频的麦克风相关联。例如，输入/输出模块106可以包含这样的相机和/或麦克风。例如，可以将触摸屏的用户的捕获的图像与存储在存储器108中的用户的数据库中的图像进行比较，并且可以部分地使用这种比较来标识用户。可以将语音音频与存储在存储器108中的用户的数据库中的音频进行比较，并且可以部分地使用这种比较来标识用户。这种标识可以与由一个或多个用户穿戴的UWD提供的标识信息结合使用。存储器108可以包括计算机可读介质中的一个或组合。
计算机可读介质可以包括计算机存储介质和/或通信介质。计算机存储介质包括以用于存储诸如计算机可读指令、数据结构、程序模块或其他数据等信息的任何方法或技术实现的易失性和非易失性的可移除和不可移除介质。计算机存储介质包括但不限于相变存储器(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、闪存或其他存储器技术、光盘只读存储器(CD-ROM)、数字通用光盘(DVD)或其他光学存储器、磁带盒、磁性磁带、磁盘存储或其他磁存储设备、或者可以用于存储信息以供计算设备访问的任何其他非传输介质。
相反，通信介质包含计算机可读指令、数据结构、程序模块或调制数据信号中的其他数据，诸如载波和/或其他传输机制。如本文中定义的，计算机存储介质不包括通信介质。在各种示例中，存储器108是存储计算机可执行指令的计算机存储介质的示例。当由处理器104执行时，计算机可执行指令将处理器配置为尤其是在用户执行的触摸屏的触摸事件期间接收UWD的运动学数据；并且至少部分基于所接收的运动学数据来修改由触摸屏显示的至少一个对象。
在各种示例中，输入/输出(I/O)接口106的输入设备可以是间接输入设备(例如，鼠标、键盘、相机或相机阵列等)、或另一类型的非触觉设备，诸如音频输入设备。
(多个)计算设备102还可以包括一个或多个输入/输出(I/O)接口106，以允许计算设备102与其他设备通信。输入/输出(I/O)接口106可以包括一个或多个网络接口，以实现计算设备102与诸如(多个)其他设备102等其他网络设备之间的通信。输入/输出(I/O)接口106可以允许设备102与其他设备通信，诸如用户输入外围设备(例如，键盘、鼠标、笔、游戏控制器、语音输入设备、触摸输入设备、手势输入设备等)和/或输出外围设备(例如，显示器、打印机、音频扬声器、触觉输出等)。
1.4示例性系统
图2是可以用于实践如本文中描述的各种多点触摸实现的系统200的示意图。根据示例配置，系统200包括触摸屏202和触摸屏的用户204和206。用户204具有惯用手204a和非惯用手204b。用户206具有惯用手206a和非惯用手206b。(应当注意，用户可以在非惯用手或惯用手上穿戴UWD)。这样的手部分配仅仅是示例，并且惯用手和非惯用手可以是用户的左手或右手。虽然手的手指被示出为接近和/或触摸触摸屏，但是示例包括多于一个手指、手的侧面或背面或拇指可能接近或触摸触摸屏的情况，并且所要求保护的主题不限于此。而且，用户的右手和左手可以在他们接近或触摸触摸屏时彼此交叉。此外，多个用户的右手和左手可以在他们接近或触摸触摸屏时彼此交叉。
系统200还可以包括与触摸屏202和UWD 212相关联的处理器210。在各种配置中，“系统”可以被认为包括被标识为在系统200中的事物的任何组合，这是特定示例，所要求保护的主题不限于此。例如，在一些配置中，系统可以被认为是触摸屏202和处理器210(例如，排除用户和UWD)。同样，所要求保护的主题不限于此。
本文中，除非特别指出，否则“处理器”可以包括一个或多个处理器。可以与图1中所示的计算设备102的处理器104类似或相同的处理器210可以用于操作触摸屏202。例如，处理器210可以执行代码以允许触摸屏202显示由多个应用中的任何一个生成的对象，多个应用也可以由处理器210执行。可以是处理器210本地可访问(例如，在触摸屏202和/或处理器210的封装中硬连线)或远程可访问(例如，在有线或无线计算机网络中)的存储器214可以存储这样的可执行代码或应用。
UWD 212可以通信地耦合(例如，有线或无线地)到处理器210(并且因此到触摸屏202)。UWD 212可以包括处理器216、运动学传感器218、存储器220和传输器/收发器222。在一些示例中，UWD212还可以包括心跳监视器、光传感器、相机、深度相机等。可以包括惯性传感器、重力传感器、罗盘、加速计、气压传感器、力传感器或应变仪、弯曲或柔性传感器、检测材料压缩的传感器等的运动学传感器218可以生成运动学数据，运动学数据包括UWD相对于惯性坐标系(例如，参考触摸屏202)和/或相对于可穿戴者自身的局部坐标系的位置、速度和/或加速度。UWD 212可以经由传输器/收发器224、经由传输器/收发器222将运动学数据传输到处理器210。存储器220可以存储个体用户的个人和/或标识数据。例如，这样的数据可以包括用于操作各种应用的用户偏好(例如，菜单或显示参数)、标识(例如，ID号、名称、用户名等)以允许区分用户与其他用户、以及运动学行为的历史数据(例如，用户典型的触摸事件的物理特性)。在一些配置中，可以传输UWD的GUID，而其余数据来自云或来自系统202，或其组合。在一些配置中，UWD 212或系统200的用户必须在UWD或系统202或与UWD或系统通信的另一系统或云使用或存储个人数据之前“选择加入”或采取其他肯定动作。
在一些配置中，处理器210可以向UWD 212传输信息(例如，如图2中所标识的“其他通信”)，诸如握手数据或通知由处理器210和/或UWD 212执行的存在或各种动作的信号。
如上所述，触摸事件可以是物理接触触摸屏的一个或多个手或一个或多个手指等。通过本文中描述的多种技术中的任何技术，系统200可以能够标识特定用户204和206，并且这些用户可以具有不同的属性，诸如不同的高度、不同的臂长范围等。这些属性可以存储在存储器214、220或云(例如，103)中。例如，与用户204相比，用户206可以比用户204更高并且能够在触摸屏202上朝向触摸屏的顶部208达到更高。用户206也可以具有更宽的范围，从而对于在触摸屏202前面的给定的站立或者坐位置，与用户204相比，手206a和206b可以能够覆盖触摸屏202的更宽部分。
在一些配置中，在确定用户的哪只手是惯用和非惯用之后，系统200可以修改由触摸屏202显示的多个特征或对象中的任何一个。这些特征或对象可以包括窗口、菜单、图标、亮度和/或触摸屏的特定部分的对比度、图形对象、文本等。例如，因为手204a是用户204的惯用手，所以围绕用户204的位置或围绕手204a发起的触摸事件的触摸屏202的区域可以显示适合于惯用手的动作的对象，这可以不同于非惯用手的动作的对象。
在一些配置中，在确定用户的哪只手是左和右之后(例如，独立于哪只手是惯用的和非惯用的)，系统200可以基于这样的确定修改由触摸屏202显示的多个特征或对象中的任何一个。例如，与相对靠近右手的触摸屏的一部分相比，被确定为相对靠近左手(或者在手臂的范围内，例如，基于关于用户的大小信息、用户的利手(handedness)等)的触摸屏的一部分可以不同地显示。
在一些配置中，使用由用户204或206(或任何可能的附加用户)穿戴的UWD 212提供的运动信息，用户可以发起涉及两个或更多个手指、手或其任何组合的触摸事件以虚拟地“抓住”由触摸屏202显示的对象，并且当用户的手或手指(或手腕等)对应地旋转和/或平移时实时，旋转和/或平移所显示的对象。例如，然后可以将所显示的对象的这种三维(“3D”)操纵拖放到触摸屏的显示器的各个部分。
在一些配置中，由用户204或206(或任何可能的附加用户)穿戴的UWD 212提供的2D定向信息可以在手指/手可以表现得好像触摸触摸屏上的(虚拟)旋钮并且通过向左或向右旋转手指/手来转动旋钮的示例情况下使用。
在一些配置中，由用户204或206(或任何可能的附加用户)穿戴的UWD 212提供的定向信息可以用于控制所显示的信息。如果用户到达相对较高的点(例如，由UWD的更陡的倾斜导致)，则可以显示特定菜单。如果用户触摸相对较低的点，则可以显示不同的菜单。另外，用户的手的旋转可以产生附加菜单。根据触摸相对于用户位置的位置，UWD定向可以实现多个菜单或不同信息的显示。
在一些配置中，由用户204和/或206(或任何可能的附加用户)穿戴的UWD 212提供的定向信息可以用于修改触摸事件。例如，以类似于通过附加压力检索新的或更深的信息的方式，用户可以将手相对于触摸点定向(例如，改变手的倾斜和/或旋转、或手的水平方向)为接收与被触摸对象有关的附加数据的手势。压力和定向也可以在一个实例中组合。
在一些配置中，使用由用户穿戴的UWD 212提供的运动学信息，用户可以放大(增大)所显示的对象。在一些情况下，用户可以在对该对象和/或其他对象(例如，空中手势)执行3D操纵的同时放大对象。例如，用户204可以发起触摸事件，包括与触摸屏202的物理接触或者包括在触摸屏上的悬停。触摸事件可以包括用户在空间中或在触摸屏的表面上执行他们的手和/或手指的挤压或伸展运动。这种运动可以对应于由触摸屏202显示的对象的负或正放大。
在一些示例中，触摸事件可以包括用户的手悬停在触摸屏上方。在这种情况下，处理器可以跟踪用户的悬停手的运动，并且至少部分基于用户的悬停手的运动来修改由触摸屏显示的至少一个对象。例如，悬停手的运动可以包括悬停手的旋转。修改由触摸屏显示的(多个)对象可以涉及旋转与悬停手的旋转相对应的(多个)对象。
在一些配置中，通过使用由用户穿戴的UWD 212提供的运动学数据，系统200不需要包括相机、深度相机或其他图像/视频捕获设备来检测或测量一个或多个用户的运动。这样的配置还可以允许系统200使用UWD 212检测用户接近和离开触摸屏202(例如，朝向或远离触摸屏202步行)。
在一些配置中，UWD 212可以提供关于每个用户的个人信息(例如，在每个用户“选择加入”选择之后)，或者可以提供每个用户的标识，使得处理器210随后可以从存储器214中检索这样的个人信息。
在一些配置中，UWD 212可以允许个人信息或用户偏好设置跨多个设备(例如，除了触摸屏202和处理器210之外的设备)进行传输。例如，如果用户具有在触摸屏202上显示的特定在制品(work-in-progress)活动，则用户可以传输(例如，离开触摸屏202和步行)到另一计算设备或显示器，并且在制品活动可以同样地传输到其他计算设备或显示器(例如，可以由其他设备显示在制品活动)。图标、个人菜单、显示设置等可以类似地跨多个设备传输。UWD的存储器220可以存储实现这种传输的数据。在另一种配置中，UWD可以用作不同设备的用户的标识符，使得不同的设备可以检索(例如，从网络上的另一设备、服务器、因特网或云)图标、个人菜单、设置、在制品等。
所有上述配置和能力可以用于实现用户、显示器和UWD之间的各种有利的交互。这些关于1.5节更详细地描述。
1.4.1触摸事件的定时
图3包括由穿戴UWD 306的手臂/手304执行的示例触摸事件302的时序图300(300a、300b、300c)。在这个示例中，触摸事件302包括手指308与触摸屏312的显示表面310之间的物理接触。在其他示例中，代替手指308，手臂/手304的任何部分(诸如多于一个手指或手的侧面或背面)可以通过与显示表面310的物理接触来发起这样的触摸事件。类似地，在一些情况下，触摸显示表面310的手中可能具有某些东西(例如，持握的触笔)，其可能导致可以使用机器学习等识别的不同的运动/加速度轮廓/尖峰(例如，在手中没有持握触笔的情况下的手或(多个)手指的尖峰可能与手中持握触笔的情况下的手或(多个)手指的尖峰不同。
详细地，触摸事件302涉及在手指308与表面310之间的接触之前的时间314、接触时的时间316以及在接触之后的时间318。时序图300a描绘了由步骤322表示的触摸事件302的定时。例如，处理器(例如，处理器104或210)可以操作检测手指308触摸表面310的时刻的包括触摸屏312的应用程序编程接口(API)。时序图300b描绘了在触摸事件302期间UWD的相对加速度(在下文中，词语“相对”不一定是明确的并且可以暗示的)，并且由曲线326表示。时序图300c描绘了下面说明的由步骤330表示的阈值事件的定时。
在接触之前，手指308(或手臂/手的任何部分)以特定速率或速度(例如，速率是与方向无关的标量，而速度是包括在三个正交方向中的每个方向上的幅度和方向的矢量)接近表面310并且撞击表面310。UWD 306通常跟随手指308的运动。例如，UWD 306和手指308的速率可以相似或相同，并且UWD 306和手指的路径可以是相同的但是偏移固定量(例如，指尖与UWD之间的距离)。在与表面310接触时，手指308减速。换言之，表面停止手指的运动。在下文中，除非另有说明，否则减速度、即负加速度仅被称为“加速度”。UWD 306的运动对应于手指308的运动，并且因此UWD 306经历类似的加速度。在非常小的时间范围内(在一个实例中在50ms到100ms之间)，加速度增加到峰值并且然后随着诸如曲线326(其是UWD 306的加速度轮廓)等曲线的轮廓而减小，并且可以被描述为脉冲。在手指冲击表面之后，可能发生小的弹回(例如，反弹)，引起反向加速度，其由曲线326的低于时间轴的部分示出。无论是穿戴在上臂、手腕还是手指(或用户的其他部分)上，UWD 306都可以经历诸如326等加速度轮廓。
在一些实现中，UWD可以能够通过接近信号或可能通过电容耦合(例如)来检测触摸表面的存在。这种检测随后可以唤醒感测模块以收集高带宽传感器数据的突发。在其他实现中，当相对较大(例如，“硬”)的加速度的检测中断UWD的处理器时，UWD能够发起高频采样。例如，这种实现可以用于小型电池操作设备的功率节省。在又一实现中，UWD可以了解用户如何触摸表面以在适当的时间预测和唤醒系统。
在一些情况下，手指308(或手臂/手的任何部分)可以以特定加速度(例如，标量或矢量)接近表面310。然而，在本文中描述的示例中，这种“初始”加速度在特定惯性参考系中可以是可忽略的或被忽略，从而假定任何初始加速度为零。
曲线326可以被描述为具有特定形状的脉冲，该脉冲至少部分基于手指308接近并且撞击表面310时的速率和方向。脉冲形状还可以取决于在用户的手臂/手的哪个部分撞击表面、是惯用手还是非惯用手进行触摸、用户穿戴UWD的位置、用户的手臂的伸展(例如，肘部弯曲)、用户的大小和用户的其他身体特性、以及特定于特定用户的习惯或倾向等，如下所述。例如，惯用手上的手指的速率和方向可以与非惯用手上的手指的速率和方向不同，并且这种差异可以导致不同的脉冲形状。
在一些示例中，用于确定用户的惯用手或非惯用手是否产生触摸事件的技术涉及建立检测阈值(DT)，其可以例如基于实验和/或统计数据。DT是加速度的特定值，其当被触摸事件的加速度脉冲的一部分超过时指示与加速度脉冲未超过DT的情况不同的某种情况。例如，图3示出了被曲线326的峰值部分超越的DT 332。这可以指示UWD 306穿戴在与执行触摸事件302的手指308相同的手臂/手上。如果曲线326具有相对较小的峰值幅度，如下面在图5中详细描述的，则DT 332将不会被超越并且可以确定UWD穿戴在除了与手指308相同的手臂/手之外的用户的一部分上。
在一些示例中，处理器可以确定在曲线326上升到DT 332之上时之后，曲线326产生触摸事件。具体地，当曲线326随后下降到DT 332以下时，处理器确定触摸事件302已经发生，如步骤330表示的。在一些实现中，处理器可以考虑从触摸事件302发生时测量的时间限制，例如步骤322。例如，如果加速度脉冲(例如，由曲线326表示)在这样的时间限制内未能超过DT 332，则处理器可以确定加速度脉冲是由与穿戴UWD的手臂/手相反的手臂/手发起的。在一些示例中，加速度脉冲在这样的时间限制内未能超过DT 332可以指示加速度脉冲是可忽略的并且仅仅是噪声并且不是由触摸事件引起的情况。
加速度脉冲的形状可以指示很多事物，如下所述。例如，加速度脉冲可以包括允许系统200确定特定用户产生加速度脉冲的特定形状或(多个)特征。换言之，特定用户可以产生由特定运动习惯或趋势引起的独特且可标识的加速度脉冲。加速度脉冲的形状尤其可以通过脉冲的各个部分处的斜率、峰值幅度、半高全宽(FWHM)和诸如332的DT处的脉冲宽度334来表征。当然，所要求保护的主题不限于这样的示例，并且可以使用很多其他方法中的任何一种来检测脉冲，包括涉及机器学习的方法。
图4示出了用户的手臂/手402和404与在触摸屏410上显示的示例对象406和408交互。在一些示例中，UWD可以穿戴在惯用手臂/手上，并且在其他示例中，可以穿戴UWD在非惯用的手臂/手上。在图4所示的示例中，手臂/手402被认为是惯用手臂/手并且穿戴UWD412。手臂/手404被认为是非惯用手臂/手并且没有穿戴UWD。
对象406和408可以包括很多可显示事物中的任何一个，诸如窗口、菜单、文本、绘图、图标、图像等。例如，如果对象406是菜单，则对象414可以是可以由用户触摸对象414选择的多个菜单项之一。在一些示例中，对象408可以包括文本，该文本包括多个词语416，多个词语416可以由用户触摸任何词语来选择。
如上所述，当与对象或设备交互时，用户的每只手可以具有不同的角色。例如，非惯用手404可以专用于为惯用手402定位对象408。在一些配置中，系统可以通过接收从UWD412传输到系统的、表示UWD的运动的无线信号来自动区分用户的惯用手与非惯用手。UWD的运动可以对应于手402和404的运动(尽管手402与UWD 412之间的运动对应关系可以比手404与UWD 412之间的运动对应关系更接近)。应当注意，右手或左手可以是用户的惯用手。
图5示出了两个不同用户的手臂/手502和504与在触摸屏510上显示的示例对象506和508交互。在一些示例中，UWD 512可以穿戴在第一用户的(惯用或非惯用)手臂/手上，并且UWD 514可以穿戴在第二用户的(惯用或非惯用)手臂/手上。对象506和508可以包括很多可显示事物中的任何一种，诸如窗口、菜单、文本、绘图、图标、图像等。
在一些实现中，系统可以确定两个用户中的哪个用户正在利用触摸屏执行触摸事件。例如，UWD 512和514可以向系统提供其相应的穿戴者的标识数据。系统可以将触摸事件(例如，其定时)与UWD的运动和它们提供的标识数据相关联。例如，UWD 512可以周期性地、不时地、响应于来自系统的请求或者在触摸事件时向系统提供这样的标识数据。如果系统感测到触摸事件(例如，经由触摸屏的电子设备)，则系统可以将该触摸事件与UWD 512的运动和UWD 514的运动相关联，以确定哪个用户发起了触摸事件。触发事件与穿戴在发起触摸事件的手臂/手上的UWD的运动之间的相关性将强于触摸事件与穿戴在未发起触摸事件的手臂/手上的UWD的运动之间的相关性。因此，系统可以确定哪个用户发起了触摸事件。尽管这个示例涉及两个用户，但是这种方法可以例如由系统针对任何数目的用户与触摸屏交互来执行。
1.5多点触摸检测实现
上述示例性操作环境100和示例性系统200可以用于实现如本文中描述的各种多点触摸检测实现。以下多点触摸检测实现提供用于改善显示设备(例如，大型触摸屏设备)的可用性的各种工具。这些工具包括用户相关联的个性化移动菜单、组合的点击和径向标记菜单、用于自动化和改进显示器上内容的绘制或操纵的菜单、在显示器上选择对象和文本的新菜单和方法、以及通过使用手势使用UWD与UWD和触摸屏显示器的新交互等。另外，启用了对显示器的特定用户的UWD的目标触觉反馈。可以将振动形式的触觉反馈提供给特定用户的UWD，例如，在一个实例中，当他/她将对象对齐到网格时。
本文中描述的一些多点触摸检测实现利用如上结合显示器描述的UWD以实现与大型或小型触摸屏显示器的新的和有利的接口。在很多多点触摸检测实现中，使用如本文中描述的UWD(和/或经由诸如通过确定用户的指纹和/或通过使用相机来跟踪用户的其他方法)来确定用户的惯用和非惯用手。这允许确定用户的非惯用手(或惯用手)何时触摸触摸屏显示器，如上面段落中所讨论的。在一些多点触摸检测实现中，用户的非惯用手穿戴UWD(例如，带)并且使用UWD上的加速计和/或一个或多个其他传感器来确定用户的非惯用手何时进行接触或触摸触摸屏显示器。在其他多点触摸检测实现中，用户的惯用手穿戴UWD(例如，带)并且使用UWD上的加速计和/或一个或多个其他传感器来确定用户的惯用手何时接触或触摸触摸屏显示器。或者，在一些实现中，被保持或触摸的设备上的传感器、或UWD上的传感器或两者的组合可以用于确定哪只手是惯用的和非惯用的以及哪只手正在触摸或以其他方式作用于触摸屏幕显示。
1.5.1移动个性化菜单
本文中描述的很多多点触摸检测实现提供了随着用户的手指触摸显示器而移动的菜单(在一些实现中，只要存在相同的触摸事件)。这是有利的，例如，因为用户可以关于大型显示器自由地移动，无需到达菜单以添加或操纵对象或数据。在一些实现中，当确定用户的(例如，非惯用)手的手指或多于一个手指触摸触摸屏时，在显示器上在(多个)手指在显示器上的位置处显示菜单。在一些实现中，只要手指触摸显示器，该菜单在整个显示器中跟随用户的(非惯用)手的手指。在一些多点触摸检测实现中，如果用户从显示器抬起(非惯用)手的这个手指(例如，不再存在触摸事件)，则菜单从显示器消失。在一些实现中，用户的非惯用手可以用于激活菜单上的各种选项(例如，使用非惯用手上的手指)，或者用户可以用在他们的惯用手中的笔或者用他们惯用手的手指添加对象或笔划。应当注意，可以颠倒惯用手和非惯用手在菜单显示和操纵中的角色。
在本文中描述的一些多点触摸检测实现中，当用户触摸显示器时，可以向每个用户显示个性化菜单。例如，如前所述，可以使用UWD来确定用户的身份，并且所确定的身份可以用于将个性化菜单和个人数据与特定用户相关联。因此，两个或更多个不同的用户可以同时操纵大型显示器上的数据(例如，文件、图像、搜索结果)和对象，每个用户使用他们自己的个性化数据和个性化菜单(例如，用户最常使用的菜单、被配置为符合用户的偏好的菜单，例如曲线板的优选形状、用于手写识别的优选字典，在笔唯一ID与特定用户相关联情况下自动选择的最近颜色和/或笔的属性等)。而且，在一些实现中，个性化菜单和偏好可以跨不同设备无缝地跟随用户(即，通过经由计算云存储/检索该信息)。在一个实例中，这可以通过使UWD将凭证和/或用户信息传送到连接到显示器(或远程连接到显示器)的计算设备/处理器，并且自动且安全地使用该信息来从计算云(即，使用Web服务等)中检索数据来实现。然后，数据可以显示在用户附近。个性化菜单也可以是移动的，使得它们如上所述随着触摸事件移动，或者可以是非移动的，使得它们不移动。
1.5.2组合的点击径向标记菜单
本文中描述的一些多点触摸检测实现使用组合的点击径向标记菜单。这些组合的点击标记菜单可以用作普通的径向标记菜单，但也可以允许组合的点击径向标记菜单定位在如下对象上方，用户希望通过触摸触摸屏或然后显示径向标记菜单图标的手势(例如，用用户的非惯用手的手指)来作用于显示在触摸屏上的该对象。然后，用户可以扩展径向标记菜单，并且通过在期望的菜单选择上从径向标记菜单的中心以向外运动触摸菜单图标(例如，用他们的惯用手或笔)从径向标记菜单中选择菜单选项。因此，用户可以使用所选择的菜单选项修改组合的点击径向标记菜单下面的对象。例如，用户可以修改菜单下面线的笔划颜色或笔划宽度。在一些实现中，通过向触摸显示器施加一定程度的压力，可以从未扩展状态(由图标表示)扩展组合的点击径向标记菜单。在其他实现中，用户可以扭曲他们的非惯用手(其可以由UWD感测)以扩展菜单。在一些实现中，组合的点击径向标记菜单修改在菜单正下方的(多个)笔划的颜色，并且径向标记菜单选择修改笔的持久状态(例如，该特定笔的颜色，其可以是以各种方式确定的)。当然，还可以修改很多其他笔划属性，诸如笔划粗细、笔划样式(例如，半透明荧光笔、标记、虚线、空气喷涂等)。例如，如果笔的状态是绿色(例如，最近的径向菜单选择是绿色)，并且用户点击以将现有笔划修改为红色，则触笔的状态保持为绿色(直到下一不同的径向菜单选择)。在一些实现中，通过显示器上的半透明的菜单可视地识别点击行为或菜单。
图6描绘了用于修改在触摸屏显示器604上绘制的笔划602的笔划特性(例如，宽度)的示例性组合的点击和径向标记菜单600。在一些实现中，当用户用由UWD 608确定的他们的非惯用手触摸显示器600(其可以被称为非惯用触摸)时，菜单600出现在显示器604上。然后，用户可以通过用用户的惯用手选择菜单项(其可以被称为惯用触摸)来修改笔划402。图7描绘了在图6中描绘的触摸屏显示器上绘制的笔划的经修改的笔划702特性(例如，笔划较粗)。应当注意，这个示例假定用户的非惯用手是左手，但是如果非惯用手是右手则可以出现对称菜单(在一个实现中，UWD可以向计算设备的显示器/处理器通知利手)。
1.5.3使用X射线菜单进行的内容/对象选择和操纵
一些多点触摸检测实现提供了使用x射线菜单选择屏幕上的内容或对象及其上的动作。通常，x射线菜单将范围的选择(例如，哪个(哪些)笔划或其他对象识别或以其他方式作用)与命令本身的表达相结合。与在显示器上选择项目的其他方法(例如，切换到套索模式，并且然后用长笔划描绘要选择的笔划/对象)相比，x射线菜单需要更少的用户交互，并且因此是计算高效的。在一些实现中，X射线菜单允许通过选择由用户的(例如，非惯用)手上的多个指部(例如，用户的非惯用手的两个手指或手指和拇指)定义的区域中的对象或内容来选择期望的内容。允许操纵与所选择的内容/对象相关联的显示器上的所选择的对象或内容的一个或多个菜单可以出现在所选择的内容或对象的边缘处(或在其他位置处，例如，在所选择的内容旁边，接近非惯用手指，在选择的顶部或底部等)。在一些实现中，所选择的区域逐渐远离进行选择的用户的指部/手指的交叉点。此外，在一些实现中，可以通过增加施加到触摸屏的触摸触摸屏的指部/手指的压力来增加所选择的区域从指部/手指延伸的距离。在一些实现中，当用户用手指或笔执行某种手势时(例如，惯用手在x射线上向外移动以使其延伸，并且向内移动以使其缩回)，所选择的区域延伸。另外，可以通过重新定位触摸屏幕的指部/手指来重定向内容或对象的选择。
图8描绘了包括触摸屏800上的内容(例如，词语“slope”)的显示区域的选择，触摸屏800包括与所选择的区域相关联的未扩展菜单804、806。在其他实现中，这些菜单的位置可以是不同的。在一些实现中，通过用用户的非惯用手的指部触摸显示器800来发起该选择的区域和相关联的显示。这个示例示出了手写文本“slope”的选择以及用于将文本识别应用于手写文本的相关菜单的显示。
图9描绘了图8中所示的组合的点击和径向文本识别菜单902的扩展。在一些实现中，可以通过用户用手指或触笔/笔按下菜单的中心并且使菜单的中心保持向下来扩展该菜单。图10描绘了在用图8和9中所示的组合的点击径向标记菜单激活文本识别的应用之后将手写文本“slope”转换为类型写入“slope”1002。在一些实现中，存在允许恢复识别的“未识别”菜单。在这个示例中应当注意，如果文本不是水平定向的，则定义x射线的定向的用户的两个指部/手指的定向也可以用于正确地定向要识别的文本的选择。在一个实例中，识别的文本可以保持相同的定向(和大小、以及其他特性，例如在粗笔划的情况下的粗体、颜色、斜体等)作为手写文本。
还存在用户可以在本文中描述的各种多点触摸输入检测实现中选择内容的各种其他方式。在一些多点触摸检测实现中，被选择用于编辑或修改对象的区域不是由用户的(例如，非惯用)手的两个手指之间的区域定义的，而是由距(例如，非惯用)手的手指的触摸的固定距离定义的。例如，围绕用户的手指的触摸的位置的给定距离的半径区域可以用于选择显示器上显示的对象和内容。还可以显示用于操纵所选择的内容的适用菜单(例如，在定义所选择的内容的圆的半径的边界处)。
1.5.4作为工具的菜单轮廓
在一些多点触摸检测实现中，菜单轮廓是工具调色板/菜单本身的隐含部分，工具调色板/菜单允许用户通过使笔的笔划合理地靠近(例如，在指定距离内)菜单/工具调色板本身来使用笔来绘制符合菜单/工具调色板的轮廓的形状的曲线或直线。线条的形状不是由可以从调色板本身中选择的单独的模式或工具提供的；相反，它只是默认地存在，实际上是一种空间复用功能，用户简单地通过使笔的笔划合理地靠近工具调色板的适当边界来访问该功能。这与先前的曲线板、曲线向导和直尺工具不同，在这些工具中，工具始终首先作为必须从调色板(或工具栏中，或功能驻留在图形用户界面中的任何位置)中进行选择的某种控件而存在。这种设计回避了这一点，并且菜单/工具调色板本身仅仅基于整个菜单/工具调色板的外部轮廓来实施该行为。
图11描绘了具有用作绘制曲线板或其他形状的工具的轮廓1102的菜单1100。菜单1100的轮廓1102可以用作工具，而不必调出特定的绘制工具菜单或控件。图11描绘了用户通过仅在菜单的轮廓附近绘制笔划来绘制符合菜单1100的轮廓1102的曲线1104。在一个实现中，菜单由用户的(例如，非惯用)手1106的手指触摸显示器来激活。在一些实现中，整个菜单1100的定向可以由用户旋转，但是在一些情况下，(在菜单1100内的)径向菜单保持其定向(例如，北菜单选择保持向上指向)。在其他情况下，径向菜单随菜单1100旋转(因此当菜单1100旋转时，径向菜单上的北标记处于西北(NW)方向)。
图12描绘了表示图11中绘制的曲线1104的修改的曲线1204。用户通过使用触摸或多点触摸(即，用用户的惯用手)修改曲线的特性来修改曲线1004。在一些实现中，用户可以通过改变菜单本身的轮廓来改变要绘制的曲线的形状。在这种情况下，在经修改的菜单轮廓的指定距离内绘制的任何笔划将符合新的经修改的菜单形状。这些修改可以针对制作它们的用户进行个性化，并且可以在用户正在使用不同设备时跟随用户。此外，在一个实例中，可以存储曲线板工具的修改历史，或者可以由用户将不同的自定义曲线板工具设置为快捷菜单的不同偏好等。
在一些多点触摸检测实现中，所显示的移动菜单的轮廓被用作其他类型的工具。例如，在一些实现中，菜单的轮廓用作直尺或标尺。此外，在一些实现中，菜单的边缘可以用作对齐工具，例如，作为用于拖动对象的边界。替代地或另外地，菜单轮廓可以用作掩蔽器(frisket)(掩模)。菜单轮廓还可以用于强制特定种类的约束或对称，例如当前笔的笔划的镜像反射。在一些多点触摸检测实现中，菜单轮廓可以用于默认将直尺对齐到90度或45度增量。此外，可以使用经修改的手势来允许用户打破约束并且将直尺放置在任意角度。在一些多点触摸检测实现中，菜单轮廓可以用于提供罗盘或量角器边缘。在另一示例中，边缘可以应用线条样式等(即，虚线、具有网格标记的线等)。这些实现是有利的，因为它们使得用户输入更简单并且计算效率更高，并且用户从不觉得他们必须“选择”或使用工具模式(他们仍然只是用笔放下笔划，感觉就像完全无模式方式)，增加的功能一直存在，并且可以在需要时以无缝方式访问。
1.5.5手势与UWD结合用于菜单控制
在一些多点触摸检测实现中，手势用于控制所显示的菜单。例如，在先前讨论的一些多点触摸检测实现中，当用户用他或她的非惯用手的手指触摸触摸显示器时，在手指触摸的位置处弹出菜单。在一些实现中，当用户不再触摸显示器时，该菜单通常消失。然而，在一些多点触摸检测实现中，用户可以以预定义的方式进行手势以便操纵显示器上的菜单。例如，在一些多点触摸检测实现中，用户可以通过扭曲正在触摸显示器并且在显示器上弹出菜单的非惯用手指的手指、手或手臂来将显示的菜单锁定在显示器上的位置。在一些实现中，提供视觉反馈(例如，颜色的改变、透明度的改变)以指示菜单已经被锁定。用户的手指扭曲可以由用户正在穿戴的UWD上的加速计和/或一个或多个其他传感器确定。在这种情况下，显示的菜单被锁定在显示器上的位置并且保持显示直到用户选择移动菜单或关闭它，例如通过用非惯用手的手指再次触摸菜单并且然后从显示器移开他们的手指(例如，没有扭曲)。其他手势可以用于执行菜单上的其他命令。例如，用户可以以某种姿势举手以使菜单消失，扩展菜单并且进行菜单选择。
1.5.6与UWD结合的用户特定的触觉反馈
在一些多点触摸检测实现中，用户不仅可以从UWD接收数据，而且命令也可以被发送到UWD以由UWD执行机械动作。在一些实现中，UWD包括声音和/或振动生成装置，声音和/或振动生成装置可以提示用户(和/或其他用户)用户的手臂/手是否已经对显示器上的特定对象采取特定动作。例如，在一些实现中，对于用户针对显示器采取的动作，可以向用户发送触觉反馈。例如，当用户改变菜单，选择特定菜单，将一个或多个笔划对齐到菜单轮廓，将对象(或一组对象)对齐到网格，或者对显示在显示器上的对象或菜单采取其他动作时，用户可以在其UWD上接收触觉反馈。在另一实现中，第一用户可以对齐对象并且接收触觉反馈，但是触摸显示器(和/或接近显示器)的其他用户将接收不同的反馈(即，同时的通知)或者完全没有触觉反馈。在又一实例中，触摸显示器的用户将接收与显示器附近(例如，在距显示器的规定距离内)但未触摸显示器的其他用户不同的反馈。在又一实例中，从用户到显示器的实际距离影响触觉反馈的类型和/或强度和/或频率等(即，如果用户远离于显示器，则提供非常小的触觉反馈)。
由于用户的标识是已知的，因为该标识与他的UWD相关联，因此可以仅基于该特定用户采取的动作来个性化该触觉反馈。应当注意，发送到UWD的该触觉反馈或听觉提示可以与触摸屏上的触摸事件同时发生，但也可以在这样的触摸事件之后或之前发生，或者可以根本不与触摸事件相关。在一些实现中，执行操作的用户将不接收触觉反馈，但是其他用户可以接收触觉反馈。在一些情况下，在使用没有穿戴UWD的手的操作期间发送触觉反馈。在一些实现中，触觉反馈也可以与悬停事件(例如，在网格上用触笔悬停)相关。
1.5.7到较小屏幕的可移植性和使用较小屏幕的分布式处理
在一些多点触摸检测实现中，在大型触摸显示器上显示的本文中描述的菜单和工具可以部分地或完全地移植到较小的显示器或另一设备，诸如移动电话或手持平板设备(或反之亦然)。例如，在这些示例性实现中，在大型屏幕设备上显示的菜单和工具可以移植到手持设备。本文中讨论的很多相同的交互可以在这样的上下文中被支持，该上下文允许用户(例如)利用本文中描述的多点触摸检测实现的一些能力，即使当用户稍微超出了显示器的手臂长度时。在一些实现中，整个菜单或其部分可以被整理到UWD和/或移动电话和/或一些其他可穿戴和/或不可穿戴移动设备(例如，平板计算机、手表、或可能甚至到笔本身)的显示器上。在一个实现中，系统由于UWD而知道哪个用户触摸显示器，因此该信息允许到与该用户相关联的设备(诸如平板计算机、移动电话或笔)的连接，并且将菜单或菜单的一部分整理到与该用户相关联的设备。例如，如果设备是笔，则可以自动设置用户偏好(即，笔划的样式、颜色、笔划的大小等)。在一些实现中，触敏设备、例如计算设备上的触摸板可以由用户的非惯用手使用，并且鼠标可以由用户的惯用手使用来控制非触摸显示器或触摸显示器，例如，会议室中的大型显示器。此外，鼠标的移动(或触摸板上的触摸事件)和与用户相关联的UWD的移动之间的相关性可以用于无缝地认证用户。
图13示出了用户在手臂/手1304上穿戴的UWD 1302，其与手持触摸屏1306交互，手持触摸屏1306可以用于将本文中描述的一些工具和菜单移植到另一设备以供显示。例如，用户的个性化菜单可以移植到相同大小的其他显示设备，或者可以移植到大型屏幕和小型屏幕显示器之间。通常，菜单可以跨用户的所有设备分布，而不管其形状、感测能力和大小。而且，在一个实现中(例如，在桌面显示器上)，系统可以识别用户何时将移动设备(例如，移动电话)向下放在显示器上(即，通过确定设备上的加速计和/或陀螺仪中的特定尖峰和显示器上的移动设备的覆盖区)，并且自动创建混合体验，诸如使得在桌面显示器上的移动设备周围显现针对该用户定制的曲线板，并且使得在移动设备本身上显示其他菜单。
1.5.8示例性过程
图14是可以由处理器执行的示例性计算机实现的过程1400的流程图。例如，过程1400可以由图1中所示的计算设备102执行。
在框1402处，处理器在与计算设备通信的触摸显示器上从用户接收触摸事件。
在框1404处，只要触摸事件是活动的，就在触摸事件的位置处在触摸显示器上显示工具，其中该工具提供用于修改在触摸显示器上的触摸事件的指定附近显示的对象的能力。即使当触摸事件响应于用户手势而结束时，工具也可以固定到显示器。
图14中所示的操作流程被示出为表示可以用硬件、软件、固件或其组合实现的操作序列的框和/或箭头的集合。描述框的顺序不旨在被解释为限制，并且可以以任何顺序组合任何数目的所描述的操作以实现一个或多个方法或替代方法。另外，在不脱离本文中描述的主题的精神和范围的情况下，可以从操作流程中省略单独的操作。在软件的上下文中，框表示计算机可读指令，该计算机可读指令在由一个或多个处理器执行时配置处理器以执行所述操作。在硬件的上下文中，框可以表示被配置为执行所述操作的一个或多个电路(例如，FPGA、专用集成电路ASIC等)。
图14中所示的操作流程中的任何例程描述、元素或框可以表示包括用于实现例程中的特定逻辑功能或元素的一个或多个可执行指令的模块、段或代码部分。
2.0示例条款
以下段落描述各种多点触摸检测实现。
A.一种系统，包括：触摸屏；一个或多个处理器；收发器，用于从与用户相关联的设备接收信号，并且向与所述用户相关联的设备发送信号；以及存储指令的存储器，所述指令在由所述一个或多个处理器执行时引起所述一个或多个处理器执行包括以下各项的操作：接收表示在所述触摸屏的触摸事件期间驻留在与所述用户相关联的设备中的传感器的加速度的数据；至少部分基于所述接收的数据确定所述触摸事件是否与惯用输入相关联或者所述触摸事件是否与非惯用输入相关联；如果所述触摸事件与非惯用输入相关联，则发起第一命令；以及如果所述触摸事件与惯用输入相关联，则发起第二命令。
B.根据段落A所述的系统，其中所述存储的指令在由所述一个或多个处理器执行时引起所述一个或多个处理器执行包括以下各项的操作：响应于所述第一命令而在所述触摸屏上的所述触摸事件的位置处显示至少一个菜单。
C.根据段落B所述的系统，还包括使用所述第二命令以使用所述至少一个显示的菜单来修改由所述触摸屏显示的至少一个对象。
D.根据段落B所述的系统，其中只要所述触摸事件由于所述用户或其他对象正在触摸所述触摸屏而保持活动，所述菜单就随着所述触摸事件在所述显示器上的移动而移动。
E.根据段落B所述的系统，其中所述菜单针对与所述第一触摸事件相关联的用户被个性化。
F.根据段落B所述的系统，其中所述至少一个菜单还包括还用于修改在所述触摸屏上位于所述菜单下面的对象的至少一个径向标记菜单。
G.根据段落B所述的系统，其中所述触摸事件被确定为由所述用户的手的指定数目的指部触摸所述触摸屏引起，并且其中在所述指定指部之间的区域中的对象被选择并且通过与所述触摸屏上的所选择的区域相关联菜单可修改。
H.根据段落B所述的系统，其中所述触摸事件被确定为由所述用户的手触摸所述触摸屏的触摸事件引起，并且其中在所述触摸事件周围的区域中的一个或多个对象被选择并且通过与所述触摸屏上的所选择的区域相关联的菜单可修改。
I.根据段落B所述的系统，其中所述菜单的边界的轮廓用作作用于显示在所述触摸屏上的对象的工具。
J.根据段落I所述的系统，其中所述菜单的边界的轮廓由用户可修改。
K.根据段落A所述的系统，其中到与所述用户相关联的设备的一个或多个命令经由所述收发器被无线地发送给与所述用户相关联的设备。
L.根据段落K所述的系统，其中所述一个或多个命令是触觉输入。
M.根据段落K所述的系统，其中所述一个或多个命令以与特定用户相关联的设备为目标。
N.根据段落A所述的系统，其中所述惯用输入与所述触摸屏的用户的惯用手相关联，并且所述非惯用输入与所述用户的非惯用手相关联。
O.根据段落A所述的系统，其中所述存储的指令在由所述一个或多个处理器执行时引起所述一个或多个处理器执行包括以下各项的操作：从与所述用户相关联的设备接收表示所述相关联的设备的用户的标识的数据；并且至少部分基于所述用户的标识来修改显示在所述触摸屏上的菜单。
P.根据段落A所述的系统，其中与用户相关联的设备是用户可穿戴设备。
Q.一种系统，包括：第一触摸屏；接收器，用于从用户可穿戴设备接收信号；处理器，通信地耦合到所述接收器以：在由用户在所述第一触摸屏上执行的触摸事件期间，接收表示所述用户可穿戴设备的加速度或其他运动数据的数据；至少部分基于所述接收的数据确定所述用户的哪只手产生了所述触摸事件；并且至少部分基于所述用户的哪只手产生了所述触摸事件的确定，在所述触摸屏上与所述第一触摸屏上的触摸事件的位置相对应的位置处显示与所述用户相关联的工具；以及将所述第一触摸屏中的位置处的与所述用户相关联的显示工具移植到第二触摸屏上的类似相对位置。
R.根据段落Q所述的系统，其中所述处理器还通信地耦合到存储器以：存储所述加速度或其他运动数据的至少一部分并且将所述存储的加速度或其他运动数据与所述用户相关联；存储所述触摸屏的第二用户的附加的加速度或其他运动数据，并且将所述存储的附加的加速度或其他运动数据与所述第二用户相关联；以及访问所述存储的加速度或其他运动数据以及所述存储的附加的加速度或其他运动数据以确定所述用户或所述第二用户是否产生了所述触摸事件。
S.根据段落R所述的系统，其中所述处理器被配置为至少部分基于确定所述用户或所述第二用户是否产生所述触摸事件来修改由所述触摸屏显示的至少一个对象。
T.一种计算机实现的过程方法，包括使用计算设备用于：在与所述计算设备通信的触摸显示器上从用户接收触摸事件；以及只要所述触摸事件是活动的，在所述触摸事件的近似位置处在所述触摸显示器上显示工具，其中所述工具提供用于修改在所述触摸显示器上的所述触摸事件的指定附近显示的对象的能力。
U.根据段落T所述的计算机实现的过程，其中即使当所述触摸事件通过使用用户手势而结束时，所述工具也能够固定在所述触摸显示器上。
V.根据段落T所述的计算机实现的过程，其中只要所述触摸事件是活动的，所述工具就随着所述触摸事件的位置而移动。
尽管已经用结构特征和/或方法动作特定的语言描述了这些技术，但是应当理解，所附权利要求不必限于所描述的特征或动作。相反，特征和动作被描述为这种技术的示例实现。
除非另有说明，否则上述所有方法和过程可以全部或部分地由一个或多个通用计算机或处理器执行的软件代码模块来实现。代码模块可以存储在任何类型的计算机可读存储介质或其他计算机存储设备中。替代地，一些或所有方法可以全部或部分地由诸如FPGA、ASIC等专用计算机硬件实现。
除非另外特别说明，否则诸如“可以(can)”、“可以(could)”、“可以(might)”或“可以(may)”等条件语言用于指示某些示例包括而其他示例不包括所描述的特征、元素和/或步骤。因此，除非另有说明，否则这样的条件语言并非旨在暗示一个或多个示例以任何方式需要这些特征、元素和/或步骤，也并非旨在暗示一个或多个示例必须包括用于在具有或没有用户输入或提示的情况下决定是否在任何特定示例中包括或将要执行这些特征、元素和/或步骤的逻辑。
除非另有明确说明，否则诸如短语“X、Y或Z中的至少一个”等连接语言应当被理解为表示项目、术语等可以是X、或Y或Z或其组合。此外，在某些情况下，“A和B”也可以表示“A和/或B”。
可以对上述示例进行很多变化和修改，其中的元素应当被理解为是其他可接受的示例。例如，可以使用本文中描述的多点触摸检测实现来实现各种类型的菜单和工具。例如，图15描绘了组合的点击和径向标记菜单的示例性扩展。图16描绘了可以通过在本文中描述的一些多点触摸检测实现中采用的组合的点击和径向标记菜单的扩展来访问的示例性菜单。图17描绘了从中可以选择特定用户的照片的组合的点击和径向菜单。在一些实现中，这些照片可以从计算云(例如，云)检索。所有这样的修改和变化旨在被包括在本公开的范围内。

Claims (15)

1.一种系统，包括：
触摸屏；
一个或多个处理器；
收发器，从与用户相关联的设备接收信号并且向与所述用户相关联的所述设备发送信号；以及
存储指令的存储器，所述指令在由所述一个或多个处理器执行时引起所述一个或多个处理器执行包括以下各项的操作：
接收表示在所述触摸屏的触摸事件期间驻留在与所述用户相关联的所述设备中的传感器的加速度的数据；
至少部分基于接收的所述数据确定所述触摸事件是否与惯用输入相关联或者所述触摸事件是否与非惯用输入相关联；
如果所述触摸事件与非惯用输入相关联，则发起第一命令；以及
如果所述触摸事件与惯用输入相关联，则发起第二命令。
2.根据权利要求1所述的系统，其中存储的所述指令在由所述一个或多个处理器执行时引起所述一个或多个处理器执行包括以下各项的操作：
响应于所述第一命令而在所述触摸屏上的所述触摸事件的位置处显示至少一个菜单。
3.根据权利要求2所述的系统，还包括使用所述第二命令以使用显示的所述至少一个菜单来修改由所述触摸屏显示的至少一个对象。
4.根据权利要求2所述的系统，其中只要所述触摸事件由于所述用户或其他对象触摸所述显示器而保持活动，所述至少一个菜单就随着所述触摸事件在所述显示器上的移动而移动。
5.根据权利要求2所述的系统，其中所述菜单针对与所述触摸事件相关联的所述用户被个性化。
6.根据权利要求2所述的系统，其中所述至少一个菜单还包括用于修改在所述触摸屏上位于所述菜单下面的对象的至少一个径向菜单。
7.根据权利要求2所述的系统，其中所述触摸事件被确定为由用户的手的指部或其他对象触摸所述触摸屏引起，并且其中在所述触摸指部或对象之间的区域中的对象被选择并且由与所述触摸屏上的选择的所述区域相关联所述菜单可修改。
8.根据权利要求2所述的系统，其中所述触摸事件被确定为由所述用户的手或其他对象触摸所述触摸屏的触摸事件引起，并且其中在所述触摸事件周围的区域中的一个或多个对象被选择并且由与所述触摸屏上的选择的所述区域相关联的菜单可修改。
9.根据权利要求1所述的系统，其中所述菜单的边界的轮廓用作作用于被显示在所述触摸屏上的对象的工具。
10.根据权利要求9所述的系统，其中所述菜单的所述边界的所述轮廓由用户可修改。
11.根据权利要求1所述的系统，其中向与所述用户相关联的所述设备的一个或多个命令被无线地发送。
12.根据权利要求11所述的系统，其中所述一个或多个命令是触觉反馈。
13.根据权利要求11所述的系统，其中所述一个或多个命令以与特定用户相关联的所述设备为目标。
14.根据权利要求1所述的系统，其中与用户相关联的设备是用户可穿戴设备。
15.一种计算机实现的处理方法，包括使用计算设备以用于：
在与所述计算设备通信的触摸显示器上从用户接收触摸事件；
只要所述触摸事件是活动的，就在所述触摸事件的近似位置处在所述触摸显示器上显示工具，其中所述工具提供用于修改在所述触摸显示器上的所述触摸事件的指定附近中显示的对象的能力。
CN201780020764.9A 2016-03-28 2017-03-23 用于多点触摸输入检测的应用 Active CN109074217B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110907417.6A CN113608665A (zh) 2016-03-28 2017-03-23 用于多点触摸输入检测的应用

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201662314144P 2016-03-28 2016-03-28
US62/314,144 2016-03-28
US15/197,629 2016-06-29
US15/197,629 US10579216B2 (en) 2016-03-28 2016-06-29 Applications for multi-touch input detection
PCT/US2017/023691 WO2017172457A1 (en) 2016-03-28 2017-03-23 Applications for multi-touch input detection

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN202110907417.6A Division CN113608665A (zh) 2016-03-28 2017-03-23 用于多点触摸输入检测的应用

Publications (2)

Publication Number Publication Date
CN109074217A true CN109074217A (zh) 2018-12-21
CN109074217B CN109074217B (zh) 2021-08-27

Family

ID=59896948

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201780020764.9A Active CN109074217B (zh) 2016-03-28 2017-03-23 用于多点触摸输入检测的应用
CN202110907417.6A Pending CN113608665A (zh) 2016-03-28 2017-03-23 用于多点触摸输入检测的应用

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN202110907417.6A Pending CN113608665A (zh) 2016-03-28 2017-03-23 用于多点触摸输入检测的应用

Country Status (4)

Country Link
US (1) US10579216B2 (zh)
EP (1) EP3436916B1 (zh)
CN (2) CN109074217B (zh)
WO (1) WO2017172457A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112540669A (zh) * 2019-09-23 2021-03-23 苹果公司 手指安装的输入设备
CN113515228A (zh) * 2021-06-09 2021-10-19 华为技术有限公司 一种虚拟标尺显示方法以及相关设备
WO2021227628A1 (zh) * 2020-05-14 2021-11-18 华为技术有限公司 一种电子设备及其交互方法

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9792017B1 (en) 2011-07-12 2017-10-17 Domo, Inc. Automatic creation of drill paths
US9202297B1 (en) * 2011-07-12 2015-12-01 Domo, Inc. Dynamic expansion of data visualizations
US10216405B2 (en) * 2015-10-24 2019-02-26 Microsoft Technology Licensing, Llc Presenting control interface based on multi-input command
US10365822B2 (en) * 2016-06-20 2019-07-30 Dell Products L.P. Information handling system multi-handed hybrid interface devices
KR102629409B1 (ko) * 2016-11-11 2024-01-26 삼성전자주식회사 객체 정보를 제공하기 위한 방법 및 그 전자 장치
US10684758B2 (en) 2017-02-20 2020-06-16 Microsoft Technology Licensing, Llc Unified system for bimanual interactions
US10558341B2 (en) 2017-02-20 2020-02-11 Microsoft Technology Licensing, Llc Unified system for bimanual interactions on flexible representations of content
US10817579B2 (en) * 2017-05-16 2020-10-27 Apple Inc. Determining relevant information based on user interactions
WO2019005586A1 (en) * 2017-06-29 2019-01-03 Apple Inc. FINGER-FITTED DEVICE WITH SENSORS AND HAPTIC TECHNOLOGY
US10747403B2 (en) * 2017-08-07 2020-08-18 International Business Machines Corporation Adaptable user input interface
WO2019110575A1 (de) * 2017-12-05 2019-06-13 iNDTact GmbH Mobilgerät
US11416140B2 (en) 2018-01-18 2022-08-16 Hewlett-Packard Development Company, L.P. Touchscreen devices to transmit input selectively
US11050464B2 (en) * 2018-08-19 2021-06-29 International Forte Group LLC First portable electronic device for facilitating a proximity based interaction with a second portable electronic device based on a plurality of gesture
WO2020072785A1 (en) * 2018-10-04 2020-04-09 Brown University Robotic drawing
US20200187908A1 (en) * 2018-12-18 2020-06-18 General Electric Company Method and systems for touchscreen user interface controls
US11755107B1 (en) 2019-09-23 2023-09-12 Apple Inc. Finger devices with proximity sensors
US11934584B2 (en) * 2019-09-27 2024-03-19 Apple Inc. Finger orientation touch detection
US11301099B1 (en) 2019-09-27 2022-04-12 Apple Inc. Methods and apparatus for finger detection and separation on a touch sensor panel using machine learning models
US11709554B1 (en) 2020-09-14 2023-07-25 Apple Inc. Finger devices with adjustable housing structures
US11287886B1 (en) 2020-09-15 2022-03-29 Apple Inc. Systems for calibrating finger devices

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020185999A1 (en) * 2001-05-14 2002-12-12 Shigeru Tajima Information processing apparatus for inputting a signal, and method therefor
CN101620503A (zh) * 2009-07-31 2010-01-06 北京大学 一种汉字输入方法和装置
US8402391B1 (en) * 2008-09-25 2013-03-19 Apple, Inc. Collaboration system
US20150261373A1 (en) * 2014-03-17 2015-09-17 Google Inc. Determining User Handedness and Orientation Using a Touchscreen Device
US20150293592A1 (en) * 2014-04-15 2015-10-15 Samsung Electronics Co., Ltd. Haptic information management method and electronic device supporting the same
EP2990928A1 (en) * 2014-08-29 2016-03-02 Vodafone IP Licensing limited Mobile telecommunications terminal and method of operation thereof

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7197041B1 (en) * 2001-08-31 2007-03-27 Shipcom Wireless Inc System and method for developing and executing a wireless application gateway
EP1860534A1 (en) * 2006-05-22 2007-11-28 LG Electronics Inc. Mobile terminal and menu display method thereof
US20100214243A1 (en) * 2008-07-15 2010-08-26 Immersion Corporation Systems and Methods For Interpreting Physical Interactions With A Graphical User Interface
US9908767B2 (en) * 2008-11-10 2018-03-06 Automatic Bar Controls, Inc. Beverage dispensing apparatus with presence sensing
US8432366B2 (en) 2009-03-03 2013-04-30 Microsoft Corporation Touch discrimination
US8473862B1 (en) 2009-05-21 2013-06-25 Perceptive Pixel Inc. Organizational tools on a multi-touch display device
WO2011045786A2 (en) 2009-10-13 2011-04-21 Rami Parham Wearable device for generating input for computerized systems
KR101626621B1 (ko) * 2009-12-30 2016-06-01 엘지전자 주식회사 원형 디스플레이부를 구비한 이동 통신 단말기의 데이터 제어 방법 및 이를 적용한 이동 통신 단말기
US20110241988A1 (en) 2010-04-01 2011-10-06 Smart Technologies Ulc Interactive input system and information input method therefor
US8531417B2 (en) * 2010-09-02 2013-09-10 Blackberry Limited Location of a touch-sensitive control method and apparatus
US20120113223A1 (en) * 2010-11-05 2012-05-10 Microsoft Corporation User Interaction in Augmented Reality
US8938787B2 (en) 2010-11-29 2015-01-20 Biocatch Ltd. System, device, and method of detecting identity of a user of a mobile electronic device
US8593421B2 (en) * 2011-03-22 2013-11-26 Adobe Systems Incorporated Local coordinate frame user interface for multitouch-enabled devices
JP5790203B2 (ja) * 2011-06-29 2015-10-07 ソニー株式会社 情報処理装置、情報処理方法、プログラム、および遠隔操作システム
US9235335B2 (en) * 2012-06-25 2016-01-12 Microsoft Technology Licensing, Llc Touch interactions with a drawing application
US20150058808A1 (en) 2013-08-23 2015-02-26 General Electric Company Dynamic contextual touch menu
US20150062086A1 (en) 2013-08-29 2015-03-05 Rohildev Nattukallingal Method and system of a wearable ring device for management of another computing device
GB2520069A (en) 2013-11-08 2015-05-13 Univ Newcastle Identifying a user applying a touch or proximity input
US20150153854A1 (en) 2013-12-03 2015-06-04 Lenovo (Singapore) Pte. Ltd. Extension of wearable information handling device user interface
US9971490B2 (en) * 2014-02-26 2018-05-15 Microsoft Technology Licensing, Llc Device control
US9594427B2 (en) 2014-05-23 2017-03-14 Microsoft Technology Licensing, Llc Finger tracking
KR102274372B1 (ko) 2014-06-17 2021-07-07 삼성전자주식회사 휴대 단말기와 연동하는 착용형 전자 장치 및 방법
US10061427B2 (en) * 2016-03-24 2018-08-28 Microsoft Technology Licensing, Llc Selecting first digital input behavior based on a second input

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020185999A1 (en) * 2001-05-14 2002-12-12 Shigeru Tajima Information processing apparatus for inputting a signal, and method therefor
US8402391B1 (en) * 2008-09-25 2013-03-19 Apple, Inc. Collaboration system
CN101620503A (zh) * 2009-07-31 2010-01-06 北京大学 一种汉字输入方法和装置
US20150261373A1 (en) * 2014-03-17 2015-09-17 Google Inc. Determining User Handedness and Orientation Using a Touchscreen Device
US20150293592A1 (en) * 2014-04-15 2015-10-15 Samsung Electronics Co., Ltd. Haptic information management method and electronic device supporting the same
EP2990928A1 (en) * 2014-08-29 2016-03-02 Vodafone IP Licensing limited Mobile telecommunications terminal and method of operation thereof

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112540669A (zh) * 2019-09-23 2021-03-23 苹果公司 手指安装的输入设备
WO2021227628A1 (zh) * 2020-05-14 2021-11-18 华为技术有限公司 一种电子设备及其交互方法
CN113515228A (zh) * 2021-06-09 2021-10-19 华为技术有限公司 一种虚拟标尺显示方法以及相关设备

Also Published As

Publication number Publication date
CN113608665A (zh) 2021-11-05
EP3436916A1 (en) 2019-02-06
EP3436916B1 (en) 2020-10-28
US20170277367A1 (en) 2017-09-28
WO2017172457A1 (en) 2017-10-05
US10579216B2 (en) 2020-03-03
CN109074217B (zh) 2021-08-27

Similar Documents

Publication Publication Date Title
CN109074217A (zh) 用于多点触摸输入检测的应用
US11983326B2 (en) Hand gesture input for wearable system
US10289239B2 (en) Application programming interface for multi-touch input detection
KR101844390B1 (ko) 사용자 인터페이스 제어를 위한 시스템 및 기법
KR101542625B1 (ko) 제스처를 수행함으로써 사용자 인터페이스 내 오브젝트를 선택하기 위한 방법 및 장치
US8593421B2 (en) Local coordinate frame user interface for multitouch-enabled devices
CN107209582A (zh) 高直观性人机界面的方法和装置
JP2018522310A5 (zh)
CN107896508A (zh) 可以作为多个目标/端点（设备）和的整合点的以人为中心的“设备的超ui”体系结构的方法和设备，以及面向“模块化”通用控制器平台以及输入设备虚拟化的具有动态上下文意识的手势输入的相关方法/系统
JP2017529635A5 (zh)
JP2013037675A5 (zh)
CN105980965A (zh) 用于非接触式打字的系统、设备和方法
JP2016534481A (ja) 状態変化および将来のユーザ入力の予想に関する情報を使用するユーザ入力に対する応答を提供するためのシステムおよび方法
US20170010695A1 (en) Enhanced multi-touch input detection
US9262012B2 (en) Hover angle
CN103823630A (zh) 一种虚拟鼠标
EP3499344A1 (en) Haptically-enabled peripheral usable for two-dimensional and three-dimensional tracking
US20170010733A1 (en) User-identifying application programming interface (api)
US20200142582A1 (en) Disambiguating gesture input types using multiple heatmaps
CN106708255A (zh) 虚拟界面交互控制方法及系统
KR102322968B1 (ko) 사용자의 손동작에 따른 명령 입력 장치 및 이를 이용한 명령 입력 방법
CN110235096A (zh) 基于笔邻近度重绘用户接口
KR101962464B1 (ko) 손동작 매크로 기능을 이용하여 다중 메뉴 및 기능 제어를 위한 제스처 인식 장치
TWI662439B (zh) 虛擬空間定位方法及裝置
CN113672158A (zh) 一种增强现实的人机交互方法及设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant