CN112540669A - 手指安装的输入设备 - Google Patents

手指安装的输入设备 Download PDF

Info

Publication number
CN112540669A
CN112540669A CN202010882271.XA CN202010882271A CN112540669A CN 112540669 A CN112540669 A CN 112540669A CN 202010882271 A CN202010882271 A CN 202010882271A CN 112540669 A CN112540669 A CN 112540669A
Authority
CN
China
Prior art keywords
finger
user
input
sensor
display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010882271.XA
Other languages
English (en)
Inventor
P·X·王
T·H·科内利森
R·G·胡萨
P·V·约翰逊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Apple Inc
Original Assignee
Apple Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Apple Inc filed Critical Apple Inc
Publication of CN112540669A publication Critical patent/CN112540669A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/014Hand-worn input/output arrangements, e.g. data gloves
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16Constructional details or arrangements
    • G06F1/1613Constructional details or arrangements for portable computers
    • G06F1/163Wearable computers, e.g. on a belt
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013Eye tracking input arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016Input arrangements with force or tactile feedback as computer generated output to the user
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017Gesture based interaction, e.g. based on a set of recognized hand gestures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304Detection arrangements using opto-electronic means
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00Computer-aided design [CAD]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/033Indexing scheme relating to G06F3/033
    • G06F2203/0331Finger worn pointing device
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/038Indexing scheme relating to G06F3/038
    • G06F2203/0381Multimodal input, i.e. interface arrangements enabling the user to issue commands by simultaneous use of input devices of different nature, e.g. voice plus gesture on digitizer

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Hardware Design (AREA)
  • Evolutionary Computation (AREA)
  • Geometry (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本公开涉及手指安装的输入设备。本文公开了一种系统,该系统可包括电子设备和一个或多个手指设备。电子设备可以具有显示器,并且用户可以向手指设备提供手指输入以控制显示器。手指输入可包括使用手指设备中的传感器检测到的捏合、轻击、旋转、轻扫、按压和/或其他手指手势。与手指移动相关的传感器数据可与用户注视信息组合以控制显示器上的项目。用户可通过使用手指设备首先限定输入区域的边界来将任何表面或空间区域变成输入区域。其他手指手势诸如捏合和拉动、捏合和旋转、轻扫和轻击可用于导航显示器上的菜单,滚动文档,操纵计算机辅助设计,以及向显示器提供其他输入。

Description

手指安装的输入设备
本专利申请要求2020年7月10日提交的美国专利申请号16/926,561以及2019年9月23日提交的美国临时专利申请号62/904,547的优先权,这些专利申请据此全文以引用方式并入本文。
技术领域
本公开整体涉及电子设备,并且更具体地涉及手指安装的电子设备。
背景技术
电子设备(诸如计算机)可使用计算机鼠标和其他输入附件来控制。
诸如这些的设备对于用户来说可能不方便,并且可能是麻烦的或者不舒服的。
发明内容
一种系统可包括电子设备和一个或多个手指设备。该电子设备可以具有显示器,并且用户可以向手指设备提供手指输入以控制显示器。手指输入可包括使用手指设备中的传感器检测到的捏合、轻击、旋转、轻扫、按压和/或其他手指手势。
手指设备可佩戴在用户的手指上,同时使手指的尖端处的指垫露出。手指设备可包括检测佩戴手指设备的手指的移动的传感器和/或检测来自相邻手指的输入的传感器。例如,为了检测佩戴手指设备的手指的移动,手指设备可包括运动传感器、力传感器、和/或距离传感器,该力传感器在手指接触表面(例如,对象的表面或另一个手指诸如拇指的表面)时测量手指被压靠在手指设备的一侧或两侧上的力度有多大,该距离传感器诸如光学距离传感器测量手指和传感器之间的距离变化。通过检测佩戴手指设备的手指的小的移动,手指设备可用于检测手指手势,诸如捏合和拉动、捏合和旋转、轻扫和轻击。
手指设备上的触摸传感器可包括传感器元件的一维或二维阵列,该传感器元件检测手指设备外部上的触摸输入(例如,来自相邻手指和/或相对侧的手指)。传感器元件可为基于光学感测、超声感测或其他类型感测的电容式传感器电极或触摸传感器元件。
与手指手势(在空中或表面上的到输入区域的手指手势、可利用一个、两个、三个或更多个手指的手指手势、与到手指设备外部上的触摸传感器的触摸输入相关联的手指手势)相关的传感器数据可与用户注视信息组合以控制显示器上的项目(例如,导航显示器上的菜单、滚动文档、操纵计算机辅助设计等)。
附图说明
图1为根据实施方案具有手指设备的例示性系统的示意图。
图2为根据实施方案的已放置手指设备的用户的例示性手指的俯视图。
图3为根据实施方案的处于用户手指上的例示性手指设备的横截面侧视图。
图4为根据实施方案的用于检测手指捏合输入的例示性手指设备的透视图。
图5为根据实施方案的用于检测表面上的手指输入的例示性手指设备的透视图。
图6为根据实施方案的用于检测手指设备上的输入的例示性手指设备的透视图。
图7为根据实施方案的用于检测相邻手指的例示性手指设备的透视图。
图8为根据实施方案的例示性电子设备的透视图,用户可使用一个或多个手指设备与该电子设备进行交互。
图9为根据实施方案的用于检测到用户的手的手指输入的例示性手指设备的透视图。
图10为根据实施方案的用于检测到对象表面的手指输入的例示性手指设备的透视图。
图11为根据实施方案的用于在用户握持对象时检测手指输入的例示性手指设备的透视图。
图12、图13和图14为根据实施方案的具有显示器和用于向显示器提供输入的手指设备的例示性电子设备的透视图。
具体实施方式
被配置为安装在用户的身体上的电子设备可用于采集用户输入并向用户提供输出。例如,被配置为佩戴在用户一个或多个手指上的电子设备(其有时被称为手指设备或手指安装设备)可用于采集用户输入并提供输出。作为示例,手指设备可包括惯性测量单元,该惯性测量单元具有用于采集关于手指运动(诸如手指轻击或自由空间手指手势)的信息的加速度计;并且可包括力传感器,该力传感器用于采集关于手指设备和用户手指中的法向力和剪切力的信息;并且可包括用于采集关于手指设备(和其上安装有设备的用户手指)与周围环境之间的相互作用的信息的其他传感器。手指设备可包括触觉输出设备以向用户的手指提供触觉输出,并且可包括其他输出部件。
一个或多个手指设备可通过用户采集用户输入。用户可使用手指设备来操作显示器和/或虚拟现实或混合现实设备(例如,头戴式装备,诸如眼镜、护目镜、头盔或具有显示器的其他设备)。在操作期间,手指设备可采集用户输入,诸如关于手指设备与周围环境之间关于交互的信息(例如,用户手指与环境之间的交互,其包括手指运动和与为用户显示的虚拟内容相关联的其他交互)。用户输入可用于控制显示器上的视觉输出。可使用手指设备向用户的手指提供相应的触觉输出。例如,触觉输出可用于在用户触摸真实对象时或当用户触摸虚拟对象时向用户的手指提供期望的纹理感觉。触觉输出还可用于产生止动器和其他触觉效果。
可将手指设备佩戴在用户任何或全部手指上(例如,食指、中指和拇指,用户一只手上的三个用户手指,双手上的一些或全部手指等)。为了在用户与周围对象交互时增强用户触摸的灵敏度,手指设备可具有倒U形状,或具有允许手指设备被佩戴在用户的指尖的顶部和侧面上同时使用户的指垫露出的其他构型。这允许用户在使用期间用用户手指的指垫部分来触摸对象。如果需要,可在用户的手指上、指关节之间和/或用户手指的其他部分上佩戴手指设备。在本文中有时将手指设备在用户的指尖上的使用描述为示例。
用户可使用手指设备与任何合适的电子装备进行交互。例如,用户可使用一个或多个手指设备来向台式计算机、平板电脑、蜂窝电话、手表、耳塞或其他附件提供输入,与虚拟现实或混合现实系统(例如,具有显示器的头戴式设备)进行交互,或者与其他电子装备进行交互。
图1是可包括一个或多个手指设备的类型的例示性系统的示意图。如图1所示,系统8可包括电子设备,诸如手指设备10和其他电子设备24。每个手指设备10可被佩戴在用户手上的一根手指上。系统8中的附加电子设备(诸如设备24)可包括以下设备:诸如膝上型计算机、包含嵌入式计算机的计算机监视器、平板计算机、台式计算机(例如、具有集成计算机处理器和其他计算机电路的支架上的显示器)、蜂窝电话、媒体播放器或其他手持或便携式电子设备、诸如手表设备的小型设备、悬挂设备、头戴式耳机或耳机设备,诸如佩戴在用户头上的眼镜、护目镜、头盔或其他装备的头戴式设备、或其他可佩戴或微型设备、电视机、不包含嵌入式计算机的计算机显示器、游戏设备、遥控器、导航设备、嵌入式系统(诸如其中装备安装在售货亭、汽车、飞机或其他车辆上的系统),或其他车辆、可拆卸的电子装备外壳、带子、腕带或发箍、可拆卸的设备盖、具有带子或具有其他结构以容纳和携带电子装备和其他物品的箱子或包、可以插入电子装备或其他物品的项链或手臂带、钱包、袖子、口袋或其他结构、椅子、沙发或其他座椅的一部分(例如、靠垫或其他座椅结构)、衣物或其他可穿戴物品(例如、帽子、腰带、手腕带、发箍、袜子、手套、衬衫、裤子等)、或实现这些设备中的两个或更多个的功能的装备。
利用一种例示性构型(其有时在本文中可作为示例进行描述),设备10为手指安装设备,其具有抓握用户手指的U形体或具有配置为依靠在用户的手指上的其他形状的手指安装外壳,并且设备24为蜂窝电话、平板电脑、膝上型计算机、手表设备、头戴式设备、具有扬声器的设备,或其他电子设备(例如,具有显示器、音频部件和/或其他输出部件的设备)。具有U形外壳的手指设备可具有相对的左侧和右侧,相对的左侧和右侧配置为容纳用户的手指和顶部外壳部分,该顶部外壳部分联接该左侧和右侧并且与用户的指甲重叠。
设备10和设备24可包括控制电路12和控制电路26。控制电路12和控制电路26可包括用于支持系统8的操作的存储和处理电路。存储和处理电路可以包括诸如非易失性存储器的存储器,(例如,闪存存储器或其他配置为形成固态驱动器的电可编程只读存储器)、易失性存储器(例如,静态或动态随机存取存储器)等,控制电路12和26中的处理电路可以用于采集来自传感器和其他输入设备的输入,并且可以用于控制输出设备。处理电路可基于一个或多个微处理器、微控制器、数字信号处理器、基带处理器和其他无线通信电路、电源管理单元、音频芯片、专用集成电路等。
为了支持设备10和设备24之间的通信和/或为了支持系统8中的装备与外部电子装备之间的通信,控制电路12可使用通信电路14进行通信和/或控制电路26可以使用通信电路28进行通信。电路14和/或电路28可包括天线、射频收发器电路以及其他无线通信电路和/或有线通信电路。例如,电路14和/或电路28(其有时可被称为控制电路和/或控制和通信电路)可以经由无线链路38支持设备10和设备24之间的双向无线通信(例如,无线局域网链路、近场通信链路或其他合适的有线或无线通信链路(例如,
Figure BDA0002654436660000051
链路、
Figure BDA0002654436660000052
链路、60GHz链路或其他毫米波链路等))。设备10和设备24还可包括用于传输和/或接收有线和/或无线功率的电源电路,并且可包括电池。在设备10和设备24之间支持无线功率传输的构型中,可以使用感应功率传输线圈(作为示例)来支持带内无线通信。
设备10和设备24可包括输入-输出设备,诸如设备16和设备30。输入-输出设备16和/或输入-输出设备30可用于采集用户输入,用于采集关于用户周围环境的信息和/或向用户提供输出。设备16可包括传感器18,并且设备24可包括传感器32。传感器18和/或32可包括力传感器(例如,应变仪、电容式力传感器、阻力传感器等)、音频传感器(诸如麦克风)、触摸传感器和/或接近传感器(诸如电容式传感器)、光学传感器(诸如发射和检测光的光学传感器)、超声传感器(例如,用于跟踪设备取向和位置和/或用于检测用户输入诸如手指输入的超声传感器)、和/或其他触摸传感器和/或接近传感器、单色和彩色环境光传感器、图像传感器、用于检测位置、取向和/或运动的传感器(例如,加速度计、磁性传感器(诸如罗盘传感器、陀螺仪和/或包含部分或全部这些传感器的惯性测量单元))、用于检测手指动作的肌肉活动传感器(EMG)、射频传感器、深度传感器(例如,基于立体成像设备的结构光传感器和/或深度传感器)、光学传感器(诸如采集飞行时间测量值的自混合传感器和光探测及测距(激光雷达)传感器)、光学传感器(诸如视觉测距传感器,其使用在相机中的数字图像传感器采集的图像来采集位置和/或方向信息)、注视跟踪传感器、具有数字图像传感器的可见光和/或红外相机、湿度传感器、含水率传感器和/或其他传感器。在一些布置中,设备10和/或设备24可使用传感器18和/或传感器32和/或其他输入-输出设备16和/或输入-输出设备30来采集用户输入(例如,按钮可用于采集按钮按压输入,与显示器重叠的触摸传感器可用于采集触摸屏输入,触摸板可用于采集触摸输入,麦克风可用于采集音频输入,加速度计可用于监测手指何时接触输入表面,并且因此可用于采集手指按压输入等)。如果需要,设备10和/或设备24可包括旋转按钮(例如,手表或手指设备上的表冠机构或旋转并且任选地可被按压以选择所感兴趣的项目的其他合适的旋转按钮)。可在设备16和/或设备30中包括字母数字按键和/或其他按钮。在一些构型中,传感器18可包括操纵杆、滚珠、光学传感器(例如,发射光的激光器和通过监测和分析光斑图案的变化以及在设备10相对于那些表面移动时与用发射光照明的表面相关联的其他信息来跟踪运动的图像传感器)、指纹传感器和/或其他感测电路。射频跟踪设备可包括在传感器18中以检测位置、取向和/或范围。信标(例如,射频信标)可用于在用户环境中的不同位置(例如,在用户家或办公室中的一个或多个注册位置)发射射频信号。设备10和/或24可分析射频信标信号以帮助确定设备10和/或24相对于信标的位置和定位。如果需要,设备10和/或24可包括信标。频率强度(接收信号强度信息)、信标取向、飞行时间信息和/或其他射频信息可用于确定取向和位置信息。在一些频率(例如,较低频率,诸如低于10GHz的频率)下,可使用信号强度信息,而在其他频率(例如,较高频率,诸如高于10GHz的频率)下,可使用室内雷达方案。如果需要,除了使用射频信标和/或射频雷达技术之外或代替使用射频信标和/或射频雷达技术,可在系统8中使用基于光的信标、超声信标和/或其他信标设备。
设备16和/或设备30可包括触觉输出设备20和触觉输出设备34。触觉输出设备20和/或触觉输出设备34可产生由用户感测的运动(例如,通过用户的指尖感测的运动)。触觉输出设备20和/或触觉输出设备34可包括以下制动器:诸如电磁致动器、电动机、压电致动器、电活性聚合物致动器、振动器、线性致动器(例如,线性谐振致动器)、旋转致动器,可弯曲地弯曲构件的致动器、在设备10和/或设备24之间产生和/或控制排斥力和/或吸引力的致动器设备(例如,用于产生静电排斥和/或吸引力的部件,诸如电极;用于产生超声输出的部件,诸如超声换能器;用于产生磁性相互作用的部件,诸如用于产生直流和/或交流磁场的电磁体、永磁体、磁性材料,诸如铁或铁氧体;和/或用于在设备10和/或设备24之间产生排斥力和/或吸引力的其他电路)。在一些情况下,用于在设备10中产生力的致动器可用于挤压用户的手指和/或以其他方式与用户的指腹直接交互。在其他情况下,这些部件可用于彼此交互(例如,通过使用电磁体在一对设备10和/或设备10与设备24之间产生动态可调的电磁排斥力和/或吸引力)。
如果需要,输入-输出设备16和/或输入-输出设备30可包括其他设备22和/或设备36,诸如显示器(例如,在设备24中显示用户图像)、状态指示灯(例如,用作功率指示器的设备10和/或设备24中的发光二极管,以及其他基于光的输出设备)、扬声器和其他音频输出设备、电磁体、永磁体、由磁性材料形成的结构(例如,被磁体吸引的铁棒或其他铁磁构件,诸如电磁体和/或永磁体)、电池等。设备10和/或设备24还可以包括配置为传输和/或接收有线和/或无线功率信号的功率传输和/或接收电路。
图2为用户的手指(手指40)和例示性手指安装设备10的俯视图。如图2所示,设备10可由安装在手指40的尖端上或附近(例如,部分或完全重叠的指甲42)的手指安装单元形成。如果需要,设备10可被佩戴在用户手指上的其他位置上,诸如在关节上,关节之间等。其中诸如设备10的设备被佩戴在手指40之间的构型也可被使用。
用户可以同时佩戴一个或多个设备10。例如,用户可在用户的无名指或食指上佩戴单个设备10。作为另一示例,用户可以在用户的拇指上佩戴第一设备10,在用户的食指上佩戴第二设备10,并且在用户的中指上佩戴可选的第三设备10。也可使用将设备10佩戴在其他手指上和/或用户的一只手或两只手的所有手指的布置方式。
控制电路12(以及如果需要,通信电路14和/或输入-输出设备16)可完全包含在设备10内(例如,在用于指尖安装单元的外壳中)和/或可包括联接到指尖结构的电路(例如,通过来自相关联腕带、手套、无指手套等的电线)。设备10具有安装在单个用户指尖上的主体的构型在本文中有时被描述为示例。
图3为例示性手指设备(手指安装设备)10的横截面侧视图,其示出处于手指设备外壳44内和/或处于手指设备外壳44的表面上用于电子部件(例如,控制电路12、通信电路14和/或输入-输出设备16诸如传感器18、触觉输出设备20和/或其他设备22)的例示性安装位置46。如果需要,这些部件可结合到外壳44的其他部分中。
如图3所示,外壳44可具有U形状(例如,外壳44可为U形外壳结构,其面向下并覆盖用户手指40和指甲42的尖端的上表面)。在操作期间,用户可按压诸如结构50的结构。当手指40的底部(例如,指腹40P)抵靠结构50的表面48时,用户的手指可以压紧并迫使手指的一部分向外抵靠外壳44的侧壁部分(例如,用于通过安装在外壳44侧部的传感器18进行感测)。手指40在X-Y平面中的横向移动也可以使用外壳44的侧壁或外壳44的其他部分上的传感器18来感测(例如,因为横向移动将倾向于将手指40的部分按压在一些传感器18上而不是其它传感器和/或将产生剪切力,该剪切力由配置为感测剪切力的力传感器进行测量)。传感器18可例如包括测量手指40被压靠在外壳44的侧壁或其他部分上的力度有多大的力传感器,并且/或者传感器18可包括测量手指40和传感器18之间的距离D的变化的位移传感器(例如,光学距离传感器、超声距离传感器、其他距离和/或位移传感器)。
设备10中的传感器18可包括超声传感器、光学传感器、惯性测量单元、应变仪和其他力传感器、电容式传感器、射频传感器和/或可用于采集指示手指40的活动和/或相邻手指的活动的传感器测量结果的其他传感器。如果需要,这些传感器还可以用于映射三维物体的轮廓(例如,通过飞行时间测量和/或其他测量)。例如,超声传感器(诸如二维图像传感器或具有单个超声换能器元件的超声传感器)可以发射在反射外部物体之后接收并处理的自由空间超声声音信号。这允许生成指示外部对象的形状和位置的三维超声图。
在一些构型中,使用安装在外部电子装备中的传感器(例如,在计算机或其他台式设备中,在头戴式设备中或其他可穿戴设备中,和/或在与设备10分开的其他电子设备24中)来采集手指活动信息(位置、移动、取向等)。例如,光学传感器(诸如与设备10分开的图像传感器)可用于监测设备10以确定它们的位置、移动和/或取向。如果需要,设备10可包括无源光学对准特征和/或有源光学对准特征,以帮助设备24中的图像传感器跟踪设备10的位置、取向和/或运动。例如,设备10可包括发光设备,诸如发光二极管、激光器(例如,激光二极管、垂直腔面发射激光器等)或其他光源,并且可在可见波长、紫外波长和/或红外波长下操作。发光设备可以非对称图案布置在外壳44上,并且可发射由设备24(例如,头戴式设备、台式计算机、基于独立相机的监测系统和/或具有图像传感器或其他跟踪传感器电路的其他电气装备)中的图像传感器、深度传感器和/或其他基于光的跟踪传感器电路检测到的光。通过处理所接收的图案形发射光,设备24能够确定设备10的位置、取向和/或运动。如果需要,发光设备可为可移除的和/或可定制的(例如,用户可定制发光设备的位置和类型)。
还可执行涉及从已知身体部位取向(例如手指取向)进行推算以在其他身体部位(例如,使用反向运动学估计的手腕和/或臂取向)产生取向信息的跟踪。如果需要,可将视觉测距传感器包括在设备10中。这些传感器可包括采集设备10的环境的图像数据的帧的图像传感器,并且可用于测量来自图像数据的帧的位置、取向和/或运动。如果需要,可以使用激光雷达、在多个方向上定向的超声传感器、射频跟踪传感器和/或其他手指设备跟踪布置。在一些布置中,用于控制系统8的用户输入可包括用户手指输入和其他用户输入两者(例如,用户眼睛注视输入、用户语音输入等)。例如,当控制系统8中的设备10和/或设备24时,注视跟踪信息(诸如用注视跟踪器测量的用户的注视点)可与手指输入融合。例如,当设备10使用传感器18(例如,加速度计、力传感器、触摸传感器等)中的一个或多个传感器来采集信息诸如轻击输入(当设备10撞击桌面或其他外表面时,设备10的移动导致可测量的力和/或加速度计输出)、双击输入、力输入、多指手势(在多个设备10的外表面和/或外壳表面上的轻击、轻扫和/或其他手势)、与使用挥动注视或其他注视点输入所选择的对象相关联的拖放操作等时,用户可注视感兴趣的对象。手指输入可包括关于手指取向、位置和/或运动的信息,并且可包括关于手指被压靠在表面上的力度有多大的信息(例如,力信息)。手指指向输入(例如,手指指向的方向)可使用传感器18和/或设备10中的其他传感器之间的射频传感器来采集。
如果需要,用户输入可包括利用传感器18(例如,接近传感器、图像传感器、超声传感器、射频传感器等)采集的凌空手势(有时称为三维手势或非接触手势)。凌空手势(例如,其中用户的手指悬停和/或相对于设备10的传感器18移动和/或其中设备10悬停和/或相对于外表面移动的非接触手势)和/或基于触摸和/或力的输入可以包括多指手势(例如,捏合以缩放等)。在一些布置中,用户可在双手上佩戴一个或多个手指设备10,从而允许双手跟踪。例如,一只手上的手指设备10可用于检测点击或轻击输入,而另一只手上的手指设备10可用于检测更复杂的手指手势。在一些实施方案中,用户可在一只手上(例如,在拇指和食指上)佩戴多个设备10,并且这些设备可用于采集手指捏合输入,诸如捏合点击手势输入、捏合缩放输入和/或捏合力输入。例如,当拇指设备的轻击(例如,加速度计输出信号中的峰值)与食指设备的轻击相关联时,可检测到捏合点击输入,并且/或者当设备10彼此压靠时,可通过使用设备10中的应变仪测量应变仪输出来采集捏合力输入。还可通过测量手指压靠在二维触摸传感器上时所产生的接触面的大小来检测捏合力(较大的接触面积与较大的施加力相关联)。在其他布置中,捏合点击手势输入和捏合力输入可仅使用单个手指设备来采集(例如,通过在用户用拇指手指或其他手指捏合、按压或轻击指垫时测量佩戴手指设备的手指的指垫或指腹的运动或力)。
通过将来自第一设备10的用户输入与来自第二设备10的用户输入相关联和/或通过以其他方式分析手指设备传感器输入,捏合手势(例如,捏合点击或捏合轻击手势和/或捏合力输入)和其他手指设备输入可被检测到并用于操纵所显示的内容或在系统8中采取其他动作。例如,考虑使用捏合手势来选择与用户的当前注视点相关联的所显示对象。一旦已基于用户的注视点的方向(或手指指向输入)并基于捏合手势输入或其他用户输入来选择所显示的对象,就可使用利用一个或多个设备10采集的另外的用户输入来旋转和/或以其他方式操纵所显示的对象。例如,可使用设备10中的内部测量单元或其他传感器18采集关于手指移动(例如,旋转移动)的信息,并且该旋转输入用于旋转所选择的对象。在一些情况下,可基于注视点(例如,当检测到用户的注视点指向对象时)来选择对象,并且在选择之后,对象属性(例如,虚拟对象属性,诸如虚拟对象外观和/或真实世界对象属性,诸如真实世界设备的操作设置)可使用应变仪或触摸传感器接触面捏合输入(例如,在相对手指上被捏合在一起的手指设备10之间检测到的捏合力)来调节和/或可使用手指设备取向输入来调节(例如,以旋转虚拟对象等)。
如果需要,手势诸如凌空手势(三维手势)可以涉及附加输入。例如,用户可使用混合手势来控制系统8,该混合手势涉及设备10通过空气(例如,凌空手势部件)的移动,并且还涉及拇指或其他手指抵靠二维触摸传感器、力传感器或其他传感器18的接触(以及,如果需要,移动)。例如,惯性测量单元可检测手指40通过空气的用户移动(例如,以描绘路径),同时检测力输入、触摸输入或其他输入(例如,手指捏合输入或其他输入以调节正沿路径绘制的线或其他虚拟对象)。
例如,设备10中的传感器18可以测量用户使设备10(和手指40)靠着表面48(例如,在平行于表面48的表面法线n的方向上,诸如图3的-Z方向)移动的力度有多大和/或用户使设备10(和手指40)在与表面48相切的X-Y平面内移动的力度有多大。设备10在X-Y平面和/或Z方向上的移动方向也可以通过位置46处的力传感器和/或其他传感器18来测量。
结构50可为设备24的外壳的一部分,可为另一个设备10的一部分(例如,另一个外壳44),可为用户手指40或其他身体部分的一部分,可为真实世界对象(诸如桌子)的表面、可移动真实世界对象(诸如瓶子或笔)、或者可以是设备10外部的其他无生命对象,和/或可以是用户可以用手指40接触的任何其他结构,同时用期望的力在期望的方向上移动手指40。因为诸如这些的运动可由设备10来感测,所以设备10能够用于采集指向输入(例如,在诸如设备24中的显示器的显示器上移动光标或其他虚拟对象的输入),可用来采集轻击输入、轻扫输入、捏合缩放输入(例如,当使用一对设备10时)、或其他手势输入(例如,手指手势、手势、手臂运动等),和/或可用于采集其他用户输入。
传感器18可包括触摸传感器,该触摸传感器由电容式触摸传感器电极阵列形成,诸如与外壳44的侧表面和/或顶表面重叠的电极52。传感器18的触摸传感器电极52可以用于采集触摸输入,例如来自与用户的不同手指或其他外部对象的直接接触和/或紧密接近的输入。在图3的示例中,触摸传感器电极52可形成设备10的侧面上的外表面上的触摸输入区域。
系统8可具有显示设备或向用户呈现图像内容的其他设备。一个或多个手指设备10可用于与显示设备进行交互。例如,手指设备10可用于滚动显示器上的菜单选项,滚动显示器上的web浏览器页面,向在显示设备上运行的计算机辅助设计软件提供输入,和/或向显示器(例如,台式显示器、膝上型显示器、蜂窝电话显示器、平板显示器或显示二维图像内容的其他显示器,和/或显示三维图像内容的显示器诸如头戴式显示器等)提供其他输入。
图4、图5、图6和图7示出了可使用一个或多个手指设备检测并且可用于向具有显示器的设备提供输入的例示性类型的用户输入。
在图4的示例中,手指设备10正被用于检测到指腹的手指输入。具体地讲,当手指40-2(例如,拇指或其他合适的手指)与手指40-1的指腹40P接触时,设备10中的传感器18可测量手指40-1(例如,食指或佩戴设备10的其他合适的手指)的活动。这可包括例如检测手指40-2压靠在指腹40P上的力度有多大(例如,指腹40P朝向指甲向内按压的力度有多大),当手指40-2来回移动指腹40P、从一侧到另一侧、从前面到后面等时,检测手指40-1与传感器18之间的距离的小变化(和/或检测手指40-1被压靠在设备10的侧壁上的力度有多大),和/或当手指40-2与指腹40P接触时,测量手指40-1的其他特性。传感器18可检测其中指腹40P相对于手指40-2移动的指腹40P的侧向移动(例如,X-Y平面中的移动),并且还可检测导致X-Y平面中的剪切力的指腹40P的移动,其中指腹40P相对于手指40-2的实际移动很少或没有。传感器18可检测并区分轻击(例如,手指40-2轻轻地且短暂地接触指腹40P的情况)、按压(例如,手指40-2强有力且短暂地接触指腹40P的情况)、捏合(例如,手指40-2强有力地接触指腹40P更长时间的情况)和/或到指腹40P的其他手指输入。
图5示出了手指设备10用于检测结构50的表面上的手指输入的示例。具体地讲,当手指40与结构50的表面接触时,设备10中的传感器18可测量手指40(例如,食指或佩戴设备10的其他合适的手指)的活动。这可包括例如检测手指40压靠在结构50上的力度有多大(例如,指腹40P朝向指甲向内按压的力度有多大),当手指40在结构50上来回移动指腹40P、从一侧到另一侧、从前面到后面等时,检测手指40与传感器18之间的距离的小变化(和/或检测手指40被压靠在设备10的侧壁上的力度有多大),和/或当手指40与结构50接触时,测量手指40的其他特性。传感器18可检测其中指腹40P相对于结构50表面的移动的手指40的侧向移动(例如,X-Y平面中的移动),并且还可检测导致X-Y平面中的剪切力的手指40的移动,其中指腹40P相对于结构50的表面的实际移动很少或没有。传感器18可检测并区分轻击(例如,手指40轻轻地且短暂地接触结构50的情况)、按压(例如,手指40强有力但短暂地接触结构50的情况)、按下并保持(例如,手指40强有力地接触结构50更长时间的情况)和/或结构50上的其他手指输入。
图6示出了手指设备10用于检测设备10上的手指输入的示例。具体地讲,设备10可被佩戴在手指40-1(例如,食指或其他合适的手指)上,并且可检测手指40-2(例如,拇指或其他合适的手指)在其与设备10接触时和/或在其接近设备10时的活动。这可包括例如检测手指40-2压靠在设备10上的力度有多大和/或检测设备10上的轻扫、捏合、轻击、按压、按下并保持或其他手势。传感器18可例如包括由电容式触摸传感器电极(例如,图3的电极52)的一维或二维阵列形成的触摸传感器,并且/或者可包括用于检测触摸输入、力输入和/或涉及用户手指与设备10之间的接触的其他输入的其他传感器。
图7是设备10用于检测一个或多个相邻手指的接近度的示例。具体地讲,设备10可被佩戴在手指40-1(例如,食指或其他合适的手指)上,并且可检测手指40-2(例如,中指或其他合适的手指)在其与设备10接触时和/或在其接近设备10时的活动。例如,传感器18可检测中指何时与佩戴设备10的食指接触和/或接近佩戴设备10的食指(例如,手指40-2何时与手指40-1并排,手指40-2何时堆叠在手指40-1的顶部或下方等)。检测手指40-1何时与手指40-1接触或接近可用于提供与单个手指相关联的输入不同类型的输入。例如,如图7所示的用两个并排手指做出的手指手势可用于滚动显示器上的内容,而用单个手指做出的手指手势可用于移动显示器上的光标。
如果需要,图4、图5、图6和图7的手指手势可彼此组合和/或与其他手指手势组合以向显示器提供不同类型的用户输入。例如,用户可通过轻击或捏合指腹40P(例如,如图4所示)来选择显示器上的项目,并且一旦已选择该项目,用户可通过向设备10上的触摸传感器提供触摸输入(例如,如图6所示)来操纵所选择的项目。可通过在用户紧贴佩戴设备10的手指的指腹捏合时检测相邻手指(例如,如结合图4所讨论的),通过在用户将佩戴设备10的手指压靠在表面上时检测相邻手指(例如,如结合图5所讨论的),通过在用户触摸设备10的外部时检测相邻手指(例如,如结合图6所讨论的)等来检测多手指手势。
如果需要,可使用一个或多个手指设备10来向电子设备提供触控板输入。在触控板布置中,用户可在任何表面(例如,非触敏表面)上和/或在空中做出触控板手势(例如,轻击、按压、捏合缩放、滚动、轻扫等)以向电子设备提供输入。作为示例,考虑图8中所示类型的场景。在该示例中,设备24具有被配置为向用户58显示图像的显示器诸如显示器54。图像可包括一个或多个对象(例如,视觉项目),诸如对象56。对象56可以是光标或任何其他所显示的内容。
用户58可使用手指设备10向电子设备24提供输入。在一些布置中,用户58可能希望提供触控板类型输入以控制显示器54上的对象,诸如光标56或显示器54上的其他项目。当用户希望提供触控板类型输入时,用户可限定旨在用作触控板区域的区域的边界。例如,用户可通过用手指佩戴设备10轻击表面64上的位置60来限定表面诸如表面64(例如,桌子、书桌或其他表面)上的输入区域的边界。设备10可具有传感器18,该传感器检测表面64上的位置60中的第一轻击、第二轻击、第三轻击和第四轻击(例如,结合图5所述类型的轻击),并且可将位置60内的区域62注册为用于接收触摸板类型输入的输入区域。
一旦用户已经限定了表面64上的输入区域62的边界,用户就可以向区域62提供输入,就好像区域62是触控板(例如,触敏表面)一样。具体地讲,设备10可检测区域62中的表面64上的手指手势(例如,轻击、轻扫、捏合缩放手势、双指滚动手势和其他手指手势),该手指手势可用于控制电子设备24和/或显示器54上显示的对象诸如光标56。如果需要,可与区域62外部的手指手势不同地解释区域62中的手指手势。这样,设备10可用于将任何表面转变成触摸板表面。使用四个点来限定输入区域62的边界仅仅是例示性的。如果需要,用户可限定仅一个点、仅两个点、三个或更多个点,并且/或者可在期望表面上用他或她的手指绘制矩形、圆形或其他形状,以将表面的该区域转变成输入区域。也可使用其中输入区域的边界是预定义的布置。
除了或代替将表面诸如表面64转变成输入区域,用户58将自由空间的区域转变成输入区域。这可通过限定空间中待用作输入区域的区域来实现。例如,用户58可将他或她的手指捏合在位置66中以限定输入区域68在空间中的边界。设备10可检测位置66中的第一捏合、第二捏合、第三捏合和第四捏合(例如,结合图4所述类型的捏合、轻击或其他手指到手指的输入),并且可将位置66内的区域68注册为用于接收触摸板类型输入或其他合适的用户输入的输入区域。一旦用户已经限定了输入区域68的边界,用户就可以向区域68提供输入,就好像区域68是触控板一样。具体地讲,设备10可检测区域68中的手指手势(例如,轻击、轻扫、捏合缩放手势、双指滚动手势和其他手指手势),该手指手势可用于控制电子设备24和/或显示器54上显示的对象诸如光标56。如果需要,可与区域68外部的手指手势不同地解释区域68中的手指手势。这样,设备10可用于将空间的任何区域转变成输入区域。使用四个点来限定输入区域68的边界仅仅是例示性的。如果需要,用户可限定仅一个点、仅两个点、三个或更多个点,并且/或者可在期望区域中用他或她的手指绘制矩形、圆形或其他形状,以将空间的该区域转变成输入区域。也可使用其中输入区域的边界是预定义的布置。
图9示出了用户可如何使用他或她的手作为触控板表面。当用户希望提供触控板类型输入时,用户可通过用佩戴设备10的手指轻击他或她的手掌上(或用户身体的任何其他部分上)的位置70来限定他或她的手上的输入区域的边界。设备10可检测位置70中的第一轻击、第二轻击、第三轻击和第四轻击(例如,结合图5所述类型的轻击),并且可将位置70内的区域72注册为用于接收触摸板类型输入的输入区域。一旦用户已经限定了他或她的手上的输入区域72的边界,用户就可以向区域72提供输入,就好像区域72是触控板(例如,触敏表面)一样。具体地讲,设备10可检测区域72中的手指手势(例如,轻击、轻扫、捏合缩放手势、双指滚动手势和其他手指手势),该手指手势可用于控制电子设备和/或显示器(例如,图8的显示器54)上的对象。如果需要,可与区域72外部的手指手势不同地解释区域72中的手指手势。这样,设备10可用于将用户身体的任何表面转变成触摸板表面。使用四个点来限定输入区域72的边界仅仅是例示性的。如果需要,用户可限定仅一个点、仅两个点、三个或更多个点,并且/或者可在身体部位上用他或她的手指绘制矩形、圆形或其他形状,以将身体的该区域转变成输入区域。也可使用其中输入区域的边界是预定义的布置。
图10示出了用户可如何使用可移动对象作为触控板表面。当用户希望提供触控板类型输入时,用户可通过用手指佩戴设备10轻击对象78上的位置74来限定对象诸如对象78上的输入区域的边界。设备10可检测位置74中的第一轻击、第二轻击、第三轻击和第四轻击(例如,结合图5所述类型的轻击),并且可将位置74内的区域76注册为用于接收触摸板类型输入的输入区域。一旦用户已经限定了对象78上的输入区域76的边界,用户就可以向区域76提供输入,就好像区域76是触控板(例如,触敏表面)一样。具体地讲,设备10可检测区域76中的手指手势(例如,轻击、轻扫、捏合缩放手势、双指滚动手势和其他手指手势),该手指手势可用于控制电子设备和/或显示器(例如,图8的显示器54)上的对象。如果需要,可与区域76外部的手指手势不同地解释区域76中的手指手势。这样,设备10可用于将任何对象的任何表面(例如,蜂窝电话的非触敏表面、没有电子器件的对象的非触敏表面等)转变成触摸板表面。使用四个点来限定输入区域76的边界仅仅是例示性的。如果需要,用户可限定仅一个点、仅两个点、三个或更多个点,并且/或者可在期望表面上用他或她的手指绘制矩形、圆形或其他形状,以将表面的该区域转变成输入区域。也可使用其中输入区域的边界是预定义的布置。
如果需要,当用户向表面或空气提供触控板输入时,可提供触觉输出(例如,点击)。例如,触觉输出止动器(当用户的手指位置与预先确定的位置重合时提供的振动)可在用户手指交互期间提供,以指示对项目的选择、模拟点击和/或提供其他输出。
图11是示出设备10可如何用于将对象转变成输入设备的另一个示例。在图11的示例中,对象80可以是不包含任何电路的笔或铅笔。佩戴一个或多个手指设备10的用户可围绕其纵向轴线旋转对象80,可跨表面(例如,结构50的表面)移动对象80的尖端,和/或可在结构50的表面上轻击或按压对象80的尖端,和/或可进行对象80的其他移动。在对象80的移动期间,一个或多个手指设备10可采集关于手指设备10和对象80之间的交互的信息,并因此可用于确定对象80的位置、取向和移动。如果需要,设备10可用于检测对象80相对于结构50的表面的移动(例如,使得对象80成为触笔,并且设备10检测结构50上的触笔输入)。这继而可用于控制电子设备和/或显示器(例如,图8的显示器54)上的对象。
图12为例示性显示器和用于向显示器提供输入的手指设备的透视图。如图12所示,电子设备24可包括显示器54和光学传感器诸如注视检测传感器82(有时称为注视检测器、注视跟踪器、注视跟踪系统或眼睛监测系统)。注视检测传感器82可以例如包括图像传感器、光源和/或用于监视用户眼睛的其他装备。该系统可包括一个或多个可见和/或红外相机,其面向检视者的眼睛并捕捉检视者(用户)眼睛的图像。用户注视的取向可以被用于确定用户正在看着显示器54上的哪个位置(有时被称为用户的注视点)。如果需要,设备24可以使用注视跟踪信息(诸如关于用户的注视点的信息)来确定在系统8中采取哪些动作。例如,注视跟踪系统可以确定用户的注视点指向第一对象而不是第二对象,并且可以通过假设用户在视觉上选择第一对象而不是第二对象来作出响应。手指输入和/或其他用户输入可以与输入(诸如在确定采取哪些动作时的注视点信息)结合使用。
在图12的示例中,显示器54被用于显示图像内容诸如项目80。项目80可以是菜单选项列表、电影选项列表、频道引导或任何其他合适的显示内容。用户可使用手指设备10来导航正在显示器54上显示的内容。例如,显示器54可显示选择指示符诸如选择指示符90,该选择指示符让用户知道当前选择了哪个项目80。用户可通过经由手指设备10提供输入来将选择指示符90移动到不同项目80。在图12的示例中,设备10被佩戴在手指40-1上,并且用户正在使用手指40-2向设备10提供输入(例如,如结合图4和图6所述)。例如,用户可在传感器18(例如,触摸传感器电极诸如图3的电极52的二维阵列)上向右(例如,在方向92上)轻扫,以将显示器54上的选择指示符90向右(例如,在方向84上)移动。用户可在传感器18上向下轻扫以将显示器54上的选择指示符90向下(例如,在方向86上)移动。如果需要,显示器54可显示视觉辅助,诸如滚动条88或用于指示选择指示符90当前在项目80中位于何处的其他合适的视觉辅助。
如果需要,当用户在显示器54上导航项目80时,可提供触觉输出(例如,点击)。例如,触觉输出止动器(当用户的手指位置与预先确定的位置重合时提供的振动)可在用户手指交互期间提供,以指示选择指示符90的移动,以指示项目80何时已被选择,和/或向用户提供其他输出。
使用手指40-2向设备10的外表面提供触摸输入(如结合图6所讨论的)以在显示器54上导航项目仅仅是例示性的。如果需要,用户可通过使用手指40-2在显示器54上导航项目以向手指40-1的指腹提供触摸输入(如结合图4所讨论的)。在这两种类型的输入布置中,设备10可用于检测轻扫(例如,用于移动选择指示符90)和用于选择选择指示符90所位于的项目80的点击(例如,用力按压传感器18和/或指腹40P)。触控板类型输入(例如,结合图5、图8、图9、图10和图11所述的类型)也可用于在显示器54上导航项目80。这些示例仅为例示性的。手指设备10可用于向显示器54提供其他类型的输入。
在图13的示例中,显示器54被用于显示图像内容诸如项目96和94。项目96和94可以是不同的文档、标签、程序、网站或任何其他合适的显示内容。用户可使用手指设备10来导航正在显示器54上显示的内容。例如,用户可通过抵靠佩戴设备10的手指40-1的指腹40P捏合他或她的手指40-2来向下滚动项目94,并且在捏合时,可沿方向100向上拉动他或她的手指。用户的这种捏合和向上拉动的组合继而可导致项目94的底部在方向98上向上移动与用户的捏合手指的向上运动成比例的量。
如果需要,设备24可使用捏合和拉动手势使用注视跟踪器82来确定正在滚动哪个项目。例如,注视跟踪器82可在初始捏合期间检测到用户正朝项目94的底部看,并且设备24中的控制电路可将该注视信息解释为意指捏合和向上拉动运动旨在操纵项目94并且可相应地沿方向98向上移动项目94的底部。当用户希望操纵项目96时,用户可将他或她的注视引导到项目96处(其可由注视跟踪器82检测到)并且可用设备10做出手或手指手势。
如果需要,当在显示器54上操纵项目96和94时,可提供触觉输出(例如,点击)。例如,触觉输出止动器(当用户的手指位置与预先确定的位置重合时提供的振动)可在用户手指交互期间提供以指示对项目的选择,以指示由于已到达项目的端部而不可能进一步向下滚动,和/或提供其他输出。
在图14的示例中,显示器54被用于显示图像内容,诸如与计算机辅助设计软件程序相关联的图像内容。软件程序可用于创建工程项目、建筑项目、制造项目或其他项目的二维和/或三维图示。在图14的示例中,显示器54用于显示计算机辅助设计项目102和104。用户可使用手指设备10来创建和操纵计算机辅助设计项目102和104。因为手指设备10检测到手指40和相邻手指在空间中的移动,所以手指设备10可允许更宽范围的用户输入手势以用于操纵具有六个自由度的计算机辅助设计。
例如,用户可做出捏合手势以选择用户希望操纵的项目。如果需要,设备24可使用注视跟踪器82来确定用户在做出捏合手势时正在查看哪个项目以及因此用户正在选择哪个项目。注视点信息和到手指设备10的用户输入也可用于选择用户希望在计算机辅助的附图中操纵哪个轴线。例如,用户可通过将手指40-1和40-2捏合在一起(或用手指设备10提供其他合适的输入)同时将他或她的注视引导到期望的轴线来操纵显示器54上的项目104的轴线104-1或104-2。
一旦已基于用户的注视点的方向(或手指指向输入)并且基于捏合手势输入或利用设备10进行的其他用户输入来选择所显示的项目(例如,项目102、104和/或项目102或项目104的单独轴线),则利用一个或多个设备10采集的另外的用户输入可用于旋转和/或以其他方式操纵所选择的项目。可使用设备10中的内部测量单元或其他传感器18采集关于手指移动(例如,旋转移动)的信息,并且该旋转输入用于旋转所选择的对象。如图14所示,例如,用户可以用手指40-2捏合手指40-1的指腹40P,同时在方向106上旋转手指40-1和40-2,这继而可以用于在方向108上旋转项目102。
显示器24可提供视觉辅助以使用户知道哪个项目或轴线正被操纵。如果需要,可使用到设备10的不同类型的输入来进行微调控制调节和粗调控制调节。例如,如果需要,图4所示类型的手指捏合可用于进行微调控制调节,并且如图6所示的到设备10的外表面的触摸输入可用于进行粗调控制调节。
如果需要,当在显示器54上操纵项目102和104时,可提供触觉输出(例如,点击)。例如,触觉输出止动器(当用户的手指位置与预先确定的位置重合时提供的振动)可在用户手指交互期间提供,以指示对项目的选择、指示旋转轴线的锁定、指示对象与对象的碰撞等。
如上所述,本发明技术的一个方面是采集和使用信息诸如传感器信息。本公开预期,在一些实例中,这些所采集的数据可包括唯一地识别或可用于联系或定位特定人员的个人信息数据。此类个人信息数据可包括人口统计数据、基于位置的数据、电话号码、电子邮件地址、twitter ID、家庭地址、与用户的健康或健身等级相关的数据或记录(例如,生命体征测量结果、药物信息、运动信息)、出生日期、眼镜度数、用户名、口令、生物识别信息、或任何其他识别信息或个人信息。
本公开认识到在本发明技术中使用此类个人信息可用于使用户受益。例如,该个人信息数据可用于递送用户较感兴趣的目标内容。因此,使用此类个人信息数据使得用户能够对所递送的内容进行有计划的控制。此外,本公开还预期个人信息数据有益于用户的其他用途。例如,健康和健身数据可用于向用户的总体健康状况提供见解,或者可用作使用技术来追求健康目标的个人的积极反馈。
本公开设想负责采集、分析、公开、传输、存储或其他使用此类个人信息数据的实体将遵守既定的隐私政策和/或隐私实践。具体地,此类实体应当实行并坚持使用被公认为满足或超出对维护个人信息数据的隐私性和安全性的行业或政府要求的隐私政策和实践。此类政策应该能被用户方便地访问,并应随着数据的采集和/或使用变化而被更新。来自用户的个人信息应当被收集用于实体的合法且合理的用途,并且不在这些合法使用之外共享或出售。此外,应在收到用户知情同意后进行此类采集/共享。此外,此类实体应考虑采取任何必要步骤,保卫和保障对此类个人信息数据的访问,并确保有权访问个人信息数据的其他人遵守其隐私政策和流程。另外,这种实体可使其本身经受第三方评估以证明其遵守广泛接受的隐私政策和实践。此外,应当调整政策和实践,以便采集和/或访问的特定类型的个人信息数据,并适用于包括管辖范围的具体考虑的适用法律和标准。例如,在美国,某些健康数据的收集或访问可能受诸如健康保险流通与责任法案(HIPAA)的联邦和/或州法律的约束,而其他国家的健康数据可能受其他法规和政策的约束,并且应相应地加以处理。因此,在每个国家应为不同的个人数据类型保持不同的隐私实践。
不管前述情况如何,本公开还预期用户选择性地阻止使用或访问个人信息数据的实施方案。即本公开预期可提供硬件元件和/或软件元件,以防止或阻止对此类个人信息数据的访问。例如,本技术可被配置为允许用户在注册服务期间或其后随时选择参与采集个人信息数据的“选择加入”或“选择退出”。又如,用户可选择不提供特定类型的用户数据。再如,用户可以选择限制保持用户特定数据的时间长度。除了提供“选择加入”和“选择退出”选项外,本公开设想提供与访问或使用个人信息相关的通知。例如,可在下载应用(“app”)时向用户通知其个人信息数据将被访问,然后就在个人信息数据被应用访问之前再次提醒用户。
此外,本公开的目的是应管理和处理个人信息数据以最小化无意或未经授权访问或使用的风险。一旦不再需要数据,通过限制数据收集和删除数据可最小化风险。此外,并且当适用时,包括在某些健康相关应用程序中,数据去标识可用于保护用户的隐私。在适当的情况下,可以通过移除特定标识符(例如,出生日期等)、控制存储的数据的量或特征(例如,在城市级而非地址级收集位置数据)、控制数据的存储方式(例如,在用户之间聚合数据)和/或其它方法来促进去标识。
因此,虽然本公开广泛地覆盖了使用个人信息数据来实现一个或多个各种所公开的实施方案,但本公开还预期各种实施方案也可在无需访问此类个人信息数据的情况下被实现。即,本发明技术的各种实施方案不会由于缺少此类个人信息数据的全部或一部分而无法正常进行。
根据一个实施方案,提供了一种系统,该系统包括:显示器;手指设备,该手指设备佩戴在用户的手指上,同时使手指尖端处的指垫露出;以及控制电路,该控制电路被配置为检测限定输入区域的边界的第一位置和第二位置处的到手指设备的用户输入,检测输入区域中的手指手势,以及基于输入区域中的手指手势来控制显示器。
根据另一个实施方案,在第一位置和第二位置处到手指设备的用户输入包括在第一位置处的表面上的第一轻击和在第二位置处的表面上的第二轻击。
根据另一个实施方案,该表面包括桌子表面。
根据另一个实施方案,该表面包括电子设备的非触敏表面。
根据另一个实施方案,该表面包括用户的手。
根据另一个实施方案,在第一位置和第二位置处到手指设备的用户输入包括在第一位置处的第一空中捏合和在第二位置处的第二空中捏合。
根据另一个实施方案,控制电路检测进一步限定输入区域的边界的第三位置和第四位置处的附加用户输入,输入区域是第一位置、第二位置、第三位置和第四位置之间的矩形区域。
根据另一个实施方案,输入区域中的手指手势选自由以下项组成的组:轻击、轻扫、捏合和按压。
根据另一个实施方案,手指设备包括位移传感器,位移传感器测量手指和位移传感器之间的距离的变化。
根据另一个实施方案,手指设备包括力传感器,力传感器检测由手指施加在力传感器上的力的大小。
根据一个实施方案,提供了一种系统,该系统包括:电子设备,该电子设备具有显示图像内容的显示器和采集用户注视信息的传感器;手指设备,该手指设备佩戴在用户的第一手指上,同时使第一手指的尖端处的指垫露出;以及控制电路,该控制电路被配置为检测从第二手指到手指设备的手指输入,并且基于用户注视信息和手指输入来操纵图像内容。
根据另一个实施方案,手指输入包括捏合手势和向上运动,并且控制电路响应于捏合手势和向上运动而在显示器上向下滚动图像内容。
根据另一个实施方案,手指设备包括检测第一手指的指腹部分的移动的传感器。
根据另一个实施方案,手指设备包括触摸传感器,手指输入包括触摸传感器上的向右轻扫,并且控制电路响应于触摸传感器上的向右轻扫而将显示器上的选择指示符向右移动。
根据另一个实施方案,手指设备包括触觉输出设备,触觉输出设备响应于手指输入而提供触觉输出。
根据一个实施方案,提供了一种系统,该系统包括:电子设备,该电子设备具有显示计算机辅助设计的显示器和采集用户注视信息的传感器;手指设备,该手指设备佩戴在用户的手指上,同时使手指尖端处的指垫露出,手指设备包括测量指垫的移动的传感器;以及被配置为基于指垫的移动和用户注视信息来操纵计算机辅助设计的控制电路。
根据另一个实施方案,传感器包括选自由以下项组成的组的传感器:力传感器和距离传感器。
根据另一实施方案,控制电路使用用户注视信息来确定用户是在看与计算机辅助设计相关联的第一轴线还是第二轴线,并且控制电路基于用户是在看第一轴线还是第二轴线来操纵计算机辅助设计。
根据另一实施方案,传感器包括检测手指的旋转的运动传感器,并且控制电路响应于手指的旋转而旋转与计算机辅助设计相关联的元件。
根据另一实施方案,手指设备包括触觉输出设备,触觉输出设备在控制电路操纵计算机辅助设计时提供触觉止动器输出。
前述内容仅为例示性的并且可对所述实施方案作出各种修改。前述实施方案可独立实施或可以任意组合实施。

Claims (20)

1.一种系统,包括:
显示器;
手指设备,所述手指设备佩戴在用户的手指上,同时使所述手指的尖端处的指垫露出;和
控制电路,所述控制电路被配置为:
检测限定输入区域的边界的第一位置和第二位置处的到所述手指设备的用户输入;
检测所述输入区域中的手指手势;以及
基于所述输入区域中的所述手指手势来控制所述显示器。
2.根据权利要求1所述的系统,其中在所述第一位置和所述第二位置处到所述手指设备的所述用户输入包括在所述第一位置处的表面上的第一轻击和在所述第二位置处的所述表面上的第二轻击。
3.根据权利要求2所述的系统,其中所述表面包括桌子表面。
4.根据权利要求2所述的系统,其中所述表面包括电子设备的非触敏表面。
5.根据权利要求2所述的系统,其中所述表面包括所述用户的手。
6.根据权利要求1所述的系统,其中在所述第一位置和所述第二位置处到所述手指设备的所述用户输入包括在所述第一位置处的第一空中捏合和在所述第二位置处的第二空中捏合。
7.根据权利要求1所述的系统,其中所述控制电路检测进一步限定所述输入区域的所述边界的第三位置和第四位置处的附加用户输入,其中所述输入区域是所述第一位置、所述第二位置、所述第三位置和所述第四位置之间的矩形区域。
8.根据权利要求7所述的系统,其中所述输入区域中的所述手指手势选自由以下项组成的组:轻击、轻扫、捏合和按压。
9.根据权利要求1所述的系统,其中所述手指设备包括位移传感器,所述位移传感器测量所述手指和所述位移传感器之间的距离的变化。
10.根据权利要求1所述的系统,其中所述手指设备包括力传感器,所述力传感器检测由所述手指施加在所述力传感器上的力的大小。
11.一种系统,包括:
电子设备,所述电子设备具有显示图像内容的显示器和采集用户注视信息的传感器;
手指设备,所述手指设备佩戴在用户的第一手指上,同时使所述第一手指的尖端处的指垫露出;和
控制电路,所述控制电路被配置为:
检测从第二手指到所述手指设备的手指输入;以及
基于所述用户注视信息和所述手指输入来操纵所述图像内容。
12.根据权利要求11所述的系统,其中所述手指输入包括捏合手势和向上运动,并且其中所述控制电路响应于所述捏合手势和所述向上运动而在所述显示器上向下滚动所述图像内容。
13.根据权利要求12所述的系统,其中所述手指设备包括检测所述第一手指的指腹部分的移动的传感器。
14.根据权利要求11所述的系统,其中所述手指设备包括触摸传感器,其中所述手指输入包括所述触摸传感器上的向右轻扫,并且其中所述控制电路响应于所述触摸传感器上的所述向右轻扫而将所述显示器上的选择指示符向右移动。
15.根据权利要求11所述的系统,其中所述手指设备包括触觉输出设备,所述触觉输出设备响应于所述手指输入而提供触觉输出。
16.一种系统,包括:
电子设备,所述电子设备具有显示计算机辅助设计的显示器和采集用户注视信息的传感器;
手指设备,所述手指设备佩戴在用户的手指上,同时使所述手指的尖端处的指垫露出,其中所述手指设备包括测量所述指垫的移动的传感器;和
控制电路,所述控制电路被配置为基于所述指垫的所述移动和所述用户注视信息来操纵所述计算机辅助设计。
17.根据权利要求16所述的系统,其中所述传感器包括选自由以下项组成的组的传感器:力传感器和距离传感器。
18.根据权利要求16所述的系统,其中所述控制电路使用所述用户注视信息来确定所述用户是在看与所述计算机辅助设计相关联的第一轴线还是第二轴线,并且其中所述控制电路基于所述用户是在看所述第一轴线还是所述第二轴线来操纵所述计算机辅助设计。
19.根据权利要求16所述的系统,其中所述传感器包括检测所述手指的旋转的运动传感器,并且其中所述控制电路响应于所述手指的所述旋转而旋转与所述计算机辅助设计相关联的元件。
20.根据权利要求16所述的系统,其中所述手指设备包括触觉输出设备,所述触觉输出设备在所述控制电路操纵所述计算机辅助设计时提供触觉止动器输出。
CN202010882271.XA 2019-09-23 2020-08-28 手指安装的输入设备 Pending CN112540669A (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201962904547P 2019-09-23 2019-09-23
US62/904,547 2019-09-23
US16/926,561 US20210089131A1 (en) 2019-09-23 2020-07-10 Finger-Mounted Input Devices
US16/926,561 2020-07-10

Publications (1)

Publication Number Publication Date
CN112540669A true CN112540669A (zh) 2021-03-23

Family

ID=74880849

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010882271.XA Pending CN112540669A (zh) 2019-09-23 2020-08-28 手指安装的输入设备

Country Status (3)

Country Link
US (1) US20210089131A1 (zh)
CN (1) CN112540669A (zh)
WO (1) WO2021061436A1 (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11050452B2 (en) * 2018-12-06 2021-06-29 Apple Inc. Electronic devices having circuitry in housing attachment structures
US11755107B1 (en) * 2019-09-23 2023-09-12 Apple Inc. Finger devices with proximity sensors
JPWO2023286316A1 (zh) * 2021-07-14 2023-01-19
WO2023034631A1 (en) * 2021-09-03 2023-03-09 Meta Platforms Technologies, Llc Systems for interpreting a digit-to-digit gesture by a user differently based on roll values of a wrist- wearable device worn by the user, and methods of use thereof
US11768536B2 (en) 2021-09-09 2023-09-26 Toyota Motor Engineering & Manufacturing North America, Inc. Systems and methods for user interaction based vehicle feature control
CN113892931B (zh) * 2021-10-14 2023-08-22 重庆大学 一种基于深度学习的fmcw雷达提取分析腹内压力方法
WO2024042502A1 (en) * 2022-08-26 2024-02-29 Genki Instrument Ehf. Improved smart ring
JP2024049520A (ja) * 2022-09-29 2024-04-10 Nissha株式会社 指装着型コントローラー

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030214481A1 (en) * 2002-05-14 2003-11-20 Yongming Xiong Finger worn and operated input device and method of use
CN107209582A (zh) * 2014-12-16 2017-09-26 肖泉 高直观性人机界面的方法和装置
CN107896508A (zh) * 2015-04-25 2018-04-10 肖泉 可以作为多个目标/端点(设备)和的整合点的以人为中心的“设备的超ui”体系结构的方法和设备,以及面向“模块化”通用控制器平台以及输入设备虚拟化的具有动态上下文意识的手势输入的相关方法/系统
CN109074217A (zh) * 2016-03-28 2018-12-21 微软技术许可有限责任公司 用于多点触摸输入检测的应用
CN109690455A (zh) * 2017-06-29 2019-04-26 苹果公司 具有传感器和触觉部件的指戴式装置

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9019218B2 (en) * 2012-04-02 2015-04-28 Lenovo (Singapore) Pte. Ltd. Establishing an input region for sensor input
US20140368434A1 (en) * 2013-06-13 2014-12-18 Microsoft Corporation Generation of text by way of a touchless interface
US10139906B1 (en) * 2014-01-29 2018-11-27 Guiyu Bai Ring human-machine interface
KR20160015050A (ko) * 2014-07-30 2016-02-12 엘지전자 주식회사 반지형 이동 단말기

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030214481A1 (en) * 2002-05-14 2003-11-20 Yongming Xiong Finger worn and operated input device and method of use
CN107209582A (zh) * 2014-12-16 2017-09-26 肖泉 高直观性人机界面的方法和装置
CN107896508A (zh) * 2015-04-25 2018-04-10 肖泉 可以作为多个目标/端点(设备)和的整合点的以人为中心的“设备的超ui”体系结构的方法和设备,以及面向“模块化”通用控制器平台以及输入设备虚拟化的具有动态上下文意识的手势输入的相关方法/系统
CN109074217A (zh) * 2016-03-28 2018-12-21 微软技术许可有限责任公司 用于多点触摸输入检测的应用
CN109690455A (zh) * 2017-06-29 2019-04-26 苹果公司 具有传感器和触觉部件的指戴式装置

Also Published As

Publication number Publication date
US20210089131A1 (en) 2021-03-25
WO2021061436A1 (en) 2021-04-01

Similar Documents

Publication Publication Date Title
US11360558B2 (en) Computer systems with finger devices
US20210089131A1 (en) Finger-Mounted Input Devices
Lee et al. Interaction methods for smart glasses: A survey
CN210136443U (zh) 电子设备和电子系统
CN111240465B (zh) 具有用于采样对象属性的手指设备的计算机系统
US11287886B1 (en) Systems for calibrating finger devices
US11347312B1 (en) Ultrasonic haptic output devices
Bergström et al. Human--Computer interaction on the skin
CN111913596B (zh) 具有控制器的电子设备系统
US11360587B1 (en) Deployment systems for computer system finger devices
CN112189178A (zh) 用于电子手指设备的传感器
US11429147B2 (en) Electronic device with sensing strip
US20240069352A1 (en) Handheld Controllers with Charging and Storage Systems
US20240019938A1 (en) Systems for detecting gestures performed within activation-threshold distances of artificial-reality objects to cause operations at physical electronic devices, and methods of use thereof
US12026325B2 (en) Handheld input devices with sleeves
US11755107B1 (en) Finger devices with proximity sensors
US20240094831A1 (en) Tracking Devices for Handheld Controllers
US20240012496A1 (en) Computer Systems with Handheld Controllers
US11709554B1 (en) Finger devices with adjustable housing structures
US11940293B2 (en) Finger devices with self-mixing interferometric proximity sensors
Lik-Hang et al. Interaction Methods for Smart Glasses: A Survey
US11747919B1 (en) Multi-input for rotating and translating crown modules
WO2024015750A1 (en) Computer systems with handheld controllers
KR102604259B1 (ko) 정전용량식 장갑형 입력장치
Manda Miniaturization of Computer Mouse as a Wearable Device

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination