CN104272218B - 基于联合数据的虚拟手 - Google Patents

基于联合数据的虚拟手 Download PDF

Info

Publication number
CN104272218B
CN104272218B CN201280072875.1A CN201280072875A CN104272218B CN 104272218 B CN104272218 B CN 104272218B CN 201280072875 A CN201280072875 A CN 201280072875A CN 104272218 B CN104272218 B CN 104272218B
Authority
CN
China
Prior art keywords
hand
data
virtual hand
input unit
touch
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201280072875.1A
Other languages
English (en)
Other versions
CN104272218A (zh
Inventor
弗雷德·查尔斯·托马斯三世
罗伯特·亚当·鲍曼
大卫·H·哈尼斯
约翰·迈克尔·迈因
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hewlett Packard Development Co LP
Original Assignee
Hewlett Packard Development Co LP
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hewlett Packard Development Co LP filed Critical Hewlett Packard Development Co LP
Publication of CN104272218A publication Critical patent/CN104272218A/zh
Application granted granted Critical
Publication of CN104272218B publication Critical patent/CN104272218B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03547—Touch pads, in which fingers can move on a surface
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04817—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance using icons
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/038—Indexing scheme relating to G06F3/038
    • G06F2203/0381—Multimodal input, i.e. interface arrangements enabling the user to issue commands by simultaneous use of input devices of different nature, e.g. voice plus gesture on digitizer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041—Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04101—2.5D-digitiser, i.e. digitiser detecting the X/Y position of the input means, finger or stylus, also when it does not touch, but is proximate to the digitiser's interaction surface and also measures the distance of the input means within a short range in the Z direction, possibly with a separate measurement setup

Abstract

示例计算系统可以包括显示器和输入装置。该输入装置可以包括用于提供触摸数据的触摸传感器和用于提供非接触数据的非接触传感器。该非接触传感器的视场指向离开该触摸传感器。控制器将该触摸数据和非接触数据联合为联合数据，以生成要在该显示器上显示的虚拟手。该虚拟手包括未被感应的特征。

Description

基于联合数据的虚拟手
背景技术
触摸技术已经用于与诸如智能电话和平板之类的移动装置的显示交互。触摸技术可以用来为较大屏幕(例如台式计算机)支持个人计算机(PC)触摸体验。然而，随着显示器布局尺寸增加，全显示屏触摸技术的成本可能指数地增加，并且可能在使用大型触摸屏时引起“大猩猩臂(gorilla arm)”(保持在无支撑水平位置的人手臂迅速地疲劳和疼痛)。独立的跟踪垫可以在使用单个手指时用作间接触摸装置，该间接触摸装置与主机连接以担当鼠标指针。跟踪垫可以用于包括滚动、挥动、捏、缩放和旋转在内的手势。然而，独立的跟踪垫/显示器不能提供由触摸屏提供的那种交互体验，因为在跟踪垫如何用于与显示器交互之间的中断。
附图说明
图1是根据示例的包括输入装置的计算系统的框图。
图2是根据示例的包括输入装置的计算系统的框图。
图3是根据示例的输入装置的框图。
图4A-4D是根据示例的示出与包括输入装置的系统交互的框图。
图5是根据示例的基于以输入装置为基础生成虚拟手的流程图。
图6是根据示例的基于显示与感应会话关联的虚拟手的流程图。
具体实施方式
示例系统可以提供直接触摸体验，即使在大屏幕触摸环境(例如个人计算机(PC)和平板)中也可以提供直接触摸体验。较低成本的跟踪垫或者跟踪垫变型可以用来提供直接触摸体验，提供与使用像全屏幕投射电容式触摸(PCT)显示器这样的较大布局排齐触摸显示器相比的节省。跟踪垫可以避免被称作“大猩猩臂膀”的痛苦情形，同时允许沉浸式的触摸体验。
示例计算系统可以包括显示器和输入装置。输入装置可以包括用于提供触摸数据的触摸传感器和用于提供非接触数据的非接触传感器。非接触传感器的视场指向离开触摸传感器。控制器会将触摸数据和非接触数据联合成联合数据，以生成要在显示器上显示的虚拟手。虚拟手将包括未被感应的特征。
示例系统可以支持通过使用触摸跟踪垫的转换的直接触摸体验。该跟踪垫可以提供低成本机制，以支持排齐的触摸PC显示器交互体验。通过例如使用软件和/或控制器，半透明的虚拟手可以呈现和叠加在显示器上。可以体验与全尺寸显示器的引人入胜的排齐触摸交互，仿佛正在使用昂贵的基于PCT的触摸显示器。非接触传感器(例如广角相机)可以与触摸板一起使用，以提供使能够在显示器上生成/呈现的半透明虚拟手的附加(例如三维(3D)透视)信息。
图1是根据示例的包括输入装置110的计算系统100的框图。计算系统100还可以包括控制器120和显示器130。输入装置110可以包括触摸传感器112和非接触传感器114。输入装置110可以生成(例如基于触摸传感器112的)触摸数据122和(例如基于非接触传感器114的)非接触数据124。控制器120可以基于触摸数据122和非接触数据124提供联合数据126。
基于联合数据126，控制器120可以使虚拟手150在显示器130上显示。虚拟手150可以包括未被感应的特征154(例如虚拟手154的背侧、指甲、手指间的空间、指节、皮肤、皱褶，毛发等)。虚拟手150可以半透明地覆盖在被显示的要素132上，使得下方的被显示的要素132透过虚拟手150是可见的。虚拟手150可以指示与被感应的手140的感应触摸142对应的虚拟触摸152。
非接触传感器114可以与视场(FOV)116关联。FOV 116如虚线箭头所指示的那样指向离开输入装置110的触摸传感器112。换句话说，与从相对于输入装置110的头顶视角向下看相对照，非接触传感器114从输入装置110向上看(或者横跨输入装置110向一边看)。FOV116被显示为小于180度，但是可以更大或者更小，包括可以基于一个非接触传感器114和/或多个非接触传感器114的完全球面FOV。因此，FOV 116可以从非头顶视角(例如从下面(观察被感应的手140的手掌)或者从被感应的手140的侧面)感应被感应的手140。
FOV 116可以基于非接触传感器114的焦距和传感器尺寸。因此，FOV 116可以基于特定传感器的包括像与特定传感器一起使用的光学器件这样的其它特征在内的不同特性而不同。在示例中，非接触传感器114可以包括用于提供160度FOV的镜头和相应传感器，但是选择可以使用小于160度的更窄FOV 116的交互空间。
关于本文公开的示例描述的各组件可以被实现为电子硬件、计算机软件或者两者的组合。例如，控制器120可以使用软件模块、硬件模块或者部件或者软件和硬件模块或部件的组合来实现。在另一示例中，这些组件中至少一个可以包括在非瞬态计算机可读存储介质上存储的、可由处理器和/或存储器执行的软件代码。控制器120可以是对指令、数据事务、代码或信号进行执行或解释的硬件和软件的任何组合。例如，控制器120可以是微处理器、专用集成电路(“ASIC”)、像处理器或计算装置的集群或网络这样的分布式处理器、或者虚拟机。控制器120被示出为与显示器130和输入装置110分离，但是在替代示例中各组件可以集成在一起(例如将控制器120和/或显示器130集成到输入装置110中)。
联合数据126可以用来识别被感应的手140的各种特征。联合数据126可以允许传感器融合，其中触摸数据122与非接触数据124联合以提供升高水平的信息和精度。例如，基于指示与接触传感器112的单点接触的触摸数据122和指示被感应的手140相对于感应触摸142和/或输入装置110的位置的非接触数据124，控制器120可以识别被感应的手140的无名指正在提供感应触摸142。因此，可以显示虚拟手150，虚拟手150示出提供虚拟触摸152的虚拟无名指，虚拟手150反映被感应的手140的方位。可以检测多个感应触摸并且将多个感应触摸与非接触数据进行配合，以提供被感应的手140的逼真虚拟化，该虚拟化包括使用两个被感应的手140的十指触摸支持。使用触摸传感器112的实际输出(包括指示所有手指放置在哪儿的触摸数据122)，虚拟手150的图像可以呈现在显示器130上。连同虚拟手指在显示器130上与联合数据126指示的关于被感应的手140的位置相比的相对位置一起，可以在显示器130上提供虚拟手150的精确定位。这种传感器融合可以在被感应的手140和虚拟手150之间提供加强的交互和跟踪，促进转换的直接触摸体验。
虚拟手150可以在显示器130上逼真地模仿被感应的手140的方位和运动。基于根据传感器融合的联合数据126和传感器数据的其它增强，在被感应的手140与触摸传感器112接触时可以显示虚拟手150，并且在被感应的手140在触摸传感器112上方悬停时也可以显示虚拟手150。虚拟手150可以虚拟地被生成，而不仅仅是被感应的手140的拍摄/转换/重放的图像/视频。
通过触摸该触摸传感器112，生成关于被感应的手140的手指被放置在哪儿的高分辨率触摸数据122。因此，根据各个传感器的相对分辨率，可以与其它传感器数据相比给予高分辨率信息更多权重。非接触传感器114可以捕获附加信息，以增强关于手指的高分辨率触摸数据122，如手指是弯曲的还是位于特定方位/角度等。非接触传感器114可以检测3D/深度信息(除其它非接触数据124之外)。例如，非接触传感器114可以是用于对深度信息进行三角测量和/或解释的3D传感器或者传感器阵列。深度信息可以用来增加/提高关于被感应的手140的手指、指节以及其它特征的方位和/或位置的精度，以生成/重构相应的虚拟手150。
可以对由输入装置110生成的数据进行加权。例如，触摸数据122可以在用于提供联合数据126时比非接触数据124被给予更高权重。相对权重可以与关联于传感器的准确度和/或精确度水平相关。在示例中，与关联于非接触传感器114的相对较低的精确度和准确度水平相比，触摸传感器112能够将数据提供至高精确度和准确度水平。因此，触摸数据122可以比非接触数据124相比被给予更多权重。对数据进行加权可以使控制器120能够将触摸数据122优先于非接触数据124。在示例中，如果触摸数据122指示一个位置，并且非接触数据124指示稍有不同的相应位置，则控制器120可以使用触摸数据122来覆盖非接触数据124。在替代示例中，非接触数据124可以比触摸数据122被给予更高权重(例如，高分辨率非接触传感器114感应在近范围处的被感应的手140，或者被感应的触摸142非常轻或者间歇的情形)。在示例中，可以监视由输入装置110生成的数据以寻找异常(例如由触摸传感器112上的杂质/汗水引起的触摸传感器112的触摸数据122的偶发读数)，并且该异常可以通过使用其它可用数据(例如使用非接触数据124)来补偿。一种形式的数据可以用来增强另一种形式的数据，并且权重可以用来通知控制器120可以如何确定哪个数据优先或者给予更多权重。例如，基于随时间推移监视感应数据，数据可以被确定为是偶发的或另外是可疑的，以识别偏差。
可以使用诸如通用串行总线(USB)网络相机和触摸板部件之类的常规和/或现成部件来生成联合数据126。输入装置110被示出为耦接至控制器120和显示器130，并且这种耦接可以基于导线(例如USB线缆)。替代示例可以使用Wi-Fi直连(Wi-Fi direct)、蓝牙、WLAN(无线局域网)或者其它无线实现方式无线地实现。
输入装置110和显示器130可以被集成为一个计算装置，例如被设置在移动手持式计算装置的至少一个表面上。计算系统100的各组件不需要在该装置的相同表面上。尽管在图1中将触摸传感器112示出为在尺寸上比显示器130更小，但是各组件的尺寸可以改变。例如，触摸传感器112可以是与显示器130相同的尺寸或者比显示器130更大的尺寸。示例不限于在尺寸上比显示器130更小的触摸传感器112。
虚拟手150可以用来与诸如用户界面要素、文档、计算机辅助制图(CAD)模型之类的被显示要素132或者其它被显示要素132交互。由控制器120识别的手势可以用来发起交互会话。图1图示基于虚拟触摸152虚拟手150与被显示要素132交互。如图所示，虚拟手150握住被显示要素132，使能够操纵被显示要素132。
与被显示要素132的交互可以基于用于实现诸如改变尺寸、紧握、移动、滚动、挥动、捏、缩放、旋转及其它交互之类的各种任务的手势。虚拟手150可以与所支持的计算机操作系统手势控件交互，如与和其它操作系统中的触摸实现方式交互。基于包括在操作系统内的限定人性化接口装置(HID)的设备驱动程序、设置有计算系统100的目的建造常规驱动器、应用编程接口(API)和软件开发工具包(SDK)或者用于与计算系统和/或操作系统交互的其它技术,这样的手势控件可以支持多触摸手势和其它特征。另外，虚拟手150可以基于像3D手势或者未特别地由操作系统的内建手势支持所支持的其它交互这样的附加手势(例如，在3D空间中抓取一要素、在3D空间中拖拽该要素以及沿全部自由度轴/全部运动轴旋转该设备)进行交互。
感应触摸142在图1中示出，其中感应触摸142与下面的被显示要素132相关，使得控制器120确定感应触摸142对应于抓取被显示要素132(例如抓取手势)。因此，联合数据126可以关于虚拟手150相对于被显示要素132在被显示位置的情景中来进行解释。例如，控制器120可以确定被显示要素132是可点击的按钮，使得感应触摸142对应于点击手势而不是抓取手势。因此，基于联合数据126和/或基于虚拟手150和虚拟手150的虚拟环境(例如被显示要素132)，控制器120可以支持知晓情景的手势。
控制器120还可以支持不同形态。图1的示例图示选择形态，其中虚拟手150在用于选择被显示要素132的模式中操作。感应触摸142可以由控制器120识别为触发从该选择形态例如转换至3D交互形态。这种转换可以基于特殊手势(例如三重轻拍)，并且可以基于先前的手势和/或被显示要素132的状态和/或虚拟手150的情景。在示例中，控制器120可以支持用于感应被感应的手140和手指位置等的移动的定位形态。当被感应的手140抬离输入装置110(例如中断与触摸传感器112的接触，和/或如在交互空间内或者在交互空间外移动指定距离)时，控制器120可以识别至重定位阶段/模式的形态变化。可替代地，控制器120可以将这种手势识别为转换至3D交互形态而不是重定位形态。基于计算系统100的形态，控制器120可以选择性地忽视信息和/或保持虚拟手。例如，在重定位形态/阶段期间，控制器120可以在重定位被感应的手140时显示虚拟手150的静态图像。因此，在重定位期间，控制器120可以停止跟踪被感应的手140和虚拟手150之间的方位和/或位置信息，直到重定位形态结束(例如用户将手放回到输入装置110上，或者用户将手放在距输入装置110的一距离内，和/或用户将手放在输入装置110的交互空间内)。
图2是根据示例的包括输入装置210的计算系统200的框图。计算系统200还可以包括控制器220和显示器230。输入装置210可以包括触摸传感器212和非接触传感器214。输入装置210可以生成(例如基于触摸传感器212的)触摸数据222和(例如基于非接触传感器214的)非接触数据224。控制器220可以基于触摸数据222和非接触数据224提供联合数据226。
基于联合数据226，控制器220可以使虚拟手250显示在显示器230上。虚拟手250可以与被显示要素232交互，例如基于手势转换进行交互。示例手势转换被示出为由彼此非常接近的快速连续三个感应触摸242检测到的三重轻拍。控制器220可以检测这种手势转换以转换形态/会话/阶段。例如，控制器220可以从触摸形态转换为3D交互形态。因此，控制器220可以监视3D空间260内各种移动/旋转手势，并且将它们转换为与被显示要素232的交互。基于非接触数据224和在形态和相对于虚拟手250的被显示要素232之间的情景理解，将被显示要素232示出为在3D空间中由虚拟手250抓取和旋转。通过理解各种交互形态，控制器220能够智能地监视联合数据226并且相应地应用它。例如，与在3D交互阶段/形态期间跟踪手旋转/其它移动相对照，控制器220能够在重定位阶段期间忽视这种旋转/移动。尽管在图2中示出用于转换至3D交互形态/阶段的三重轻拍触摸手势，但是可以使用其它手势，其它手势包括基于触摸、基于运动、基于声音以及其它手势。
图3是根据示例的输入装置310的框图。输入装置310可以包括至少一个触摸传感器312、传感器发射器318和/或非接触传感器314。非接触传感器314与由虚线箭头指示的指向离开输入装置310的视场316关联。输入装置310可以提供用于感应被感应的手340(包括3D位置信息360和感应触摸342)的交互空间362。交互空间362可以独立于触摸传感器312和/或非接触传感器314的能力。例如，FOV 316可以提供长距离处的被感应的手340的无接触检测，但是交互空间362可以被调节为相对更短的距离。在示例中，交互空间362可以通过控制器和/或其它软件可调节的设置/偏好而被任意地调节。
图3中图示的示例被示出为具有三个非接触传感器314、一个触摸传感器312以及一个传感器发射器318。然而，可以使用任意多个元件。例如，触摸传感器312可以被设置为多个单独的触摸传感器。在替代示例中，所示出的这些组件的位置还可以改变。
非接触传感器314可以是固态相机或者用于观察手势和被感应的手340相对于输入装置310的身体结构定位的其它信息增强传感器。交互空间362可以基于来自至少一个非接触传感器314和/或触摸传感器312的联合数据来设置。交互空间362能够监视与触摸传感器312齐平的被感应的手340交互并且在被感应的手340在触摸传感器312上方挥动时监视。例如，交互空间362可以在输入装置310上方延伸大约6英寸的距离。交互空间362不受特定传感器限制，并且可以独立于所使用的特定硬件来进行选择。
两个非接触传感器314被示出在输入装置310的角落。因此，非接触传感器314的FOV 316可以观察被感应的手340的侧面和底部(例如手掌)(当其被放置在图3中时；被感应的手340的其它方面可以根据被感应的手340相对于输入装置310的方位来感应)。非接触传感器314可以被布置以注视被感应的手340的侧面，例如沿着输入装置310的边缘和/或底部布置。非接触传感器314可以从感应视角收集关于被感应的手340的信息，其中感应视角与在显示器上如何显示虚拟手的显示视角不同。虚拟手可以被生成以包括未被非接触传感器314和/或触摸传感器312观察到的数据，如未在与FOV 316关联的视线内的手背。
示例可以使用两个以上的非接触传感器314。来自多个非接触传感器314的信息可以被缝合在一起，以形成基于合成视场的合成图像。例如，合成视场可以跨越比与单个非接触传感器314关联的FOV 316更大的观察点。
从被感应的手340的底部和/或侧面来感应被感应的手340仍可以提供使控制器能够从上下视角生成虚拟手的数据。此外，非接触传感器314可以相对于输入装置310是低矮的。不需要升高非接触传感器314离开触摸传感器312以便获取非接触传感器314的上下视角/观察点。例如，非接触传感器314可以嵌在输入装置310的表面内，或者设置在隆起中。因此，可以设置具有降低的垂直尺度的薄且光滑的输入装置310，该降低的垂直尺度避免使用升高装置，该升高装置具有伸出且向下面对触摸传感器312的非触摸传感器314。非接触传感器314与输入装置310的集成能够形成光滑、薄、低矮且简洁的单元，而没有为非接触传感器314伸出的拼装或碍眼的装置。
图3的示例包括在触摸传感器312的边缘内的非接触传感器314。这种非接触传感器314可以包括背离触摸传感器312的平面指向且基本垂直于触摸传感器312的平面的FOV。换句话说，非接触传感器314主要基本上从触摸传感器312向外指向，但是可设想非接触传感器314的FOV的一部分还可以与触摸传感器312重叠。在示例中，触摸传感器312包括用于容纳非接触传感器314的孔。多个触摸传感器312可以用来提供缝，非接触传感器314可以通过该缝接收感应数据。在替代示例中，触摸传感器312包括可以将感应数据传送至嵌入的非接触传感器314的表面。例如，该表面可以是透明的，以将包括非可见光谱中的光在内的可见光数据以及可以穿过触摸传感器312的其它数据(例如听觉数据)传送给非接触传感器314。
示例可以使用包括发射器和/或接收器的传感器。例如，传感器发射器318可以提供由被感应的手340反射并由非接触传感器314中的传感器接收器拾取的信号。非接触传感器314本身可以包括作为非接触传感器314提供的至少一个发射器和/或接收器。在示例中，近红外(IR)发光二极管(LED)可以被设置为照明发射器，并且合适的光IR接收器(例如，包括用于将IR波长与其它光波长分离的截止滤波器的接收器)可以包括在非接触传感器314中。这样的基于IR的示例可以通过使用其自己的信号源和/或滤波来阻挡环境光/噪声并提高信号响应，实现在任何周围光环境下的系统功能。
非接触传感器314(和/或传感器发射器318)可以使用朝着交互空间362发射/指引的发射器图案。在示例中，非接触传感器314和/或传感器发射器318可以包括机构，该机构用于在将其投射在被感应的手340上时构造该照明，例如使用全息照相或者其它技术来构造该照明。所构造的照明可以提供关于被感应的手340的物理方位和位置的增强3D信息。所投射的图案可以包括点阵、多线以及其它图案。图案可以基于用于发射光和对光进行图案化的激光器(例如固态激光器)和全息照相来生成。
非接触传感器314可以包括3D相机检测技术，如由像PMD科技(PMD )这样的厂商开发的非接触传感器314可以是主动式的和/或被动式的。主动式的非接触传感器314可以包括基于飞行时间、三角测量、锥光全息术、手持式激光扫描器、结构光、调制光、容量分析技术以及其它主动式传感技术的传感器。被动式的非接触传感器314可以包括基于实体镜的技术、光度计的技术、剪影技术、摄影测量技术以及其它被动式传感技术的传感器。非接触传感器314可以包括用于增强或改变在传感器314处接收的感应数据的透镜或其它光学器件。非接触传感器不需要与正在从其测量参数的表面接触。非接触传感器314可以包括用于检测被感应的手340的诸如金属环、手套、指甲油或人手不固有的其它特征(例如指针、尖笔、化身、条形码，射频识别(RFID)、快速反应(QR)代码等)之类的方面的传感器。非接触传感器314可以检测各种形式的数据，如指纹、汗、温度、压力、位置、速度、加速度、扭矩、角度、距离、深度、化学品、力、力矩、磁场、电场(包括电容)、超声测量、应力等。因此，对应于要作为用于控制器的联合数据的一部分收集的各种形式的数据，可以使用多种非接触传感器314。
输入装置310可以包括与触摸传感器312集成的显示器，使得输入装置310可以作为平板或者智能电话的形状因子来设置。这样的输入装置310可以提供感应数据，以在像用于交互式呈现会话的大型放映屏幕这样的外部显示器上生成虚拟手。
图4A-4D是根据示例的示出与包括输入装置410A-410D的系统的交互的框图。该交互示出可以使用的一比一(1:1)移动映射以及非1:1映射。映射策略中的这种改变可以使系统能够利用输入装置410A-410D和显示器430A-430D之间的尺寸差异的优势，并且提供准确度、精确度和/或速度或者其它因素的不同映射级别。与具有包括23″对角线的尺寸的示例显示器430A-430D对照，示例输入装置410A-410D可以具有包括9″对角线的尺寸。基于用于提供交互和流畅性的绝对和/或相对技术的组合，被感应的手440A-440D相对于更小的输入装置410A-410D的移动和定位可以被映射为虚拟手450B-450D相对于更大的显示器430A-430D的移动和定位。
图4A示出与输入装置410A关联的交互空间462A和显示器430A。被感应的手440A被示出为在进入交互空间462A之前，并且显示器430A没有显示虚拟手。
尽管交互空间462A大致被示出为在输入装置410A上方延伸的半球体，但是其它形状(例如矩形棱柱体、合成/缝合形状或者非规则形状)可以与交互空间462A关联。在替代示例中，交互空间462A的形状可以随时间而变化。例如，交互空间462A可以在感应触摸会话期间收缩，并且在空闲时间(例如会话之间)期间和/或在3D交互形态期间增长，这允许给予3D手势和操纵移动的大移动自由度。显示器430A被示出为没有显示虚拟手，这表示任何交互之前的状态(例如，在感应会话之前、在感应会话的非显示阶段期间或在感应会话之间的时间期间)。
图4B示出了输入装置410B感应与感应触摸442B关联的被感应的手440B。显示器430B包括虚拟手450B和虚拟触摸452B。
感应会话可以通过进入交互空间、进入距输入装置410B特定距离范围和/或通过触摸输入装置410B来发起。基于接近度检测(例如热/红外线)和/或表示被感应的手440B在与输入装置410B关联的视场或者交互空间内的其它检测，输入装置410B可以检测被感应的手440B已进入交互空间。感应会话可以与在显示器430B上显示虚拟手450B关联。输入装置410B可以提供基于传感器融合的联合数据，这使虚拟手450B能够反映被感应的手440B的位置、方位及其它特征。如图所示，与被感应的手440B如何包括与输入装置410B的侧面平行的伸出手指类似，虚拟手450B反映与显示器430B的侧面平行的伸出手指。另外，输入装置410B已经确定感应触摸442B对应于无名指，从而相应地显示虚拟手450B和虚拟触摸452B。
发起感应会话的被感应的手440B的位置可以基于输入装置410B上的感应触摸442B的位置。被感应的手440B的位置(例如相对于输入装置410B的位置)可以对应于在显示器430B上发起的虚拟手450B和虚拟触摸452B的相对位置。因此，可以对虚拟手450B的初始显示选择相对和/或缩放位置，但是可以使用其它技术。例如，可以使用非相对映射，如将虚拟手450B最初显示在显示器430B中央。图4B中示出的感应会话将被感应的手440B和感应触摸442B的位置示出为偏离输入装置410B的中央，使得虚拟手450B和虚拟触摸452B类似地偏离中心地显示。因此，可以通过定位被感应的手440B和/或通过触摸输入装置410B上与显示器430B上的期望位置对应的位置处的感应触摸442B，来发起感应会话。在示例中，被显示要素，如按钮或者其它用户界面要素，可以朝显示器430B的右侧。因此，感应会话可以利用相对定位来发起，使得虚拟手450B位于被显示要素上或附近，从而最小化或消除对用于使虚拟手450B和/或虚拟触摸452B进入目标被显示要素的范围的附加移动/手势的需要。
示例输入装置410B还可以识别被感应的手的装饰特征，从而使输入装置410B能够缩放和调整虚拟手450B，以匹配被感应的手的实际手大小和肤色或者增强直接触摸体验中的沉浸感觉的其它特征。在示例中，控制器可以识别显示器430B的尺寸和输入装置410B的尺寸，以便根据需要提供虚拟手450B的适当视觉缩放。
图4C示出在被感应的手440C和感应触摸442C的感应运动之后与输入装置410C关联的被感应的手440C和感应触摸442C。被感应的手440C的运动和/或方位可以基于包括触摸数据和/或非接触数据的联合数据来检测。显示器430C显示对被感应的手440C和感应触摸442C的运动和/或方位进行跟踪的虚拟手450C和虚拟触摸452C。这种运动跟踪可以与2D交互形态/会话关联。
该运动被示出为被感应的手440C和虚拟手450C之间的1:1比率的映射。1:1映射是可能的，甚至在输入装置410C与显示器430C的尺寸不同时。因此，即便感应触摸442C几乎横越整个输入装置410C从一侧移动到另一侧，虚拟触摸452C也仅从显示器430C的边缘移动至显示器430C的该边缘内的位置。在示例中，被感应的运动和虚拟运动两者在实际距离上大致相等。被感应的手440C也已经移动，使得几乎整个被感应的手440C(除了被感应的手指的一部分之外)不再在输入装置410C上方。然而，虚拟手450C基本被示出在显示器430C上(除了手掌的一小部分之外)。因此，能够不依赖于被感应的手440C有多少在输入装置410C的视场和/或交互空间内而生成和显示虚拟手450C。
其它映射技术可以用于运动，包括非1:1映射/比率(大于或者小于1:1)。例如，虚拟手450C的运动速率可以基于诸如与被感应的手440C和/或感应触摸442C关联的加速度和/或压力之类的因素来改变。在示例中，虚拟手450C可以基于以小于1:1比率的缩放来提供增加的运动精度。这种映射/缩放的变化可以由手势引起，和/或可以持续地监视和调整(例如基于在其正被感应时的加速度或者压力)。因此，示例系统可以以与由被感应的手440C提供的原始数据相比的更大速度、准确度、精确度或者其它因素，提供增强的交互。在示例中，虚拟手450C和被感应的手440C之间运动映射可以基于与感应触摸442C关联的压力的增加而增加。
图4D示出在重定位手势后与被感应的手440D和感应触摸442D关联的输入装置410D。该重定位手势可以作为单独的感应会话来包括，并且可以作为在现有感应会话中的阶段来提供(例如可以在不中断当前感应会话的情况下提供)。被感应的手440D已经改变位置和方位，包括被感应的手440D的手指和指节的已变化方位。如空心虚线箭头所示，被感应的手440D已经被抬起离开输入装置410D并且针对感应触摸442D重定位。显示器430D包括虚拟手450D和虚拟触摸452D。基于与感应触摸442D关联的增加的向下压力，虚拟触摸452D包括增大的区域。增大的区域可以用于各种交互，如用更宽笔刷绘制、选择多个文档、沿着3D空间中的z轴移动等。因此，输入装置430D可以包括压力板(force pad)，该压力板感应被感应的手440D为生成感应触摸442D而多么用力按压在输入装置430d上的压力或者其它指示。压力(和其它输入)可以通过增大或者缩小虚拟触摸452D或者其它指示来表示(例如改变虚拟手450D(例如颜色)、光标或者其它指示)。
在重定位(例如在被感应的手440D抬离输入装置410D时)期间，可以保持虚拟手450D的位置。例如，可以显示虚拟手450D的静态图像。保持虚拟手450D的位置可以允许被感应的手440D实现相对于更小尺寸的输入装置410D的附加运动自由度，例如在被感应的手440D到达输入装置410D的边缘时。在图4D的示例中，该重定位使被感应的手440D能够处于待进一步向左移动的位置，从而使虚拟手450D能够再次向左移动。因此，基于以各种比率的运动缩放(包括1:1运动缩放)，可以实现虚拟手450D增长地横穿显示器430D的运动。
独立于虚拟手450D的运动，可以跟踪被感应的手440D的方位和其它方面。例如，被感应的手440D合拢其三根手指并且稍微逆时针地旋转。输入装置410D可以跟踪这种方位特征并且使虚拟手450D反映它们。该反映可以继续，甚至在保持虚拟手450D的位置时(例如在重定位期间)。可替代地，虚拟手450D可以在重定位期间从显示器430D上移除(例如可以在重定位期间忽视被感应的手440D的各种回转、方位和/或定位)。可以使虚拟手450D在重定位以后以更新的方位/位置在显示器430D上重现。因此，甚至在中断被感应的手440D和虚拟手450D之间的运动的1:1跟踪(和/或基于非1:1跟踪的运动)时，仍可以保持沉浸感。此外，各种手势的使用允许输入形态之间的转换，使得一种形式的输入(例如在输入装置410D上方旋转手)可以根据该手势和已经被转换至的对应形态而提供不同交互。
因此，基于实际到虚拟的手关联模型，上面描述的情形提供虚拟手的示例运动。示例系统可以替代地和/或共同包括相对的和/或绝对的交互使用模型。在这种使用模型中，发起感应会话(例如由接近度、触摸和/或视场触发)，并且虚拟手在显示器上出现在相对于输入装置与被感应的手对应的缩放“绝对”位置处。基于使用联合数据的虚拟计算机重构/生成，虚拟手可以以与被感应的手类似的身体结构方式出现。被感应的手相对于输入装置的运动可以恢复到输入装置空间和显示空间之间的一比一映射。抬起和重定位被感应的手可以由触摸传感器和/或非接触传感器检测，由控制器和/或软件识别，并且虚拟手可以保持其被显示的位置。在重定位后，虚拟手可以保持其之前在显示器上的“绝对”位置，并且适应手/手指/等的方位的任何身体结构变化。被感应的手(相对于输入装置)和虚拟手(相对于显示器)之间的绝对一比一映射可以继续。其它使用模型是可能的，包括不涉及重定位的使用模型。示例能够捕获直接的精确的1:1运动相关，同时使虚拟手能够在显示器各处移动，即便该显示器显著地大于输入设备。在其它使用模型/示例中，可以使用除1:1之外的其它映射。
半透明的虚拟手可以在显示器上实时地支持和呈现手势，如用于缩放的手指捏和张开、用于画面转换的两个手指轻弹以及其它。还可以支持其它手势，包括涉及在输入装置上的触摸的手势和与输入装置不接触的在交互空间中的手势。
会话的转换和/或会话的阶段可以基于从交互空间移走被感应的手来引起(例如被发起、被转换、结束等)。这种转换例如可以将感应会话重设置至新状态。例如，系统可以从绝对的1:1映射切换至缩放的相对非1:1映射。虚拟手放置可以被驱动至显示器的全尺寸的缩放表示，或者关于初始虚拟手放置的其它变化。
图5是根据示例的基于以输入装置为基础生成虚拟手的流程图500。在框510中，接收来自输入装置的触摸传感器的触摸数据以及来自该输入装置的非接触传感器的非接触数据。例如，电容阵列可以用作触摸传感器，并且3D传感器可以用作非接触传感器。非接触传感器的视场指向离开触摸传感器。例如，3D传感器可以基本上侧向/向上指向离开触摸传感器，以对要与输入装置交互的被感应的手的底部和/或侧面成像。在框520中，基于包括触摸数据和非接触数据的联合数据，生成虚拟手。例如，使用联合数据来识别手指位置并且使用触摸数据细化来自非接触传感器的信息来生成对被感应的手进行模拟的虚拟手，可以生成虚拟手。在框530中，显示包括为虚拟手生成的未被感应的特征的虚拟手。例如，未被感应的特征可以通过插入联合数据来构造。在示例中，未被感应的特征可以是根据表示被感应的手的前侧(手掌侧)的联合数据生成的虚拟手的背侧。在替代示例中，未被感应的特征可以包括手指之间的区域、指节方位以及其它特征(它们可以基于手的常规身体结构模型而得到)。
图6是根据示例的基于显示与感应会话关联的虚拟手的流程图600。在框610中，发起感应会话。例如，可以基于感应非接触传感器的交互空间和/或视场中的手或者检测感应触摸，发起感应会话。在替代示例中，可以类似地发起其它会话，如手势会话、重定位会话、3D交互识别会话及其它会话。在框610中发起的感应会话可以包括至少一个状态，该至少一个状态包括显示状态、相对定位状态、运动状态、重定位状态等。感应会话可以基于联合数据在不同状态之间转换。在框620中，响应于发起感应会话，在显示器上的初始位置显示虚拟手。该初始位置基于相对于输入装置缩放由联合数据表示的感应位置。例如，被感应的手可以在输入装置中央被检测到，并且虚拟手最初可以显示在显示器中央。在替代示例中，被感应的手可以在输入装置的左上角被检测到，并且虚拟手最初可以显示在显示器的左上角。在框630中，在感应会话期间，基于通过由输入装置感应到的联合数据表示的无缩放绝对1:1运动转换，更新虚拟手的位置。例如，联合可以表示被感应的手相对于输入装置的一英寸的感应到的运动。因此，可以将虚拟手显示为与感应到的运动匹配在显示器上移动一英寸。这种被感应的手和虚拟手之间的1:1运动映射是可能的，甚至在输入装置的触摸传感器远小于显示器的显示表面时(例如触摸传感器和显示器之间的尺寸比率不是1:1)。在替代示例中，例如，可以相对于被感应的手以除1:1以外的比率移动/更新虚拟手，例如为了提高精度(比1:1低的比率)和/或提高速度(比1:1高的比率)。该映射还可以例如基于运动加速度和/或压力而随时间改变。在框640中，监视联合数据以获取视觉手势来转换感应会话的状态。例如，联合数据可以表示感应会话正在从运动状态转换为静止状态，转换为重定位状态，以及然后转换为终止状态(和/或其它状态)。在框650中，在感应会话期间感应重定位手势。例如，联合数据可以表示被感应的手抬离输入装置(例如触摸传感器表示没有接触，和/或非接触传感器表示被感应的手已经移动到输入装置的视场和/或交互空间之外)。在重定位阶段期间，当相对于输入装置重定位被感应的手时，保持虚拟手在显示器上的绝对位置。例如，所显示的虚拟手被保持在其位置上。在重定位手势期间，还可以更新虚拟手，以跟踪被感应的手的方位和/或手/手指定位。在框660中，终止感应会话，并且从显示器中移除虚拟手。例如，联合数据可以表示被感应的手已经保持不动达一段时间和/或已经从输入装置的视场和/或交互空间移除。在示例中，通过增加虚拟手的透明度来使其逐渐地消失，移除虚拟手。

Claims (13)

1.一种计算系统，包括：
显示器；
输入装置，包括用于提供触摸数据的至少一个触摸传感器和用于提供非接触数据的至少一个非接触传感器，其中所述至少一个非接触传感器的视场指向离开所述至少一个触摸传感器；以及
控制器，用于将所述触摸数据和所述非接触数据联合为联合数据，以基于所述联合数据生成要在所述显示器上显示的虚拟手，所述虚拟手包括为所述虚拟手生成的未被感应的特征。
2.如权利要求1所述的计算系统，其中所述控制器从所述至少一个非接触传感器获取用于所述虚拟手的3D信息。
3.如权利要求1所述的计算系统，其中所述控制器生成相对于所述显示器从头顶视线的要在所述显示器上显示的所述虚拟手的背面特征，其中所述背面特征是基于相对于所述至少一个触摸传感器从非头顶视线感应的联合数据来生成的。
4.如权利要求1所述的计算系统，其中所述至少一个触摸传感器包括小于所述显示器的触摸响应表面，并且所述控制器在所述虚拟手的被显示的运动和由所述输入装置感应的感应运动之间提供1:1的绝对映射。
5.如权利要求1所述的计算系统，其中所述至少一个非接触传感器是主动式的，所述至少一个非接触传感器包括至少一个传感器发射器和至少一个传感器接收器。
6.一种用于生成虚拟手的方法，包括：
接收来自输入装置的至少一个触摸传感器的触摸数据，以及来自所述输入装置的至少一个非接触传感器的非接触数据，其中所述至少一个非接触传感器的视场指向离开所述至少一个触摸传感器；
基于包括所述触摸数据和所述非接触数据的联合数据，生成所述虚拟手；并且
显示包括为所述虚拟手生成的未被感应的特征的所述虚拟手。
7.如权利要求6所述的方法，进一步包括：响应于发起感应会话，在显示器上的初始位置显示所述虚拟手，其中所述初始位置基于相对于所述输入装置缩放由所述联合数据表示的感应位置。
8.如权利要求6所述的方法，进一步包括：在感应会话期间，基于通过由所述输入装置感应到的所述联合数据表示的无缩放绝对1:1运动转换，更新所述虚拟手的位置。
9.如权利要求6所述的方法，进一步包括：在感应会话期间感应重定位手势，并且基于表示在所述感应会话的重定位阶段期间被感应的手正相对于所述输入装置重定位的所述联合数据，发起所述重定位阶段，所述重定位阶段与保持所述虚拟手在显示器上的绝对位置关联。
10.如权利要求6所述的方法，进一步包括基于以下至少之一终止会话并且从显示器中移除所述虚拟手：i)所述联合数据中无改变的持续时间以及ii)表示被感应的手从所述输入装置的交互空间中移除的所述联合数据。
11.如权利要求6所述的方法，进一步包括：监视所述联合数据以获取视觉手势来转换会话的状态，包括以下至少之一：i)对象进入所述输入装置的交互空间、ii)对象离开所述交互空间以及iii)对象在所述交互空间内保持基本上不动达一段时间。
12.如权利要求6所述的方法，进一步包括：调整所述虚拟手的尺寸和颜色，以与由所述输入装置感应的相应联合数据匹配。
13.如权利要求6所述的方法，进一步包括：基于所述联合数据，得出所述虚拟手的虚拟手指的方位和位置。
CN201280072875.1A 2012-06-30 2012-06-30 基于联合数据的虚拟手 Expired - Fee Related CN104272218B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/US2012/045148 WO2014003796A1 (en) 2012-06-30 2012-06-30 Virtual hand based on combined data

Publications (2)

Publication Number Publication Date
CN104272218A CN104272218A (zh) 2015-01-07
CN104272218B true CN104272218B (zh) 2017-03-08

Family

ID=49783718

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201280072875.1A Expired - Fee Related CN104272218B (zh) 2012-06-30 2012-06-30 基于联合数据的虚拟手

Country Status (6)

Country Link
US (1) US10048779B2 (zh)
CN (1) CN104272218B (zh)
DE (1) DE112012006199T5 (zh)
GB (1) GB2515436B (zh)
TW (1) TWI492146B (zh)
WO (1) WO2014003796A1 (zh)

Families Citing this family (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6018509B2 (ja) * 2013-01-16 2016-11-02 アズビル株式会社 情報表示装置、方法、およびプログラム
US11221706B2 (en) 2013-09-27 2022-01-11 Sensel, Inc. Tactile touch sensor system and method
JP6396478B2 (ja) 2013-09-27 2018-09-26 センセル インコーポレイテッドＳｅｎｓｅｌ，Ｉｎｃ． タッチセンサ検出システム及び方法
US10055027B2 (en) 2014-02-05 2018-08-21 Inuitive Ltd Multiple modal processing system and method for natural user interface applications
TW201541362A (zh) * 2014-02-19 2015-11-01 Nailsnaps Inc 產生客製化手指甲藝術之系統與方法
US9921739B2 (en) * 2014-03-03 2018-03-20 Microchip Technology Incorporated System and method for gesture control
TWI502481B (zh) * 2014-03-05 2015-10-01 Acer Inc 電子裝置以及使用者介面控制方法
TWI499938B (zh) * 2014-04-11 2015-09-11 Quanta Comp Inc 觸控系統
CN104407692B (zh) * 2014-09-30 2018-09-07 深圳市亿思达科技集团有限公司 基于超声波的全息图像交互式显示方法、控制方法及系统
US10296359B2 (en) * 2015-02-25 2019-05-21 Bae Systems Plc Interactive system control apparatus and method
CN106406784A (zh) * 2015-07-27 2017-02-15 宏碁股份有限公司 影像输出装置
EP3329484A4 (en) * 2015-07-29 2019-06-05 Sensel Inc. SYSTEMS AND METHODS FOR HANDLING A VIRTUAL ENVIRONMENT
EP3332314B1 (en) * 2015-08-04 2024-04-10 Google LLC Input via context sensitive collisions of hands with objects in virtual reality
EP3380031A4 (en) 2015-11-27 2018-11-21 NZ Technologies Inc. Method and system for interacting with medical information
WO2017107001A1 (en) * 2015-12-21 2017-06-29 Intel Corporation Apparatus and method for pattern-driven page table shadowing for graphics virtualization
US11188143B2 (en) * 2016-01-04 2021-11-30 Microsoft Technology Licensing, Llc Three-dimensional object tracking to augment display area
US10088947B2 (en) 2016-03-25 2018-10-02 Sensel Inc. System and method for detecting and characterizing force inputs on a surface
US10852913B2 (en) * 2016-06-21 2020-12-01 Samsung Electronics Co., Ltd. Remote hover touch system and method
CN106302676B (zh) * 2016-08-05 2019-11-29 南京仁光电子科技有限公司 大屏幕智能交互系统
WO2018071004A1 (en) * 2016-10-11 2018-04-19 Hewlett-Packard Development Company, L.P. Visual cue system
US10289300B2 (en) * 2016-12-28 2019-05-14 Amazon Technologies, Inc. Feedback animation for touch-based interactions
US10922743B1 (en) 2017-01-04 2021-02-16 Amazon Technologies, Inc. Adaptive performance of actions associated with custom user interface controls
KR102471422B1 (ko) 2017-02-17 2022-11-30 엔제트 테크놀러지스 인크. 외과수술 환경에서의 비접촉 제어를 위한 방법 및 시스템
US10782793B2 (en) 2017-08-10 2020-09-22 Google Llc Context-sensitive hand interaction
JP6972173B2 (ja) * 2017-12-04 2021-11-24 三菱電機株式会社 近接検知装置および近接検知方法
WO2020112561A1 (en) 2018-11-30 2020-06-04 Magic Leap, Inc. Multi-modal hand location and orientation for avatar movement
US20220122335A1 (en) * 2019-03-21 2022-04-21 Hewlett-Packard Development Company, L.P. Scaling and rendering virtual hand
US20230266832A1 (en) * 2020-08-26 2023-08-24 Hewlett-Packard Development Company, L.P. Touch pen sensor
CN114721576A (zh) * 2020-12-18 2022-07-08 华为技术有限公司 手指触摸操作显示方法及装置
US20230136028A1 (en) * 2021-11-03 2023-05-04 Jin Alexander Yu Ergonomic eyes-off-hand multi-touch input
NL2030860B1 (en) * 2022-02-09 2023-08-15 Microsoft Technology Licensing Llc Stylus movement translation switching

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7088343B2 (en) * 2001-04-30 2006-08-08 Lenovo (Singapore) Pte., Ltd. Edge touchpad input device
CN101901051A (zh) * 2009-05-26 2010-12-01 美国智能科技有限公司 基于区别的输入对象的数据输入方法及装置
CN102334086A (zh) * 2009-01-26 2012-01-25 泽罗技术(2009)有限公司 用于监测物体行为的装置和方法
US8194036B1 (en) * 2011-06-29 2012-06-05 Google Inc. Systems and methods for controlling a cursor on a display using a trackpad input device

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0554492B1 (en) * 1992-02-07 1995-08-09 International Business Machines Corporation Method and device for optical input of commands or data
US6433774B1 (en) * 1998-12-04 2002-08-13 Intel Corporation Virtualization of interactive computer input
US7042442B1 (en) * 2000-06-27 2006-05-09 International Business Machines Corporation Virtual invisible keyboard
US8120625B2 (en) * 2000-07-17 2012-02-21 Microsoft Corporation Method and apparatus using multiple sensors in a device with a display
US7969409B2 (en) 2004-02-18 2011-06-28 Rafal Jan Krepec Camera assisted pen tablet
US9760214B2 (en) * 2005-02-23 2017-09-12 Zienon, Llc Method and apparatus for data entry input
US7810050B2 (en) * 2005-03-28 2010-10-05 Panasonic Corporation User interface system
US8018579B1 (en) * 2005-10-21 2011-09-13 Apple Inc. Three-dimensional imaging and display system
CN101496033B (zh) * 2006-03-14 2012-03-21 普莱姆森斯有限公司 利用散斑图案的三维传感
TWI333624B (en) 2006-09-27 2010-11-21 Chia Hoang Lee A virtual input device and the input method thereof
US8970501B2 (en) * 2007-01-03 2015-03-03 Apple Inc. Proximity and multi-touch sensor detection and demodulation
KR101352994B1 (ko) * 2007-12-10 2014-01-21 삼성전자 주식회사 적응형 온 스크린 키보드 제공 장치 및 그 제공 방법
US20100053151A1 (en) * 2008-09-02 2010-03-04 Samsung Electronics Co., Ltd In-line mediation for manipulating three-dimensional content on a display device
US8228345B2 (en) * 2008-09-24 2012-07-24 International Business Machines Corporation Hand image feedback method and system
US8140970B2 (en) * 2009-02-23 2012-03-20 International Business Machines Corporation System and method for semi-transparent display of hands over a keyboard in real-time
US8717417B2 (en) * 2009-04-16 2014-05-06 Primesense Ltd. Three-dimensional mapping and imaging
US8760391B2 (en) * 2009-05-22 2014-06-24 Robert W. Hawkins Input cueing emersion system and method
US8860693B2 (en) * 2009-07-08 2014-10-14 Apple Inc. Image processing for camera based motion tracking
TW201104529A (en) 2009-07-22 2011-02-01 Elan Microelectronics Corp Touch device, control method and control unit for multi-touch environment
KR101708696B1 (ko) * 2010-09-15 2017-02-21 엘지전자 주식회사 휴대 단말기 및 그 동작 제어방법
US20120117514A1 (en) * 2010-11-04 2012-05-10 Microsoft Corporation Three-Dimensional User Interaction
US20120169671A1 (en) * 2011-01-03 2012-07-05 Primax Electronics Ltd. Multi-touch input apparatus and its interface method using data fusion of a single touch sensor pad and an imaging sensor
JP5966535B2 (ja) * 2012-04-05 2016-08-10 ソニー株式会社 情報処理装置、プログラム及び情報処理方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7088343B2 (en) * 2001-04-30 2006-08-08 Lenovo (Singapore) Pte., Ltd. Edge touchpad input device
CN102334086A (zh) * 2009-01-26 2012-01-25 泽罗技术(2009)有限公司 用于监测物体行为的装置和方法
CN101901051A (zh) * 2009-05-26 2010-12-01 美国智能科技有限公司 基于区别的输入对象的数据输入方法及装置
US8194036B1 (en) * 2011-06-29 2012-06-05 Google Inc. Systems and methods for controlling a cursor on a display using a trackpad input device

Also Published As

Publication number Publication date
WO2014003796A1 (en) 2014-01-03
US20150084866A1 (en) 2015-03-26
GB2515436B (en) 2020-09-02
GB201418417D0 (en) 2014-12-03
TWI492146B (zh) 2015-07-11
CN104272218A (zh) 2015-01-07
DE112012006199T5 (de) 2014-12-24
TW201405414A (zh) 2014-02-01
GB2515436A (en) 2014-12-24
US10048779B2 (en) 2018-08-14

Similar Documents

Publication Publication Date Title
CN104272218B (zh) 基于联合数据的虚拟手
US11360558B2 (en) Computer systems with finger devices
US20220164032A1 (en) Enhanced Virtual Touchpad
US11182685B2 (en) Interactions with virtual objects for machine control
US10901518B2 (en) User-defined virtual interaction space and manipulation of virtual cameras in the interaction space
US20200356238A1 (en) Virtual Interactions for Machine Control
CN110476142B (zh) 显示虚拟内容的计算设备、方法和头戴式显示器设备
US9911240B2 (en) Systems and method of interacting with a virtual object
US20170100664A1 (en) External user interface for head worn computing
CN117032519A (zh) 用于与三维环境进行交互的设备、方法和图形用户界面
WO2017015093A1 (en) External user interface for head worn computing
CN109074153A (zh) 一种输入装置及图像显示系统
EP2558924B1 (en) Apparatus, method and computer program for user input using a camera
CN111240465B (zh) 具有用于采样对象属性的手指设备的计算机系统
CN105829948B (zh) 可佩戴显示输入系统
JP2020077365A (ja) 画像表示システム、オペレーティングシステムおよび画像表示システムの制御方法
AU2015252151B2 (en) Enhanced virtual touchpad and touchscreen
Nguyen 3DTouch: Towards a Wearable 3D Input Device for 3D Applications
GB2526386A (en) Selection system

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20170308

Termination date: 20190630