CN112578983A - 手指取向触摸检测 - Google Patents

手指取向触摸检测 Download PDF

Info

Publication number
CN112578983A
CN112578983A CN202011036081.2A CN202011036081A CN112578983A CN 112578983 A CN112578983 A CN 112578983A CN 202011036081 A CN202011036081 A CN 202011036081A CN 112578983 A CN112578983 A CN 112578983A
Authority
CN
China
Prior art keywords
finger
touch
target
target surface
computer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011036081.2A
Other languages
English (en)
Inventor
王乐晶
M·梅罗恩
林志昡
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Apple Inc
Original Assignee
Apple Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Apple Inc filed Critical Apple Inc
Publication of CN112578983A publication Critical patent/CN112578983A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/107—Static hand or arm
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/107—Static hand or arm
    • G06V40/113—Recognition of static hand signs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/038—Indexing scheme relating to G06F3/038
    • G06F2203/0381—Multimodal input, i.e. interface arrangements enabling the user to issue commands by simultaneous use of input devices of different nature, e.g. voice plus gesture on digitizer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/193—Preprocessing; Feature extraction

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Optics & Photonics (AREA)
  • General Health & Medical Sciences (AREA)
  • Social Psychology (AREA)
  • Psychiatry (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本公开涉及手指取向触摸检测。本发明公开了触摸检测包括获取手指和目标表面的图像数据，以及确定图像数据中指尖在其上与目标表面接触的触摸区域。确定手指在图像数据中的指向，并且基于触摸区域和指向估计目标表面上的目标区域，其中触摸区域包括目标表面的从触摸区域沿指向的方向延伸的一部分。

Description

手指取向触摸检测
背景技术
本公开整体涉及触摸检测领域，并且更具体地涉及基于手指取向的触摸检测。
当今的电子设备为用户提供了与周围世界交互的许多方式。例如，用户可使用虚拟或物理键盘、鼠标、轨迹球、操纵杆、触摸屏等与电子设备进行交互。用户经常与其设备上的数字信息进行交互的一种方式是通过触摸屏界面。触摸屏界面允许用户使用手指、触笔或其他对象与显示表面进行交互。触摸传感器识别所触摸的区域并向用户提供响应。
随着混合现实环境的增加，用户通常通过附加方式提供输入，以便使虚拟对象能够与真实对象进行交互。例如，用户可触摸真实对象以便以混合现实方式与真实对象进行交互。然而，真实对象通常不包括传统上用于检测来自用户的触摸的触摸传感器。尽管相机可用于视觉触摸检测，但通常用户可在注册他们的意图时与触摸屏而不是与平面以不同的方式交互。
发明内容
在一个实施方案中，描述了一种触摸检测的方法。该方法可包括获取手指和目标表面的图像数据，以及确定图像数据中指尖在其上与目标表面接触的触摸区域。确定手指在图像数据中的指向，并且基于触摸区域和手指方向估计目标表面上的目标区域，其中目标表面上的目标区域包括目标表面的基于触摸区域和指向的一部分。
在另一个实施方案中，该方法可以体现在计算机可执行程序代码中并存储在非暂态存储设备中。在另一个实施方案中，该方法可在电子设备中实现。
附图说明
图1以框图形式示出了根据一个或多个实施方案的简化系统图。
图2示出了根据一个或多个实施方案的用于确定触摸检测的示例性系统设置。
图3示出了根据一个或多个实施方案的示例性目标表面和触摸对象。
图4以流程图形式示出了根据一个或多个实施方案的用于使用手指取向检测触摸的示例性技术。
图5以流程图形式示出了根据一个或多个实施方案的用于基于检测到的触摸触发事件的示例性技术。
图6以流程图形式示出了根据一个或多个实施方案的用于利用注视方向检测触摸的示例性技术。
图7以框图形式示出了根据一个或多个实施方案的简化多功能设备。
具体实施方式
本公开涉及用于检测物理环境中的触摸的系统、方法和计算机可读介质。将任何物理表面增强为触摸屏将允许用户、计算系统和真实表面之间的直观交互。可通过将用户的意图结合到确定被触摸表面中来改善交互式体验。根据一个或多个实施方案，手指方向可用于确定用户的意图。例如，用户手指指向的方向指示用户将触摸真实表面的位置。此外，根据一个或多个实施方案，用户可能不会用他或她的手指遮挡表面上的目标区域(即，被触摸表面的用户想要注意的部分)。提出了一种可提供用户友好的触摸体验的触摸检测方法。
以下说明描述了一种触摸检测方法，该方法可以提供用户友好且直观的触摸检测体验。在一个实施方案中，基于包括手指和目标表面的深度图像来确定触摸状态。在一个或多个实施方案中，深度图像可由深度相机捕获，或者可从其他类型的图像诸如RGB图像获取。可以在深度图像中确定指尖位置和手指方向。此外，可相对于公共坐标系诸如全局坐标系、相机的坐标系、电子设备的坐标系等来确定指尖位置和手指方向。手指方向可通过确定深度图像中的手部位置并基于手部位置和指尖位置确定手指方向来确定。在一些实施方案中，手指的方向可以是3D空间中的矢量，例如源自手指上的指关节。可从图像中识别目标表面，并且可基于所确定的手指方向和指尖位置来识别深度图像中的目标区域。此外，可确定目标区域的几何特性(诸如姿态)。
一旦确定了手指位置和方向，就可以基于指尖位置确定深度图像中的指尖区域。可基于所估计的几何特性来处理指尖区域的深度信息。在一个或多个实施方案中，指尖区域可包括从指尖沿着手指指向的方向(诸如手指方向)延伸的区域。触摸状态可基于指尖区域的经处理的深度信息来确定。触摸状态可基于目标表面上的预期触摸区域来确定。在一个或多个实施方案中，目标区域可在2D图像坐标系中与手指方向相交。
在一个或多个实施方案中，触摸区域可包括数字信息，并且检测到的触摸可基于相关联的数字信息来触发事件。在一个或多个实施方案中，可例如使用头戴式设备来确定与手指相关联的用户的注视方向。目标区域的位置可进一步基于注视方向以及手指方向。
在以下描述中，为了解释的目的，阐述了很多具体细节以便提供对所公开构思的彻底理解。作为本说明书的一部分，本公开的一些附图以框图形式表示结构和设备，以避免模糊所公开实施方案的新颖方面。在该上下文中，应当理解，对没有相关联标识符(例如，100)的编号绘图元素的引用是指具有标识符(例如，100a和100b)的绘图元素的所有实例。另外，作为本说明书的一部分，本公开的一些附图可以流程图的形式提供。任何特定流程图中的框可以特定顺序呈现。然而，应当理解，任何流程图的特定流程仅用于举例说明一个实施方案。在其他实施方案中，可删除流程图中描绘的任何各种组件，或者可以不同的顺序执行组件，或甚至同时执行组件。此外，其他实施方案可包括未被示为流程图的一部分的附加步骤。本公开中使用的语言主要是出于可读性和指导目的而选择的，并且可未选择它来描绘或限制所公开的主题。在本公开中提到“一个实施方案”或“实施方案”意指包括在至少一个实施方案中的结合该实施方案所述的特定特征、结构或特性，并且多次提到“一个实施方案”或“实施方案”不应被理解为必然地全部参考相同或不同的实施方案。
应当理解，在任何实际具体实施的开发中(如在任何开发项目中)，必须要作出许多决策以实现开发者的特定目标(如，符合与系统和商务相关的约束)，并且这些目标将在不同具体实施之间变化。还应当理解，此类开发工作可能是复杂且费时的，但尽管如此，对于受益于本公开的图像捕获的那些普通技术人员而言，这仍然是他们的日常工作。
出于本公开的目的，术语“摄像头系统”指的是一个或多个镜头组件以及一个或多个传感器元件和用于捕获图像的其他电路。出于本公开的目的，“相机”可包括不止一个相机系统，诸如立体相机系统、多相机系统，或能够感测所捕获场景的深度的相机系统。
物理环境是指人们在没有电子系统帮助的情况下能够感测和/或交互的物理世界。物理环境诸如物理公园包括物理物品，诸如物理树木、物理建筑物和物理人。人们能够诸如通过视觉、触觉、听觉、味觉和嗅觉来直接感测物理环境和/或与物理环境交互。
相反，计算机生成现实(CGR)环境是指人们经由电子系统感测和/或交互的完全或部分模拟的环境。在CGR中，跟踪人的物理运动的一个子集或其表示，并且作为响应，以符合至少一个物理定律的方式调节在CGR环境中模拟的一个或多个虚拟对象的一个或多个特征。例如，CGR系统可以检测人的头部转动，并且作为响应，以与此类视图和声音在物理环境中变化的方式类似的方式调节呈现给人的图形内容和声场。在一些情况下(例如，出于可达性原因)，对CGR环境中虚拟对象的特征的调节可以响应于物理运动的表示(例如，声音命令)来进行。
人可以利用其感官中的任一者来感测CGR对象和/或与CGR对象交互，包括视觉、听觉、触觉、味觉和嗅觉。例如，人可以感测音频对象和/或与音频对象交互，该音频对象创建3D或空间音频环境，该3D或空间音频环境提供3D空间中点音频源的感知。又如，音频对象可以使能音频透明度，该音频透明度在有或者没有计算机生成的音频的情况下选择性地引入来自物理环境的环境声音。在某些CGR环境中，人可以感测和/或只与音频对象交互。
CGR的示例包括虚拟现实和混合现实。虚拟现实(VR)环境是指被设计成对于一个或多个感官完全基于计算机生成的感官输入的模拟环境。VR环境包括人可以感测和/或交互的多个虚拟对象。例如，树木、建筑物和代表人的化身的计算机生成的图像是虚拟对象的示例。人可以通过在计算机生成的环境内人的存在的模拟、和/或通过在计算机生成的环境内人的物理运动的一个子组的模拟来感测和/或与VR环境中的虚拟对象交互。
与被设计成完全基于计算机生成的感官输入的VR环境相比，混合现实(MR)环境是指被设计成除了包括计算机生成的感官输入(例如，虚拟对象)之外还引入来自物理环境的感官输入或其表示的模拟环境。在虚拟连续体上，混合现实环境是完全物理环境作为一端和虚拟现实环境作为另一端之间的任何状况，但不包括这两端。
在一些MR环境中，计算机生成的感官输入可以对来自物理环境的感官输入的变化进行响应。另外，用于呈现MR环境的一些电子系统可以跟踪相对于物理环境的位置和/或取向，以使虚拟对象能够与真实对象(即，来自物理环境的物理物品或其表示)交互。例如，系统可以导致运动使得虚拟树木相对于物理地面看起来是静止的。
混合现实的示例包括增强现实和增强虚拟。增强现实(AR)环境是指其中一个或多个虚拟对象叠加在物理环境或其表示之上的模拟环境。例如，用于呈现AR环境的电子系统可具有透明或半透明显示器，人可以透过该显示器直接查看物理环境。该系统可以被配置成在透明或半透明显示器上呈现虚拟对象，使得人利用该系统感知叠加在物理环境之上的虚拟对象。另选地，系统可以具有不透明显示器和一个或多个成像传感器，成像传感器捕获物理环境的图像或视频，这些图像或视频是物理环境的表示。系统将图像或视频与虚拟对象组合，并在不透明显示器上呈现组合物。人利用系统经由物理环境的图像或视频而间接地查看物理环境，并且感知叠加在物理环境之上的虚拟对象。如本文所用，在不透明显示器上显示的物理环境的视频被称为“透传视频”，意味着系统使用一个或多个图像传感器捕获物理环境的图像，并且在不透明显示器上呈现AR环境时使用那些图像。进一步另选地，系统可以具有投影系统，该投影系统将虚拟对象投射到物理环境中，例如作为全息图或者在物理表面上，使得人利用该系统感知叠加在物理环境之上的虚拟对象。
增强现实环境也是指其中物理环境的表示被计算机生成的感官信息进行转换的模拟环境。例如，在提供透传视频中，系统可以对一个或多个传感器图像进行转换以施加与成像传感器所捕获的视角不同的选择视角(例如，视点)。又如，物理环境的表示可以通过图形地修改(例如，放大)其部分而进行转换，使得经修改部分可以是原始捕获图像的代表性的但不是真实的版本。再如，物理环境的表示可以通过以图形方式消除其部分或将其部分进行模糊处理而进行转换。
增强虚拟(AV)环境是指其中虚拟或计算机生成的环境结合来自物理环境的一个或多个感官输入的模拟环境。感官输入可以是物理环境的一个或多个特性的表示。例如，AV公园可以具有虚拟树木和虚拟建筑物，但人的脸部是从对物理人拍摄的图像逼真再现的。又如，虚拟对象可以采用一个或多个成像传感器所成像的物理物品的形状或颜色。再如，虚拟对象可以采用符合太阳在物理环境中的位置的阴影。
参见图1，其示出了根据本公开的一个或多个实施方案的电子设备100的简化框图。电子设备100可为多功能设备的一部分，该多功能设备诸如电话、平板电脑、个人数字助理、便携式音乐/视频播放器、可穿戴设备、基站、膝上型计算机、台式计算机、网络设备或有能力捕获图像数据的任何其他电子设备。图1以框图形式示出了能够使用视觉装置提供触摸检测的系统的系统图的整体视图。尽管未示出，但电子设备100可连接到能够跨网络、有线连接、蓝牙或其他短程连接等提供类似或附加功能的附加设备。因此，本文相对于图1所述的各种部件和功能可另选地分布在可跨网络通信地耦接的多个设备上。
电子设备100可包括一个或多个处理器，诸如处理单元(CPU)120。处理器120可为片上系统诸如存在于移动设备中的那些片上系统，并且可包括一个或多个专用图形处理单元(GPU)。另外，处理器120可包括相同或不同类型的多个处理器。电子设备100还可包括存储器130。存储器130可包括一个或多个不同类型的存储器，其可用于结合处理器120执行设备功能。例如，存储器130可包括高速缓存、ROM、RAM或能够存储计算机可读代码的任何种类的暂态或非暂态计算机可读存储介质。存储器130可存储用于由处理器120执行的各种编程模块，包括触摸模块135。电子设备100还可包括存储装置140。存储装置140可包括一个或多个非暂态介质，包括例如磁盘(固定盘、软盘和可移除盘)和磁带、光学介质(诸如CD-ROM和数字视频光盘(DVD))、以及半导体存储器设备(诸如电可编程只读存储器(EPROM)和电可擦除可编程只读存储器(EEPROM))。存储装置140可包括模型存储区145，该模型存储区145可包括触摸对象诸如用户手指的模型。应当理解，根据一个或多个实施方案，触摸模块135和模型存储区145可存储或托管在与电子设备100的不同位置中。此外，在一个或多个实施方案中，触摸模块135和模型存储区145可存储在另选或附加位置中，例如存储在网络存储装置中。
在一个或多个实施方案中，电子设备100可包括用于基于视觉的触摸检测的其他部件，诸如一个或多个相机105和/或其他传感器诸如深度传感器110。在一个或多个实施方案中，一个或多个相机105中的每个相机可为传统RGB相机、深度相机等。另外，相机105可包括立体或其他多相机系统、飞行时间相机系统等，所述系统捕获可根据其确定场景的深度信息的图像。
在一个或多个实施方案中，电子设备100可允许用户与CGR环境进行交互。有许多不同类型的电子系统使人能够感测和/或与各种CGR环境交互。示例包括头戴式系统、基于投影的系统、平视显示器(HUD)、集成有显示能力的车辆挡风玻璃、集成有显示能力的窗户、被形成为被设计用于放置在人眼睛上的透镜的显示器(例如，类似于隐形眼镜)、耳机/听筒、扬声器阵列、输入系统(例如，具有或没有触觉反馈的可穿戴或手持控制器)、智能电话、平板电脑、和台式/膝上型计算机。头戴式系统可以具有一个或多个扬声器和集成的不透明显示器。另选地，头戴式系统可以被配置成接受外部不透明显示器(例如，智能电话)。头戴式系统可以结合用于捕获物理环境的图像或视频的一个或多个成像传感器、和/或用于捕获物理环境的音频的一个或多个麦克风。头戴式系统可以具有透明或半透明显示器，而不是不透明显示器。透明或半透明显示器可以具有媒介，代表图像的光通过该媒介被引导到人的眼睛。
在一个或多个实施方案中，触摸模块135可估计在触摸对象和目标表面之间是否已发生触摸(例如，已进行接触)。触摸模块135可以确定触摸对象(诸如手指或指尖)与目标表面之间已经发生接触的可能性。触摸模块135可例如通过获取触摸对象和目标表面的深度信息来确定触摸事件何时发生。例如，触摸模块135可以从相机105、深度传感器110或其他传感器接收或获取深度信息。此外，触摸模块135可以从其他数据诸如由一个或多个相机105捕获的立体图像等确定触摸信息(诸如通过生成深度图)。然后，触摸模块135可基于该信号确定触摸事件已发生的估计。在一个或多个实施方案中，该估计可基于多个因素，诸如通过利用手指或其他触摸对象的预先确定的模型(诸如来自模型存储区145)。在一个或多个实施方案中，触摸模块135还可估计触摸对象与目标表面之间的距离。根据一个或多个实施方案，原始触摸数据可基于例如触摸对象和目标表面之间的所确定的测量距离来指示触摸已发生的可能性。可例如基于用于确定触摸的预先确定或动态确定的阈值估计值来确定触摸已发生。此外，还可相对于目标表面来确定触摸状态。在一个或多个实施方案中，确定目标表面和触摸对象在公共坐标系中的姿态可允许触摸模块135确定触摸对象与目标表面和/或环境中的其他部件之间的相对距离。
根据一个或多个实施方案，触摸模块135不仅可确定触摸何时已发生，而且还可识别目标表面的触摸区域。在一个或多个实施方案中，触摸模块135可例如基于深度信息来确定图像中指尖或其他触摸对象在其上与目标表面接触的触摸区域。此外，触摸模块135可基于第一图像数据来确定场景中触摸对象的指向。例如，触摸模块135可确定3D射线，所述3D射线指示手指或触摸对象在与目标表面接触时所指向的3D方向。3D射线可例如基于从相机105和/或深度传感器110收集的深度信息来确定。手指的取向可用于确定手指的方向。然后，可基于触摸区域和手指取向来估计目标表面上的目标区域。因此，根据一个或多个实施方案，目标表面的目标区域可不同于目标表面的触摸区域。
虽然电子设备100被描述为包括上述众多部件，但在一个或多个实施方案中，各种部件和部件的功能可分布在多个设备上。具体地讲，在一个或多个实施方案中，触摸模块135和模型存储区145中的一者或多者可跨电子设备100或在可通信地耦接到电子设备100的附加系统中的其他地方不同地有争议。此外，在一个或多个实施方案中，电子设备100可由电子系统形式的多个设备构成。因此，尽管本文相对于特定系统描述了某些调用和传输，但各种调用和传输可基于不同分布的功能而被不同地引导。另外，可使用附加部件，也可组合任何部件的功能的某些组合。
图2示出了示例性系统设置200，其中可确定用于估计目标区域的技术。具体地讲，图2示出了用户265利用电子设备100来检测触摸对象(例如，用户的手指220)和目标表面235(例如，菜单)之间的触摸。应当理解，系统设置200主要作为示例描绘，以有助于理解本文所述的技术。
在一个或多个实施方案中，目标表面235可包括一个或多个感兴趣区域。出于所描绘的示例的目的，感兴趣区域可包括感兴趣区域240(例如，菜单的“Mixed Greens”部分)和感兴趣区域255(例如，菜单的“Steak Tip Salad”部分)。如图所示，触摸对象220可在触摸区域230处与目标表面235物理接触。然而，目标区域250可包括目标表面的与触摸区域230不同的部分。此外，在一个或多个实施方案中，目标区域250和触摸区域230可全部或部分地重叠或不重叠。
根据一个或多个实施方案，触摸区域230可基于由电子设备100的一个或多个相机105和/或其他深度传感器110捕获的深度信息来确定。根据一个或多个实施方案，电子设备100可捕获包括触摸对象220和目标表面235的图像和/或其他深度数据，并且可估计触摸对象220和目标表面235之间的距离。在一个或多个实施方案中，一个或多个相机105可捕获触摸对象220和目标表面235的图像数据。然后，电子设备100可利用触摸对象220的模型来确定触摸对象在3D空间中的位置。也就是说，通过利用触摸对象220的模型，电子设备可以确定指肚在空间中位于何处，即使指肚由于被手指的顶部和/或手的顶部遮挡而在图像数据中可能不可见。
根据一个或多个实施方案，触摸模块可利用所确定的触摸区域230来确定作为用户选择的主体的目标区域250。在一个或多个实施方案中，可利用触摸对象220的取向诸如手指取向来确定目标区域250。在一个或多个实施方案中，手指取向可至少部分地由指示手指的指向的定向3D射线225限定。例如，可基于在确定触摸时的手指取向来确定目标区域250。此外，在一个或多个实施方案中，可部分地基于触摸区域230来确定目标区域250。例如，可通过基于手指取向225调整触摸区域230来确定目标区域250。
通过利用从相机105和/或深度传感器110捕获的深度信息，电子设备不仅可确定触摸事件已发生在触摸对象220和目标表面235之间，而且可确定目标表面上的进行接触的位置。因此，模型存储区145可包括触摸对象220的模型，如示例性图示中所示，在触摸区域230处进行接触。根据一个或多个实施方案，触摸区域230可指示或可不指示目标表面235的用户正试图选择的特定部分。在所示的示例中，目标表面235包括具有各种菜单项的菜单，所述菜单项可被认为是目标表面上的感兴趣区域。那些菜单项包括如所描绘的MixedGreens沙拉和Steak Tip沙拉，在该示例中，用户可按如下方式与目标表面235接触：触摸区域230在255处与菜单的steak tip沙拉部分重叠。然而，根据场景示出了：即使在255处与菜单的stake to色拉部分进行接触，用户的手指220还是指向Mixed Greens沙拉240。根据一个或多个实施方案，用户可接触目标表面235的steak tips色拉区域255，同时旨在示出对目标表面235的Mixed Greens色拉区域240的兴趣。因此，目标区域250必须基于手指取向以及触摸区域来确定。
根据一个或多个实施方案，还可基于用户的注视方向来确定目标区域250。例如，注视矢量260可由电子设备100确定。例如，图像数据可由面向用户的相机捕获，其中可确定用户眼睛的方向。用户眼睛的方向可例如在与电子设备100相关联的坐标系或其中可利用手指取向225来确定注视矢量260的一些其他坐标系中来确定。在一个或多个实施方案中，注视方向可用于调整目标区域。例如，如果用户在与手指取向基本上类似的方向上观看，则目标区域可比在注视方向与手指取向相差得多的方向上的情况下更准确。如果注视方向260和手指取向225基本上不同(例如，如果注视的3D方向和手指取向的3D方向的差异满足预先确定的阈值)，则可沿注视260的方向调整目标区域。
图3示出了根据一个或多个实施方案的示例性目标表面和触摸对象。图3示出了上文相对于图2所述的环境的替代视图。具体地，图3示出了目标表面235和触摸对象220的视图。此外，图3描绘了触摸区域230和与感兴趣区域240重叠的目标区域250。
在一个或多个实施方案中，可基于触摸区域230和手指取向225来确定目标区域250。如上所述，可基于检测到触摸时的手指取向来确定目标区域。此外，根据一个或多个实施方案，可通过调整触摸区域230来确定目标区域250。即，目标区域250可被定义为触摸区域，并且然后基于附加因素诸如指向和注视方向来调整。
根据一个或多个实施方案，可基于手指取向225的方向来确定目标区域250。根据一个或多个实施方案，手指取向可基于穿过手指的一个或多个关节(诸如关节305和关节310)的3D方向矢量和/或手指220的指尖来确定。根据一个或多个实施方案，可基于3D射线225穿过目标表面235的空间点来确定目标区域250。根据一个或多个实施方案，可估计表面的几何特性以确定表面相对于电子设备100的深度，以便确定手指方向矢量与目标表面235相交的空间点。
如图所示，变得清楚的是，即使触摸区域230与目标表面235的“Steak Tip Salad”部分重叠，旨在被选择的对象为“Mixed Greens”部分240。通过考虑手指取向以及检测到的触摸，目标区域250提供对目标表面235的所选部分的更准确的估计。根据一个或多个实施方案，所选部分(例如，“Mixed Greens”240)可因此与数字信息相关联，在检测到对特定感兴趣区域(例如，“Mixed Greens”240)的选择时，可基于与感兴趣区域相关联的数字信息来触发事件。
图4示出了根据一个或多个实施方案的用于估计触摸对象与目标表面之间的触摸的目标区域的示例性技术的流程图形式。出于解释的目的，将在图1的上下文中描述以下步骤。然而，应当理解，各种动作可由替代部件来执行。此外，以不同的顺序执行各种动作。另外，可同时执行一些动作，并且可不需要一些动作，或可添加其他动作。
流程图开始于405处，其中电子设备100通过相机105从第一视角捕获环境中的触摸对象和目标表面的图像数据。例如，相机105可以触摸对象和目标表面所定位的方式面向环境。此外，在一个或多个实施方案中，可捕获附加数据，诸如深度信息等。
流程图在410处继续，其中触摸模块135确定图像中的指尖区域。如上所述，电子设备100可访问触摸对象(诸如手指)的模型。模型可以是通用手指或特定手指的模型，并且可以与图像数据和/或深度数据结合使用以确定指尖在环境中的位置。
在415处，触摸模块135基于所确定的指尖区域来估计表面的几何特性。根据一个或多个实施方案，可确定表面的深度，手指可在该深度上触摸或悬停。在一个或多个实施方案中，可以例如使用表面的模型或与图像数据和/或其他深度数据相关联地捕获的表面的深度信息来确定表面的深度信息。几何特性可包括空间点，在该空间点处，相对于电子设备100，目标表面位于触摸对象后面。
流程图在420处继续，其中触摸模块135基于几何特性来处理指尖区域的表面深度信息。根据一个或多个实施方案，触摸对象的姿态可例如相对于目标表面、相对于电子设备等来确定。此外，在一个或多个实施方案中，触摸对象的姿态可例如基于电子设备的坐标系、现实世界坐标系、目标表面的坐标系等来确定。
在425处，触摸模块135基于深度信息确定触摸状态。根据一个或多个实施方案，触摸模块135确定图像中指尖在其上与表面接触的触摸区域。确定指尖与表面接触的位置可涉及确定手指的姿态。在一个或多个实施方案中，可以例如使用表面的模型或与图像数据和/或其他深度数据相关联地捕获的表面的深度信息来确定表面的深度信息。因此，触摸对象和目标表面之间的间隙距离基于与触摸对象所位于的目标表面相比指尖或其他触摸对象的确定深度来计算。在一个或多个实施方案中，间隙距离可用于估计触摸的可能性，或者以其他方式确定是否已经发生触摸。
流程图在430处继续，其中触摸模块135确定图像中指尖在其上与表面接触的触摸区域。在一个或多个实施方案中，触摸区域可被确定为当在425处确定已经发生触摸时指尖悬停/触摸的目标表面的部分。
流程图在435处继续，其中触摸模块135基于图像数据确定场景中触摸对象的指向。如上所述，指向可被确定为对应于手指的指向的3D定向射线。在一个或多个实施方案中，可通过识别手指中的关节和/或指尖(射线根据其确定)来确定指向(例如，手指取向)。
在425处，基于触摸区域和指向来估计目标区域。可以各种方式来确定目标区域。例如，可基于在确定触摸时的手指取向220来确定目标区域250。此外，在一个或多个实施方案中，可部分地基于触摸区域230来确定目标区域250。例如，可通过基于手指取向225调整触摸区域230来确定目标区域250。目标区域可被确定为目标表面的在手指取向的方向上偏离触摸区域的一部分。又如，目标区域可为目标表面的与手指的指向相关联的3D定向射线与目标表面相交的一部分，或者可为目标表面的在手指取向225的方向上偏离触摸区域230的一部分。
图5以流程图形式示出了根据一个或多个实施方案的用于基于检测到的触摸触发事件的示例性技术。出于解释的目的，将在图1的上下文中描述以下步骤。然而，应当理解，各种动作可由替代部件来执行。此外，以不同的顺序执行各种动作。另外，可同时执行一些动作，并且可不需要一些动作，或可添加其他动作。
流程图从505处开始，其中确定是否已检测到触摸。可检测到触摸，例如，如上文相对于图4所述。如果未检测到触摸，则流程图继续至510，并且触摸模块135继续监测触摸对象和目标表面的触摸。
返回505，如果确定检测到触摸，则流程图在515处继续，并且触摸模块135检测目标区域处的感兴趣对象。在一个或多个实施方案中，可例如如上文相对于图4所述来确定目标区域。当检测到目标区域时，可确定感兴趣对象。感兴趣对象可为例如目标表面的特定部分或物理对象。
流程图在520处继续，其中触摸模块135获取与感兴趣对象相关联的数字信息。在一个或多个实施方案中，数字信息可以是与目标区域处的视觉项目相关的信息。又如，目标区域可包括与附加内容相关联的指示，诸如QR码或其他指示。在一些实施方案中，可基于该指示来获取数字信息。
流程图在525处结束，其中触摸模块135基于数字信息触发事件。又如，数字信息可以是用于激活应用程序、访问基于网络的内容等的计算机代码。又如，可基于数字信息生成并传输通知。返回菜单示例，如果用户指向特定菜单项，则可以向餐厅传输用户希望购买所选择的菜单项的消息。
图6以流程图形式示出了根据一个或多个实施方案的用于利用注视方向检测触摸的示例性技术。更具体地讲，图6描绘了根据一个或多个实施方案的用于基于触摸区域和指向来估计表面上的目标区域的详细技术。根据一个或多个实施方案，可例如通过考虑利用所述技术的用户的注视方向来确定目标区域的更准确的确定。例如，在一个或多个实施方案中，如果触摸区域在用户的注视上方(例如，用户正在伸手以与目标表面接触)，则目标区域可被调整为比目标表面更远离用户。又如，如果触摸区域在用户的眼睛下方，则目标区域可被调整为相对于用户更靠近触摸区域。
流程图从605处开始，其中触摸模块135确定用户在特定坐标系中的注视方向。在一个或多个实施方案中，注视方向可在检测设备的坐标系中、在与目标表面相关的坐标系中、在通用坐标系中等来确定。注视方向可例如基于由电子设备100的相机105捕获的图像数据来确定。例如，相机105可包括前置相机和后置相机，其中一个相机捕获目标表面和触摸对象的图像，而另一个相机可捕获用户眼睛的图像以确定用户正在观看的方向。在一个或多个实施方案中，附加或另选的数据可用于例如使用深度传感器110或其他传感器来确定用户的注视方向。
流程图在610处继续，其中触摸模块135将注视方向与来自605的坐标系中的指向进行比较。在一个或多个实施方案中，注视方向和指向可在不同的坐标系中确定，并且触摸模块135可将多个坐标系转换成单个公共坐标系。
在615处，确定注视方向和指向是否基本上类似。注视方向和指向可为基本上类似的，例如，如果针对指向确定的3D射线基本上类似于针对注视方向确定的射线。例如，如果注视射线和指向射线之间的差值满足预先确定的阈值，则注视方向和指向可基本上类似。
如果在615处确定注视方向和指向基本上类似，则流程图在620处继续，并且触摸模块135将目标区域调整为相对于用户更靠近触摸区域。在一个或多个实施方案中，可基于用户的触摸方向来确定针对目标区域的初始确定。此处，目标区域可被调整为比触摸区域更靠近用户。如上所述，如果目标区域在用户的眼睛上方，则目标区域可能比目标区域的默认确定更远离用户。
返回615，如果确定注视方向和指向不是基本上类似的，则流程图在625处继续，其中触摸模块135将目标区域调整为相对于用户远离触摸区域。即，目标区域可被调整为比触摸区域更远离用户。根据一个或多个实施方案，例如，如果目标区域低于用户的视平线，则注视方向和指向可不在基本上类似的方向上。
根据一个或多个实施方案，除此之外或另选地，可确定用户的注视方向。例如，如果注视方向向下(例如，在用户头部下方的方向上)，则目标区域可被调整为相对于用户更靠近触摸区域。注视方向可例如基于真实世界坐标系来确定。相反，如果注视方向被确定为向上(例如，在用户头部上方的方向上)，则目标区域可被调整为相对于用户更远离触摸区域。
现在参考图7，其示出了根据一个实施方案的例示性多功能电子设备700的简化功能框图。电子设备100中的每一者可为多功能电子设备，或者可具有本文所述的多功能电子设备的一部分或全部所描述的部件。多功能电子设备700可包括处理器705、显示器710、用户界面715、图形硬件720、设备传感器725(例如，接近传感器/环境光传感器、加速计和/或陀螺仪)、麦克风730、一个或多个音频编解码器735、一个或多个扬声器740、通信电路745、数字图像捕获电路750(例如，包括摄像头系统)、一个或多个视频编解码器755(例如，支持数字图像捕获单元)、存储器760、存储设备765和通信总线770。多功能电子设备700可为例如数字摄像头或个人电子设备，诸如个人数字助理(PDA)、个人音乐播放器、移动电话或平板电脑。
处理器705可执行实施或控制由设备700执行的许多功能的操作所必需的指令(例如，诸如本文所公开的图像的生成和/或处理)。处理器705可例如驱动显示器710并可从用户界面715接收用户输入。用户界面715可允许用户与设备700交互。例如，用户界面715可采取多种形式，诸如按钮、小键盘、转盘、点击式触摸转盘、键盘、显示屏和/或触摸屏。处理器705也可例如为片上系统，诸如存在于移动设备中的那些，并且包括专用图形处理单元(GPU)。处理器705可基于精简指令集计算机(RISC)或复杂指令集计算机(CISC)架构或任何其他合适的架构，并且可包括一个或多个处理内核。图形硬件720可为用于处理图形和/或辅助处理器705以处理图形信息的专用计算硬件。在一个实施方案中，图形硬件720可包括可编程GPU。
图像捕获电路750可包括两个(或更多个)镜头组件780A和780B，其中每个镜头组件可具有单独的焦距。例如，相对于镜头组件780B的焦距，镜头组件780A可具有短焦距。每个镜头组件可具有单独的相关联传感器元件790。另选地，两个或更多个镜头组件可共用共同的传感器元件。图像捕获电路750可捕获静态图像和/或视频图像。通过以下设备可至少部分地处理来自图像捕获电路750的输出：一个或多个视频编解码器755和/或处理器705和/或图形硬件720、和/或结合在电路765内的专用图像处理单元或管道。由此捕获的图像可存储在存储器760和/或存储装置765中。
传感器和摄像头电路系统750可捕获可至少部分地由以下设备根据本公开处理的静态图像和视频图像：一个或多个视频编解码器755和/或处理器705和/或图形硬件720和/或结合在电路750内的专用图像处理单元。由此捕获的图像可存储在存储器760和/或存储装置765中。存储器760可包括由处理器705和图形硬件720用于执行设备功能的一个或多个不同类型的介质。例如，存储器760可包括存储器高速缓存、只读存储器(ROM)和/或随机存取存储器(RAM)。存储装置765可存储介质(例如音频文件、图像文件和视频文件)、计算机程序指令或软件、偏好信息、设备配置文件信息以及任何其他合适的数据。存储装置765可包括一个或多个非暂态计算机可读存储介质，该非暂态计算机可读存储介质包括例如磁盘(固定硬盘、软盘和可移动磁盘)和磁带、光学介质(诸如CD-ROM和数字视频光盘(DVD))以及半导体存储设备(诸如电可编程只读存储器(EPROM)和电可擦除可编程只读存储器(EEPROM))。存储器760和存储装置765可用于有形地保持被组织成一个或多个模块并以任何所需的计算机编程语言编写的计算机程序指令或代码。在由例如处理器705执行时，此类计算机程序代码可实现本文所述的方法中的一种或多种。
本公开所公开的主题的范围应该参考所附权利要求书以及权利要求书的等同物的全部范围来确定。在所附权利要求书中，术语“包括(including)”和“其中(in which)”被用作相应术语“包括(comprising)”和“其中(wherein)”的通俗英语等同形式。

Claims (20)

1.一种非暂态计算机可读介质，所述非暂态计算机可读介质包括能够由一个或多个实施方案执行以进行以下操作的计算机可读代码：
获取手指和目标表面的图像数据；
确定所述图像数据中所述手指的指尖在其上与所述目标表面接触的触摸区域；
确定所述手指在所述图像数据中的指向；以及
基于所述触摸区域和所述指向估计所述目标表面上的目标区域，其中所述目标区域包括所述目标表面的从所述触摸区域沿所述指向的方向延伸的一部分。
2.根据权利要求1所述的非暂态计算机可读介质，还包括用于进行以下操作的计算机可读代码：
基于所估计的目标区域来估计所述目标表面的几何特性；
基于所述几何特性处理所述目标区域的表面深度信息；以及
基于所述目标表面深度信息确定触摸状态。
3.根据权利要求2所述的非暂态计算机可读介质，还包括用于进行以下操作的计算机可读代码：
提供与所述目标区域相关联的数字信息；以及
基于所述相关联的数字信息和所述触摸状态来触发事件。
4.根据权利要求1所述的非暂态计算机可读介质，其中用于确定所述手指的所述指向的所述计算机可读代码还包括用于进行以下操作的计算机可读代码：
检测所述图像数据中所述手指的第一关节和第二关节，
其中根据所述第一关节和所述第二关节中的每一者的空间点来进一步确定所述指向。
5.根据权利要求1所述的非暂态计算机可读介质，其中用于确定所述手指的所述指向的所述计算机可读代码还包括用于进行以下操作的计算机可读代码：
检测所述图像数据中的手部位置，
其中根据所述手部位置来进一步确定所述指向。
6.根据权利要求1所述的非暂态计算机可读介质，还包括用于进行以下操作的计算机可读代码：
检测与所述手指相关联的用户的注视矢量；以及
根据注视方向调整所述目标区域。
7.根据权利要求1所述的非暂态计算机可读介质，其中所述图像数据包括由头戴式设备获取的深度图像。
8.一种用于检测触摸的系统，包括：
一个或多个处理器；和
一种或多种计算机可读介质，所述一种或多种计算机可读介质包括能够由所述一个或多个处理器执行以进行以下操作的计算机可读代码：
获取手指和目标表面的图像数据；
确定所述图像数据中所述手指的指尖在其上与所述目标表面接触的触摸区域；
确定所述手指在所述图像数据中的指向；以及
基于所述触摸区域和所述指向估计所述目标表面上的目标区域，其中所述目标区域包括所述目标表面的从所述触摸区域沿所述指向的方向延伸的一部分。
9.根据权利要求8所述的系统，还包括用于进行以下操作的计算机可读代码：
基于所估计的目标区域来估计所述目标表面的几何特性；
基于所述几何特性处理所述目标区域的表面深度信息；以及
基于所述目标表面深度信息确定触摸状态。
10.根据权利要求9所述的系统，还包括用于进行以下操作的计算机可读代码：
提供与所述目标区域相关联的数字信息；以及
基于所述相关联的数字信息和所述触摸状态来触发事件。
11.根据权利要求8所述的系统，其中用于确定所述手指的所述指向的所述计算机可读代码还包括用于进行以下操作的计算机可读代码：
检测所述图像数据中所述手指的第一关节和第二关节，
其中根据所述第一关节和所述第二关节中的每一者的空间点来进一步确定所述指向。
12.根据权利要求8所述的系统，其中用于确定所述手指的所述指向的所述计算机可读代码还包括用于进行以下操作的计算机可读代码：
检测所述图像数据中的手部位置，
其中根据所述手部位置来进一步确定所述指向。
13.根据权利要求8所述的系统，还包括用于进行以下操作的计算机可读代码：
检测与所述手指相关联的用户的注视矢量；以及
根据注视方向调整所述目标区域。
14.一种用于检测触摸的方法，包括：
获取手指和目标表面的图像数据；
确定所述图像数据中所述手指的指尖在其上与所述目标表面接触的触摸区域；
确定所述手指在所述图像数据中的指向；以及
基于所述触摸区域和所述指向估计所述目标表面上的目标区域，其中所述目标区域包括所述目标表面的从所述触摸区域沿所述指向的方向延伸的一部分。
15.根据权利要求14所述的方法，还包括：
基于所估计的目标区域来估计所述目标表面的几何特性；
基于所述几何特性处理所述目标区域的表面深度信息；以及
基于所述目标表面深度信息确定触摸状态。
16.根据权利要求15所述的方法，还包括：
提供与所述目标区域相关联的数字信息；以及
基于所述相关联的数字信息和所述触摸状态来触发事件。
17.根据权利要求14所述的方法，其中确定所述手指的所述指向还包括：
检测所述图像数据中所述手指的第一关节和第二关节，
其中根据所述第一关节和所述第二关节中的每一者的空间点来进一步确定所述指向。
18.根据权利要求14所述的方法，其中确定所述手指的所述指向还包括：
检测所述图像数据中的手部位置，
其中根据所述手部位置来进一步确定所述指向。
19.根据权利要求14所述的方法，其中确定所述手指的所述指向还包括：
检测与所述手指相关联的用户的注视矢量；以及
根据注视方向调整所述目标区域。
20.根据权利要求14所述的方法，其中所述图像数据包括由头戴式设备获取的深度图像。
CN202011036081.2A 2019-09-27 2020-09-27 手指取向触摸检测 Pending CN112578983A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201962907421P 2019-09-27 2019-09-27
US62/907,421 2019-09-27

Publications (1)

Publication Number Publication Date
CN112578983A true CN112578983A (zh) 2021-03-30

Family

ID=75119795

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011036081.2A Pending CN112578983A (zh) 2019-09-27 2020-09-27 手指取向触摸检测

Country Status (2)

Country Link
US (2) US11934584B2 (zh)
CN (1) CN112578983A (zh)

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060244735A1 (en) * 2005-04-29 2006-11-02 Microsoft Corporation System and method for fine cursor positioning using a low resolution imaging touch screen
US20120235987A1 (en) * 2011-03-17 2012-09-20 Chien-Ming Lin Multi dimensional touch display device and touch input method thereof
US20150062010A1 (en) * 2013-09-05 2015-03-05 Utechzone Co., Ltd. Pointing-direction detecting device and its method, program and computer readable-medium
US20160054859A1 (en) * 2014-08-25 2016-02-25 Canon Kabushiki Kaisha User interface apparatus and control method
US20160132121A1 (en) * 2014-11-10 2016-05-12 Fujitsu Limited Input device and detection method
CN105593787A (zh) * 2013-06-27 2016-05-18 视力移动科技公司 用于与数字设备交互的直接指向检测的系统和方法
CN105745606A (zh) * 2013-09-24 2016-07-06 惠普发展公司，有限责任合伙企业 基于图像识别触摸敏感表面的目标触摸区域
KR20160142207A (ko) * 2015-06-02 2016-12-12 삼성전자주식회사 전자 장치 및 이의 제어 방법
CN106937531A (zh) * 2014-06-14 2017-07-07 奇跃公司 用于产生虚拟和增强现实的方法和系统
US20170277367A1 (en) * 2016-03-28 2017-09-28 Microsoft Technology Licensing, Llc Applications for multi-touch input detection
US9868449B1 (en) * 2014-05-30 2018-01-16 Leap Motion, Inc. Recognizing in-air gestures of a control object to control a vehicular control system
US20180158249A1 (en) * 2016-03-02 2018-06-07 Meta Company System and method for simulating user interaction with virtual objects in an interactive space
CN109669542A (zh) * 2018-12-21 2019-04-23 浙江大学 一种基于回溯指点交互历史的射线投射三维目标选取技术

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2749996B1 (en) * 2012-12-28 2018-05-30 Sony Mobile Communications Inc. Electronic device and method for improving accuracy of location determination of a user input on a touch panel
WO2015120913A1 (en) 2014-02-17 2015-08-20 Metaio Gmbh Method and device for detecting a touch between a first object and a second object
RU2014108820A (ru) 2014-03-06 2015-09-20 ЭлЭсАй Корпорейшн Процессор изображений, содержащий систему распознавания жестов с функциональными возможностями обнаружения и отслеживания пальцев
US10599225B2 (en) 2016-09-29 2020-03-24 Intel Corporation Projection-based user interface

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060244735A1 (en) * 2005-04-29 2006-11-02 Microsoft Corporation System and method for fine cursor positioning using a low resolution imaging touch screen
US20120235987A1 (en) * 2011-03-17 2012-09-20 Chien-Ming Lin Multi dimensional touch display device and touch input method thereof
CN105593787A (zh) * 2013-06-27 2016-05-18 视力移动科技公司 用于与数字设备交互的直接指向检测的系统和方法
US20150062010A1 (en) * 2013-09-05 2015-03-05 Utechzone Co., Ltd. Pointing-direction detecting device and its method, program and computer readable-medium
CN105745606A (zh) * 2013-09-24 2016-07-06 惠普发展公司，有限责任合伙企业 基于图像识别触摸敏感表面的目标触摸区域
US9868449B1 (en) * 2014-05-30 2018-01-16 Leap Motion, Inc. Recognizing in-air gestures of a control object to control a vehicular control system
CN106937531A (zh) * 2014-06-14 2017-07-07 奇跃公司 用于产生虚拟和增强现实的方法和系统
US20160054859A1 (en) * 2014-08-25 2016-02-25 Canon Kabushiki Kaisha User interface apparatus and control method
US20160132121A1 (en) * 2014-11-10 2016-05-12 Fujitsu Limited Input device and detection method
KR20160142207A (ko) * 2015-06-02 2016-12-12 삼성전자주식회사 전자 장치 및 이의 제어 방법
US20180158249A1 (en) * 2016-03-02 2018-06-07 Meta Company System and method for simulating user interaction with virtual objects in an interactive space
US20170277367A1 (en) * 2016-03-28 2017-09-28 Microsoft Technology Licensing, Llc Applications for multi-touch input detection
CN109669542A (zh) * 2018-12-21 2019-04-23 浙江大学 一种基于回溯指点交互历史的射线投射三维目标选取技术

Also Published As

Publication number Publication date
US20240168566A1 (en) 2024-05-23
US20210096652A1 (en) 2021-04-01
US11934584B2 (en) 2024-03-19

Similar Documents

Publication Publication Date Title
CN110968187B (zh) 由外围设备启用的远程触摸检测
JP2017531222A (ja) ホログラフィックオブジェクトのためのスマート透明度
CN110968190B (zh) 用于触摸检测的imu
US11768576B2 (en) Displaying representations of environments
CN112041788A (zh) 使用眼睛注视来选择文本输入字段
US11620790B2 (en) Generating a 3D model of a fingertip for visual touch detection
JP7384951B2 (ja) 遮られた物理的オブジェクトの位置を示すこと
US20210216146A1 (en) Positioning a user-controlled spatial selector based on extremity tracking information and eye tracking information
US11782548B1 (en) Speed adapted touch detection
US11270409B1 (en) Variable-granularity based image warping
US11934584B2 (en) Finger orientation touch detection
US11281337B1 (en) Mirror accessory for camera based touch detection
US11783444B1 (en) Warping an input image based on depth and offset information
US20230065077A1 (en) Displaying a Rendered Volumetric Representation According to Different Display Modes
US11983810B1 (en) Projection based hair rendering
US11641460B1 (en) Generating a volumetric representation of a capture region
US11715271B2 (en) XR preferred movement along planes
US20230370578A1 (en) Generating and Displaying Content based on Respective Positions of Individuals
US11237671B1 (en) Temporal filter touch detection
CN112562088A (zh) 基于用户移动来呈现环境

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination