CN110968248A - 生成用于视觉触摸检测的指尖的3d模型 - Google Patents

生成用于视觉触摸检测的指尖的3d模型 Download PDF

Info

Publication number
CN110968248A
CN110968248A CN201910927658.XA CN201910927658A CN110968248A CN 110968248 A CN110968248 A CN 110968248A CN 201910927658 A CN201910927658 A CN 201910927658A CN 110968248 A CN110968248 A CN 110968248A
Authority
CN
China
Prior art keywords
touch
touch object
image
model
computer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910927658.XA
Other languages
English (en)
Other versions
CN110968248B (zh
Inventor
R·塞西
王乐晶
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Apple Inc
Original Assignee
Apple Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Apple Inc filed Critical Apple Inc
Publication of CN110968248A publication Critical patent/CN110968248A/zh
Application granted granted Critical
Publication of CN110968248B publication Critical patent/CN110968248B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/0007—Image acquisition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G06T15/205—Image-based rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G06V20/653—Three-dimensional objects by matching three-dimensional models, e.g. conformal mapping of Riemann surfaces
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04802—3D-info-object: information is displayed on the internal or external surface of a three dimensional manipulable object, e.g. on the faces of a cube that can be rotated by the user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/04—Indexing scheme for image data processing or generation, in general involving 3D image data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/12—Acquisition of 3D measurements of objects

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Geometry (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本公开涉及生成用于视觉触摸检测的指尖的3D模型。生成3D模型可包括基于来自第一设备上的触摸传感器的传感器数据来确定触摸事件，其中触摸事件包括由触摸对象在第一设备上的触摸。生成3D模型还可包括响应于触摸事件，由第一设备的第一相机获得触摸对象的第一图像，并且从第二设备获得触摸对象的第二图像，其中触摸对象的第一图像捕获触摸对象的第一视图，并且其中触摸对象的第二图像捕获触摸对象的第二视图。触摸对象的模型基于第一图像和第二图像而生成。

Description

生成用于视觉触摸检测的指尖的3D模型
背景技术
本公开整体涉及触摸检测领域，并且更具体地涉及生成用于视觉触摸检测的指尖的3D模型的领域。
当今的电子设备为用户提供了与周围世界交互的许多方式。例如，用户可使用虚拟或物理键盘、鼠标、轨迹球、操纵杆、触摸屏等与电子设备进行交互。用户经常与其设备上的数字信息进行交互的一种方式是通过触摸屏界面。触摸屏界面允许用户使用手指、触笔或其他对象与显示表面进行交互。触摸传感器识别所触摸的区域并向用户提供响应。
随着混合现实环境的增加，用户通常通过附加方式提供输入，以便使虚拟对象能够与真实对象进行交互。例如，用户可触摸真实对象以便以混合现实方式与真实对象进行交互。然而，真实对象通常不包括传统上用于检测来自用户的触摸的触摸传感器。
发明内容
在一个实施方案中，提供了一种用于生成3D模型的方法。该方法包括基于来自第一设备上的触摸传感器的传感器数据来确定触摸事件，其中该触摸事件包括由触摸对象在第一设备上的触摸。该方法还包括响应于触摸事件，由第一设备的第一相机获得触摸对象的第一图像，并且从第二设备获得触摸对象的第二图像，其中触摸对象的第一图像捕获触摸对象的第一视图，并且其中触摸对象的第二图像捕获触摸对象的第二视图。该方法还包括使得触摸对象的模型基于第一图像和第二图像而生成。
在另一个实施方案中，该方法可以体现在计算机可执行程序代码中并存储在非暂态存储设备中。在另一个实施方案中，该方法可在电子设备中实现。
附图说明
图1以框图形式示出了根据一个或多个实施方案的简化系统图。
图2以流程图形式示出了根据一个或多个实施方案的用于生成触摸对象的3D模型的示例性技术。
图3以流程图形式示出了根据一个或多个实施方案的利用指尖的3D模型进行视觉触摸检测的示例性技术。
图4以流程图形式示出了根据一个或多个实施方案的利用指尖的3D模型进行手势识别的示例性技术。
图5示出了根据一个或多个实施方案的示出用于生成指尖的3D模型的系统设置的示例性系统图。
图6以框图形式示出了根据一个或多个实施方案的简化多功能设备。
具体实施方式
本公开涉及用于生成用于视觉触摸检测的指尖的3D模型的系统、方法和计算机可读介质。一般来讲，公开了利用两个电子设备从不同视角捕获手指和/或手部的图像以生成3D模型的技术。
根据一个或多个实施方案，在具有触摸显示器或其他触摸界面的第一设备(诸如平板电脑或移动电话)上检测到触摸事件。响应于触摸事件，触摸对象的图像可由第一设备上的前置相机来捕获，并且触摸对象的第二图像可由第二设备上的第二相机从不同于第一图像的视角来捕获。可基于这两个图像来生成或修改触摸对象的3D模型。在一个或多个实施方案中，3D模型可用于基于视觉的触摸检测。另外，在一个或多个实施方案中，指尖的3D模型可用于帮助手势检测或手部跟踪。
在以下描述中，为了解释的目的，阐述了很多具体细节以便提供对所公开构思的彻底理解。作为本说明书的一部分，本公开的一些附图以框图形式表示结构和设备，以避免模糊所公开实施方案的新颖方面。在该上下文中，应当理解，对没有相关联标识符(例如，100)的编号绘图元素的引用是指具有标识符(例如，100a和100b)的绘图元素的所有实例。另外，作为本说明书的一部分，本公开的一些附图可以流程图的形式提供。任何特定流程图中的框可以特定顺序呈现。然而，应当理解，任何流程图的特定流程仅用于举例说明一个实施方案。在其他实施方案中，可删除流程图中描绘的任何各种组件，或者可以不同的顺序执行组件，或甚至同时执行组件。此外，其他实施方案可包括未被示为流程图的一部分的附加步骤。本公开中使用的语言主要是出于可读性和指导目的而选择的，并且可未选择它来描绘或限制所公开的主题。在本公开中提到“一个实施方案”或“实施方案”意指包括在至少一个实施方案中的结合该实施方案所述的特定特征、结构或特性，并且多次提到“一个实施方案”或“实施方案”不应被理解为必然地全部参考相同的实施方案。
应当理解，在任何实际具体实施的开发中(如在任何开发项目中)，必须要作出许多决策以实现开发者的特定目标(如，符合与系统和商务相关的约束)，并且这些目标将在不同具体实施之间变化。还应当理解，此类开发工作可能是复杂且费时的，但尽管如此，对于受益于本公开的图像捕获的那些普通技术人员而言，这仍然是他们的日常工作。
出于本公开的目的，术语“相机”指的是一个或多个镜头组件以及一个或多个传感器元件和用于捕获图像的其他电路。出于本公开的目的，“相机”可包括多于一个相机系统，诸如立体相机系统、多相机系统、飞行时间相机系统，并且可包括能够感测所捕获场景的深度的相机系统。
物理环境是指人们在没有电子系统帮助的情况下能够感测和/或交互的物理世界。物理环境诸如物理公园包括物理物品，诸如物理树木、物理建筑物和物理人。人们能够诸如通过视觉、触觉、听觉、味觉和嗅觉来直接感测物理环境和/或与物理环境交互。
相反，计算机生成现实(CGR)环境是指人们经由电子系统感测和/或交互的完全或部分模拟的环境。在CGR中，跟踪人的物理运动的一个子组或其表示，并且作为响应，以符合至少一个物理定律的方式调节在CGR环境中模拟的一个或多个虚拟对象的一个或多个特征。例如，CGR系统可以检测人的头部转动，并且作为响应，以与此类视图和声音在物理环境中变化的方式类似的方式调节呈现给人的图形内容和声场。在一些情况下(例如，出于可达性原因)，对CGR环境中虚拟对象的特征的调节可以响应于物理运动的表示(例如，声音命令)来进行。
人可以利用其感官中的任一者来感测CGR对象和/或与CGR对象交互，包括视觉、听觉、触觉、味觉和嗅觉。例如，人可以感测音频对象和/或与音频对象交互，该音频对象创建3D或空间音频环境，该3D或空间音频环境提供3D空间中点音频源的感知。又如，音频对象可以使能音频透明度，该音频透明度在有或者没有计算机生成的音频的情况下选择性地引入来自物理环境的环境声音。在某些CGR环境中，人可以感测和/或只与音频对象交互。
CGR的示例包括虚拟现实和混合现实。虚拟现实(VR)环境是指被设计成对于一个或多个感官完全基于计算机生成的感官输入的模拟环境。VR环境包括人可以感测和/或交互的多个虚拟对象。例如，树木、建筑物和代表人的化身的计算机生成的图像是虚拟对象的示例。人可以通过在计算机生成的环境内人的存在的模拟、和/或通过在计算机生成的环境内人的物理运动的一个子组的模拟来感测和/或与VR环境中的虚拟对象交互。
与被设计成完全基于计算机生成的感官输入的VR环境相比，混合现实(MR)环境是指被设计成除了包括计算机生成的感官输入(例如，虚拟对象)之外还引入来自物理环境的感官输入或其表示的模拟环境。在虚拟连续体上，混合现实环境是完全物理环境作为一端和虚拟现实环境作为另一端之间的任何状况，但不包括这两端。
在一些MR环境中，计算机生成的感官输入可以对来自物理环境的感官输入的变化进行响应。另外，用于呈现MR环境的一些电子系统可以跟踪相对于物理环境的位置和/或取向，以使虚拟对象能够与真实对象(即，来自物理环境的物理物品或其表示)交互。例如，系统可以导致运动使得虚拟树木相对于物理地面看起来是静止的。
混合现实的示例包括增强现实和增强虚拟。增强现实(AR)环境是指其中一个或多个虚拟对象叠加在物理环境或其表示之上的模拟环境。例如，用于呈现AR环境的电子系统可具有透明或半透明显示器，人可以透过该显示器直接查看物理环境。该系统可以被配置成在透明或半透明显示器上呈现虚拟对象，使得人利用该系统感知叠加在物理环境之上的虚拟对象。另选地，系统可以具有不透明显示器和一个或多个成像传感器，成像传感器捕获物理环境的图像或视频，这些图像或视频是物理环境的表示。系统将图像或视频与虚拟对象组合，并在不透明显示器上呈现组合物。人利用系统经由物理环境的图像或视频而间接地查看物理环境，并且感知叠加在物理环境之上的虚拟对象。如本文所用，在不透明显示器上显示的物理环境的视频被称为“透传视频”，意味着系统使用一个或多个图像传感器捕获物理环境的图像，并且在不透明显示器上呈现AR环境时使用那些图像。进一步另选地，系统可以具有投影系统，该投影系统将虚拟对象投射到物理环境中，例如作为全息图或者在物理表面上，使得人利用该系统感知叠加在物理环境之上的虚拟对象。
增强现实环境也是指其中物理环境的表示被计算机生成的感官信息进行转换的模拟环境。例如，在提供透传视频中，系统可以对一个或多个传感器图像进行转换以施加与成像传感器所捕获的视角不同的选择视角(例如，视点)。又如，物理环境的表示可以通过图形地修改(例如，放大)其部分而进行转换，使得修改后的部分可以是原始捕获图像的代表性的但不是真实的版本。再如，物理环境的表示可以通过以图形方式消除或模糊其部分而进行转换。
增强虚拟(AV)环境是指其中虚拟或计算机生成的环境结合来自物理环境的一个或多个感官输入的模拟环境。感官输入可以是物理环境的一个或多个特征的表示。例如，AV公园可以具有虚拟树木和虚拟建筑物，但人的脸部是从对物理人拍摄的图像逼真再现的。又如，虚拟对象可以采用一个或多个成像传感器所成像的物理物品的形状或颜色。再如，虚拟对象可以采用符合太阳在物理环境中的位置的阴影。
参考图1，其示出了根据本公开的一个或多个实施方案的可通信地连接到第二电子设备150的电子设备100的简化框图。电子设备100可为多功能设备的一部分，诸如移动电话、平板电脑、个人数字助理、便携式音乐/视频播放器、可穿戴设备、基站、膝上型计算机、台式计算机、网络设备或任何其他电子设备。图1以框图形式示出了能够生成可用于视觉触摸检测的触摸对象的3D模型的系统图的总体视图。电子设备100可通过网络、有线连接、蓝牙或其他近程连接等连接到第二电子设备150。第二电子设备150可以是可穿戴设备并且可包括例如头部安装设备，该头部安装设备包括相机或其他传感器并且可与电子设备100通信。在一个或多个实施方案中，第二电子设备150可以不是可穿戴设备，并且可以是具有捕获指示物理环境中的深度信息的触摸图像的能力的电子设备并且与电子设备100通信。因此，第二电子设备150可以是具有图像捕获能力和可通信地耦接到电子设备100的任何种类的电子设备，诸如移动设备或其他计算机。
电子设备100可包括处理器，诸如中央处理单元(CPU)120。处理器120可以是片上系统诸如存在于移动设备中的那些片上系统，并且可包括一个或多个专用图形处理单元(GPU)。另外，处理器120可包括相同或不同类型的多个处理器。电子设备100还可包括存储器130。存储器130可包括一个或多个不同类型的存储器，其可用于结合处理器120执行设备功能。例如，存储器130可包括高速缓存、ROM、RAM或能够存储计算机可读代码的任何种类的暂态或非暂态计算机可读存储介质。存储器130可存储用于由处理器120执行的各种编程模块，包括建模模块135。电子设备100还可包括存储装置140。存储装置140可包括一个或多个非暂态计算机可读存储介质，该非暂态存储介质包括例如磁盘(固定硬盘、软盘和可移动磁盘)和磁带、光学介质(例如CD-ROM和数字视频光盘(DVD))以及半导体存储设备(例如电可编程只读存储器(EPROM)和电可擦除可编程只读存储器(EEPROM))。存储装置140可包括模型存储库145。
电子设备100还可包括一种或多种类型的传感器。如图所示，电子设备100可包括一个或多个相机105以及其他传感器，诸如可根据其确定场景的深度的深度传感器110。在一个或多个实施方案中，一个或多个相机105中的每个相机可为传统RGB相机或深度相机。另外，相机105可包括立体或其他多相机系统、飞行时间相机系统等，所述系统捕获可根据其确定场景的深度信息的图像。此外，深度传感器110可包括利用声波等来检测深度的超声或其他技术。电子设备100可包括触摸传感器115。触摸传感器115可检测用户何时与电子设备100进行交互，并且可以是任何种类的触敏传感器，诸如电容式传感器、表面声波传感器，电阻式传感器等。在一个或多个实施方案中，触摸传感器115可为显示器125的一部分，该显示器例如可为触摸屏。另外，显示器125可利用数字光投影、OLED、LED、uLED、硅基液晶、激光扫描光源或这些技术的任意组合。
第二电子设备150可为具有与相对于电子设备100所述的类似部件的电子设备。第二电子设备150可为任何类型的电子设备(例如，可穿戴的或非可穿戴的)，其包括一个或多个相机155或其他传感器，诸如可根据其确定场景的深度的深度传感器160。在一个或多个实施方案中，一个或多个相机155中的每个相机可为传统RGB相机或深度相机。另外，相机155可包括立体或其他多相机系统、飞行时间相机系统等，所述系统捕获可根据其确定场景的深度信息的图像。另外，深度传感器160可包括利用声波等来检测深度的超声或其他技术。第二电子设备150可包括包含能够由处理器(如CPU 180)执行的计算机可执行指令(诸如跟踪模块170)的存储器165。存储器165可包括高速缓存、ROM、RAM或能够存储计算机可读代码的任何种类的暂态或非暂态计算机可读存储介质。CPU 180可以是片上系统诸如存在于移动设备中的那些片上系统，并且可包括一个或多个专用图形处理单元(GPU)。另外，CPU120可包括相同或不同类型的多个处理器。跟踪模块170可获得触摸对象的3D模型，诸如模型存储库145中的那些3D模型，并且利用3D模型进行基于视觉的触摸检测。例如，跟踪模块170可在不使用触摸传感器115的情况下检测触摸对象在物理环境中的触摸(例如，与触摸传感器115不相关联的对象的触摸)。在一个或多个实施方案中，当手指的触摸部分(例如，触摸对象)从用于基于视觉的触摸检测的传感器的视角被遮挡时，可利用准确的3D模型进行基于视觉的触摸检测。另外，在一个或多个实施方案中，跟踪模块170可利用触摸对象的3D模型进行其他技术，诸如对象识别或手势跟踪。在一个或多个实施方案中，3D模型可以点云或3D网格表示的形式生成。在一个或多个实施方案中，可从任何视角或视点根据3D模型或3D网格表示生成针对模型的点云。触摸对象可以是例如用户的附属器官，诸如用户的手指或指尖。指尖可被视为手指的任何部分，诸如手指的指腹、手指的从指尖到第一指关节的一部分，手指的从指尖到第二指关节的一部分，等等。
第二电子设备150可允许用户与CGR环境交互。有许多不同类型的电子系统使人能够感测和/或与各种CGR环境交互。示例包括头戴式系统、基于投影的系统、平视显示器(HUD)、集成有显示能力的车辆挡风玻璃、集成有显示能力的窗户、被形成为被设计用于放置在人眼睛上的透镜的显示器(例如，类似于隐形眼镜)、耳机/听筒、扬声器阵列、输入系统(例如，具有或没有触觉反馈的可穿戴或手持控制器)、智能电话、平板电脑、和台式/膝上型计算机。头戴式系统可以具有一个或多个扬声器和集成的不透明显示器。另选地，头戴式系统可以被配置成接受外部不透明显示器(例如，智能电话)。头戴式系统可以结合用于捕获物理环境的图像或视频的一个或多个成像传感器、和/或用于捕获物理环境的音频的一个或多个麦克风。头戴式系统可以具有透明或半透明显示器，而不是不透明显示器。透明或半透明显示器可以具有媒介，代表图像的光通过该媒介被引导到人的眼睛。显示器175可利用数字光投影、OLED、LED、uLED、硅基液晶、激光扫描光源或这些技术的任意组合。媒介可以是光学波导、全息图媒介、光学组合器、光学反射器、或它们的任意组合。在一个实施方案中，透明或半透明显示器可被配置成选择性地变得不透明。基于投影的系统可以采用将图形图像投影到人的视网膜上的视网膜投影技术。投影系统也可以被配置成将虚拟对象投影到物理环境中，例如作为全息图或在物理表面上。
在一个或多个实施方案中，建模模块135可管理触摸对象的模型。例如，建模模块135可管理模型存储库145中的触摸对象(诸如手指)的模型。建模模块135可注册用于与物理环境进行交互的手指或其他触摸对象。在一个或多个实施方案中，用户可以多种方式发起对特定触摸对象的使用，诸如登录到与触摸对象相关联的用户帐户，或利用对象检测来确定特定触摸对象正在使用中。例如，用户可在相机(诸如电子设备100的相机105或第二电子设备150的相机155)前转动手指，使得建模模块135或第二电子设备150的跟踪模块170可开始使用基于特定识别手指的模型的建模技术。例如，特定识别手指的初始模型可从模型存储库145获得并用于本文所述的各种技术。
建模模块135可基于从电子设备100和第二电子设备150捕获的深度信息来生成触摸对象(例如，手指的尖端或末端)的模型。在一个或多个实施方案中，从电子设备100和/或第二电子设备150捕获的深度信息可用于修改可存储在模型存储库145中的特定触摸对象的预先存在的模型。根据一个或多个实施方案，已基于触摸图像或其他深度数据细化的触摸对象的3D模型然后可用于由电子设备100和/或第二电子设备150进行的更准确的基于视觉的触摸检测和其他跟踪。
虽然电子设备100被描述为包括上述众多部件，但在一个或多个实施方案中，各种部件可分布在多个设备上。具体地讲，在一个或多个实施方案中，跟踪模块170、建模模块135和模型存储库145中的一者或多者可不同地分布在电子设备100和第二电子设备150上。此外，各种部件和功能可分布在未描述的其他设备中，诸如可通信地连接到电子设备100和/或第二电子设备150的基站或附加计算设备。因此，尽管本文相对于所描绘的特定系统描述了某些调用和传输，但在一个或多个实施方案中，各种调用和传输可基于不同分布的功能而被不同地引导。此外，可使用附加部件，也可组合任何部件的功能的某些组合。
图2以流程图形式示出了用于在物理环境中生成触摸对象的3D模型的方法。出于解释的目的，将在图1的上下文中描述以下步骤。然而，应当理解，可由另选部件来执行各种动作。此外，可以不同的顺序执行各种动作。此外，可同时执行一些动作，并且可不需要一些动作，或可添加其他动作。
流程图在205处开始，在此电子设备100通过触摸传感器检测电子设备和触摸对象之间的触摸事件。在一个或多个实施方案中，触摸传感器可以是触摸显示器的一部分。可响应于由触摸传感器检测到的触摸来检测触摸事件。流程图在210处继续，在此电子设备100通过第一相机获取触摸对象的第一图像。在一个或多个实施方案中，第一图像可包括RGB图像和RGBD图像(例如，深度图像)等。此外，根据一个或多个实施方案，另选地或除了RGB图像之外，还可捕获深度信息。
在215处，电子设备100从第二电子设备150请求触摸对象的第二图像。根据一个或多个实施方案，电子设备可在触摸事件发生时发送对第二图像的请求。例如，发送请求可包括电子设备100向第二电子设备150发送触摸事件已发生的通知，使得触摸图像可由第二电子设备150获得。此外，在一个或多个实施方案中，通知可包括时间戳，电子设备100和/或第二电子设备150可通过该时间戳来确定应捕获深度或图像数据的时间。在一个或多个实施方案中，电子设备100和第二电子设备150可被校准，使得时间戳与两个设备上的一致时间相关。
流程图在220处继续，在此第二电子设备150获得由第二相机捕获的触摸对象的第二图像。在一个或多个实施方案中，获得第二图像可包括在触摸事件期间获得关于触摸对象的数据。在一个或多个实施方案中，数据可包括第二图像，诸如RGB图像、RGBD图像(例如，深度图像)等。此外，根据一个或多个实施方案，另选地或除了RGB图像之外，还可捕获深度信息。在225处，第二电子设备150将第二图像传输至电子设备。
流程图在230处继续，并且电子设备100使得触摸对象的3D模型基于第一图像和第二图像生成。根据一个或多个实施方案，电子设备100可例如通过建模模块135来生成3D模型。另选地，电子设备100可向另选的系统诸如基站或其他网络设备传输指令，以基于来自电子设备100和第二电子设备150的第一图像和第二图像和/或深度信息来生成模型。在一个或多个实施方案中，电子设备100可使得预先存在的3D模型诸如存储于模型存储库145中的模型基于来自电子设备100和第二电子设备150的第一图像、第二图像和/或深度信息来更新。电子设备100可将生成的或更新的模型保存到模型存储145。另选地或除此之外，电子设备100可使得生成的或更新的模型远程存储，诸如存储在网络存储装置中。
任选地，流程图在235处继续，并且电子设备100将3D模型传输到第二电子设备150。在一个或多个实施方案中，第二电子设备150可本地存储触摸对象的3D模型，或者可根据需要从模型存储库145中获得3D模型。然后，在240处，第二电子设备150可利用触摸对象的3D模型进行基于视觉的触摸检测。
根据一个或多个实施方案，来自电子设备100和第二电子设备150的图像可用于提供触摸对象(诸如指尖)的更准确的3D表示。在一个或多个实施方案中，指尖可为手指的靠近被触摸表面的一部分。生成的3D模型可包括例如手指的第一段(例如，从指尖到第一指关节)、手指的第一段和第二段(例如，从指尖到第二指关节)等。在一个或多个实施方案中，通过使用由从两个不同视点捕获的深度和/或图像信息生成的3D模型，可改进基于视觉的触摸检测。例如，当触摸对象的触摸部分从相机155的视场中被遮挡时，跟踪模块170可基于触摸对象的可见部分和3D模型更好地检测触摸。
现在参见图3，其示出了根据一个或多个实施方案的利用基于视觉的触摸检测的方法的流程图。在一个或多个实施方案中，利用例如在图2的230处生成的3D模型来进行各种动作。出于解释的目的，将在图1中所述的各种部件的上下文中描述以下步骤。然而，应当理解，可由另选部件来执行各种动作。此外，可以不同的顺序执行各种动作。此外，可同时执行一些动作，并且可不需要一些动作，或可添加其他动作。
流程图从305处开始，并且第二电子设备150监测触摸对象在物理环境中的位置。根据一个或多个实施方案，第二电子设备150可监测表面在物理环境中的位置。该流程图还包括在310处，第二电子设备150监测物理环境中的一个或多个物理表面。根据一个或多个实施方案，可在公共坐标系(诸如第二电子设备150的坐标系)中监测物理表面的位置和触摸对象的位置。根据一个或多个实施方案，第二电子设备150可使用环境的模型来确定物理环境的位置。
在315处，对触摸对象是否已与物理表面相交作出确定。在一个或多个实施方案中，触摸对象是否与物理表面相交可基于物理表面和触摸对象在物理环境中的相对位置来确定。例如，如果触摸点(例如，触摸对象的端部)被对准使得其与物理表面的平面邻接，则可检测到触摸事件。在315处，如果确定出触摸对象尚未与物理表面相交，则流程图返回到305并且第二电子设备150继续监测触摸对象在物理环境中的位置。
返回至315，如果确定出触摸对象已与物理表面相交，则流程图在320处继续，并且第二电子设备150根据所触摸的物理表面对用户作出响应。在一个或多个实施方案中，响应可由第二电子设备150例如呈现在显示器175上。如上所述，第二电子设备150可提供用于虚拟现实、增强现实和/或混合现实系统的界面。在一个或多个实施方案中，用户在物理环境中的物理触摸可引发虚拟响应，诸如虚拟信息的生成和/或显示。
现在参见图4，其示出了根据一个或多个实施方案的利用3D模型来执行手部跟踪功能的方法的流程图。出于解释的目的，将在图1中所述的各种部件的上下文中描述以下步骤。然而，应当理解，可由另选部件来执行各种动作。此外，可以不同的顺序执行各种动作。此外，可同时执行一些动作，并且可不需要一些动作，或可添加其他动作。
流程图从405处开始，在此电子设备100获得用户的手部的3D模型。根据一个或多个实施方案，模型存储库145可包括对应于用户的手部的手部模型。该手部模型可包括与手部的各种姿势对应的手部的3D模型。
流程图在410处继续，并且电子设备100基于第一图像和第二图像来更新手部的3D模型。例如，可从使得触摸对象与表面之间的触摸点被触摸对象遮挡的视角(例如，从用户的视点看，触摸表面的指尖可能被手部遮挡)获得深度图像。可基于来自触摸图像和/或深度数据的组合数据来生成或细化触摸对象的模型。关于手指的附加信息可用于更新或细化包括手指的手部的3D模型。在一个或多个实施方案中，可使用ICP(迭代最近点)算法、基于轮廓对准的算法或任何基于交互信息的算法来将手部模型或手指模型与手部或手指的图像配合以改进或启用手部跟踪或触摸检测。
在415处，电子设备100将更新的手部3D模型传输至第二电子设备。在一个或多个实施方案中，第二电子设备150可本地存储手部的3D模型，或者可根据需要从模型存储库145中获得手部的3D模型。流程图在420处继续，并且第二电子设备150基于更新的手部的3D模型来执行手部跟踪功能。
流程图在425处结束，在此第二电子设备150基于检测到的用户的手部的特定姿势来响应用户。在一个或多个实施方案中，用户可基于特定手势与混合现实环境进行交互。在一个或多个实施方案中，用户在物理环境中使用特定手势可引发虚拟响应，诸如虚拟信息的生成和/或显示。
现在参见图5，其示出了根据一个或多个实施方案的用于生成指尖的3D模型的示例性设置的系统图。图5示出了利用电子设备100的用户的指尖(例如，触摸对象)505，该电子设备包括前置相机系统510和深度传感器520。在一个或多个实施方案中，相机510和深度传感器520的视场525可包括触摸电子设备100的触摸对象505。
在一个或多个实施方案中，第二电子设备150还可包括相机系统530和深度传感器520。在一个或多个实施方案中，相机530和深度传感器520的视场540还可包括从与电子设备100的前置相机系统510和深度传感器520不同的视点来看的触摸电子设备100的触摸对象505。
现在参考图6，其示出了根据一个实施方案的例示性多功能设备600的简化功能框图。多功能电子设备600可包括处理器605、显示器610、用户界面615、图形硬件620、设备传感器625(例如，接近传感器/环境光传感器、加速计和/或陀螺仪)、麦克风630、音频编解码器635、扬声器640、通信电路645、数字图像捕获电路650(例如，包括相机系统)视频编解码器655(例如，支持数字图像捕获单元)、存储器660、存储设备665和通信总线670。多功能电子设备600可是例如数码相机或个人电子设备，例如个人数字助理(PDA)、个人音乐播放器、移动电话或平板电脑。
处理器605可执行执行或控制由设备600执行的许多功能的操作所必需的指令(例如，诸如本文所公开的图像的生成和/或处理)。处理器605可例如驱动显示器610并可从用户界面615接收用户输入。用户界面615可允许用户与设备600交互。例如，用户界面615可采取多种形式，诸如按钮、小键盘、转盘、点击式触摸转盘、键盘、显示屏和/或触摸屏。处理器605也可以是例如片上系统，诸如存在于移动设备中的那些片上系统并且包括专用图形处理单元(GPU)。处理器605可基于精简指令集计算机(RISC)架构或复杂指令集计算机(CISC)架构或任何其他合适的架构，并且可包括一个或多个处理内核。图形硬件620可以是用于处理图形和/或辅助处理器605以处理图形信息的专用计算硬件。在一个实施方案中，图形硬件620可包括可编程GPU。
图像捕获电路650可包括两个(或更多个)镜头组件680A和680B，其中每个镜头组件可具有单独的焦距。例如，相对于镜头组件680B的焦距，镜头组件680A可具有较短焦距。每个镜头组件可具有单独的相关联的传感器元件690。另选地，两个或更多个透镜组件可共用共同的传感器元件。图像捕获电路650可捕获静态图像和/或视频图像。通过以下设备至少部分地可处理来自图像捕获电路650的输出：一个或多个视频编解码器655和/或处理器605和/或图形硬件620、和/或结合在电路650内的专用图像处理单元或管道。这样捕获的图像可被存储在存储器660和/或存储装置665中。
传感器和相机电路系统650可捕获可至少部分地由以下设备根据本公开处理的静态图像和视频图像：视频编解码器655和/或处理器605和/或图形硬件620、和/或结合在电路650内的专用图像处理单元。这样捕获的图像可被存储在存储器660和/或存储装置665中。存储器660可包括由处理器605和图形硬件620使用的一个或多个不同类型的介质以执行设备功能。例如，存储器660可包括存储器高速缓存、只读存储器(ROM)、和/或随机存取存储器(RAM)。存储装置665可存储介质(例如音频文件、图像文件和视频文件)、计算机程序指令或软件、偏好信息、设备配置文件信息以及任何其他合适的数据。存储装置665可包括一个或多个非暂态存储介质，该非暂态存储介质包括例如磁盘(固定硬盘、软盘和可移动磁盘)和磁带、光学介质(例如CD-ROM和数字视频光盘(DVD))以及半导体存储设备(例如电可编程只读存储器(EPROM)和电可擦除可编程只读存储器(EEPROM))。存储器660和存储装置665可用于有形地保持被组织成一个或多个模块并以任何所需的计算机编程语言编写的计算机程序指令或代码。例如，在由处理器605执行时，此类计算机程序代码可实现本文所述的方法中的一种或多种。
根据一个或多个实施方案，基于相机的透明显示器可具有多种用途。例如，上述技术可用于图像稳定。即，用于使图像翘曲的翘曲功能也可用于稳定图像。在另一个实施方案中，基于相机的透明显示器可用于机器获知。例如，相机可捕获场景的图像并对场景和/或场景内的对象进行分类。在一个或多个实施方案中，通过跟踪用户眼睛正注视的对象，可识别应被分类的对象。
在一个或多个实施方案中，基于相机的透明显示器可用于在显示器上呈现虚拟信息，例如用于增强现实目的。例如，与特定位置相关联的数字信息可显示在通过显示器从特定视点感知的更准确的位置。例如，场景的图像可通过在经翘曲的图像中场景内的特定点处的附加文本或图像数据来增强。在一个或多个实施方案中，数字信息可与场景中的特定对象相关联。当对象落入经翘曲的图像内时(或者当该对象在显示器中可见时)，与该对象相关联的数字信息可与对象一起显示在经翘曲的图像中。在一个或多个实施方案中，在经翘曲的图像变化时，无论场景发生变化，还是由于视点或设备相对于场景的位置的变化而发生翘曲变化，数字信息也可变化。
本公开所公开的主题的范围应该参考所附权利要求书以及权利要求书的等同物的全部范围来确定。在所附权利要求书中，术语“包括(including)”和“其中(in which)”被用作相应术语“包括(comprising)”和“其中(wherein)”的通俗英语等同形式。

Claims (20)

1.一种计算机可读介质，包括能够由一个或多个处理器执行以进行下述操作的计算机可读代码：
基于来自第一设备上的触摸传感器的传感器数据来确定触摸事件，其中所述触摸事件包括由触摸对象在所述第一设备上的触摸；
响应于触摸事件：
通过所述第一设备的第一相机获得所述触摸对象的第一图像，以及
从第二设备获得所述触摸对象的第二图像，
其中所述触摸对象的所述第一图像捕获所述触摸对象的第一视图，并且其中所述触摸对象的所述第二图像捕获所述触摸对象的第二视图；以及
使得所述触摸对象的模型基于所述第一图像和所述第二图像而生成。
2.根据权利要求1所述的计算机可读介质，还包括响应于所述触摸事件以进行下述操作的计算机可读代码：
从所述第一设备的深度传感器捕获所述触摸对象的第一深度信息，
其中用于生成所述触摸对象的所述模型的所述计算机可读代码还包括基于所述第一深度信息来生成所述触摸对象的所述模型的计算机可读代码。
3.根据权利要求1至2中任一项所述的计算机可读介质，还包括响应于所述触摸事件以进行下述操作的计算机可读代码：
从所述第二设备请求所述触摸对象的第二深度信息，
其中用于生成所述触摸对象的所述模型的所述计算机可读代码还包括基于所述第二深度信息来生成所述触摸对象的所述模型的计算机可读代码。
4.根据权利要求1至2中任一项所述的计算机可读设备，其中用于生成所述触摸对象的所述模型的所述计算机可读代码包括以进行下述操作的计算机可读代码：
将所述第一图像和所述第二图像传输至基站；以及
使所述基站生成所述触摸对象的所述模型。
5.根据权利要求1至2中任一项所述的计算机可读介质，还包括：
将所述触摸对象的所述模型提供给所述第二设备。
6.根据权利要求1至2中任一项所述的计算机可读介质，其中所述触摸对象是所述第一设备和所述第二设备的用户的附属器官。
7.根据权利要求1至2中任一项所述的计算机可读介质，还包括以进行下述操作的计算机可读代码：
由所述第一设备上的所述触摸传感器检测附加触摸事件，其中所述附加触摸事件包括由所述触摸对象在所述第一设备上的第二触摸；
响应于所述附加触摸事件：
通过所述第一设备的所述第一相机获得所述触摸对象的第三图像；
从所述第二设备请求所述触摸对象的第四图像，
其中所述触摸对象的所述第三图像捕获所述触摸对象的第三视图，并且其中所述触摸对象的所述第四图像捕获所述触摸对象的第四视图；以及
使得所述模型基于所述第三图像和所述第四图像来更新。
8.一种用于生成3D模型的系统，包括：
一个或多个处理器；和
存储器，所述存储器耦接至所述一个或多个处理器并且包括计算机可读介质，所述计算机可读介质包括能够由所述一个或多个处理器执行以进行下述操作的计算机可读代码：
基于来自第一设备上的触摸传感器的传感器数据来确定触摸事件，其中所述触摸事件包括由触摸对象在所述第一设备上的触摸；
响应于触摸事件：
通过所述第一设备的第一相机获得所述触摸对象的第一图像，以及
从第二设备获得所述触摸对象的第二图像，
其中所述触摸对象的所述第一图像捕获所述触摸对象的第一视图，并且其中所述触摸对象的所述第二图像捕获所述触摸对象的第二视图；以及
使得所述触摸对象的模型基于所述第一图像和所述第二图像而生成。
9.根据权利要求8所述的系统，还包括响应于所述触摸事件以进行下述操作的计算机可读代码：
从所述第一设备的深度传感器捕获所述触摸对象的第一深度信息，
其中用于生成所述触摸对象的所述模型的所述计算机可读代码还包括基于所述第一深度信息来生成所述触摸对象的所述模型的计算机可读代码。
10.根据权利要求8至9中任一项所述的系统，还包括响应于所述触摸事件以进行下述操作的计算机可读代码：
从所述第二设备请求所述触摸对象的第二深度信息，
其中用于生成所述触摸对象的所述模型的所述计算机可读代码还包括基于所述第二深度信息来生成所述触摸对象的所述模型的计算机可读代码。
11.根据权利要求8至9中任一项所述的系统，其中用于生成所述触摸对象的所述模型的所述计算机可读代码包括以进行下述操作的计算机可读代码：
将所述第一图像和所述第二图像传输至基站；以及
使所述基站生成所述触摸对象的所述模型。
12.根据权利要求8至9中任一项所述的系统，还包括：
将所述触摸对象的所述模型提供给所述第二设备。
13.根据权利要求8至9中任一项所述的系统，其中所述触摸对象是所述第一设备和所述第二设备的用户的附属器官。
14.根据权利要求8至9中任一项所述的系统，还包括以进行下述操作的计算机可读代码：
由所述第一设备上的所述触摸传感器检测附加触摸事件，其中所述附加触摸事件包括由所述触摸对象在所述第一设备上的第二触摸；
响应于所述附加触摸事件：
通过所述第一设备的所述第一相机获得所述触摸对象的第三图像；
从所述第二设备请求所述触摸对象的第四图像，
其中所述触摸对象的所述第三图像捕获所述触摸对象的第三视图，并且其中所述触摸对象的所述第四图像捕获所述触摸对象的第四视图；以及
使得所述模型基于所述第三图像和所述第四图像来更新。
15.一种用于生成3D模型的方法，包括：
基于来自第一设备上的触摸传感器的传感器数据来确定触摸事件，其中所述触摸事件包括由触摸对象在所述第一设备上的触摸；
响应于触摸事件：
通过所述第一设备的第一相机获得所述触摸对象的第一图像，以及
从第二设备获得所述触摸对象的第二图像，
其中所述触摸对象的所述第一图像捕获所述触摸对象的第一视图，并且其中所述触摸对象的所述第二图像捕获所述触摸对象的第二视图；以及
使得所述触摸对象的模型基于所述第一图像和所述第二图像而生成。
16.根据权利要求15所述的方法，还包括响应于所述触摸事件进行下述操作：
从所述第一设备的深度传感器捕获所述触摸对象的第一深度信息，
其中用于生成所述触摸对象的所述模型的所述计算机可读代码还包括基于所述第一深度信息来生成所述触摸对象的所述模型的计算机可读代码。
17.根据权利要求15至16中任一项所述的方法，还包括响应于所述触摸事件进行下述操作：
从所述第二设备请求所述触摸对象的第二深度信息，
其中用于生成所述触摸对象的所述模型的所述计算机可读代码还包括基于所述第二深度信息来生成所述触摸对象的所述模型的计算机可读代码。
18.根据权利要求15至16中任一项所述的方法，其中生成所述触摸对象的所述模型包括：
将所述第一图像和所述第二图像传输至基站；以及
使所述基站生成所述触摸对象的所述模型。
19.根据权利要求15至16中任一项所述的方法，还包括：
将所述触摸对象的所述模型提供给所述第二设备。
20.根据权利要求15至16中任一项所述的方法，还包括：
由所述第一设备上的所述触摸传感器检测附加触摸事件，其中所述附加触摸事件包括由所述触摸对象在所述第一设备上的第二触摸；
响应于所述附加触摸事件：
通过所述第一设备的所述第一相机获得所述触摸对象的第三图像；
从所述第二设备请求所述触摸对象的第四图像，
其中所述触摸对象的所述第三图像捕获所述触摸对象的第三视图，并且其中所述触摸对象的所述第四图像捕获所述触摸对象的第四视图；以及
使得所述模型基于所述第三图像和所述第四图像来更新。
CN201910927658.XA 2018-09-28 2019-09-27 生成用于视觉触摸检测的指尖的3d模型 Active CN110968248B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201862738733P 2018-09-28 2018-09-28
US62/738,733 2018-09-28

Publications (2)

Publication Number Publication Date
CN110968248A true CN110968248A (zh) 2020-04-07
CN110968248B CN110968248B (zh) 2023-07-14

Family

ID=69945142

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910927658.XA Active CN110968248B (zh) 2018-09-28 2019-09-27 生成用于视觉触摸检测的指尖的3d模型

Country Status (2)

Country Link
US (2) US10970922B2 (zh)
CN (1) CN110968248B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11073898B2 (en) * 2018-09-28 2021-07-27 Apple Inc. IMU for touch detection
US11144129B2 (en) * 2020-03-04 2021-10-12 Panasonic Avionics Corporation Depth sensing infrared input device and associated methods thereof

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120182396A1 (en) * 2011-01-17 2012-07-19 Mediatek Inc. Apparatuses and Methods for Providing a 3D Man-Machine Interface (MMI)
US20140204002A1 (en) * 2013-01-21 2014-07-24 Rotem Bennet Virtual interaction with image projection
CN105324736A (zh) * 2013-07-23 2016-02-10 英特尔公司 触摸式和非触摸式用户交互输入的技术
US20170228869A1 (en) * 2016-02-09 2017-08-10 Daqri, Llc Multi-spectrum segmentation for computer vision
CN107077195A (zh) * 2014-09-30 2017-08-18 惠普发展公司，有限责任合伙企业 显示对象指示符
CN108431734A (zh) * 2015-12-28 2018-08-21 微软技术许可有限责任公司 用于非触摸式表面交互的触觉反馈

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8279168B2 (en) * 2005-12-09 2012-10-02 Edge 3 Technologies Llc Three-dimensional virtual-touch human-machine interface system and method therefor
US9760123B2 (en) * 2010-08-06 2017-09-12 Dynavox Systems Llc Speech generation device with a projected display and optical inputs
US8933912B2 (en) * 2012-04-02 2015-01-13 Microsoft Corporation Touch sensitive user interface with three dimensional input sensor
KR101938648B1 (ko) * 2012-10-23 2019-01-15 삼성전자주식회사 이미지 센서를 포함하는 모바일 기기, 이미지 센서의 구동 방법 및 모바일 기기의 구동 방법
EP2951811A4 (en) * 2013-01-03 2016-08-17 Meta Co DIGITAL EYES FOR EXTRAMISSIVE SPATIAL IMAGING, PROCESSES AND SYSTEMS FOR VIRTUAL OR ENLARGED VISIBILITY, MANIPULATION, PRODUCTION OR INTERACTION WITH OBJECTS, MATERIALS, OR OTHER UNITS
US9619105B1 (en) * 2014-01-30 2017-04-11 Aquifi, Inc. Systems and methods for gesture based interaction with viewpoint dependent user interfaces
JP2019015575A (ja) * 2017-07-05 2019-01-31 株式会社東芝 画像処理装置、測距装置および処理システム

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120182396A1 (en) * 2011-01-17 2012-07-19 Mediatek Inc. Apparatuses and Methods for Providing a 3D Man-Machine Interface (MMI)
US20140204002A1 (en) * 2013-01-21 2014-07-24 Rotem Bennet Virtual interaction with image projection
CN105324736A (zh) * 2013-07-23 2016-02-10 英特尔公司 触摸式和非触摸式用户交互输入的技术
CN107077195A (zh) * 2014-09-30 2017-08-18 惠普发展公司，有限责任合伙企业 显示对象指示符
CN108431734A (zh) * 2015-12-28 2018-08-21 微软技术许可有限责任公司 用于非触摸式表面交互的触觉反馈
US20170228869A1 (en) * 2016-02-09 2017-08-10 Daqri, Llc Multi-spectrum segmentation for computer vision

Also Published As

Publication number Publication date
US11620790B2 (en) 2023-04-04
US20200105055A1 (en) 2020-04-02
US20210209840A1 (en) 2021-07-08
CN110968248B (zh) 2023-07-14
US10970922B2 (en) 2021-04-06

Similar Documents

Publication Publication Date Title
CN110968187B (zh) 由外围设备启用的远程触摸检测
CN110968190B (zh) 用于触摸检测的imu
JP2017531221A (ja) 仮想現実環境の中に没入したときのつまずき対抗
KR20200061930A (ko) 전자 장치 및 증강 현실 서비스를 제공하는 증강 현실 장치와 그 동작 방법
KR20100027976A (ko) 이동 장치에서 제스처 및 움직임 기반 내비게이션 및 3차원 가상 콘텐츠와의 인터랙션
CN112041788A (zh) 使用眼睛注视来选择文本输入字段
US11373271B1 (en) Adaptive image warping based on object and distance information
US11768576B2 (en) Displaying representations of environments
US11620790B2 (en) Generating a 3D model of a fingertip for visual touch detection
US20230419439A1 (en) Warping an input image based on depth and offset information
US20240062489A1 (en) Indicating a Position of an Occluded Physical Object
WO2021041428A1 (en) Method and device for sketch-based placement of virtual objects
US11782548B1 (en) Speed adapted touch detection
US11270409B1 (en) Variable-granularity based image warping
CN112578983B (zh) 手指取向触摸检测
US11281337B1 (en) Mirror accessory for camera based touch detection
US11641460B1 (en) Generating a volumetric representation of a capture region
US20230370578A1 (en) Generating and Displaying Content based on Respective Positions of Individuals
US11983810B1 (en) Projection based hair rendering
US20230065077A1 (en) Displaying a Rendered Volumetric Representation According to Different Display Modes

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant