CN113821124A - 用于触摸检测的imu - Google Patents

用于触摸检测的imu Download PDF

Info

Publication number
CN113821124A
CN113821124A CN202111281018.XA CN202111281018A CN113821124A CN 113821124 A CN113821124 A CN 113821124A CN 202111281018 A CN202111281018 A CN 202111281018A CN 113821124 A CN113821124 A CN 113821124A
Authority
CN
China
Prior art keywords
touch
image
event
computer
touch object
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202111281018.XA
Other languages
English (en)
Other versions
CN113821124B (zh
Inventor
王乐晶
R·塞西
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Apple Inc
Original Assignee
Apple Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Apple Inc filed Critical Apple Inc
Priority to CN202111281018.XA priority Critical patent/CN113821124B/zh
Publication of CN113821124A publication Critical patent/CN113821124A/zh
Application granted granted Critical
Publication of CN113821124B publication Critical patent/CN113821124B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416—Control or interface arrangements specially adapted for digitisers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/163—Wearable computers, e.g. on a belt
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1684—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
    • G06F1/1694—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675 the I/O peripheral being a single or a set of motion sensors for pointer control or gesture input obtained by sensing movements of the portable computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0425—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/0007—Image acquisition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/04—Indexing scheme for image data processing or generation, in general involving 3D image data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Hardware Design (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本公开涉及用于触摸检测的IMU。触摸检测可包括：基于来自第一设备上的监测触摸对象的运动的IMU的数据来确定触摸事件，其中触摸事件指示触摸对象与表面之间的接触；获得由第二设备捕获的包括触摸图像的深度图像；基于触摸图像来确定对象的触摸点；以及基于对象的触摸点和所触摸的表面来提供响应。

Description

用于触摸检测的IMU
本申请是申请日为2019年9月27日、申请号为201910923517.0、发明名称为“用于触摸检测的IMU”的中国发明专利申请的分案申请。
背景技术
本公开整体涉及触摸检测领域，并且更具体地涉及提供用于触摸检测的可穿戴IMU的领域。
当今的电子设备为用户提供了与周围世界交互的许多方式。例如，用户可使用虚拟或物理键盘、鼠标、轨迹球、操纵杆、触摸屏等与电子设备进行交互。用户经常与其设备上的数字信息进行交互的一种方式是通过触摸屏界面。触摸屏界面允许用户使用手指、触笔或其他对象与显示表面进行交互。触摸传感器识别所触摸的区域并向用户提供响应。
随着混合现实环境的增加，用户通常通过附加方式提供输入，以便使虚拟对象能够与真实对象进行交互。例如，用户可触摸真实对象以便以混合现实方式与真实对象进行交互。然而，真实对象通常不包括传统上用于检测来自用户的触摸的触摸传感器。
发明内容
在一个实施方案中，描述了一种触摸检测的方法。该方法可包括基于来自第一设备上的监测触摸对象的移动的惯性测量单元(IMU)的数据来确定触摸事件，其中触摸事件指示触摸对象与表面之间的接触。该方法还可包括响应于触摸事件来获得由第二设备捕获的包括触摸图像的深度图像，基于触摸图像来确定对象的触摸点，以及基于对象的触摸点和所触摸的表面来提供响应。
在另一个实施方案中，该方法可以体现在计算机可执行程序代码中并存储在非暂时性存储设备中。在另一个实施方案中，该方法可在电子设备中实现。
附图说明
图1以框图形式示出了根据一个或多个实施方案的简化系统图。
图2以流程图形式示出了根据一个或多个实施方案的用于在真实环境中检测触摸的示例性技术。
图3以流程图形式示出了根据一个或多个实施方案的用于生成模型的示例性技术。
图4以流程图形式示出了根据一个或多个实施方案的用于识别真实触摸事件的示例性技术。
图5以框图形式示出了根据一个或多个实施方案的简化多功能设备。
具体实施方式
本公开涉及用于检测物理环境中的触摸的系统、方法和计算机可读介质。一般来讲，公开了提供用于识别用户何时使用惯性测量单元触摸物理环境中的表面的技术，以及用于响应于检测到物理环境中的触摸来细化触摸对象(诸如手指)的模型的技术。此外，本公开涉及用于估计物理环境(例如，估计物理表面的法向/方向)的技术。
根据一个或多个实施方案，可穿戴设备诸如手表或戒指可由与物理环境交互的用户佩戴。可穿戴设备可包括惯性测量单元(“IMU”)，该惯性测量单元可跟踪用于与之附接的对象的力、加速度、声学信号(例如，由与物理环境交互的用户生成)等。在一个或多个实施方案中，可穿戴设备可由物理环境中的用户佩戴。具体地讲，可穿戴设备可例如佩戴在手臂、手腕或手指上，其是或连接到通过触摸与物理环境进行交互的手指。在一个或多个实施方案中，可基于来自IMU的传感器数据来确定触摸事件。例如，所检测到的力可指示触摸事件。触摸事件可指示触摸对象与表面之间的接触。该表面可以是现实环境中的对象的一部分，或可以是用户的另一部分，诸如手部或手指。响应于检测到触摸事件，可获得触摸事件的触摸图像，该触摸图像包括触摸对象和被触摸的表面。触摸图像可由第二设备捕获。所捕获的图像可为RGB图像或深度图像。基于触摸图像，可确定所触摸的表面，并且可基于所触摸的表面向用户提供响应。可首先在图像中检测用户部位(例如，手或手指)，并且将表面确定为在用户部位下方延伸的表面。
在一个或多个实施方案中，触摸图像可用于生成或细化触摸对象的模型。具体地，由第二设备捕获的图像(诸如深度图像)可能不捕获触摸对象的与表面形成接触的部分。然而，在一个或多个实施方案中，关于触摸对象在触摸点处的几何形状的数据可基于来自触摸图像的深度信息来确定。例如，可从使得触摸点被触摸对象遮挡的角度(例如，从用户的视角看，触摸表面的指尖可能被手遮挡)获得深度图像。可基于来自触摸图像和触摸检测的组合数据来生成或细化触摸对象(例如手指、手或手臂)的模型。例如，手指的特定长度可基于手指正触摸的表面的相对位置和触摸图像中关于手指可见部分的深度信息来确定，即使手指的触摸部分被遮挡也无妨。触摸图像可用作参考图像以确定手指和表面之间的接触状态。例如，释放动作(即手指移离表面)可通过比较参考图像和当前捕获的图像来确定，例如通过比较手指与相机的距离或比较手指相对于表面的距离。
此外，在一个或多个实施方案中，可利用触摸图像从所检测到的触摸来确定假阳性。例如，IMU可基于特定的力来检测触摸，但该力可不与触摸相关。例如，力可与手臂或手腕的抽动相关。因此，在一个或多个实施方案中，辅助设备可在检测到触摸事件时捕获“触摸图像”，并且基于触摸图像来确定触摸事件是否为真实触摸事件。例如，如果在检测到触摸时所捕获的图像示出触摸对象不在表面附近，则可确定所检测到的触摸事件为假阳性触摸事件。基于深度获知的方法可用于将真实触摸事件与其他非触摸事件(如手臂或手腕的抽动)进行分类。分类可基于IMU数据。深度获知网络可为LSTM(长短期记忆)、RNN(循环神经网络)或任何与时间相关的网络。
在以下描述中，为了解释的目的，阐述了很多具体细节以便提供对所公开构思的彻底理解。作为本说明书的一部分，本公开的一些附图以框图形式表示结构和装置，以避免模糊所公开实施方案的新颖方面。在该上下文中，应当理解，对没有相关联标识符(例如，100)的编号绘图元素的引用是指具有标识符(例如，100a和100b)的绘图元素的所有实例。另外，作为本说明书的一部分，本公开的一些附图可以流程图的形式提供。任何特定流程图中的框可以特定顺序呈现。然而，应当理解，任何流程图的特定流程仅用于举例说明一个实施方案。在其他实施方案中，可删除流程图中描绘的任何各种组件，或者可以不同的顺序执行组件，或甚至同时执行组件。此外，其他实施方案可包括未被示为流程图的一部分的附加步骤。本公开中使用的语言主要是出于可读性和指导目的而选择的，并且可未选择它来描绘或限制所公开的主题。在本公开中提到“一个实施方案”或“实施方案”意指包括在至少一个实施方案中的结合该实施方案所述的特定特征、结构或特性，并且多次提到“一个实施方案”或“实施方案”不应被理解为必然地全部参考相同的实施方案。
应当理解，在任何实际具体实施的开发中(如在任何开发项目中)，必须要作出许多决策以实现开发者的特定目标(如，符合与系统和商务相关的约束)，并且这些目标将在不同具体实施之间变化。还应当理解，此类开发工作可能是复杂且费时的，但尽管如此，对于受益于本公开的图像捕获的那些普通技术人员而言，这仍然是他们的日常工作。
出于本公开的目的，术语“镜头”是指镜头组件，其可包括多个镜头。在一个或多个实施方案中，可将镜头移动到不同位置以捕获具有不同焦点的图像。另外，在一个或多个实施方案中，镜头可指任何种类的镜头，诸如可伸缩镜头或广角镜头。因此，术语镜头可指被配置为叠堆或其他布置的单个光学元件或多个元件。
出于本公开的目的，术语“相机系统”指的是一个或多个镜头组件以及一个或多个传感器元件和用于捕获图像的其他电路。出于本公开的目的，“相机”可包括不止一个相机系统，诸如立体相机系统、多相机系统，或能够感测所捕获场景的深度的相机系统。
物理环境是指人们在没有电子系统帮助的情况下能够感测和/或交互的物理世界。物理环境诸如物理公园包括物理物品，诸如物理树木、物理建筑物和物理人。人们能够诸如通过视觉、触觉、听觉、味觉和嗅觉来直接感测物理环境和/或与物理环境交互。
相反，计算机生成现实(CGR)环境是指人们经由电子系统感测和/或交互的完全或部分模拟的环境。在CGR中，跟踪人的物理运动的一个子组或其表示，并且作为响应，以符合至少一个物理定律的方式调节在CGR环境中模拟的一个或多个虚拟对象的一个或多个特征。例如，CGR系统可以检测人的头部转动，并且作为响应，以与此类视图和声音在物理环境中变化的方式类似的方式调节呈现给人的图形内容和声场。在一些情况下(例如，出于可达性原因)，对CGR环境中虚拟对象的特征的调节可以响应于物理运动的表示(例如，声音命令)来进行。
人可以利用其感官中的任一者来感测CGR对象和/或与CGR对象交互，包括视觉、听觉、触觉、味觉和嗅觉。例如，人可以感测音频对象和/或与音频对象交互，该音频对象创建3D或空间音频环境，该3D或空间音频环境提供3D空间中点音频源的感知。又如，音频对象可以使能音频透明度，该音频透明度在有或者没有计算机生成的音频的情况下选择性地引入来自物理环境的环境声音。在某些CGR环境中，人可以感测和/或只与音频对象交互。
CGR的示例包括虚拟现实和混合现实。虚拟现实(VR)环境是指被设计成对于一个或多个感官完全基于计算机生成的感官输入的模拟环境。VR环境包括人可以感测和/或交互的多个虚拟对象。例如，树木、建筑物和代表人的化身的计算机生成的图像是虚拟对象的示例。人可以通过在计算机生成的环境内人的存在的模拟、和/或通过在计算机生成的环境内人的物理运动的一个子组的模拟来感测和/或与VR环境中的虚拟对象交互。
与被设计成完全基于计算机生成的感官输入的VR环境相比，混合现实(MR)环境是指被设计成除了包括计算机生成的感官输入(例如，虚拟对象)之外还引入来自物理环境的感官输入或其表示的模拟环境。在虚拟连续体上，混合现实环境是完全物理环境作为一端和虚拟现实环境作为另一端之间的任何状况，但不包括这两端。
在一些MR环境中，计算机生成的感官输入可以对来自物理环境的感官输入的变化进行响应。另外，用于呈现MR环境的一些电子系统可以跟踪相对于物理环境的位置和/或取向，以使虚拟对象能够与真实对象(即，来自物理环境的物理物品或其表示)交互。例如，系统可以导致运动使得虚拟树木相对于物理地面看起来是静止的。
混合现实的示例包括增强现实和增强虚拟。增强现实(AR)环境是指其中一个或多个虚拟对象叠加在物理环境或其表示之上的模拟环境。例如，用于呈现AR环境的电子系统可具有透明或半透明显示器，人可以透过该显示器直接查看物理环境。该系统可以被配置为在透明或半透明显示器上呈现虚拟对象，使得人利用该系统感知叠加在物理环境之上的虚拟对象。另选地，系统可以具有不透明显示器和一个或多个成像传感器，成像传感器捕获物理环境的图像或视频，这些图像或视频是物理环境的表示。系统将图像或视频与虚拟对象组合，并在不透明显示器上呈现组合物。人利用系统经由物理环境的图像或视频而间接地查看物理环境，并且感知叠加在物理环境之上的虚拟对象。如本文所用，在不透明显示器上显示的物理环境的视频被称为“透传视频”，意味着系统使用一个或多个图像传感器捕获物理环境的图像，并且在不透明显示器上呈现AR环境时使用那些图像。进一步另选地，系统可以具有投影系统，该投影系统将虚拟对象投射到物理环境中，例如作为全息图或者在物理表面上，使得人利用该系统感知叠加在物理环境之上的虚拟对象。
增强现实环境也是指其中物理环境的表示被计算机生成的感官信息进行转换的模拟环境。例如，在提供透传视频中，系统可以对一个或多个传感器图像进行转换以施加与成像传感器所捕获的视角不同的选择视角(例如，视点)。又如，物理环境的表示可以通过图形地修改(例如，放大)其部分而进行转换，使得修改后的部分可以是原始捕获图像的代表性的但不是真实的版本。再如，物理环境的表示可以通过以图形方式消除或模糊其部分而进行转换。
增强虚拟(AV)环境是指其中虚拟或计算机生成的环境结合来自物理环境的一个或多个感官输入的模拟环境。感官输入可以是物理环境的一个或多个特征的表示。例如，AV公园可以具有虚拟树木和虚拟建筑物，但人的脸部是从对物理人拍摄的图像逼真再现的。又如，虚拟对象可以采用一个或多个成像传感器所成像的物理物品的形状或颜色。再如，虚拟对象可以采用符合太阳在物理环境中的位置的阴影。
参考图1，其示出了根据本公开的一个或多个实施方案的电子设备100的简化框图，该电子设备可通信地连接到第一移动设备150和第二移动设备175。电子设备100可为多功能设备的一部分，诸如移动电话、平板电脑、个人数字助理、便携式音乐/视频播放器、可穿戴设备、基站、膝上型计算机、台式计算机、网络设备或任何其他电子设备。图1以框图形式示出了能够使用惯性测量单元(“IMU”)提供触摸检测的系统图的总体视图。电子设备100可通过网络、有线连接、蓝牙或其他近程连接等连接到第一移动设备150和第二移动设备175。第一移动设备150可为智能附件，诸如佩戴在用户手腕或手臂上的智能手表、佩戴在用户手指上的智能戒指，或包括用户的至少一些运动可根据其进行确定的IMU的任何其他电子设备。第二移动设备175可包括例如头部安装设备，该头部安装设备包括相机或其他传感器并且可直接或经由电子设备100与第一移动设备150通信。在一个或多个实施方案中，第二移动设备175可以不是可穿戴设备，并且可以只是具有捕获指示物理环境中的深度信息的触摸图像的能力的电子设备。
电子设备100可包括处理器，诸如中央处理单元(CPU)110。处理器110可以是片上系统诸如存在于移动设备中的那些片上系统，并且可包括一个或多个专用图形处理单元(GPU)。另外，处理器110可包括相同或不同类型的多个处理器。电子设备100还可包括存储器120。存储器120均可包括一个或多个不同类型的存储器，其可用于结合处理器110执行设备功能。例如，存储器120可包括高速缓存、ROM、RAM或能够存储计算机可读代码的任何种类的暂态或非暂态计算机可读存储介质。存储器120可存储各种编程模块供处理器110执行，该存储器包括触摸检测模块122和建模模块124。电子设备100还可包括存储装置130。存储装置130可包括一个或多个非暂态计算机可读存储介质，该非暂态存储介质包括例如磁盘(固定硬盘、软盘和可移动磁盘)和磁带、光学介质(诸如CD-ROM和数字视频光盘(DVD))以及半导体存储设备(例如电可编程只读存储器(EPROM)和电可擦除可编程只读存储器(EEPROM))。存储装置130可包括模型存储库145。
第一移动设备150和第二移动设备175可各自为具有与上文相对于电子设备100所述的部件类似的部件的电子设备。第一移动设备150可包括例如存储器166和CPU 160。第一移动设备150还可包括IMU 155。IMU155可为检测加速度突然变化的传感器。因此，IMU 155可包括加速度计、陀螺仪等。第一移动设备150可由用户以IMU检测指示触摸事件的惯性变化的方式佩戴。例如，第一移动设备150可为佩戴在用户的手臂或手腕上的手表或其他设备的一部分，并且跟踪用户的与物理环境交互的部位(例如，佩戴第一移动设备的手臂上的手指)的惯性变化。
第二移动设备175可为任何类型的电子设备(例如，可穿戴或非可穿戴)，其包括一个或多个相机176或其他传感器，诸如可根据其确定场景的深度的深度传感器178。在一个或多个实施方案中，一个或多个相机176中的每个相机可为传统RGB相机或深度相机。另外，相机176可包括立体或其他多相机系统、飞行时间相机系统等，所述系统捕获可根据其确定场景的深度信息的图像。第二移动设备175可允许用户与CGR环境进行交互。有许多不同类型的电子系统使人能够感测和/或与各种CGR环境交互。示例包括头戴式系统、基于投影的系统、平视显示器(HUD)、集成有显示能力的车辆挡风玻璃、集成有显示能力的窗户、被形成为被设计用于放置在人眼睛上的透镜的显示器(例如，类似于隐形眼镜)、耳机/听筒、扬声器阵列、输入系统(例如，具有或没有触觉反馈的可穿戴或手持控制器)、智能电话、平板电脑、和台式/膝上型计算机。头戴式系统可以具有一个或多个扬声器和集成的不透明显示器。另选地，头戴式系统可以被配置为接受外部不透明显示器(例如，智能电话)。头戴式系统可以结合用于捕获物理环境的图像或视频的一个或多个成像传感器、和/或用于捕获物理环境的音频的一个或多个麦克风。头戴式系统可以具有透明或半透明显示器，而不是不透明显示器。透明或半透明显示器可以具有媒介，代表图像的光通过该媒介被引导到人的眼睛。显示器180可利用数字光投影、OLED、LED、uLED、硅基液晶、激光扫描光源或这些技术的任意组合。媒介可以是光学波导、全息图媒介、光学组合器、光学反射器、或它们的任意组合。在一个实施方案中，透明或半透明显示器可被配置为选择性地变得不透明。基于投影的系统可以采用将图形图像投影到人的视网膜上的视网膜投影技术。投影系统也可以被配置为将虚拟对象投影到物理环境中，例如作为全息图或在物理表面上。
在一个或多个实施方案中，触摸检测模块122可确定触摸事件何时发生。触摸事件可指示可能已在触摸对象和表面之间形成接触。触摸检测模块122可例如通过接收来自第一移动设备150的对已发生触摸事件的指示来确定触摸事件何时发生。另外，在一个或多个实施方案中，触摸检测模块122可接收来自IMU 155的信号，并基于该信号确定已发生触摸事件。根据一个或多个实施方案，触摸检测模块122可利用附加数据来核实触摸事件已实际发生。例如，触摸检测模块122可从第二移动设备175，例如从相机176和/或深度传感器178中的一者或多者，获得深度信息。在一个或多个实施方案中，在确定已发生触摸事件时，触摸检测模块122可基于来自第二移动设备175的深度数据来核实触摸事件已实际发生。例如，如果深度信息指示触摸对象不在表面附近的任何位置，则触摸检测模块122可确定触摸事件为假触摸事件。
在一个或多个实施方案中，建模模块124可管理触摸对象的模型。例如，建模模块124可管理模型存储库145中的触摸对象(诸如手指)的模型。建模模块124可注册用于与物理环境进行交互的手指或其他触摸对象。在一个或多个实施方案中，用户可以多种方式发起对特定触摸对象的使用，诸如登录到与触摸对象相关联的用户帐户，或利用对象检测来确定特定触摸对象正在使用中。例如，用户可在相机(诸如第二移动设备175的相机176)前转动手指，使得建模模块124和触摸检测模块122可开始使用基于特定识别手指的模型的触摸技术和建模技术。例如，特定识别手指的初始模型可从模型存储库145获得并用于本文所述的各种技术。
根据一个或多个实施方案，已基于触摸图像或其他深度数据细化的触摸对象的3D模型然后可用于由第二移动设备175进行的更精确的触摸检测和其他跟踪。在一个或多个实施方案中，通过拥有关于例如触摸对象的总长度或其他特性的更佳数据，当第一移动设备150或IMU 155不可用或换句话讲不用于通过触摸对象来检测惯性数据时，跟踪模块186可更好地检测物理环境中的触摸事件。
虽然电子设备100被描述为包括上述众多部件，但在一个或多个实施方案中，各种部件可分布在多个设备上。具体地讲，在一个或多个实施方案中，触摸检测模块122、建模模块124和模型存储库145中的一者或多者可不同地分布在第一移动设备150和第二移动设备175上。因此，根据一个或多个实施方案，可不需要电子设备100来执行本文所述的一种或多种技术。因此，尽管本文相对于所描绘的特定系统描述了某些调用和传输，但在一个或多个实施方案中，各种调用和传输可基于不同分布的功能而被不同地引导。此外，可使用附加部件，也可组合任何部件的功能的某些组合。
图2以流程图形式示出了用于在物理环境中使用触摸检测的方法。出于解释的目的，将在图1的上下文中描述以下步骤。然而，应当理解，可由另选部件来执行各种动作。此外，可以不同的顺序执行各种动作。此外，可同时执行一些动作，并且可不需要一些动作，或可添加其他动作。
流程图在210处开始，并且第一设备上的惯性监测单元检测触摸对象和表面之间的触摸事件。根据一个或多个实施方案，第一移动设备150的IMU 155可为检测触摸对象的运动信息的任何传感器。例如，IMU 155可检测如加速度、方向等的此类运动。在一个或多个实施方案中，当惯性变化指示在触摸对象(例如，被检测到惯性和其他运动信息的对象)之间已形成接触时，可检测到触摸事件。例如，当触摸设备的运动信息指示突然停止或方向改变时，可检测到接触。因此，如将在下文更详细地描述，检测到的触摸事件可能不是真实触摸事件。出于该流程图的目的，检测到的触摸事件被认为是真实触摸事件。
流程图在220处继续，其中触摸对象的触摸图像由第二设备上的相机获得。触摸图像可包括对象的RGB图像、对象的深度图像、对象的立体图像，或指示对象相对于第二移动设备175的深度的其他数据。在一个或多个实施方案中，由第一电子设备150对触摸事件的检测指示图像数据应由辅助设备捕获。在225处，获得触摸图像可包括在检测到触摸事件时发送对触摸图像的请求。例如，发送请求可包括第一移动设备150向电子设备100发送触摸事件已发生的通知，使得电子设备100可从第二设备175获得触摸图像。另选地，发送请求可包括从第一移动设备150直接向第二移动设备175发送通知以用于处理所检测到的触摸。此外，在一个或多个实施方案中，通知可包括时间戳，电子设备100和/或第二移动设备175可通过该时间戳来确定应捕获深度或图像数据的时间。
流程图在230处继续，其中触摸检测模块122基于触摸图像来确定对象的触摸点。在一个或多个实施方案中，可在与第一移动设备150、第二移动设备175或电子设备100相关联的坐标系中确定触摸点。在一个或多个实施方案中，该位置可在第二移动设备175的坐标系中确定，该第二可穿戴设备检测触摸对象和传感器的深度。在一个或多个实施方案中，在232处，触摸检测模块122可确定触摸对象在物理环境中的位置。根据一个或多个实施方案，触摸对象在物理环境中的位置可至少部分地基于触摸对象的3D模型来确定。例如，电子设备100可包括模型存储库145，该模型存储库包括触摸对象的模型。如上所述，为了发起该过程，用户可例如通过在用于检测和识别的相机176前方以预定动作摆动触摸对象来注册特定触摸对象。因此，触摸对象在物理环境中的位置可基于预先存储的触摸对象的3D模型与触摸图像的组合。
在234处，确定表面在物理环境中的位置。在一个或多个实施方案中，表面的位置可部分地基于触摸图像来确定。例如，可识别邻近或围绕触摸部分的表面的区域，并且可基于触摸图像来确定其深度。在另一个实施方案中，相机176和/或深度传感器178可连续捕获在预先时间段(例如，5秒等)内高速缓存的深度信息。根据一个或多个实施方案，第二移动设备175可例如基于在检测到的触摸事件时从第一移动设备150接收的时间戳来从高速缓存的深度数据中获得触摸图像。此外，在一个或多个实施方案中，第二移动设备175可从触摸事件之前或之后获得非触摸图像，该非触摸图像可示出触摸事件期间所触摸的表面的部分。因此，第二移动设备175可基于触摸图像与非触摸图像的比较来确定表面在物理环境中的位置，以识别触摸位置，并且确定真实环境中的表面的所触摸部分的深度信息。在一个或多个实施方案中，所触摸部分的位置可在第二移动设备175的坐标系中或在与在232处确定触摸对象的位置的坐标系共同的坐标系中。
流程图在240处结束，其中第二移动设备175基于对象的触摸点和所触摸的表面来向用户提供响应。在一个或多个实施方案中，响应可由第二移动设备175例如呈现在显示器180上。如上所述，第二移动设备175可提供用于虚拟现实、增强现实和/或混合现实系统的界面。在一个或多个实施方案中，用户在物理环境中的物理触摸可引发虚拟响应，诸如虚拟信息的生成和/或显示。
现在参见图3，其示出了描述用于利用触摸图像来生成触摸对象的3D模型的技术的流程图。在一个或多个实施方案中，通过在物理环境中捕获触摸对象的深度信息以及触摸点，系统可获得针对触摸对象的更好的建模信息。因此，当IMU和/或第一移动设备155不可用或换句话讲不用于触摸检测时，触摸检测可在未来得到改进。
流程图在305处开始，其中第一移动设备150通过IMU检测触摸对象和表面之间的触摸事件。如上所述，IMU可响应于惯性的变化来检测触摸事件，该惯性变化可指示由IMU监测其动作的触摸设备与物理环境中的表面之间的接触。例如，IMU 155可响应于触摸对象的突然停止或方向的变化来检测潜在触摸事件。
流程图在310处继续，并且第一移动设备通过第二设备上的相机获得触摸对象的触摸图像。如上所述，触摸图像可包括对象的RGB图像、对象的深度图像、对象的立体图像，或指示对象相对于第二移动设备175的深度的其他数据。在一个或多个实施方案中，由第一电子设备150对触摸事件的检测指示图像数据应由辅助设备捕获。在一个或多个实施方案中，相机可提供比已发生触摸事件的IMU更低的准确度，例如在触摸被遮挡的情况下，并且或者因为IMU以比相机更快的速率获得传感器数据。因此，由相机捕获的图像数据可以与IMU数据交叉参考或补充以确定触摸发生的更精确的时刻。
在315处，第二移动设备175通过第二设备上的相机获得触摸对象的非触摸图像。如上所述，相机176和/或深度传感器178可连续捕获在预先时间段(例如，5秒等)内高速缓存的深度信息。根据一个或多个实施方案，第二移动设备175可例如基于在检测到的触摸事件时从第一移动设备150接收的时间戳来从高速缓存的深度数据中获得触摸图像。此外，在一个或多个实施方案中，第二移动设备175可从触摸事件之前或之后获得非触摸图像，该非触摸图像可为恰好在触摸事件的时间戳之前所捕获的图像。因此，第二移动设备175可确定触摸对象的非常接近的非触摸姿态。
另选地或除此之外，可以其他方式获得非触摸图像。例如，在317处，IMU可检测方向的变化。然后，在319处，第二移动设备175响应于方向的变化来捕获非触摸图像。因此，在触摸发生之后，可基于确定触摸对象1)已与表面形成接触；和2)已改变方向，来捕获非触摸图像和/或深度数据。即，仅在触摸事件发生后捕获图像数据可能是不够的，因为触摸对象可触摸表面并停留在表面上，从而在检测到触摸事件之后保留在触摸位置。
流程图在320处结束，并且建模模块124利用触摸图像和非触摸图像来生成触摸对象的模型。例如，通过确定触摸对象在与表面的触摸点处的姿态和非常接近表面的非接触姿态，建模模块124能够生成或细化所提供的触摸对象的3D模型，以供随后用于在不使用IMU的情况下的触摸检测。
现在参见图4，其给出了示出利用来自第一设备的惯性测量和从第二设备捕获的深度信息来区分物理环境中的实际触摸和基于IMU数据的假阳性的技术的流程图。
流程图在405处开始，并且第一移动设备150检测指示触摸事件的传感器数据。如上所述，IMU可响应于惯性的变化来检测触摸事件，该惯性变化可指示由IMU监测其动作的触摸设备与物理环境中的表面之间的接触。例如，IMU 155可响应于触摸对象的突然停止或方向的变化来检测潜在触摸事件。
流程图在410处继续，并且移动设备150传输所检测到的潜在触摸事件的指示。根据一个或多个实施方案，移动设备150可传输关于触摸事件的其他上下文信息，诸如指示事件发生时间的时间戳，或关于触摸事件的其他数据。在一个或多个实施方案中，在415处，第二移动设备175获得与检测到的触摸事件一致的触摸图像。
流程图在420处继续，其中确定是否在检测到的触摸的位置处检测到表面。在一个或多个实施方案中，可基于在触摸事件发生时确定的表面的位置来进行确定。例如，可识别邻近或围绕触摸部分的表面的区域，并且可基于触摸图像来确定其深度。在另一个实施方案中，相机176和/或深度传感器178可连续捕获在预先时间段(例如，5秒等)内高速缓存的深度信息。根据一个或多个实施方案，第二移动设备175可例如基于在检测到的触摸事件时从第一移动设备150接收的时间戳来从高速缓存的深度数据中获得触摸图像。此外，在一个或多个实施方案中，第二移动设备175可从触摸事件之前或之后获得非触摸图像，该非触摸图像可示出在触摸事件期间混淆的表面的部分。因此，第二移动设备175可基于触摸图像与非触摸图像的比较来确定表面在物理环境中的位置，以识别触摸位置，并且确定真实环境中的表面的所触摸部分的深度信息。
类似地，确定触摸对象在物理环境中的位置。在一个或多个实施方案中，触摸检测模块122可确定触摸对象在物理环境中的位置。根据一个或多个实施方案，触摸对象在物理环境中的位置可至少部分地基于触摸对象的3D模型来确定。例如，电子设备100可包括模型存储库145，该模型存储库包括触摸对象的模型。因此，通过确定触摸对象的可见部分的深度，可基于触摸对象的可见部分的深度信息和触摸对象的3D模型来估计触摸对象的触摸部分的位置。
通过将所确定的触摸对象的位置与所确定的表面位置进行比较，可确定触摸对象在触摸事件发生时是否实际触摸表面。如果在420处在检测到的触摸的位置处检测到表面，则流程图在430处继续，在此处基于所触摸的表面来提供响应。在一个或多个实施方案中，响应可由第二移动设备175例如呈现在显示器180上。如上所述，第二移动设备175可提供用于虚拟现实、增强现实和/或混合现实系统的界面。在一个或多个实施方案中，用户在物理环境中的物理触摸可引发虚拟响应，诸如虚拟信息的生成和/或显示。例如，该响应可基于表面的所触摸的部分。在另一示例中，该响应可基于特定的手势识别(例如，两根手指的捏合、用户上的轻敲、手部或手指触摸手掌等等)。可使用与检测到的触摸事件一致的捕获的触摸图像来识别手势。触摸的位置和/或与触摸相关联的手势可与由电子设备100、第一移动设备150、和/或第二移动设备175进行的特定的动作或命令相关联。
返回420，如果确定出在检测到的触摸的位置处未检测到表面，则流程图在425处继续，并且第二移动设备175将对假阳性的指示传输至第一移动设备150。流程图在435处结束，在此处第一移动设备150继续监测来自IMU 155的传感器数据以检测潜在触摸事件。根据一个或多个实施方案，移动设备150还可提供对假阳性的通知，例如通过第二移动设备175的一个或多个界面。
现在参考图5，其示出了根据一个实施方案的例示性多功能电子设备500的简化功能框图。电子设备100、第一移动设备150和第二移动设备175中的每一者可为多功能电子设备，或者可具有本文所述的多功能电子设备的一部分或全部所描述的部件。多功能电子设备500可包括处理器505、显示器510、用户界面515、图形硬件520、设备传感器525(例如，接近传感器/环境光传感器、加速计和/或陀螺仪)、麦克风530、音频编解码器535、扬声器540、通信电路545、数字图像捕获电路550(例如，包括相机系统)视频编解码器555(例如，支持数字图像捕获单元)、存储器560、存储设备565和通信总线570。多功能电子设备500可是例如数码相机或个人电子设备，例如个人数字助理(PDA)、个人音乐播放器、移动电话或平板电脑。
处理器505可执行执行或控制由设备500执行的许多功能的操作所必需的指令(例如，诸如本文所公开的图像的生成和/或处理)。处理器505可例如驱动显示器510并可从用户界面515接收用户输入。用户界面515可允许用户与设备500交互。例如，用户界面515可采取多种形式，诸如按钮、小键盘、转盘、点击式触摸转盘、键盘、显示屏和/或触摸屏。处理器505也可以是例如片上系统，诸如存在于移动设备中的那些片上系统，并且包括专用图形处理单元(GPU)。处理器505可基于精简指令集计算机(RISC)架构或复杂指令集计算机(CISC)架构或任何其他合适的架构，并且可包括一个或多个处理内核。图形硬件520可以是用于处理图形和/或辅助处理器505以处理图形信息的专用计算硬件。在一个实施方案中，图形硬件520可包括可编程GPU。
图像捕获电路550可包括两个(或更多个)镜头组件580A和580B，其中每个镜头组件可具有单独的焦距。例如，相对于镜头组件580B的焦距，镜头组件580A可具有较短焦距。每个镜头组件可具有单独的相关联的传感器元件590。另选地，两个或更多个透镜组件可共用共同的传感器元件。图像捕获电路550可捕获静态图像和/或视频图像。通过以下设备可至少部分地处理来自图像捕获电路550的输出：视频编解码器555和/或处理器505和/或图形硬件520、和/或结合在电路565内的专用图像处理单元或管道。这样捕获的图像可被存储在存储器560和/或存储装置565中。
传感器和相机电路550可捕获可至少部分地由以下设备根据本公开处理的静态图像和视频图像：视频编解码器555和/或处理器505和/或图形硬件520、和/或结合在电路550内的专用图像处理单元。这样捕获的图像可被存储在存储器560和/或存储装置565中。存储器560可包括由处理器505和图形硬件520使用的一个或多个不同类型的介质以执行设备功能。例如，存储器560可包括存储器高速缓存、只读存储器(ROM)、和/或随机存取存储器(RAM)。存储装置565可存储介质(例如音频文件、图像文件和视频文件)、计算机程序指令或软件、偏好信息、设备配置文件信息以及任何其他合适的数据。存储装置565可包括一个或多个非暂态存储介质，所述非暂态存储介质包括例如磁盘(固定硬盘、软盘和可移动磁盘)和磁带、光学介质(例如CD-ROM和数字视频光盘(DVD))以及半导体存储设备(例如电可编程只读存储器(EPROM)和电可擦除可编程只读存储器(EEPROM))。存储器560和存储装置565可用于有形地保持被组织成一个或多个模块并以任何所需的计算机编程语言编写的计算机程序指令或代码。例如，在由处理器505执行时，此类计算机程序代码可实现本文所述的方法中的一种或多种。
根据一个或多个实施方案，基于相机的透明显示器可具有多种用途。例如，上述技术可用于图像稳定。即，用于使图像翘曲的翘曲功能也可用于稳定图像。在另一个实施方案中，基于相机的透明显示器可用于机器获知。例如，相机可捕获场景的图像并对场景和/或场景内的对象进行分类。
在一个或多个实施方案中，通过跟踪用户眼睛正注视的对象，可识别应被分类的对象。
在一个或多个实施方案中，基于相机的透明显示器可用于在显示器上呈现虚拟信息，例如用于增强现实目的。例如，与特定位置相关联的数字信息可显示在通过显示器从特定视点感知的更准确的位置。例如，场景的图像可通过在翘曲图像中场景内的特定点处的附加文本或图像数据来增强。在一个或多个实施方案中，数字信息可与场景中的特定对象相关联。当对象落入经翘曲的图像中时(或者当该对象在显示器中可见时)，与该对象相关联的数字信息可与对象一起显示在经翘曲的图像中。在一个或多个实施方案中，在经翘曲的图像变化时，无论场景发生变化，还是由于视点或设备相对于场景的位置的变化而发生翘曲变化，数字信息也可变化。
本发明所公开的主题的范围应该参考所附权利要求书以及权利要求书的等同物的全部范围来确定。在所附权利要求书中，术语“包括(including)”和“其中(in which)”被用作相应术语“包括(comprising)”和“其中(wherein)”的通俗英语等同形式。

Claims (20)

1.一种非暂态计算机可读介质，包括能够由一个或多个处理器执行以进行下述操作的计算机可读代码：
在第一设备处，基于从第二设备上的监测触摸对象的运动的惯性测量单元(IMU)接收的数据来检测触摸事件已经发生的指示，其中所述触摸事件指示所述触摸对象和表面之间的接触；
响应于触摸事件：
由所述第一设备获得所述触摸对象的触摸图像，其中所述触摸对象正在与所述触摸图像中的所述表面接触；
基于从所述IMU接收的附加数据检测所述触摸对象的方向的变化的指示；
捕获所述触摸对象的非触摸图像，其中所述触摸图像不在与所述非触摸图像中的所述表面接触；以及
基于所述触摸图像和所述非触摸图像，生成所述触摸对象的模型。
2.根据权利要求1所述的非暂态计算机可读介质，其中所述触摸对象包括手指，并且其中所述触摸事件发生在所述手指和所述表面之间。
3.根据权利要求1所述的非暂态计算机可读介质，其中用于检测所述触摸事件已经发生的所述指示的所述计算机可读代码还包括用于进行下述操作的计算机可读代码：
基于来自所述触摸对象的所述触摸图像的深度信息和所述表面来确定所述触摸事件是真实触摸事件。
4.根据权利要求3所述的非暂态计算机可读介质，其中用于捕获所述非触摸图像的所述计算机可读代码还包括用于进行下述操作的计算机可读代码：
根据所述触摸事件是真实触摸事件的确定以及所述触摸对象已经改变方向的确定，使得所述非触摸图像被捕获。
5.根据权利要求1所述的非暂态计算机可读介质，还包括用于进行下述操作的计算机可读代码：
确定所述触摸对象在所述表面上的触摸点处的姿态，
其中进一步基于所述触摸对象的所述姿态生成所述触摸对象的所述模型。
6.根据权利要求5所述的非暂态计算机可读介质，还包括用于进行下述操作的计算机可读代码：
向所述第二设备提供所述触摸对象的所述模型，以用于对所述触摸对象进行视觉跟踪。
7.根据权利要求1所述的非暂态计算机可读介质，其中所述第二设备是可穿戴设备。
8.一种方法，包括：
在第一设备处，基于从第二设备上的监测触摸对象的运动的惯性测量单元(IMU)接收的数据来检测触摸事件已经发生的指示，其中所述触摸事件指示所述触摸对象和表面之间的接触；
响应于触摸事件：
由所述第一设备获得所述触摸对象的触摸图像，其中所述触摸对象正在与所述触摸图像中的所述表面接触；
基于从所述IMU接收的附加数据检测所述触摸对象的方向的变化的指示；
捕获所述触摸对象的非触摸图像，其中所述触摸图像不在与所述非触摸图像中的所述表面接触；以及
基于所述触摸图像和所述非触摸图像，生成所述触摸对象的模型。
9.根据权利要求8所述的方法，其中所述触摸对象包括手指，并且其中所述触摸事件发生在所述手指和所述表面之间。
10.根据权利要求8所述的方法，其中检测所述触摸事件已经发生还包括：
基于来自所述触摸对象的所述触摸图像的深度信息和所述表面来确定所述触摸事件是真实触摸事件。
11.根据权利要求10所述的方法，其中捕获所述非触摸图像还包括：
根据所述触摸事件是真实触摸事件的确定以及所述触摸对象已经改变方向的确定，使得所述非触摸图像被捕获。
12.根据权利要求8所述的方法，还包括：
确定所述触摸对象在所述表面上的触摸点处的姿态，
其中进一步基于所述触摸对象的所述姿态生成所述触摸对象的所述模型。
13.根据权利要求12所述的方法，还包括：
向所述第二设备提供所述触摸对象的所述模型，以用于对所述触摸对象进行视觉跟踪。
14.根据权利要求8所述的方法，其中所述第二设备是可穿戴设备。
15.一种系统，包括：
一个或多个处理器；以及
一个或多个计算机可读介质，包括能够由所述一个或多个处理器执行以进行下述操作的计算机可读代码：
基于来自第一设备上的监测触摸对象的运动的惯性测量单元(IMU)的数据来确定触摸事件，其中所述触摸事件指示所述触摸对象和表面之间的接触；
响应于触摸事件：
获得由第二设备捕获的包括触摸图像的深度图像；
基于所述触摸图像来确定所述对象的触摸点；以及
基于所述对象的所述触摸点和所触摸的表面来提供响应。
16.根据权利要求15所述的系统，其中所述触摸对象包括手指，并且其中所述触摸事件发生在所述手指和所述表面之间。
17.根据权利要求15所述的系统，其中用于检测所述触摸事件已经发生的所述指示的所述计算机可读代码还包括用于进行下述操作的计算机可读代码：
基于来自所述触摸对象的所述触摸图像的深度信息和所述表面来确定所述触摸事件是真实触摸事件。
18.根据权利要求17所述的系统，其中用于捕获所述非触摸图像的所述计算机可读代码还包括用于进行下述操作的计算机可读代码：
根据所述触摸事件是真实触摸事件的确定以及所述触摸对象已经改变方向的确定，使得所述非触摸图像被捕获。
19.根据权利要求15所述的系统，还包括用于进行下述操作的计算机可读代码：
确定所述触摸对象在所述表面上的触摸点处的姿态，
其中进一步基于所述触摸对象的所述姿态生成所述触摸对象的所述模型。
20.根据权利要求19所述的系统，还包括用于进行下述操作的计算机可读代码：
向所述第二设备提供所述触摸对象的所述模型，以用于对所述触摸对象进行视觉跟踪。
CN202111281018.XA 2018-09-28 2019-09-27 用于触摸检测的imu Active CN113821124B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111281018.XA CN113821124B (zh) 2018-09-28 2019-09-27 用于触摸检测的imu

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201862738746P 2018-09-28 2018-09-28
US62/738,746 2018-09-28
CN201910923517.0A CN110968190B (zh) 2018-09-28 2019-09-27 用于触摸检测的imu
CN202111281018.XA CN113821124B (zh) 2018-09-28 2019-09-27 用于触摸检测的imu

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN201910923517.0A Division CN110968190B (zh) 2018-09-28 2019-09-27 用于触摸检测的imu

Publications (2)

Publication Number Publication Date
CN113821124A true CN113821124A (zh) 2021-12-21
CN113821124B CN113821124B (zh) 2024-09-24

Family

ID=69947539

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201910923517.0A Active CN110968190B (zh) 2018-09-28 2019-09-27 用于触摸检测的imu
CN202111281018.XA Active CN113821124B (zh) 2018-09-28 2019-09-27 用于触摸检测的imu

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN201910923517.0A Active CN110968190B (zh) 2018-09-28 2019-09-27 用于触摸检测的imu

Country Status (2)

Country Link
US (3) US11073898B2 (zh)
CN (2) CN110968190B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3451288A1 (en) * 2017-09-04 2019-03-06 Universität Zürich Visual-inertial odometry with an event camera
KR102203933B1 (ko) * 2018-11-26 2021-01-15 재단법인 실감교류인체감응솔루션연구단 다수의 손가락을 이용한 모션 캡쳐 인터페이스 방법 및 장치
CN110221690B (zh) * 2019-05-13 2022-01-04 Oppo广东移动通信有限公司 基于ar场景的手势交互方法及装置、存储介质、通信终端
DE102021213915A1 (de) 2021-12-07 2023-06-07 Psa Automobiles Sa Fernsteuerung einer Fahrzeugfunktion mit Sensorfusion aus Touchscreen und IMU

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101714057A (zh) * 2008-10-02 2010-05-26 三星电子株式会社 用于便携式装置的触摸输入装置和方法
CN102273187A (zh) * 2008-12-31 2011-12-07 摩托罗拉移动公司 使用触摸检测表面的设备和方法
US20130314320A1 (en) * 2012-05-23 2013-11-28 Jae In HWANG Method of controlling three-dimensional virtual cursor by using portable electronic device
US20140062875A1 (en) * 2012-09-06 2014-03-06 Panasonic Corporation Mobile device with an inertial measurement unit to adjust state of graphical user interface or a natural language processing unit, and including a hover sensing function
US20140362052A1 (en) * 2012-01-20 2014-12-11 Light Blue Optics Ltd Touch Sensitive Image Display Devices
WO2015120913A1 (en) * 2014-02-17 2015-08-20 Metaio Gmbh Method and device for detecting a touch between a first object and a second object
CN105324736A (zh) * 2013-07-23 2016-02-10 英特尔公司 触摸式和非触摸式用户交互输入的技术
CN106462239A (zh) * 2014-05-23 2017-02-22 微软技术许可有限责任公司 手指追踪
WO2017189985A1 (en) * 2016-04-29 2017-11-02 Grasscrown, Inc. Methods and apparatus for providing interactive images
WO2018004757A1 (en) * 2016-06-29 2018-01-04 Google Llc Hover touch input compensation in augmented and/or virtual reality
US20180150204A1 (en) * 2016-11-30 2018-05-31 Google Inc. Switching of active objects in an augmented and/or virtual reality environment

Family Cites Families (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8456447B2 (en) * 2003-02-14 2013-06-04 Next Holdings Limited Touch screen signal processing
US7508384B2 (en) * 2005-06-08 2009-03-24 Daka Research Inc. Writing system
US20080030458A1 (en) * 2006-08-07 2008-02-07 Rene Helbing Inertial input apparatus and method with optical motion state detection
US8103109B2 (en) * 2007-06-19 2012-01-24 Microsoft Corporation Recognizing hand poses and/or object classes
US8358277B2 (en) * 2008-03-18 2013-01-22 Microsoft Corporation Virtual keyboard based activation and dismissal
US8300020B2 (en) * 2008-08-15 2012-10-30 Apple Inc. Hybrid inertial and touch sensing input device
US8433138B2 (en) * 2008-10-29 2013-04-30 Nokia Corporation Interaction using touch and non-touch gestures
JP5174962B2 (ja) * 2009-05-28 2013-04-03 シャープ株式会社 タッチパネル、液晶パネル、液晶表示装置、及びタッチパネル一体型の液晶表示装置
TW201104520A (en) * 2009-07-21 2011-02-01 Qisda Corp Location-detecting system and arrangement method thereof
US8751049B2 (en) * 2010-05-24 2014-06-10 Massachusetts Institute Of Technology Kinetic input/output
US9760123B2 (en) * 2010-08-06 2017-09-12 Dynavox Systems Llc Speech generation device with a projected display and optical inputs
CA2719659C (en) * 2010-11-05 2012-02-07 Ibm Canada Limited - Ibm Canada Limitee Haptic device with multitouch display
CN102591533B (zh) * 2012-03-01 2014-12-24 桂林电子科技大学 基于计算机视觉技术的多点触摸屏系统实现方法
US20130271355A1 (en) * 2012-04-13 2013-10-17 Nokia Corporation Multi-segment wearable accessory
CN103207709A (zh) * 2013-04-07 2013-07-17 布法罗机器人科技（苏州）有限公司 一种多点触摸系统及方法
US20160088206A1 (en) * 2013-04-30 2016-03-24 Hewlett-Packard Development Company, L.P. Depth sensors
US9639158B2 (en) * 2013-11-26 2017-05-02 Immersion Corporation Systems and methods for generating friction and vibrotactile effects
US9239648B2 (en) * 2014-03-17 2016-01-19 Google Inc. Determining user handedness and orientation using a touchscreen device
US9563956B2 (en) * 2014-03-26 2017-02-07 Intel Corporation Efficient free-space finger recognition
US9582076B2 (en) * 2014-09-17 2017-02-28 Microsoft Technology Licensing, Llc Smart ring
US9400570B2 (en) * 2014-11-14 2016-07-26 Apple Inc. Stylus with inertial sensor
CN104793784B (zh) * 2015-03-23 2018-11-20 中国科学技术大学先进技术研究院 一种基于深度数据的模拟触摸操作系统及操作方法
US20190302963A1 (en) * 2016-06-01 2019-10-03 Carnegie Mellon University Hybrid depth and infrared image sensing and method for enhanced touch tracking on ordinary surfaces
KR101808714B1 (ko) * 2017-03-16 2018-01-18 동의대학교 산학협력단 영상의 깊이 정보와 가상 터치 센서를 이용한 자동차 센터페시아 제어 방법
US10290152B2 (en) * 2017-04-03 2019-05-14 Microsoft Technology Licensing, Llc Virtual object user interface display
US10970922B2 (en) * 2018-09-28 2021-04-06 Apple Inc. Generating a 3D model of a fingertip for visual touch detection
US11093035B1 (en) * 2019-02-19 2021-08-17 Facebook Technologies, Llc Finger pinch detection

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101714057A (zh) * 2008-10-02 2010-05-26 三星电子株式会社 用于便携式装置的触摸输入装置和方法
CN102273187A (zh) * 2008-12-31 2011-12-07 摩托罗拉移动公司 使用触摸检测表面的设备和方法
US20140362052A1 (en) * 2012-01-20 2014-12-11 Light Blue Optics Ltd Touch Sensitive Image Display Devices
US20130314320A1 (en) * 2012-05-23 2013-11-28 Jae In HWANG Method of controlling three-dimensional virtual cursor by using portable electronic device
US20140062875A1 (en) * 2012-09-06 2014-03-06 Panasonic Corporation Mobile device with an inertial measurement unit to adjust state of graphical user interface or a natural language processing unit, and including a hover sensing function
CN105324736A (zh) * 2013-07-23 2016-02-10 英特尔公司 触摸式和非触摸式用户交互输入的技术
WO2015120913A1 (en) * 2014-02-17 2015-08-20 Metaio Gmbh Method and device for detecting a touch between a first object and a second object
CN106462239A (zh) * 2014-05-23 2017-02-22 微软技术许可有限责任公司 手指追踪
WO2017189985A1 (en) * 2016-04-29 2017-11-02 Grasscrown, Inc. Methods and apparatus for providing interactive images
WO2018004757A1 (en) * 2016-06-29 2018-01-04 Google Llc Hover touch input compensation in augmented and/or virtual reality
US20180150204A1 (en) * 2016-11-30 2018-05-31 Google Inc. Switching of active objects in an augmented and/or virtual reality environment

Also Published As

Publication number Publication date
US11360550B2 (en) 2022-06-14
CN113821124B (zh) 2024-09-24
US20200103961A1 (en) 2020-04-02
US11073898B2 (en) 2021-07-27
CN110968190B (zh) 2021-11-05
US11803233B2 (en) 2023-10-31
CN110968190A (zh) 2020-04-07
US20210318748A1 (en) 2021-10-14
US20220276698A1 (en) 2022-09-01

Similar Documents

Publication Publication Date Title
US11995285B2 (en) Methods for adjusting and/or controlling immersion associated with user interfaces
CN110968190B (zh) 用于触摸检测的imu
CN110968187B (zh) 由外围设备启用的远程触摸检测
US20170115736A1 (en) Photo-Based Unlock Patterns
US20190369807A1 (en) Information processing device, information processing method, and program
US11620790B2 (en) Generating a 3D model of a fingertip for visual touch detection
US20230419439A1 (en) Warping an input image based on depth and offset information
US11782548B1 (en) Speed adapted touch detection
EP4064211A2 (en) Indicating a position of an occluded physical object
US20210216146A1 (en) Positioning a user-controlled spatial selector based on extremity tracking information and eye tracking information
US11270409B1 (en) Variable-granularity based image warping
CN112578983B (zh) 手指取向触摸检测
US11281337B1 (en) Mirror accessory for camera based touch detection
US11641460B1 (en) Generating a volumetric representation of a capture region
US20230370578A1 (en) Generating and Displaying Content based on Respective Positions of Individuals
CN113157084B (zh) 基于肢体跟踪信息和眼睛跟踪信息来定位受用户控制的空间选择器
US20240103635A1 (en) Suppression of Hand Gestures upon Detection of Peripheral Events on a Peripheral Device
CN117762243A (zh) 连续手势的运动映射
CN116888562A (zh) 将计算机生成的触控板映射到内容操纵区域

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant