CN102959616A - 自然交互的交互真实性增强 - Google Patents

自然交互的交互真实性增强 Download PDF

Info

Publication number
CN102959616A
CN102959616A CN2011800277945A CN201180027794A CN102959616A CN 102959616 A CN102959616 A CN 102959616A CN 2011800277945 A CN2011800277945 A CN 2011800277945A CN 201180027794 A CN201180027794 A CN 201180027794A CN 102959616 A CN102959616 A CN 102959616A
Authority
CN
China
Prior art keywords
image
dimensional object
dimensional
content
scene
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2011800277945A
Other languages
English (en)
Other versions
CN102959616B (zh
Inventor
阿维亚德·梅泽尔斯
亚历山大·什蓬特
塔米尔·贝利纳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Apple Inc
Original Assignee
Prime Sense Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Prime Sense Ltd filed Critical Prime Sense Ltd
Publication of CN102959616A publication Critical patent/CN102959616A/zh
Application granted granted Critical
Publication of CN102959616B publication Critical patent/CN102959616B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/189—Recording image signals; Reproducing recorded image signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Computer Graphics (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • User Interface Of Digital Computer (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Image Analysis (AREA)
  • Processing Or Creating Images (AREA)
  • Position Input By Displaying (AREA)
  • Control Of Indicators Other Than Cathode Ray Tubes (AREA)

Abstract

本发明的实施例提供了用于增强交互真实性的装置和方法，包括二维摄像机（36）和三维摄像机（38）、相关的深度投影仪和内容投影仪(48)、及连接到三维摄像机和二维摄像机的处理器(40)。使用三维摄像机的输出产生场景的深度图，并使之与二维摄像机捕获的二维图像协作，以识别出场景中的满足在其上投影图像的预定标准的三维对象。内容投影仪响应于处理器的指令将内容图像投影到三维对象上，其可通过用户手势的自动识别进行调节。

Description

自然交互的交互真实性增强
相关申请的交叉引用
本申请要求于2010年7月20日提交的美国临时申请第61/365788号的权益，该美国临时申请据此以引用方式并入。
背景技术
1.发明领域
本发明大体上涉及自然交互系统，特别地涉及自适应真实性增强和三维输入接口。
2.相关技术的描述
自然的用户界面在娱乐界和计算机产业中蓄势待发，手势控制正在补充和替代更传统和不太自然的界面，如：键盘、鼠标、游戏控制器和远程控制。然而，用户交互仍然继续大量涉及电脑显示器，从而限制了这类界面使用的适用性和易用性。有些手势控制依赖光学三维映射。
各种方法在光学三维映射技术中很著名，例如，通过处理对象的光学图像生成对象表面的三维轮廓。这种轮廓也被称为深度图或深度图像，三维映射也称被称为深度映射。
有些方法是基于将一个激光散斑图投影到对象上，然后再分析对象上的散斑图的图像。例如，PCT国际公布文件WO 2007/043036，其内容在此以引入方式并入，其描述了用于对象重建的系统和方法，其中，相干光源和随机散斑图的发生器在对象上投影相干的随机散斑图。成像单元检测照明区的光反应，并生成图像数据。对象图像中的散斑图相对于与图样的参照图像的移动被用于对象的3-D地图的实时重建。其他使用散斑图进行3-D映射的方法，在例如PCT国际公布文件WO 2007/105205的文件中有详细描述，其公开内容在此以引入方式并入。
发明内容
在某些实施例中，本发明旨在提供一种改进的内容投影设备，该设备能够察觉到其视野内的对象，辨别出该对象适合于在其上投影内容。通过控制投影内容的比例、失真和焦点以及改变投影内容本身，投影设备可适应对象的几何形状和特性。此外或可选地，投影设备可根据观看者和投影内容的关系调整投影内容，例如，其注视向量、到投影内容表面的距离，以及其他类似的参数。用于分析投影的几何形状的2D和3D输入设备也可用于与投影内容进行交互。
根据本发明公开的实施例，提供了用于投影内容的方法和装置，例如，输入设备接口，使用三维输入设备作为确定用作该内容投影的基底的最佳对象的手段。
根据本发明的实施例，提供一种数据处理装置，包括用于获取场景的传感元件，包括二维摄像机和三维摄像机，与三维摄像机和二维摄像机相连的处理器，以及该处理器被编程以使用该三维摄像机的输出生成场景的深度图，以及将深度图与通过由二维摄像机捕获的二维图像相协调，从而识别场景中的满足在其上投影图像的预定标准的三维对象，以及内容投影仪，其用于响应于处理器的指示在三维对象上建立投影图像。
根据该装置的一方面，协调深度图包括识别三维对象关于参考坐标系的具有6个自由度的位置，其中所述内容投影仪可操作以用于补偿三维对象的比例、俯仰、横摆和角位移。
根据装置的另一方面，协调深度图包括参考三维对象定义的数据库和将三维对象与数据库中的定义比较。
设备的一个方面包括可佩戴的监控器，其中所述内容投影仪可操作以在可佩戴的监控器或虚拟空间中建立投影图像作为虚拟图像，如虚拟映像。传感元件、处理器和内容投影仪可并入可佩戴的监控器中。
根据装置的另一方面，内容投影仪可操作以在虚拟表面上建立投影图像，供用户交互使用。
根据装置的另一方面，处理器可操作以响应于手势来控制计算机应用，其中投影图像包括用于控制计算机应用的用户界面。
根据装置的一方面，投影图像包括文字内容。
本发明的其他实施例提供了执行上述装置的功能的方法。
附图简述
为更好地理解本发明，参考本发明的详细描述，其通过举例的方式，可结合附图阅读详细描述，其中相同的元件被给出相同的参考数字，其中：
图1为交互式三维视频显示系统的示意性立体图，其根据本发明公开的实施例构建和操作；
图2为图1所示系统的方框图，其根据本发明的实施例构建和操作；
图3为方框图，其示出了示例的处理设备的一部分的功能元件，其根据本发明的实施例构建和操作；
图4为根据本发明的实施例，识别场景中的三维对象的示例性流程图；
图5示出了根据本发明的实施例的投影到虚拟表面上的移动设备的屏幕；以及
图6示出了根据本发明的实施例的交互式三维视频显示系统，该系统包括可佩戴的监控器。
发明的详细描述
为全面理解本发明的各种原理，在以下描述中列出了许多具体细节。然而，对本领域技术人员显而易见的是，并非所有细节对于实践本发明都是必须的。在本实例中，公知的电路、控制逻辑以及传统算法和流程的计算机程序指令的细节不会列出，以免不必要地混淆基本概念。
此处使用的术语“内容投影”可包括在可佩戴的透明监控器例如透视眼镜上建立内容的图像，因此，除了戴眼镜的人之外，其他人是看不到的；或将内容的图像建立到对与该对象交互的任何人可见的物理对象上。该术语不限于上述示例。其可包括通过多种手段形成图像，包括，视网膜投影、在透视眼镜上投影、将图像投影到虚拟空间中，例如，作为全息图，以及用于提高图像的真实性的其他技术。
系统构架
现在转到附图，首先参考图1，图1为交互式三维视频显示系统10的示意性立体图，此图根据本发明公开的实施例建立和操作。系统10包含三维(3-D)摄像机12，其可包括红外（IR）投影仪和相应的投影仪的带宽可用的CMOS/CCD摄像机。3-D摄像机12捕获3-D信息，其可包括用户身体（或至少身体的某些部分)，用户使用或操作的用于控制计算机应用的真实的实体，以及3-D摄像机12的视野内的其他对象。此类3-D成像组件的细节在例如PCT国际公布文件WO 2010/004542号和美国专利申请公布文件第2009/0183125号中描述，这两个文件在此以引入方式并入。3-D摄像机12通常在近红外光谱中操作。然而，本发明的原理同样也适用于其变型体，该变型体使3-D摄像机12能够获取在近红外线光谱之外的电磁能量，例如，远红外线或紫外线能量。系统10也可包括二维（2-D）摄像机14，其在可见光谱操作，且能够获取具有足够的分辨率的场景，其允许自动解释场景中的文字信息，并通常生成红绿蓝(RGB)输出信号。
在处理器如计算机18的控制下，3-D摄像机12和2-D摄像机14可与内容投影仪16协作。
系统10集3-D摄像机12和2-D摄像机14为一体，适合该系统10的设备为PrimeSensorTM参考设计，该设计可从PrimeSense公司购得，该公司位于美国北卡罗来纳州Cambay Ct 104号，邮政编码27513。内容投影仪16可为
Figure BDA00002528428700041
显示引擎，其可从MicroVision有限公司购得，该公司位于美国华盛顿州雷德蒙东北185大街6222号，邮政编码98052。在一些实施例中，3-D摄像机12和2-D摄像机14可与内容投影仪16集成，作为PrimeSensor参考设计的修改型式。在一个实施例中，3-D摄像机12为一个集成模块，其包括红外投影仪，此投影仪将现场图投影到对象上并获取投影图的图像。可选地，红外投影仪可嵌入单独的模块中（未示出)，其可根据美国临时申请第61/372,729号(2010年8月11日提交)和61/425,788(2010年12月22日提交)的内容实现，这些临时申请以引用方式并入。本临时申请也教导用户如何重新使用扫描硬件将深度映射所需的红外线和可见内容投影。
处理器可使用共同转让的待决的美国专利申请第12/854,187号文件中的教导分析场景，该申请题为“Analysis of Three-Dimensional Scenes”，在此以引用方式并入。
计算机18可包括通用计算机处理器，其使用软件编程以执行下述功能。例如，软件可以通过网络以电子形式下载到处理器，或可选地通过非暂时的有形存储介质提供，如光、磁或电子存储介质。可选地或此外，一些或所有的图像功能可在专用硬件中实现，例如，自定义或半自定义的集成电路或可编程的数字信号处理器(DSP)。如图1所示，虽然通过举例的方式，计算机18被示出作为与3-D摄像机12分离的单元，但部分或所有的计算机处理功能可通过与3-D摄像机12和2-D摄像机14关联的适合的专用电路或在3-D摄像机12和2-D摄像机14的外罩内的专用电路执行。如从以下讨论中所见的，系统10的元件可被小型化和并入可佩戴的监控器中，以使用户能够到处移动和近实时地与场景中更自由地交互。在任何情况下，3-D摄像机12和2-D摄像机14用作传感器部件，其观察场景（用户及其周围环境）。计算机18用作感知部件，其综合场景及这些环境中的用户交互，所述用户交互通过内容投影仪16提供的信息进行调节和激发。
计算机18可执行诸如NiteTM中间件等程序，NiteTM中间件可从PrimeSense购得，以配合PrimeSensor参考设计。例如，PrimeSensor参考设计为计算机18中的应用层提供了控制部件，通过控制部件提供一个应用程序接口(API)，该接口将用户的手势或姿势转换为已知的确定的应用输入。中间件在由系统10的组件生成的数据上执行图像处理操作，所述组件包括具有红外线投影仪的3-D摄像机12，以及2-D摄像机14，从而重建用户20和获取的场景的三维图。术语“三维图”指的是一组表示给定的对象表面的三维坐标，三维图的一种形式是指深度图像或深度图，在深度图像或深度图中，每个像素具有一个表明从摄像机到场景中的相应点的距离的值，而不是二维图像中的点的亮度和颜色。基于图案中斑点的横向位移，然后计算机18通过三角测量计算出控制实体表面的点的三维坐标。
在典型的应用程序中，由3-D摄像机12捕获的信息由计算机18处理，计算机18驱动内容投影仪16。计算机18可根据被设计用于为用户创建自然的或人为的体验的程序进行操作。如图1所示，系统10识别出了场景中的书22，将售价24投影到书22上：“售价$75.99”。用户20通过手势26对售价做出回应，该手势作为计算机18的输入，计算设备的手动控制在例如共同转让的美国专利申请公布文件第2009/0183125号中有述，该文件在此以引用方式并入，其也教导了将场景投影到虚拟的图像空间中的方法。手动控制包括在NiteTM中间件的功能之中，其可用来转译用户20的手势，例如，对三维摄像机12和二维摄像机14获取的售价24作出回应。
此外，随着用户20与书22和售价24的互动，例如，通过用户20握住书22，在计算机18中执行的注视识别模块可发现用户20正在看书22。经过处理获取的二维图像，书的标题可在系统10中被识别和转译。然后，计算最优的投影参数，书的概览被投影到书22上。用户20可以滚动并与投影的书的概览互动，如同他在显示屏上观看一样。通过这种方式，系统10和用户20协作，以特定的方式将书22转换成方便用户20使用的虚拟信息屏幕。
系统10可选地包括显示屏幕28以及传统的输入设备，如键盘30和鼠标32，该系统可为使用管理如系统配置提供用户界面，以及为用户20控制系统10的操作提供用户界面。
现参考图2，其示出了根据本发明的实施例的系统10（图1）的方框图。场景34由两个摄像机即2-D摄像机36和3-D摄像机38同时获取，其可为独立单元，或集成为组合单元。可选地，该场景可仅由3-D摄像机38或仅由2-D摄像机36获取，图像分析在任一情况下获取的图像上进行。如上文提到的，这些摄像机可实现为PrimeSensor参考设计。2-D摄像机36和3-D摄像机38输出的数据被输入到处理器40，处理器40执行中间件，例如上述的Nite中间件。中间件配准两个摄像机获取的场景。中间件包括对象分析模块42，该模块识别场景34中的对象，并确定该对象是否适于在其上投影内容。投影仪控制模块44，其为中间件的另一个组件，对场景34中的对象例如对象46的坐标和特性进行转换，并为投影准备图像。模块44为投影仪48发送合适的指令，以便能将通常包含信息内容的图像投影到对象46上。指令包含对由于对象46的比例、姿势和配置造成的失真的校正。可选地或此外，投影机48可包括补偿这类失真的其自身所有的机构。
计算投影参数的时候，可能考虑用户的位置和姿态。例如，如上所述，朝向投影内容的注视向量可因用户在场景内的移动而变化。可相应地调节投影参数以弥补这类变化，例如，可通过调整比例、视差和相似的失真，以为用户模拟真实的体验。此类调整的一个示例为：对下列现象进行校正，当从不同的方向即对象的不同侧面看去，三维对象会显得不同，或对象的不同的二维投影对观察者是显然的。投影内容可根据注视向量和用户相对于虚拟对象的位置进行调整，从而创造对象的真实体验，就好像在观察者面前一样。注视方向可由本领域中熟知的方法确定。例如，如果设备嵌入在透视眼镜中，头部位置的定位可通过世界相对于该设备的严格配准实现。视线也可被测量，例如，使用眼部跟踪产品，其可从Tobii技术有限公司购得，美国维吉尼亚州福尔斯彻奇市200套房华盛顿街510N，邮政编码22046。可使用由传感器获取的3D信息将视线转换成对象坐标。
对象意识
用于识别和跟踪身体部位的技术在共同转让的美国专利申请第2011/0052006号文件中有述，标题为“Extraction of Skeletons from 3-DMaps”，该文件在此以引用方式并入。实质上，该技术通过接收包含人类形体的场景的深度图的时间序列而实现。数字处理器处理至少一张深度图，以找到指定的身体部分的位置，例如，基于位置的人类形体的头部或手部的估算尺寸。处理器使用估算的尺寸在系列上对人类形体的运动进行跟踪。上文提到的Nite中间件中使用了这些技术，通过联系本领域技术人员已知的其他识别程序，可加强这些技术。
例如，如果要识别人体的头部，处理器可以将三维形体先分割开来并分析，以确定右臂和左臂，然后查找两臂之间的空间以找到头部。此外或可选地，识别技术可以使用。深度图可与头部或其他对象的二维图像配准。处理器可应用图案或脸部识别技术来识别二维图像中的人体的脸部。二维图像中的脸部位置与三位形体中的头部位置相关联。使用相同的技术可对完整的场景进行分析和分割，以及已识别的已知种类的对象可作为在其上投影图像的备选对象。
对象处理器
先参考图3，其为方框图，该图示意性地示出了示例的处理设备50的一部分的功能元件，其为处理器40（图2）的一个部件，其根据本发明的实施例构建和操作。处理设备50可被制造为在单个半导体基底上的专用集成电路，其USB端口52连接到可选的主机54上。设备50可还包括其他接口，以及包括对象分析仪56。对象分析仪56连接到数据库58，数据库58拥有包含待识别的对象的描述的库，其由对象分析仪56进行评估。应理解到，处理设备50的可选配置可由本领域技术人员构建。如上所述，处理设备50的操作可由内置于指令存储器60和数据存储器62内的中间件控制。
深度处理器64处理由3-D摄像机12（图1）捕获的信息，从而生成深度图。深度处理器64使用存储器66中的专用存储空间。该存储器也可由控制器68访问，而通常不由主机54控制，见以下详述。相反，深度处理器64可由主机54通过应用程序接口（API）进行编程。
深度处理器64通过深度CMOS接口70接收来自3-D摄像机12（图1）的红外输入数据。深度处理器64处理视频数据，以生成连续的深度图，如深度数据帧。深度处理器64将数据加载到USB FIFO单元74中的深度先进先出(FIFO)存储器72中。
与深度输入和处理操作并行地，彩色处理块76通过彩色CMOS传感器接口78接收来自2-D摄像机14（图1）的彩色视频输入数据。处理块76将原始输入数据转换成RGB视频数据的输出帧，并将这些数据加载到单元74中的RGB FIFO存储器8074。可选地，处理块76可以其他格式输出视频数据，例如，YUV或拜耳马赛克格式。
单元74作为各种数据提供者和USB控制器82之间的缓冲区。单元74根据不同的类（例如，USB视频类和USB音频类）将各种数据类型打包和格式化，也起着阻止因USB带宽故障而造成数据丢失的作用。在将数据转移到USB控制器之前，单元74根据USB协议和格式将数据布置到USB数据包内。
高带宽总线，例如先进的高性能总线(AHB)矩阵84，用于在处理设备50的组件之间携带数据，特别用于将数据从单元74传送到USB控制器82，然后再传送给主机54。(AHB为英国剑桥ARM公司颁布的总线协议。)当单元74中有准备好的数据包，并且USB控制器82的内存中有可用的空间时，USB控制器82使用直接存储器访问（DMA）通过AHB从模块88和矩阵84从存储器72、存储器80以及音频FIFO存储器86中读取数据。USB控制器82多路传输颜色数据、深度数据和音频数据到单个数据流中，用于经由USB端口52输出至主机54。
为了USB通信的目的，处理设备50包括一个USB物理层接口，PHY90，该接口可由USB控制器82操作，以通过合适的USB电缆与主机54的USB端口实现通信。USB PHY的时序由晶体振荡器92和锁相环94(PLL)控制，如本技术领域熟知的。
可选地，USB控制器86可以通过USB 2.0收发器宏单元接口(UTMI)和外部PHY 96可选地与主机通信。
各种外部设备可与处理设备50相连，与主机54协作，这些外部设备包括投影仪控制模块98，投影仪控制模块98接收来自处理设备50和主机54的指令，以将所需图像投影到指定的空间坐标。
控制器68负责管理处理设备50的功能，包括启动、自检、配置、电源以及接口管理和参数调整。
控制器68可包括数字信号处理器(DSP)内核100和AHB控制器102，用来控制矩阵84中的数据移动。通常，控制器68从引导（boot）只读存储器104处启动，然后将来自闪存（未示出）的程序代码通过闪存接口106加载到指令随机存取存储器60和数据存储器62中。此外，控制器68具有测试接口108，如联合测试行动小组(JTAG)接口，用于通过外部计算机110进行调试的目的。
控制器68将配置数据和参数通过寄存器配置接口112如先进外围总线（APB）分配到处理设备50的其他部件中，通过矩阵84和APB桥114将控制器连接到寄存器配置接口112。
处理设备50的更多细节在上述PCT国际公布文件WO2010/004542号中公开。
对象分析
继续参考图3，对象分析仪与处理块76和单元74协作来评估深度处理器64处理的数据，以评估3-D摄像机12（图1）捕获的场景。
由对象分析仪56执行的算法可由主机54中的应用程序命令。例如，对象分析仪56可被指示为搜索并报告数据库58中指定的场景的一个或多个已知对象。主机54可因此指示内容投影仪16（图1）将图像投影到选定的对象上。此外或可选地，对象分析仪56可被指示为识别和报告满足预定标准的对象，而无需通过数据库58。
由对象分析仪56发送的与识别的对象相关的数据通常包括对象的大小和位置及其方向，优选具有六个自由度，包括相对于参考坐标系的比例、螺距、横摆和角位移。该信息允许投影仪通过适当的缩放和扭曲投影图像来弥补失真，以将信息投影到已选对象上，从而使观察者看到大体上零失真的图像。投影图像的配置在美国专利申请公布文件第20110081072号文件中已有所描述，标题为“Image Processing Device,Image ProcessingMethod,and Program”。为了避免复杂的光学布置的花费，图像可在软件中进行配置，从而避免复杂的光学布置的成本及能够更容易地实现不受离轴图像失真的影响。可选地，如上所述，商用项目可以提供自己的失真控制补偿。
现参考图4，图4为根据本发明实施例的识别场景中的三维对象的方法的示例性流程图。为便于演示，该方法结合在图1和图3中示出的装置，该方法适用于不同配置的装置。为了便于演示，该过程的步骤在图4中以特定的线性序列示出。然而，显而易见的是，其中许多步骤可以同时地、异步地或以不同顺序执行。本领域技术人员也可理解，过程可替代地表示为许多相互关联的状态或事件，例如，以状态图的形式。此外，在实施该过程时，并非所有示出的过程步骤均要求执行。另外，许多细节可根据主机54的命令和应用程序的要求而变化。
假设观察者在书店里。在初始步骤116，在主机54中执行的应用程序，将识别一本显示文本信息的翻开的书。这是在数据库58中具有已知定义的三维对象，该三维对象包括至少一个一般的浅色平面。3-D摄像机12启动并且在处理设备50中捕获三维场景。对象分析仪56评估场景，并在三维空间中定位和识别对象。
在判断步骤118，确定是否在场景中定位了平面。
现在控制进入到判断步骤120，该阶段确定该平面是否符合书的标准。该标准可涉及对应于合上的或打开的书本的内部特征、大小、与某个其他对象的接近程度以及几何特性。
如果判断步骤120确定为是，则控制流程进入最后的步骤122。对象分析仪56将书的坐标和方向报告给控制器68，控制器指示投影仪控制模块98与主机54协作，以显示在识别的书上的确定应用的图像(MENU-1)。例如，图像可包括采购项目或获取书的其他信息例如书的预览、和普及率的选项。事实上，如果3-D摄像机12成功地捕获书名，附加信息可包括在投影图像中。假设主机54可以访问本地或分配的数据库，或能够通过互联网自动查询。
如果判断步骤120确定为否，则控制流程进入判断步骤124。当场景中出现多个对象用于处理时，必须作出判断。
如果判断步骤124确定为是，则控制流程返回到判断步骤118。
如果判断步骤124确定为否，则本方法的第二种状态将开始运作。假设应用程序进入第二个选项，其中如果图像对3-D摄像机12为可见的，图像将投影到用户的手上。
控制流程进入判断步骤126，该阶段确定人体部位是否出现在场景中。使用上述美国专利申请公布文件第2011/0052006号的描述可以完成该步骤。
如果判断步骤126确定为是，则控制流程进入判断步骤128，该阶段确定人体部位是否为手。
如果判断步骤128确定为是，那么控制流程进入最后的步骤130，该步骤类似于步骤122。然而，不同的菜单(MENU-2)被投影到手上，例如，其可包括用于控制计算机应用的控制选项。在最后的步骤122和130中，配置图像，从而当与内容进行交互时，为用户部分创建自然的感觉。
如果判断步骤128确定为否，则控制流程进入判断步骤132。如果场景中出现多个对象用于处理时，则作出判断。
如果判断步骤132确定为是，则控制流程返回到判断步骤126。否则，控制流程进行到最后的步骤134，在该步骤中，显示屏上呈现传统的菜单显示。最后的步骤134表示未能识别出适合在其上投影图像的外部对象。将理解，图4所示的方法可根据需要被改变和详细制定以符合管理应用程序的规范。可对各种对象和图像的识别与优化进行编程，以适应特定场景的配置和程序本身的需要。
可选实施例1
本实施例类似于第一实施例，除了供投影图像和用户使用的简便的虚拟表面之外。现在参考图5，其图示了根据本发明的实施例的一般的移动信息设备138的屏幕136，所述移动信息设备138例如移动电话，如被投影到虚拟表面上的“智能手机”。此类设备很小，不能方便地进行交互和使用介质。屏幕136集成了微型投影仪140和传感装置142，其具有与图1的实施方式中的3-D摄像机12和内容投影仪16相同的功能。例如，适合此用途的投影仪可从Microvision购得。在本实施例中，投影仪140将图像投影到虚拟的投影表面144上，其相对于屏幕136被放大。
在一种操作模式中，投影仪140可创建显示在屏幕136上的信息的放大形式。
在另一种操作模式中，传感装置142捕获外部场景。移动信息设备138经配置以执行参考图4所述的场景分析的方法。在该示例中，打开的书146在外部场景中被识别出来。在移动信息设备138中执行的应用程序使投影仪140将书146中的图像148投影到投影表面144上，并将菜单150叠加到图像148上。菜单150邀请用户购买售价为$75.99的书146或取消显示。
可选实施例2
在第一个实施例中，描述了将图像投影到物理对象上，例如，书或手上。在本实施例中，投影仪可被体现为将内容投影到可佩戴的监控器例如，眼镜上的装置。在本实施例中，在图4的方法中的最后的步骤122和最后的步骤130被修改。
现在参考图6，其图示了根据本发明的实施例的具有可佩戴的监控器的交互式三维视频显示系统。该系统被设置为将各自的图像投影到可佩戴的监控器上，而不是投影到对象本身。此类设备为允许参考图4所述的方法产生的计算机生成的图像被生成并可选地叠加到真实场景提供了可能性。在观看外部场景时，该设备可以通过部分反射的镜子来投影计算机生成图像来操作。此外可选地，该设备可电子地将计算机生成的图像和真实场景混合。
在图6的示例中，用户152使用了可佩戴的监控器154，该监控器能显示立体图像。可佩戴的监控器154设置有与系统10（图1）的元件类似的元件或与该元件接口。类似系统10，可佩戴的监控器154用于分析外部场景。在该示例中，其识别出书146，并生成图像156，图像156包括与图像148（图5）相同的信息。可佩戴的监控器154可为独立的单元，或可以包含系统10的其他组件。在图6的实施例中，可佩戴的监控器154包括微型投影仪158和传感元件160。此外或可选地，可佩戴的监控器154可通过无线连接与外部处理器或传感设备进行通信。用作可佩戴的监控器154的合适的可佩戴的头盔显示器和透视眼镜显示器可从Madison line ofNovero（novero.com）获得，或从Lumus有限公司（位于以色列雷霍沃特2伯格曼街，邮政编码76705）购得。
虽然图像156实际建立在可佩戴的监控器154中，但在一些实施例中，用户152可能认为图像156被叠加在图6所示的空间的外部区域。在该实施例中的可佩戴的监控器154配有定位、头部跟踪和眼部跟踪的子系统。
本领域技术人员应理解到，本发明并不局限于特别示出和上文描述的实施例。相反，本发明的方面包括上述各种特征的组合和子组合，以及现有技术没有的特征的变化和修改，本领域技术人员在阅读上述内容后，这些变化和修改将是显然的。

Claims (46)

1.一种数据处理装置，包括：
传感元件，其用于获取场景，所述传感元件包括三维摄像机；
处理器，其连接到所述三维摄像机且被编程以使用所述三维摄像机的输出产生所述场景的深度图，以及进行场景分析以识别所述场景中的满足在其上投影图像的预定标准的三维对象；以及
内容投影仪，其用于响应于所述处理器的指令来形成图像。
2.根据权利要求1所述的装置，其中，形成所述图像包括将所述图像投影到所述三维对象上。
3.根据权利要求1所述的装置，其中，形成所述图像包括将所述图像投影到用户的视网膜上。
4.根据权利要求1所述的装置，其中，形成所述图像包括将所述图像投影到透视眼镜上。
5.根据权利要求1所述的装置，其中，形成所述图像包括将所述图像投影到三维虚拟空间。
6.根据权利要求1所述的装置，其中，所述处理器的所述指令响应于所述场景分析，以及其中所述处理器与所述内容投影仪协作，用于响应于所述场景分析改变至少一个投影参数和所述图像的内容。
7.根据权利要求1所述的装置，其中，所述处理器与所述内容投影仪协作，用于响应于用户与所述场景之间的交互来改变所述图像的特性。
8.根据权利要求7所述的装置，其中，所述交互包括所述用户朝向所述三维对象的注视向量的变化。
9.根据权利要求7所述的装置，其中，所述交互包括所述用户的与所述三维对象相关的手势。
10.根据权利要求7所述的装置，其中，改变所述图像的特性包括改变比例和失真补偿中的至少一个。
11.根据权利要求1所述的装置，还包括用于捕获所述场景的二维图像的二维摄像机，其中，所述处理器可操作以用于识别所述二维图像中的与所述三维对象相关的信息，以及还响应于所述识别信息可操作和用于指示所述内容投影仪包括所述图像中的所述三维对象的元数据。
12.根据权利要求1所述的装置，其中，识别所述三维对象包括识别所述三维对象相对于参考坐标系的具有6个自由度的位置，其中，所述内容投影仪可操作以补偿所述三维对象的比例、俯仰、横摆和角位移。
13.根据权利要求1所述的装置，其中，识别所述三维对象包括参考三维对象定义的数据库以及将所述三维对象与所述数据库中的所述定义比较。
14.根据权利要求1所述的装置，还包括可佩戴的监控器，其中所述内容投影仪可操作以在所述可佩戴的监控器中建立所述图像作为虚拟图像。
15.根据权利要求14所述的装置，其中，所述传感元件、所述处理器和所述内容投影仪并入到所述可佩戴的监控器中。
16.根据权利要求14所述的装置，其中，所述可佩戴的监控器包括透视眼镜。
17.根据权利要求1所述的装置，其中，所述内容投影仪可操作以在虚拟表面上建立所述图像，用于用户与之交互。
18.根据权利要求1所述的装置，其中，所述处理器可操作以用于响应于手势来控制计算机应用，以及其中，所述图像包括用于控制所述计算机应用的用户界面。
19.根据权利要求1所述的装置，其中，所述图像包括书面内容。
20.一种用于加强与数据处理系统的交互的方法，包括下述步骤：
捕获场景的三维图像；
使用数字处理器处理所述三维图像以定位其中的三维对象，以及确定所述三维对象满足预定的标准；以及
形成用户与之交互的包含内容的图像。
21.根据权利要求20所述的方法，其中，形成所述包含内容的图像包括将所述包含内容的图像投影到所述三维对象中的一个。
22.根据权利要求20所述的方法，其中，形成所述包含内容的图像包括将所述包含内容的图像投影到所述用户的视网膜上。
23.根据权利要求20所述的方法，其中，形成所述包含内容的图像包括将所述包含内容的图像投影到透视眼镜上。
24.根据权利要求20所述的方法，其中，形成所述包含内容的图像包括将所述包含内容的图像投影到三维虚拟空间。
25.根据权利要求20所述的方法，还包括响应于所述用户与所述场景之间的交互来改变所述包含内容的图像的特性的步骤。
26.根据权利要求25所述的方法，其中，所述交互包括所述用户朝向所述三维对象的一个的注视向量的变化。
27.根据权利要求25所述的方法，其中，所述交互包括所述用户的与所述三维对象中的一个相关的手势。
28.根据权利要求25所述的方法，其中，改变包含内容的图像的特性包括改变比例和失真补偿中的至少一个。
29.根据权利要求20所述的方法，还包括下述步骤：
捕获与所述三维图像配准的所述场景的二维图像；
识别所述二维图像中的与所述三维对象相关的信息；以及
响应于所识别的信息改变所述包含内容的图像。
30.根据权利要求20所述的方法，还包括下述步骤：
识别与所述包含内容的图像相关的手势；以及
响应于所述手势来控制计算机应用。
31.根据权利要求30所述的方法，其中，所述包含内容的图像包括用于控制所述计算机应用的用户界面。
32.根据权利要求20所述的方法，其中，处理所述三维图像包括识别所述三维对象中的一个三维对象关于参考坐标系的具有6个自由度的位置，以及形成包含内容的图像包括补偿所述一个三维对象的比例、俯仰、横摆和角位移。
33.根据权利要求20所述的方法，其中，处理所述三维图像包括参考三维对象定义的数据库以及将所述三维对象与所述数据库中的所述定义比较。
34.根据权利要求20所述的方法，其中，所述三维对象之一为人类形体的一部分。
35.一种用于加强与数据处理系统的交互的方法，包括下述步骤：
接收场景的深度图，所述场景包括满足在其上投影图像的第一标准的三维对象；
接收所述场景的二维图像；
使用数字处理器处理所述深度图以定位所述对象；
执行计算机应用以分析所述二维图像，从而根据第二标准识别出所述三维对象中最合适的一个；
将所述计算机应用的用户界面作为包含内容的图像投影到所述三维对象中的所述最合适的一个上；
使用所述数字处理器识别手势；
将所述手势转译为与所述用户界面的交互；以及
响应于所述交互来控制所述计算机应用。
36.根据权利要求35所述的方法，其中，处理所述深度图包括识别所述三维对象中的所述最合适的一个关于参考坐标系的具有6个自由度的位置，以及投影用户界面包括补偿所述最合适的一个的比例、俯仰、横摆和角位移。
37.根据权利要求35所述的方法，其中，处理所述深度图包括参考三维对象定义的数据库以及将所述三维对象与所述数据库中的所述定义比较。
38.根据权利要求35所述的方法，其中，所述深度图中的所述三维对象之一为人类形体的一部分。
39.一种用于加强与数据处理系统的交互的方法，包括下述步骤：
接收场景的深度图，所述场景包括满足在其上投影图像的第一标准的三维对象；
使用数字处理器处理所述深度图以定位所述对象；
执行计算机应用以根据第二标准识别出所述对象中的最合适的一个对象；
将所述一个对象的图像投影到虚拟表面上；
使用所述数字处理器识别手势；
将所述手势转译为与所述一个对象的图像的交互；以及
响应于所述交互来控制所述计算机应用。
40.根据权利要求39所述的方法，其中，处理所述深度图包括识别所述一个对象关于参考坐标系的具有6个自由度的位置，以及投影所述一个对象的图像包括补偿所述一个对象的比例、俯仰、横摆和角位移。
41.根据权利要求39所述的方法，其中，处理所述深度图包括参考三维对象定义的数据库以及将所述深度图中的所述三维对象与所述数据库中的所述定义比较。
42.根据权利要求39所述的方法，其中，所述一个对象的图像还包括用于控制所述计算机应用的用户界面。
43.一种用于加强与数据处理系统的交互的方法，包括下述步骤：
接收场景的深度图，所述场景包括满足在其上投影图像的第一标准的三维对象；
使用数字处理器处理所述深度图以定位所述对象；
执行计算机应用以根据第二标准识别出所述对象中的最合适的一个对象；
将所述一个对象的图像投影到可佩戴的监控器上；
使用所述数字处理器识别用户的手势；
将所述手势转译为与所述一个对象的图像的交互；以及
响应于所述交互来控制所述计算机应用。
44.根据权利要求43所述的方法，其中，处理所述深度图包括识别所述一个对象关于参考坐标系的具有6个自由度的位置，以及投影所述一个对象的图像包括补偿所述一个对象的比例、俯仰、横摆和角位移。
45.根据权利要求43所述的方法，其中，处理所述深度图包括参考三维对象定义的数据库以及将所述三维对象与所述数据库中的所述定义比较。
46.根据权利要求43所述的方法，其中，所述一个对象的图像还包括用于控制所述计算机应用的用户界面。
CN201180027794.5A 2010-07-20 2011-07-18 自然交互的交互真实性增强 Active CN102959616B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US36578810P 2010-07-20 2010-07-20
US61/365,788 2010-07-20
PCT/IB2011/053192 WO2012011044A1 (en) 2010-07-20 2011-07-18 Interactive reality augmentation for natural interaction

Publications (2)

Publication Number Publication Date
CN102959616A true CN102959616A (zh) 2013-03-06
CN102959616B CN102959616B (zh) 2015-06-10

Family

ID=45496575

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201180027794.5A Active CN102959616B (zh) 2010-07-20 2011-07-18 自然交互的交互真实性增强

Country Status (4)

Country Link
US (1) US9158375B2 (zh)
JP (1) JP5791131B2 (zh)
CN (1) CN102959616B (zh)
WO (1) WO2012011044A1 (zh)

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103207709A (zh) * 2013-04-07 2013-07-17 布法罗机器人科技（苏州）有限公司 一种多点触摸系统及方法
CN103677255A (zh) * 2012-09-03 2014-03-26 三星电子株式会社 三维距离信息提取方法和装置、终端、手势操作执行方法
CN104065949A (zh) * 2014-06-26 2014-09-24 深圳奥比中光科技有限公司 一种电视虚拟触控方法及系统
WO2014186972A1 (en) * 2013-05-24 2014-11-27 Thomson Licensing Method and apparatus for rendering object for multiple 3d displays
US20160026242A1 (en) 2014-07-25 2016-01-28 Aaron Burns Gaze-based object placement within a virtual reality environment
CN105589552A (zh) * 2014-10-30 2016-05-18 联想(北京)有限公司 基于手势的投影交互方法及投影交互设备
CN105975085A (zh) * 2016-06-01 2016-09-28 云南滇中恒达科技有限公司 一种新媒体ar互动投影系统
CN106030457A (zh) * 2014-02-27 2016-10-12 微软技术许可有限责任公司 在过程期间跟踪对象
CN106575156A (zh) * 2014-07-25 2017-04-19 微软技术许可有限责任公司 虚拟对象的智能放置以停留在头戴式显示器的视野中
CN107003737A (zh) * 2014-12-03 2017-08-01 微软技术许可有限责任公司 用于自然用户输入的指示器投影
CN109407899A (zh) * 2018-09-12 2019-03-01 北京星云城科技有限公司 一种桌面交互投影系统
US10311638B2 (en) 2014-07-25 2019-06-04 Microsoft Technology Licensing, Llc Anti-trip when immersed in a virtual reality environment
US10451875B2 (en) 2014-07-25 2019-10-22 Microsoft Technology Licensing, Llc Smart transparency for virtual objects
CN110488489A (zh) * 2018-05-15 2019-11-22 苹果公司 用于头戴式壳体的眼睛登记
US10649212B2 (en) 2014-07-25 2020-05-12 Microsoft Technology Licensing Llc Ground plane adjustment in a virtual reality environment
CN112530025A (zh) * 2014-12-18 2021-03-19 脸谱科技有限责任公司 用于提供虚拟现实环境的用户界面的系统、设备及方法
US11749018B1 (en) 2019-05-28 2023-09-05 Apple Inc. Eye enrollment for head-mounted enclosure

Families Citing this family (86)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8933876B2 (en) 2010-12-13 2015-01-13 Apple Inc. Three dimensional user interface session control
US9035876B2 (en) 2008-01-14 2015-05-19 Apple Inc. Three-dimensional user interface session control
JP2012000165A (ja) * 2010-06-14 2012-01-05 Sega Corp ビデオゲーム装置
WO2012011044A1 (en) 2010-07-20 2012-01-26 Primesense Ltd. Interactive reality augmentation for natural interaction
US9201501B2 (en) * 2010-07-20 2015-12-01 Apple Inc. Adaptive projector
US8959013B2 (en) 2010-09-27 2015-02-17 Apple Inc. Virtual keyboard for a non-tactile three dimensional user interface
US9292973B2 (en) 2010-11-08 2016-03-22 Microsoft Technology Licensing, Llc Automatic variable virtual focus for augmented reality displays
US9304319B2 (en) 2010-11-18 2016-04-05 Microsoft Technology Licensing, Llc Automatic focus improvement for augmented reality displays
US8872762B2 (en) 2010-12-08 2014-10-28 Primesense Ltd. Three dimensional user interface cursor control
US9213405B2 (en) 2010-12-16 2015-12-15 Microsoft Technology Licensing, Llc Comprehension and intent-based content for augmented reality displays
WO2012107892A2 (en) 2011-02-09 2012-08-16 Primesense Ltd. Gaze detection in a 3d mapping environment
US9857868B2 (en) 2011-03-19 2018-01-02 The Board Of Trustees Of The Leland Stanford Junior University Method and system for ergonomic touch-free interface
US8840466B2 (en) 2011-04-25 2014-09-23 Aquifi, Inc. Method and system to create three-dimensional mapping in a two-dimensional game
US8881051B2 (en) 2011-07-05 2014-11-04 Primesense Ltd Zoom-based gesture user interface
US9377865B2 (en) 2011-07-05 2016-06-28 Apple Inc. Zoom-based gesture user interface
US9459758B2 (en) 2011-07-05 2016-10-04 Apple Inc. Gesture-based interface with enhanced features
US9030498B2 (en) 2011-08-15 2015-05-12 Apple Inc. Combining explicit select gestures and timeclick in a non-tactile three dimensional user interface
US9153195B2 (en) 2011-08-17 2015-10-06 Microsoft Technology Licensing, Llc Providing contextual personal information by a mixed reality device
US20130044912A1 (en) 2011-08-19 2013-02-21 Qualcomm Incorporated Use of association of an object detected in an image to obtain information to display to a user
WO2013028908A1 (en) 2011-08-24 2013-02-28 Microsoft Corporation Touch and social cues as inputs into a computer
US9122311B2 (en) 2011-08-24 2015-09-01 Apple Inc. Visual feedback for tactile and non-tactile user interfaces
US9218063B2 (en) 2011-08-24 2015-12-22 Apple Inc. Sessionless pointing user interface
CA2750287C (en) 2011-08-29 2012-07-03 Microsoft Corporation Gaze detection in a see-through, near-eye, mixed reality display
US9323325B2 (en) * 2011-08-30 2016-04-26 Microsoft Technology Licensing, Llc Enhancing an object of interest in a see-through, mixed reality display device
US20130147801A1 (en) * 2011-12-09 2013-06-13 Samsung Electronics Co., Ltd. Electronic apparatus, method for producing augmented reality image, and computer-readable recording medium
US8854433B1 (en) 2012-02-03 2014-10-07 Aquifi, Inc. Method and system enabling natural user interface gestures with an electronic system
WO2013119221A1 (en) * 2012-02-08 2013-08-15 Intel Corporation Augmented reality creation using a real scene
US9229534B2 (en) 2012-02-28 2016-01-05 Apple Inc. Asymmetric mapping for tactile and non-tactile user interfaces
US20130234930A1 (en) * 2012-03-07 2013-09-12 Julian Palacios Goerger Scanning mirror laser and projector head-up display glasses
US9377863B2 (en) 2012-03-26 2016-06-28 Apple Inc. Gaze-enhanced virtual touchscreen
JP5550670B2 (ja) * 2012-03-28 2014-07-16 株式会社デンソーアイティーラボラトリ 情報処理装置
US9218526B2 (en) 2012-05-24 2015-12-22 HJ Laboratories, LLC Apparatus and method to detect a paper document using one or more sensors
US9111135B2 (en) 2012-06-25 2015-08-18 Aquifi, Inc. Systems and methods for tracking human hands using parts based template matching using corresponding pixels in bounded regions of a sequence of frames that are a specified distance interval from a reference camera
US9098739B2 (en) 2012-06-25 2015-08-04 Aquifi, Inc. Systems and methods for tracking human hands using parts based template matching
US9286530B2 (en) 2012-07-17 2016-03-15 Cognex Corporation Handheld apparatus for quantifying component features
US9275302B1 (en) * 2012-08-24 2016-03-01 Amazon Technologies, Inc. Object detection and identification
WO2014032089A1 (en) * 2012-08-28 2014-03-06 University Of South Australia Spatial augmented reality (sar) application development system
KR102158096B1 (ko) * 2012-09-03 2020-10-23 삼성전자주식회사 인식 대상으로부터 3차원 거리 정보 추출하는 방법 및 이를 위한 장치
US8836768B1 (en) 2012-09-04 2014-09-16 Aquifi, Inc. Method and system enabling natural user interface gestures with user wearable glasses
CN102902356B (zh) * 2012-09-18 2015-08-26 华南理工大学 一种手势控制系统及其控制方法
WO2014107182A1 (en) * 2013-01-04 2014-07-10 Intel Corporation Multi-distance, multi-modal natural user interaction with computing devices
US9129155B2 (en) 2013-01-30 2015-09-08 Aquifi, Inc. Systems and methods for initializing motion tracking of human hands using template matching within bounded regions determined using a depth map
US9092665B2 (en) 2013-01-30 2015-07-28 Aquifi, Inc Systems and methods for initializing motion tracking of human hands
EP2926225A4 (en) 2013-02-14 2016-07-27 Apple Inc FLEXIBLE ROOM CONTROLS
US9298266B2 (en) 2013-04-02 2016-03-29 Aquifi, Inc. Systems and methods for implementing three-dimensional (3D) gesture based graphical user interfaces (GUI) that incorporate gesture reactive interface objects
US9563955B1 (en) * 2013-05-15 2017-02-07 Amazon Technologies, Inc. Object tracking techniques
US10075630B2 (en) 2013-07-03 2018-09-11 HJ Laboratories, LLC Providing real-time, personal services by accessing components on a mobile device
US9798388B1 (en) 2013-07-31 2017-10-24 Aquifi, Inc. Vibrotactile system to augment 3D input systems
WO2015027114A1 (en) * 2013-08-21 2015-02-26 Nantmobile, Llc Chroma key content management systems and methods
JP6263917B2 (ja) * 2013-09-17 2018-01-24 ソニー株式会社 情報処理装置、情報処理方法及びコンピュータプログラム
US10203399B2 (en) 2013-11-12 2019-02-12 Big Sky Financial Corporation Methods and apparatus for array based LiDAR systems with reduced interference
US9195124B2 (en) * 2013-12-20 2015-11-24 Plantronics, Inc. Automatic projector safety protocols
US9484005B2 (en) * 2013-12-20 2016-11-01 Qualcomm Incorporated Trimming content for projection onto a target
US9507417B2 (en) 2014-01-07 2016-11-29 Aquifi, Inc. Systems and methods for implementing head tracking based graphical user interfaces (GUI) that incorporate gesture reactive interface objects
US9619105B1 (en) 2014-01-30 2017-04-11 Aquifi, Inc. Systems and methods for gesture based interaction with viewpoint dependent user interfaces
US9360554B2 (en) 2014-04-11 2016-06-07 Facet Technology Corp. Methods and apparatus for object detection and identification in a multiple detector lidar array
US9715865B1 (en) * 2014-09-26 2017-07-25 Amazon Technologies, Inc. Forming a representation of an item with light
US10297082B2 (en) 2014-10-07 2019-05-21 Microsoft Technology Licensing, Llc Driving a projector to generate a shared spatial augmented reality experience
US10036801B2 (en) 2015-03-05 2018-07-31 Big Sky Financial Corporation Methods and apparatus for increased precision and improved range in a multiple detector LiDAR array
US9525863B2 (en) 2015-04-29 2016-12-20 Apple Inc. Time-of-flight depth mapping with flexible scan pattern
CN104883557A (zh) * 2015-05-27 2015-09-02 世优（北京）科技有限公司 实时全息投影方法、装置及系统
US11054664B2 (en) * 2015-06-18 2021-07-06 Apple Inc. Monitoring DOE performance using software scene evaluation
US9927974B2 (en) * 2015-09-22 2018-03-27 Qualcomm Incorporated Automatic customization of keypad key appearance
GB2544827A (en) * 2015-09-25 2017-05-31 Pixel Matter Ltd Viewer and viewing method
WO2017122363A1 (ja) * 2016-01-15 2017-07-20 楽天株式会社 コンテンツ投影制御装置、コンテンツ投影制御方法及びプログラム
JP6859999B2 (ja) 2016-02-23 2021-04-14 ソニー株式会社 遠隔操作装置、および遠隔操作方法、遠隔操作システム、並びにプログラム
US9866816B2 (en) 2016-03-03 2018-01-09 4D Intellectual Properties, Llc Methods and apparatus for an active pulsed 4D camera for image acquisition and analysis
US10234935B2 (en) 2016-08-11 2019-03-19 Microsoft Technology Licensing, Llc Mediation of interaction methodologies in immersive environments
US10540491B1 (en) * 2016-10-25 2020-01-21 Wells Fargo Bank, N.A. Virtual and augmented reality signatures
US9983684B2 (en) 2016-11-02 2018-05-29 Microsoft Technology Licensing, Llc Virtual affordance display at virtual target
JP6866467B2 (ja) * 2017-02-20 2021-04-28 シャープＮｅｃディスプレイソリューションズ株式会社 ジェスチャー認識装置、ジェスチャー認識方法、ジェスチャー認識装置を備えたプロジェクタおよび映像信号供給装置
US10937240B2 (en) 2018-01-04 2021-03-02 Intel Corporation Augmented reality bindings of physical objects and virtual objects
WO2020123271A1 (en) 2018-12-12 2020-06-18 Merck Sharp & Dohme Corp. Cyclobutyl pyrazolopyrimidine pde9 inhibitors
US11302055B2 (en) 2019-04-01 2022-04-12 Apple Inc. Distributed processing in computer generated reality system
US11533351B2 (en) 2020-09-24 2022-12-20 Apple Inc. Efficient delivery of multi-camera interactive content
US11722540B2 (en) 2020-09-24 2023-08-08 Apple Inc. Distributed encoding
US11728932B2 (en) 2020-09-25 2023-08-15 Apple Inc. Communication system with improved reliability
US11742973B2 (en) 2020-09-25 2023-08-29 Apple Inc. Multi-protocol synchronization
EP4295314A1 (en) 2021-02-08 2023-12-27 Sightful Computers Ltd Content sharing in extended reality
JP2024509722A (ja) 2021-02-08 2024-03-05 サイトフル コンピューターズ リミテッド エクステンデッドリアリティにおけるユーザ相互作用
EP4288856A1 (en) 2021-02-08 2023-12-13 Sightful Computers Ltd Extended reality for productivity
WO2023009580A2 (en) 2021-07-28 2023-02-02 Multinarity Ltd Using an extended reality appliance for productivity
CN114040097A (zh) * 2021-10-27 2022-02-11 苏州金螳螂文化发展股份有限公司 一种基于多通道图像采集融合的大场景交互动作捕捉系统
US20230334795A1 (en) 2022-01-25 2023-10-19 Multinarity Ltd Dual mode presentation of user interface elements
US11948263B1 (en) 2023-03-14 2024-04-02 Sightful Computers Ltd Recording the complete physical and extended reality environments of a user
US12073054B2 (en) 2022-09-30 2024-08-27 Sightful Computers Ltd Managing virtual collisions between moving virtual objects

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040258314A1 (en) * 2003-06-23 2004-12-23 Shoestring Research, Llc Region segmentation and characterization systems and methods for augmented reality
CN1973311A (zh) * 2004-03-26 2007-05-30 高桥淳 具有三维视觉指示功能的三维立体数字放大镜系统
WO2010004542A1 (en) * 2008-07-09 2010-01-14 Prime Sense Ltd Integrated processor for 3d mapping

Family Cites Families (195)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4550250A (en) 1983-11-14 1985-10-29 Hei, Inc. Cordless digital graphics input device
US4789921A (en) 1987-02-20 1988-12-06 Minnesota Mining And Manufacturing Company Cone shaped Fresnel reflector
US4988981B1 (en) 1987-03-17 1999-05-18 Vpl Newco Inc Computer data entry and manipulation apparatus and method
US5588139A (en) 1990-06-07 1996-12-24 Vpl Research, Inc. Method and system for generating objects for a multi-person virtual world using data flow networks
US5973700A (en) 1992-09-16 1999-10-26 Eastman Kodak Company Method and apparatus for optimizing the resolution of images which have an apparent depth
US5495576A (en) 1993-01-11 1996-02-27 Ritchey; Kurtis J. Panoramic image based virtual reality/telepresence audio-visual system and method
US5594469A (en) 1995-02-21 1997-01-14 Mitsubishi Electric Information Technology Center America Inc. Hand gesture machine control system
US6535210B1 (en) 1995-06-07 2003-03-18 Geovector Corp. Vision system computer modeling apparatus including interaction with real scenes with respect to perspective and spatial relationship as measured in real-time
US5852672A (en) 1995-07-10 1998-12-22 The Regents Of The University Of California Image system for three dimensional, 360 DEGREE, time sequence surface mapping of moving objects
RU2109336C1 (ru) 1995-07-14 1998-04-20 Нурахмед Нурисламович Латыпов Способ погружения пользователя в виртуальную реальность и устройство для его реализации
EP0768511A1 (en) 1995-10-16 1997-04-16 European Community Optical three-dimensional profilometry method based on processing speckle images in partially coherent light, and interferometer implementing such a method
US5862256A (en) 1996-06-14 1999-01-19 International Business Machines Corporation Distinguishing gestures from handwriting in a pen based computer by size discrimination
US5864635A (en) 1996-06-14 1999-01-26 International Business Machines Corporation Distinguishing gestures from handwriting in a pen based computer by stroke analysis
US6084979A (en) 1996-06-20 2000-07-04 Carnegie Mellon University Method for creating virtual reality
US6002808A (en) 1996-07-26 1999-12-14 Mitsubishi Electric Information Technology Center America, Inc. Hand gesture control system
US6118888A (en) 1997-02-28 2000-09-12 Kabushiki Kaisha Toshiba Multi-modal interface apparatus and method
US5917937A (en) 1997-04-15 1999-06-29 Microsoft Corporation Method for performing stereo matching to recover depths, colors and opacities of surface elements
US6049327A (en) 1997-04-23 2000-04-11 Modern Cartoons, Ltd System for data management based onhand gestures
US6008813A (en) 1997-08-01 1999-12-28 Mitsubishi Electric Information Technology Center America, Inc. (Ita) Real-time PC based volume rendering system
US6720949B1 (en) 1997-08-22 2004-04-13 Timothy R. Pryor Man machine interfaces and applications
US6072494A (en) 1997-10-15 2000-06-06 Electric Planet, Inc. Method and apparatus for real-time gesture recognition
WO1999035633A2 (en) 1998-01-06 1999-07-15 The Video Mouse Group Human motion following computer mouse and game controller
US7844914B2 (en) 2004-07-30 2010-11-30 Apple Inc. Activating virtual keys of a touch-screen virtual keyboard
US6076928A (en) 1998-06-15 2000-06-20 Fateh; Sina Ideal visual ergonomic system for computer users
US6064354A (en) 1998-07-01 2000-05-16 Deluca; Michael Joseph Stereoscopic user interface method and apparatus
US6252988B1 (en) 1998-07-09 2001-06-26 Lucent Technologies Inc. Method and apparatus for character recognition using stop words
US6681031B2 (en) 1998-08-10 2004-01-20 Cybernet Systems Corporation Gesture-controlled interfaces for self-service machines and other applications
US6501515B1 (en) 1998-10-13 2002-12-31 Sony Corporation Remote control system
CN1145872C (zh) 1999-01-13 2004-04-14 国际商业机器公司 手写汉字自动分割和识别方法以及使用该方法的系统
US7003134B1 (en) 1999-03-08 2006-02-21 Vulcan Patents Llc Three dimensional object pose estimation which employs dense depth information
US6614422B1 (en) 1999-11-04 2003-09-02 Canesta, Inc. Method and apparatus for entering data using a virtual input device
GB9913687D0 (en) 1999-06-11 1999-08-11 Canon Kk Image processing apparatus
US6512385B1 (en) 1999-07-26 2003-01-28 Paul Pfaff Method for testing a device under test including the interference of two beams
US6512838B1 (en) 1999-09-22 2003-01-28 Canesta, Inc. Methods for enhancing performance and data acquired from three-dimensional image systems
US7548874B2 (en) 1999-10-21 2009-06-16 International Business Machines Corporation System and method for group advertisement optimization
US6507353B1 (en) 1999-12-10 2003-01-14 Godot Huard Influencing virtual actors in an interactive environment
WO2001056007A1 (en) 2000-01-28 2001-08-02 Intersense, Inc. Self-referenced tracking
JP2001307134A (ja) 2000-04-19 2001-11-02 Sony Corp 三次元モデル処理装置および三次元モデル処理方法、並びにプログラム提供媒体
US20070078552A1 (en) 2006-01-13 2007-04-05 Outland Research, Llc Gaze-based power conservation for portable media players
US6456262B1 (en) 2000-05-09 2002-09-24 Intel Corporation Microdisplay with eye gaze detection
AU2001275308A1 (en) 2000-06-06 2001-12-17 Frauenhofer Institut Fuer Graphische Datenverarbeitung The extended virtual table: an optical extension for table-like projection systems
US7042442B1 (en) 2000-06-27 2006-05-09 International Business Machines Corporation Virtual invisible keyboard
US7227526B2 (en) 2000-07-24 2007-06-05 Gesturetek, Inc. Video-based image control system
US6686921B1 (en) 2000-08-01 2004-02-03 International Business Machines Corporation Method and apparatus for acquiring a set of consistent image maps to represent the color of the surface of an object
JP3974359B2 (ja) 2000-10-31 2007-09-12 株式会社東芝 オンライン文字認識装置及び方法並びにコンピュータ読み取り可能な記憶媒体及びオンライン文字認識プログラム
US6816615B2 (en) 2000-11-10 2004-11-09 Microsoft Corporation Implicit page breaks for digitally represented handwriting
JP3631151B2 (ja) 2000-11-30 2005-03-23 キヤノン株式会社 情報処理装置、複合現実感提示装置及びその方法並びに記憶媒体
US20040104935A1 (en) 2001-01-26 2004-06-03 Todd Williamson Virtual reality immersion system
JP2004537082A (ja) 2001-01-26 2004-12-09 ザクセル システムズ インコーポレイテッド 仮想現実環境における実時間バーチャル・ビューポイント
JP4337266B2 (ja) 2001-01-31 2009-09-30 コニカミノルタセンシング株式会社 ３次元測定方法および３次元測定システム
US6831632B2 (en) 2001-04-09 2004-12-14 I. C. + Technologies Ltd. Apparatus and methods for hand motion tracking and handwriting recognition
US8300042B2 (en) 2001-06-05 2012-10-30 Microsoft Corporation Interactive video display system using strobed light
US7259747B2 (en) 2001-06-05 2007-08-21 Reactrix Systems, Inc. Interactive video display system
US8035612B2 (en) 2002-05-28 2011-10-11 Intellectual Ventures Holding 67 Llc Self-contained interactive video display system
US20040135744A1 (en) * 2001-08-10 2004-07-15 Oliver Bimber Virtual showcases
US6741251B2 (en) 2001-08-16 2004-05-25 Hewlett-Packard Development Company, L.P. Method and apparatus for varying focus in a scene
US6822570B2 (en) 2001-12-20 2004-11-23 Calypso Medical Technologies, Inc. System for spatially adjustable excitation of leadless miniature marker
JP4050055B2 (ja) 2002-01-10 2008-02-20 株式会社リコー 手書き文字一括変換装置、手書き文字一括変換方法およびプログラム
WO2003071410A2 (en) 2002-02-15 2003-08-28 Canesta, Inc. Gesture recognition system using depth perceptive sensors
US9959463B2 (en) 2002-02-15 2018-05-01 Microsoft Technology Licensing, Llc Gesture recognition system using depth perceptive sensors
US10242255B2 (en) 2002-02-15 2019-03-26 Microsoft Technology Licensing, Llc Gesture recognition system using depth perceptive sensors
US7821541B2 (en) 2002-04-05 2010-10-26 Bruno Delean Remote control apparatus using gesture recognition
US7203356B2 (en) 2002-04-11 2007-04-10 Canesta, Inc. Subject segmentation and tracking using 3D sensing technology for video compression in multimedia applications
US7710391B2 (en) 2002-05-28 2010-05-04 Matthew Bell Processing an image utilizing a spatially varying pattern
US20050122308A1 (en) 2002-05-28 2005-06-09 Matthew Bell Self-contained interactive video display system
US7348963B2 (en) 2002-05-28 2008-03-25 Reactrix Systems, Inc. Interactive video display system
US7170492B2 (en) 2002-05-28 2007-01-30 Reactrix Systems, Inc. Interactive video display system
US7370883B2 (en) 2002-06-03 2008-05-13 Intelligent Mechatronic Systems, Inc. Three dimensional occupant position sensor
US6857746B2 (en) 2002-07-01 2005-02-22 Io2 Technology, Llc Method and system for free-space imaging display and interface
US7646372B2 (en) 2003-09-15 2010-01-12 Sony Computer Entertainment Inc. Methods and systems for enabling direction detection when interfacing with a computer program
US7151530B2 (en) 2002-08-20 2006-12-19 Canesta, Inc. System and method for determining an input selected by a user through a virtual interface
SE521470C2 (sv) 2002-09-09 2003-11-04 Zenterio Ab Grafiskt användargränssnitt för navigering och selektion från olika valbara alternativ presenterade på en bildskärm
US7526120B2 (en) 2002-09-11 2009-04-28 Canesta, Inc. System and method for providing intelligent airbag deployment
CN100377043C (zh) 2002-09-28 2008-03-26 皇家飞利浦电子股份有限公司 三维手写识别的方法及其系统
US7427996B2 (en) 2002-10-16 2008-09-23 Canon Kabushiki Kaisha Image processing apparatus and image processing method
US6977654B2 (en) 2002-10-30 2005-12-20 Iviz, Inc. Data visualization with animated speedometer dial charts
US20040174770A1 (en) 2002-11-27 2004-09-09 Rees Frank L. Gauss-Rees parametric ultrawideband system
US7576727B2 (en) 2002-12-13 2009-08-18 Matthew Bell Interactive directed light/sound system
JP2004199496A (ja) 2002-12-19 2004-07-15 Sony Corp 情報処理装置および方法、並びにプログラム
CN1512298A (zh) 2002-12-26 2004-07-14 �ʼҷ����ֵ��ӹɷ����޹�˾ 三维手写识别的方法及其系统
US7573480B2 (en) 2003-05-01 2009-08-11 Sony Corporation System and method for capturing facial and body motion
US7333113B2 (en) 2003-03-13 2008-02-19 Sony Corporation Mobile motion capture cameras
KR100465241B1 (ko) 2003-03-17 2005-01-13 삼성전자주식회사 가상 필기 평면을 이용한 모션 인식 시스템 및 그 인식방법
KR100518824B1 (ko) 2003-03-17 2005-10-05 삼성전자주식회사 필기 모션 획 구분 인식 시스템 및 그 인식방법
US7762665B2 (en) 2003-03-21 2010-07-27 Queen's University At Kingston Method and apparatus for communication between humans and devices
US7358972B2 (en) 2003-05-01 2008-04-15 Sony Corporation System and method for capturing facial and body motion
US8072470B2 (en) 2003-05-29 2011-12-06 Sony Computer Entertainment Inc. System and method for providing a real-time three-dimensional interactive environment
JP4355341B2 (ja) 2003-05-29 2009-10-28 本田技研工業株式会社 深度データを用いたビジュアルトラッキング
JP4723799B2 (ja) 2003-07-08 2011-07-13 株式会社ソニー・コンピュータエンタテインメント 制御システムおよび制御方法
JP3977303B2 (ja) 2003-08-21 2007-09-19 シャープ株式会社 位置検出システム、位置検出システムにおける発信装置および受信装置
US7317450B2 (en) 2003-09-26 2008-01-08 Khomo Malome T Spatial chirographic sign reader
US7590941B2 (en) 2003-10-09 2009-09-15 Hewlett-Packard Development Company, L.P. Communication and collaboration system using rich media environments
US20050088407A1 (en) 2003-10-24 2005-04-28 Matthew Bell Method and system for managing an interactive video display system
US7536032B2 (en) 2003-10-24 2009-05-19 Reactrix Systems, Inc. Method and system for processing captured image information in an interactive video display system
US7302099B2 (en) 2003-11-10 2007-11-27 Microsoft Corporation Stroke segmentation for template-based cursive handwriting recognition
US7963652B2 (en) 2003-11-14 2011-06-21 Queen's University At Kingston Method and apparatus for calibration-free eye tracking
US6984039B2 (en) * 2003-12-01 2006-01-10 Eastman Kodak Company Laser projector having silhouette blanking for objects in the output light path
GB2411532B (en) 2004-02-11 2010-04-28 British Broadcasting Corp Position determination
EP1563799B2 (de) 2004-02-11 2012-11-28 BrainLAB AG Verstellbare Markeranordnung
WO2005082075A2 (en) * 2004-02-25 2005-09-09 The University Of North Carolina At Chapel Hill Systems and methods for imperceptibly embedding structured light patterns in projected color images
US20050215319A1 (en) 2004-03-23 2005-09-29 Harmonix Music Systems, Inc. Method and apparatus for controlling a three-dimensional character in a three-dimensional gaming environment
US7519223B2 (en) 2004-06-28 2009-04-14 Microsoft Corporation Recognizing gestures and using gestures for interacting with software applications
US7925549B2 (en) 2004-09-17 2011-04-12 Accenture Global Services Limited Personalized marketing architecture
US7289227B2 (en) 2004-10-01 2007-10-30 Nomos Corporation System and tracker for tracking an object, and related methods
US8487879B2 (en) 2004-10-29 2013-07-16 Microsoft Corporation Systems and methods for interacting with a computer through handwriting to a screen
WO2006069445A1 (en) 2004-12-29 2006-07-06 Bernard Trest Dynamic information system
US7264554B2 (en) 2005-01-26 2007-09-04 Bentley Kinetics, Inc. Method and system for athletic motion analysis and instruction
WO2006086508A2 (en) 2005-02-08 2006-08-17 Oblong Industries, Inc. System and method for genture based control system
WO2006108017A2 (en) 2005-04-04 2006-10-12 Lc Technologies, Inc. Explicit raytracing for gimbal-based gazepoint trackers
US7428542B1 (en) 2005-05-31 2008-09-23 Reactrix Systems, Inc. Method and system for combining nodes into a mega-node
EP1922696B1 (en) 2005-08-19 2013-05-15 Philips Intellectual Property & Standards GmbH System and method of analyzing the movement of a user
CA2609155A1 (en) 2005-08-22 2007-03-01 Qinzhong Ye Free-space pointing and handwriting
US8390821B2 (en) 2005-10-11 2013-03-05 Primesense Ltd. Three-dimensional sensing using speckle patterns
EP1934945A4 (en) 2005-10-11 2016-01-20 Apple Inc METHOD AND SYSTEM FOR RECONSTRUCTING AN OBJECT
TWI301590B (en) 2005-12-30 2008-10-01 Ibm Handwriting input method, apparatus, system and computer recording medium with a program recorded thereon of capturing video data of real-time handwriting strokes for recognition
JP4151982B2 (ja) 2006-03-10 2008-09-17 任天堂株式会社 動き判別装置および動き判別プログラム
US20070230789A1 (en) 2006-04-03 2007-10-04 Inventec Appliances Corp. Method of controlling an electronic device by handwriting
CN103778635B (zh) 2006-05-11 2016-09-28 苹果公司 用于处理数据的方法和装置
GB2438449C (en) 2006-05-24 2018-05-30 Sony Computer Entertainment Europe Ltd Control of data processing
US7934156B2 (en) 2006-09-06 2011-04-26 Apple Inc. Deletion gestures on a portable multifunction device
JP4747232B2 (ja) 2006-09-06 2011-08-17 独立行政法人産業技術総合研究所 小型携帯端末
US20090009593A1 (en) 2006-11-29 2009-01-08 F.Poszat Hu, Llc Three dimensional projection display
US8005294B2 (en) 2006-11-29 2011-08-23 The Mitre Corporation Cursive character handwriting recognition system and method
US7971156B2 (en) * 2007-01-12 2011-06-28 International Business Machines Corporation Controlling resource access based on user gesturing in a 3D captured image stream of the user
US7840031B2 (en) 2007-01-12 2010-11-23 International Business Machines Corporation Tracking a range of body movement based on 3D captured image streams of a user
JP2008242929A (ja) 2007-03-28 2008-10-09 Oki Data Corp 手書き入力システム
WO2008120217A2 (en) 2007-04-02 2008-10-09 Prime Sense Ltd. Depth mapping using projected patterns
US8150142B2 (en) 2007-04-02 2012-04-03 Prime Sense Ltd. Depth mapping using projected patterns
WO2008124820A1 (en) 2007-04-10 2008-10-16 Reactrix Systems, Inc. Display using a three dimensional vision system
US20080256494A1 (en) 2007-04-16 2008-10-16 Greenfield Mfg Co Inc Touchless hand gesture device controller
US8100769B2 (en) 2007-05-09 2012-01-24 Nintendo Co., Ltd. System and method for using accelerometer outputs to control an object rotating on a display
US8065624B2 (en) 2007-06-28 2011-11-22 Panasonic Corporation Virtual keypad systems and methods
US8726194B2 (en) 2007-07-27 2014-05-13 Qualcomm Incorporated Item selection using enhanced control
TW200907764A (en) 2007-08-01 2009-02-16 Unique Instr Co Ltd Three-dimensional virtual input and simulation apparatus
US7949157B2 (en) 2007-08-10 2011-05-24 Nitin Afzulpurkar Interpreting sign language gestures
CA2699628A1 (en) 2007-09-14 2009-03-19 Matthew Bell Gesture-based user interactions with status indicators for acceptable inputs in volumetric zones
US20090078473A1 (en) 2007-09-26 2009-03-26 Digital Pen Systems Handwriting Capture For Determining Absolute Position Within A Form Layout Using Pen Position Triangulation
TWI343544B (en) 2007-09-26 2011-06-11 Inventec Appliances Corp A handwriting record device
US8195499B2 (en) 2007-09-26 2012-06-05 International Business Machines Corporation Identifying customer behavioral types from a continuous video stream for use in optimizing loss leader merchandizing
WO2009062153A1 (en) * 2007-11-09 2009-05-14 Wms Gaming Inc. Interaction with 3d space in a gaming system
JP4931788B2 (ja) 2007-12-18 2012-05-16 日本電信電話株式会社 情報提示制御装置及び情報提示制御方法
US8933876B2 (en) 2010-12-13 2015-01-13 Apple Inc. Three dimensional user interface session control
US20120204133A1 (en) 2009-01-13 2012-08-09 Primesense Ltd. Gesture-Based User Interface
US8166421B2 (en) 2008-01-14 2012-04-24 Primesense Ltd. Three-dimensional user interface
US7889073B2 (en) 2008-01-31 2011-02-15 Sony Computer Entertainment America Llc Laugh detector and system and method for tracking an emotional response to a media presentation
CN102007465B (zh) 2008-02-28 2015-05-20 纽约大学 用于给处理器提供输入的方法和设备以及传感器垫
US9772689B2 (en) 2008-03-04 2017-09-26 Qualcomm Incorporated Enhanced gesture-based image manipulation
US8165398B2 (en) 2008-05-30 2012-04-24 Sony Ericsson Mobile Communications Ab Method and device for handwriting detection
JP5317169B2 (ja) 2008-06-13 2013-10-16 洋 川崎 画像処理装置、画像処理方法およびプログラム
US9445193B2 (en) 2008-07-31 2016-09-13 Nokia Technologies Oy Electronic device directional audio capture
US20100053151A1 (en) 2008-09-02 2010-03-04 Samsung Electronics Co., Ltd In-line mediation for manipulating three-dimensional content on a display device
JP5205187B2 (ja) 2008-09-11 2013-06-05 株式会社エヌ・ティ・ティ・ドコモ 入力システム及び入力方法
US20100071965A1 (en) 2008-09-23 2010-03-25 Panasonic Corporation System and method for grab and drop gesture recognition
US20100149096A1 (en) 2008-12-17 2010-06-17 Migos Charles J Network management using interaction with display surface
US8290208B2 (en) * 2009-01-12 2012-10-16 Eastman Kodak Company Enhanced safety during laser projection
US20120202569A1 (en) 2009-01-13 2012-08-09 Primesense Ltd. Three-Dimensional User Interface for Game Applications
CN102334086A (zh) 2009-01-26 2012-01-25 泽罗技术(2009)有限公司 用于监测物体行为的装置和方法
US20100199228A1 (en) 2009-01-30 2010-08-05 Microsoft Corporation Gesture Keyboarding
WO2010103482A2 (en) 2009-03-13 2010-09-16 Primesense Ltd. Enhanced 3d interfacing for remote devices
CN101943982B (zh) 2009-07-10 2012-12-12 北京大学 基于被跟踪的眼睛运动的图像操作
KR20110010906A (ko) 2009-07-27 2011-02-08 삼성전자주식회사 사용자 인터랙션을 이용한 전자기기 제어 방법 및 장치
KR101596890B1 (ko) 2009-07-29 2016-03-07 삼성전자주식회사 사용자의 시선 정보를 이용한 디지털 오브젝트 탐색 장치 및 방법
US8565479B2 (en) 2009-08-13 2013-10-22 Primesense Ltd. Extraction of skeletons from 3D maps
US8587532B2 (en) 2009-12-18 2013-11-19 Intel Corporation Multi-feature interactive touch user interface
US8232990B2 (en) 2010-01-05 2012-07-31 Apple Inc. Working with 3D objects
US20110164032A1 (en) 2010-01-07 2011-07-07 Prime Sense Ltd. Three-Dimensional User Interface
US8659658B2 (en) 2010-02-09 2014-02-25 Microsoft Corporation Physical interaction zone for gesture-based user interfaces
WO2011106797A1 (en) 2010-02-28 2011-09-01 Osterhout Group, Inc. Projection triggering through an external marker in an augmented reality eyepiece
US8787663B2 (en) 2010-03-01 2014-07-22 Primesense Ltd. Tracking body parts by combined color image and depth processing
US20110248914A1 (en) 2010-04-11 2011-10-13 Sherr Alan B System and Method for Virtual Touch Typing
US20110254765A1 (en) 2010-04-18 2011-10-20 Primesense Ltd. Remote text input using handwriting
KR101334107B1 (ko) 2010-04-22 2013-12-16 주식회사 굿소프트웨어랩 차량용 멀티미디어 제어를 위한 사용자 인터페이스 장치 및 방법
US8384683B2 (en) 2010-04-23 2013-02-26 Tong Luo Method for user input from the back panel of a handheld computerized device
US9311724B2 (en) 2010-04-23 2016-04-12 Handscape Inc. Method for user input from alternative touchpads of a handheld computerized device
US20110292036A1 (en) 2010-05-31 2011-12-01 Primesense Ltd. Depth sensor with application interface
US8594425B2 (en) * 2010-05-31 2013-11-26 Primesense Ltd. Analysis of three-dimensional scenes
US20110310010A1 (en) 2010-06-17 2011-12-22 Primesense Ltd. Gesture based user interface
US8907929B2 (en) 2010-06-29 2014-12-09 Qualcomm Incorporated Touchless sensing and gesture recognition using continuous wave ultrasound signals
WO2012011044A1 (en) 2010-07-20 2012-01-26 Primesense Ltd. Interactive reality augmentation for natural interaction
US9201501B2 (en) 2010-07-20 2015-12-01 Apple Inc. Adaptive projector
CN103053167B (zh) 2010-08-11 2016-01-20 苹果公司 扫描投影机及用于3d映射的图像捕获模块
US9013430B2 (en) 2010-08-20 2015-04-21 University Of Massachusetts Hand and finger registration for control applications
US8959013B2 (en) 2010-09-27 2015-02-17 Apple Inc. Virtual keyboard for a non-tactile three dimensional user interface
US8872762B2 (en) 2010-12-08 2014-10-28 Primesense Ltd. Three dimensional user interface cursor control
US20120169583A1 (en) 2011-01-05 2012-07-05 Primesense Ltd. Scene profiles for non-tactile user interfaces
WO2012107892A2 (en) 2011-02-09 2012-08-16 Primesense Ltd. Gaze detection in a 3d mapping environment
US9377865B2 (en) 2011-07-05 2016-06-28 Apple Inc. Zoom-based gesture user interface
US8881051B2 (en) 2011-07-05 2014-11-04 Primesense Ltd Zoom-based gesture user interface
US9459758B2 (en) 2011-07-05 2016-10-04 Apple Inc. Gesture-based interface with enhanced features
US9030498B2 (en) 2011-08-15 2015-05-12 Apple Inc. Combining explicit select gestures and timeclick in a non-tactile three dimensional user interface
US9122311B2 (en) 2011-08-24 2015-09-01 Apple Inc. Visual feedback for tactile and non-tactile user interfaces
US9218063B2 (en) 2011-08-24 2015-12-22 Apple Inc. Sessionless pointing user interface
US20130147686A1 (en) 2011-12-12 2013-06-13 John Clavin Connecting Head Mounted Displays To External Displays And Other Communication Networks
US9229534B2 (en) 2012-02-28 2016-01-05 Apple Inc. Asymmetric mapping for tactile and non-tactile user interfaces
US9377863B2 (en) 2012-03-26 2016-06-28 Apple Inc. Gaze-enhanced virtual touchscreen

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040258314A1 (en) * 2003-06-23 2004-12-23 Shoestring Research, Llc Region segmentation and characterization systems and methods for augmented reality
CN1973311A (zh) * 2004-03-26 2007-05-30 高桥淳 具有三维视觉指示功能的三维立体数字放大镜系统
WO2010004542A1 (en) * 2008-07-09 2010-01-14 Prime Sense Ltd Integrated processor for 3d mapping

Cited By (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103677255A (zh) * 2012-09-03 2014-03-26 三星电子株式会社 三维距离信息提取方法和装置、终端、手势操作执行方法
CN103207709A (zh) * 2013-04-07 2013-07-17 布法罗机器人科技（苏州）有限公司 一种多点触摸系统及方法
WO2014186972A1 (en) * 2013-05-24 2014-11-27 Thomson Licensing Method and apparatus for rendering object for multiple 3d displays
CN105210116A (zh) * 2013-05-24 2015-12-30 汤姆逊许可公司 用于对于多个3d显示器呈现对象的方法和装置
US10275933B2 (en) 2013-05-24 2019-04-30 Thomson Licensing Method and apparatus for rendering object for multiple 3D displays
CN106030457A (zh) * 2014-02-27 2016-10-12 微软技术许可有限责任公司 在过程期间跟踪对象
CN104065949A (zh) * 2014-06-26 2014-09-24 深圳奥比中光科技有限公司 一种电视虚拟触控方法及系统
CN104065949B (zh) * 2014-06-26 2016-08-10 深圳奥比中光科技有限公司 一种电视虚拟触控方法及系统
CN106575156A (zh) * 2014-07-25 2017-04-19 微软技术许可有限责任公司 虚拟对象的智能放置以停留在头戴式显示器的视野中
US10451875B2 (en) 2014-07-25 2019-10-22 Microsoft Technology Licensing, Llc Smart transparency for virtual objects
US10649212B2 (en) 2014-07-25 2020-05-12 Microsoft Technology Licensing Llc Ground plane adjustment in a virtual reality environment
US10416760B2 (en) 2014-07-25 2019-09-17 Microsoft Technology Licensing, Llc Gaze-based object placement within a virtual reality environment
US10311638B2 (en) 2014-07-25 2019-06-04 Microsoft Technology Licensing, Llc Anti-trip when immersed in a virtual reality environment
CN106575156B (zh) * 2014-07-25 2019-05-14 微软技术许可有限责任公司 虚拟对象的智能放置以停留在头戴式显示器的视野中
US20160026242A1 (en) 2014-07-25 2016-01-28 Aaron Burns Gaze-based object placement within a virtual reality environment
CN105589552B (zh) * 2014-10-30 2018-10-12 联想(北京)有限公司 基于手势的投影交互方法及投影交互设备
CN105589552A (zh) * 2014-10-30 2016-05-18 联想(北京)有限公司 基于手势的投影交互方法及投影交互设备
CN107003737A (zh) * 2014-12-03 2017-08-01 微软技术许可有限责任公司 用于自然用户输入的指示器投影
CN112530025A (zh) * 2014-12-18 2021-03-19 脸谱科技有限责任公司 用于提供虚拟现实环境的用户界面的系统、设备及方法
CN105975085A (zh) * 2016-06-01 2016-09-28 云南滇中恒达科技有限公司 一种新媒体ar互动投影系统
CN110488489A (zh) * 2018-05-15 2019-11-22 苹果公司 用于头戴式壳体的眼睛登记
CN109407899A (zh) * 2018-09-12 2019-03-01 北京星云城科技有限公司 一种桌面交互投影系统
US11749018B1 (en) 2019-05-28 2023-09-05 Apple Inc. Eye enrollment for head-mounted enclosure

Also Published As

Publication number Publication date
JP5791131B2 (ja) 2015-10-07
US20130107021A1 (en) 2013-05-02
JP2013541747A (ja) 2013-11-14
US9158375B2 (en) 2015-10-13
CN102959616B (zh) 2015-06-10
WO2012011044A1 (en) 2012-01-26

Similar Documents

Publication Publication Date Title
CN102959616B (zh) 自然交互的交互真实性增强
US10437347B2 (en) Integrated gestural interaction and multi-user collaboration in immersive virtual reality environments
CN110908503B (zh) 跟踪设备的位置的方法
US11068050B2 (en) Method for controlling display of virtual image based on eye area size, storage medium and electronic device therefor
US9740298B2 (en) Adaptive projector for projecting content into a three-dimensional virtual space
KR102417177B1 (ko) 인사이드-아웃 위치, 사용자 신체 및 환경 추적을 갖는 가상 및 혼합 현실을 위한 머리 장착 디스플레이
US9858722B2 (en) System and method for immersive and interactive multimedia generation
CN102591449B (zh) 虚拟内容和现实内容的低等待时间的融合
CN103180893B (zh) 用于提供三维用户界面的方法和系统
US9740282B1 (en) Gaze direction tracking
JP5843340B2 (ja) ３次元環境共有システム及び３次元環境共有方法
US20160225164A1 (en) Automatic generation of virtual materials from real-world materials
CN104995583A (zh) 用于混合现实环境的直接交互系统
JP2018511098A (ja) 複合現実システム
CN110377148B (zh) 计算机可读介质、训练对象检测算法的方法及训练设备
JP2013541747A5 (zh)
WO2015026645A1 (en) Automatic calibration of scene camera for optical see-through head mounted display
WO2013028586A1 (en) Location based skins for mixed reality displays
CN105393158A (zh) 共享的和私有的全息物体
KR20160060582A (ko) 시각 데이터를 처리하는 장치 및 방법, 및 관련된 컴퓨터 프로그램 제품
KR20160096392A (ko) 직관적인 상호작용 장치 및 방법
D'Angelo et al. Development of a Low-Cost Augmented Reality Head-Mounted Display Prototype
US20230419595A1 (en) Methods and devices for video rendering for video see-through (vst) augmented reality (ar)
Hamadouche Augmented reality X-ray vision on optical see-through head mounted displays

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
ASS Succession or assignment of patent right

Owner name: APPLE COMPUTER, INC.

Free format text: FORMER OWNER: PRIME SENSE LTD.

Effective date: 20141024

C41 Transfer of patent application or patent right or utility model
TA01 Transfer of patent application right

Effective date of registration: 20141024

Address after: American California

Applicant after: Apple Computer, Inc.

Address before: Tel Aviv

Applicant before: Prime Sense Ltd.

C14 Grant of patent or utility model
GR01 Patent grant