CN102754047A

CN102754047A - 利用交互式体积进行位置探测的方法和系统

Info

Publication number: CN102754047A
Application number: CN2010800631070A
Authority: CN
Inventors: J·D·牛顿; 李博; G·麦克唐纳; B·雷德福; B·波特; H·耶斯克; 张睿; F·戈菲内
Original assignee: Next Holdings Ltd USA
Current assignee: Next Holdings Ltd USA
Priority date: 2009-12-04
Filing date: 2010-12-06
Publication date: 2012-10-24
Also published as: US20110205185A1; CN102741782A; WO2011069157A2; EP2507683A1; EP2507692A2; US20110205155A1; WO2011069148A1; EP2507684A2; EP2507682A2; US20110205186A1; CN102741781A; WO2011069151A2; CN102754048A; WO2011069151A3; WO2011069152A2; WO2011069157A3; WO2011069152A3; US20110205151A1

Abstract

一种计算装置，例如桌面计算机、膝上型、平板计算机、移动装置或集成到另一装置（例如，用于打游戏的娱乐装置、电视机、家电、电话亭、车辆、工具等）中的计算装置，被配置成从空间中一个或多个对象的位置和/或移动确定用户输入命令。可以利用一个或多个光学传感器对对象成像，可以通过任意数量的方式解释所得的位置数据以确定命令。可以界定和调节交互式体积，使得体积之内不同位置的相同移动可以导致光标的不同对应移动或输入的其他解释。

Description

利用交互式体积进行位置探测的方法和系统

优先权声明

本申请要求享有2009年12月4日提交的题为“A Coordinate InputDevice”的澳大利亚临时申请No.2009905917的优先权，在此通过引用将其全文并入这里；本申请还要求享有2010年2月23日提交的题为“ACoordinate Input Device”的澳大利亚临时申请No.2010900748的优先权，在此通过引用将其全文并入这里；本申请还要求享有2010年6月21日提交的题为“3D Computer Input System”的澳大利亚临时申请No.2010902689的优先权，在此通过引用将其全文并入这里。

背景技术

具有触摸功能的计算装置已经变得越来越普及。这样的装置能够使用光学、电阻和/或电容传感器来确定手指、指示笔或其他对象何时接近或触摸到接触表面，例如显示器。使用触摸能够有各种界面选项，例如基于跟踪随时间变化的触摸的所谓的“手势”。

尽管具有触摸功能的系统有优点，但仍然存在缺点。膝上型和台式计算机受益于具有触摸功能的屏幕，但特别的屏幕配置或布置可能需要用户以不舒适的方式触摸到或以其他方式移动。此外，一些触摸探测技术仍然很昂贵，尤其是对于较大的屏幕面积而言。

发明内容

本主题的实施例包括计算装置，例如桌面型、膝上型、平板计算机、移动装置或集成到另一个装置（例如，用于打游戏的娱乐装置、电视机、家电、电话亭、车辆、工具等）中的计算装置。计算装置被配置成从空间中一个或多个对象的位置和/或移动确定用户输入命令。可以利用一个或多个光学传感器对对象成像，可以通过任意数量的方式解释所得的位置数据以确定命令。

命令包括，但不限于二维、三维和其他图形用户界面之内的图形用户界面事件。作为范例，可以使用对象，例如手指或指示笔通过在绘制到屏幕上项目的位置处触摸到表面或悬停在该位置附近的表面上来选择屏幕上项目。作为另一范例，命令可以涉及非图形事件（例如，改变扬声器音量、激活/停用装置或特征等）。一些实施例可以依赖于除位置数据之外的其他输入，例如在手指或对象在给定位置时点击所提供的物理按钮。

不过，同样的系统可能能够解释不是触摸特征的其他输入。例如，可以以图案的方式移动手指或指示笔，然后将图案识别为特定的输入命令，例如，基于一种或多种将移动的图案关联到特定命令的启发式方式识别的手势。作为另一范例，在自由空间中移动手指或指示笔可以转换为图形用户界面中的移动。例如，即使未物理地触摸到，也可以将穿过平面或到达指定区域解释为触摸或选择动作。

对象在空间中的位置可以影响如何将对象的位置解释为命令。例如，对象在空间一个部分之内的移动可能导致与对象在空间另一部分之内相同移动不同的命令。

作为范例，可以沿着空间之内的一个或两个轴（例如，沿着空间的宽度和/或高度）移动手指或指示笔，在一个或两个轴中的移动导致光标在图形用户界面中的对应移动。沿着第三轴（例如在不同深度）不同位置的同样移动可能导致光标的不同对应移动。例如，手指距装置屏幕越远，手指从左到右移动可能导致光标的越快移动。在一些实施例中，可以利用虚拟体积（这里称为“交互式体积”）实现这个目的，虚拟体积是由空间坐标到屏幕/界面坐标的映射定义的，该映射沿着交互式体积的深度而改变。

作为另一范例，可以将不同区域用于不同类型的输入。在一些实施例中，可以将接近装置的屏幕定义为第一区域，可以将别处定义为第二区域。例如，第二区域可以位于膝上型计算机的屏幕和键盘按键之间，或者对于平板或移动装置而言，可以代表第一区域外部的可成像空间。第一区域中的输入可以被解释为触摸、悬停和其他图形用户界面命令。可以将第二区域中的输入解释为手势。例如，可以在第二区域中提供“滑动（flick）”手势，以便通过项目列表移动，而无需通过图形用户界面选择特定的项目/命令按钮。

如下文所述，各实施例的各方面还包括辐照、探测和装置配置，允许以响应和精确方式提供基于图像的输入。例如，可以使用探测器配置和探测器采样提供更高的图像处理吞吐量和响应更好的探测。在一些实施例中，对少于探测器所有可用像素的像素采样，例如，通过将像素限制为交互式体积的投影和/或确定感兴趣区域，由第二探测器探测的特征的一个探测器进行探测。

提到这些例示性实施例不是为了限制或界定本主题的限制，而是为了提供范例以辅助其理解。在具体实施方式中论述了例示性实施例，其中提供了更多描述，包括系统、方法和提供本主题一个或多个方面的计算机可读介质的例示性实施例。可以通过研究本说明书和/或通过实践所主张主题的一个或多个实施例来进一步理解各实施例提供的优点。

附图说明

在说明书的其余部分中更详细地阐述了完整的且能够实现的公开。说明书参考了以下附图。

图1A-1D示出了位置探测系统的示范性实施例。

图2是示出了将成像空间分成多个区域的图示。

图3是流程图，示出了基于区域识别的输入处理范例。

图4是示出了用于提供基于区域的探测能力的示范性传感器配置的图示。

图5是光学单元的例示性架构的截面图。

图6是示出了在位置探测系统中使用基于CMOS的感测装置的图示。

图7为电路图，示出了用硬件从另一幅图像减去一幅图像时使用的一个例示性读出电路。

图8和9是示出了使用具有硬件的传感器对第一和第二图像相减的示范性时序图。

图10为流程图，示出了用于探测一个或多个空间坐标的示范性方法中的步骤。

图11是示出了确定一个或多个空间坐标时使用的例示性硬件配置和对应坐标系的图示。

图12和13是示出了使用多个成像装置确定空间坐标的图示。

图14是示出了识别图像中特征的例示性方法的流程图和附图。

图15A是使用交互式体积的例示性系统的图示。

图15B-15E示出了基于沿着交互式体积深度的映射的变化的不同光标响应的范例。

图16是示出了用于配置交互式体积的用户界面范例的图示。

图17A-17B示出了限制探测和/或图像处理中使用的像素的技术。

图18示出了利用来自单个摄像头的图像确定空间坐标的范例。

具体实施方式

现在将详细参考各种和替代示范性实施例和附图。提供每个范例是为了解释，而不是作为限制。对于本领域的技术人员显而易见的是，可以做出修改和变化。例如，可以在另一实施例上使用作为一个实施例的一部分例示或描述的特征，以获得更多的实施例。于是，本公开意图包括落在所附权利要求及其等价物范围之内的修改和变化。

在以下详细描述中，阐述了众多具体细节以提供对所主张主题的透彻理解。不过，本领域的技术人员将要理解，可以无需这些具体细节而实践所主张的主题。在其他情况下，未详细描述普通技术人员公知的方法、设备或系统，以免使所主张的主题模糊不清。

位置探测系统的例示性系统和硬件方面

图1A是例示性位置探测系统100的视图，而图1B是示出了系统100的示范性架构的图示。通常，位置探测系统能够包括一个或多个成像装置和硬件逻辑，硬件逻辑用于配置位置探测系统访问来自至少一个成像装置的数据，该数据包括空间中对象的图像数据，访问定义空间之内的交互式体积的数据，确定与对象相关联的空间坐标，并基于空间坐标和交互式体积确定命令。

在本范例中，位置探测系统为计算系统，其中硬件逻辑包括通过总线106连接到存储器104的处理器102。程序部件116配置处理器以访问数据并确定命令。尽管这里示出了基于软件的实施方式，但位置探测系统可以使用其他硬件（例如，现场可编程门阵列（FPGA）、可编程逻辑阵列（PLA）等）。

返回到图1，存储器104能够包括RAM、ROM或可以由处理器102访问的其他存储器和/或另一种非暂态计算机可读介质，例如存储介质。本范例中的系统100经由I/O部件107连接到显示器108、多个辐照装置110和多个成像装置112。配置成像装置112以对包括空间114的视场成像。

在本范例中，使用了多个辐照和成像装置，但显然在一些实施例中可以使用单个成像装置，一些实施例可以使用单个辐照装置或可以省去辐照装置并依赖于环境光或其他环境能量。此外，尽管这里的几个范例使用了两个成像装置，但系统可以在对对象成像时使用超过两个成像装置和/或可以使用多个不同成像系统实现不同目的。

存储器104包括一个或多个程序部件116，其配置计算系统以访问来自成像装置112的数据，该数据包括空间中一个或多个对象的图像数据，确定与一个或多个对象相关联的空间坐标并基于空间坐标确定命令。在下面的范例中将论述程序部件的示范性配置。

并非要对图1B中所示的系统100的架构进行限制。例如，可以使用一个或多个I/O接口107，包括图形接口（例如VGA、HDMI）连接显示器108（如果使用的话）。I/O接口的其他范例包括通用串行总线（USB）、IEEE1394和内部总线。可以使用用于通过有线或无线通信来通信的一个或多个联网部件，其可以包括诸如以太网、IEEE802.11（Wi-Fi）、802.16（Wi-Max）、蓝牙、红外线等、CDMA、GSM、UMTS的接口或其他蜂窝通信网络。

图1A示出了膝上型或上网本形状因子。在本范例中，在主体101中示出了辐照和成像装置110和112，主体还可以包括处理器、存储器等。不过，可以在显示器108中包括任何这样的部件。

例如，图1C示出了位置探测系统100'的另一例示性形状因子。在本范例中，显示装置108'在屏幕底部更大面积中具有集成的辐照装置110和成像装置112。该面积可以大约为2mm尺寸。在本范例中，成像装置对包括显示装置108’前方区域的空间114'成像。显示装置108'可以连接到包括处理器、存储器等的计算系统（未示出）。作为另一范例，可以在显示器108'的主体中包括处理器和额外的部件。尽管被示为显示装置（例如LCD、等离子体、OLED监视器、电视机等），可以为其他装置，例如平板计算机、移动装置等应用该原理。

图1D示出了另一例示性位置探测系统100”。具体而言，成像装置112可以位于细长辐照装置110的任一侧，辐照装置110可以包括一个或多个发光二极管或发光的其他装置。在本范例中，空间114”包括辐照装置110上方以及成像装置112之间的空间。在本范例中，每个成像装置的图像平面位于空间114”的底部屏幕之间的角度Θ，在一些实施例中，Θ可以等于或近似等于45度。尽管这里示为矩形空间，但空间的实际尺寸和范围可能取决于成像装置的位置、取向和能力。

此外，根据特定形状因子，辐照装置110可能不在空间114”上的中心处。例如，如果辐照装置110和成像装置112用于膝上型计算机，它们可以位于键盘的大致顶部或底部附近，空间114”对应于屏幕和键盘之间的区域。辐照装置110和成像装置112可以包括在或安装到也位于独立屏幕前方的键盘。作为另一范例，辐照装置110和成像装置112可以包括在或附着于屏幕或平板计算机中。再者，辐照装置110和成像装置112可以包括在安装到另一装置的独立主体中或用作有或者没有屏幕的独立周边设备。

作为又一范例，可以独立于辐照装置110提供成像装置112。例如，成像装置112可以位于键盘、显示屏的任一侧，或简单地在要提供空间输入的区域的任一侧上。辐照装置110可以位于任何适当位置以根据需要提供辐照。

一般说来，成像装置112可以包括面积传感器，用于拍摄绘示成像装置视场的一个或多个帧。帧中的图像可以包括可利用成像单元获得的任何图示，例如可以描绘视场的视觉表示、视场中光强度的表示或另一种表示。位置探测系统的处理器或其他硬件逻辑可以使用帧来确定空间114中一个或多个对象的信息，例如对象和/或其部分的位置、取向、方向。当对象在视场中时，可以识别对象的一个或多个特征并用于确定空间114之内的坐标（即“空间坐标”）。计算系统可以基于空间坐标值确定一个或多个命令。在一些实施例中，在确定如何利用空间坐标确定对象（或对象的所识别特征）的位置、取向和/或移动随时间变化以识别特定命令时使用空间坐标。

以多个探测区域为特征的例示性实施例

在一些实施例中，在确定命令时以不同方式处理不同范围的空间坐标。例如，如图2中所示，可以将成像空间分成多个区域。本范例示出了成像装置112和三个区域，但可以定义更多或更少的区域；此外，区域可以沿着成像空间的长度、宽度和/或深度变化。可以基于确定空间之内多个区域的哪个包含所确定的空间坐标来识别输入的命令。例如，如果坐标位于邻近显示装置108的区域（“区域1”）中，那么与该坐标相关联的对象移动/位置能够提供与坐标在区域2或3中不同的输入。

在一些实施例中，不论坐标在哪个区中，可以使用同一成像系统确定位置分量。不过,在一些实施例中，使用多重成像系统确定输入。例如，可以使用距屏幕更远的一个或多个成像装置112对区域2和/或3成像。在一个范例中，每个成像系统将屏幕坐标传递到例程，该例程根据图3确定命令。

例如，对于区域1中的命令，可以使用一个或多个线传感器或面积传感器对屏幕处或附近的区域成像，第二系统用于对区域2、区域3之一或两者成像。如果第二系统仅对区域2和3之一成像，第三成像系统能够对区域2和3的另一个成像。成像系统均可以根据如下所述的一个或多个方面确定空间坐标。当然，可以在一个或多个区域之内使用多个成像系统。例如，可以将区域3作为多个子区处理，由相应组的成像装置对每个子区成像。区域覆盖范围也可能交叠。

可以结合各种成像系统使用相同或不同的位置探测技术。例如，用于区域1的成像系统可以使用三角测量原理来确定相对于屏幕区域的坐标，或者每个成像系统可以使用这里论述的位置探测技术的各方面。该同一系统也可以确定距屏幕的距离。此外或替代地，可以协同使用多个系统。例如，用于确定区域1中的坐标的成像系统可以为屏幕坐标使用三角测量，并依赖于来自用于对区域3成像的成像系统的数据，以便确定距屏幕的距离。

图3是流程图，示出了基于区域识别的输入处理范例，可以由图1中所示的程序部件116或由用于实施位置探测系统的其他硬件/软件来执行。方框302表示确定空间中的一个或多个坐标。例如，如下文所述，可以通过如下方式识别与对象的特征（例如指尖、指示笔尖等）相关联的空间坐标：分析由不同成像装置112拍摄的图像中所示的特征的位置和成像装置的已知几何形状。

如方框304所示，该例程能够确定坐标是否位于区域1中，如果是这样的话，在确定306所示的触摸输入命令时使用该坐标。例如，可以利用提供输入事件（例如图形用户界面中的选择）的例程，基于空间坐标到屏幕坐标的映射识别触摸输入命令。作为具体范例，在对象触摸或接近与显示器平面对应的屏幕时，点击或其他选择可以被注册。下文结合图18论述触摸探测的额外范例。这里论述的任何范例都能够对应于2D触摸输入（例如由对象和感兴趣表面之间一个或多个接触来识别）以及3D坐标输入。

返回到图3，方框308表示确定坐标是否在区域2中。如果是这样的话，该流程进行到方框310。在本范例中，区域2位于键盘/跟踪板附近，因此在确定触摸板命令时使用区域2中的坐标。例如，可以将类似于与触摸显示相关联的那些类似的一组2维输入手势与键盘或跟踪板相关联。可以在与按键或跟踪板接触期间做出手势，或者可以在按键或跟踪板附近进行。范例包括，但不限于手指挥动、猛击、拖动等。可以随着时间跟踪坐标值，可以使用一个或多个启发式方式来确定期望的手势。启发式方式可以识别取决于手势的一个或多个位置或点，其可能需要依次识别。通过匹配移动和/或位置的图案，可以识别手势。作为另一范例，可以跟踪手指移动并用于操控屏幕上光标。

方框312表示确定坐标值是否在区域3中。在本范例中，如果坐标不在任何区域中，尽管在一些实施例中可以默认分配一个区域或可以忽略坐标，但定义误差条件。不过，如果坐标确实在区域3中，那么如方框314所示，使用该坐标确定三维手势。与识别二维手势类似，可以通过跟踪随时间变化的坐标值并应用一次或多次启发式方式来识别三维手势，以便识别期望的输入。

作为另一范例，即使不直接依赖于坐标，也可以应用模式识别技术来识别手势。例如，可以配置该系统以识别区域中的手或其他对象的边缘并执行边缘分析以确定手或其他对象的姿态、取向和/或形状。可以应用适当的手势识别启发式方式以基于所识别的姿态、取向和/或形状随时间的变化识别各种输入手势。

图4是示出了用于提供基于区域的探测能力的示范性配置的图示。在本范例中，成像装置的特征在于像素阵列402，其包括与每个探测区域对应的部分；这里示出了三个区域。可以使用选择逻辑404对像素值采样并向板上控制器406提供像素值，板上控制器相应地对数据进行格式化/路由（例如，在一些实施例中经由USB接口）。在一些实施例中，可以操纵阵列402以调节视场或焦点中的至少一个，以包括多个区域的所识别一个。例如，可以利用适当的机械元件（例如微机电系统（MEMS）器件等），响应于来自选择逻辑404的信号，旋转和/或平移整个阵列或其子部分。作为另一范例，可以利用电动机、液压系统等重新定位整个光学单元，而不是操纵传感器阵列或其部分。

成像装置的例示性实施例

图5是可用于位置探测系统中的光学单元112的例示性架构的截面图。在本范例中，光学单元包括由塑料或另一种适当材料制成的外壳502和盖504。盖504可以包括玻璃、塑料等，在孔506上方和/或内部至少包括透明部分。光通过孔506传递到透镜508，透镜508将光聚焦到阵列510上，在本范例中，通过滤波器512聚焦到阵列。在本范例中，阵列510和外壳502安装到框架514。例如，在一些实施例中，框架514可以包括印刷电路板。在任何事件中，阵列510都能够包括配置成提供图像数据的一个或多个像素阵列。例如，如果由辐照系统提供IR光，则该阵列能够通过感测来自成像空间的IR光来拍摄图像。作为另一范例，能够使用环境光或另一个波长范围。

在一些实施例中，使用滤波器512过滤掉一个或多个波长范围的光，以改善拍摄图像时使用的其他范围的光的探测。例如，在一个实施例中，滤波器512包括窄带IR通过滤波器，以在光达到阵列510之前衰减除期望IR波长之外的环境光，阵列510被配置成至少感测IR波长。作为另一范例，如果对其他波长感兴趣，可以配置适当的滤波器512以排除掉不感兴趣的范围。

一些实施例利用了辐照系统，其使用一个或多个辐照装置，例如发光二极管（LED）以在一个或多个指定的波长范围上辐照能量（例如红外（IR）“光”）。这能够辅助增大信噪比（SNR），其中信号是图像的被辐照部分，噪声大部分由环境光构成。例如，可以由适当的信号驱动IR LED以辐照由成像装置成像的空间，成像装置拍摄位置探测中使用的一个或多个图像帧。在一些实施例中，例如，通过在已知频率驱动辐照装置来调制辐照。可以基于调制的定时拍摄图像帧。

一些实施例使用软件过滤，即通过减去图像来消除背景光，例如，在提供辐照时拍摄第一图像，然后在无辐照时拍摄第二图像。可以从第一图像减去第二图像，然后可以将所得的“代表图像”用于进一步处理。从数学上讲，可以将该操作表示为Signal=（Signal+Noise）-Noise。一些实施例利用高强度照射光改善SNR，使得任何噪声都被淹没/抑制。从数学上讲，可以将这样的状况描述为Signal=Signal+Noise，其中Signal>>Noise。

如图6中所示，一些实施例包括硬件信号调节。图6是示出了在位置探测系统中使用基于CMOS的感测装置602的图示600。在本范例中，传感器604包括像素阵列。CMOS衬底602还包括信号调节逻辑（或可编程CPU）606，其可用于通过如下方式方便探测：在成像装置例如通过硬件实施的环境减除、无限脉冲响应（IIR）或有限脉冲响应（FIR）过滤、基于背景跟踪器的触摸探测等来提供图像之前，用硬件至少执行一些图像处理。在本范例中，衬底602还包括用于提供USB输出的逻辑，以向计算装置610传输图像。计算装置610的存储器中包含的驱动程序612配置计算装置610以处理图像从而确定基于图像数据的一个或多个命令。尽管在图6中一起示出，但部件604和606可以在物理上分离，可以用FPGA、DSP、ASIC或微处理器实施606。尽管在本范例中论述了CMOS，但可以利用用于构造集成电路的任何其他适当技术实现感测装置。

图7为电路图700，示出了用硬件从另一幅图像减去一幅图像时使用的读出电路的一个范例。可以将这样的电路包括在位置探测系统中。具体而言，可以通过分别驱动选择晶体管TX1和TX2利用两个不同的存储装置704和706（在本范例中为电容器FD1和FD2）对像素702进行采样。在驱动行选择线712时，缓冲晶体管708和710随后能够提供读出值，将读出值提供到差分放大器714。放大器714的输出716表示在驱动TX1时采样的像素以及驱动TX2时采样的像素之间的差异。

这里示出了单个像素，但将要理解，一行像素中的每个像素可以配置有对应的读出电路，其中像素被包括在行传感器或面积传感器中。此外，可以配置其他适当的电路，由此可以利用适当的电荷存储装置或缓存装置保持两个（或更多）像素值，以用于输出代表图像或用于应用另一种信号处理效果。

图8是时序图800，示出了在第一和第二时间间隔期间对像素采样（通过位置探测系统）并取像素差异以输出代表图像的范例。这里可以看出，对三个相继帧（帧n-1；帧n；和帧n+1）采样并作为代表图像输出。在提供辐照（“有光”）的时间间隔内（例如通过驱动TX1）读取每一行1到480，并在不提供光（“无光”）时（例如，通过驱动TX2）再次读取。然后，可以提供单个输出图像。这种方法使得基于软件的代表图像采样能够并行进行。

图9为时序图900，示出了能够由位置探测系统使用的另一采样例程。本范例的特征在于较高的调制率以及快速的快门，其中在给定的开关周期期间对每一行采样。帧的总曝光时间可以等于或近似等于行数乘以完整调制周期时间。

坐标探测的例示性实施例

图10为流程图，示出了用于探测一个或多个空间坐标的示范性方法1000中的步骤。例如，位置探测系统（例如图1A-1D的系统之一）特征在于多个成像装置，其用于对空间成像并执行根据图10的方法。在图11中的1100处示出了另一范例。在本范例中，第一和第二成像装置112位于显示器108和键盘附近，并被配置成对空间114成像。在本范例中，空间114对应于显示器108和键盘之间的矩形空间。

图11还示出了针对区域114定义的坐标系V（V_x，V_y，V_z），按照V确定空间坐标。每个成像装置112还以其自己相对于每个相应摄像头的原点（图11中示为O^L和Ｏ^Ｒ）定义的坐标系C为特征，O^L定义为坐标系V中的（-1，0，0），O^R定义为坐标系V中的（1，0，0）。对于左侧摄像头，按照（C^L _X，C^L _Y，C^L _Z）指定摄像头坐标，而按照（C^R _X，C^R _Y，C^R _Z）指定右侧摄像头坐标。每个摄像头中的x和y坐标对应于针对每个单元的X和Y坐标，而Z坐标（C^L _Z和C^R _Z）是本范例中成像单元平面的法线或方向。

返回图10，从方框1002开始，该方法前进到方框1004，其表示采集第一和第二图像。在一些实施例中，采集第一和第二图像包括基于来自第一成像装置的图像采集第一差异图像，以及基于来自第二成像装置的图像采集第二差异图像。

可以通过从代表图像减去背景图像来确定每个差异图像。具体而言，在调制光源的同时，第一和第二成像装置的每个都能够在有光和无光的时对空间成像。可以通过从来自每个装置的有光图像减去来自每个装置的无光图像来确定第一和第二代表图像（或反之，取图像的绝对值）。作为另一范例，可以利用根据图7-9的硬件或以另一种适当方式配置成像装置，以基于光源的调制提供代表图像。

在一些实施例中，可以直接使用代表图像。不过，在一些实施例中，可以通过从每个代表图像减去相应的背景图像来获得差异图像，使得要识别其特征的对象（例如手指、指示笔等）保留，但没有背景特征了。

例如，在一个实施例中，将代表图像定义为I_t=|Im_t-Im_t-1|，其中Im_t代表成像间隔t时成像装置的输出。

可以替代地通过拍摄有光和无光图像来确定一系列代表图像，以获得I₁、I₂、I₃、I₄等。可以通过首先对背景图像B₀=I₁进行初始化来执行背景减除。然后，可以根据以下算法更新背景图像：

If I_t[n]>B_t-1[n],

Then B_t[n]=B_t-1[n]+1;

Else B_t[n]=I_t[n]

作为另一范例，该算法可以是：

If I_t[n]>B_t-1[n],

Then B_t[n]=B_t-1[n]+1;

Else B_t[n]=B_t[n]-1

可以通过下式获得差异图像：

D_t=I_t-B_t

当然，各种实施例能够使用任何适当技术来获得适当图像。在任何事件中，在采集第一和第二图像之后，该方法前进到方框1006，表示在第一和第二图像的每个中对特征定位。在实践中，尽管实施例能够从一个公共特征开始进行，但可以识别多个不同特征。可以使用任何适当的技术识别特征，包括下文稍后指出的示范性方法。

不论使用什么技术识别特征，都在采集的每幅图像中按照二维图像像素坐标I（I^L _X，I^L _Y）和（I^R _X，I^R _Y）定位特征。方框1008表示确定针对特征的摄像头坐标，然后将坐标转换成虚拟坐标。可以利用以下表达式将图像像素坐标转换成摄像头坐标C（单位mm）：

(\begin{matrix} C_{x} \\ C_{y} \\ C_{z} \end{matrix}) = (\begin{matrix} (I_{x} - P_{x}) / f_{x} \\ (I_{y} - P_{y}) / f_{y} \\ 1 \end{matrix})

其中（P_x，P_y）是主中心，f_x,f_y是每个摄像头校准的焦距。

可以根据以下表达式将来自左成像单元坐标C^L和右成像单元坐标C^R的坐标转换成坐标系V中的对应坐标：

V^L=M_Left×C^L

V^R=M_Right×C^R

其中M_left和M_right是从左右摄像头坐标到虚拟坐标的变换矩阵；可以通过来自立体摄像头校准的旋转矩阵R和平移矢量T计算M_left和M_right。可以由两个成像装置对棋盘格图案成像并用于计算摄像头之间的同类变换，以便导出旋转矩阵R和平移矢量T。具体而言，假设P^R是右摄像头坐标系中的点，点P^L是左摄像头坐标系中的点，可以将从右到左的变换定义为P^L=R·P^R+T。

如前所述，可以沿着虚拟空间的x轴设置摄像头的原点，左摄像头原点在（-1，0，0），右摄像头原点在（0，0，1）。在本范例中，沿着摄像头的原点定义虚拟坐标V_x的x轴。虚拟坐标V_z的z轴定义为来自摄像头局部坐标的z轴叉积（即，通过C_z ^L和C_z ^R的叉积）。虚拟坐标V_y的y轴定义为x和z轴的叉积。

利用这些定义和校准数据，可以根据以下步骤推导虚拟坐标系的每个轴：

V_x=R·[0,0,0]^T+T

V_z=((R·[0,0,1]^T=T)–V_x)×[0,0,1]^T

V_y=V_z×V_x

V_z=V_x×V_y

在C_z ^L和C_z ^R不是共平面的情况下，计算两次V_z。因为左摄像头的原点是在[-1，0，0］^T处定义的，所以可以利用如下表达式获得从左摄像头坐标到虚拟坐标的同族点变换；类似的计算可以导出从右摄像头坐标到虚拟坐标的同类变换：

M_left=[V_x ^TV_y ^TV_z ^T[-1,0,0,l]^T]

以及

M_right=[R×V_x ^T R×V_y ^T R×V_z ^T[1,0,0,1]

方框1010表示确定第一条线和第二条线的交点。第一条线是从第一摄像头原点，通过在第一成像装置探测的特征的虚拟坐标投射的，而第二条线是从第二摄像头原点并通过在第二成像装置探测的特征的虚拟坐标投射的第二条线。

如图12-13中所示，探测到的特征具有坐标系V中的左侧坐标P^L和坐标系V中的右侧坐标P^R。可以从左侧原点O^L，通过P^L，并从右侧原点O^R，通过P^R投射线。理想地，线将在与图12中所示的特征对应的位置或附近相交。

在实践中，可能不会发现完美的交点，例如，投射的线由于校准误差，可能不是共面的。于是，在一些实施例中，将交点P定义为两条线都相切的最小球体的中心。如图13中所示，该球体与投影线在点a和b处相切，从而将球心n定义为空间坐标。可以通过下式计算球心：

O^L+(P^L-O^L)·t^L=P+λ·n

O^R+(P^R-O^R)·t^R=P-λ·n

其中n是从节点b到a的单位矢量，是从两条射线的叉积(P^L-O^L)×(P^R-O^R)导出的。可以通过对以下线性方程求解导出剩余三个未知数t^L、t^R和λ：

[\begin{matrix} t^{L} & t^{R} & λ \end{matrix}] \cdot [\begin{matrix} (P^{L} - O^{L}) \\ - (P^{R} - O^{R}) \\ - 2 n \end{matrix}] = O^{R} - O^{L}

方框1012表示过滤位置P的任选步骤。可以应用滤波器以消除P的位置的振动或微小移动。这能够使被探测指针或对象的非故意震动或移动最小化。适当的滤波器包括无限脉冲响应滤波器、GHK滤波器等，甚至是用于位置探测系统的定制滤波器。

如上所述，可以基于如至少两个图像中绘示的识别特征发现空间坐标P。可以使用任何适当的图像处理技术来识别特征。图14中示出了图像处理技术的范例，图14是示出了识别图像中的指尖的例示性方法1400的流程图和附图。图1401示出了根据方法1400被分析的差异图像范例。

方框1402表示访问图像数据。例如，可以直接从成像装置或存储器检索图像，或者可以直接对其进行背景减除或其他细化，以辅助特征识别过程。方框1404表示对沿着每行的所有像素的亮度求和，然后维护根据行号的和的表示。范例表示被示为曲线图1404A。尽管这里示为可视的曲线图，但在实践中不需要提供实际曲线图，相反位置探测系统能够依赖于值的数组或另一存储器中的表示。

在本范例中，假设摄像头的取向如图11所示。于是，摄像头位置是固定的，假设系统用户利用其手（或另一个对象）从前侧进入空间114。因此，指点的指尖处的像素应当比任何其他像素更接近屏幕。因此，在坐标位于图像底部时，这种特征识别方法将图像坐标[I_x，I_y］识别为与指点的指尖对应。

方框1406表示确定各行最大部分的底部行。在本范例中，在曲线图中在1406处示出了底部行，仅有单个部分。在一些情况下，由于辐照变化等，总计的像素强度可能是不连续的，因此在曲线图1404A中可能出现多个不连续段；在此情况下，考虑最底部的部分。可以将垂直坐标I_y近似为最底部的部分处的行。

方框1408表示从针对图像列的I_y开始对像素强度值求和。在1408A处示出了作为列数的函数的总计强度值的表示，但如上所述，在实践中不必提供实际曲线图。在一些实施例中，仅针对来自I_y的最多h个像素对像素强度值求和，在一个实施例中，h等于10个像素。方框1410表示近似指尖水平坐标I_x可以被近似为具有总计列强度的最大值的列的坐标；在图的1410A处示出了这种情况。

可以使用近似的坐标[I_x，I_y］根据上述方法（或任何其他适当方法）确定空间坐标P。不过，一些实施例前进到方框1412，表示一个或多个额外处理步骤，例如边缘探测。例如，在一个实施例中，在[I_x，I_y］附近执行Sobel边缘探测（例如，在40×40像素窗口中），并在存储器中存储得到的边缘图像，在整个图像中使用边缘图像以确定手的边缘。可以将第一指尖的位置定义为最接近图像底部边缘的所探测边缘上的像素，可以在确定空间坐标时使用该位置。再者，可以利用适当的曲率算法探测其余指尖的图像坐标，基于其余指尖的图像坐标确定对应的空间坐标。

在本范例中，可以基于成像空间中对象的形状和取向类似的假设，识别特征。将要理解的是，对于位置探测系统的探测器不同布置和其他部件，该技术可能有变化。例如，如果以不同方式定位成像装置，那么指尖的最可能位置可以是最上方一行或最左侧一列，等等。

利用交互式体积的位置探测系统的例示性方面

图15A示出了在位置探测系统中使用交互式体积。在一些实施例中，位置探测系统的处理器被配置成访问来自至少一个成像装置的数据，该数据包括空间中对象的图像数据，访问定义空间之内的交互式体积的数据，确定与对象相关联的空间坐标，并基于空间坐标和交互式体积确定命令。交互式体积是位置探测系统的成像装置的视场中定义的三维几何对象。

图15A示出了以显示器108和成像装置112为特征的位置探测系统1500。装置112成像的空间以交互式体积1502为特征，这里被示为梯形棱柱。将要理解，在各实施例中，可以使用一个或多个交互式体积，交互式体积可以是任何期望的形状。在本范例中，交互式体积1502在显示器108的平面处或附近定义后表面，以及沿着z+方向向外延伸的前表面1503。将交互式体积的后表面的角映射到本范例中显示器的角，在后表面和前表面之间定义深度。

为了获得最好的结果，这种映射使用关于显示器取向的数据，可以通过任何适当方式获得这样的信息。作为一个范例，可以使用具有显示器视场的成像装置监测显示表面和其上的反射。可以基于从观察对象和对象反射推测接触表面来识别触摸事件，使用三个触摸事件定义显示器的平面。当然，可以使用其他技术确定显示器的位置/取向。

在一些实施例中，为了确定界面坐标的至少第一和第二值，通过利用空间坐标和交互式体积之内的坐标值到界面坐标的映射确定界面坐标的值，从而使得该计算装置能够确定命令。

尽管可以简单地将指针从3D坐标映射到2D坐标（或对于三维界面，到2D坐标加深度坐标），各实施例还包括根据更一般化的方法转换位置。具体而言，一般化的方法有效地允许空间坐标到界面坐标的转换根据空间坐标值而不同，结果，对象在交互式体积第一部分之内一距离上的移动使光标位移的量比对象在第二部分之内相同距离上的移动使光标位移的量要少（或要多）。

图15B-E示出了所得光标位移的一个范例。图15B是图15A中所示系统的顶视图，在截面图中示出了交互式体积1502的前方和侧面。沿着距离1从点A到点B移动对象，例如手指或指示笔，点A和B的深度都在交互式体积1502的前面1503附近。图15C示出了光标在距离2上从点a'到b'的对应移动。

图15D再次示出了截面图，但尽管沿着x轴沿着同样距离1从点C到点D移动对象，移动发生在距交互式体积1502的后面近得多的深度上进行。在图15E中示出了所得的光标移动，其中光标从点c'到d'移动距离3。

在本范例中，因为交互式体积的前面小于交互式体积的后面，对于成像空间中的给定移动，实现更慢的光标移动，因为移动发生在更接近屏幕处。交互式体积第一截平面中的移动可能导致与在第二截平面中进行同样移动不同的一组坐标值。在本范例中，映射沿着交互式体积的深度变化，但通过使用其他映射可以在不同方向上实现类似效果。

例如，计算系统能够支持将3D坐标探测系统用于2D输入的状态。在一些实施方式中，这是利用具有短深度（例如3cm）的交互式体积以及一对一映射到屏幕坐标来实现的。于是，可以将虚拟体积之内的移动用于2D输入，例如基于触摸和悬停的输入命令。例如，在到达交互式体积的后表面时，可以识别点击。

尽管本范例绘示了光标移动，但可以在基于对象在成像空间中的移动确定坐标或其他命令的任何情况中利用这种效果。例如，如果识别出三维手势，那么手势可以处于与交互式体积的另一部分相比，交互式体积的一个部分具有更高的空间分辨率。作为具体范例，如果使用图15A中所示的交互式体积，在远离屏幕的位置，与在更接近屏幕处做出同样手势相比，“滑动”手势可能具有更大的幅度。

除了改变沿着深度（和/或交互式体积的另一个轴）坐标的映射之外，可以通过其他方式使用交互式体积。例如，可以将交互式体积的后表面定义为显示器的平面，甚至从显示器平面向外，使得在到达（或通过）交互式体积的后表面时，在对应的界面坐标处提供点击或其他选择命令。更一般地，可以将遭遇到交互式体积的任何边界解释为命令。

在一个实施例中，根据以下三线性内插将界面坐标确定为指针位置P：

P=P₀·（1-ξ_x)·（1-ξ_y)·（1-ξ_z)+P₁·ξ_x·（1-ξ_y)·（1-ξ_z)+P₂·（1-ξ_x)·ξ_y·（1-ξ_z)+P₃·ξ_x·ξ_y·（1-ξ_z)+P₄·（1-ξ_x)·（1-ξ_y)·ξ_z+P₅·ξx·（1-ξ_z)·ξ_z+P₆·（1-ξ_x)·ξ_y·ξ_z+P₇·ξ_x·ξ_y·ξ_z

其中交互式体积的顶点为P_[0-7]，ξ=[ξ_x，ξ_y，ξ_z]是在[0,1]的范围中确定的空间坐标。

当然，可以使用其他映射方法实现这里所述的效果，上述具体内插法仅仅是为了举例。再者，可以使用其他类型的映射方法。作为范例，可以沿着成像区域的深度定义成像区域的多个矩形部分。每个矩形部分可以具有不同的界面坐标到空间坐标的x-y映射。

此外，交互式体积不必是梯形，可以使用菱方柱或可以提供不规则形状。例如，可以定义交互式体积，使得x-y映射根据深度（即z位置）改变，和/或x-z映射根据高度（即y位置）改变，和/或y-z映射根据宽度（即x位置）改变。已经相对于直角坐标系描述了交互式体积的形状和行为，但可以依据球坐标或其他坐标定义交互式体积，受到位置探测系统的成像能力和空间布置影响。

在实践中，可以通过执行对应的计算来实时计算空间坐标到图像坐标的映射。作为另一范例，可以将交互式体积实现为根据空间坐标计算的一组映射坐标，在存储器中存储该组坐标，然后一旦确定空间坐标就在系统工作期间访问。

在一些实施例中，可以由用户调节交互式体积的尺寸、形状和/或位置。这样能够允许用户定义多个交互式体积（例如，用于将可探测空间分成用于多个监视器的子区域）并控制如何将空间坐标映射到屏幕坐标。图16是位置探测系统能够提供的图形用户界面1600的范例。在本范例中，界面1600提供了顶视图1602和前视图1604，示出了交互式体积与成像装置（表示为图标1606）和键盘（表示为图形1608）的关系。也可以提供侧视图。

通过拖动或以其他方式操控元件1620、1622、1624和1626，用户能够调节交互式体积的前后面的尺寸和位置。额外的实施例可以允许用户定义更复杂的交互式体积，将该区域分成多个交互式体积等。提供这个界面仅仅是为了举例；在实践中，可以使用任何适当的界面元件，例如滑块、按钮、对话框等来设置交互式体积的参数。如果实时或接近实时地执行映射计算，可以使用界面中的调节对映射参数做出对应调节。如果使用预定义的组，可以使用该界面选择另一预定义的映射和/或可以计算该组坐标并在存储器中存储，以供将空间坐标转换成界面坐标时使用。

也可以使用交互式体积增强图像处理和特征探测。图17A-B示出了使用来自第一成像装置的一个像素阵列1702A以及来自第二成像装置的第二像素阵列1702B。在一些实施例中，位置探测系统的处理装置被配置成迭代地对至少一个成像装置的图像数据采样并基于如上所述在图像数据中探测对象特征的图像来确定与空间中的对象相关联的空间坐标。迭代地对图像数据采样能够包括确定像素范围，以供基于当前迭代期间的特征的像素位置在下一次迭代期间对图像数据采样时使用。此外或替代地，迭代采样能够包括使用一次迭代期间一个成像装置探测的特征的像素位置的数据来确定像素范围，以供在同一迭代（或另一次迭代）期间利用另一成像装置定位特征使用。

如图17A中所示，使用像素窗口1700，基于所探测特征A的位置更新窗口1700的位置。例如，在第一次迭代（或迭代系列）期间，可以通过对阵列1702A和1702B都采样来识别特征A，特征A出现在每个阵列中；图17B示出了出现于阵列1702B中的特征A。不过，一旦确定了特征A的初始位置，可以使用窗口1700限制在像素阵列中的至少一个中采样的区域，或者，如果对整个阵列采样，限制下一次迭代期间搜索的图像范围。

例如，在识别指尖或其他特征之后，在静态存储器中保持其图像坐标，使得下一帧中的探测仅通过所存储的用于处理的坐标附近的像素区域（例如，40×40像素）。可能根本不对窗口外部的像素采样或者可以比窗口内部的像素以更低分辨率采样。作为另一范例，可以识别特定的行用于搜索特征。

此外或替代地，在一些实施例中，在限制搜索或采样区域时使用交互式体积。具体而言，可以向1704A和1704B处所示的每个摄像头的图像平面上投射交互式体积，以定义每个像素阵列之内的一个或多个区域。在采样和/或分析期间可以忽略区域外部的像素，以减少经历图像处理步骤的数据量或者可以比交互式体积内部的像素以更低分辨率处理。

作为另一范例，可以使用基于立体视觉的核面几何学的关系限制搜索或采样的区域。第一摄像头中探测的指尖，例如阵列1702A中的点A，与通过从第一摄像头的原点通过3D空间中探测到的指尖延伸一条线找到的第二摄像头中的像素（例如阵列1702B）具有几何关系。这条线将在3D线空间中与交互式体积相交。可以向另一摄像头的图像平面上（例如向阵列1702B上）投射3D线空间，获得可以在搜索中使用的线段（核线）E。例如，可以搜索与2D线段对应的像素，而忽略其他像素。作为另一范例，可以搜索沿着核线的窗口以搜索特征。在本范例中描述核线纯粹是为了例示，在实践中，线的方向和长度将根据系统的几何形状、指针的位置等变化。

在一些实施例中，核线关系用于验证已经识别了正确的特征。具体而言，如果沿着第二摄像头中的核线发现探测的点，则验证了第一摄像头中探测到的点。

具有增强识别能力的实施例

如上所述，一些实施例确定一个或多个空间坐标并在确定用于位置探测系统的命令时使用空间坐标。尽管命令可能包括光标位置的移动、悬停、点击等，但命令并非要仅限于那些情况。相反，由于能够对空间中的对象（例如用户的手）成像，所以可以支持额外的命令类型。

例如，在一个实施例中，可以使用多个指尖，甚至手的模型以支持3D手的手势。例如，可以使用有辨别力的方法从单个帧通过分类或回归技术恢复手的手势。此外或替代地，可以使用生成性方法将3D手模型拟合到观察到的图像。可以使用这些技术补充或取代上述指尖识别技术。作为另一范例，可以在第一可观察区域之内定义指尖识别/光标移动，而可以针对一个或多个其他可观察区域中的移动识别3D和/或2D手的手势。

位置探测系统中的多种状态的使用

在一些实施例中，位置探测系统使用第一组像素以供在第一状态期间对图像数据采样时使用，并且使用第二组像素以供在第二状态期间对图像数据采样时使用。可以将系统配置成基于在图像数据中探测特征的成功或失败在第一和第二状态之间切换。作为范例，如果在定义第一组像素时使用窗口、交互式体积和/或核面几何学但在迭代期间在两幅图像中都未找到该特征，系统可以切换到使用所有可用像素的第二状态。

此外或替代地，可以使用状态来节省能量和/或处理功率。例如，在“睡眠”状态中，停用一个或多个成像装置。可以使用一个成像装置来识别移动或其他活动，或可以使用另一传感器从“睡眠”状态切换到另一种状态。作为另一范例，位置探测系统可以在一种状态期间利用交替的行或行组操作一个或多个成像装置，并在另一种状态中切换到连续的行。这可以提供足够的探测能力以确定何时要使用位置探测系统，同时在其他时间保存资源。作为另一范例，一种状态可以仅使用单行像素以识别移动并切换到使用所有行的另一种状态。当然，在使用“所有”行时，可以应用上述一种或多种限制技术。

在通过有选择地禁用辐照部件节省功率时，状态也可能是有用的。例如，在运行于便携式装置中电池上时，以连续方式提供IR光是不利的。因此，在一些实施方式中，默认工作模式是低功率模式，其中位置探测系统被激活，但辐照部件被停用。一个或多个成像装置能够充当接近度传感器，使用环境光确定是否激活IR辐照系统（或其他辐照，用于位置探测的目的）。在其他实施方式中，当然可以使用另一种接近度传感器。可以在满功率下操作辐照系统，直到在预定时间段内没有移动的事件为止。

在一种实施方式中，将面积摄像头用作接近度传感器。返回到图2的范例，在低功率模式期间，进入利用环境光探测到的区域之一（例如，区域3）的任何东西都将导致系统完全醒来。在低功率模式期间，可以在降低得多的帧率下，典型在1Hz，对进入区域的对象进行探测，以进一步节省功率。

也可以使用额外的功率降低措施。例如，用于位置探测系统的计算装置可以支持“睡眠模式”。在睡眠模式期间，辐照系统不工作，仅检查来自一个摄像头的一行像素。可以通过测量在1或2秒时间间隔内任何块像素的强度是否显著变化或通过用于确定光流的更复杂方法（例如，相位相关，微分法，例如Lucas-Kanade、Horn-Schunk和/或离散优化方法）来找到移动。如果探测到移动，那么可以激活位置探测系统的一个或多个其他摄像头，查看对象是否实际在交互区域中且未进一步远离，如果对象确实在交互区域中，那么计算装置可以从睡眠模式中醒来。

触摸探测

如上所述，位置探测系统能够对2D触摸事件做出响应。2D触摸事件能够包括对象和感兴趣表面之间的一个或多个接触。图18示出了计算系统的范例1800，其根据以上一个或多个范例进行位置探测。在这里，系统包括主体101、显示器108和至少一个成像装置112，但可以使用多重成像装置。成像空间包括表面，在本范例中其对应于显示器108或显示器上面的材料。不过，考虑到成像装置112，实施方式可能具有另一感兴趣表面（例如，主体101、外围装置或其他输入区域）。

在一些实施方式中，确定命令包括识别在对象和表面之间是否有接触。例如，可以利用一个或多个成像装置确定与对象特征1802（在本范例中，为指尖）相关联的3D空间坐标。如果空间坐标在显示器108的表面或附近，那么可以推断为触摸命令（基于交互式体积的使用或某种其他技术）。

单个摄像头坐标确定

在一些实施方式中，表面至少是部分反射的，确定空间坐标至少部分基于表示对象反射的图像数据。例如，如图18中所示，对象1802的特征是反射的图像1804。可以由成像装置112对对象1802和反射图像1804成像。可以基于对象1802及其反射1804确定针对对象1802的指尖的空间坐标，由此能够使用单个摄像头确定3D坐标。

例如，在一种实施方式中，位置探测系统在一幅图像中搜索特征（例如指尖），如果找到，搜索该特征的反射。可以基于图像及其反射确定图像平面。位置探测系统可以基于特征的接近度及其反射确定是否在进行触摸，如果特征及其反射重合或在彼此的阈值距离之内，可以将此解释为触摸。

无论是否发生触摸，可以基于特征及其反射确定指尖及其反射之间的点“A”的坐标。从校准（例如通过三次触摸或任何其他适当技术）知道反射表面（在本范例中为屏幕108）的位置，已知“A”必定在反射表面上。

位置探测系统可以从摄像头原点通过与点“A”对应的图像平面坐标投射线1806，并确定线1806在哪里与屏幕108的平面相交，以获得点“A”的3D坐标。一旦知道了“A”的3D坐标，就可以通过A投射垂直于屏幕108的线1808。可以从摄像头原点通过位于图像平面中的指尖投射线1810。线1808和1810的交点表示指尖的3D坐标（或其反射的3D坐标——可以基于它们的坐标值区分这两者以确定哪个在屏幕108前方）。

可以在发明人名为Bo Li和John Newton，2010年2月12日提交的美国专利申请No.12/704949中找到使用单个摄像头进行3D位置探测的其他范例，在此通过引用将其全文并入本文。

在一些实施方式中，使用多个成像装置，但单独利用每个成像装置确定特征（例如，对象1802的指尖）的3D坐标。然后，可以利用立体匹配技术组合图像，该系统可能试图基于其相应核线和3D坐标匹配来自每幅图像的指尖。如果指尖匹配，可以利用三角测量发现实际的3D坐标。如果指尖不匹配，那么可以遮挡一个视图，因此能够使用来自一个摄像头的3D坐标。

例如，在探测多个接触（例如，两个分开的指尖）时，可以（在存储器中）叠加使用多个成像装置成像的指尖以确定手指坐标。如果遮挡一个手指以免被每个成像装置观察到，那么可以使用单摄像头方法。可以识别被遮挡的手指及其反射，然后可以将手指及其反射之间投射的线——该线的中心点作为坐标处理。

总体设想

这里论述的范例并非要暗示本主题限于任何硬件体系结构或这里论述的配置。如上所述，计算装置可以包括部件的任何适当布置，提供以一个或多个输入为条件的结果。适当的计算装置包括访问所存储软件的基于通用和专用微处理器计算机系统，而且包括专用集成电路及其他可编程序逻辑以及其组合。可以使用任何适当的程序设计、脚本设计或其他类型语言或语言组合来构造程序部件和代码，用于实施这里包含的教导。

可以由一个或多个适当的计算装置执行这里公开的方法实施例。这样的系统可以包括一个或多个适于执行这里公开的一个或多个方法实施例的计算装置。如上所述，这样的装置可以访问一个或多个计算机可读介质，其包含计算机可读指令，在由至少一个计算机执行时，指令让至少一个计算机实施本主题的方法的一个或多个实施例。在利用软件时，该软件可以包括一个或多个部件、过程和/或应用。作为软件的补充或替代，计算装置可以包括使装置能够实施本主题一种或多种方法的电路。

可以使用任何适当的非暂态计算机可读介质来实施或实践当前公开的主题，包括，但不限于磁盘、驱动器、基于磁性的存储介质、光学存储介质，包括盘片（包括CD-ROM、DVD-ROM及其变化）、闪存、RAM、ROM和其他存储器件等。

提供了红外（IR）辐照的范例。要理解的是，可以使用任何适当波长范围的能量进行位置探测，使用IR辐照和探测仅仅是为了举例。例如，作为IR光的补充或替代，可以使用环境光（例如可见光）。

尽管已经结合其具体实施例详细描述了本主题，但要认识到，在获得对上文的理解时，本领域的技术人员可以容易地对这样的实施例做出改变、变化和等价设计。因此，显然提供本公开是为了举例而非限制，不排除包括对本主题这样的修改、变化和/或添加，这对于本领域技术人员而言是显而易见的。

Claims

1.一种计算系统，包括：

处理器；

存储器；以及

至少一个成像装置，配置成对空间成像，

其中所述存储器包括至少一个程序部件，所述至少一个程序部件配置所述处理器以：

访问来自所述至少一个成像装置的数据，所述数据包括所述空间中对象的图像数据，

访问定义所述空间之内交互式体积的数据，

确定与所述对象相关联的空间坐标，并且

基于所述空间坐标和所述交互式体积确定命令。

2.根据权利要求1所述的计算系统，其中确定命令包括确定对象或对象的一部分的界面坐标的值，所述界面坐标是利用所述空间坐标和映射确定的，所述映射将空间坐标值关联到界面坐标值。

3.根据权利要求2所述的计算系统，其中所述界面坐标包括用于指定图形用户界面中位置的具有第一值和第二值的二维屏幕坐标。

4.根据权利要求2或3所述的计算系统，

其中所述交互式体积之内的坐标到所述界面坐标的映射将位于交互式体积中包括的第一平面之内的空间坐标值映射到第一组界面坐标，并且

其中所述交互式体积之内的坐标到所述界面坐标的所述映射将位于交互式体积中包括的第二平面之内的空间坐标值映射到第二组界面坐标。

5.根据权利要求4所述的计算系统，其中所述交互式体积定义后表面、前表面、和后表面与前表面之间的深度，

其中所述交互式体积之内的坐标到界面坐标系的映射沿深度是不同的。

6.根据权利要求5所述的计算系统，

其中所述交互式体积包括沿深度的多个矩形部分，多个部分中的每个部分的每个角都被映射到图形用户界面的角，所述部分在宽度和高度中的至少一个是不同的，并且

其中在所述多个部分的第一部分之内的沿着宽度或高度中的至少一个的坐标的映射与在所述多个部分的第二部分之内的沿着宽度或高度中的至少一个的坐标的映射不同。

7.根据权利要求6所述的计算系统，其中所述映射是不同的，使得对象在第一部分之内一距离上的移动使光标位移的量小于所述对象在第二部分之内相同距离上的移动使所述光标位移的量。

8.根据权利要求1或2所述的计算系统，

其中所述交互式体积定义后表面和前表面，并且

其中所述命令是空间坐标到达或通过后表面时识别的输入。

9.根据权利要求8所述的计算系统，其中所述命令包括映射到所述交互式体积的后表面的二维屏幕坐标处的点击事件。

10.根据权利要求8所述的计算系统，其中所述交互式体积定义与第二侧相对的至少第一侧。

11.根据权利要求1或2所述的计算系统，其中所述至少一个程序部件配置所述处理器以提供在渲染显示器时使用的输出并提供界面，所述界面被配置成接收输入，所述输入针对所述显示器调节所述交互式体积的尺寸或位置中的至少一个，并且

其中响应于所接收的输入定义数据，所述数据定义所述空间之内的交互式体积。

12.根据权利要求11所述的计算系统，还包括至少一个显示器，

其中所述交互式体积定义后面和前面，并且

其中后面对应于由所述至少一个显示器定义的显示区域的尺寸。

13.一种计算机实施的方法，包括：

由位置探测系统获得空间中对象的图像数据，所述图像数据由至少一个成像传感器提供；

由所述位置探测系统访问定义所述空间之内交互式体积的数据；

由所述位置探测系统确定与所述对象相关联的空间坐标；以及

由所述位置探测系统基于所述空间坐标和所述交互式体积确定命令。

14.根据权利要求13所述的方法，其中确定命令包括确定对象或对象的一部分的界面坐标的值，所述界面坐标是利用所述空间坐标和所述交互式体积之内的坐标到界面坐标的映射确定的。

15.根据权利要求14所述的方法，其中界面坐标值包括用于指定图形用户界面中位置的具有第一值和第二值的二维屏幕坐标。

16.根据权利要求15所述的方法，其中确定命令还包括确定坐标的第三值。

17.根据权利要求16所述的方法，

其中所述交互式体积定义前表面、后表面以及前表面和后表面之间的深度，并且

其中所述交互式体积之内的坐标到所述界面坐标的映射沿着所述交互式体积的深度是不同的。

18.根据权利要求13、14、15、16或17所述的方法，

其中所述交互式体积定义后表面和前表面，并且

其中确定命令包括当所述空间坐标到达或通过后表面时识别输入事件。

19.根据权利要求18所述的方法，其中所述输入事件包括映射到所述交互式体积的后表面的二维屏幕坐标处的点击事件。

20.根据权利要求13、14、15、16或17所述的方法，还包括：

利用定义显示区域的至少一个显示装置显示用户界面，

其中所述交互式体积定义后表面和前表面，并且后表面对应于由所述至少一个显示装置定义的显示区域。

21.根据权利要求13、14、15、16或17所述的方法，其中所述交互式体积定义后表面和前表面，后表面和前表面具有相同尺寸。

22.根据权利要求13、14、15、16或17所述的方法，其中所述交互式体积定义具有不同尺寸的后表面和前表面。

23.根据权利要求13、14、15、16或17所述的方法，还包括：

提供界面，所述界面被配置成接收输入，所述输入针对所述计算系统的部件调节所述交互式体积的尺寸、形状或位置中的至少一个。

24.一种包括计算机可读介质的计算机程序产品，所述计算机可读介质包含能够由计算装置执行的程序代码，所述程序代码包括：

配置所述计算装置以获得空间中对象的图像数据的代码，所述图像数据是由至少一个成像传感器提供的；

配置所述计算装置以访问定义所述空间之内的交互式体积的数据的代码；

配置所述计算装置以确定与所述对象相关联的空间坐标的代码；以及

配置所述计算装置以基于所述空间坐标和所述交互式体积确定命令的代码。