CN101617271A - 使用闪烁电磁辐射的增强输入 - Google Patents

Abstract

使用闪烁电磁辐射的增强输入，其中访问在屏幕的第二侧上放置的环境电磁辐射发射器和物体的、在屏幕的第一侧上捕捉的第一图像和第二图像，所述第一图像是在使用被投映的电磁辐射照射物体时被捕捉的，所述第二图像是在所述被投映的电磁辐射熄灭时被捕捉的。基于第一图像和第二图像的比较而确定物体相对于所述屏幕的位置。基于所确定的位置控制应用程序。

Description

使用闪烁电磁辐射的增强输入

相关申请的交叉引用

本申请要求于2007年2月15日提交的美国临时申请No.60/890108的利益，此处并入其整体作为参考。

技术领域

本公开通常涉及用户输入。

背景技术

如果在屏幕附件的物体被恒定光源和环境光(ambient light)两者照射，则环境光可能无法与该恒定光源充分地区分开来，以允许该恒定光源从物体出去的反射(reflection of the constant source off of the object)用作用户输入。

发明内容

在一个普通实现方式中，使用闪烁光(flashing light)照射物体，其中屏幕之后的环境光在闪烁光的关闭周期期间被实时地或者近实时地检测并且从屏幕的图像中被过滤。基于过滤操作，可以辩别并且使用物体相对于屏幕的二维或三维位置或运动，例如通过将检测到的位置或运动映射成控制输入或鼠标事件来控制应用程序。

在另一普通实现方式中，访问在屏幕的第二侧上放置的环境电磁辐射发射器和物体的、在屏幕的第一侧上捕捉的第一图像和第二图像。所述第一图像是在使用被投映的电磁辐射照射物体时被捕捉的，所述第二图像是在所述被投映的电磁辐射熄灭时被捕捉的。基于第一图像和第二图像的比较而确定物体相对于所述屏幕的位置。基于所确定的位置控制应用程序。

实现方式可以包括下列特征中的一个或多个特征。可以沿着且平行于屏幕的第二侧投映电磁辐射作为第一光幕。可以邻近且平行于屏幕的第二侧投映电磁辐射作为第二光幕，所述第一光幕和所述第二光幕彼此平行且相对于屏幕的第二侧被放置在第一场所和第二场所处。所述物体可以包括人体的一部分。可以确定第二位置，并且所述应用程序可以是基于所确定的位置和所述第二位置而控制的。基于第一图像和第二图像的比较而确定物体相对于所述屏幕的位置可以包括：将第一图像和第二图像相减以便生成差异图像。确定物体相对于所述屏幕的位置可以包括：确定物体在差异图像中的场所。

在一些示例实现方式中，基于所确定的位置控制应用程序可以包括：控制光标。所述被投映的电磁辐射可以包括红外辐射。可视图像可被投映到所述屏幕，所述物体可以处于运动中，并且基于所确定的位置控制应用程序可以包括控制所述可视图像上的光标，从而所述光标的运动对应于所述物体的运动。所述物体的运动可以包括人做出的手势。

在一些示例实现方式中，访问第一图像和第二图像可以包括访问物体和第二物体的第一图像和第二图像，所述物体和所述第二物体被放置在所述屏幕的相同侧上，并且可以确定第二物体相对于所述屏幕的位置。可以对屏幕上投射的阴影建模，其中所述阴影可以是当所述物体被所述投映的电磁辐射照射时由所述物体投射的。可以基于所述模型确定所述阴影模糊了第二物体。确定第二物体相对于所述屏幕的位置包括考虑所述阴影。

在其它普通实现方式中，一种系统包括：透明屏幕，包括第一侧和第二侧；电磁辐射源，所述源被配置成以一闪烁率在发射电磁辐射与熄灭电磁辐射之间交替。传感器位于屏幕的第一侧上，并且被配置成以该闪烁率感测电磁辐射，并且从位于屏幕的第二侧上的屏幕附近的物体反射电磁辐射。所述系统也包括处理器，其被配置成：基于所感测的电磁辐射而确定物体的位置，和基于所确定的物体的位置而控制应用程序。

实现方式可以包括下列特征中的一个或多个特征。所述屏幕可以包括边缘，和所述电磁辐射源可以包括沿着屏幕的一个或多个边缘放置的发射器的线性阵列，从而电磁辐射被投映在屏幕的第二侧上且与该屏幕的第二侧平行。所述屏幕可以是平行四边形。所述电磁辐射源可以包括一系列发射器的线性阵列，并且每个线性阵列可以位于屏幕的第二侧离该屏幕表面一段距离处。所述电磁能量源可以发射发散的电磁能量，并且通道与所述源相邻，其中所述通道可以被配置成校准所发射的电磁能量。所述通道可以包括材料块，所述材料块具有一条贯穿该块从入口延伸到出口的过道，并且所述发散的电磁辐射可以接入所述入口，并且所述发散的电磁辐射的一部分可以从所述出口射出作为被校准的电磁辐射。所述通道可以包括镜头。所述电磁辐射源可以包括位于屏幕的第一侧上的发射器，并且所述电磁辐射穿过所述屏幕且与从所述物体反射出去。所述电磁辐射源可以是发光二极管。所述发光二极管可以发射红外辐射。所述传感器可以是像素阵列。所述处理器也可被配置成对物体投射的阴影建模，并且基于所建模的阴影确定位于屏幕的第二侧上的第二物体的位置。

上述的任一技术的实施方式可以包括方法或处理、系统或者存储在存储装置上的指令。特定实施方式的细节被阐述在附图以及下面的描述中。其它特征将从下面的描述(包括附图和权利要求书)中显而易见。

附图说明

图1A到图1C提供了示例系统的上下文图。

图2到图4、图7A到图7D、图9和图10示出了允许用户与应用程序进行交互作用的示例系统。

图5是图示用于确定物体的位置的示例处理的流程图。

图6图示了两个示例输入图像以及得到的差图像。

图8A和图8B图示了示例电磁辐射源。

图11示出了示例系统和伴随的受控应用程序。

具体实施方式

在一种普通实现方式中，物体被闪烁光照射，其中屏幕之后的环境光在该闪烁光的关闭周期期间被实时地或者近实时地检测并且从该屏幕的图像中被过滤。基于所述过滤操作，可以辩别并且使用物体相对于屏幕的二维或三维位置或运动，例如通过将检测到的位置或运动映射到控制输入或鼠标事件来控制应用程序。

例如，并且参考图1A，系统100允许用户102、103和104不必触摸屏幕110就可以与被显示在透明屏幕110上的应用程序105进行交互作用。在所示的示例中，用户102、103和104通过平行投映到屏幕110且在其之前的光的帘幕(也可被称作“光幕”和/或“光平面”)来运动物体，以便与应用程序105交互作用。在图1A中所示的示例中，应用程序105是“抢夺植物”游戏。

光幕是通过从源115和120发射的电磁辐射而形成的。电磁辐射可以是光。为了与应用程序105交互作用，用户102、103和104可以朝着屏幕110运动或放置物体，例如手或棒，以便打断光幕。光幕中物体的运动、盘旋和/或放置可以促使系统100向应用程序105发出鼠标事件序列(或者其它I/O事件)，从而影响应用程序105的控制。因此，用户102、103和104可以通过运动、放置或盘旋物体以便物体被光幕照射来控制应用程序105。

如下面更详细所述，物体相对于屏幕110的运动、放置和/或位置被确定并且被用来控制应用程序105。具体地，被放置在光幕中的物体反射从源115和120投映的电磁能量，并且通过传感器，例如像素、像素阵列或相机，感测所反射的电磁能量。根据所感测的能量来确定物体的位置或运动，并且根据所确定的位置或运动来控制应用程序105。除了物体将来自源115和120的光反射到屏幕110，物体也可以反射环境光，或者环境光自身可以照射屏幕110。环境光可以出现在图像上并且否则被错误地检测为物体。

为了将来自被物体反射的源115和120的光与来自可被错当作物体的环境光点的光区分开来，源115和120以预定的模式或顺序(例如源115和120以及光幕正闪烁)发射电磁辐射，因此被光幕照射的物体也以预定的模式或顺序照射。因此，真正的物体出现在源115和120发射辐射时收集的图像中，而环境光点出现在所有图像中，包括那些在源115和120没有发射电磁辐射时收集的图像。通过将在源115和120发射电磁辐射时收集的图像与在源115和120正熄灭电磁能量时收集的图像进行比较，真正的物体可以与由环境光造成的屏幕110上的游离点(spray spot)区分开来。使用预定的模式或者顺序同步或者调整传感器，从而传感器交替收集当物体被源115和120照射时以及当物体不被源115和120照射时屏幕的图像。

在图1A中所示的示例中，“抢夺植物”游戏105允许用户从投映到屏幕110上的植物121、122、123和124中选择一种植物。一旦选择一种植物，则游戏105呈现所选植物的放大且带阴影的版本。用户102用他的右手134来选择植物121，并且用户104选择植物123和124。在这个示例中，用户102将手132和134放置到光幕，并且当手134被光幕照射时例如通过用手134做出手势，或者当手134被光幕照射时将手在植物121上盘旋，来选择植物121。手132和134分别投射阴影135和137。用户104将手141和143放置在光幕中，并且选择植物123和124。手141和143分别投射阴影145和147。除了用手或者其它物体选择特定植物，用户103已经将他身体的大部分149放置在光幕中。根据光幕的构造，用户103的身体可能或者不能投射阴影150。

参考图1B，示出了手132、134、141、143的位置的呈现、以及打破光幕的身体部分149。位置132b和134b被确定为对应于手132和134关于屏幕110的位置，并且位置141b和143b对应于手141和143关于屏幕110的位置。位置160对应于用户103的身体部分149的位置。如下面更详细讨论的，系统100分析屏幕110上由光幕照射的物体造成的反射的其它特征当中的尺寸和形状，以便确定如何控制应用程序105。在这个示例中，用户103的身体部分149太大而无法作为选择，因此位置160可被认为是错误并且被忽略。

参考图1C，基于所确定的位置来控制应用程序105。位置134b对应于植物121的选择，并且作为选择的结果，植物121被放大为植物126。类似地，位置141b和位置143b分别对应于植物123和124的选择，并且植物123和124被分别放大为植物128和129。相反，错误160不选择植物122，因为它被自动地确定为太大而不能是控制选择或者因为它不能接触植物被投映的屏幕的区域。位置132b不对应于植物，因此位置132b不能使得植物121-124中的任一个变得被放大。

参考图2，图示了系统200的侧视图。系统200允许用户与可以在计算设备201上运行的应用程序交互作用。该应用程序被投影仪202投映到透明屏幕205。该应用程序可以是例如上面参考图1A-图1C所讨论的游戏“抢夺植物”105的应用程序。在其它示例中，该应用程序可以是任何其它计算机程序，例如呈现应用程序、图像和/或视频编辑软件、或者电子制图应用程序。

系统200包括投影仪202、屏幕205、将电磁辐射投映到光幕215的源210、和使屏幕205成像的传感器220。具体地，当物体被光幕215照射时，传感器220感测从物体230反射到屏幕205的电磁辐射。从物体230反射的辐射使得亮点232出现在屏幕205上。传感器220也在屏幕上使其它亮点(例如由环境光源235造成的亮点)成像。在所示的示例中，亮点237由环境光源235造成。除了反射从源210发射的电磁辐射，物体230也可以反射来自环境光源235的环境光。源210可被包含在围绕屏幕205安装的结构240中。

屏幕205是清晰、透明或者半透明的屏幕，投影仪202将应用程序的图像投映到该屏幕。屏幕205可以例如由玻璃、树脂玻璃、半透明塑料、或者任何其它透明或半透明材料制成。例如，屏幕可以是商店中的橱窗、或者其上被投映图像并且请求相互作用的专用屏幕(例如，在诸如商场或机场之类的拥挤范围中)，或者屏幕可被安放在诸如剧院、娱乐厅或者酒吧厅之类的娱乐设施中。投影仪202可以包括过滤器203，用于从被投影仪202投映的图像中去除红外辐射。

源210可以是电磁辐射的任意发射器。例如，源210可以是激光器、发光二极管(LED)或者宽带光源。源210在发射电磁辐射与不发射电磁辐射之间交替。因此，源可被认为以一闪烁顺序或模式闪烁，并且与提供恒定照射的光幕相反，光幕215是闪光幕。在一些实施方式中，从源210发射的电磁辐射是红外辐射，包括普通人眼感知以外的波长。因此，在这些实现方式中，光幕215对于系统200的用户来说是不可视的。类似地，在这些实现方式中，物体230反射到屏幕205的光对于用户来说也是不可视的。因此，反射到屏幕205的光不会干扰被投映的应用程序的用户观看。在其它实现方式中，源210可以发射具有可视波带中的波长(例如，400纳米到700纳米)的电磁辐射。

传感器220与源210同步，因此传感器220以一闪烁率在当源210正发射电磁辐射时与当源210正熄灭电磁辐射时感测数据之间交替。例如，传感器220可以是相机，其以每秒三十帧、六十帧或者一百二十帧来捕捉帧、或者图像。在这个示例中，源210发射电磁能量，因此由源210收集的每隔一帧是当光幕215被照射时捕捉的图像。过滤器223可被放置在传感器220的前面和/或与传感器220集成，从而通过传感器220来感测具有从源210发射的辐射波长的电磁辐射。

物体230可以是用户的手指或手、指针、触针或者其它类似尺寸的物体。当物体230被光幕215照射时，物体230将电磁辐射反射到屏幕205。被反射的电磁辐射穿过屏幕205并且被传感器220感测。环境光源235可以是白炽光灯泡(例如来自密封顶板固定装置)，或者太阳光。来自环境光源235的辐射也出现在屏幕上作为亮点，例如亮点237。由环境光源235造成的屏幕上的亮点237也被传感器220感测并且存在于传感器220收集到的数据中。环境光源235可以是固定的，或者至多仅慢慢地运动。因此，环境光源235使得亮点237出现在由传感器220在特定时间段中收集的数据中，并且亮点237出现在通常在该时间段内不同的时间处收集的数据的相同部分中。将在时间段上当源210发射辐射时收集的数据与当源不发射辐射时收集的数据相减、或者不同地进行比较会导致来自环境光源235的能量从所述数据中去除。然而，因为(作为物体被光幕215照射的结果)从物体230反射的电磁辐射仅存在于当源210正发射电磁辐射时被传感器220收集的数据中，因此比较数据不会导致物体230的图像的去除。闪烁光幕215的这种使用使得由实际物体的存在引起的屏幕上的亮点(例如亮点232)与由来自环境光源235的辐射引起的屏幕205上的点(例如亮点237)区分开来。

在图2所示的实现方式中，传感器220位于屏幕205的第一侧240，源210位于屏幕205的第二侧245。因此，光幕215也位于屏幕205的第二侧245。在其中传感器220和源210位于屏幕205的相对两侧的实现方式中，从物体230反射的电磁辐射穿过屏幕205并且被传感器220感测。在其它实现方式中，诸如图9所示的实现方式中，源210和传感器205可以都位于屏幕205的第一侧240。在这些实施方式中，从源210发射的电磁辐射穿过屏幕205并且照射物体230。物体230反射电磁辐射，并且所反射的电磁辐射穿过屏幕205并且被传感器220感测。

参考图3，图示了系统300的正视图。系统300可以类似于针对图2所讨论的系统200。系统300包括屏幕305和源310，该源310将电磁辐射的光幕投映成与屏幕305平行且在屏幕305之前。源310被配置成以一闪烁率在发射电磁辐射和熄灭电磁辐射之间交替。在图3所示的示例中，源310是沿着屏幕305的边缘306a放置的发射器311的线性阵列。发射器311例如可以是线激光器和/或红外LED。从发射器311发射的电磁能量可以是发散的，并且该发散的电磁能量穿过通道312，从而使得电磁辐射制成与屏幕205的表面平行且在其表面之上的薄光幕。下面讨论通道312的细节。

屏幕305也包括边缘306b、306c和306d。在其它示例中，屏幕305可以包括更多或者更少边缘。在其它示例中，例如在图7中图示的示例中，屏幕305多于一个的边缘可以具有沿着边缘放置的相应源。当光幕照射物体330和332时，电磁辐射进行投映，并且物体330和332分别投射阴影331和333。物体330和332例如可以是手、棒和/或指针。阴影331部分地模糊物体332。因为确定了物体330的位置，并且已知源310的位置，因此可以对阴影331的形状、大小和/或位置进行建模。对阴影331建模可被用于例如确定屏幕305上不能精确地检测或者可能根本无法检测另外物体的位置(例如物体312)的盲点。

参考图4，图示了用于确定和/或跟踪物体相对于屏幕的位置的系统400。该系统包括源系统410、检测系统430和跟踪系统440。源系统410产生与屏幕的表面平行且相邻的光幕，例如上面参考图2所讨论的光幕215。检测系统430感测从被光幕照射的物体反射的辐射，并且跟踪系统440确定物体相对于屏幕的位置或运动。

源系统410生成可被用于照射在屏幕一侧上的物体的闪烁光幕或者其它投映的电磁照射。源系统410包括发射器412以及控制该发射器412的电子装置和控制器416。源系统410也可以包括通道414，以便从发射发散的电磁辐射的发送器(例如LED)中产生薄光幕。电子装置和控制器416包括耦接到发射器412且使得发射器412闪烁的电子装置。例如，电子装置和控制器416促使发射器412以一闪烁率在发射电磁辐射和熄灭电磁辐射之间交替。发射器412可以是红外发射器，其发射具有在680纳米以上的波长的红外电磁辐射。在一些实施方式中，发射器412可以发射可见光。

来自源系统410的电磁辐射420照射屏幕一侧上的物体，并且电磁辐射被从物体反射到屏幕并且被检测系统430感测。具体地，检测系统430对屏幕成像。检测系统430包括传感器432、过滤器434、传感器电子装置和控制器436、和输入/输出(“I/O”)接口438。在一些实现方式中，检测系统430可以是数码相机，并且传感器432可以是相机中包括的像素阵列。过滤器434可以是用于阻挡具有除了由发射器412产生的电磁辐射的波长以外的波长的电磁辐射的过滤器。I/O接口438可以与跟踪系统440和/或源系统410通信以便向源系统410发送允许源系统410与检测系统430同步的信号。例如，在检测系统430是按帧收集数据的相机的实现方式中，I/O接口438可以在每帧的开始处将信号发送到源系统410。该相机可以每秒收集三十帧数据。源系统410的电子装置和控制器416接收信号并且控制发射器412，从而发射器412以一允许相机收集的每隔一帧的数据是当发射器412正发射电磁辐射时捕捉的屏幕的图像的比率，在发射电磁辐射与熄灭电磁辐射之间交替。

系统400也包括跟踪系统440。跟踪系统440根据由检测系统430收集的屏幕的图像而确定由光幕照射的物体的位置。跟踪系统440使用所确定的位置来控制应用程序，例如关于图1A到图1C上面所讨论的应用程序105。跟踪系统440包括分析模块450、应用程序到控制器460的接口、输入/输出模块470、处理器480和存储器490。

分析模块450确定由跟踪系统光幕照射的物体的位置。分析模块450包括将数据从检测系统430输入到分析模块450的输入例程452。该输入例程452也可以将来自检测系统430的数据转换为可被分析模块450处理的格式。分析模块450也包括比较模块454，用于比较由检测模块430在不同时刻收集的数据。例如，比较模块454可以将由检测模块430在发射器正发射辐射时收集的数据与由检测模块430在发射器412正熄灭辐射时收集的数据相减。

分析模块450也包括阴影建模器456，其对由被光幕照射的物体投射的阴影建模，以便确定甚至当物体存在时在屏幕上不能精确地或者根本不能检测到物体的位置的盲点。分析模块450也包括位置确定模块458，用于确定被光幕照射的物体相对于屏幕的位置。具体地，被光幕照射的物体将光反射到屏幕。结果，被检测系统430捕捉的屏幕的图像在对应于物体的位置处相对于屏幕具有亮点。在一些实现方式中，物体运动，并且当物体运动穿过光幕时，位置确定模块458跟踪物体。在一些实现方式中，物体的运动可以是用户的手的手势。在这些实现方式中，位置确定模块458确定已经做出了特定手势。该特定手势可以表示通过物体的运动控制的应用程序将要执行某一动作。

跟踪系统440也包括接口460，用于将由位置确定模块458确定的位置传递到基于所确定的位置而控制的应用程序。例如，该应用程序可以是游戏，并且该游戏可以基于光标的运动而控制。光标的运动可以对应于被光幕照射的物体的运动。跟踪系统440也包括输入/输出模块470。输入/输出模块470可以包括与检测系统430连接的端口。输入/输出模块470可以包括鼠标、指示笔、键盘、指针和/或允许用户与跟踪系统440交互作用的其它输入/输出装置。输入/输出模块470可以包括使得自动化处理或机器能够与跟踪系统440交互作用的端口或接口。

跟踪系统440也包括处理器480和存储器490。跟踪系统440可以包括不止一个处理器和不止一个存储器。处理器480可以是适于执行计算机程序的处理器，例如通用或专用处理器、以及任意类型的数字计算机的任意一个或多个处理器。通常，处理器从只读存储器或者随机访问存储器或者两者接收指令和数据。处理器480从工作流导航系统跟踪系统440的组件接收指令和数据，例如以便确定物体相对于屏幕的位置。

参考图5，图示了用于确定被闪烁光幕照射的物体的位置的示例处理500。处理500可以例如由系统(例如，上面讨论的系统200、300和/或400)中包含的一个或多个处理器执行。例如，处理500可以由参考图4所讨论的跟踪系统440中包括的处理器480执行。

访问物体和环境辐射的第一图像和第二图像(510)。第一图像和第二图像是在屏幕的第一侧被捕捉的，并且物体和环境辐射被放置在屏幕的第二侧。第一图像是当以投射的辐射照射物体时捕捉的，并且第二图像是当投射的辐射熄灭时捕捉的。简单返回图2作为示例，屏幕的第一侧可以是屏幕205的第一侧240，并且屏幕的第二侧可以是屏幕205的第二侧245。物体可以是诸如物体230的物体，并且环境辐射可以是诸如环境光源235的源。投映的照射可以是闪烁的光幕，例如光幕215。

回到图5，基于第一图像和第二图像的比较确定物体相对于屏幕的位置(520)。例如，通过将第一图像与第二图像相减可以比较第一图像和第二图像。基于所确定的位置来控制应用程序(530)。

参考图6，示出了用于确定物体的位置的示例数据的图示600。具体地，图示600中所示的数据示出了环境光的运动。图示600中的示例数据可用于处理例如处理500中，以便在存在环境辐射的情况下确定物体相对于屏幕的位置。光幕被投映成与屏幕的一侧平行且沿着该侧。在物体(在这个示例中，物体是手指)被光幕照射时，物体将光从光幕反射到屏幕，从而屏幕的图像包括与手指相对于屏幕的位置对应的亮点605。

图像610和620是屏幕的图像，并且图像610和620可以例如由参考图4所讨论的检测系统430来收集。在所示的示例中，图像610包括由电磁辐射从手指的反射造成的亮点605，它是在手指被光幕照射的时间t收集的。图像620不包括对应于手指的亮点，它是在手指不被光幕照射的时间t+1收集的。例如，图像610可以是当一个或多个发射器发射电磁辐射时收集的，并且图像620可以是当一个或多个发射器熄灭电磁辐射时收集的。因此，如果手指605触摸屏幕，或者接近屏幕使得手指被光幕照射，则被从手指到屏幕的反射造成的亮点605出现在当手指被闪烁光幕照射时捕捉的屏幕的图像中。

图像610和620也包括由环境光源造成的亮点635和640。例如，亮点635和640可以是环境光源直接在屏幕上发光或者从环境光源被反射到屏幕的辐射的结果。与亮点605(它是由从手指反射的光造成的并且仅当手指被闪烁光幕照射时而存在)相反，由环境光源造成的亮点635和640被包含在每个捕捉的图像中。因此，通过将彼此相邻帧(例如图像610和620)相减以便生成差异图像630，消除了由环境光源造成的亮点635和640，但是由从手指的反射造成的亮点605保留。

因为光幕照射屏幕前面的阴影区域，因此手指的尖端被光幕照射，并且手指的尖端将光反射到屏幕。可以执行对帧610和620进行相减以外的附加处理，以便确定手指的大小、姿式或者位置，和/或检验手指是被闪烁光幕照射的真实物体。例如，可以分析由从手指的反射造成的亮点605的大小和形状，以便确定手指是否真实存在。另外地，多个用户可以通过光幕与应用程序交互作用。

参考图7A，图示了系统700的正视图。系统700可以类似于上面参考图2所讨论的系统200和/或上面参考图3所讨论的系统300。屏幕705包括边缘706a、706b、706c和706d。在图7所示的实现方式中，源710a、710b、710c和710d分别位于边缘706a、706b、706c和706d附近和/或之上，并且源710a、710b、710c和710d生成基本覆盖屏幕705的光幕。源710a、710b、710c和710d将光幕平行投映到屏幕705，并且偏移屏幕705的表面。源710a、710b、710c和710d包括发射器711和通道712。在一些实现方式中，屏幕705可以包括多个或者更少边缘。在一些实现方式中，屏幕705的一个或者多个边缘不具有相应的源。例如，在这些实现方式中，两个边缘具有相应的源，并且两个边缘不具有相应的源。

参考图7B-7D，示出了示例发射器711，该发射器711是LED。具体地，图7B示出了发射器711，图7C示出了发射器711的侧视图，图7D示出了发射器711的阵列的正视图。发射器711发射作为光锥716的电磁辐射。光锥716的一部分穿过通道712，并且形成为光幕。通道712可以由挡光材料和/或不反射的材料制成。制成通道712的材料可以阻挡通道两侧的光。在一些实现方式中，通道712可以具有玻璃或树脂玻璃的侧面，它们可被变动来防止光在通道内部反射。例如，树脂玻璃或玻璃可被磨光或者喷沙，以致玻璃或树脂玻璃具有散射粗糙的表面。通道712可用空气填充。在一些实现方式中，发射器可以是发射被相对校准的辐射的线激光器。在这些实现方式中，因为发射器发射不发散的辐射，因此不必使用通道712就可以生成光幕。

参考图8A和图8B，图示了其中激光源810产生光幕815的示例。激光源810可以是红外激光源。激光源810产生与从LED发射的光同样多的不发散的光。因此，如上所讨论的通道712的通道可以不必生成基本上覆盖屏幕820的光幕。圆柱形镜头825可被用来制成来自激光器810的薄光平面。圆柱形镜头825沿着一条线分发从激光器810发射的光束。被分发的射束使得薄光平面815与屏幕820的表面平行投映并且在屏幕820的表面之上，并且被分发的射束有效地覆盖屏幕820。具体地参考图8B，具有相关圆柱形镜头825的线激光器810的结构的示例被示出具有屏幕820。随着距中点830的距离增加，从线激光器810发射的光的强度减小。因此，多个激光器810通常被用来使用特定强度的光幕815来有效地覆盖屏幕820。

在图8B所示的示例中，一部分屏幕未被从多个线激光器生成的光幕故覆盖。例如，部分835未被光幕覆盖。因此，在屏幕820的部分835的前面的物体不将电磁辐射从闪烁光幕反射到屏幕，因为闪烁光幕没有照射部分835前面的物体。结果，没有确定所述物体的位置。在一些实施方式中，屏幕820的一部分没有被闪烁光幕有意地覆盖。例如，部分835可以对应于用户不能选择一个项目的投映应用程序中的位置。部分835可以对应于不是应用程序一部分的屏幕上示出的投映中的区域。

参考图9，图示了系统900。投影仪902在屏幕905上投映应用程序的图像。该应用程序可被实现为软件应用程序或硬件模块。来自源910的闪烁电磁辐射908穿过屏幕905并且照射物体930，并且当物体930被源910照射时从物体930反射的光912在屏幕905上被传感器920成像形成亮点932。源910被配置成以一闪烁率在发射电磁辐射与熄灭电磁辐射之间交替。另外，环境光源935生成由传感器920成像的亮点937。系统900跟踪物体930相对于屏幕905的位置，并且基于物体930的位置而控制应用程序。

类似于系统200，系统900跟踪物体930相对于屏幕905的位置，并且根据物体930的位置控制应用程序。然而，在系统900中，源910和物体930位于屏幕905的相对两侧。具体地，源910位于屏幕905的第一侧940，物体930位于屏幕905的第二侧945。另外，在这个示例中，环境光源935位于屏幕905的第二侧945。

参考图10，当物体1030被多个闪烁光幕1015、1016和1017照射时，系统1000确定物体1030的一个或多个位置。闪烁光幕1015、1016和1017分别位于距屏幕1005的表面1006的距离d1、d2和d3处。在所示的示例中，物体1030同时在多个位置处与闪烁光幕1015、1016和1017相交。快照1020示出了物体1030相对于屏幕1005的位置。可以使用多个位置例如来确定物体1030的运动的轨迹。亮点1040、1041和1042是由物体将光从闪烁光幕1015、1016和1017分别反射到屏幕1005而造成的。

参考图11，图示了系统1100。投影仪1102在屏幕1105上投映应用程序1103“抢夺植物”的图像。源1110发射电磁辐射以便生成闪烁光幕1115。传感器1120感测当物体1130运动穿过闪烁光幕1115时被物体1130反射的电磁辐射。在图11中所示的示例中，物体1130是人的手指，并且当物体1130运动穿过光幕1115时，物体1130示出在三个不同时刻t1、t2和t3处。来自闪烁光幕的电磁辐射将物体1130反射到屏幕1105作为亮点1131、1132和1133。环境光源(未示出)造成屏幕1105上的亮点1134。尽管亮点1134出现在屏幕1105上并且被传感器1120成像，但是通过类似于上述的技术，可以从所收集的数据中去除亮点1134。在三个时刻中的每个时刻也示出光标1140的相应位置1161、1162和1163。

人将物体1130从时刻t₁处的位置1151垂直地运动到时刻t₂处的位置1152。受控应用程序中的光标1140具有从位置1161到位置1162的相应垂直运动。在时刻t₂与时刻t₃之间，用户再次将物体1130从位置1152垂直地运动到位置1153。植物1170被投映在屏幕1105上的位置1153处。另外，用户也用物体1130做出姿式，因此物体在时刻t₃正向上指。在时刻t₃做出的手势对应于在时刻t₄发生的选择(例如，等效于用鼠标点击选择一个项)，这是在时刻t₃之后立即发生的。因此，受控应用程序中的光标1140具有从位置1162到位置1163的相应垂直运动。另外，用户通过在时刻t₃做出的手势选择植物1170。因此，作为用户通过在光幕上做出手势选择植物1170的结果，植物1170在时刻t₄变得被放大。

实现方式可以包括例如处理、装置或者用于执行处理的装置。例如，实现方式可以包括一个或多个被配置成执行一个或多个处理的装置。装置可以包括例如分离的或者集成的硬件、固件和软件。装置可以包括例如计算设备或者其它计算或处理装置，尤其是否被编程来执行一个或多个所描述的处理或者其变型。这样的计算或处理装置可以包括例如处理器、集成电路、可编程逻辑装置、个人计算机、个人数字助理、游戏装置、蜂窝电话、计算器和包含软件应用程序的装置。计算设备可以是上面参考图2所讨论的计算设备201。

实现方式也可以体现为包括一个或多个具有用于执行一个或多个处理的指令的计算机可读介质的装置。该计算机可读介质可以包括例如存储装置、存储器、和编码或传送指令的格式化的电磁波。计算机可读介质也可以包括例如各种非易失性或易失性存储器结构，例如硬盘、闪存、随机访问存储器、只读存储器、和致密盘。指令可以例如在硬件、固件、软件中，并且是电磁波形式。

因此，计算设备可以表示被编程来执行所描述的实现的计算设备的实现方式，并且存储装置可以表示存储用于执行所描述的实现方式的指令的计算机可读介质。

已经描述了数种实现方式。然而，将会理解可以进行各种修改。因此，其它实现方式在所附权利要求的范畴之内。

Claims (27)

1.一种计算机实现的方法，包括：

访问在屏幕的第二侧上放置的环境电磁辐射发射器和物体的、在屏幕的第一侧上被捕捉到的第一图像和第二图像，所述第一图像是在使用被投映的电磁辐射照射物体时被捕捉的，并且所述第二图像是在所述被投映的电磁辐射熄灭时被捕捉的；

基于第一图像和第二图像的比较而确定物体相对于所述屏幕的位置；和

基于所确定的位置控制应用程序。

2.如权利要求1所述的方法，还包括：沿着且平行于屏幕的第二侧投映电磁辐射作为第一光幕。

3.如权利要求2所述的方法，还包括：

邻近且平行于屏幕的第二侧投映电磁辐射作为第二光幕，所述第一光幕和所述第二光幕彼此平行且相对于屏幕的第二侧被放置在第一场所和第二场所处。

4.如权利要求1所述的方法，其中所述物体包括人体的一部分。

5.如权利要求1所述的方法，还包括：确定第二位置，并且其中所述应用程序是基于所确定的位置和所述第二位置而控制的。

6.如权利要求1所述的方法，其中基于第一图像和第二图像的比较而确定物体相对于所述屏幕的位置包括：将第一图像和第二图像相减以便生成差异图像。

7.如权利要求6所述的方法，其中确定物体相对于所述屏幕的位置包括：确定物体在差异图像中的场所。

8.如权利要求1所述的方法，其中基于所确定的位置控制应用程序包括：控制光标。

9.如权利要求1所述的方法，其中所述被投映的电磁辐射包括红外辐射。

10.如权利要求1所述的方法，其中可视图像被投映到所述屏幕，所述物体处于运动中，并且基于所确定的位置控制应用程序包括控制所述可视图像上的光标，从而所述光标的运动对应于所述物体的运动。

11.如权利要求10所述的方法，其中所述物体的运动包括人做出的手势。

12.如权利要求1所述的方法，其中访问第一图像和第二图像包括访问物体和第二物体的第一图像和第二图像，所述物体和所述第二物体被放置在所述屏幕的相同侧上，并且进一步包括确定第二物体相对于所述屏幕的位置。

13.如权利要求1所述的方法，还包括：对屏幕上投射的阴影建模，所述阴影是当所述物体被所述投映的电磁辐射照射时由所述物体投射的。

14.如权利要求13所述的方法，还包括：基于所述模型确定所述阴影模糊了第二物体，并且其中确定第二物体相对于所述屏幕的位置包括考虑所述阴影。

15.一种系统，包括：

透明屏幕，包括第一侧和第二侧；

电磁辐射源，所述源被配置成以一闪烁率在发射电磁辐射与熄灭电磁辐射之间交替；

位于屏幕的第一侧上的传感器，其被配置成以该闪烁率感测电磁辐射，所述电磁辐射是从位于屏幕的第二侧上的屏幕附近的物体反射的；和

处理器，其被配置成：

基于所感测的电磁辐射而确定物体的位置，和

基于所确定的物体的位置而控制应用程序。

16.如权利要求15所述的系统，其中：

所述屏幕包括边缘，和

所述电磁辐射源包括沿着屏幕的一个或多个边缘放置的发射器的线性阵列，从而电磁辐射被投映在屏幕的第二侧上且与该屏幕的第二侧平行。

17.如权利要求16所述的系统，其中所述屏幕包括平行四边形。

18.如权利要求15所述的系统，其中所述电磁辐射源包括一系列发射器的线性阵列，每个线性阵列位于屏幕的第二侧离该屏幕表面一段距离处。

19.如权利要求15所述的系统，其中所述电磁能量源发射发散的电磁能量，并且进一步包括与所述源相邻的通道，所述通道被配置成校准所发射的电磁能量。

20.如权利要求19所述的系统，其中所述通道包括材料块，所述材料块具有一条贯穿该块从入口延伸到出口的过道，所述发散的电磁能量接入所述入口，并且所述发散的电磁能量的一部分从所述出口射出作为被校准的电磁能量。

21.如权利要求19所述的系统，其中所述通道包括镜头。

22.如权利要求15所述的系统，其中所述电磁辐射源包括位于屏幕的第一侧上的发射器，并且所述电磁辐射穿过所述屏幕且与所述物体交互作用。

23.如权利要求15所述的系统，其中所述电磁辐射源包括发光二极管。

24.如权利要求23所述的系统，其中所述发光二极管发射红外辐射。

25.如权利要求15所述的系统，其中所述传感器包括像素阵列。

26.如权利要求15所述的系统，其中所述处理器被进一步配置成对物体投射的阴影建模，并且基于所建模的阴影确定位于屏幕的第二侧上的第二物体的位置。

27.一种计算机程序产品，其有形地体现为机器可读介质，所述计算机程序产品包括当由机器读取时操作来使得数据处理装置执行下列步骤的指令：

访问在屏幕的第二侧上放置的环境电磁辐射发射器和物体的、在屏幕的第一侧上被捕捉到的第一图像和第二图像，所述第一图像是在使用被投映的电磁辐射照射物体时被捕捉的，并且所述第二图像是在所述被投映的电磁辐射熄灭时被捕捉的；

基于第一图像和第二图像的比较而确定物体相对于所述屏幕的位置；和

基于所确定的位置控制应用程序。

Images