CN103154868A - 用于交互式屏幕应用的激光扫描投影仪装置 - Google Patents

Abstract

装置的一个实施方式包含：（i）激光扫描投影仪，所述激光扫描投影仪将光投射在由扫描投影仪照射的漫射面上；（ii）至少一个检测器，所述检测器随着时间变化检测由漫射面散射的光和由至少一个物体散射的光，所述至少一个物体进入由扫描投影仪照射的区域；和（iii）电子装置，所述电子装置能够：（a）从检测器信号重构物体的图像和漫射面的图像；和（b）确定物体与漫射面之间的距离的变化。

Description

用于交互式屏幕应用的激光扫描投影仪装置

优先权声明

本申请案请求2010年4月30日申请的美国临时申请案第61/329,811号的优先权。

技术领域

本发明一般涉及激光扫描投影仪和利用所述投影仪的装置，并且尤其涉及可用于交互式屏幕应用或触摸式屏幕应用的装置。

背景技术

目前，激光扫描投影仪开发用于嵌入式微型投影仪应用。此类型投影仪一般包括三色激光（RGB）和一个或两个快扫描镜，用于扫描由穿过漫射面（例如屏幕）的激光提供的光束。目前，激光经调制以通过提供不同光束强度形成图像。

条形码读数装置利用激光扫描仪扫描和读取条形码模式图像。通过使用激光提供光束并通过使用光检测器收集光来产生图像，所述光束由扫描镜扫描以照射条形码，所述光由被照射的条形码散射。

投影仪可执行一些交互式功能，所述投影仪一般利用激光扫描仪，通常需要至少一个CCD检测器阵列和至少一个成像透镜。这些组件很庞大，且因此，此技术不能用于小装置（例如手机）中的嵌入式应用。

本文中描述或引用的任何参考不被承认构成先前技术。申请人明确保留否认任何应用文件的准确性和相关性的权利。

发明内容

本公开案的一或多个实施方式涉及一种装置，所述装置包括：（i）激光扫描投影仪，所述激光扫描投影仪将光投射到由激光扫描投影仪照射的漫射面上；（ii）至少一个检测器，所述检测器随着时间变化检测由漫射面散射的光和由至少一个物体散射的光，所述物体进入由扫描投影仪照射的区域；和（iii）电子装置，所述电子装置能够：（a）从检测器信号重构物体的图像和漫射面的图像；和（b）确定物体相对于漫射面的位置。

根据一些实施方式，所述装置包括：（i）激光扫描投影仪，所述激光扫描投影仪将光投射到由激光扫描投影仪照射的漫射面上；（ii）至少一个检测器，所述检测器随着时间变化检测由漫射面散射的光和由至少一个物体散射的光，所述物体进入由扫描投影仪照射的区域；和（iii）电子装置，所述电子装置能够：（a）从检测器信号重构物体的图像和漫射面的图像；和（b）确定距离D和/或物体与漫射面之间的距离D的变化。根据至少一些实施方式，电子装置连同所述检测器也能够确定物体在漫射面上的X-Y位置。

在至少一个实施方式中，扫描投影仪和检测器相对于彼此按以下方式进行位移：投影仪的照射角度不同于检测器的光收集角度；并且，电子装置能够：（i）从检测器信号重构物体的2D图像和漫射面的2D图像；和（ii）检测成像物体的宽度W来确定距离D和/或物体与漫射面之间的距离D的变化。

在一个实施方式中，所述装置包括至少两个检测器。一个检测器优选地位于投影仪的扫描镜的附近，且另一检测器或其他检测器远离投影仪的扫描镜设置。优选地，物体与屏幕之间的距离通过比较由两个检测器产生的图像获得。优选地，一个检测器位于投影仪的10mm内，且另一检测器距离投影仪至少30mm而定位。

优选地，一或多个检测器不是照相机，不是CCD阵列，且检测器不具有透镜。优选地，检测器是单一光传感器，而不是一阵列的光传感器。如果利用两个检测器，那么优选地，两个检测器都是单一光传感器，例如单一光电二极管。

本公开案的额外实施方式涉及利用交互式屏幕的方法，所述方法包含以下步骤：

a）由扫描投影仪投射交互式屏幕；

b）将物体放在至少一部分区域中，所述区域由扫描投影仪照射；

c）在线扫描的起点和/或终点处同步投影仪的扫描镜的运动，所述线扫描由扫描投影仪提供，其中输入或信号由至少一个光检测器获取。

通过用至少一个光检测器评估物体阴影的宽度来检测物体；和

当物体与交互式屏幕交互时，确定物体相对于所述区域的至少一部分的位置，所述交互式屏幕由扫描投影仪投射。

将在随后的具体实施方式中阐述额外特征和优点，并且对于所属领域的技术人员来说，额外的特征和优点将部分地从描述中显而易见或通过实践书面描述中所述的实施方式和实施方式的权利要求书以及附图来认识到。

应了解，前文一般描述和下文详细描述两者仅为示例性的且都意在提供概述或框架以理解权利要求书的性质与特性。

包括附图以提供进一步理解，且附图并入本说明书中并构成本说明书的一部分。图式图示一或多个实施方式，并与描述一起用以解释各种实施方式的原理和操作。

附图说明

图1是一个实施方式的横截面示意图；

图2图示散射辐射能量的演变，所述散射辐射能量在图1的扫描投影仪在漫射面上显示全白屏幕时由图1的检测器随着时间变化收集；

图3A是图2中图示的单一帧的中心部分的放大图像；

图3B示意性地图示当漫射面由图1的投影仪的扫描镜照射时，穿过所述面的线扫描方向；

图3C图示检测能量对时间的调制，其中数据包括关于图3B的物体的信息；

图4A图示具有两个同步特征结构的投射图像，所述同步特征结构与每一线扫描的起点相关；

图4B图示与图4A的同步特征结构相关的脉冲；

图5是图像，所述图像在手进入由扫描投影仪照射的区域中时由图1的装置检测；

图6示意性地图示物体如何产生两个阴影，所述物体被引入图1中图示的照射区域；

图7A是长形物体的两个检测图像A和B的插图，所述长形物体位于漫射面上方；

图7B是长形物体的单一检测图像的插图，所述长形物体位于漫射面上方；

图8是所述装置和照射物体的示意图，所述示意图图示两个阴影如何合并为单一阴影，所述单一阴影产生图7B的图像；

图9A是对应于手指从漫射面上下移动几毫米的检测位置变化的绘图；

图9B示意性地图示根据一个实施方式，手指和手指阴影相对于线扫描的方向的位置；

图9C图示投射图像、同步特征结构和位于图像底部的滑动件；

图10A是对应于沿着漫射面的运动的检测宽度变化的绘图；

图10B图示具有一根伸展手指的手的图像，所述手指呈角度α倾斜；

图11示意性地图示具有两个相邻物体的导致两个物体的最终阴影（图像）重叠的装置，所述物体位于照射场中；

图12示意性地图示装置的实施方式，所述装置包括两个检测器，所述检测器在空间上分离；

图13A是图像，所述图像由装置的实施方式获得，所述装置利用两个检测器；

图13B和图13C示意性地图示手指和手指阴影相对于线扫描方向的位置；

图14是手指的图像，其中所有手指都放在漫射面上；

图15是当中指举起时手指的图像；

图16A是示例性投射交互式键盘的图像；

图16B图示投射在漫射面上的示例性改进键盘；

图17A是由检测器获得的手的图像，所述检测器只收集绿光；和

图17B是由检测器获得的手的图像，所述检测器只收集红光。

具体实施方式

图1是装置10的一个实施方式的示意性插图。在所述实施方式中，装置10是具有交互式屏幕的投影仪装置，所述交互式屏幕在所述实施方式中是用于交互式屏幕应用的虚拟触摸式屏幕。更具体来说，图1示意性地图示可如何通过使用添加到激光扫描投影仪14的单一光检测器12来形成图像。扫描投影仪14产生三色（红、绿、蓝）点，所述点扫描穿过漫射面16（例如屏幕16'），所述漫射面16距投影仪14一定距离定位；并且，扫描投影仪14照射漫射面上方或前面的空间（体积）18。例如，当由物体20（例如指针或手指）触摸时，漫射面16（例如屏幕16'）可用作虚拟触摸式屏幕。优选地，物体20具有不同于漫射面16的漫射（光散射）特性，以便容易地区分物体20与屏幕16'。因此，当物体20（例如指针或手指）位于照射区域中时，由光检测器12收集的光改变，导致收集的能量不同于由漫射面16提供的能量。由检测器12收集和检测的信息提供给电子装置15以进一步处理。

在图1的实施方式中，检测器12不是照相机，不是CCD阵列感测器/检测器；并且，检测器12不包括一或多个透镜。举例来说，检测器12可为单一光电二极管，例如可从Thorlabs ofNewton,NJ购买的PDA55。扫描投影仪14和检测器12横向分离，也就是，扫描投影仪14和检测器12相对于彼此位移，优选至少20mm，更优选至少30mm（例如，40mm），以便投影仪的照射角度明显不同于检测器12的光收集角度（优选至少40毫弧度（mrad），更优选至少60mrad）。在所述实施方式中，检测器从投影仪的位移是沿着X轴的。在所述实施方式中，电子装置15是计算机，所述计算机配备有数据采集板或电路板。至少所述实施方式的电子装置15（例如，计算机）能够：（a）从检测器信号重构物体和漫射面中的至少一个2D图像；和（b）感测成像物体20的宽度W（在所述实施方式中，成像物体的宽度W包括物体的阴影），以便确定物体20与漫射面16之间的距离D的变化。（至少在所述实施方式中，宽度是在投影仪与检测器之间的线的方向（例如，沿X轴）的测量）。在所述实施方式中，电子装置15能够检测长形物体（例如人的手指）在X-Y-Z中的位置。X-Y-Z位置接着可用以提供电子装置15（或另一电子装置）与电子装置使用者之间的交互。因此，使用者可使用手指移动以：执行计算机鼠标的功能，缩放显示图像的一部分，执行图像的3D图像处理，进行交互博弈，使蓝牙设备与计算机通信或将投射图像用作交互式屏幕。

因此，在至少一个实施方式中，装置10包括：（i）激光扫描投影仪14，所述激光扫描投影仪14用于将光投射到漫射面16（例如由投影仪照射的屏幕16'）上；（ii）至少一个检测器12（每一检测器是单一光检测器，而不是光检测器阵列），所述检测器12随着时间变化检测由漫射面16散射的光和由至少一个物体20散射的光，所述物体20进入或移动到由投影仪14照射的空间或体积18内；和（iii）电子装置15（例如计算机），所述电子装置15能够：（a）从检测器信号重构物体的图像和漫射面的图像；和（b）确定物体与漫射面之间的距离D和/或物体与漫射面之间的距离D的变化。

图2图示当扫描投影仪显示全白屏幕（也就是，在未投射任何图像在漫射面上的情况下，扫描投影仪14照射所述面）时，来自漫射面16的散射辐射能量的演变，所述散射辐射能量由检测器12随着时间变化收集。图2图示对应于相对高的检测能量的一系列单一帧25。每一帧对应多个线扫描，且每一帧具有约16ms的持续时间。帧由对应于投影仪的回扫时间的低能量级27分离，在回扫时间内，关闭激光以使扫描镜返回图像开始位置。

图3A是图2的单一帧的中心的缩放视图，且图3A图示检测信号由一系列脉冲组成，每一脉冲对应图像的单一线Li。更具体来说，图3A图示检测能量对时间的调制（也就是，从漫射面16定向的散射或漫射光与由检测器12收集/检测的光的调制）。为照射漫射面16，投影仪14利用扫描镜扫描穿过漫射面16的一或多个激光束。在图3B中示意性地图示了扫描线Li（本文中也称作线扫描）。因此，图3A中图示的调制对应照射漫射面16的个别线扫描Li。换句话说，图3A的上下循环中的每一循环对应照射漫射面16的单一线扫描Li。图3A中图示的最高能量（能量峰值）对应线扫描的中间区域。如图3B中所示，线扫描Li改变方向。举例来说，激光束从左向右扫描，然后从右向左扫描，且接着从左向右扫描。在每一扫描线的终点，通常关闭激光很短一段时间（这称为线终点持续时间），以使扫描镜回到下一线的起点。

优选地，投影仪（或投影仪的扫描镜）与检测器相对于彼此是同步的。通过使检测信号与扫描投影仪（例如，与在扫描起点处扫描镜的运动）同步，将时间相依信息转换为空间相依信息（在本文中称为图像矩阵）且使用电子装置15重构物体20的2D图像或3D图像是可能的。优选地，扫描投影仪在每一新图像帧和/或任何新扫描图像线处将同步脉冲提供给电子装置。

为说明可如何实现同步，设想简单实例，其中投影仪显示白屏幕（也就是，没有图像的照射屏幕），且如图3B中所示，长形物体20引入照射体积18中。

对于第一线（1到k），扫描射束不被物体20中断，且由光电二极管收集的信号类似于图3A中图示的信号。当物体（例如，手、指针或手指）进入照射体积18并截获对应扫描线k+1到n的扫描射束时，扫描射束被物体中断，此情况导致由检测器12检测的光学能量的下降。（例如，在图3B中，k=3。）图3C中图示此变化。更具体来说，正如图3A一样，图3C图示检测能量对时间的调制，但现在所述调制是针对由检测器12从物体20和漫射面16两者收集/检测的散射光或漫射光。因此，图3A和图3B中图示的图案各不相同。

装置10将从检测器获得的时间相依信息转换为空间信息，从而形成图像矩阵。举例来说，为形成物体的2D图像（在本文中也称为图像矩阵），一种方法包括以下步骤：隔离或识别每一单一线与由光电二极管检测的信号；和构建图像矩阵，其中第一线对应光检测器信号中的第一线，第二线对应光检测器信号中的第二线，等等。为执行所述数学运算，最好了解每个单一线开始的时间，这是同步的目的。

在实施方式中，检测系统包含检测器和计算机，所述计算机物理连接到投影仪，对于投影仪，一种同步方法是在每一单一线的起点处发射电脉冲。那些脉冲接着用以触发对应于每一线的起点的光电二极管数据采集。因为每组采集数据开始于线的起点，所以同步化数据，并且，仅仅可采用n条线来构建图像矩阵。举例来说，因为投影仪的扫描镜以自身固有频率激励，所以同步脉冲可以固有频率发射且与固有频率同相。

需要考虑到构建图像矩阵的方法。举例来说，线Li从左向右投射（扫描），接着从右向左投射（扫描）。（例如，图3B中图示线扫描的方向。）因此，投影仪需要提供信息，所述信息关于每一特殊线是否从左向右或从右向左扫描；并且，当构建图像矩阵时，与光检测系统相关的电子装置15根据所述信息翻动对应于每隔一条线的图像数据。

在一些实施方式中，检测系统未物理连接到投影仪，或者，投影仪不具备产生同步脉冲的能力。如本文中所使用，术语“检测系统”包括一或多个检测器12、一或多个电子装置15和与检测器和/或电子装置15相关的可选放大器和/或电子器件。在这些实施方式中，通过引入一些预定义特征结构来同步图像数据的检测与线扫描的位置是可能的，所述图像数据由检测器提供，所述线扫描与图像相关，所述预定义特征结构可由检测系统识别且可用于同步目的，而且，所述预定义特征结构区别左-右线与右-左线。例如，图4A中图示一个可能的解决方案。所述解决方案包括步骤：增加同步特征结构（例如，两条垂直线17A和17B）到投射图像。在所述实施方式中，（例如）左边的投射线（线17A）比右边的投射线（线17B）亮。这些线17A、17B可位于区域中，所述区域通常被投影仪用来显示图像，或者，可将线17A、17B放在范围内，其中如图4A中所示，（在线终点持续时间内）通常关闭激光。因此，光检测器检测的信号包括一系列脉冲17A'、17B'，所述脉冲17A'、17B'对应于线17A和线17B；并且，所述脉冲17A'、17B'可用以确定单一线Li的起点（和/或终点）。例如，图4B中图示此情况。此外，由于照射的不对称性，所以可从右-左线（较亮脉冲在右边）确定左-右线（较亮脉冲在左边）。

图5图示图像，当投影仪14投射全白屏幕且物体20（手）进入照射体积18中时，所述图像由图1中图示的装置10检测。当光检测器12检测光时，光检测器12产生电信号，所述电信号对应于检测到的光强度。产生此图像的系统10包括光检测器和跨阻抗放大器TIA，所述TIA放大由光检测器12产生的电信号并将电信号发送到计算机15的数据采集板用于进一步处理。为获得图5的图像，在所述实施方式中，检测器信号采样频率是10MHz，并且，检测器和放大电子器件（TIA）的上升时间约为0.5微秒。优选地，上升时间尽可能短，以便提供较好的数据分辨率，所述数据由检测器12产生，且因而提供较好的2D图像矩阵的图像分辨率。如果假设单一线的写入时间是（例如）30微秒，且上升时间约为0.5微秒，那么图像线方向上的最大图像分辨率约为采样60个点（例如，再生图像上的60个像素）。

图6示意性地图示如何从图1中图示的装置10获得3D信息。设想物体20位于距漫射面16距离D的照射体积18中。应注意，在所述实施方式中，物体20的光散射特性不同于漫射面16的光散射特性。漫射面16由投影仪14以照射角度θi照射；并且，检测器12以角度θd“看见”物体20。当重构图像时，预期应看见两个图像：第一图像（图像A）是物体自身的图像，和第二图像（图像B）是物体的阴影的图像（如图7A中所示），因为物体20阻碍了从检测器12看到的屏幕。

两个图像A与B之间的间隔Dx由方程给出：

Dx=D(sin(θi)+sin(θd))，其中D是从物体到漫射面16的距离。

因此，D=Dx/(sin(θi)+sin(θd))。

因而，通过了解两个角度θi和θd，测量距离D是可能的。

图7A图示当物体20（例如螺丝刀）放在距屏幕16'距离D的照射体积18中时，此物体的两个图像A和B（图像A是物体自身的图像，且图像B是物体的阴影的图像）。图7B图示当缩短距离Dx时，两个图像缩成单一图像。图8中示意性地图示在此状况下操作的装置10。应注意，装置10只利用一个（即，单一）检测器12，且当相对大的物体20（例如手指）进入照射场（体积18）并与屏幕16'只隔开几毫米时，如果检测器未“看见”两个分开的图像A和B（因为图像A和图像B合并成单一图像，如图7B中所示），那么，可能难以用此方法检测物体的垂直移动。因此，为确定物体与屏幕16'之间的距离D，可测量检测物体的宽度W和随着时间变化跟踪所述宽度W以获得关于物体与屏幕之间的距离D的变化的信息，而不是试图检测给定物体的两个分开的图像。在所述实施方式中，宽度W是物体和物体的阴影以及物体与阴影之间的空间（如果存在）的宽度。（注：此技术未给出距离D的绝对值，而只给出相对值，因为宽度W也取决于物体本身的宽度）。图9A图示检测宽度W在将物体20（单一手指）引入照射体积18且从屏幕16'上下移动手指几毫米时的变化。更具体来说，图9A是测量宽度W（垂直轴，以像素为单位）对时间（水平轴）的绘图。图9A图示当手指从屏幕向上移动距离D时，图像的宽度W如何变化。举例来说，当手指上升远离屏幕时，宽度W增加到约55个图像像素；并且，当手指向下移动接触屏幕16'时，宽度W减少到约40个图像像素。图9A还图示在手指再次上升之前，手指保持接触屏幕16'约15秒。因此，图9A图示可用装置10通过定时检测检测宽度W的转变（和/或相依性）轻易检测到手指的上下移动，所述装置10利用单一检测器12。换句话说，图9A图示检测手指宽度W（以图像像素为单位）的变化。手指固定在相同横向位置，并且，相对于屏幕16'，上下举起手指。

如上所述，由于“预先”无法知道物体的宽度，因此，此技术未给出关于距离D的绝对信息。为获得所述信息，每次新物体与交互式屏幕一起使用时，一个示例性实施方式利用校准序列。当激活所述校准模式时，上下移动物体20，直到物体20接触屏幕。在校准序列期间，检测系统在物体20上下移动时持续测量物体20的宽度。接着，物体的真实宽度确定为在整个序列期间测量的最小值。尽管此检测方法效果很好，但对于物体相对于投影仪和检测器位置的定向，所述方法可能仅限于具体情况。举例来说，如图1中所示，当投影仪14和检测器12沿X轴分离时，如果物体20从Y轴指向45度内且优选30度内，那么此方法效果很好；并且，如图9B中所示，如果物体20（例如手指）沿图1和图8的Y轴指向，那么此方法效果最好。另外，由于检测频宽限制，所以重组图像沿投影仪线的方向具有较低分辨率。因此，在所述实施方式中，因为距离信息是从物体的阴影推断出的，所以，阴影最好形成在重组图像具有最高分辨率的方向上（以便如图9B中所示，沿X轴以最高分辨率测量宽度W）。因此，优选配置（用于利用一个单一检测器的装置）是投射照射线（扫描线Li）垂直于检测器的位移。因此，如果检测器沿X方向位移，那么长形物体的方向以及由投影仪提供的扫描线的方向应优选沿Y轴。

此外，用以确定物体位置的演算法（不论在软件还是硬件中运用）也可受“预先”无法知道的显示图像影响。例如，如果物体20位于投射图像的非常黑的区域，那么演算法可能不能给出正确信息。此问题的解决方案可（例如）使用滑动件或白色矩形物（如下详细论述）。

当投射图像包括长形特征结构（例如，手或手指的图片）时，投射特征结构可能被错误识别为物体20，因此，投射特征结构可能导致演算法给出不当结果。此问题的解决方案也可（例如）使用图9C中所示且如下详细论述的滑动件22或白色矩形物22。由于滑动件位于预定位置，所以手指在滑动件上的移动可轻易检测到。

换句话说，根据一些实施方式，可为投射图像添加一些部分，所述部分被均匀照射。在所述实施方式中，演算法分析图像的均匀照射部分，且演算法只检测位于所述部分的物体。因此，在所述实施方式中，投射图像还包括均匀照射区域16″或滑动件22，所述均匀照射区域16″或滑动件22是投射在漫射面16上的小白矩形物或方形物。区域22内不存在投射图像，例如手或手指。当物体进入区域16″或滑动件22时，程序检测物体以及物体的X和Y坐标。换句话说，在所述实施方式中，计算机被程序化，以便当物体20位于均匀照射（白色）区域内时，检测系统只检测物体20。一旦检测到物体20，检测系统“知道”物体位于何处。当物体相对于白色区域的中心在X方向和/或Y方向上移动时，修改物体的图像，从而导致物体的移动检测；并且，以均匀照射区域16″持续跟踪物体20位置的方式移动均匀照射区域16″。

此方法可用于应用，例如虚拟显示器或虚拟键盘，其中手指在照射体积18内移动，从而指向显示器或键盘上的不同位置，所述显示器或键盘由投影仪14投射到屏幕16'上。例如，当装置10在投射系统中用以观察图像或用于其他控制功能时，手指的上下移动的检测可用以控制缩放；并且，手指的水平移动可用来在并排呈现在屏幕16'上的多个图像中选择不同图像。

各种实施方式将通过以下实例进一步阐明。

实例1

图1示意性地图示对应于实例1的实施方式。在此示例性实施方式中，投影仪14和光检测器12沿X轴分离，投影仪的线沿着Y轴，且长形物体（例如手指）的方向沿着同一Y轴。图5中图示根据所述条件重组的典型图像。在此示例性实施方式中，投影仪投射变化的图像，例如，图片或照片。投射图像还包括同步特征结构，例如图4A中图示的两条亮线17A、17B。举例来说，在单一检测器系统中，电子装置可经设置以包括检测演算法，所述检测演算法可包括一或多个以下步骤：

（i）校准步骤：当开始应用时，投影仪将除同步特征结构之外的全白图像投射到漫射面16上。白色屏幕的图像（图像I0）接着由检测器12获取。换句话说，对应于白色屏幕的校准图像I0被检测且储存在计算机存储器中。应注意，投射图像的中心可能比图像的边缘或角落亮。

（ii）等待阶段：投影仪将除投射同步特征结构（例如，线17A和线17B）之外的任意图像（例如图片）投射到漫射面16上。演算法监测同步特征结构的亮度，并且，如果同步特征结构的亮度明显不同于在校准图像I0中检测到的同步特征结构的亮度，这意味着有物体已横穿区域，同步特征结构位于所述区域中。演算法接着将均匀照射区域16″放置在图像（例如，如图9C中所示）中。此区域可为（例如）白色矩形物22，所述白色矩形物22位于图像区域的底部。（在本文中，此均匀照射区域被称为“滑动件”或滑动件区域22）。因此，在所述实施方式中，使用者通过在一或多个同步特征结构附近移动手、指针或手指来启动交互式屏幕或键盘运作。

或者，投影仪14投射图像，且检测系统（检测器12结合电子装置15）不断监测平均图像能量，以检测物体（例如，手、指针或手指）是否已进入照射体积18。优选地，电子装置15经设置以能够查看成像物体的宽度来确定物体与漫射面之间的距离D和/或物体与漫射面之间的距离D的变化。当物体20进入照射区域时，检测到的散射辐射的平均能量改变，此情况向电子装置15“表明”已检测到移动物体。当检测到物体时，投影仪14沿X轴将白色区域22投射或放置在图像的边缘。所述白色区域是滑动件。

（iii）“消除照射不规则性”步骤：当投影仪在漫射面16形成一系列投射图像时，演算法实时地形成图像Ii且用校准图像除以图像Ii，从而形成新图像矩阵I'i，其中I'i=Ii/I0，此方程对应于每一投射图像。所述除法消除投影仪提供的照射中的不规则性。

（iv）“滑动件模式”。演算法还（例如）通过使用常规技术（例如，图像二值化和轮廓检测）检测进入滑动件区域22的任何长形物体20。如上所述，物体20到屏幕16'的距离D还通过测量宽度W监测。

（v）屏幕交互。如图9C中所示，长形物体（例如手指）可横向（例如从左到右）移动或可相对于长形物体的初始位置在区域上或区域内上下移动。在一些实施方式中，当物体20（例如手指）横向移动且接触滑动体区域22内的屏幕16'时，图像（例如图片）在滑动手指的方向上移动，从而为下一图像的出现留出一些空间。如果手指从屏幕举起，那么通过“缩放”图像的中心来修改图像。

举例来说，演算法可通过计算沿着滑动件区域22的图像能量来检测手指何时到达白色区域22中。通过测量在滑动件图像中的一或多根手指的宽度W来检测“接触”动作。举例来说，当手指移动穿过滑动件时，检测到“移动滑动件”动作。当检测到“移动滑动件”动作时，一系列新图片可接着在一或多根手指在滑动件区域中左右移动时显示。

或者，滑动件区域22可含有键盘的图像，并且，手指穿过成像键的移动提供关于将要按压某个键的信息；同时，一或多根手指的上下移动将对应于按键。因此，实例1的实施方式还可用作虚拟键盘，或可用以执行虚拟键盘。键盘可为（例如）“打字键盘”或可为虚拟“钢琴键”，所述虚拟“钢琴键”使人能够演奏音乐。

因此，在所述实施方式中，检测器和电子装置经设置以能够：（i）从检测器信号重构物体和漫射面中的至少一个2D图像；和（ii）感测成像物体的宽度W以确定距离D和/或物体与漫射面之间的距离D的变化；（iii）和/或确定物体相对于漫射面的位置（例如，XY位置）。

图10A图示演算法的结果（横向位置，以图像像素为单位），手指位置随着时间变化被检测为上或下（手指在X方向上沿着滑动件区域22移动）。更具体来说，图10A图示手指的开始位置在滑动件区域22的左侧（距滑动件的中心约205个图像像素）。手指接着移动到右边（X方向上的连续运动），直到手指距滑动件的中心约40个图像像素，并且手指在所述位置上停留约8秒。手指接着在连续运动中再次移动到左边，直到手指到达距滑动件的中心约210个像素的位置。手指接着从所述位置（X方向上的连续运动）移动到右边，直到手指到达距滑动件的中心约25-30个像素的位置，手指在此位置停留约20秒且接着再次向左移动到距滑动件中心的左边约195个像素的位置。如步骤所示，如同图10A的右侧的向下曲线，手指接着以小增量移动到右边。

除手指位置之外，还可确定物体（例如手指）相对于投射图像的角度。举例来说，手指的角度可基于扫描线通过检测手指在扫描线上或扫描线上方的边缘位置来确定。演算法接着可计算与手指相关的边缘函数Y(X)，其中Y和X是投射图像的坐标。接着，根据函数Y(X)的平均斜率计算手指的角度α。图10B图示具有一根伸展手指的手的图像，所述手指呈角度α倾斜。关于角度α的信息接着用以通过相应角度（例如）旋转投射图像，例如照片。

下文是示例性演算法的描述，所述演算法可用于投射图像的图像处理。此演算法利用关于手指位置的2D信息或3D信息。

利用一或多个手指图像检测的演算法：

（I）如果在投射图像场中未检测到手指——等待；

（II）如果在投射图像场中只检测到一根手指；

（a）如果手指未接触屏幕——等待；

（b）如果手指接触屏幕且在X/Y中移动——根据手指平移，平移图像；

（c）如果手指接触屏幕但不在X/Y中移动——基于手指旋转角度α，在图像平面内旋转图像；

（III）如果在投射图像场中检测到两根手指，

（a）如果手指1接触屏幕且手指2未接触屏幕——以与手指2的高度成比例的振幅放大图像；

（b）如果手指1未接触屏幕且手指2接触屏幕——以与手指1的高度成比例的振幅缩小图像；和

（IV）如果两根手指都未接触——用与两根手指之间的高度差成比例的振幅执行图像3D旋转。

因此，根据至少一个实施方式，利用交互式屏幕的方法包括以下步骤：

a）将图像或交互式屏幕投射到交互式屏幕上；

b）将物体放在交互式屏幕附近；

c）形成物体的图像并从图像获得关于物体位置的信息；

d）通过电子装置利用所述信息触发动作。

举例来说，物体可为一或多根手指；并且，触发/执行动作可为：（i）放大或缩小投射图像的至少一部分的动作；和/或（ii）旋转投射图像的至少一部分。举例来说，方法可进一步包括一或多个步骤：监测和/或确定两根手指相对于所述交互式屏幕的高度（也就是一或多根手指与屏幕之间的距离D）；和利用两根手指之间的高度差触发/执行图像旋转。或者，至少一根手指相对于交互式屏幕的高度可被确定和/或监测，以便执行的缩放量与手指高度成比例（例如，缩放较大D值）。

在一些示例性实施方式中，演算法检测某根手指接触屏幕，且演算法触发与每一手指相关的不同动作（例如，缩放、旋转、向右或向左运动、向上或向下运动、显示特定字母或符号集）。

当多个物体（例如，多根手指）在照射场（体积18）中时，多个阴影可使图像混淆。图11示意性地图示当两个或两个以上密集物体引入照射场时发生的状况。由于多个阴影图像，所以，两个和两个以上物体的图像相互贯穿，这使得分辨物体变得困难。在虚拟键盘应用中可通过在键与键之间隔出适当距离而避免此问题，以便使用者的手指在“打字”期间保持相互分开。举例来说，在虚拟“打字”键盘应用中，投射键优选相互分开约5mm到15mm。此举可通过（例如）将键盘的展开图像投射在照射区域上方实现。

实例2

如上所述，利用单一离轴检测器的装置10和利用宽度检测方法的过程效果良好，但可能最适于单一物体（例如，指针）的检测。如上所述，当多个物体位于照射场中时，多个阴影可以单一离轴检测器看到的多个阴影图像相互重叠或相互接触的方式使图像混淆。（参见（例如）图13A的左上部分）。为解决密集物体的分辨率问题，实例2的实施方式利用两个隔开的检测器12A、12B形成两个不同图像。图12中示意性地图示此情况。两个检测器之间的距离可为（例如）20mm或更大。第一检测器12A尽可能接近投影仪发射点放置，以便此检测器只检测到直接物体阴影，从而避免图像相互贯穿，并且给出准确的2D信息（参见图13A的左下部分）。第二检测器12B离轴放置（例如，距第一检测器距离X），且第二检测器12B“看见”图像，所述图像不同于检测器12A“看见”的图像（参见图13B的左上部分）。举例来说，第一检测器12A可位于投影仪的10mm内；并且，第二检测器12B可位于远离第一检测器12A至少30mm的位置。在图12的实施方式中，关于一或多个物体的3D信息由计算机15或类似装置通过分析图像的差异获得，所述图像分别由轴上检测器12A和离轴检测器12B获得。更具体来说，3D信息可通过比较由位于投影仪附近的检测器（12A）检测的物体的影子与由远离投影仪定位的检测器（12B）检测的物体的影子确定。

如图12、图13B和图13C中所示，当使用两个检测器时，理想配置是在一个方向（例如，沿着X轴）上位移检测器，使长形物体20（例如手指）主要沿同一轴线（X轴）指向且使投影仪线Li沿着另一轴线（Y）。从两个检测器获得的图像（参见图14的顶部和底部）可相互比较（例如相减）产生更好的图像信息。在图12、图13B和图13C中所示的一或多个实施方式，扫描投影仪14具有慢扫描轴和快扫描轴，并且，两个检测器被定位，以便线不沿着快轴方向且优选地沿慢轴方向，两个检测器沿着所述线定位。在所述实施方式中，优选地，长形物体的长度主要沿快轴方向（例如，快轴方向的30度内）定向。

实例3

图14图示在此条件下获得的图像。更具体来说，图14的左上侧是从离轴检测器12B获得的图像。图14的右上侧描绘同一图像，但所述图像被二值化。图14的左下侧是从轴上检测器12A获得的图像。图14的右下侧是假彩色图像，所述图像是根据轴上检测器和离轴检测器获得的图像的差异计算的。

在图14中，所有手指都接触漫射面（屏幕16'）。在图15中，当中指举起时，获取图像。图15的左上部分描绘邻近中指的黑暗区域。这是由举起的手指形成的阴影。阴影的大小W表明手指的末端已举起距离屏幕有多远（距离D）。如右下方图像中可见，手指边缘处的蓝色区域大幅增长（当与图14的右下侧的蓝色区域相比时），这归因于离轴检测器12B看到的较长阴影。图15的右下侧是假彩色图像，所述图像通过减去由轴上检测器提供的归一化图像获得，所述归一化图像从离轴检测器获得。（深蓝色区域（参见圆形区域）对应负数。）在一个示例性实施方式中，所述实施方式在自身检测系统中利用两个空间上分离的光检测器，用于检测移动物体演算法（也就是，“接触”和位置检测演算法）包括以下步骤：

a）校准步骤：当投影仪14将全白屏幕投射到漫射面16上时，获取校准图像I01和I02。校准图像I01对应由轴上检测器12A获取的图像；并且，校准图像I02对应由离轴检测器12B获取的图像。换句话说，校准图像I01和I02对应两个检测器所见的白色屏幕。在获取之后，这些校准图像接着可储存在计算机存储器中。

b）进行图像I1和I2的实时采集。当投影仪14在漫射面16上形成一系列投射图像时，演算法形成一系列图像对I1、I2（图像I1、I2对应实时采集的图像，图像I1由轴上检测器12A获取，且图像I2对应由离轴检测器12B获取的图像）。

c）计算图像A1、A2和B。在形成图像I1、I2之后，演算法接着通过校准图像除以图像I1、I2来正规化成图像I1、I2，从而形成新图像矩阵A1和A2，其中A1＝I1/I01，所述方程对应每一投射图像。此除法消除照射不规则性。因此，A1=I1/I01和A2=I2/I02，其中如本文中所使用，除以意味着两个图像矩阵的相应单一元素两两相除。换句话说，校准矩阵I01的相应元素除以矩阵I1中的每个元素。图像B接着通过比较两个图像（图像矩阵）A1和A2计算。这可（例如）通过从由一个检测器获得的图像矩阵减去由另一检测器获得的图形矩阵来完成。在所述实施方式中，B=A2-A1。

d）从轴上图像A1（也就是，对应于轴上检测器的图像），通过使用常规方法（例如，二值化和轮廓检测）获得手指的横向位置。

e）一旦检测到物体，围绕物体（例如手指）末端限定窗口。计算矩阵B的窗口中低于特定阈值的像素（P）的数目。物体（例如手指）与屏幕之间的距离接着与所述数目（P）成比例。在实验室利用的示例性实施方式中，如果少于8个像素低于阈值-0.7，那么手指被认为是接触屏幕。尽管那些数目似乎对大多数手指有效，但有时可能需要一些重新校准来处理特殊情况，例如涂有指甲油的手指。

相应地，用于检测移动物体的方法包括以下步骤：

将物体放在至少一部分区域中，所述区域由扫描投影仪照射；

在线扫描的起点和/或终点处同步投影仪的扫描镜的运动，所述线扫描由扫描投影仪提供，其中输入由至少一个光检测器获取。

c）用至少一个光检测器检测物体；和

e）确定物体相对于至少一部分区域的位置，所述区域由扫描投影仪照射。

根据一个实施方式，所述方法包括以下步骤：

a）由扫描投影仪投射交互式屏幕或图像；

b）将物体放置在至少一部分区域中，所述区域由扫描投影仪照射；

c）用检测系统同步投影仪的扫描镜的运动以将时间相依信号转换为物体的至少一个2D图像，所述时间相依信号由至少一个检测器获得；和

d）通过分析物体阴影的形状或大小或宽度W检测物体到屏幕16的距离D或距离D的变化；

e）当物体与交互式屏幕或图像交互时，确定物体相对于区域的至少一部分的位置，所述交互式屏幕或图像由扫描投影仪投射。

根据一些实施方式，物体的图像由至少两个空间上分离的检测器获取，并且，所述图像相互比较以获得关于物体位置的详细信息。优选地，两个检测器分开至少20mm。

图16图示应用的实例，所述应用利用此演算法。投影仪14将具有字母的键盘图像投射在一或多个预定位置。监测物体20（手指）的位置，且演算法还检测手指何时接触屏幕。由于知道字母的位置，所以，演算法找到最接近手指接触屏幕的位置的字母，并且演算法将所述字母添加到文件中，以便形成单词，所述单词投射在键盘图像的顶面。每次按压键，电子装置就发出声音以给使用者一些反馈。另外，为避免错误地双击按键，由于手指接触屏幕太久，所以演算法核实当检测到给定手指的“接触”时，所述手指尚未在前面图像中接触屏幕。

一些额外特征结构也可并入演算法，以便给使用者提供更多反馈。例如，当使用多个手指时，每一手指产生的声音可不同。

图16A中图示的投射图像可包括特殊键（“键盘”）。当按压所述键时，投影仪投射一系列不同键盘的选择或格式化选择（例如，AZERTY、QWERTY、大写字母、小写字母、字体、数字小键盘或其他语言）。程序接着将根据使用者的选择修改投射小键盘的类型或根据使用者的指示选择投射小键盘的类型。

此外，手指图像信息可用以执行更多的复杂功能。例如，演算法可监测阴影而不是如图14中所示的一个单一手指，所述阴影位于多个手指的末端。通过监测多个手指的位置，演算法可确定某根手指在某个位置点击屏幕，且演算法可确定不同手指的相关不同功能。图16B图示（例如）改进的键盘，所述键盘投射在漫射面上。图像由多个分开的区域组成，所述区域中的每一区域含有4个不同字符。当手指接触那些区域之一，演算法确定接触所述区域的手指，并且，演算法基于接触所述区域的手指来选择要挑选的字母。如图16B中所示，当第二手指接触（例如）第二顶部区域时，将选择字母“T”，因为“T”是所述区域内的第二个字母。在一些示例性实施方式中，演算法检测某根手指接触屏幕，且演算法触发与每一手指相关的不同动作或与所述手指相关的特殊动作（例如，缩放、旋转、向右或向左运动、向上或向下运动、显示特定字母或符号集）。

图像质量的优化可通过补偿不均匀室内照明（例如，通过消除因不均匀室内照明产生的数据）和通过提高图像对比来实现。由一或多个检测器收集的能量是扫描投影仪发出的光和来自室内照明的光的总和。因此，当室内照明改变时，图像参数（例如，对比度或总图像能量）受到影响且当处理图像时可能导致错误。

为消除室内照明对图像的影响，演算法可在关闭激光时（例如，在回归时间期间）分析接收的信号。上述周期中的平均能量接着减去在打开激光的时间周期内的信号。为获得最优图像质量，优化对比度是很重要的，所述对比度为屏幕的扩散系数与物体的扩散系数之间的差的函数。图17A和图17B是手的图像，所述图像在只收集绿光或只收集红光时获得。可以看到，绿光照射的手（图17A）的对比度明显比红光照射的手（图17B）的对比度好，这是由于皮肤在由绿光（而非红光）照射时的吸收系数较高。

因此，通过在一或多个检测器前方插入绿滤光器，可提高图像的对比度。绿滤光器的使用为图像内容修正演算法提供一些优势，因为在所述演算法中只需要考虑到一种颜色。另外，通过安置集中绿激光的波长的窄分光滤光器，大部分环境室内光可由检测系统过滤掉。

除非另有明文规定，本文中阐述的任何方法均不欲被理解为需要以特定顺序完成方法的步骤。相应地，方法权利要求书实际上并未详述方法步骤将遵循的顺序，或者，在权利要求书或说明书中并未另外特别说明步骤将限于特定顺序，因此，不欲推论任何特殊顺序。

对所属领域的技术人员将显而易见的是，在不脱离本发明的精神和范围的情况下，可作出各种修改和变化。由于所属领域的技术人员可能想到包含本发明的精神和实质的公开实施方式的修改、组合、子组合和变化，所以，本发明应理解为包括权利要求书及权利要求书的等效物的范围内的所有内容。

Claims (30)

1.一种虚拟交互式屏幕装置，所述装置包含：

（i）激光扫描投影仪，所述激光扫描投影仪将光投射到由所述激光扫描投影仪照射的漫射面上，所述激光投影仪包括至少一个扫描镜；

（ii）至少一个检测器，所述检测器随着时间变化检测由所述漫射面散射的所述光和由至少一个物体散射的所述光，所述至少一个物体进入由所述扫描投影仪照射的区域，其中所述检测器和投影仪是同步的；和

（iii）电子装置，所述电子装置能够：（a）从所述检测器信号重构所述物体的图像和所述漫射面的图像；和（b）确定所述物体相对于所述漫射面的位置。

2.如权利要求1所述的装置，其中所述投影仪产生同步信息，所述同步信息提供给所述电子装置；并且，所述电子装置经设置以将从所述检测器接收到的时间相依信号信息转换为图像矩阵。

3.如权利要求1所述的装置，其中所述电子装置能够使用所述成像物体的宽度以确定所述物体与所述漫射面之间的距离D，和/或所述物体与所述漫射面之间的所述距离D的变化。

4.如权利要求3所述的装置，其中所述扫描投影仪和所述至少一个检测器相对于彼此按以下方式进行位移：所述投影仪的照射角度不同于所述至少一个检测器的光收集角度；并且，所述电子装置经设置以：

（i）从所述检测器信号重构所述物体和所述漫射面中的至少一个2D图像；和（ii）利用所述成像物体的宽度W和/或所述物体的阴影确定距离D和/或所述物体与所述漫射面之间的所述距离D的变化。

5.如权利要求1所述的装置，其中所述装置只有一个检测器；并且，所述检测器不是阵列检测器。

6.如权利要求1所述的装置，其中所述装置具有两个检测器；并且，所述检测器不是阵列检测器。

7.如权利要求2所述的虚拟触摸式屏幕装置，其中所述物体是长形物体；并且，所述电子装置能够检测所述长形物体的至少一部分在X-Y-Z中的位置。

8.如权利要求7所述的装置，其中所述X-Y-Z位置用以提供所述装置与所述装置使用者之间的交互。

9.如权利要求2所述的装置，其中所述装置包括演算法，以便当所述检测宽度在给定时间间隔内快速地减少两倍并达到相同低水平的两倍时，所述装置以双击鼠标来回应所述动作。

10.如权利要求2所述的装置，其中所述装置包括单一光检测器，所述单一光检测器是光电二极管，而不是CCD阵列且不是透镜照相机。

11.如权利要求10所述的装置，其中所述单一光电二极管连同所述扫描仪形成或重新形成2D图像和/或3D图像。

12.如权利要求2所述的装置，其中所述装置包括至少两个检测器，所述检测器在空间上相互隔开。

13.如权利要求12所述的装置，其中所述两个检测器中的一个检测器位于所述投影仪附近，且另一个检测器远离所述投影仪定位。

14.如权利要求13所述的装置，其中位于所述投影仪附近的所述光检测器提供2D（X、Y）图像信息；并且，所述第二检测器连同所述第一光电二极管提供3D（X、Y、Z）图像信息。

15.如权利要求13所述的装置，其中所述电子装置通过比较所述两个图像确定所述物体与所述漫射面之间的距离，所述两个图像由所述两个检测器获得。

16.如权利要求13所述的装置，其中激光扫描投影仪将图像投射在漫射面上，所述激光扫描投影仪具有慢扫描轴和快扫描轴；并且，所述至少两个检测器被定位，以便所述线不沿着所述慢轴方向，所述至少两个检测器沿着所述线定位。

17.如权利要求13所述的装置，其中所述长形物体的长度主要沿着所述快轴方向

18.如权利要求14所述的装置，其中3D信息是通过比较由位于所述投影仪附近的检测器检测的所述物体的所述阴影与由远离所述投影仪定位的检测器检测的所述物体的所述阴影确定的。

19.如权利要求1所述的装置，其中所述扫描投影仪在每个新图像帧或任何新图像线处向所述电子装置提供同步脉冲。

20.如权利要求19所述的装置，其中所述投影仪的扫描镜以所述扫描镜的固有频率激励；并且，所述同步脉冲以所述固有频率发射且与所述固有频率同相。

21.如权利要求1所述的虚拟触摸式屏幕装置，其中绿滤光镜位于所述检测器前面。

22.一种利用交互式屏幕的方法，所述方法包含以下步骤：

a）由扫描投影仪投射图像或交互式屏幕；

b）将物体放在至少一部分区域中，所述区域由扫描投影仪照射；

c）在线扫描的起点或终点处同步所述投影仪的扫描镜的运动，所述线扫描由所述扫描投影仪提供，其中输入由至少一个光检测器获取。

d）通过用至少一个光检测器评估物体阴影的宽度来检测所述物体；和

e）当所述物体与交互式屏幕交互时，确定所述物体相对于所述区域的至少一部分的位置，所述交互式屏幕由所述扫描投影仪投射。

23.一种利用交互式屏幕的方法，所述方法包含以下步骤：

a）将图像或交互式屏幕投射到所述交互式屏幕上；

b）将物体放在所述交互式屏幕附近；

c）形成所述物体的图像并从所述图像获得关于物体位置的信息；

d）通过电子装置利用所述信息触发动作。

24.如权利要求22所述的利用交互式屏幕的方法，其中所述物体是至少一根手指，并且，所述动作是（i）放大或缩小所述投射图像的至少一部分的动作；和/或（ii）旋转所述投射图像的至少一部分。

25.如权利要求24所述的方法，所述方法进一步包括以下步骤：监测两根手指相对于所述交互式屏幕的高度；和利用所述两根手指之间的高度差执行所述旋转。

26.如权利要求24所述的方法，所述方法进一步包括步骤：监测至少一根手指相对于所述交互式屏幕的高度，其中缩放量与所述手指的高度成比例。

27.如权利要求24所述的方法，演算法检测接触所述屏幕的手指并触发与每一手指相关的不同动作。

28.一种虚拟触摸式屏幕装置，所述装置包含：

（i）交互式屏幕，所述交互式屏幕能够形成移动物体的至少一个图像；

（ii）处理器，所述处理器能够分析由所述移动物体的所述至少一个图像提供的数据，所述数据包括与从所述物体到所述交互式屏幕的距离有关的信息。

29.如权利要求28所述的虚拟触摸式屏幕装置，其中所述移动物体的所述至少一个图像是二维图像。

30.如权利要求28所述的虚拟触摸式屏幕装置，其中所述移动物体的所述至少一个图像是三维图像。

Images