CN101095098A - 视觉系统 - Google Patents

Abstract

用来从笔、指示器或其它导向物体以编码图样图像的形式投射红外或近红外或低强度可见光的方法和设备(16)，该图样图像可由相机和识别系统检测到，但对于用户和观众不可见或几乎不可见，因此在显示、计算机支持工作和/或计算机的其它交互工作期间控制计算机并与计算机(19)交互，包括远离(11)和接近(10)前或后投影屏幕或者可能其它类型的显示屏幕的指示、选择、绘图和书写，而没有任何分散注意力的视觉图样或点，而对用户和观众的可能的视觉反馈可由计算机和显示系统以受控的且上下文敏感的方式产生在显示屏幕上。当远程(11)操作和当接近屏幕(10)操作时，从定位装置投射的复杂图像由一个或数个衍射光学元件、准直透镜和/或镜、以及一个或多个光源的光学对齐产生。光源优选地可以是激光二极管或发光二极管。在优选的实施例中，光源发出可见的红外或近红外光。

Description

视觉系统

技术领域

本发明涉及从放置在导向物体、笔或指示器上的投影装置将红外或近红外图像投影到参考面上，以便能够找出并连续跟随图像位置和导向物体、笔或指示器相对于参考面的取向。本发明也涉及发现并跟随图像位置和导向物体、笔或指示器的取向的设备、系统和方法。

背景技术

公开的国际专利申请WO0227461涉及用于数据显示、计算机支持办公司工作和/或计算机的其它交互使用的绘画、书写和指示装置。本发明也涉及用来与用于数据显示、计算机支持办公司工作和/或计算机的其它交互使用的绘画、书写和指示装置相互作用的相机和识别系统。现有发明进一步涉及用来绘画、书写和指示的系统，该系统适合用于数据显示、计算机支持办公室工作和/或计算机的其它交互使用，包括绘画、书写和指示装置，除了具有投影屏幕的计算机系统之外的相机和识别系统，计算机屏幕，平坦屏幕或虚拟屏幕。本发明也涉及在数据显示时的绘画、书写或指示，计算机支持办公室工作或计算机的其它交互使用的方法，并且也涉及连续检测一个或多个被标记的物体的位置和取向的方法。每个被标记的物体包括一个或多个编码图。每个编码图适合于由相机和识别系统检测。选择编码图使得编码图具有良好的自动相关和交叉相关特性。

美国专利No.5938308描述了手持式指示器，该指示器能够将图像投影到另一图像上以便辅助人描述该第二图像。这涉及使用激光源或另一连贯光源和衍射光学元件以产生例如复杂图样图像(即箭头或公司标志)的希望的图像。与在图像产生过程中将一部分光阻挡在外的蒙片或幻灯片的使用相比，通过使用这种衍射光学元件将大体上所有产生的光重新定向，从而节约能量。WO0227461以及美国专利No.5938308的训导以参考的方式并入这里，因此这里不需要解释已经在这两个专利说明书中描述的原理和方法。美国专利No.5938308的目的是给出箭头等的具有高度可视性的复杂图样图像，该复杂图样图像容易被观众看到。它的目的不是通过相机识别系统跟踪图样图像。

发明内容

本发明在一方面涉及从由导向物体、笔或指示器所包括的投影装置将红外或近红外图像或可能的低强度可见光图像投影到参考面上，以便能够找出并连续跟随图像位置和导向物体、笔或指示器相对于参考面的取向。在这一点上，重要的是，通过使用红外或近红外光或通过使用低强度可见光，使图样图像对于人类不可见或几乎不看见。在此文中的参考面可取为任何形式的显示表面等等，包括任意三维表面、平面、后投影屏幕(在背面具有投影仪)、例如或多或少竖直取向的LCD或CRT屏幕的前投影或显示屏幕以及桌面表面。

本发明的另一方面是通过如WO0227461中的相机识别系统跟踪图样图像，以及连续地发现并报告图像位置和取向，作为计算机系统的输入装置。可预想到，被投影的图像包括一个或多个编码图样，该编码图样具有良好的自动相关和交叉相关特性，如WO0227461中所描述的。根据本发明，通过使用很低的强度水平改变或通过使用处于相对窄的波长段的红外或近红外光，使图样图像对于人类几乎不可见或基本上不可见。尤其是，通过提供包括本领域中本身已知的衍射光学元件的投影装置，实现了这个目的。

通过如WO0227461中的相机和识别系统，可检测被投影的图像位置，从而连续地发现并报告图像位置和取向，作为计算机系统的输入装置。

在权利要求中，陈述了根据本发明的系统以及用在该系统中的设备和导向物体的新颖的和具体的特征。

本发明的又一方面是用于不同的显示装置，该显示装置包括用来远距离操作和用来接近屏幕操作的前投影系统和后投影系统。远距离操作将通常是但不限于指示、选择、拖放操作。接近屏幕操作将通常是但不限于指示、选择、拖放、书写、绘画和擦除。

本发明获得的重要优点在于从导向物体、笔或指示器投射的图样图像对于人类不是直接可见的，或者仅是几乎不可见的。几乎不可见或基本上不可见在此文中意味着对于所有实用目的，显示给观众或用户的总图像内将忽略图样图像。因此，图像将不会分散呈献者和观众的注意力，而接收该图样的位置和取向的计算机系统可向呈现者和观众提供希望的视觉反馈，如箭头、绘图或书写动作次序、或者例如在计算机产生的屏幕上选择物体。

此外，根据本发明，使用的波长可以是红外或近红外辐射，大大处于数据投影系统中使用的人类视觉波长范围之外。因此，使图像可由相机识别系统检测所需的能量大大低于在存在来自数据投影仪的很高的光强度的情况下，为了使可见光的箭头或标志对于呈献者或观众清楚可见所需的能量。

本发明另外的特征是，相机识别系统可配备有光学过滤器，该光学过滤器阻碍投影仪的光，但通过红外或近红外光，使得检测过程对数据投影仪的可见光图像中的其它图样不敏感。

本发明的又一方面是，红外或近红外光也可在导向物体、笔或指示器中被编码，并由与相机一起放置的红外遥控解码器解码，以给出导向物体、笔或指示器的实际状态信息和实际活动。这也可包括关于用户识别的信息。

在替代实施例中，红外发射器也可与相机和识别系统一起放置，而红外接收器和解码器放置在导向物体、笔或指示器的内部。借助这种双路红外通信线路，可保持能量消耗最小，因此可将传输能量调节到最低可能水平而保持稳健的通信。

本发明的另外优点是，为了使相机和识别系统可检测，仅需要红外激光或LED源的低强度操作，因此在近红外带宽范围内通常没有其它有影响的光源。此外，由于光遍布在被投影的图像上而不是集中在小的点处，因而更容易满足激光安全要求。

附图说明

图1是根据本发明优选实施例使用透射衍射光学元件用来定位的投影装置的示意性轴向截面图；

图2是另一优选实施例的示意性轴向截面图，该实施例具有如图1的光学元件的相同光学对齐但具有较纤细的尖端；

图3是根据本发明优选实施例使用反射衍射光学元件用来定位的投影装置的示意性轴向截面图；

图4是根据本发明优选实施例使用透射衍射光学元件用来定位的投影装置的示意性轴向截面图；

图5示出靠近显示屏幕操作的装置；

图6示出远离显示屏幕操作的装置；

图7示出倾斜取向而靠近显示屏目操作的装置；

图8示出倾斜取向而远离显示屏目操作的装置；

图9示出根据本发明的系统，其中相机和识别设备放置在前投影屏幕或可能的其它显示屏幕的前面，并且靠近屏幕操作投影装置；

图10示出图9的系统，其中远离屏幕操作投影装置；

图11示出一种系统，在该系统中相机和识别设备放置在背投影屏幕或可能的其它显示屏幕的后面，并且靠近屏幕操作投影装置；

图12示出图11的系统，其中远离屏幕操作投影装置；

图13是对于给定RGB设置，显示在离开数据投影仪1米的前投影屏幕上且使用已校准的光谱分析仪记录的来自典型数据投影仪的光谱的例子；

图14示出由根据本发明的投影装置投射的图样图像的优选类型；

图15示出由所谓的“Gerschberg-Saxton算法”产生的相位图样，“Gerschberg-Saxton算法”迭代地获得相位图样以用作衍射光学元件，从而给出如图14显示的希望的强度图样；

图16示出在远场中获得的、或者可选地通过使用具有透镜和/或曲面镜的系统在衍射光学元件附近获得的作为结果的强度图样的模拟；

图17示出产生用来形成图14的希望强度图样的不对称部分的相位图样；

图18示出在远场中获得的作为结果的强度图样；

图19示出如图14所示的希望的对称强度图样的两个离散相位等级相位光栅；

图20示出在远场中获得的作为结果的强度图样；

图21示出图14的希望强度图样的不对称部分的两个离散相位等级相位光栅；

图22示出由于纯相位两个离散相位等级衍射光栅不能产生不对称图样，因而导致的具有严重错误的图样；

图23示出可由纯相位两个离散相位等级衍射光栅形成的简单对称强度图样的例子；

图24示出可由纯相位两个离散相位等级衍射光栅形成的简单对称强度图样的另一个例子。

定义

1)近红外光或近红外辐射意指波长750-1300nm的电磁辐射。

2)红外光或红外辐射意指波长＞1300nm的电磁辐射。

3)可见光或可见辐射意指波长400-750nm的电磁辐射，即通常由人类觉察到的光。

4)对称图样或图像意指可“转换”的图像。严格地说，在图像的中心附近具有原点(x，y＝0，0)，使得如果象素点x，y由对称运算-x，-y代替，将导致相同的或基本上相同的图样或图像。

5)不对称图样或图像意指不可能根据上述定义(4)中的对称运算转换并获得相同或非常相似的图样或图像的图样或图像。它是相对于上述定义(4)中定义的对称操作的“不对称”(非对称)。

具体实施方式

下面将结合附图描述本发明的实施例，而根据本发明的另外的新颖的和具体的特征也将变得显然。

首先，描述使用衍射光学元件产生红外图像的原理。其后，与详细的系统操作原理一起描述一些优选实施例的详细描述。

本发明在上述的一个方面涉及将近红外或红外图像或低强度可见光图像投射到参考面上。在此上下文中，参考面被认为包括任何类型的显示装置，例如任意的三维表面、平面或后投影屏或者可能正投影屏。取代或多或少的竖直表面，也可能有桌面表面。

图像的强度分布被选择以具有良好的自动相关和交叉相关特性。由近红外或红外光形成的图像处于用来定位和追踪图样的相机系统的敏感范围。代表性数据投影仪的光谱输出示出于图13。如可以看到的，光被限制到近似400-700nm的波长范围。因此，由于使用的波长不同于数据投影仪使用的波长，因而使用数据投影仪用来同时投影另一图像的光不干涉近红外或红外图像及其相关联的相机检测系统。

具有良好的自动相关和交叉相关特性以及圆对称的这种图样图像的一个例子示出于图14。这里和在所有另外强度区中，由于文件打印质量的原因，灰度颜色是反向的，使得白色和黑色分别用来表示低和高的光强度。仅需要如图14所示的图像的一部分来基于在WO0227461中描述的方法和系统定位和追踪整个图样的中心。本发明优选实施例的投影图样可在几何上被描述为圆锥截面的一部分，并且因此可以进一步分析以找到实际方位角和仰角和笔相对于参考面的距离。为了使用相机和识别系统获得精确的图样定位，图像必须具有明显的且良好限定的边缘，或者可选地以低的对比度和清晰度要求在较大的区域内分布。

用来投影图像的优选实施例通过使用计算机产生的衍射光学元件和红外二极管激光器。产生如图14的图样所需的衍射光学元件的相位图样容易通过计算机计算来实现。存在很多计算方法来计算衍射光学元件图样，如科学和技术文献[参考：Jakob Blad；^xλNew Design Methodfor Diffractive Optics″，Chalmers University of Technology，Gδteborg(2003)，pp.15-23]中发表的。

图15示出通过使用所谓的“Gerschberg-Saxton算法”[参考：JδrgenBengtsson，″Diffractive Optics Design″，Chalmers University ofTechnology，Gδteborg(1997)，pp.25-27]产生的相位图样，“Gerschberg-Saxton算法”迭代地获得相位图样，该相位图样可用作衍射光学元件以给出如图14显示的近似的强度图样。

这里由于文件打印质量的原因而反向的图15中的灰度区表示如在衍射光学元件上分布的在[0 2π]范围内的相位等级。相应的“衍射图像”以其傅立叶变换显示于图16中。这里256象素用在处于16相位等级的衍射光学元件中，并且可看到它重新产生与图14近似相同的强度分布，除了由于衍射损失而光水平强度的减小外。如果光强度水平在图16中的灰色区足够高，则检测相机系统中的临界值可用来将这些编码为“亮/白”(回想图14-24是反的)。图17示出不对称图样(类似图14中的图样的一部分)的相应强度分布的相位图样可通过相同的算法产生，该算法使用相同数量的衍射光学元件中的象素分辨率和相同数量的相位等级(关于“不对称”的含义，见定义(5))。

由于两个离散相位等级-光栅的制造和设计简单，因而使用两个离散相位等级-光栅是令人感兴趣的。两个离散相仅光栅可用于产生任何不对称衍射图样而不干涉和混合正负次序(关于“不对称”的含义见定义(4))。用于图14中的图像的衍射光学元件和相应的衍射图样分别显示于图19和图20。如所见的，对于相同数量的象素，大体上重现希望图样的主要特征，然而，由于衍射光学元件的两个离散相位等级的受限制的灵活性，因而分辨率较低。在图22中示出使用图21的两个离散相位等级光栅企图产生不对称图样的结果。如所见的，作为结果的图22中的衍射图样是原始图样和其反向图像的重叠。这是由于纯相位两个离散相位等级衍射光栅难以产生不对称图样。

因此，多于两个相位等级的相位光栅将是产生用在检测器相机系统中的不对称图样的先决条件。此外，当与相同的象素分辨率一起使用时，与两个离散相位等级光栅相比，它将通常给出较好的图像质量。也可由两个离散相位等级衍射光栅形成的简单的对称图样的其它例子显示于图23和图24。如图24中的图像图样可用于估计衍射图样由于光栅分辨率的角展度。考虑经过原点贯穿圆的任意直线。这构成二维圆的“线性模型”，在原点的每侧具有两个衍射点。一维衍射光栅使激光束相对于原始光束方向的角偏离可从以下公式估计：

$\sin \mathrm{\α}=\frac{\mathrm{\λ}}{\mathrm{\Δ}\·\mathrm{\Λ}}$

α是散开角，适用于通过一维炫耀光栅的激光束一阶衍射控制[参考：E.Hallstig，L.Sjóqvist，M.Lindgren；Opt.Eng.Volume 42(3)(2003)pp.613-619]。这里，λ是光的波长(单位是长度)，Δ是象素中心距(单位是长度)且Λ是象素中的光栅周期。象素中心距可从产生光栅的分辨率来估计，而对于由聚合物材料或微加工的硅生产的典型衍射光学元件，分辨率通常为0.5μm或更好。因此，可以具有1μm的象素中心距。波长取为近红外范围内的850nm，使用在0和3π/4弧度之间均匀地间隔开的4相位等级使最大衍射的一阶衍射光束处于由以下给定的角度：sinα≈0.2125且近似12°的角度。因此，在以相似的分辨率和相位等级精度反射到二维光栅上(或传播通过)之后的5cm的自由空间传播可用来产生近似2cm直径的圆或类似图样。注意到，较高的分辨率或较小的象素中心距可产生更大的角展度。可提供衍射图样作为衍射光学元件紧邻处(小于大约10cm)的图像的实施例的暗示将在下面讨论。

衍射现象在“远场”的衍射光学元件上产生任何幅值和相位分布的傅立叶变换。或者，通过使用放置在衍射光学元件附近的透镜或充当透镜的球面镜，傅立叶变换可从远场移到更靠近衍射光学元件的输出处。透镜或曲面镜的相位分布具有将傅立叶变换从平坦的波前移动到焦平面的特性。使用两个或更多透镜、曲面镜或其组合，相对于衍射光学元件和激光二极管的傅立叶变换图样的位置和尺寸可被控制。

具有如图15的相位分布图样的衍射光学元件可由衍射光学元件制造商提供。这些可以以透射部件或反射部件的形式。这些部件可用在本发明的替代实施例中，与如透镜、镜和光源的光学元件光学对齐，如图1到图4所示。

参考图1和图2，具有外壳12的导向装置16(笔，指示器)具有电池1、印刷电路板2、激光二极管3、折射准直透镜4、投射衍射光学元件5、透镜6、尖端7、两个按钮8和9。当近距离操作时，作为结果的图样10从导向装置投射到屏幕，当远距离操作时，图样11从导向装置投射到屏幕。

参考图3，具有外壳12的导向装置16(笔，指示器)具有电池1、印刷电路板2、激光二极管3、有或没有安装在尖端7附近的透镜4的透射衍射光学元件5、反射衍射曲面环形镜14和曲面环形镜13、两个按钮8和9。当近距离操作时，作为结果的图样10从导向装置投射到屏幕，当远距离操作时，图样11从导向装置投射到屏幕。

参考图4，具有外壳12的导向装置16(笔，指示器)具有电池1、印刷电路板2、激光二极管3、折射准直透镜4、安装在后端7附近的透射衍射光学元件5、曲面环形镜13和中性窗口和/或另一透射衍射光学元件15以便形成图样的光用于远距离操作。当近距离操作时，作为结果的图样10从导向装置投射到屏幕，当远距离操作时，图样11从导向装置投射到屏幕。

这些实施例的外壳12的目的是类似白色书写板标记或笔，并提供用户自然的、直觉的和符合人机工程学的书写、绘画和指示工具。一个或多个电池单元供应从光源或一些光源发光所需的能量。印刷电路板可提供电源管理，一个、两个或多个按钮开关的界面，激光二极管驱动电路和用来调节激光的电路，远程红外线路和/或无线电频率线路。激光二极管可以是红外或近红外二极管。

准直透镜4的目的是增加激光束的孔以覆盖衍射光学元件5的表面。当接近屏幕操作导向装置时，凹透镜6和凸透镜13以及可能的14用来将图样展开到大的区域。当导向装置远离地向着屏幕操作时，镜13、14的环形形状和可能的反射衍射光学元件13、14的环形形状为形成光学强度图像的激光束的中心部分提供自由场路径。

如图5、6、7和8所示，导向物体可保持在相对于屏幕的不同取向和距离。被投影的图样图像位置、形状和尺寸的改变可用于找出横向位置、取向(仰角和方位角)并估计从导向物体到屏幕表面的距离。

图9和图10示出以下情形：导向装置和相机和识别系统定位在前投影屏幕、后投影屏幕或其它显示系统的前方，并且导向装置可近距离地用于屏幕和远距离地用于屏幕。当靠近屏幕时(图9)，导向装置可以在相机18的投影区域内。因此，如果导向装置配备有编码图，则可能具有包括WO0227461中描述的方法的组合功能。

图11和图12示出如下构造：导向装置在后投影屏幕前方被操作，并且可近距离地用于屏幕和/或远距离地用于屏幕，而从导向装置投影的图样图像被投影到后投影屏幕表面上，并且可由相机和位于靠近投影仪的屏幕的后面的识别系统检测。已经按照其优选实施例描述了本发明，视觉系统设计领域中的技术人员将认识到，在不偏离如以下权利要求限定的本发明的主旨和范围的前提下，可在实施的构造和细节中进行各种改变。

Claims (12)

1.一种用于演示、计算机支持工作或计算机的其它交互使用的视觉系统，包括：

参考面，该参考面适合于由一个或多个用户观看，并且在该参考面上能够显示可视信息；

导向物体，例如笔或指示器，用来与参考面一起使用，并包括光投影装置；

相机和识别装置，适合于检测、记录和传输关于呈现在参考面上的物体和图像的信息；和

计算机或计算装置，连接到相机和识别装置用来与它们协作并接收如由相机和识别设备所检测和记录的输出信号，

其特征在于：光投影装置包括衍射光学元件并适合于发出在参考面上形成编码的图样图像的光，该编码的图样图像对于人眼基本上不可见，而相机和识别装置适合于检测和记录所述编码的图样图像。

2.根据权利要求1的系统，其中所述光投影装置适合于发出低强度的可见光。

3.根据权利要求1的系统，其中所述光投影装置适合于发出红外或近红外光。

4.根据权利要求1、2或3的系统，其中所述光投影装置的所述衍射光学元件包括纯相位的至少两个离散相位等级衍射光栅。

5.根据权利要求1-4中任一项的系统，其中在所述导向物体和所述相机和识别装置之间设置有直接红外通信链路。

6.根据权利要求5的系统，其中所述导向物体包括红外遥控式控制单元用来发送和/或接收关于所述相机和识别装置的信号。

7.一种用于与其上可显示可视信息的参考面配合使用的导向物体，包括光投影装置，

其特征在于，

该光投影装置包括衍射光学元件并且适合于发出在参考面上形成编码的图样图像的光，该编码的图样图像对于人眼基本上不可见。

8.根据权利要求7的导向物体，其中所述光投影装置适合于发出低强度的可见光。

9.根据权利要求7的导向物体，其中所述光投影装置适合于发出红外或近红外光。

10.根据权利要求7或8或9的导向物体，其中所述光投影装置的所述衍射光学元件包括纯相位的至少两个离散相位等级衍射光栅。

11.用来检测、记录和传输关于呈现在参考面上的物体和图像的信息的设备，

其特征在于包括：

对呈现在参考面上的对于人眼基本上不可见的编码的图样图像敏感的相机和识别装置。

12.根据权利要求11的设备，其中连接到所述相机和识别装置的计算机配备有显示屏幕并适合于在显示屏幕上显示所述编码的图样图像的位置和运动的代表物。

Images