CN1918532A - 自容交互式视频显示系统 - Google Patents

Abstract

一种自容交互式视频显示系统。投影仪将可视图像投影到屏幕上用于显示该可视图像，其中投影仪将可视图像投影到屏幕的背面，以便对在屏幕前侧的用户显现。照明器将屏幕前侧附近的目标照亮。照相机检测照亮的目标与可视图像的交互，其中该屏幕对于照相机可检测光线是至少部分透明的，以允许照相机通过屏幕检测照亮的目标。计算机系统指示投影仪响应于该交互改变可视图像。

Description

自容交互式视频显示系统

相关申请的交叉引用

本申请是要求在2002年5月28日由贝尔申请的未决美国专利申请号为10/160,217、题目为“交互式视频显示系统”的申请的优先权的部分连续专利申请，其被转让给本申请的受让人，并且在此作为参考被并入本文。本申请还要求了在2003年9月18日由贝尔申请的未决美国专利临时申请号为60/504,375、题目为“自容交互式视频显示系统”的优先权，其被转让给本申请的受让人，并且在此作为参考并入本文；还要求了在2003年10月24日由贝尔申请的未决美国专利临时申请号为60/514,024、题目为“用于在交互式视频系统中处理捕获的图像信息的方法和系统”的优先权，其被转让给本申请的受让人，并且在此作为参考并入本文；要求了在2003年12月9日由贝尔申请的未决美国专利临时申请号为60/528,439题目为“自容交互式视频显示系统及其相关特性”的优先权，其被转让给本申请的受让人，并且在此作为参考并入本文；以及要求了在2004年3月18日由贝尔等人申请的未决美国专利临时申请号为60/554,520、题目为“用于允许照相机能够通过显示器使其成像来取景在显示器前面的区域的方法和系统”的优先权，其被转让给本申请的受让人，并且在此作为参考并入本文。

技术领域

本发明涉及可视电子显示的领域。具体来说，在此描述的实施例涉及一种自容交互式视频显示系统。

背景技术

多年来，一般都是利用静态显示将信息传达给观众。例如，利用印刷品和海报来呈现产品广告。随着电视和电影的产生，可以利用动态显示来呈现信息(例如广告片)。尽管比静态显示更加动人，动态显示一般不提供在用户和显示器之间的交互。

近来，交互式触摸屏被用于在平坦表面上呈现信息。例如，可在触摸屏上显示图像，并且用户可以通过触摸触摸屏而与图像进行交互，以使图像改变。但是，为了与显示在触摸屏上的图像进行交互，用户实际上必须与触摸屏进行接触。此外，触摸屏一般在任意时间只能接收一个输入，并且不能够清楚地辨别输入的形状。基本上，当前的触摸屏只能够接收一个手指的触摸的输入。

在一些情况中，例如销售点、零售广告宣传、促销、娱乐厅、娱乐场所等，需要提供一种交互式界面用于向用户显示信息。这种交互性提供了更为动人的界面用于呈现信息(例如媒体，广告等)。通过获取人的注意力，甚至仅仅是几个瞬间，与先前的显示器相比，人将会更加可能关注在交互式显示器上呈现的信息。

如上所述，当前的交互式显示器一般要求用户以身体接触触摸屏表面。通过需要接触触摸屏来提供交互性，使得很多潜在的用户对当前交互式显示器不感兴趣或被其吸引。此外，由于在一次只有一个用户可与触摸屏进行交互，更多的用户被排斥。此外，由于当前触摸屏不能够辨别输入的形状，它们就被限制于可以响应于交互被呈现的信息的类型。

发明内容

此处将会描述本发明的自容交互式视频显示系统的各种实施例。在一个实施例中，投影仪将可视图像投影到屏幕上用于显示该可视图像，其中，投影仪将可视图像投影到屏幕的背面，以便向在屏幕的前面的用户显现。在一个实施例中，投影仪发射出偏振光，并且垂直取向的线性偏振薄膜位于靠近屏幕前侧的位置，以便消除眩光。在一个实施例中，若干个垂直取向的线性偏振薄膜位于靠近屏幕的前侧和后侧的位置。在一个实施例中，投影仪是离轴投影仪。在一个实施例中，该投影是人类用户的身体部分。

在一个实施例中，该屏幕包括散射偏振器，其中该投影仪以散射偏振器散射的偏振发射偏振光，并且照相机对未由散射偏振器散射的偏振的光敏感。在另一个实施例中，该屏幕包括散射由投影仪发出的波长的光、而不散射照相机可检测到的波长的光的材料。在另一个实施例中，该屏幕包括基于时间的材料，该材料能够从大体半透明转换为大体透明，其中当投影仪投影可视图像时，该屏幕是大体半透明，并且当照相机在检测屏幕前侧附近的目标时，屏幕是大体透明的。在另一个实施例中，该屏幕包括在特定角度是大体半透明、在其他角度是大体透明的材料，其中投影仪从该特定角度向屏幕上投影光线。

照明器照亮了在屏幕前侧附近的目标。在一个实施例中，该照明器是利用红外线光照来照亮目标的红外线照明器，并且其中照相机是用于检测红外线照明的红外线照相机。在一个实施例中，该照明器在与照相机曝光同期的时间被选通。在一个实施例中，该照明器通过屏幕将光照投影到目标上。在一个实施例中，设置该照明器的位置，以便降低在照相机上的眩光效果的任何可能性。在一个实施例中，该照明器位于屏幕旁使得该照明器不通过屏幕投影光照。在一个实施例中，该系统包括多个照明器，其中这些照明器位于屏幕旁并且在屏幕之后。

照相机检测照亮的目标与可视图像的交互作用，其中该屏幕对于照相机可检测的光至少是部分透明的，以使照相机能够通过屏幕检测照亮目标。计算机系统指示投影仪响应于该交互作用来改变可视图像。

在一个实施例中，投影仪、照相机、照明器、和计算机系统被包括在一个机壳内，并且该机壳的一侧具有屏幕。在一个实施例中，该系统进一步包括用于向屏幕上投影可视图像的反射镜，其中投影仪间接指向该屏幕，而该反射镜使可视图像改变方向至该屏幕上。在一个实施例中，该系统进一步包括邻近该屏幕的菲涅耳透镜，用于校正照相机的取景失真。在另一个实施例中，该系统进一步包括距离该屏幕一段距离的一系列反射镜带，用于校正照相机的取景失真。在一个实施例中，校准照相机的图像到可视图像，使得由目标引起的交互作用与屏幕附近的目标的物理位置相匹配。

在一个实施例中，该自容交互式视频显示系统可操作用于确定关于目标与屏幕之间的距离的信息。在一个实施例中，该照相机是立体照相机。在另一个实施例中，该照相机是渡越时间照相机。在一个实施例中，该渡越时间照相机被定位使得该渡越时间照相机不会反射回到其自身上。在一个实施例中，该自容交互式视频显示系统可以与第二自容交互式视频显示系统平铺在一起。在一个实施例中，该自容交互式视频显示系统进一步包括第二照相机、用于照相机的第一菲涅耳透镜、和用于第二照相机的第二菲涅耳透镜，以允许将该照相机和第二照相机取景的空间接合到一起。

在一个实施例中，该自容交互式视频显示系统提供了当目标靠近屏幕时的触摸屏功能。在一个实施例中，该自容交互式视频显示系统进一步包括与屏幕的前侧相邻的透明的触摸屏。在另一个实施例中，该自容交互式视频显示系统进一步包括与屏幕前侧相邻的边光透明薄片，并且该照相机可操作用于区别当目标接触到边光透明薄片时产生的光线。

在另一个实施例中，本发明提供一种用于利用自容交互式视频显示系统呈现交互式可视图像的方法。将可视图像投影到屏幕上，其中该可视图像被投影到该屏幕的后侧，用于向在屏幕前侧的用户显现。在屏幕前侧附近的目标被照明。检测目标与可视图像的交互作用，其中该屏幕对光至少部分透明，使得目标通过屏幕是可以检测的。该可视图像响应该交互被改变。

附图简述

包含在申请文件中和构成其一部分的附图示出了本发明的若干个实施例，并且通过结合说明书用于解释本发明的原理。

附图1示出了根据本发明的实施例的交互式视频系统的部件的物理配置；

附图2示出了根据本发明的一个实施例的屏幕的设置，其中的线性偏振器薄片被用于消除或降低眩光；

附图3示出了根据本发明的各种实施例的交互式视频系统的若干个其他配置的横截面；

附图4A和4B是分别示出了根据本发明的实施例的交互式视频系统的实施例的示意图；

附图5A和5B是分别示出了根据本发明的实施例的交互式视频系统的实施例的示意图；

附图6A和6B是分别示出了根据本发明的实施例的离轴投影的两个配置的示意图；

附图7A和7B是示出了根据本发明的一个实施例的交互式平板显示系统的示意图；

附图8A是示出了根据本发明的一个实施例的利用菲涅耳透镜降低图像失真的技术的示意图；

附图8B是示出了根据本发明的一个实施例的利用一系列反射镜带降低图像失真的技术的示意图；

附图9A和9B是示出了根据本发明实施例的具有散射偏振器屏幕的交互式视频显示系统的示意性布局；

附图10A示出了根据本发明的实施例的具有微观散射脊或凸起的屏幕的横截面；

附图10B是示出了根据本发明的实施例的具有微观散射凹坑或凹槽的屏幕的横截面；

附图11示出了根据本发明的实施例的用于边缘发光的取样结构；

附图12A示出了根据本发明的实施例的平板显示器的横截面；

附图12B示出了根据本发明的实施例的平板显示器的横截面；

附图13示出了根据本发明的实施例的照相机和照明子系统；

附图14示出了根据本发明的实施例的利用成角度的散射偏振器的用于照相机的照明子系统；

附图15示出了根据本发明的实施例的照相机和用于渡越时间照相机的照明子系统；

附图16示出了根据本发明的实施例的用于获取3D数据的第一结构；

附图17示出了根据本发明的实施例的用于获取3D数据的第二结构；

附图18A示出了根据本发明的实施例的用于获取3D数据的两个附加结构；

附图18B示出了根据本发明的实施例的用于获取3D数据的另一结构；

附图19A和19B是示出了根据本发明的实施例的光散射的示意图；

附图20A示出了根据本发明的实施例的高失真；

附图20B示出了根据本发明的实施例的通过将照相机远离显示屏而降低的失真；

附图21A示出了根据本发明的实施例的利用菲涅耳透镜的失真降低；

附图21B示出了根据本发明的实施例的利用菲涅耳透镜的失真消除；

附图21C示出了根据本发明的实施例的利用菲涅耳透镜来消除在双照相机系统中的失真；

附图22是根据本发明的一个实施例示出了窗口显示器的示意图；

附图23A、23B和23C是根据本发明的不同实施例的分别示出了各种用于降低眩光的技术的示意图；

附图24A和24B是根据本发明的实施例的示出了用于利用观察控制薄膜来降低眩光的技术的示意图；

附图25示出了根据本发明的实施例的使用散射偏振器的窗口显示器的一种结构的横截面；

附图26示出了根据本发明的实施例的利用散射偏振器和微棱镜材料的窗口显示器的一种结构的横截面；

附图27示出了根据本发明的实施例的使用用于压缩目的的反射镜的窗口显示器的一种结构的横截面；

附图28示出了根据本发明的实施例的包括多个渡越时间照相机的交互式显示器的侧视图；

附图29示出了根据本发明的实施例的包括多个渡越时间照相机的交互式显示器的顶视图。

详细描述

下面将会详细介绍本发明的各种实施例，附图中示出了一个用于监视在第二电子装置周围出现的目标的电子装置的例子。在结合这些实施例对本发明进行描述时，将会理解本发明不限制于这些实施例。正相反，本发明目的是覆盖了所有包括在权利要求定义的本发明的精神和范围之内的替代方案、变型方案和等效方案。此外，在下面对本发明的详细描述中，阐明了许多特定的细节用于对本发明的深入理解。但是，本领域的技术人员可以理解，本发明可以在没有这些特定细节的情况下实施。在其他情况下，为了不出现本发明不必要的不明确，将不会详细描述公知的方法过程、部件和电路。

以下详细描述中的一些部分，是以过程、步骤、逻辑块、处理、和其他在计算机存储器上可执行的对数据位的操作的表示符号的形式出现。这些描述和表示是本领域的技术人员在数据处理技术中采用来最有效地将其工作内容展示给其他技术人员的手段。过程、计算机可执行步骤、逻辑块、处理等等，在此大体上被设想为能够产生想要的结果的自相一致的步骤或者指令的序列。这些步骤需要对若干个物理量进行物理操作。通常，尽管不是必须的，这些量采用能够在计算机系统中被存储、传送、组合、比较或者以其它方式操作的电或磁信号的形式。将这些信号表示为位、数值、要素、符号、字符、术语、编号或类似形式，已证明有时是方便的，主要是由于通用的原因。

然而，应该记住，所有这些或者类似的术语都被与适当的物理数量相关联并且仅仅是提供给这些数量的标签。除非出现在下面的讨论的特定的状态才出外，应当理解的是贯穿本发明，利用术语如“投影”或“检测”或“改变”或“照明”或“校正”或“消除”之类的讨论被当作电子系统(例如附图1中的交互式视频系统100)或类似的电子计算装置的操作和处理，其在该电子装置的寄存器和存储器中将表示为物理(电子)数量的数据处理和转换为其他的类似于在电子装置存储器或寄存器或其他的信息存储器，传输或显示装置中表示为物理数量的数据。

下面将会描述本发明的各种实施例，一个自容交互式视频显示系统。在一个实施例中，一个投影仪向屏幕投影可视图像用于显示该可视图像，其中的投影仪将可视图像投影到屏幕的背面以用于在屏幕的前侧向用户显示。一个照明器照亮在屏幕前侧附近的目标。一个照相机检测照亮的目标与可视图像的交互作用，其中的屏幕至少对计算可检测的光线是部分透明，以允许照相机检测通过屏幕检测照亮的目标。计算机系统响应交互指示投影仪改变可视图像。

交互式视频投影系统

将会描述本发明的形式上的一个或多个实具体施例。根据一个具体实施例，提供在附图1中所示的交互式视频系统100。该交互式视频系统100使用一个装配有阻断可见光的滤光器的照相机115、照亮由照相机115取景的屏幕130的照明器125、将图像投影到屏幕130的交互式空间的投影仪120、和将照相机115的图像作为输入并且输出可视图像到投影仪120的计算机110。在一个实施例中，照明器125是一个红外照明器，且照相机115是可操作为记录由照明器125的红外光照亮的图像的红外照相机。应当理解的是，该照相机115和照明器125可以被构造为利用任何形式的不可见光来操作，并且不限制于红外光。

计算机110处理照相机115的输入，以便基于逐个像素来辨别屏幕130的正面的哪些体积部分被人物(或运动目标)占据，以及屏幕130的哪些部分是背景。这一点是计算机110通过建立若干个所希望看到的背景的展开模型来实现的，并且随后将背景的初步设计与照相机115现在所观察的进行比较。可选择的，计算机110用于处理照相机115的输入的部分被统称为视觉系统。该视觉系统的各种实施例在未决美国专利申请号No.10/160,217，于2002年5月28日贝尔申请的题目为“交互式视频显示系统”中，并且其被转让给本申请的受让人，在2003年9月18日由贝尔申请的未决美国临时专利申请号为No.60/504,375、题目为“自容交互式视频显示系统”中，其被转让给本申请的受让人，在2003年10月24日由贝尔申请的未决美国临时专利申请号为No.60/514,024、题目为“用于在交互式视频系统中处理捕获的图像信息的方法和系统”中描述，其被转让给本申请的受让人，并且在此并入本文作为参考。

展开的背景是视觉的重要部分，由于其允许系统在光照、屏幕擦伤、和其他干扰上被弹性地改变。视觉系统的输出是一个黑色和白的屏蔽图像，其被提供到一个可以在计算机110上运行的效果引擎中。该效果引擎运行在屏幕130上建立交互式图形的应用程序。艺术家可以利用很多种效果成分例如脚本来设计效果，以允许他们建立很多种交互经验。最后，由效果引擎建立的图像被输出给投影仪120。

最好是，交互式视频系统100的所有的电子部件(例如，照相机115，投影仪120，计算机110，和照明器125)在屏幕130的一侧，而用户的交互在屏幕130的一侧产生。在一个实施例中，屏幕130对于投影仪120的光线是部分半透明的，从而允许在屏幕130的表面上形成图像。但是，屏幕130对于照相机115是部分透明的，使得照相机115可以看到在屏幕130的相反侧的目标。应当理解的是，术语透明和半透明作为在贯穿当前说明书中被分别定义为至少是部分透明和/或者半透明的意思。应当理解的是，在整个当前说明书中提及的术语“散射”和“未散射”被分别定义为“充分散射”和“非充分散射”。最后，应当理解的是术语“漫射”和“非漫射”作为贯穿本说明书被分别定义为“充分漫射”和“非充分漫射”的含义

附图1示出了本发明的具体实施例的部件的一种物理配置。所有的传感和显示部件，包括照相机115、照明器125、计算机110、和投影仪120，被封装在一个盒子140内。在一个实施例中，除了一侧以外盒子140的所有侧都是不透明的。这一不透明的一侧是用于显示投影图像的屏幕130。

在一个实施例中，平滑、平坦的具有强瑞利散射和相关的其他形式的较少的散射的材料被用于屏幕130。如果光线被屏幕130(一个半透明屏幕)散射，则光线将会作为在屏幕130上的图像而可见。如果光线没有被屏幕130(一个全透明屏幕)散射或吸收，则光线将会穿过像玻璃板一样的屏幕130。

瑞利散射与1/(波长^4)成比例，其意味着具有短波长的光线比具有长波长的光线的散射更多些。因此，具有大于800纳米(nm)波长红外光，比具有400nm到700nm波长的可见光的散射少得多。在本实施例中，投影仪120使用可见光，而照相机115使用红外光，以允许照相机115看穿屏幕130，而在由投影仪120发出的光线被散射到屏幕130上。在一个实施例中，屏幕130的材料是平滑且均质，直到优选40nm左右的尺度，以具有好的瑞利散射并且最小化其他种类的散射。

在一个实施例中，屏幕的材料具有使得大多数的可见光散射的精细尺度结构。但是，其不是太密和太厚；否则，大部分红外光也会散射。此外，该材料不会吸收很多可见或红外光；否则，这将使得该材料不透明并且因此使屏幕质量差。满足强瑞利散射特性的材料的例子是普通白塑料碎屑包。在一个实施例中，屏幕130通过在两层玻璃板之间夹着该包来建立。另一个满足这一特性的材料是聚乙烯片材。

照明器125的波长的增加和照相机115的滤光器改善了交互视频系统100的性能，因为(采用合适的屏幕材料和厚度选择)增加的波长最大化了可见光(其最小化了眩光)的散射量并且最小化了红外光的散射量(其改善了照相机对屏幕上的目标的取景)。在一个实施例中，使用950nm LED组照明器和单色电荷耦合器件(CCD)照相机，在其镜头前方设置了40nm宽的950nm中心带通滤光器。

还可以将若干个特征增加到交互式视频系统100中，以进一步增强其性能。

降低照相机的眩光

有可能存在来自照明器125的反射眩光至照相机115。这一眩光能够干涉照相机115在屏幕130之外观看的能力。在一个实施例中，将近红外消反射涂层设置于屏幕130的底部和/或者顶部，来减轻该干涉并且改善照相机115的性能。此外，照明器125相对于屏幕130成斜角，以阻止发生任何镜面反射。

此外，在另一个实施例中，将若干个红外线性偏振滤光器添加到照明器125和照相机115(照明器125的偏振方位垂直于照相机115的偏振)的前面来进一步降低眩光。由于从屏幕130的底部直接反射回来的光线仍将要被偏振而产生了这一眩光，同时照射到屏幕130之外的目标的光线失去其偏振。

定向的环境红外线

红外线环境光源可能引起交互式视频系统100的视觉系统的问题。例如，如果明亮的外部红外光源从一个方向上照射在显示器上，任何在该红外源和屏幕间的目标将会投射红外阴影到屏幕130上。该视频系统可能会使其和在屏幕130上的实际目标相混淆，使得应用程序误操作。可以采用若干种技术来降低红外阴影的问题。

在一个实施例中，照明器125的波长将会被选择为尽可能地一致。可以在照相机115前面添加仅通过由照明器125最强发出的波长的光的窄带滤光器。

在另一个实施例中，构成图案的照明器的使用允许系统来区别在屏幕130上的红外阴影和真实目标。对于附加细节的描述，参见在2002年5月28日由贝尔申请的美国专利申请号为No.10/160,217、题目为“交互式视频显示系统”的申请，并且在此并入本文作为参考。

在另一个实施例中，照明器125和照相机115可以被选通。一些照明源，例如发光二极管(LED)，可以在短期内被开得很亮，比它们能够持续发光的亮度大得多。如果照明器125仅在照相机115曝光期间打开，并且照相机曝光足够短，照明器125的亮度相对于环境光线被很大地放大。这是成立的，因为与在较长的照明器125连续工作但是较低的负载亮度的较长曝光期间的图像相比较，在照明器125被开得很亮的短暂曝光期间的照相机115的图像将会包括少得多的环境光线，而几乎与来自于照明器125的光线一样多。

照相机115和照明器125可以被同步。例如，微控制器或者其他电路可以读取或者设置照相机曝光同步以及在合适的时间触发脉冲功率给照明器125。

该选通性能可通过仅在每两个照相机曝光期间打开照明器125来进一步改善。因此，照相机115将会在随照明器125打开而曝光和随照明器125关闭而曝光之间进行交替。由于目的是消除环境红外光线，计算机110可以通过获得在当前图像和先前图像之间的差而连续产生不具有环境光线的图像。由于照明器125将会只在每两个帧照亮，一个图像将会仅具有环境红外光线，而其他的图像将具有环境红外线加上照明器125的光线。通过获得在当前和先前图像之间的像素位置(pixel-wise)差，环境红外光可以被消除，仅留下照明器125的光。

在隔行CCD照相机的情况下，闪光照明器125在交替曝光期间将会产生照相机输出图像，其中的偶数行使照明器125打开，而奇数行使照明器125关闭。因此，替代比较两个图像，计算机110可以获得在奇数行和偶数行之间的差来减去环境光线。该选通可以利用两个照相机115来执行，其定时使得第一和第二照相机在稍微不同的时间获得其曝光，并且照明器125仅在两个曝光中的一个时打开。可选择的，两个照相机对稍微不同的波长会敏感，并且该照明器125仅在第二波长发出光线。

在另一个实施例中，在没有环境红外光的环境下，仅对每两个曝光的选通照明器125降低了系统的反应时间。在第二曝光期间，当照明器125关闭时的任何移动都不会被觉察。但是这可以通过关闭照明器125的一部分，或者简单地在每两个曝光期间降低照明器125的功率来改善。随后，照明器125在“全部开”和“部分开”之间进行交替。当计算机110获得在当前曝光和先前曝光之间的差时，结果将会不包括环境红外光和部分照明器125的光。这一配置将在不具有环境红外光和一些环境红外光的环境为用户提供最快可能的反应时间。

投影仪眩光

由于屏幕材料不是完全半透明的，投影仪120的一些光线将直接穿过屏幕130。结果，投影仪120将会在用户眼睛上产生眩光。在一个实施例中，通过使得照明器125的波长变长以及使用产生更多散射的屏幕130，照相机115还能够看穿屏幕130，同时降低可见光的眩光量。

在另一个实施例中，可以采用若干个线性偏振器片来消除或者降低眩光。附图2示出了采用线性偏振器薄片来消除和降低眩光的一种配置。垂直偏振的薄片230和水平偏振的薄片220分别位于屏幕210的正下方或正上方。由于投影的图像穿过垂直偏振的薄片230，其变为垂直偏振。由于散射使该光线去偏振，在屏幕210上散射的很多光线观众还是可以看见的。但是，没有被屏幕210散射的光线(其引起了眩光)被水平偏振薄片220几乎完全吸收，因为光线是垂直偏振的。因此，消除了该眩光而屏幕210仍然是亮的。注意到如果照相机对红外光是敏感的，可以选择不偏振红外光的线性偏振材料。

在另一个实施例中，如果投影仪是液晶显示器(LCD)投影仪，光线就已经被偏振。对于一些LCD投影仪，红、绿和蓝光在相同的方向上偏振。在这种情况下，在屏幕下就无需偏振薄膜。在一些LCD在投影仪中，红色和蓝色在同一个方向上偏振，而绿色从该方向偏振90度。在这种情况下，在一个实施例中，存在偏振薄片并且其应当从红蓝方向偏振到45度和135度。在另一个实施例中，彩色选择性偏振旋转器可位于投影仪上或内部，以获取在相同方向上偏振的红色、绿色和蓝色光。在这种情况下，只需要一个在屏幕前面的线性偏振器。彩色选择性旋转器(例如由ColorLink公司推出的延时器组“彩色选择”技术，被用于以90度旋转绿色光的偏振。可选择的，红色和蓝色光的偏振也可以被以90度旋转来实现相同的效果。

物理配置

具有交互式视频显示系统的多个可能的物理配置。一个配置是如在附图1中所示和所述的桌面显示器。该交互式视频显示系统位于表面上，具有所有在盒子中的电子元件，高数英尺，且在盒子顶端具有水平屏幕。但是，该交互式视频显示系统还可以被用于建立斜的、垂直的或曲线的显示。

由该交互式视频显示系统占据的物理空间的部分是一个简单的静区，以使得在屏幕上具有相当大的图像，该投影仪必须与屏幕有相当远的距离。这一距离可通过利用若干个反射镜来缩短；这允许投影仪的光束要被改变方向并且适合更紧凑的空间。在一个实施例中，该照相机被安装在盒子中的若干个不同位置并且可通过反射镜观察屏幕，只要其对屏幕具有清楚的取景。在一个实施例中，红外照明器可以被安装在盒子中的任意位置，或甚至在盒子的表面，只要其将在盒子上的目标照亮。

附图3示出了系统的多个其他可能的配置的横截面。由于所有的部分都是可以容易地紧固，这些所示的设计可以被旋转到任何方向。显示器310示出了在附图1中描述的交互式视频显示器。显示器320和330示出了更紧凑、且利用反射镜来改变投影仪的光束的交互式视频显示器。显示器340和350示出了利用成角度的照相机(显示器340)和利用反射镜来改变投影仪光束(显示器350)的成角度的交互式视频显示器。显示器360示出了利用多个反射镜来改变投影仪光束方向的交互式视频显示器。

交互式视频显示器的附加配置

根据本发明的一个方面，提供了多个用于照亮在屏幕前的区域的示例方法的。在自容交互式视频显示器中，红外照相机、红外照明器、和可见光投影仪都在屏幕的一侧而用户在另一侧。为了提供所希望的功能，该屏幕使用的材料是对于可见光大部分半透明(但是还可以是稍微全透明的)，并且其还优选的是对于红外光大部分全透明(在此称为“红外全透明、可见光半透明屏幕”或“主屏幕”)。由红外照明器发出的光线当其通过屏幕时散射一定的角度。这一光线由照相机获取并且其可引起照相机的图像的低对比度以及模糊。结果，照相机对在屏幕外的目标的取景被阻止，其导致了降低的性能特性。

本发明以多种方式解决了前述问题。在一个实施例中，红外照明器可以位于尽可能接近屏幕的位置。例如，照明器可以沿着边界正对于屏幕。附图4A示出了该结构。在照明器前面的材料(在附图4A中作为“照明器402的盖”)可能包括任何至少对于红外光是稍微半透明或者全透明的材料。用于照明器402的盖的材料的选项包括主屏幕材料、纯净的透明材料、或者对于红外光是透明的黑色不透明材料。在下面附图中涉及的照明器的盖都具有类似的含义。物理块被用于阻止红外光溢出到主屏幕上。

但是，上述实施例会导致在接近屏幕或者屏幕中心附近的目标的较差照明。这是由于以一定倾斜角度照射到大部分材料上的光线将会从材料表面反射而不是通过，例如材料的透明性在功能上降低了。一种解决这一个方面的方式是简单地从显示器表面向后移动屏幕，因此允许红外照明器以更小的倾斜角照射穿过屏幕。附图4B示出了这一结构。

在另一个实施例中，照明器可位于屏幕的前面，其方式使得允许它们容易地照亮屏幕前的所有位置。附图5A示出了其中照明器从屏幕前突出的一种配置；附图5B示出了其中显示器表面凹进的另一配置。在上述附图4A、4B、5A、5B所述的实施例中，若干个照明器可能以固定间隔设置于屏幕周围，排列成连续线或者设置在若干个关键位置上。附图4A、4B、5A和5B示出的这些照明策略可以与在屏幕后且通过屏幕照射的照明器结合。

离轴投影

根据本发明的另一方面，离轴投影被用于改善自容交互式视频显示系统的性能。离轴视频投影仪能够以倾斜的角度投影矩形的视频图像到平面上。这些离轴投影仪对于交互式显示器是非常重要的，由于它们允许整个系统的大小显著地缩小并且它们能够使得眩光被降低。

附图6A和6B示出了利用离轴投影仪的自容交互式视频显示器的两个结构。当使用具有离轴投影仪的红外全透明、可见光半透明屏幕时，眩光被降低。由于屏幕对于可见光不是完全半透明(对于红外光也不是完全透明)，一些可见光将会直接穿过屏幕。如果使屏幕加厚，则更多的留下的可见光将会被散射，以降低眩光。使屏幕变得更厚同样使得屏幕对于红外光更不透明，由于屏幕对于红外光不是完全透明的。但是，如果可见光以倾斜角而不是直角通过屏幕，则光线需要通过屏幕达到更长的距离，从而降低了眩光量。例如，以与屏幕平行方向成30角通过屏幕的光需要通过的屏幕材料是以垂直于屏幕的角度通过的光线的两倍。因此，如果红外照相机直接取景屏幕，同时可见光投影仪以倾斜的角度将光线照射到屏幕上，可以获得对于红外照相机的最大透明度和用于可见光投影仪的最大半透明度。

透明平板显示器

该自容交互式视频显示器可以由显示器技术而不是视频投影仪来实现。任何对于照相机的可见光是至少部分透明的平板显示器可以实现，如果其被用于代替主屏幕。例如，透明成像矩阵(由供应商出售的LCD面板的形式)可以被用作其中照相机是近红外照相机的实施例中的显示器。当将要显示的彩色是白色时，这形式的LCD面板是清晰并且透明的。其在近红外光线中也是透明的，无论显示何种彩色。多种LCD面板，包括在膝上型监视器、平板LCD计算机监视器、和平板LCD TV屏幕中使用的透光LCD面板，还具有它们在近红外光是透明的性质。

对于照相机的可见光是至少部分透明的平板显示器将会在本文中被称为“透明平板显示器”。尽管在此描述的例子包括是在红外光和红外照相机中是完全透明的透明平板显示器，该实现方案同样能够很好地应用于可以在不同的波长范围工作的照相机和对于照相机可检测的光是全透明的透明平板显示器。

利用透明LCD面板或者其他对于红外光至少部分透明的平板显示器技术，可以利用红外照相机构成交互式平板显示器。透明LCD典型地缺少其自己的照明，因此它们需要通过外部源来照亮。在一个实施例中，这一外部源包括在LCD平板后的白色可见光照明器。在一个实施例中，对于照相机透明但散射可见光照明器的屏幕刚刚位于LCD板后面，使得LCD更容易漫射照明器的光线。

附图7A示出了根据本发明的实施例的透明交互式平板显示系统700的例子。在一个实施例中，通过在透明平板显示器710后设置红外透明、可见光半透明的屏幕720材料来改善显示器700的外观。随后，在屏幕720上照射任何光线会将显示器710以更多漫射的方式照亮。为了使屏幕720最大漫射地发光，系统700可利用从倾斜的角度照射到屏幕上的光线730或在其前面具有若干个独立的漫射器740的光线730。注意到，漫射器740没有阻挡照相机760的取景。附图7B示出了去除了透明平板显示器710和屏幕720的顶部剖面图的相同配置。该可见光照明器730可包括任何能够产生可见光的发光技术，包括LED、荧光的、氖管、电致发光的布线或薄片、卤素光线、和白炽灯泡。红外照明器750包括任何能够产生对于照相机可见的红外光的发光技术，包括LED、加热灯、卤素灯、或者白炽灯。该红外和可见光都由相同的光源产生。可选择的，为了更好地控制红外光，对于可见光是透明而对于红外光是不透明的薄膜可被安装在可见照明器730上。

对基于投影仪的系统的所述改进，包括在标题为“定向的环境红外光线”部分中提及到的选通技术，在标题为“物理配置”的部分提及的物理配置，和在标题为“交互式视频显示器的附加配置”部分中提及的照明器的配置，都可应用于在该部分中描述的基于透明平板显示器的系统。

使用透明平板显示器而不使用投影仪使得交互视频显示器的尺寸显著降低。但是，这对于计算机视觉系统产生了一个问题，其必须通过屏幕来看。如果在屏幕和显示盒的背面之间只有小的距离，则照相机760将不得不被设置为非常广角，以便于取景在屏幕720正面的全区域，系统应该检测到的目标的位置，例如用户的手。这一点会由于以倾斜的角度通过屏幕观看是很困难的而产生问题。

一种用于解决以倾斜角度的照明的问题的方式是在照相机760周围使用偏振材料用于消除由屏幕720反射的红外光而不影响光线通过屏幕720。在屏幕表面反射的光线往往会被强烈的偏振为平行于屏幕表面，所以，以垂直于屏幕表面并且其偏振垂至于屏幕表面的方式在照相机760周围的偏振器应该消除了从在屏幕720后的红外照明器750的反射光线的大部分或者所有偏离。

对失真的处理

在此描述的所有自容的交互式视频显示系统中都会出现照相机取景失真问题(例如，投影系统和基于透明平板显示器的系统)。在很多情况下，照相机在屏幕上的区域的二维取景可能具有强烈的失真。例如，在附图7A中，目标712和目标714通过照相机760看上去如位于相同的位置，尽管它们在屏幕720上是位于很不相同的位置。为了使在屏幕720上的交互性感觉精确，这一失真需要被校正。

在一个无失真环境中，在屏幕720上的对应于物理目标的虚拟位置是目标轮廓在屏幕720上的垂直投影。平面校正光学元件(例如菲涅耳透镜)可以被安装在屏幕720上或其附近，来改变垂直于屏幕朝向照相机760的入射光的方向。因此，照相机760在相对于屏幕720的表面的其校正位置中取景目标。附图8A以横截面形式示出基于投影仪的交互视频显示系统800的结构的实施例。照相机810位于菲涅耳透镜820的焦距上，其引起了从垂直方向照射到屏幕830上的光线被改变方向而射向照相机810。结果，如果目标从位置802移动到位置804，其对于照相机810的视在位置没有改变。因此，实现了所需的效果，也就是，在屏幕820上的目标的虚拟位置是目标轮廓在屏幕820上的垂直投影。注意，照相机镜头的光学元件需要特定考虑：针孔透镜给出了理想的焦点深度和图像清晰度，而能够通过无限大来聚焦的广角透镜将会允许更亮的图像而损失一些焦点深度和清晰度。应当理解的是，用于消除失真的菲涅耳透镜方法可以与基于投影和透明平板显示器的交互式系统一起使用。

在使用自容式投影显示器与菲涅耳透镜的情况下，菲涅耳透镜不会影响投影的图像，因为在其前面的红外透明、可见光半透明屏幕散射投影仪的光线，并且在该屏幕和菲涅耳透镜之间的距离几乎为零，因此投影图像没有失真。

在使用透明平板显示器与菲涅耳透镜的情况下，该透明平板显示器可被设置在该红外透明、可见光半透明屏幕的前面，最接近于观众。该菲涅耳透镜将不会影响显示器的照明，因为白光逆光已经被漫射或者被在菲涅耳透镜和透明平板显示器之间的材料漫射。

可选择的，通过使用一系列位于显示器背面的反射镜带，可以消除失真，如附图8B所示。这些反射镜带910被设计成改变垂直照射在显示器上的光线的方向朝向照相机920。该照相机位于显示器的一侧，以便不妨碍光线。反射镜带910的实际数量可以是很大并且这些带自身可以是很薄。在一个实施例中，在反射镜带910之间提供足够空间，以便使得来自于屏幕930背面的光线能够发光通过。但是，照相机920不能看到这些光线；由于其是透视的，照相机920对这一区域的取景完全是具有反射镜带910。当以垂直于屏幕930的方向观察时，反射镜带910形成圆形曲线，其中每一个圆环的中心是在照相机920的位置。

由于投影仪不能够容易地通过反射镜带910照射，本实施例将会更可用于与透明平板显示器或者离轴投影显示器一起使用，其中投影仪通过在反射镜带和屏幕间的空间向屏幕上投影；然而尽管将会丢失一些光线，这不排除通过反射镜带照射的投影仪的使用，该投影仪的光线在该点是完全未聚焦的，并且因此最终的投影图像额可以是未受影响的。

可选择的，如果可以获得要观看的关于场景的深度信息(在每一象素上看从照相机到目标的距离)，则在照相机取景的每一个目标的每一个象素所占据的屏幕上的位置的x-y-z坐标轴将可以被重建(通过简单地坐标转换)，并且因此照相机的失真取景可以被校正。该深度信息可以通过使用各种装置来获得，包括但不限制于立体照相机、渡越时间照相机、和构成图的照明。

利用照相机图像的每一个象素的x-y-z坐标轴重建未失真的三维(3D)取景的能力将允许来自多个照相机的数据通过简单的数据重合而组合为在屏幕前的目标的单个统一的取景。多个照相机(或者如果立体视觉被用于3D则为多对照相机)的使用将允许显示器被制成更为平整，对于照相机采用更为狭窄的视场。在这种情况下，这些照相机或者照相机对将会理想地安装，其安装方式使得它们均匀地覆盖屏幕后面的区域。例如，照相机被安装在屏幕后的格栅中。

利用散射偏振屏幕的图像投影和获得

现在将会描述另一种屏幕材料。该屏幕材料用作一种使用在先前本申请中描述的基于投影仪和基于透明平板显示其系统中采用的“红外透明、可见光半透明屏幕”的替代材料。由于该屏幕安装在目标和交互式显示系统之间，该屏幕应该传输投影图像，同时允许照明源和照相机通过屏幕清楚地观看。在一个实施例中，该屏幕用作显示图像信道的传输漫射器，同时作为用于照相机获得信道的窗口。对于屏幕的附加要求是阻止用户免受眩光，也就是，来自于直接或不充分散射的投影仪光线的不舒服的视觉刺激。

在某些例子中，尽管小粒子的散射具有单一粒子散射的λ4波长相关性，大部分漫射器使用多重散射来实现适当的漫射。在多重散射中，散射光的波长相关性是更中立的，如牛奶的颜色所示。以小粒子相干散射的光线的亮度已知与(n-1)²成比例，其中的n是在粒子和主基体之间的相对折射率。在本发明中，散射的特性是，其被使用来允许在获取信道是透明且在显示信道是模糊的。在此使用的方法兼容于但不限制于在获取信道的IR的使用。普通聚合体材料的的散射不适合于建立在可见光和近IR之间的对照。相反的，我们可以以偏振状态的一种状态来标注获取信道，并且利用正交状态标注显示信道。我们还使用具有与在对于一种偏振状态的基体和散射粒子之间的指标匹配(n＝1)，和对于正交状态的指标不匹配(n≠1)的性质。以这种方式，显示器对于显示信道将会具有基本的模糊，并且在获取信道具有基本的透明。在可具有很窄光谱(20nm或类似)的获取信道，材料将会被调整，以执行在近于完美的指标匹配。两种主要的基体可被用于定义这种屏幕的性能：单片传输(Tsp)和偏振器效率(PE)。这些量都在等式1和2中被定义如下：

T_sp＝(T_‖+T_⊥)/2                (1)

PE＝|(T_‖-T_⊥)/(T_‖+T_⊥)|       (2)

其中的T_‖和T_⊥用于在两种状态下的直接传输(例如，未散射和小角度散射)。

对于一个完美偏振器T_sp＝0.5和PE＝1。对于一个真实偏振器，由于屏幕厚度或者粒子浓度在某一可用范围上增大，由于多重散射T_sp将会降低而PE将会增加。通过调整给定散射系统的材料和处理参数，这两个性能基体可以被最优化用于给定的应用。高的T_sp主要导致了在照相机上的更大的分辨率，并且高的PE主要导致了主要的较低的眩光。

在一个实施例中，在屏幕的半透明状态下，投影仪的光线被偏振。对于LCD投影仪，这可以被设置为一个很低的损失。投影的图像光线的一部分将会被反向散射，并且部分将在正向半球中优先散射。用于照相机的照明被优先偏振来避免杂散光线，这可容易通过薄膜型吸收偏振器来完成。被照亮的目标将会漫射地反射光线，并且将会产生在对应于透明和散射的偏振状态中的大概等同部分(例如将不会保持偏振)。该照相机被安装一个吸收型偏振滤光器，使得只有直接来自于目标的光线被成像。该照相机还被安装了与灯光谱匹配的窄带滤光器，来避免视频反馈和与周围光线的干扰。如果散射偏振器具有进一步的特性，即散射的光线保持入射光线的偏振，然后周围环境光线的反射就会降低，形成了较高对比度。附图9A和9B示出了根据本发明的一个实施例、具有散射偏振屏幕的交互式视频显示系统的配置方案。交叉箭头和双向箭头指示偏振的状态。

一个典型的LCD投影仪从其投影镜头发出偏振的光线。但是，在大多数通常类型的三面板LCD投影仪的情况下，绿基色的偏振是垂直于红基色和蓝基色。(这是由于X立方体合成器设计)。因此，为了以相同偏振投影所有三种基色，绿色就必须要与其他两种颜色一致。这能够通过使用延迟器组来以较低的损耗实现(例如从日本的Polatechno公司获得)，其相对于红色和蓝色，对绿色信道增加了半波延迟。这一组件可以配置在组合器立方体和投影仪镜头之间或者镜头和屏幕之间。为了保持高流明输出和避免图像的赝像，就必须使用偏振保持的投影镜头组件。

自容交互式投影显示器的可替换配置

当光线以特定角度照射在屏幕时，屏幕材料是部分透明但却是半透明的(例如HoloClear，由Dai Nippon Printing公司制造的全息屏幕)，这种材料可以被用于自容交互式显示器，其方式是通过使显示器箱的内部对于用户是完全黑暗的。这可以通过使箱的所有内面都保持黑色来实现，其具有黑色窗，该黑色窗对在红外照相机前的红外线和照明器是透明的。由于屏幕材料是部分透明的，照相机能够看到在其外的目标。但是，由于投影仪以合适的角度偏移(例如，在HoloClear的情况下为35度)，来自于投影仪的光被完全漫射，消除了眩光。显示器的用户在该局部透明屏幕后将不会看到任何东西，由于内部被完全遮蔽。

在另一个实施例中，可以使用一种屏幕材料，它可以在施加电流时，几乎立即从清晰切换到半透明切换例如当前销售给内部设计者的“Privacy Glass”产品。这一材料在此被称为基于时间的材料(例如，依赖于时间透明或半透明)。这一材料可被用于来代替波长或偏振选择屏幕。照相机曝光时间非常短暂(例如，近似于100微秒，每秒30次)。当照相机曝光时，屏幕材料变得清楚，允许照相机通过屏幕来看。在投影仪系统的情况下，电子(例如，高速液晶快门装置)或者机械快门可以阻止投影仪的光线输出，确保在这一段时间，投影仪的光线不会照射在用户眼睛上。当照相机不曝光时，屏幕材料变为半透明，允许投影仪或者背光的光被散射。应当理解的是，术语背光是指用于以可见光照亮平板显示器的照明源。

界面的概括描述

尽管在本文有含蓄的描述，该系统描述了自容式显示系统的界面。该界面允许感测显示器之前的目标(包括人类用户)的位置、轮廓和(可能的)距离，以及根据这一感测的实时效果的显示。这些实时效果可包括在显示器之前的物理空间的动作到显示器的虚拟空间中的相应位置的那些动作的效果的映射。换句话说，这些系统可被校准，使得当物理目标(例如用户的手)位于显示器上的虚拟目标的位置上时，发生与在显示器上的虚拟目标的交互。这一显示器具有的物理特性是，没有任何传感装置的可见标记，只有显示器屏幕本身可见。在本申请中后面将要描述的窗口显示器系统的情况下，界面与对自容显示器的描述一致，但是显示器采用窗口显示器的形式，其中在窗口和用户相同的一侧没有设置任何设备。

在本发明的多个实施例中，摄影机被用作该感测设备。该摄像机的图像被当作计算机视觉系统的输入，该计算机视觉系统将在摄像机图像中的前景目标与静态背景实时分离。这一前景一背景差别用作对产生显示在显示器屏幕上的图像的交互视频显示应用装置的输入。可以校准这些图像，使得交互式应用装置的显示的图像上的目标的效果是在与目标相同的物理位置中。这产生了增强现实的假象，其中，人通过身体的自然运动(如拾取，推或者拉)，可以和在屏幕上的目标或图像交互，以允许操作实时目标或者图像的假象。

透明显示器屏幕

在该系统的一个实施例中，LCD屏幕或者其他这种透明屏幕被用作显示装置。照相机被用于感测位于屏幕后的人类用户的运动。因此，通过穿过屏幕观察，照相机取景屏幕前的区域。在屏幕前的这一区域(其中人类用户和目标可以被照相机检测)被称为交互区域。因此，该屏幕对照相机取景的光线的波长是至少部分透明的。

为了防止被显示在屏幕上的内容影响屏幕外的目标的照相机图像，无论什么内容被显示(包括颜色为黑色)，照相机工作在对于屏幕是部分透明的光线的波长。理想地，由照相机取景的光线的波长，屏幕上的内容应该对屏幕的光学特性没有任何影响。在LCD监视器被使用在膝上型计算机和平板计算机显示器的情况下，在照相机取景时通过它只对920nm或者更长的光波长敏感，该LCD屏幕典型地实现这一特性。但是，在更接近可见光的波长，例如800nm，几个LCD面板也实现这一特性。此外，在LCD屏幕中的偏振器不会偏振这些波长的光线。

该LCD或者其他透明显示器屏幕被照亮，从而允许观众来观看其上的内容。理想地，这一光线应当是明亮的并且在屏幕上均匀扩散。典型的LCD显示器使用多种背面照明和边界照明方案中的任何一种。但是，由于这些方法典型地涉及将若干层散射、反射、或者不透明材料设置在屏幕后，它们不允许在屏幕后的照相机来观察屏幕前侧的区域。但是，本发明描述了若干种选择的散射材料，其允许照相机观察在屏幕前的区域，同时还提供该屏幕前的区域的光亮和均匀照明。

在下面的方法中，用于背面照明或者边界照明的照明源优选地是一个长寿命有效白色可见光发射器，例如，荧光灯或者白色LED，不过可以是任何一种可见光光源。

1.瑞利散射材料

一种方案涉及在屏幕的背面安装一片具有强瑞利散射的材料，利用白色背面照明或者边界照明来照亮显示器屏幕，并且利用近红外线敏感照相机来通过屏幕取景。由于瑞利散射正比于被散射光的波长的负四次方，几乎所有白光都被瑞利材料散射，以提供屏幕的均匀照明。但是，由照相机取景的相对很少的红外光线将被散射，这是由于红外光的波长比可见光的波长更长。

2.有织构的材料

另一种方案涉及建立具有在平面区域之间散布的凸起、脊、凹坑、或者凹槽的物理织构的平面薄片。这一材料而后可以被设置在显示器屏幕的背面。这一材料可具有散射所有以掠射角通过其的光线、同时仅散射垂直穿过其的光线的一小部分的效果。一些这种材料在附图10A和10B中示出。附图10A示出了材料1000的简化的横截面，其具有用于散射光线的微观的凸起或脊1010。通过使表面具有脊或者凸起1010，利用散射光的材料制作凸起或脊，或者通过其他方法，可以实现散射。附图10B示出了材料1050的简化的横截面图，其具有散射光线的微观的凹槽或凹坑1060。通过使表面具有凹坑或凹槽1060，通过在凹坑和凹槽1060中填入散射光线的材料，或者通过其他方法，可以实现散射。在所有的情况中，几乎垂直通过材料表面的相当大部分的光将不会被散射，同时以掠射角通过到表面的几乎所有光线将会被散射。

因此，如果通过边界照明照亮屏幕，该显示器屏幕可以是均匀和明亮地被照亮，同时允许照相机通过屏幕来看。附图11示出了根据本发明的一个实施例、自容边光交互式显示器的横截面的简化示意图。边界照明1110提供了用于照亮显示器屏幕1140(例如LCD)的可见照明。屏幕1150被安装在相邻于显示器屏幕1140，并且其可操作用于散射以掠射角(例如边界照明1110的角度)碰撞到其的光线。照明器1120照亮了位于照相机1130的视场内的目标。来自于照明器1120的光线以垂直或者近似垂直的角度到达显示器屏幕1140，并且不会被散射。

3.散射偏振

在另一个实施例中，如在段落“利用散射偏振器屏幕的图像投影和获取”中描述的散射偏振器被安装在显示器屏幕的背面。这一散射偏振器散射一个偏振的光线，同时留下未散射的相反偏振的光线。利用背面照明，通过与在散射偏振器上的散射方向相同的方向而线性偏振背光，可以均匀地照亮显示器屏幕。因此，在其通过显示器屏幕之前，所有的背光都被散射。

可选择的，该背光可以是未偏振的，并且可以在散射偏振器和显示器屏幕之间安装线性偏振器，该偏振器的偏振定向在与散射光线的散射偏振器相同的方向上。因此，任何来自于背光的没有被散射偏振器散射的光线对于线性偏振器都具有相反偏振，使得其被吸收。这引起了对显示器屏幕的照明是均匀的，并且消除了令人讨厌的在用户眼睛中的眩光。

如果显示器屏是LCD屏幕，则背光就无需被偏振，这是由于在LCD屏幕的背面内置线性偏振器。在这种情况下，可以简单地通过在LCD屏幕背面安装散射偏振器，可以由未偏振背光实现均匀照明，其定向使得在散射偏振器中的最大散射方向平行于在LCD屏幕背侧的线性偏振器的偏振。因此，只允许由散射偏振器散射的光线通过LCD屏幕。

平板显示器屏幕

附图12A示出了利用显示器屏幕的自容显示器1200的示范实施例的简化横截面图。该显示器利用由白色可见光1220背面照亮的LCD屏幕1210来建立。散射偏振器1215散射所有的光线，为观众提供均匀的照明。在自容单元一侧的反射镜1225反射来自光线1220的杂散白光回到显示器屏幕1210，以增加其亮度。仅敏感于从920nm到960nm的近红外光的摄影机1230取景在LCD屏幕1210正面的被称为“摄影机视场”的区域。在这一个视场内的目标对于摄影机1230是可见的。对于摄影机的视场的照明来自于若干组红外LED群1240，其在盒子背面产生可由摄影机1230取景的波长的光线。来自于这些LED1240的光线在其到达LCD屏幕1210之前，被通过漫射屏幕1245稍加散射，从而阻止来自于LED1240的光亮镜面高亮露出在摄影机图像上。菲涅耳透镜1250被用于减小在LCD屏幕1210前面的区域的摄像机取景的失真。

下面将会描述在通过附图12A中的示范实施例的可见和红外光的路径。我们将两个垂直的光线偏振称为偏振A和偏振B。

来自于白光照明器1220的可见光开始被去偏振，并且可由漫射材料1245散射，由菲涅耳透镜1250重定向，或者被反射离开在其路径上的反射镜1225而射向屏幕1210。接下来，这一光线通过散射偏振器1215，其散射偏振A的所有的光线而不散射偏振B的光线(其中A和B是指两个垂直的偏振)。该散射的光线保持其在被散射后的偏振。该光线随后通过LCD屏幕1210，其吸收所有偏振B的光线并且传输所有偏振A的光线。因此，LCD屏幕1210仅利用散射的光线就被照亮，并且观众看到均匀照亮的屏幕。

从红外照明器1240发出的红外线可开始被去偏振。可选的是，为了改善清晰度，这一光线可以首先通过红外线性偏振器1260，以使其在偏振B中偏振，使得其损耗将会被散射偏振器1215散射。接下来，红外光线可被漫射材料1245散射，由菲涅耳透镜1250重定向，或者被反射离开其路径上的反射镜1225而射向屏幕1210。如果该光线是未偏振的，其中的一部分将会在通过散射偏振器1215时被散射，但是偏振B的光线将会通过散射偏振器1215去偏振。由于红外光的波长足够长，其未受影响通过LCD屏幕1210，并且能够照亮在屏幕前的目标，例如人的手。

从显示器屏幕前返回到摄影机1230的红外光将不会被LCD屏幕1210影响。但是，当光线通过散射偏振器1215时，偏振A的光线将会被散射而偏振B的光线将会被保持为未散射。接下来，光线通过菲涅耳透镜1250，但是其并不是明显地影响偏振。摄影机1230就在其前面具有红外线性偏振器1260；这一偏振器1260吸收偏振A的光线而传输偏振B的光线。因此，摄影机1230仅取景偏振B的光线，其被散射偏振器1260保留为未偏振。这给了摄影机1230在屏幕前的区域的清楚、高对比度的图像。

附图12B中的横截面图中示出了基于LCD的交互式显示器的另一个示范实施例。整个系统是楔形的。该系统设计类似于附图12A中示出和描述的设计。但是，已安装若干个红外照明器，用于最小化进入照相机1262中的眩光。在屏幕上或附近的目标被内部红外照明器1264照亮，其通过散射偏振器1266和LCD平板1268照亮。但是，它们都不发光通过菲涅耳透镜1276从而降低对照相机1262的眩光影响。菲涅耳透镜1276被设置背离LCD平板1268和散射偏振器1266，从而为内部红外照明器1264提供空间。外部红外照明器1270照亮了远离屏幕的目标。红外照明器1270照射LCD平板1268或者散射偏振器1266周围(而不是通过)，以允许进一步降低眩光。沿着系统基座侧面设置若干个白色可见光照明器1272，并且被背光封盖1274所遮盖。背光封盖1274可由吸收近红外光而传输可见光的材料组成，从而降低在屏幕上的环境红外光的存在，并且因此改善了照相机1262获得的图像的对比度。

利用散射偏振器的投影显示器屏幕

在交互式视频显示系统的另一个实施例中，投影仪和投影屏幕被用作显示设备。用于检测人类用户的移动的照相机被安装在屏幕后。因此，通过屏幕观察，该照相机取景屏幕前的区域。因此，该屏幕对于照相机取景的光线波长是至少部分透明的。散射偏振器在该系统中可以用作投影屏幕。

应当理解的是，散射偏振器可能不会完美地操作。认为会被散射的偏振中的少量光可能没有被散射。由于投影仪光线当其被直接观看到时极大的亮度，在投影仪镜头内的明亮光源可能通过散射偏振器仍是直接可见的，尽管投影仪的光线在适当的方向可被偏振用于最大化散射。这一眩光的明亮斑点可以通过使用位于散射偏振器前面的线性偏振器来消除，从而确保未散射投影仪光线被吸收。此外，如果投影仪光线没有被完全偏振，将会出现类似的问题。这一问题通过利用在散射偏振器后的线性偏振器就可以降低。在两种情况下，这些偏振器被导向平行于投影仪光线。如果照相机是近红外光或者其他非可见光波长，则可以选择可见光偏振器，使得照相机不会受其影响。因此，该照相机能够通过屏幕取景。

消除镜面反射

此外，来自于照相机照明器的镜面反射可以不利地影响照相机的图像。这些影响可以通过应用抗反射涂层给显示器屏幕的一个或两个表面以及屏幕后的任何表面来降低，包括瑞利散射材料、织构材料、散射材料、或者菲涅耳透镜。通过转向来自于照明器的光线，使得没有来自照相机照明器的镜面反射返回到照相机，也可以减轻这些影响。

附图13示出了这种结构的一个例子。这一结构使用了若干个点照明器1310，其远离于照相机1320并且垂直照射到屏幕1330上，用于阻止任何镜面反射进入到照相机1320。没有被这些照明器覆盖的区域被照明器1340照亮，照明器1340以掠射角照射到屏幕1330，从而阻止了反射光回照到照相机1320。

在另一个实施例中，散射偏振器1410或者其他可选择的散射材料可以被稍微倾斜，使得照相机照明器1440的镜面反射被从照相机1430反弹开，如在附图14中所示。如图所示，来自于照明器1440的镜面反射被重定向而朝着盒子侧面的方向。在另一个实施例，可以将漫射材料安装在照相机照明器的前面，来使任何进入照相机内的镜面反射柔和。通过从显示器的背面弹回其光线，也可以漫射来自于这些照明器的光线。

附图15示出了根据本发明实施例的利用渡越时间照相机1530的交互式视频显示系统1500的示例性结构。镜面反射对于渡越时间照相机1530产生一个特殊的问题，由于在典型的设计中，照相机和照相机的照明器必须相互紧密相邻地安装，并且来自照明器的光线不会被散射。因此，由于照相机的照明器引起了从屏幕反射回到照相机的严重眩光，前述的方法将不会工作在使用渡越时间照相机的实现方案。但是，由于计算机可视系统可以使用3D照相机信息来执行将坐标转换为所需的坐标系，该照相机无需被安装在屏幕中心的后面，并且来自多个照相机的数据可以被合并。因此，例如，两个渡越时间照相机1530可以被用于以一定角度观察在屏幕1510前的区域，使得避免任何来自照明器的镜面反射，只要两个照相机1530在不同的时间开始曝光。在该结构中，照相机不会观察到其内置照明器的镜面反射。

增加触摸屏界面

尽管描述的系统能够辨别远离屏幕数英寸的目标和姿态，触摸屏行为也可以被提供，其中用户需要真实触摸屏幕，以便引起行动的发生。这将允许系统提供附加的各种用户界面。例如，该界面将允许用户通过在屏幕上将其手掬成杯形来“聚集”在屏幕上的虚拟目标，但是允许是通过触摸其图像来“拾取”虚拟目标，并且然后通过触摸屏幕上的另一个点来“放下”该目标。

这一触摸屏幕行为可以通过多个方式之一实现。在这一部分中以及下面的部分描述的触摸屏幕例子与基于投影仪和基于透明平板显示器的交互式视频系统相兼容。现有的触摸屏幕技术可以与该系统的屏幕相结合，只要覆盖显示器屏幕的部分对于照相机是透明的。这包括电阻式触摸屏、电容式触摸屏、红外线网格触摸屏、以及表面声学触摸屏。但是，所有这些屏幕都具有的缺点是，它们一次只能检测到触摸屏幕的一个手指；有些甚至都检测不到与如短暂轻敲相反的持续接触。有几种解决上述缺点的方法，其中的很多允许系统收集关于在目标和屏幕之间距离的信息。这种3D数据对于较高等级视频处理例如手势识别很有用。

多用户触摸屏幕和3D数据：立体照相机

可以建立多用户触摸屏幕，通过对该系统进行些细微的变动，其允许多个人来同时使用屏幕。在一个实施例中，立体照相机可以被用于取代单一照相机。该立体照相机具有与单一照相机系统相同的波长敏感性和滤光器设置。但是，计算机能够从立体照相机获得两个图像，并且利用多种公知的立体影像算法中的任一种，例如Marr-Poggio算法，推导出任何在屏幕上看见的目标的距离信息。由于到屏幕的距离是已知的，计算机可以通过比较目标距离信息和到屏幕的距离来识别目标是否接触到屏幕。

多用户触模屏幕和3D数据：一个照相机立体

附图16示出了根据本发明的实施例的用于使用反射镜来获得3D信息的结构1600。通过安装反射镜1620在盒子内侧，仅利用一个照相机1610就可以获得立体数据。因此，照相机1610可以直接或以一定角度看到屏幕1630。在照相机的主图像和反射图像中，触摸屏幕1630的目标将会出现在相距反射镜1620的边缘相同的距离上。但是，在屏幕1630上的目标将在主图像和反射图像上相距反射镜1620的边缘有不同的距离。通过比较这些图像，该计算机可以推断出每个目标是否触摸了屏幕1630。

多用户触摸屏和3D数据：组成图案的照明器

附图17示出了根据本发明的实施例的用于使用构成图案的照明器来获得3D信息的另一个结构1700。构成图案的红外照明器1710(其投影了光图形)可以被用于代替通用的红外照明器。这一系统可以辨别在屏幕1720上的目标和屏幕1720之上方的目标。但是，通过使组成图案红外照明器1710以一定角度照射到屏幕1720上，可能通过将其从反射镜1730反弹在盒子内侧，可以改善该系统的精度。在目标上的构成图形的光的位置将会在其仅远离或者朝向屏幕1720移动即使是短的距离时而剧烈变化，允许通过计算机1740更容易得确定在目标和屏幕1720之间的距离。

多用户触摸屏和3D数据渡越时间系统

照相机可以是渡越时间红外照相机，例如从Canesta和3DV系统得到的模型。这一照相机具有检测到其图像的每一个像素的距离信息的内置性能。如果这一类照相机被使用，则从屏幕上消除所有的红外眩光将是至关重要的；否则，照相机就会将屏幕上的照明器的反射错认为是真实目标。用于消除红外眩光的方法上面已经描述了。

多用户触摸屏：多波长

触摸屏幕行为还可以通过具有两个照相机和两个照明器来实现，其中每一个照相机-照明器对是在不同的红外频率上。例如，一个照相机-照明器对可以使用800nm光而另一对可以使用1100nm光。由于屏幕的散射对于波长的负四次方是正成比例的，因此800nm照相机与1100nm照相机相比，能够看到在屏幕之外的目标的能力小得多。结果，只有接触或者几乎接触屏幕的目标对800nm照相机是可见的，而1100nm照相机将能够看到距离屏幕几英尺远的目标。两种照相机都要将其数据输入到计算机并且通过独立的视频系统处理。800nm数据将被输入到触摸屏界面，而1100nm照相机将用于手势输入，因为其可以检测到在屏幕上方的目标。

多用户触摸屏：在显示器表面上的窄光束

附图18A示出了根据本发明的实施例、用于使用若干个附加照明器来获得3D信息的结构1800和1850。第二照明器1810可以被用于仅照亮在显示器表面上或者非常接近显示器表面的目标。例如，如果窄角度照明器(例如LED或者激光器)刚好位于屏幕1820内或者其外，其指向几乎平行于屏幕1820，则相邻于屏幕1820的目标将会在照相机图像中显得非常亮。可以采用柱透镜或者其他装置水平发散照明器的光线而不是垂直发散，以允许其覆盖屏幕的整个区域。随后视频系统可推断出有非常亮的目标非常接近或者接触屏幕1820。

在另一个实施例中，光束可以被照射到显示器表面内。这一实施例的照明系统如在附图18B中所示。透明嵌板1860安装在主显示屏幕1855前面。照明器1870照射窄光束到透明嵌板1860的边界内。由于陡峭的入射角，光线1870完全在透明嵌板1860的范围内反射。但是，如果目标1875接触到屏幕，该光线1870能够散射，以允许其透射出透明嵌板1860的范围。光线1880随后能够被照相机1885检测到。这允许照相机1885来检测何时目标1875或者用户接触屏幕。

对于利用了在屏幕表面上或者接近于屏幕表面的第二组照明器的这些方法，存在若干种设计，这些设计允许系统辨别来自容照明器的光和来自辅助照明器的光线。这一辨别非常重要，由于其允许该系统独立于仅在屏幕前面的目标来检测接触屏幕的目标。

首先，在交替的照相机曝光期间，可以打开两组照明器，以允许该系统来观察在屏幕前的每一个照明器照亮的区域。可选择的，该系统可以使用两个照相机，其中每一个照相机-照明器对以不同的波长操作。此外，该系统可以使用两个照相机并且使每一个照相机-照明器对在不同时间选通。

多用户触摸屏和3D数据：亮度比

触摸屏幕行为可以通过在距离屏幕不同距离处安装不同的照明器来实现。假设照明器A是距离屏幕两英尺，并且照明器B是距离屏幕一英尺。照明源的亮度对于与到照明源的距离的负二次方是成正比例的。因此，来自于A和B的在目标上的光的比率随着其距离改变而变化。这一比率允许计算机来确定目标是否在屏幕上。表格1示出了在来自A和B的光之间的比率如何可以区分在屏幕上的目标和在屏幕上方甚至1英寸的目标的例子。

目标位置	来自照明器A的光(相对1英尺远)	来自照明器B的光线(相对1英尺远)	来自B的光和来自A的光的比
				触摸屏	0.25	1	4比1
1英寸以上	0.23	0.85	3.7比1
				屏幕上方1英尺	0.11	0.25	2.3比1

表1

无论目标是什么颜色，只要它不是全黑的，该比率都是成立的。此外，由于LED光线是不均匀的，目标触摸屏幕的比率可以根据目标接触屏幕的什么部分来变化。但是，可以在校准处理期间建立该比率，并且通过记录在屏幕的每一个点上最近观察的最大比率，在规定时间之外重新确定该比率。

照明器A和B可以被辨别。在一个实施例中，两个照相机和照相机可以被使用并且被调谐到不同的波长，如在上述的标题为“多用户触摸屏：多波长”的部分中描述的。因此，照明器A仅仅对于照相机A是可见的，且照明器B仅仅对于照相机B是可见的。

在另一个实施例中，照明器A和B具有相同的波长，但是在不同的时间打开。如果具有一个照相机，照明器A和B可以在照相机曝光期间被交替打开，使得在A打开而B关闭时，取所有偶数编号的照相机曝光，并且在A关闭而B打开时取所有奇数编号的照相机曝光。这以因子2降低了有效帧率，但是允许一个照相机摄取通过A或B独立照亮的图像。计算机随后可以比较两个图像，以计算在每点的亮度比，并且确定何时目标接触屏幕。通过建立读取或产生照相机的同步信号的电路，很容易使照明器相对照相机同步。

在另一个实施例中，两个独立的照相机可被连接到照明器A和B上(两个都以相同的波长)，只要仅当对应的照相机开始曝光时照明器被选通且打开，并且两个照相机的曝光被交错使得它们不会重叠。

在所有的情况下，计算机可以比较由A照亮的屏幕和B照亮的屏幕的图像，以确定在每一点的亮度比，并且因此确定任何目标与屏幕的距离。A距离屏幕两英尺、而B距离屏幕一英尺的例子只是一个实施例；其他的距离的比例或设置也可以工作。

平铺

由于系统在自容式盒子内，并且屏幕可以占据盒子的整个侧面，可以将若干个屏幕一起叠加在栅格中，而且所有其屏幕都在相同侧，以建立一个大得多的屏幕。如果在每一个系统中的计算机都是联网在一起，该系统可以共享关于它们的实时视频信号和内容的信息，以使这些屏幕能够象一个大无缝屏幕一样工作。为了美观的原因，若干个单独平铺单元的屏幕可被一个很大的屏幕替代。

由模糊量获得距离信息

一些屏幕材料和结构可以引起入射光的散射，使得典型的散射角度很小。因此，大部分通过屏幕材料的光线轻微地改变了方向。附图19A示出了轻微散射的原理示例；用于每一个散射光线的射线的箭头的长度表示在其方向散射的光线的部分；尽管示出了有限数量的箭头，散射角的分布是连续的。

这种形式的散射可以通过多种方法实现。具有强米氏(Mie)散射的材料展示了这一特性。此外，具有织构表面的材料和可以采用期望的方式稍微地重定向光。理想地，该织构可能仅仅会在光路上引起一个小的平均和概率统计的平滑偏差。附图19B示出了这种织构的例子。该织构的大小将会足够小而不会减损投影图像的观察。这一散射效果的实现可以通过改变主屏幕材料以具有强米氏散射或者织构表面。可选择的，这些特性可以被添加到与主屏幕材料一起夹在中间的第二屏幕材料。

利用这种材料作为屏幕的一部分，将会影响照相机观察场景的方式。所有由照相机观察的目标将会由于材料的散射特性而被模糊。但是，模糊量是依赖于距离的。触摸屏幕的目标将保持不模糊，但是它们距离越远，将会逐步地更为模糊。这是由于按给定的角度在屏幕表面散射光线，转到散射的物理距离，其与从屏幕到光线的距离是成正比例的。例如，以45度角水平散射光线引起了它在其水平位置上在距离屏幕1英尺的距离偏离1英尺，但是该偏移在距离屏幕2英尺的距离是2英尺。

然后该视频系统可以使用这一模糊图像通过多种方法来重建距离，包括利用边界检测技术来检测陡边缘和模糊边缘，以及可以为每一个边缘估计模糊量。Elder-Zucker算法是一种这样的边缘检测技术。一旦模糊量是已知的，目标边缘与屏幕的距离可以被确定，由于模糊量与距离成正比例，给出关于目标的视频系统3D信息。

该视频系统的任务可以通过使用构成图案的照明源来简化，其投影对于照相机是可见的红外图案，而取代或附加给正常的红外照明器。这一图案可以包括若干个点、若干根线、或者任何其他具有锐利边缘的织构。该图案可以被从若干个方向投影，包括通过屏幕。如果通过屏幕投影该图案，散射量将会加倍，但是依赖于距离的散射效果将不会改变。

通过用图案照亮所有在屏幕上的目标，该视频系统的性能增加。没有构成图案的照明，很难确定在图像中的没有边界的任何位置的3D信息，例如在均匀亮度的目标的中间。但是，利用在该投影图案中覆盖的所有目标，很容易获得在图像中的任何点的模糊信息。

采用投影织构，不同的方法可以被用于估计模糊量。图像褶合(例如Sobel滤光器或者棱锥分解)可以被用于获得不同规模的信号强度和梯度。如果织构是点状图案；在图像中相对于点的位置可以通过寻找局部最大量来定位。然后，通过检查在每一个局部最大量周围区域的梯度的强度，可以确定有多少模糊发生。在点的边缘的梯度粗略地与模糊量成反比。因此，在每一个点的梯度可以涉及到屏幕的距离。

照相机结构

在系统的一个实施例中，照相机对人眼不可见的波长的光线敏感。通过增加发出不可见波长的光的照明器，该照相机可以产生在暗室中摄取显示器屏幕前的区域的良好照射的图像，而不会将光线照射到用户眼睛上。此外，依赖于选择的光线的波长，显示器屏幕的内容对于照相机可以是不可见的。例如，只对波长920nm-960nm的光线敏感的照相机将会看到LCD屏幕为透明的，无论其上显示什么图像。

在系统的另一个实施例中，该照相机只对窄范围的近红外的波长敏感，其中在该范围中的最短波长至少是920nm。利用在这一波长范围内发光的若干群红外线LED照亮在屏幕前面的区域。该照相机是一个近红外敏感单色CCD，其安装有仅传输由LED产生的波长的光线的带通滤光器。为了进一步的图像质量改善和抑制环境光投影，该照相机和LED可以被一起选通。

在系统的一个实施例中，照相机具有在屏幕前的区域的相对未失真的取景。为了降低失真，该照相机可以被安装在距离屏幕相当远的距离。可选择的是，该照相机可以安装在更接近屏幕的位置，并且菲涅耳透镜可以安装在屏幕上或之后。附图20A示出了高失真结构，且照相机很接近于屏幕。注意到在附图20A中，目标2010和目标2020出现在距离照相机的透镜相同的位置，但是在屏幕的很不同的位置上方。附图20B、21A和21B示出了若干个其中失真被降低的结构。附图20B示出了低失真结构，其中的照相机远离屏幕；通过反射照相机的取景，该整个显示器可以被保持紧凑。注意到在附图20B中，目标2030和目标2040看上去为距离照相机透镜相同的位置，并且占据在屏幕之上相同的位置。附图21A和21B示出了分别利用菲涅耳透镜来降低或者消除失真。

菲涅耳透镜也可以被用于允许多个照相机被使用在系统中。附图21C示出了使用菲涅耳透镜来消除在一个双照相机系统中的失真。每一个照相机具有消除照相机取景的失真的菲涅耳透镜。由于两个照相机的视场仅仅接触而没有交叉，目标将能够无缝的从一个照相机的取景传到另一照相机取景。这一技术扩展到多个照相机，以允许在屏幕后能够安装一个照相机网格。这一技术允许交互式显示器能够变得很薄，以提供一个类似于平板显示器的形状因素。以类似的方式，使用菲涅耳透镜来消除失真允许多个自容显示器能够被平铺到一起，采用的方式允许来自所有显示器的照相机被无缝平铺到一起。

如果一种技术被用于从照相机接收3D图像，该照相机的位置变得不再那么重要，因为失真可以被在软件中通过执行坐标转换而校正。例如，读取用于每一个象素的照相机深度可以被转换为(x，y，z)坐标，其中的x和y对应于在显示器屏幕上最接近于该点的位置，并且z对应于距离在屏幕上的位置(x，y)到该点的距离。在其他基于软件和基于硬件的方案中，通过采用渡越时间照相机，3D图像可以在硬件中获得。3D渡越时间照相机的制造者包括Canesta和3DV系统。上述的方案完全与在屏幕后放置照相机的方案完全兼容，由于多数的渡越时间照相机使用红外照明器。

用于照相机的照明器

在屏幕周围或者在屏幕后，或者在这两个位置可以放置若干个照明器，这些照明器在照相机的波长的光线下照亮在屏幕前的交互区域。

如果这些照明器位于屏幕周围，它们直接照射在交互区域，以允许它们的亮度达到最大化使用。但是这一结构是不可靠的；用户可以阻塞照明器的光线的路径，来防止在交互区域的一些目标被照亮。同样，该结构使得照亮触摸屏幕的目标很困难。

上述关于在屏幕周围安装的照明器的问题通过在屏幕后面安装若干个照明器来解决；采用在照相机附近的照明器，任何对于照相机可见的目标将被照亮。但是，来自于这些照明器的光线可以被在屏幕后面的瑞利散射材料、织构材料、或者散射偏振器反向散射。这一反向散射明显地降低了照相机图像的对比度，使得视频系统更难解读照相机图像。

如果光线被散射偏振器散射，照相机对近红外光敏感，并且照明器发出近红外光，则上述对比度损失将会通过使用红外光线性偏振器来降低，红外光线性偏振器线性地偏振红外光。在照相机前面安装红外线性偏振器，且其偏振方向平行于散射偏振器是透明的方向，将会明显降低反向散射和改善对比度。在红外照明器之前安装红外光线性偏振器，且其偏振方向平行于散射偏振器透明的方向，将也会降低反向散射和改善对比度。

窗口显示器

根据本发明的另一方面，该自容交互式视频显示系统可以与窗口显示器结合使用。自容交互式视频显示器可以使用在多种物理结构中，例如，水平、垂直或者斜向安装屏幕。但是，当在窗口上使用这种显示器时，有多个附加可能的物理结构。

附图22示出了根据本发明的实施例、一个交互式窗口显示器2200的示例结构。在一个实施例中，替代自容式的，部件可以是物理上独立的。该屏幕2210可以被直接固定到窗口2220表面上，或者独立地安装在窗口2220后面。照相机2230、投影仪2240、和照明器2250都可以安装在接近或者独立的位置，并且可以安装在地板、顶板、或者在距离窗口2220不同距离的其间任何地方。可选地，红外照明器2250可以位于屏幕2210的侧面，从而使得它们直接照射到对象上，而不是通过屏幕2210。同样，可选地，在照相机2230和计算机2260之间、或者在计算机2260和投影仪2240之间的通信可以是无线的。

在窗口显示器中的照相机整体上水平瞄准。因此，照相机通常在距离屏幕任意距离取景人。由于可以采用视频软件、屏幕材料或者其他系统识别和消除在过远距离的目标，还可能将向上平铺照相机，使得更远距离的目标需要具有某一最小的高度，以便于照相机观察它们。因此，只有在距离屏幕数英尺内的人才能够与之交互。靠近这样的显示器用户将会注意到在屏幕的底部首次出现的其虚拟存在，并且随后随着它们更接近屏幕而逐步增高。附图22示出了以这种方式向上平铺的照相机2230。

眩光是在窗口显示器中的一个难题。但是，窗口显示器的用户被限制在它们一般观看屏幕的角度。他们将不可能从倾斜的角度来观看屏幕，因为它们可能保持一个距屏幕至少几英尺的距离(例如两英尺)，从而使具有空间来用手臂和手指向在显示器上的目标。对于在眼光水平或者低于眼光水平的显示器，人尤其不可能以倾斜的角度仰视显示器。如果投影仪位于非常接近于屏幕而不是高于屏幕顶部，且其光束以倾斜的角度向下投影，则这一低的眩光情况将会实现。可选择地，如果显示器被设置为在眼光水平或者高于眼光水平，则通过安装低于或者接近于屏幕的投影仪，以倾斜的角度向上投影，可以实现类似的眩光降低。注意到，若干个离轴投影仪对于这类结构是尤其有用的。

窗口单元：可选择的结构

屏幕的可见光透明在窗口单元中比在自容单元中更为理想。因此，若干个窗口显示器可以和对于以特定角度照射在其上的光线半透明的局部透明显示器一同构造。可以用于构造局部透明屏幕的材料采用商标名称“HoloClear”进行销售，并且由Dai Nippon Printing制造；这种材料对于以35度角照射在其上的光线是半透明的。这一屏幕替代了红外(IR)透明、可见光(VIS)半透明屏幕或者散射偏振器屏幕。如果投影仪将光线以该角度照射到屏幕上，则就不会有来自投影仪的眩光。只要照相机在与投影仪成相当不同的角度(到屏幕)，该系统就能够适当地工作。

到窗口单元的界面

利用与自容单元相同的方法，可以使到窗口单元的界面距离相关，包括使用立体照相机、渡越时间照相机、和在本专利的“触摸屏”部分中描述的技术。在一个实施例中，与窗口单元的交互包括整体交互和更精确的手势的混合，例如指示。

采用提取深度信息的视频系统，其可能通过多种方法隔离指示手势和其他手运动。第一，照相机图像可以被分割为若干个距离范围，其中一个距离范围用于整体交互，而另一个(假设更近)距离范围用于指示手势。在后一距离范围中的目标将被追踪作为指示器，而它们的位置用作在显示器上运行的应用的输入。可选择的，可以分析距离屏幕小于一个特定距离的所有目标，来发现在其中的最接近于屏幕的点。如果该点是从剩下的目标按至少一个特定阈值最接近于屏幕，则其能够变为用于指示手势的输入。在屏幕上的视觉反馈可以被提供来示出任何检测到的手运动的位置。

降低眩光的技术

如果可以保证观看者经常以一个特定范围的角度看到投影仪的眩光，则可以进一步该眩光，而不会有害地影响照相机的场景取景。附图23A、23B和23C都是分别示出了根据本发明不同的实施例的各种用于降低眩光的技术的简化示意图。附图23A示出了折叠屏幕材料。假设该屏幕被折叠，使得来自于一个倾斜角度的光线必须通过屏幕的若干层，接近直通而来的光线通常仅通过一层。如果投影仪的光线来自于倾斜角度，而照相机取景屏幕更接近于平行，则投影仪的光线的散射量将会大大的增加，而不会不利地影响照相机的取景。在附图23A中，大部分照相机取景仅仅通过一个屏幕层，而所有的投影的光线通过多个层。

有若干种实现希望的效果的方法。可以用微格栅材料来替代平板屏幕，而不是折叠屏幕，以建立与折叠屏幕相同的效果，如在附图23B中所示。可选择的是，小的、平坦的、片状的屏幕材料颗粒可以被添加到透明基片(所有的水平导向)，如在附图23C中所示。在所有的情况下，从倾斜角度靠近屏幕的典型光线碰到比典型的垂直于材料的光线还多得多的散射材料。

屏幕的织构在所有情况下应当是足够小的使得观看者不会注意它。当利用离轴投影仪时，这一技术是最有用的，但是其在投影仪和照相机从不同角度观看屏幕的任何情况下都是有用的。

阻止红外光源照射到屏幕上和降低对比度是非常重要的。因此，如果红外照明器设置在屏幕后面，有利的是使红外照明器位于使屏幕散射最小化的角度。

可选择的是，视界控制薄膜产品(例如Lumisty，一种视线控制膜)，其在视角的窄范围是半透明的，并且在所有其他角度都是半透明的，在一些情况下，这些视界控制薄膜产品可以帮助降低眩光。

通过相对屏幕以特定角度安装投影仪，可以保证任何直接观看投影仪光束的人以一个角度观看屏幕，对于该角度，视界控制薄膜是半透明的。附图24A和24B示出了一种方法，通过该方法，视界控制薄膜可减少眩光。附图24A示出了人(照相机)通过一种视界控制薄膜观看光线的经历。来自于半透明区域的光线被漫射，降低或者消除任何在该区域来自光源的眩光。来自两个透明区域的光源将不会被漫射，以允许人或者照相机看见在这些区域中的目标。视界控制薄膜的区域的边界通常通过用于沿着一维在光线和视界控制薄膜表面之间的角度的数值范围来定义。附图24B示出了在用于降低在交互式窗口显示器上的眩光的简单结构中的视界控制薄膜。该视界控制薄膜与红外透明、可见光半透明的屏幕结合使用。由于投影仪的角度，如果不以视界控制薄膜漫射光线的角度观看，不可能直接观察投影仪的光束。但是，照相机能够通过视界控制薄膜观看目标，由于照相机被指向使视界控制薄膜透明的角度。因此，眩光被降低而没有影响照相机取景场景的性能。

示例性结构

基于窗口的显示器2500的示范实施例使用了散射偏振器作为屏幕，如在附图25中所示。这一实施例是一个交互式窗口显示器2500，其中使得显示器工作必需的所有传感和显示器部件被安装在窗口2505之后。该窗口显示器2500允许在窗口2505之前的用户来与显示在窗口2505上的视频图像通过自然的肢体运动来交互。

在一个实施例中，通过LCD投影仪2510来产生显示的图像。在大多数LCD投影仪中，红色和蓝色光在一个方向偏振，而绿色光在垂直的方向偏振。一个彩色选择偏振旋转器2515，例如由ColorLink公司生产的延迟片叠合“色选择”技术，被用于以90度旋转绿色光的偏振。可选择的，红色和蓝色光的偏振可以旋转90度，来实现一些效果。通过在投影仪2510前面安装一个彩色选择偏振旋转器2515，所有的投影仪的光线都是同样的偏振。散射偏振器2525被定向而使得最大散射的方向平行于投影仪光线的偏振。因此，当这一投影仪光线到达散射偏振器2525时，其都被散射，以为在屏幕另一侧的用户提供图像。

仅对近红外光敏感的视频照相机2530取景屏幕前的区域，其被称为“照相机视场”。在这一视场中的目标对于照相机2530将是可见的。用于照相机视场的照明器来自若干组红外LED群2535，其在屏幕背面产生可由照相机2530观察的波长的光线。注意到，照相机视场向上倾斜，使得只有在屏幕附近的人落入视场中。这阻止了远离屏幕的目标影响使用照相机2530作为输入的交互应用。

下面将会描述可见和红外光通过在附图25中的示范实施例的路径。光线的两个垂直的偏振被称为偏振A和偏振B。

可见光从LCD投影仪2510呈现，并具有在偏振A中的红色和蓝色光以及在偏振B中的绿色光。该光线首先通过色彩选择偏振旋转器2515，其留下未受影响的红色和蓝色光，但是旋转绿色光的偏振使得其在偏振A中。接下来，这一光线通过一个线性偏振器2520，其传输在偏振器A中的光线并且吸收在偏振器B中光线。这一线性偏振器2520“清除”了光线-其吸收了仍然是B偏振的投影仪的任何光线。接下来，光线通过散射偏振器2525，其指向在偏振A中的散射光线并且传输在偏振B中的光线。因此，几乎所有投影仪光线被散射。注意到这一散射的光线仍然保持其偏振A。优选的，该光线可以随后通过一个线性偏振器2540，其传输在偏振A中的光线而吸收在偏振B中的光线。这一偏振器用于改善图像质量。

从红外照明器2535发出的红外光可能开始去偏振。可选的，为了改善清晰，这一光线可以首先通过一个红外线性偏振器，以在偏振B中对其进行偏振，使得其更少部分被散射偏振器2525散射。如果光线被去偏振，其中的一些在其通过散射偏振器2525时将被散射，但是偏振A的光线将会通过散射偏振器2525而不被散射。由于红外光的波长是足够长的，其通过任何可见光线性偏振器2540未受影响并且能够照亮在屏幕前的目标，例如人类用户。

从窗口2505前面返回至照相机2530的红外光将会不受线性偏振器2540的影响。但是，当光线通过散射偏振器2525时，偏振A的光线将会被散射而偏振B的光线保持未散射。照相机2530仅在其前面具有红外线性偏振器2545；这一偏振器2545吸收偏振A的光线并且传输偏振B的光线。因此，照相机2530仅观察偏振B的光线，其保持为未被散射偏振器2545散射。这给照相机2530一个在屏幕前的区域的清楚的、高对比度的图像。

使用棱形薄膜

在交互式投影的窗口显示器中，大体上，通常最好是清楚地具有在窗口显示器下的区域，但是放置照相机，使得它取景的区域向上倾斜。这一情况可以通过使用以特定角度重定向所有通过它们的光线的棱形薄膜来实现。例如，由3M生产的Vikuiti IDF薄膜以20度重定向输入光线。如在附图26中所示，通过在投影屏幕的任一侧上安装这些薄膜中的一个或多个，以便向上重定向光线，照相机可以位于相对于屏幕更高的位置。

压缩

通过利用反射镜，可以压缩系统的整个尺寸。附图27示出了一个结构，其中照相机和投影仪都与窗口相邻设置，指向远离它，并且反射镜将它们的光束反射回窗口。

照相机改进

为了进一步改进图像质量和抑制外部光线，照相机和照相机的照明器可以被一起选通。这一方法完全兼容于使用各种用于3D成像的软件和硬件的方法。尤其是，在这一设计中的照相机和照明器可以被渡越时间照相机替代。

可见光系统

如果没有线性偏振器添加在散射偏振器附近(如在附图25中所示)，则该设计不需要使用红外照相机。彩色或者黑白可见光照相机能够对屏幕前的区域成像，只要在紧靠照相机的前面具有可见光线性偏振器，且其偏振方向平行于对于散射偏振器是透明的方向。因此，照相机看不到投影的图像，允许照相机看到在屏幕前的区域未受阻挡。这一照相机可以利用存在的外部环境光或者位于显示器周围附加的可见光来工作，以照亮在屏幕前面的用户和目标。如果增加了附加的可见光，照相机和光线可被一起选通，如在本申请的题目为“方向环境红外光”的部分中描述，以改善照相机图像的质量，并限制外部环境和投影仪光线对图像的影响。

为了进一步改善图像质量，可以在投影仪镜头的前面设置高速光阑。这一光阑可以是机械的或者电子的；一种可用电子光阑是由Meadowlark Optics生产的基于液晶的速度快门。在一个实施例中，这一快门在几乎所有时间保持打开，以允许投影仪光线通过。该快门仅在照相机拍摄照片时关闭来阻止投影仪的光线。如果照相机的曝光时间短，则投影仪的亮度几乎不受影响。注意到在照相机曝光期间，使用速度快门来阻止投影仪的光线使得可见光照相机能够被用在投影的交互式平面或者墙面显示器前。

注意到，在交互式视频投影系统中使用可见光照相机，除了分选照相机图像的每一个象素为前景或背景的视觉信号之外，还获得在屏幕前的人(系统用户)的实时照片。这允许视觉系统将系统用户的照片隔离开并去除静态背景。这一信息允许该系统在它显示的图像中设置用户的彩色图像，且用人工产生的图像插入在用户上或用户周围。如果该系统被适当校准，用户可以接触该屏幕，并且用户的显示图像将会在同一时间接触到屏幕上的相同位置。这些特性提供了对在该显示器上运行的交互式应用的质量的显著改善，包括，例如，允许用户确切地看到位于交互内容中的自己。

来自照相机的可见光图像可以被用于建立虚拟反射镜，其看上去以及表现为象真实反射镜，但是该反射镜图像可以被以电子方式操纵。例如，该图像可以被水平翻转来建立不可反象镜，其中的用户如其他人看到他们一样可以看到他们自己的图像。可选择地，该图像可以时间延时，使得人可以回过来看到他们自己。这一系统可以因此具有在使用反射镜的环境下的应用，包括例如，化妆室。

渡越时间照相机交互式显示器

本发明的实施例可以利用渡越时间照相机来实现。渡越时间照相机具有内在的能力来检测它的图像的每一个像素的距离信息。利用渡越时间照相机消除了对改进的显示器的需要。换句话说，该渡越时间照相机可以和任何显示器(例如，LCD平板，阴极射线管显示器等等)一同工作而无须改进。可以使用单个渡越时间照相机。但是，单个渡越时间照相机不能够检测被更接近于照相机的目标阻止的目标。因此，本发明的实施例利用多个渡越时间照相机，如附图28所示。

由于照相机的剩余，就不再需要担心由于一个目标遮蔽着另一个目标使得一个照相机不能检测所有的目标。例如在附图29中所示，四个渡越时间照相机被安装在显示器的角上，确保显示器的全部区域是交互性的。为了使用这一渡越时间实施方案用于多个照相机，对每个渡越时间照相机的每个象素执行坐标转换，使其位于普通的坐标空间中。一个这样的空间通过以下参量来定义：(x，y)，指向垂直投影在显示器表面的点的位置；和(z)，相对显示器的距离。这一坐标空间转换可以通过以每一个照相机对于屏幕的角度(和位置)观看来确定。可选择的，该转换可以通过校准处理来确定，其中已知大小、形状和位置的目标位于屏幕前。通过具有照相机图像目标的每一个，合适的转换功能可以由每一个照相机观看到的点到普通坐标空间的点来确定。如果照相机坐标转换是实时完成的，则在3D中照相机前面的区域的实时照片被完成。

使用

该交互式视频显示系统被用于很多不同的应用。该系统的能够具有类似接触屏幕的行为和全部或部分体轮廓交互的能力，增加其对信息界面的要求，其需更精确的选择和按钮和目标的操作。

基于透明显示屏和基于投影的交互式显示系统的使用包括，但是不限制于：交互式视频游戏，其中用户移动他们的身体来玩游戏，交互式菜单，目录，和使得用户利用手势浏览通过若干页信息内容的浏览系统，允许用户使用自己的图像来“试穿”衣服的系统，其中用户的图像或者轮廓用作视频效果系统的输入的纯娱乐应用，与在屏幕前面的用户的运动交互的交互特性，以及用户通过移动他们的身体来交互的虚拟游戏场和故事书。

本发明的其他使用包括，但不限制于：允许用户定制或者观看可用选项，用于在显示器上定制产品，允许显示器上的产品在显示器上被定购，利用显示器交互界面、键盘、信用卡刷卡机(credit cardswiper)、或者这三者的组合，在显示器上比较多个产品的特征，在显示器上示出多个产品之间的结合或者兼容，以及将产品定位于屏幕上不同的虚拟设置中以展示这些特征(例如，水，森林，沥青等)

外围设备

基于透明显示器屏幕和基于投影仪的交互式显示系统可以结合若干个附加的输入和输出，包括，但不限制于：麦克风、触摸屏、键盘、鼠标、射频识别(RFID)标签、压垫、蜂窝电话信号、个人数字助理(PDA)以及扬声器。

基于透明显示器屏幕和基于投影仪的交互式显示系统可以被平铺在一起，建立单个较大的屏幕或者交互区域。平铺的或者物理上独立的屏幕可以被连接成网络，允许在一个屏幕上进行处理而影响另一个屏幕上的图像。

在一个示范实施例中，本发明以集成或模块化的方式，采用控制逻辑之形式的硬件和软件的结合来实现。根据在此公开的和教导的内容，本领域的普通技术人员将知道实现本发明的其他方式和/或方法。

在一个示例性的方面，如上所述的本发明提供了一种系统，其允许照相机取景在显示器前面的区域。在一个相关的发明中，一种系统被提供用来建立在显示器前面的反应性空间。本发明能够还可以被用于从反应性空间获得信息。

广泛地来说，本文公开了一种自容交互式视频显示系统。投影仪将可视图像投影到屏幕上用于显示该可视图像，其中投影仪将可视图像投影到屏幕的背面用于向在屏幕前面的用户呈现。照明器将屏幕前面附近的目标照亮。照相机检测照亮的目标与可视图像的交互，其中屏幕对于照相机可检测光线是至少部分透明的，以允许照相机通过屏幕检测照亮目标。计算机系统响应于交互指示投影仪改变可视图像。

可以理解，在此描述的例子和实施例是仅用于说明目的，并且对本领域的技术人员启示根据这些内容的各种修改和变型，而这些修改和变型是在所附的权利要求中的精神和范围内。在此涉及到的公开文献、专利文献和专利申请都被并入本文作为参考，用于在其整体上的所有目的。

因此，描述了本发明、一种自容交互式视频显示系统的各种实施例。尽管本发明已经被描述在特定实施例中，应该理解，本发明不应被解释为受限制于这些实施例，而是应该根据如下的权利要求来解释。

Claims (55)

1、一种自容交互式视频显示系统，包括：

投影仪，用于投影可视图像；

屏幕，用于显示所述可视图像，其中，所述投影仪将所述可视图像投影到所述屏幕的背面，以便向在所述屏幕前面的用户呈现；

照明器，用于将所述屏幕前面附近的目标照亮，其中所述照明器位于邻近所述屏幕的位置，并且将光照投影到所述屏幕的前面；

照相机，用于检测照亮的目标与所述可视图像的交互，其中，所述屏幕对于所述照相机可检测光线是至少部分透明的，以允许所述照相机通过所述屏幕检测所述照亮的目标；和

计算机系统，用于响应于所述交互控制所述投影仪改变所述可视图像。

2、权利要求1的系统，其中，该照明器是投影红外照明的红外照明器；所述照相机是红外照相机，其中所述投影仪、所述红外照相机、所述红外照明器、和所述计算机系统被包括在机壳内，并且其中所述机壳的一侧包括所述屏幕。

3、如权利要求1或2所述的自容交互式视频显示系统，其中，若干个垂直取向的线性偏振薄膜被设置在与所述屏幕的所述前侧和所述后侧相邻的位置。

4、如权利要求1或2所述的自容交互式视频显示系统，其中，所述投影仪发出偏振光，并且垂直取向的线性偏振薄膜被设置在与所述屏幕的所述前侧相邻的位置。

5、如权利要求1或2所述的自容交互式视频显示系统，其中，所述照明器在所述照相机的曝光的时间内被选通。

6、如权利要求1所述的自容交互式视频显示系统，其中所述投影仪、所述照相机、所述照明器、和所述计算机系统被包括在机壳内，并且其中所述机壳的一侧包括所述屏幕。

7、如权利要求1或2所述的自容交互式视频显示系统，进一步包括用于将所述可视图像投影到所述屏幕上的反射镜，其中，所述投影仪间接指向所述屏幕，并且所述反射镜改变所述可视图像的方向到所述屏幕。

8、如权利要求1或2所述的自容交互式视频显示系统，其中，所述照明器通过所述屏幕将光照投影到所述目标上。

9、如权利要求8所述的自容交互式视频显示系统，其中，所述照明器被定位从而降低对所述照相机的眩光影响的任何可能性。

10、如权利要求1或2所述的自容交互式视频显示系统，其中所述照明器位于邻近所述屏幕，使得所述照明器不通过所述屏幕投影光照。

11、如权利要求1或2所述的自容交互式视频显示系统，包括多个照明器，其中所述照明器位于邻近所述屏幕并且在所述屏幕之后。

12、如权利要求1或2所述的自容交互式视频显示系统，其中所述投影仪是离轴投影仪。

13、如权利要求1所述的自容交互式视频显示系统，进一步包括菲涅耳透镜，其位于相邻于所述屏幕的位置，以便校正所述照相机的取景失真。

14、如权利要求1所述的自容交互式视频显示系统，进一步包括一系列反射镜带，这些反射镜带与所述屏幕隔开一段距离，以便校正所述照相机的取景失真。

15、如权利要求1或2所述的自容交互式视频显示系统，其中，所述屏幕包括散射偏振器，其中所述投影仪以由所述散射偏振器充分散射的偏振发出偏振光，并且所述照相机对由所述散射偏振器非充分散射的偏振的光线敏感。

16、如权利要求1或2所述的自容交互式视频显示系统，其中所述屏幕包括充分散射由所述投影仪发射的波长的光线、而不充分散射所述照相机可检测的波长的光线的材料。

17、如权利要求1或2所述的自容交互式视频显示系统，其中，所述屏幕包括基于时间的材料，该材料可以从大体半透明改变到大体透明，其中，当所述投影仪投影所述可视图像时所述屏幕是大体半透明，并且当所述照相机检测所述屏幕的所述正面附近的目标时是大体透明的。

18、如权利要求1或2所述的自容交互式视频显示系统，其中，所述屏幕包括在特定角度是大体半透明而在其他角度是大体透明的材料，其中所述投影仪从所述特定角度向所述屏幕投影光线。

19、如权利要求1或2所述的自容交互式视频显示系统，其中所述照相机的图像被校准到所述可视图像，使得由所述目标引起的所述交互作用与接近于所述屏幕的所述目标的物理位置相匹配。

20、如权利要求1或2所述的自容交互式视频显示系统，其中，所述自容交互式视频显示系统是可操作用以确定关于所述目标与所述屏幕的距离的信息。

21、如权利要求20所述的自容交互式视频显示系统，其中，所述照相机是立体照相机。

22、如权利要求20所述的自容交互式视频显示系统，其中，所述照相机是渡越时间照相机。

23、如权利要求22所述的自容交互式视频显示系统，其中，所述渡越时间照相机的设置位置使得该渡越时间照相机不会反射回到其自身上。

24、如权利要求1或2所述的自容交互式视频显示系统，其中，所述自容交互式视频显示系统提供在所述目标接近于所述屏幕时的触摸屏功能。

25、如权利要求24所述的自容交互式视频显示系统，进一步包括相邻于所述屏幕的所述前侧的透明触摸屏。

26、如权利要求24所述的自容交互式视频显示系统，进一步包括相邻于所述屏幕的所述前侧的边光透明薄片，其中所述照相机可操作用以辨别当所述目标接触到所述边光透明薄片时产生的光线。

27、如权利要求1或2所述的自容交互式视频显示系统，其中所述目标是人类用户的身体部分。

28、如权利要求1或2所述的自容交互式视频显示系统，其中所述自容交互式视频显示系统可以与第二自容交互式视频显示系统一起平铺。

29、如权利要求1或2所述的自容交互式视频显示系统，进一步包括第二照相机、用于所述照相机的第一菲涅耳透镜、和用于所述第二照相机的第二菲涅耳透镜，以允许由所述照相机和所述第二照相机取景的空间被接合到一起。

30、一种利用自容交互式视频显示系统显示交互式可视图像的方法，所述方法包括：

投影步骤，在屏幕上投影可视图像，其中所述可视图像被投影到所述屏幕的背面，以便向在所述屏幕前面的用户显示；

照亮步骤，利用邻近所述屏幕的照明器照亮邻近所述屏幕的所述前面的目标；

检测步骤，检测所述目标与所述可视图像的交互，其中所述屏幕对于光线是至少部分透明的，使得所述目标可通过所述屏幕来检测；和

改变步骤，响应所述交互改变所述可视图像。

31、如权利要求30所述的方法，其中照亮所述目标包括以红外光照亮所述目标，和其中所述检测所述交互包括检测投影到所述目标上的红外光照。

32、如权利要求30所述的方法，包括通过向所述屏幕投影所述可视图像来消除眩光，其中垂直取向的线性偏振薄膜被安装在所述屏幕的所述前侧和所述后侧附近。

33、如权利要求30所述的方法，进一步包括通过投影偏振光来消除眩光，其中垂直取向的线性偏振薄膜被设置在邻近所述屏幕的所述前侧的位置。

34、如权利要求30所述的方法，其中所述照明在所述检测的时间内被选通。

35、如权利要求30所述的方法，其中，所述自容交互式视频显示系统被包括在机壳内，并且其中所述机壳的一侧包括所述屏幕。

36、如权利要求30所述的方法，其中，所述投影所述可视图像进一步包括通过反射镜将所述可视图像投影到所述屏幕上，其中所述投影仪被间接指向所述屏幕，使得所述反射镜改变可视图像的方向到所述屏幕。

37、如权利要求30所述的方法，其中所述照明所述目标包括通过所述屏幕将光照投影到所述目标上。

38、如权利要求30所述的方法，进一步包括利用位于相邻于所述屏幕的菲涅耳透镜来校正所述照相机的取景失真。

39、如权利要求30所述的方法，进一步包括利用位于与所述屏幕相隔一段距离的一系列反射镜带来校正所述照相机的取景失真。

40、如权利要求30所述的方法，其中，所述屏幕包括散射偏振器，其中所述投影步骤以由所述散射偏振器充分散射的偏振发射偏振光，并且所述检测对由所述散射偏振器非充分散射的偏振的光线敏感。

41、如权利要求30所述的方法，其中所述屏幕包括充分散射在所述投影步骤发射的波长的光、而不是在所述检测步骤可检测的波长的光的材料。

42、如权利要求30所述的方法，其中，所述屏幕包括基于时间的材料，该材料可以从大体半透明改变到大体透明，在所述投影步骤时是大体半透明，并且在所述检测步骤时是大体透明的。

43、如权利要求30所述的方法，其中，所述屏幕包括在特定角度是大体半透明、而在其他角度是大体透明的材料，其中所述投影步骤从所述特定角度将光线投影到所述屏幕上。

44、如权利要求30所述的方法，进一步包括校准在所述检测步骤捕获的图像到所述可视图像，使得由所述目标引起的所述交互作用与接近于所述屏幕的所述目标的物理位置相匹配。

45、如权利要求30所述的方法，进一步包括确定关于所述目标与所述屏幕的距离的信息。

46、如权利要求45所述的方法，其中，所述检测步骤是由立体照相机执行的。

47、如权利要求45所述的方法，其中，检测步骤是由渡越时间照相机执行的。

48、如权利要求47所述的方法，进一步包括放置所述渡越时间照相机，使得该渡越时间照相机不会反射回到其自身上。

49、如权利要求30所述的方法，其中进一步包括提供在所述目标接触所述屏幕时的触摸屏功能。

50、如权利要求49所述的方法，进一步包括提供相邻于所述屏幕的所述前侧的透明触摸屏。

51、如权利要求49所述的方法，进一步包括提供相邻于所述屏幕的所述前侧的边光透明薄片，并且其中所述检测步骤用于辨别当所述目标接触到所述边光透明薄片时产生的光线。

52、如权利要求30所述的方法，其中所述目标是人类用户的身体部分。

53、如权利要求30所述的方法，进一步包括将所述自容交互式视频显示系统与第二自容交互式视频显示系统平铺。

54、如权利要求2所述的自容交互式视频显示系统，进一步包括菲涅耳透镜，其位于相邻于所述屏幕的位置，用以校正所述红外照相机的取景失真。

55、如权利要求1所述的自容交互式视频显示系统，其中，所述照明器是用于以红外光照亮所述目标的红外照明器，并且其中所述照相机是用于检测红外光照的红外光照相机。

Images