CN102519363B

CN102519363B - 单个照相机显示装置探测

Info

Publication number: CN102519363B
Application number: CN201110367808.XA
Authority: CN
Inventors: T.拉奇; A.特拉维斯
Original assignee: Microsoft Corp
Current assignee: Microsoft Technology Licensing LLC
Priority date: 2010-11-18
Filing date: 2011-11-18
Publication date: 2015-06-17
Anticipated expiration: 2031-11-18
Also published as: US8674965B2; WO2012067880A3; US20120127127A1; EP2641154A4; EP2641154B1; WO2012067880A2; CN102519363A; EP2641154A2; TW201224895A; TWI554922B

Abstract

此处公开了涉及确定对象（140）与交互显示装置（100）的表面（102）的距离的各种实施例。例如，一个公开实施例提供一种方法，其包括：将红外（IR）光（180）引导到表面（102）上方的对象（140），该IR光被对象（140）往回反射到该交互显示装置（100），以及基于从对象（140）反射的IR光（180）的偏振态，将反射IR光（180）折射为在两个不同方向上行进的两条射线（144和146）。该方法还包括切换LCD装置的偏振态以允许两条折射射线（144和146）的一条折射射线穿过LCD装置，并且在探测器（138）接收穿过LCD装置的两条折射射线（144和146）的这一条折射射线。另外，该方法包括基于三角测量估算对象（140）与表面（102）的距离。

Description

单个照相机显示装置探测

背景技术

显示装置可以利用各种技术来显示图像，诸如阴极射线管（CRT）技术、基于投影的技术、基于液晶显示器（LCD）的技术等等。一些显示装置可以是交互显示装置，该装置还配置成利用诸如电容探测、电阻探测、表面声波探测、光学探测等等技术探测显示器表面上物理对象的触摸。在一些实例中，光学探测技术可以进一步配置成探测置为靠近显示器表面的物理对象的“接近接触”。

作为实例，指向同一方向但分隔已知距离的两个照相机可以用于从不同视角捕获靠近表面的对象的两幅图像。这两幅图像接着可以被处理以揭示与深度有关的关于对象的视差数据。然而，需要非常仔细校准以确保两个照相机实际上指向同一方向。

发明内容

此处公开了涉及估算对象与交互显示装置的表面的距离的各种实施例。例如，一个公开实施例提供一种用于确定对象与具有液晶显示器（LCD）装置的交互显示装置的表面的距离的方法。该方法包括：将红外（IR）光引导到该交互显示装置的表面上方的对象，该IR光被该对象反射回到该交互显示装置。接着，该方法包括：基于从对象反射的IR光的偏振态，将反射IR光折射为在两个不同方向上行进的两条射线。该方法还包括：切换LCD装置的偏振态以允许两条折射射线的第一条折射射线穿过LCD装置，以及在探测器接收穿过该LCD装置的两条折射射线的第一条折射射线。接着，该方法包括：切换LCD装置的偏振态以允许两条折射射线的第二条折射射线穿过LCD，以及在该探测器接收穿过该LCD装置的两条折射射线的第二条折射射线。最后，该方法包括：基于三角测量估算该对象与该交互显示装置的表面的距离。

此发明内容被提供从而以简化形式介绍概念选集，所述概念选集在具体实施方式中在下文予以进一步描述。此发明内容不是旨在确定所要求保护的主题的关键特征或必要特征，也不是旨在用于限制所要求保护的主题的范围。再者，所要求保护的主题不限于解决此公开内容任何部分中指出的任何或全部缺点的实施方式。

附图说明

图1示出依据本公开内容的实施例的具有计算系统的实例交互显示装置。

图2示出依据本公开内容的实施例的用于交互显示装置的实例光学系统的框图。

图3示出依据本公开内容的实施例的实例双折射棱镜。

图4示出依据本公开内容的实施例的用于交互显示装置的实例方法。

具体实施方式

本公开内容提出一种交互显示装置，该交互显示装置可以探测对象存在于交互显示装置的表面上或附近以及估算接近表面的对象的距离。该交互显示装置包括液晶显示器（LCD）装置、双折射棱镜和单个照相机。双折射棱镜用于将从对象反射的光射线折射为在两个不同方向上行进的两条射线，使得两条折射光射线进入分隔一定距离的LCD装置。LCD装置可以被调制，使得在给定时间，两条折射光射线的仅仅一条穿过并且被照相机接收。因此，可以获得涉及深度的视差数据并且可以利用三角测量估算对象与表面的距离。在下文更详细地描述交互显示装置的各种实施例。

图1示出具有触摸敏感显示器表面102和光学系统104的交互显示装置100的实例实施例的各方面，该光学系统置于触摸敏感显示器表面102下方，该触摸敏感显示器表面可以配置成为计算系统106提供显示和视觉功能。因此，图1示出可操作地耦合到光学系统104的计算系统106。计算系统106可以是配置成提供显示数据到光学系统104以及从光学系统104接收输入数据的任何装置。在一些实施例中，计算系统106可包括计算机的全部或者部分；在其它实施例中，计算系统106可以是经由有线或无线通信链路可操作地耦合到计算机的任何装置。

如图1的实例中所示，计算系统106包括显示子系统108和视觉子系统110。显示子系统可以配置成在交互显示装置100的表面102上显示图像，用户经由光学系统104与该交互显示装置交互。视觉子系统可以配置成经由光学系统104探测在交互显示装置100的表面102上或上方的对象。为了提供显示功能，光学系统104可以配置成将可见图像投影到触摸敏感显示器表面上。为了提供视觉功能，光学系统104可以配置成捕获置于触摸敏感显示器表面上或附近的对象的至少部分图像，例如，该对象为诸如手指、电子装置、纸卡、食物或者饮料。因此，光学系统104可以配置成照射这种对象以及探测从对象反射的光。以此方式，光学系统可以记录位置、足印、对象与表面的距离以及置于触摸敏感显示器表面上或附近的任何合适对象的其它属性。

计算系统还包括数据保存子系统112，其可包括计算机可读取介质，诸如光学存储装置（例如CD、DVD、HD-DVD、蓝光盘等），半导体存储装置（例如RAM、EPROM、EEPROM等）和/或磁性存储装置（例如硬盘驱动器、软盘驱动器、磁带驱动器、MRAM等）等等。数据保存子系统112可包括具有一种或多种下述特性的装置：易失性、非易失性、动态、静态、读/写、只读、随机存取、顺序存取、位置可寻址、文件可寻址以及内容可寻址。在一些实施例中，数据保存子系统112可以是移动计算机可读存储介质的形式，其可以用于存储和/或转移数据和/或可执行以实施此处描述的方法和过程的指令。该移动计算机可读存储介质可以采用CD、DVD、HD-DVD、蓝光盘、EEPROM和/或软盘等等的形式。

图2示意性说明实例光学系统104，其可以在诸如上文参考图1描述的交互显示装置100的交互显示装置中使用。在所说明实例中，光学系统104包括红外（IR）光源、楔形光导134、包括LCD 122和偏振器130的液晶显示器（LCD）装置、以及双折射棱镜128。

LCD 122可以是由许多像素构成的电调制光学装置，所述像素用响应于应用的电压而旋转的液晶填充。在一些实例中，每个像素可具有例如由滤波器产生的红色、绿色和蓝色子像素，所述子像素在颜色和强度方面可以被调制，从而在LCD 122被背光182照射时在交互显示装置的表面102上显示图像，该背光可以是配置成向上朝向交互显示装置的表面102发射可见光126的任何发光体。在一些实施例中，LCD 122包括在液晶层任一侧上的可见光偏振器（未示出），使得可见光在穿过LCD 122时被偏振。LCD 122可以进一步包括透明电极（未示出），使得每个像素可以被调制。另外，LCD 122可以被调制，使得在高切换速度所有像素接通（例如全白）以及所有像素切断（例如全黑）。例如，LCD 122的切换速度可以是240Hz或者LCD可以在2.5-5ms内切换。

另外，LCD装置包括定位在LCD 122下方的偏振器130，该偏振器使离开LCD 122并且朝向楔形光导134行进的光偏振。例如，偏振器130可以是仅仅使波长在IR范围的光偏振的红外偏振器。在这种实例中，除了可见光偏振器，偏振器130可以定位在液晶层的任一侧上。作为另一实例，偏振器130可以是3M^TM制造的Vikuti^TM双亮度增强膜（DBEF），其使可见光和IR光都偏振并且允许一个偏振通过以及反射另一个偏振。因此，来自照射显示器的背光182的可见光可以不被偏振器130偏振。另外，偏振器130可以是仅仅允许平行偏振态的光穿过的平行偏振器或者是仅仅允许垂直偏振态的光穿过的垂直偏振器。LCD 122的高切换速度快速地旋转穿过LCD 122的光的偏振态，使得穿过偏振器130的偏振态改变。例如，当LCD 122的像素切断使得穿过该LCD 122的射线的偏振态不旋转时，仅仅具有与偏振器130的偏振态匹配的偏振态的射线穿过偏振器130到达楔形光导134（例如，如果偏振器130为平行偏振器，以及仅仅平行偏振射线穿过并且垂直偏振射线被吸收）。另一方面，当LCD 122的像素接通使得穿过LCD 122的射线的偏振态旋转时，仅具有最初（例如在进入LCD 122之前）与偏振器130的偏振相对的偏振的射线穿过偏振器130到达楔形光导134。以此方式，LCD 122可以被调制，使得探测器138探测穿过LCD装置的寻常射线（例如垂直偏振射线）144或非寻常射线（例如平行偏振射线）146。

如图2中的实例所示，交互显示装置的光学系统104还包括漫射器124。漫射器124例如可以用于提供背光均匀性。在一些实施例中，漫射器124可以是可切换漫射器，诸如聚合物分散液晶漫射器（PDLC）漫射器，该可切换漫射器可以在漫射状态和非漫射状态之间切换。例如，在背光182接通并且显示子系统被用于将图像显示在交互显示装置的表面102上的时间期间，可切换漫射器可以切换到漫射状态以维持显示均匀性。当背光182切断并且视觉子系统被用于感测交互显示装置的表面102上或上方的对象时，可切换漫射器可以切换到非漫射状态。

在其它实施例中，背光182例如可以是边缘照亮的板，其定位在楔形光导134和LCD 122之间。在这种实施例中，可切换漫射器可以定位在背光182和偏振器130之间。

另外，在图2说明的实施例中，经由对象（例如对象140）的漫射照射，视觉子系统提供光，并且光被往回反射通过触摸敏感显示器表面。相应地，图2示出发射器172，该发射器例如可以是红外（IR）发光二极管并且照射光导174。在图2说明的配置中，照射光导174配置成从触摸敏感显示器表面下方照射一个或多个对象。照射光导可以是配置成从一个或多个入口区域176接纳红外光并且将至少一些红外光从出口区域178投影的任何光学器件。应理解，图2中说明的实施例为一实例，并且发射器172和照射光导174可以具有任何合适配置，并且另外应理解，许多其它照射配置是有可能的且同样符合本公开内容。

在图2的实例中，示出了照射交互显示装置的表面102上方的对象140的IR光射线180。对象140将光线（例如当发射器172为IR光发射器时，IR光射线）142往回反射通过交互显示装置的表面102并且通过漫射器124，当可切换漫射器被使用时该漫射器可以处于非漫射状态。另外，反射光线142穿过双折射棱镜128，并且基于反射光线142的偏振态，分离为在两个不同方向上行进的两条射线，即第一折射射线（例如具有垂直偏振的寻常射线）144和第二折射射线（例如具有平行偏振的非寻常射线）146，如参考图3在下文更详细所描述。离开显示器的表面102的来自背光182的可见光可以被可见光偏振器（未示出）偏振，该可见光偏转器定位在LCD 122的任一侧上。可见光偏振器例如可以平行于双折射棱镜128，使得双折射棱镜128可以不影响离开光学系统104的可见光的行进方向。

如上所述基于光线和偏振器130的偏振态，折射光线144和146穿过LCD 122并且随后穿过偏振器130。折射光线144和146随后进入楔形光导134，该楔形光导将图像（例如IR光图像）聚焦在探测器138上，该探测器定位在楔形光导134的宽端部上。探测器例如可以是照相机，诸如红外敏感数码照相机。楔形光导134例如可以是诸如聚甲基丙烯酸甲酯（PMMA）或丙烯酸的光学透明材料的渐缩片。

应理解，图2各方面不是旨在限制，因为许多楔形光导、LCD、背光、漫射器和对象照射变型被考虑到。另外，光学系统104的各种部件可以进一步包括诸如转向膜、漫射器膜、波长选择性反射器等的特征，从而选择性地控制穿过部件的光的方向。

继续图3，该图示出双折射棱镜300的实例，诸如上文参考图2描述的双折射棱镜128。如图3的实例中所描述，双折射棱镜300包括锯齿形区域304和体区域302。锯齿形区域例如可以用液晶材料填充。如所示，锯齿形区域304在双折射棱镜300内形成类似菲涅耳的透镜。双折射棱镜300的体区域302可以由例如折射率基本上等于液晶材料的寻常折射率的固态聚合物制成。另外，锯齿形区域的峰到谷高度310可以基本上相当于从表面上方对象反射的入射IR光的一个波长与双折射棱镜300的双折射率的商的倍数。双折射棱镜300的双折射率为液晶材料的非寻常折射率和双折射棱镜300的体区域302的寻常折射率之间的折射率差异。例如，如果锯齿形区域的峰到谷高度310具有的深度基本上等于波长（例如入射IR光的波长）与双折射棱镜的双折射率的商，则穿过双折射棱镜的射线相长干涉并且由于衍射引起的散射很少，这是期望的状况。

另外，图3中说明的实例示出穿过双折射棱镜的寻常射线（例如垂直偏振射线）306和非寻常射线（例如平行偏振射线）308。如所示，寻常射线306穿过双折射棱镜300而不改变方向。相比之下，非寻常射线308的方向在进入双折射棱镜300时方向，并且在进入和离开用液晶材料填充的锯齿形区域304时进一步改变。非寻常射线的行进方向改变的量可以取决于例如非寻常射线穿过的锯齿形区域的角度和/或液晶材料的寻常折射率。

因而，具有用液晶材料填充的锯齿形区域的双折射棱镜可以用于将光入射射线折射为在两个不同方向上行进的两条射线。

继续图4，该图示出用于具有计算系统和光学系统的交互显示装置的实例方法400，该交互显示装置诸如为在上文参考图1描述的交互显示装置100。特别地，方法400基于视差数据确定对象与交互显示装置的表面的距离。

在方法400的402，IR光被引导到表面上方的对象。例如，如上所述，IR光可以经由IR发光二极管被引导到表面上方的对象。

在方法400的404，从对象被反射回到交互显示装置的光被折射为在不同方向上行进的两条射线。例如，利用双折射棱镜（诸如分别参考图2和3在上文描述的双折射棱镜128或双折射棱镜300），基于反射光的偏振态，从对象反射的IR光可以被折射为两条射线。在一些实例中，反射IR光可以被折射为通过双折射棱镜行进方向保持不变的寻常射线（例如垂直偏振射线）以及通过双折射棱镜行进方向偏移（例如行进方向偏离原始行进方向10度）的非寻常射线（例如平行偏振射线）。在其它实例中，两条折射射线的每条可以偏离它们的原始行进方向。以此方式，寻常射线和非寻常射线在不同位置进入LCD。

在方法400的406，LCD装置的偏振态被切换以允许两条折射射线的第一条折射射线穿过LCD装置。例如，电压可以应用到LCD，使得穿过LCD的光的偏振态旋转（例如从垂直旋转到平行）并且两条折射射线的第一条折射射线可以穿过定位在LCD装置中LCD下方的偏振器（例如平行偏振器）。在一些实例中，两条折射射线的第一条折射射线例如可以是寻常射线。当非寻常射线被LCD旋转时，它被旋转到垂直状态并且它无法穿过平行偏振器。以此方式，仅一个偏振态穿过LCD装置。

在图4中的方法400的408，一旦两条折射射线的第一条折射射线穿过LCD装置，它行进通过楔形光导并且被定位在楔形光导端部（例如宽端部）的照相机接收。

在方法400的410，LCD装置的偏振态被切换以允许两条折射射线的第二条折射射线穿过LCD装置。例如，供应到LCD装置的电压切断，使得穿过LCD的光的偏振态不旋转并且两条折射射线的第二条折射射线可以穿过定位在LCD装置中LCD下方的偏振器。例如，如果两条折射射线的第二条折射射线为非寻常射线并且偏振器为平行偏振器，则非寻常射线在穿过LCD时维持其平行偏振态并且它可以随后穿过偏振器，而寻常射线维持其垂直偏振态并且它无法穿过平行偏振器。以此方式，仅两个偏振态的另一个穿过LCD装置。

在图4中的方法400的408，一旦两条折射射线的第二条折射射线穿过LCD装置，它行进通过楔形光导并且被定位在楔形光导端部（例如宽端部）的照相机接收。

在一些实例中，方法400可以进一步包括控制可切换漫射器和背光，诸如上文参考图2描述的漫射器124和背光182，使得如上所述LCD以高切换速率在显示子系统和视觉子系统之间被调制。例如，在第一状态中，背光接通并且图像显示在交互显示装置的表面上，而照相机快门闭合。例如，在第二状态中，背光切断，电压应用到LCD使得液晶旋转，并且照相机快门开启，由此捕获寻常射线的IR图像。在第三状态中，背光接通并且图像显示在该表面上，并且照相机快门闭合。在第四状态中，背光切断，电压不应用到LCD使得液晶不旋转，并且照相机快门开启，由此捕获非寻常射线的IR图像。

由于双折射棱镜将来自表面上方的对象的反射射线折射为在两个不同方向上行进的两条射线，每条射线进入和穿过LCD的位置不同。由此，由照相机根据两条折射射线的第二条折射射线（例如非寻常射线）生成的图像会偏离由照相机根据两条折射射线的第一条折射射线（例如寻常射线）生成的图像。以此方式，在方法400的414，可以基于视差数据的三角测量估算对象与交互显示装置的表面的距离，因为单个照相机从两个不同视角看到两个分开图像。

因而，包括单个照相机和双折射棱镜的交互显示装置可以用于确定交互显示装置的表面附近的对象与交互显示装置的表面的距离。

应理解，此处描述的配置和/或方法在本质上是示例性的，并且这些特定实施例或实例不应在限制含义上被解读，因为许多变化是有可能的。此处描述的特定路线或方法可以代表任意数目的处理策略的一种或多种。因此，所说明的各种动作可以按照所说明的顺序执行，按其它顺序执行，并行地执行，或者在一些情形中略去。类似地，上述过程的顺序可以改变。

本公开内容的主题包含此处公开的各种过程、系统和配置以及其它特征、功能、动作和/或属性的所有新颖和非显而易见的组合和子组合，以及任何及所有其等价物。

Claims

1.一种用于确定对象（140）与具有液晶显示器装置的交互显示装置（100）的表面（102）的距离的方法，该方法包括：

将红外光（180）引导到该交互显示装置（100）的表面（102）上方的该对象（140），该红外光被该对象（140）往回反射到该交互显示装置（100）；

基于从该对象（140）反射的红外光（180）的偏振态，将反射红外光（180）折射为在两个不同方向上行进的两条射线（144和146）；

切换该液晶显示器装置的偏振态以允许两条折射射线（144和146）的第一条折射射线穿过该液晶显示器装置；

在探测器（138）接收穿过该液晶显示器装置的两条折射射线（144和146）的第一条折射射线；

切换该液晶显示器装置的偏振态以允许两条折射射线（144和146）的第二条折射射线穿过该液晶显示器；

在该探测器（138）接收穿过该液晶显示器装置的两条折射射线（144和146）的第二条折射射线；以及

基于三角测量估算该对象（140）与该交互显示装置（100）的表面（102）的距离。

2.权利要求1的方法，其中从该对象反射的红外光利用双折射棱镜被折射为在两个不同方向上行进的两条射线。

3.权利要求2的方法，其中两条折射射线的第一条折射射线的行进方向利用该双折射棱镜保持不变，并且两条折射射线的第二条折射射线的行进方向利用该双折射棱镜被改变。

4.权利要求1的方法，其中该液晶显示器装置包括液晶显示器和偏振器，并且切换液晶显示器的偏振态包括应用电压到该液晶显示器，使得该液晶显示器旋转穿过该液晶显示器的射线的偏振。

5.一种具有计算系统（106）的交互显示装置（100），包括：

该计算系统（106）的显示子系统（108），其配置成在用户与之交互的该交互显示装置（100）的表面（102）上显示图像；

该计算系统（106）的视觉子系统（110），其配置成探测该交互显示装置（100）的表面（102）上方的对象（140）；

光学系统（104），包括：

红外（IR）光源（172），其将红外光（180）引导朝向该对象（140）；

双折射棱镜（128），其配置成基于红外光（180）入射射线的偏振态，将从对象（140）反射的红外光（180）入射射线分离为在两个不同方向上行进的两条光射线（144和146）；

液晶显示器装置，其包括液晶显示器（122）和偏振器（130）；

楔形光导（134）；以及

探测器（138），其耦合到该楔形光导的端部；以及

用于切换该液晶显示器装置的偏振态以允许两条折射射线（144和146）的第一条折射射线穿过该液晶显示器装置的装置；

用于在探测器（138）接收穿过该液晶显示器装置的两条折射射线（144和146）的第一条折射射线的装置；

用于切换该液晶显示器装置的偏振态以允许两条折射射线（144和146）的第二条折射射线穿过该液晶显示器的装置；

用于在该探测器（138）接收穿过该液晶显示器装置的两条折射射线（144和146）的第二条折射射线的装置；以及

用于基于三角测量估算该对象（140）与该交互显示装置（100）的表面（102）的距离的装置。

6.权利要求5的交互显示装置，其中该楔形光导将从穿过该液晶显示器装置的红外光生成的图像聚焦在该探测器上，该探测器耦合到该楔形光导的宽端部。

7.权利要求5的交互显示装置，其中该双折射棱镜将红外光入射射线分离为寻常射线和非寻常射线，以及该寻常射线的行进方向不改变并且该非寻常射线的行进方向偏离该寻常射线的行进方向。

8.权利要求7的交互显示装置，其中基于由该探测器针对该非寻常射线生成的图像与由该探测器针对该寻常射线生成的图像的偏移，由该计算系统实施三角测量。

9.权利要求5的交互显示装置，其中该双折射棱镜包括用液晶材料填充的锯齿形区域，该锯齿形区域具有相当于红外光入射射线的一个波长与该双折射棱镜的双折射率的商的倍数的峰到谷高度，该红外光入射射线为从该交互显示装置的表面上方的该对象反射的红外光的射线。