CN102693046A - 互动显示设备中的悬停检测 - Google Patents

Abstract

公开了与交互显示设备中的悬停检测有关的实施例。一个实施例提供一种交互显示设备(100)，其包括：显示面板(102)，其被配置为在交互表面(108)上显示图像；成像光楔(122)，其邻近所述显示面板(102)安置；图像传感器(104)，其被配置为通过通过该成像光楔捕获图像来捕获位于交互表面前面且与交互表面间隔开的物体的图像；逻辑子系统(134)；以及，数据保持子系统(136)，其包括可由逻辑子系统执行来进行以下操作的指令：操作显示面板和图像传感器；以及基于从图像传感器接收的一个或多个图像来检测悬停输入。

Description

互动显示设备中的悬停检测

背景技术

诸如表面计算设备的交互显示设备可被配置为允许用户经由触摸交互显示表面而非经由诸如键盘、光标控制设备和监视器的外围输入和输出设备(或作为其补充)与该设备交互。多种触摸感测机构可用于感测在交互显示设备中的触摸，包括但不限于电容、电阻和光学机构。光学触摸感测机构可利用一个或多个照相机来获取触摸敏感表面的图像，从而允许在这样的图像中检测触摸所述触摸敏感表面的手指和其他物体。

发明内容

公开了与交互显示设备中的悬停检测有关的实施例。举例而言，一个公开的实施例提供一种交互显示设备，其包括：显示面板，其被配置为在交互表面上显示图像；成像光楔，其邻近显示面板安置；图像传感器，其被配置为通过通过成像光楔捕获图像来捕获位于交互表面前面且与交互表面间隔开的物体的图像；逻辑子系统；以及，数据保持子系统，其包括可由逻辑子系统执行来进行以下操作的指令：操作显示面板和图像传感器并基于从图像传感器接收的一个或多个图像来检测悬停输入。

提供此发明内容以便以简化形式介绍概念的选择，这些概念将在下面在具体实施方式中进一步描述。此发明内容不预期标识所要求保护的主题的关键特征或必要特征，也不预期用于限制所要求保护的主题的范围。而且，所要求保护的主题不限于解决在本公开的任何部分中所提出的任何或所有缺点的实施方式。

附图说明

图1示出包括可变扩散器的交互显示系统的一实施例的示意描绘。

图2示出操作包括可变扩散器的交互显示系统的方法的实施例的流程图。

图3示出描绘了图2的实施例的非限制性实例实施方式的时序图。

图4示出包括可变扩散器和保护层的交互显示系统的一实施例的示意描绘。

图5示出包括可变扩散器和以低折射率间隙与前光系统分开的保护层的交互显示系统的一实施例的示意描绘。

图6示出包括可变扩散器的交互显示系统的另一实施例的示意图。

图7示出描绘操作包括可变扩散器的交互显示系统的方法的另一实施例的流程图。

图8示出描绘了图7的实施例的非限制性实例实施方式的时序图。

图9示出包括以低折射率间隙与前光系统分开的保护层的交互显示系统的另一实施例的示意描绘。

图10示出被配置为检测悬停输入的交互显示系统的另一实施例的示意描绘。

图11示出被配置为检测悬停输入的交互显示系统的另一实施例的示意描绘。

图12示出被配置为检测悬停输入的交互显示系统的另一实施例的示意描绘。

图13示出被配置为检测悬停输入的像素传感器（sensor-in-pixel）显示面板的一实施例的示意描绘。

图14示出被配置为检测悬停输入的交互显示系统的另一实施例的示意描绘。

图15示出示出根据本公开的一实施例的光楔的实施例的示意平面图。

图16和图17示出穿过图15的实施例的截面图的光线轨迹。

图18示出根据本公开的实施例的另一实例光楔。

具体实施方式

在本文中公开了涉及交互显示设备中的悬停输入的检测并也涉及交互显示设备中的可变扩散器的使用的实施例。术语“悬停”在本文中用于描述在交互表面上方执行但不接触交互表面的手势和/或姿势，其可由交互显示设备检测到，允许对悬停事件的响应显示于交互显示设备上。图1示出包括被配置为向用户显示图像的显示面板102的交互显示设备100的实施例。交互显示设备100还包括图像传感器104，图像传感器104被配置成获取交互表面108的图像以检测例如由交互表面108上或上方的用户手指106和/或其他物体进行的触摸输入。照此，在从用户的视角看来图像传感器104光学地定位于显示面板102后面的场合，图像传感器104可被配置为检测无论显示面板的图像产生材料的状态如何都穿过显示面板的一定波长的光。

作为更具体的实例，在显示面板102为液晶显示器(LCD)的场合，照相机可被配置为捕获近红外光谱中的图像，因为在近红外光谱中的光可穿过LCD面板，而无论在每个像素中的液晶材料的状态如何。另外，由于LCD可配备RGB滤波器，照相机可被配置为通过用使得显示器对于每个像素内的RGB单元中每一个透明的内容驱动显示器而捕获可见光谱中的图像。此外，可通过随着时间改变可见背光、显示内容和图像捕获系统的配置来由照相机系统捕获IR图像和彩色图像这二者。同样，在显示面板102为有机发光设备(OLED)的场合，照相机可被配置为检测从近IR到近UV波长的光或者波长的同时组合，例如在彩色图像的情况下。应了解术语“交互表面”在某些实施例中可包括用户可通过触摸、姿势、手势、悬停和/或在表面上或上方执行的其他交互而与之进行交互的表面。虽然所描绘的图像传感器位于与光导相对的显示面板的侧面上，应了解图像传感器可位于任何其他合适位置。举例而言，在某些实施例中，图像传感器可作为像素传感器(SIP)布置集成到显示面板中。

图像传感器可包括二维(2D)图像传感器或被配置为感测深度的三维(3D)图像传感器。另外，在某些实施例中，可利用两个或两个以上的图像传感器。举例而言，两个2D图像传感器可合作地用作立体深度传感器。同样，单独2D和3D图像传感器可用于检测在离交互表面不同距离范围执行的手势。在下文中更详细地描述这样的实施例的实例。

还将了解到显示面板可为任何合适的基于阵列的显示面板，其包括但不限于发射显示器，例如透明OLED或其他OLED，和/或光调制显示器，例如LCD面板、电湿润显示器(透明型)、MEMS孔径阵列等。彩色电湿润型显示器可被配置为或者用“开启”像素或者用“关闭”像素来操作，所述“开启”像素或者“关闭”像素显示颜色。在通过“开启”像素显示颜色的场合，可使用黑油使得“关闭”像素为黑色并吸收所有光且滤色器吸收在“开启”像素中的白光的一部分以产生颜色。在通过“关闭”像素显示颜色的场合，可在电湿润材料中使用有色染料使得“关闭”状态具有颜色。在有色染料电湿润显示器中，显示状态为在针对显示器‘开启’/电极-‘关闭’的滤波的光和针对显示器‘开启’的开放的未滤波的光之间的水平。在这种面板中，可以选择每种颜色的染料以展现IR透射和可见过滤来允许基于视觉的触摸检测系统看穿这样的面板。

利用图1的设备，可在交互表面108上检测并追踪多个时间上重叠的触摸。虽然所描绘的交互显示设备100利用显示面板来向用户显示图像，可使用任何其他合适的显示机构，包括投影机构。另外，应了解各种光学器件，包括但不限于楔状光学器件(例如，放置于显示面板后面的光楔)、透镜、菲涅尔透镜、镜子和/或滤波器，可用于递送图像到图像传感器104。

为了辅助检测触摸交互表面108的物体，交互显示设备100包括前照明系统120且还包括可变扩散器130，前照明系统120包括光导122和发光体124，发光体124被配置为将红外光引入到光导122内。光导122可具有任何合适的配置。举例而言，在某些实施例中，光导122经由受抑全内反射(FTIR)帮助促进触摸检测。在FTIR系统中，紧邻光导122 (例如小于半波长)存在电介质材料造成光从波导泄漏出来到材料内。例如由油、油脂或施加到如硅橡胶这样的很软材料上的压力造成的湿润也可造成相同的泄漏效果。因此，当手指或其他物体触摸光导122时，光泄漏出来到手指内且被散射，散射光中的一些通过波导返回到图像传感器104。

其中用户直接触摸光导的FTIR系统(“裸”FTIR系统)可具有某些缺陷。举例而言，这样的系统中的光可由残留指纹油，由于用户意外溢出或飞溅造成的污迹或者不良清洁而散射。另外，取决于肤色，在人与人之间可存在宽的信号水平差异。

可被称作“被覆盖的”FTIR系统的其他FTIR系统包括在皮肤与波导之间的屏障层。在某些系统中，屏障层可起到投影屏幕的次要功能，图像从后面投射到投影屏幕上。

在其他实施例中，为了检测不与表面接触的物体，可通过向光导的顶表面和底表面之一或二者添加受控制的扩散而使得光导122“泄漏”。因此，即使不存在触摸，某些光从光导逸出从而照亮物体且允许视觉系统检测不接触表面的物体。应了解也可使用背光系统来照亮物体以进行检测，在所述背光系统中，发光体相对于交互表面位于显示面板后面。

可变扩散器130被配置为在包括至少较多扩散状态和较少扩散状态的两个或更多状态之间可电子切换。在某些实施例中，可变扩散器130可包括沿着清澈透亮（clear）和高度扩散之间的连续统一体（continuum）可控制的扩散性。在这些实施例中，术语“较多扩散”和“较少扩散”可表示相对于彼此具有更大扩散性和更小扩散性的可变扩散器的任何状态。在其他实施例中，可变扩散器130可具有两个或更多离散状态，且术语“较多扩散”和“较少扩散”可表示相对于彼此具有更大扩散性和更小扩散性的任何离散状态。另外，可变扩散器也可被分段，使得可独立控制可变扩散器的不同区域的扩散性。可使用任何合适材料来形成可变扩散器，合适材料包括但不限于聚合物分散的液晶(PDLC)材料。虽然在图1中示出位于显示面板后面(从用户的视角看来)，应了解在其他实施例中可变扩散器可位于显示面板的与用户相同的侧上，如下文所述的那样。

可变扩散器130可在交互显示设备100中执行各种功能，这取决于所用显示面板的性质。举例而言，在显示面板102为LCD面板的场合，可变扩散器可结合可见光源131使用，可见光源131被配置为照亮可变扩散器从而从背后照亮LCD面板。在这样的配置中，可变扩散器130可在图像由显示面板102显示时切换到较多扩散状态且在图像被图像传感器104获取时切换到较少扩散状态。在这样的实施例中，每当可变扩散器130处于较少扩散状态时可关闭可见光源131。同样，在显示面板102为OLED面板的实施例中，可变扩散器可在显示图像时和在图像传感器104不整合（integrate）图像时帮助隐藏交互显示设备100的内部组件。

应当指出的是在某些实施例中，可通过使用波长选择滤波器在显示器显示图像和开启背光的同时捕获IR图像，在此情况下波长选择滤波器是IR透射和明显不透明的滤波器，如在下文中更详细地描述。

交互显示设备100还包括计算设备132，计算设备132具有逻辑子系统134且还具有数据保持子系统136，数据保持子系统136包括存储于其上的指令，这些指令可由逻辑子系统134执行以执行本文所公开的各种方法。特别地，本文所述的方法和过程可实施为计算机应用、计算机服务、计算机API、计算机库和/或其他计算机程序产品。以简化形式示出计算设备132。应了解在不偏离本公开的范围的情况下，实际上可使用任何计算机架构。

逻辑子系统134可包括被配置为执行一个或多个指令的一个或多个物理逻辑设备。举例而言，逻辑子系统134可被配置为执行一个或多个指令，其为一个或多个应用、服务、程序、例程、库、对象、组件、数据结构或其他逻辑构造的部分。这样的指令可实施来完成任务，实施数据类型，转变一个或多个设备的状态或另外达到期望的结果。

逻辑子系统134可包括一个或多个处理器，其被配置为执行软件指令。作为补充或作为替代，逻辑子系统134可包括一个或多个硬件或固件逻辑机器，其被配置为执行硬件或固件指令。逻辑子系统134的处理器可为单核或多核，且在其上执行的程序可被配置为进行并行或分布式处理。逻辑子系统可可选地包括遍及两个或更多设备分布的个体组件，其可远程定位和/或被配置为进行协调处理。逻辑子系统的一个或多个方面可被虚拟化且由配置在云计算配置中的可远程访问的联网计算设备来执行。

数据保持子系统136可包括一个或多个物理非暂时设备，其被配置为保持数据和/或可由逻辑子系统执行以实施本文所述的方法和过程的指令。当实施这样的方法和过程时，可转变数据保持子系统136的状态(例如，以保持不同数据)。

数据保持子系统136可包括可移动介质和/或内置设备。数据保持子系统136可包括光学存储设备(例如，CD、DVD、HD-DVD，蓝光盘等)、半导体存储设备(例如，RAM、EPROM、EEPROM等)和/或磁性存储设备(例如，硬盘驱动器、软盘驱动器、磁带驱动器、MRAM等)等。数据保持子系统136可包括具有下列特征中的一个或多个特征的设备：易失性、非易失性、动态、静态、读/写、只读、随机存取、顺序存取、位置可寻址、文件可寻址和内容可寻址。在某些实施例中，逻辑子系统134和数据保持子系统136可集成到一个或多个诸如专用集成电路或片上系统之类的公共设备内。

图1还示出呈可移动计算机可读存储介质138的形式的数据保持子系统的方面，其可用于存储和/或转移数据和/或可执行以实施本文所述的方法和过程的指令。计算机可读存储介质138可呈CD、DVD、HD-DVD、蓝光盘、EEPROM和/或软盘等形式。计算机可读介质138此处与被配置为在设备之间传输信号的计算机可读通信介质不同。

术语“程序”可用于描述被实施为执行一个或多个特定功能的计算设备132的方面。在某些情况下，这样的模块、程序或引擎可经由执行由数据保持子系统136保持的指令的逻辑子系统134来例示。应了解不同的模块、程序和/或引擎可根据相同的应用、服务、代码块、对象、库、例程、API、函数等来例示。同样，相同的模块、程序和/或引擎可由不同的应用、服务、代码块、对象、例程、API、函数等来例示。术语“程序”意谓涵盖个别或成组的可执行文件、数据文件、库、驱动程序、脚本、数据库记录等。

在图1的实施例中继续，可变扩散器光学地放置于显示面板102与图像传感器104或其他图像捕获设备之间。图2示出操作具有这种配置的交互显示设备的方法200的实施例。方法200包括：在202，以第一状态操作交互显示设备，在第一状态中，显示面板开启(“开启”指示显示面板正显示图像)，如在204所示的那样，且可变扩散器处于较多扩散状态，如在206所示的那样。在此状态，可变扩散器在显示面板为LCD面板的实施例中可用作背光源且在显示面板为OLED或LCD面板的场合可帮助阻挡用户观看交互显示系统的内部组件。

之后，方法200包括在208处以第二状态操作交互显示设备，在第二状态，显示面板关闭(“关闭”指示显示面板不在显示图像)，如在210所示的那样，且可变扩散器处于较少扩散状态，如在212所示的那样。在以第二状态操作交互显示设备时，方法200还包括在214利用图像捕获设备获取第一图像。

继续，方法200可可选地包括在在218以第三状态操作该交互显示设备之前，在216再次以第一状态操作该交互显示设备，或者可直接前进到第三状态而不再次以第一状态操作。在第三状态，显示面板处于“关闭”状态，如在220所示的那样，且可变扩散器处于较少扩散状态，如在222所示的那样。方法200还包括在以第三状态操作交互显示设备时，利用图像捕获设备获取第二图像，如在224所示的那样。

第一图像和第二图像然后可用于区分触摸或更靠近交互显示设备的交互表面的物体与离交互表面更远定位的物体。举例而言，靠近表面的物体可看起来在两个图像中清晰地限定，而离开表面的物体仅可在第二图像(当可变扩散器处于较少扩散状态时获取)中清晰地限定。另外，通过比较图像的梯度内容，可测量物体的接近性且确定触摸事件。为了确定触摸，在一种情形下，可单独使用第一图像来确定接近性，而在另一情形中可使用第一图像和第二图像这二者。

应了解在某些实施例中，可在完全“关闭”状态与完全“开启”状态(例如，其中可变扩散器对于入射光透明以及其中可变扩散器完全扩散入射光)之间的可变扩散器状态范围中捕获图像，可能在这两个极端之间任何地方的任何状态。这可允许通过观看物体如何“焦点对准”来计算物体远离屏幕的距离，其中离显示器更远的物体比更靠近显示器的物体保持模糊更长，因为可变扩散器从较多扩散变为较少扩散。通过利用在这样的中间扩散性状态的足量图像，可构建物体的三维图像，因为物体的各部分随着可变扩散器的扩散性减小而沿着z轴（例如垂直于显示屏平面）聚焦。这种方法也可组合其他悬停检测方法使用，以对悬停检测过程解疑(例如，区别运动引起的模糊和距离引起的模糊)，所述其他悬停检测方法包括但不限于下文讨论的那些。

应了解不同的可变扩散器可随着扩散性变化而对光散布具有不同效果。举例而言，某些可变扩散器可改变扩展角，例如具有高斯强度角输出分布宽度的可变扩散器，使得角对向(angular subtend)变化但基本上维持分布（profile）形状。其他可变扩散器，诸如PDLC，可为可变体积散射器，在此情况下，在散射光肩部分布上存在0阶响应，其在扩散强度增加时减小直到所有能量散射到角散布（distribution）输出分布内为止，其肩部(归因于部分扩散PDLC的散射到出射包络角输出分布（exit envelope angular output profile）内的光能量的部分)可具有相对扩散强度的增加基本上恒定的分布形状。在先前的情况下，“可变”可暗示在维持诸如高斯分布之类的给定输出形状时改变角扩展。可设想到经由不平的表面浮雕结构来实现这样的功能，不平的表面浮雕结构具有电气地引起折射率变化进而输出角变化的能力。虽然其呈具有‘不平’表面的电活性液晶屏设备的形式是可行的，可存在困难和附加要求，包括在此情况下的偏振维持。

因为PDLC设备在体积散射的后一类别中，所以它们的散射效果包括在中心具有峰值0阶响应的宽广角输出分布‘肩部’。

照此，试图确定离扩散图像的悬停距离可意味着使用强度分布信息以及梯度，其可能生效，例如环境光和在其他物体后面的物体。作为扩散性分布如何可以允许确定悬停距离以及不考虑由于使用涉及解卷积的计算所造成的附加计算时间约束的一个实例，可使用扩散分布来通过当前部分或完全扩散状态的预定扩散分布来对图像解卷积。两个选择变得清楚明白。首先，对于给定扩散器，已知物体上的模糊由扩散器的角分布和z距离决定。当利用一系列缩放的分布(scaled profile)对图像解卷积时，表示角模糊预期被给予各种不同z距离的图像内的物体，导致实现给定梯度范围(即，移除了扩散模糊，因此并不过度模糊，但不具有过度锐化常见的显著瞬态边缘超调)  的解卷积图像内的图像的部分，可基于实现最佳结果的解卷积图像向图像的区域分配z值。以这样的方式，图像可顺利通过(swept through)这一系列解卷积，对于在该系列中的每个解卷积，向具有高对比度物体边缘的像素的每个区域的去模糊水平分配优值(merit)。作为第二种方法，对于扩散形状一致但随着物体z距离缩放的情况，解卷积分布可对于给定标称情况固定，且实际扩散器可在扩散强度方面变化以实现一系列图像。得到在高对比度物体边缘附近的梯度的预期范围的图像的解卷积然后可被分配比得到过度模糊或过度边缘环瞬态边缘响应(edge ringing.transient edge response)的那些相对更高的优值。以此方式，可区别由于悬停距离引起的模糊和由于运动引起的模糊。由于这些方法使用强度分布信息，它们可考虑诸如下列的因素：环境光、在其他物体后面的物体、运动模糊(其可通过寻找正交维度中的边缘响应来处置)和照相机传感器响应非线性，其可经由映射来说明。

以类似方式，也可检测在交互表面上方而不是在交互表面上执行的手势和/或姿势。使用上述方法，甚至可使用足够快的图像传感器和可变扩散器来检测z轴运动。此外，可追踪在交互表面上方一定高度处悬停的手或其他物体，以便维持由与该手相关联的手指/指头造成的触摸事件的状态(或非触摸状态)。这可允许追踪一只手与另一只手的区别，且甚至可能追踪一个用户与另一用户的区别，使得该交互显示设备可基于触摸事件是否与提供先前触摸事件的相同手相关联来维持给定操作模式。

对于图像捕获设备在面板内的情况，例如在SIP布置中或者‘单元内(in-cell)’面板设备，显著高于交互表面的物体的图像的散焦可随着离交互表面的距离而显著增加。虽然可通过使用角度选择滤波器(例如，基于干涉的滤波器)来增大给定可解析性水平的范围，这种成像面板可能不在表面上方超过数mm处良好地成像。因此，为了能利用这种系统进行悬停检测，可使用附加的视觉系统通过面板成像，以类似于在LCD情形中所描述的方式。视觉系统可包括但不限于诸如下列的组件：成像楔、后照相机和透镜、折叠成像系统和/或基于菲涅尔的偏移成像光学器件，如在下文中更详细地描述。

在这样的情况下，穿过面板的成像系统可用于越过交互表面获得图像，而SIP传感器阵列可用于检测触摸或成像在交互表面处的物体。由于SIP传感器可配备能感测可见光以及IR光的传感器，SIP面板可用于检测在某些情形下的触摸同时更适当地利用其他光波长来捕获在交互表面处的物体。虽然SIP面板可配备多个传感器阵列，每个传感器阵列具有不同的波长响应，以便跨空间域捕获颜色信息，但是在某些实施例中，可以是，这样的面板可仅配备可见光和IR传感器阵列。但是，作为实例系统，在这样的实施例中，还可能的是，通过使用来自两个图像捕获子系统的图像信息的组合来捕获在表面处的物体以及表面上方的物体的彩色图像。举例而言，来自SIP传感器阵列的物体的对比度可指示该物体处于该表面处，且可使用穿过面板的成像系统来使用彩色成像照相机来获得相同物体的彩色图像，例如，通过在面板被驱动为‘白色’时穿过LCD面板成像。在这样的情况下，在使用穿过面板的成像子系统来捕获在表面处的物体以及在表面上方的物体或者手势和悬停的分辨度较高的图像和甚至彩色图像时，使用SIP来检测物体和触摸事件与交互表面的接近性。

图3示出描绘方法200的更详细非限制性实例实施方式的时序图300。在302处示出第一显示图像帧周期，且在304示出第二显示图像帧周期。时序图300示出红外灯的相对状态变化，其提供光给前照明触摸检测系统、显示面板、照相机和可变扩散器。应了解在利用LCD面板的实施例中，可以以与显示面板的图案（pattern）相似的图案来调制可见光以为显示面板提供背光照明。

首先参看第一帧周期302，对于第一帧周期302的第一部分306，红外灯和照相机处于“关闭”状态，而显示器处于“开启”状态且可变扩散器处于较多扩散状态。因此，第一帧周期302的第一部分306显示图像。之后，在第一帧周期302的第二部分308，红外灯处于“开启”状态，显示面板处于“关闭”状态，照相机处于“开启”状态(即，整合图像)，且扩散器处于较少扩散状态。因此，第一帧周期302的第二部分308可用于获取触摸或靠近交互表面的任何物体的较少扩散图像。

接着参看第二帧周期304，对于第二帧周期304的第一部分310，红外灯和照相机处于“关闭”状态，而显示器处于“开启”状态且可变扩散器处于较多扩散状态。因此，第一帧周期304的第一部分310显示图像。之后，在第二帧周期304的第二部分312，红外灯处于“开启”状态，显示面板处于“关闭”状态，照相机处于“开启”状态且扩散器处于较多扩散状态。因此，第二帧周期的第二部分312可用于获取触摸或靠近交互表面的任何物体的较多扩散图像。然后，可比较在第一帧周期与第二帧周期期间获取的图像以确定物体是否触摸交互显示表面。另外，如上文所提到的那样，通过比较在两个获取图像中的像素之间的梯度，可确定物体高于表面的距离。应了解，在某些实施例中，取决于可变扩散器的频率响应和照相机的帧速率，如果利用波长选择光学滤波器来滤出到成像系统内的显示光内容，且在曝光时间里红外光源开启，那么可在显示器开启的时间期间获取较多扩散图像。还应当指出的是，在某些实施例中，可根据两个图像中的仅一个图像检测触摸，和/或可在图3所示的三个状态的仅一个状态期间获取图像。

图3的每个帧周期的第一部分和第二部分可具有任何合适的持续时间。在一个非限制性实例实施例中，每个帧周期的第一部分可包括每个帧周期的80%，且每个帧周期的第二部分可包括每个帧周期的20%。这可导致令人满意的亮度的图像，也提供充足的时间来在显示屏处于“关闭”状态时整合期望质量的图像。

如上文所提到的那样，在某些实施例中，可通过使用诸如IR透射和明显不透明滤波器之类的波长选择滤波器在显示器显示图像和开启背光的同时捕获IR图像。作为更具体的实例，在一个实施例中，交互显示设备可处于第一状态，在第一状态中，显示面板处于开启状态且可变扩散器处于较多扩散状态；且然后以第二状态操作，在第二状态中显示面板处于开启状态且可变扩散器处于较少扩散状态。此外，交互显示设备可在以第二状态操作时获取第一图像，且在以第一状态操作时获取第二图像。红外透射滤波器可帮助防止来自显示器的被物体反射的可见光到达图像传感器。然后，第一图像和第二图像中的任一个或二者可用于检测触摸、悬停等，如在本文中所描述的那样。另外，在某些实施例中，可使用单个图像来检测触摸。

在某些实施例中，可需要考虑（account for）在交互显示设备周围的环境照明周围环境。因此，在这样的实施例中，照相机可暴露一段时间，在此期间，红外灯处于“关闭”状态。这可在显示面板处于“开启”状态时执行，使用波长选择滤波器来滤出显示内容光。同样，其中显示面板和红外灯都处于“关闭”状态的偶然周期可用于环境检测。应了解一旦已确定了环境光水平，可以以任何合适方式来调整交互显示设备的操作来补偿环境光条件。

可取决于特定设备的操作方式而使用环境校正机构。举例而言，在某些实施例中，交互显示设备可在显示器处于“开启状态”时利用处于较多扩散状态的可变扩散器捕获第一图像，这通过使用红外滤波器从图像滤出显示光进行。在此情况下，在操作顺序中利用仅两个状态以便捕获两个扩散器状态，因为在显示器开启的同时捕获第一图像，且当显示器关闭且处于较少扩散状态时捕获第二图像。为了补偿在此情形中的环境，可在一个或两个扩散器状态下在IR灯关闭的情况下捕获附加图像。

应当指出的是，环境光可不同地出现在图像内，这取决于扩散器是处于较少扩散状态还是处于较多扩散状态。在这样的情况下，可在两个状态中每一个的时帧（timeframe）内在IR灯关闭的情况下捕获图像来补偿环境。另外，应了解，可不需要每个状态的定时窗口完全填充按顺序分配的定时窗口。举例而言，在某些情况下，可延迟照相机整合时间以在整合窗口开始之后很快开始以便允许可变扩散器有时间来完全改变状态。允许这样的效果作为上升和下降时间可用于增进每个被捕获状态的区别。

在前光触摸检测系统的光导被配置为甚至在无触摸时泄露光的场合，可在无FTIR事件的情况下检测触摸。因此，在某些实施例中，可单纯根据从前照明系统泄漏的红外光而不是根据FTIR事件检测触摸。在这样的实施例中，可通过在前灯上放置保护层，诸如玻璃薄片来避免FTIR事件。图4示出添加到图1的交互显示设备100的这种保护层400。这种保护层的用户可帮助大大减小指纹油、污迹、不良清洁和其他这样的因素对该系统的影响。使用薄保护层而不是较厚层，可帮助保存由照相机获取的较多扩散状态图像的清晰度且也可帮助避免在触摸与显示器之间引入不期望的视差水平。用于形成这种保护层的合适材料的实例包括但不限于经处理的或硬化的玻璃，例如可购自纽约科宁(Corning, NY)的Corning Inc.的Gorilla玻璃。

另外，在某些实施例中，具有低折射率的材料，诸如填充了空气的间隙，可光学地位于保护层与光导之间。图5示出位于保护层502与图1的实施例的其他光学组件之间的低折射率间隙500。本文所用的术语“低折射率间隙”描述在保护层与填充了诸如空气这样的具有比光导材料更低折射率的材料的光导之间的空间。应当指出的是对于空气提供低折射率间隙的情况，保护层的底侧可具有略微粗糙或略微不平的表面以便机械地维持该间隙。此表面还可为经设计的表面，其具有跨该表面而布置的指定突起，例如微粒或微间隔，以便在最小化或限制散射效果对显示器和离表面成像质量的影响的同时维持低折射率间隙。

在图1至图5的实施例中，可变扩散器相对于观看者的位置位于显示面板后面且光学地放置于显示面板与触摸检测光学器件之间。在其他实施例中，可变扩散器可位于与观看者相同的显示面板的侧上。图6示出了这种交互显示系统600的实施例。交互显示系统600包括被由薄玻璃或其他材料形成的保护层604覆盖的可变扩散器602。保护层604可层压到可变扩散器602上或者以任何其他合适方式结合到交互显示系统600上。

交互显示系统600还包括前光系统606，前光系统606包括安置于显示面板一侧上的光导608；以及发光体610，例如红外光源或光源，其被配置为向光导608内引入红外光。显示面板612定位于光导608下方(参考图6所示的设备的方位)，诸如照相机614的图像捕获设备安置于与光导相对的显示面板的侧上使得其可经由物体散射穿过显示面板612的光来捕获触摸保护层的物体的图像。交互显示系统600还包括计算设备616，其具有逻辑子系统618和数据保持子系统620，且与显示面板612、可变扩散器602、照相机614和发光体610电通信，如在上文中关于图1的实施例所描述的那样。

将可变扩散器602定位于光导608的相对侧上可帮助校正基于视觉的触摸检测中由于使用光导608而引起的定向效果。由于光从光导608漏出，泄漏的光的路径可相对于光导表面法线具有相当大的角度。因此，可存在由物体在显示器上造成的光遮蔽，这可能会影响到位置检测和物体形状。另外，放置于交互表面上或附近的第一位置的三维物体被靠近该位置的灯针对接近表面的物体的部分而照亮，而离该表面更远的物体的部分由从所述位置和发光体610耦合到光导内的位置之间的不同位置发出的光照亮。使用可变扩散器602可帮助减小这种定向效果，因为泄漏的光的扩散导致来自光导608的光以更均匀的方向散布到达交互表面。同样，在图像显示而不是图像获取期间，可变扩散器602可切换到较少扩散状态以允许用户清楚地观看显示面板612。

在某些实施例中，第二可变扩散器621可光学地安置于显示面板612与照相机614之间。第二可变扩散器可用于在图像显示期间阻挡用户观看照相机614和交互显示系统600的其他内部组件，如在上文中关于图1的实施例所描述的那样。另外，第二可变扩散器621可结合可见光源622使用以提供针对显示面板612的背光照明，其中显示面板612为LCD面板，也如上文所述的那样。

图7示出操作交互显示设备的方法700的实施例，交互显示设备具有安置于与显示面板相对的光导的侧上的可变扩散器。方法700包括：在702，以第一状态操作交互显示设备，在第一状态中，显示面板开启(“开启”指示显示面板显示图像)，如在704处所示的那样，且可变扩散器处于较少扩散状态，如706所示的那样。在此状态，显示面板可通过可变扩散器来观看。在此状态期间，照相机和发光体各可处于“关闭”状态。

接下来，方法700包括在708，以第二状态操作交互显示设备，在第二状态中，显示面板关闭(“关闭”指示显示面板不在显示图像)，如在710所示的那样，且可变扩散器处于较多扩散状态，如在712所示的那样。在此状态期间，光学触摸检测前光系统处于“开启”状态。在此状态，可变扩散器从前光系统扩散光，从而在此光从物体散射时减小定向效果且促进检测触摸或靠近交互表面的物体的位置和形状。在以第二状态操作交互显示设备时，方法700还包括在714利用图像捕获设备获取第一图像。为了便于图像获取，在获取图像时，发光体可处于“开启”状态。

继续，方法700可以可选地包括在在718以第三状态操作该交互显示设备之前，在716再次以第一状态操作该交互显示设备，或者可直接前进到第三状态而不再次以第一状态操作。在第三状态，显示面板关闭，如在720所示的那样，且可变扩散器处于较少扩散状态，如在722所示的那样。方法700还包括在以第三状态操作交互显示设备时，利用图像捕获设备获取第二图像，如在724处所示的那样。第一图像和第二图像然后可用于区分触摸或更靠近交互显示设备的交互表面的物体与离交互表面更远定位的物体，如上所述。应了解，在其中不期望检测位于交互表面上方的物体的实施例中，方法700可重复过程702-714，而无需执行过程716-724，因为获取“较多扩散”图像足以检测触摸，而无需获取“较少扩散”图像。

在经由FTIR事件检测触摸的实施例中，当压力施加到交互表面时，触摸光从光导向外耦合，从而使得可变扩散器和光导光学接触。光由可变扩散器散射且该光中的至少一些通过平坦面板显示器向后朝向照相机散射。应了解可变扩散器上可具有部分或波长选择镜涂层，即，优先将从光导散射的光往回朝向照相机反射的涂层。

在利用“泄漏的”光导和因此不利用FTIR来检测触摸的实施例中，由于光从触摸交互表面的物体散射，可省略这样的涂层。使用“泄漏的”光导可提供以下优点：可在无触摸压力的情况下检测到触摸输入，使得用户体验类似于电容式触摸检测机构的用户体验。在这样的实施例中，显示面板、光导和可变扩散器可使用低折射率粘合剂层压在一起。在某些非限制性实例实施例中，与将光导结合到可变扩散器的粘合剂相比，将光导结合到显示器的粘合剂可具有不同的、更低的折射率。

图8示出描绘方法700的更详细非限制性实例实施方式的时序图800。在802处示出第一显示图像帧周期，且在804处示出第二显示图像帧周期。时序图800示出红外灯、显示面板、照相机和第一可变扩散器的状态的相对变化，所述红外灯向前照明触摸检测系统提供光。应了解在利用LCD面板的实施例中，可见光和第二可变扩散器可以以与显示面板的图案类似的图案来调制。

首先参看第一帧周期802，对于第一帧周期802的第一部分806，红外灯和照相机处于“关闭”状态，而显示器处于“开启”状态且可变扩散器处于较少扩散状态。因此，第一帧周期802的第一部分806显示图像。接下来，在第一帧周期802的第二部分808，红外灯处于“开启”状态，显示面板处于“关闭”状态，照相机处于“开启”状态(即，整合图像)，且扩散器处于较多扩散状态。因此，第一帧周期802的第二部分808可用于获取触摸或靠近交互表面的任何物体的较多扩散图像。

接着参看第二帧周期804，对于第二帧周期804的第一部分810，红外灯和照相机处于“关闭”状态，而显示器处于“开启”状态且可变扩散器处于较少扩散状态。因此，第二帧周期804的第一部分810显示图像。接下来，在第二帧周期804的第二部分812，红外灯处于“开启”状态，显示面板处于“关闭”状态，照相机处于“开启”状态，且扩散器处于较少扩散状态。因此，第二帧周期804的第二部分812可用于获取触摸或靠近交互表面的任何物体的较少扩散图像。

然后，可比较在第一帧周期与第二帧周期期间获取的图像以确定物体是否触摸交互显示表面。另外，如上文所提到的那样，通过比较在两个获取的图像中的像素之间的梯度，可确定物体在该表面上方的距离。应了解在其中仅需要检测实际触摸事件而不是与交互表面间隔开的物体的某些实施例中，可省略帧2过程。

图8的每个帧周期的第一部分和第二部分可具有任何合适的持续时间。在一个非限制性实例实施例中，每个帧周期的第一部分可包括每个帧周期的80%，且每个帧周期的第二部分可包括每个帧周期的20%。在此实施例中，显示面板在80%的时间里向用户显示图像。这可导致令人满意的亮度的图像，也提供充足的时间来在显示屏处于“关闭”状态时整合期望质量的图像。

图9示出包括分隔可变扩散器和光导的低折射率间隙的光学组件布置的另一实施例。光学组件布置900包括可变扩散器902、保护层906和从可变扩散器延伸到可变扩散器902与光导910之间的低折射率间隙内的多个突起904。另外，光导910包括可变形层908，诸如硅薄片，其形成低折射率间隙的另一侧。发光体912被配置为将光引入到光导910内，且显示面板914位于与可变扩散器902相对的光导910的侧上。应了解图9中所示的各种结构的大小和比例尺出于说明目的被夸大。

如在图9中的时间t₀处所示，在不存在触摸输入的情况下，可变形层908保持与突起904分开。但是，当物体触摸保护层906时，在触摸输入下方的突起904被推动与可变形层908接触，从而使得可变形层908局部变形。

组合可变形层908来使用突起904允许以适度压力实现可变形层908的显著局部变形，且由此帮助有效地提供触摸感测系统中的机械增益。所造成的可变形层908的表面曲率可使得光以相对于可变形层表面的掠射角从可变形层908逸出。从可变形层908逸出的光然后被可变扩散器902扩散，从而变得可用于触摸检测。

突起904可具有任何合适配置。举例而言，在某些实施例中，突起可包括小隆起或棱柱。同样，突起904可以任何合适方式形成，包括但不限于经由挤压或压纹。

在某些实施例中，宾-主染料可添加到可变扩散器材料。这种染料可用于使得可变扩散器材料在较多扩散状态中为暗，从而减小了环境散射光而不影响IR中系统的性能。

另外，在某些实施例中，红外反射滤波器可提供为交互表面上的最外层。这可允许红外光学触摸检测系统与外部“密封”，允许视觉检测触摸而无来自其他红外源的干扰，例如内部照明或太阳辐射。应了解这种配置可用于FTIR架构、“泄漏的光导”架构或任何其他合适架构中。

如上文所提到的那样，图像传感器，无论是照相机还是SIP布置，可包括3D图像传感器(或者“深度传感器”)，例如立体照相机、飞行时间照相机或结构化光深度照相机。这种3D照相机能感测在屏幕上方的3D手势和/或姿势，且以可能高的准确度来检测触摸事件。

任何合适的光学器件可用于这种3D图像传感器系统中，包括但不限于成像光楔，反向背投电视成像系统和反向基于菲涅尔的折叠成像系统。举例而言，某些3D图像传感器可具有能检测深度的最小距离。作为一更具体实例，飞行时间深度传感器可具有与发射光和在被物体反射之后检测到所发射的光之间的最小可检测时间流逝相关联的最小距离。因此，使用成像光楔(3D图像传感器通过它来捕获图像)可帮助增加光路径长度以提供在照相机和靠近交互表面定位的物体之间的缓冲距离。由成像光楔1002提供的缓冲距离可允许3D图像传感器捕获始于略超过交互表面的3D信息，并检测在视场内且在直到最大距离限度的距离范围内的3D信息。本文所用的术语“成像光楔”表示被配置为在该光楔的光输入界面与光输出界面之间转移聚焦图像的光楔。

图10描绘了交互显示设备1000的实施例，其包括成像光楔1002、显示面板1003和3D图像传感器1004，3D图像传感器1004被配置为经由光楔1002来捕获交互表面的深度图像以检测由交互表面上方所示的手指表示的悬停输入。红外光可由前光导1006、背光照明(例如，来自显示面板后面的源)或者以任何其他合适方式提供。同样，可以以任何合适方式来提供用于调制显示面板1003的可见背光照明。

应了解所描绘的图像传感器1004可示意性地表示任何合适的3D图像感测系统，包括但不限于结构化光深度传感器、立体深度传感器和飞行时间深度传感器，以及相关联的硬件，例如用于结构化光或飞行时间深度传感器的光源，立体照相机的两个或两个以上的照相机等。

在结构化光深度传感器的情况下，被投射用于深度感测的红外或可见结构化光图案可以以任何合适方式产生。举例而言，在某些实施例中，该光图案可经由位于与图像传感器相同的楔的末端的激光器或其他光源通过光楔而投射。在投影图像显示系统用于在交互表面上显示图像的其他实施例中，结构化光图案可与显示的图像的帧交错来经由显示面板投射结构化光图案。作为更具体的实例，在某些实施例中，对于每个显示的图像帧，呈反图像(例如，显示的图像的反转)形式的结构化光图案可被显示帧的一部分。应了解提出用于投射结构化光图案的这些方法只是出于实例目的且不预期以任何方式具有限制意义。

在3D图像传感器为组合成像光楔使用的立体照相机的场合，应了解，触摸和悬停可以以各种不同方式来检测和区分。举例而言，在某些实施例中，可由立体照相机的“左”或第一照相机和“右”或第二照相机来获取图像，且可变扩散器1008处于不同的扩散性以获取触摸和/或悬停数据，如上文所述的那样。同样，立体照相机的两个照相机可用于以相同扩散性来获取图像数据且来自立体照相机的立体数据可用于根据立体数据的z轴分量来确定触摸和/或悬停。在此实施例中，可利用较多扩散状态来检测触摸，同时可使用较少扩散状态来经由立体数据检测悬停。另外，在另外的实施例中，可以以相同的扩散性获取立体图像，且然后立体数据被用于解疑如上文所述做出的其他深度测量以实现更具鲁棒性的悬停确定。

可变扩散器1008也可用来通过以较多扩散状态（背光开启）操作来隐藏交互显示系统的内部结构，并可以切换到较少扩散状态（显示器关闭）以便捕获超过交互表面/在交互表面上方的图像。在其他实施例中，可省略可变扩散器1008。

交互显示设备1000还包括计算设备1010，计算设备1010被配置为控制光楔1002、3D图像传感器1004、可变扩散器1008、背光照明系统、前照明系统和/或交互显示设备1000的任何其他合适组件。另外，计算设备1010也可被配置为通过在图像传感器1004捕获的图像中靠近交互表面定位物体来检测悬停输入，例如通过检测物体的位置、姿势、运动等；且经由显示面板1003来显示对悬停输入的响应。应了解，下文所述的实施例的计算设备可执行与针对图10的交互显示设备所述的相似的功能。还应了解，计算设备1010和下文所述的其他实施例的计算设备各包括被配置为执行指令的逻辑子系统，被配置为存储可执行指令的数据保持子系统，且也可包括任何其他合适组件。

如上文所提到的那样，某些实施例可采用两个或更多图像捕获设备来检测悬停和/或触摸。举例而言，图11描绘了交互显示系统1100的实施例，其利用SIP显示面板1102来捕获在紧邻交互表面的第一距离范围内的物体的图像且利用3D传感器1104来捕获离交互表面更远的三维内容。以此方式，SIP传感器阵列可检测触摸和接近触摸输入，而3D图像传感器可检测悬停输入。在某些实施例中，SIP传感器阵列可由用于检测触摸和接近触摸事件的电容式触摸传感器、电阻式触摸传感器或任何其他合适的触摸传感器替换。如所描绘的那样，3D图像传感器1104也可邻近显示面板1102定位使得图像不通过SIP显示面板1102捕获。举例而言，3D图像传感器可包含于交互显示设备1100的玻璃框或框架内，或者可具有任何其他合适位置。在其他实施例中，如在图11中以虚线所示的那样，3D传感器1110可经由作为距离缓冲器的光楔1108通过SIP显示面板1102获取图像来便于获取相对靠近交互表面的3D数据，如在上文中关于图10所描述的那样。应了解这样的实施例可采用如上文所述的可变扩散器(在图11中未图示)。

同样，在其他实施例中，两个传感器图像感测系统也可结合SIP传感器阵列来利用2D基于楔的成像系统。可由SIP面板内的传感器阵列来检测触摸，IR光由前光导1106、背光照明(例如，来自显示面板后面的源)或者以任何其他合适方式提供。同样，可通过使用可变扩散器经由2D基于楔的系统来检测悬停，如上文所述的那样。

图12描绘了交互显示设备1200的另一实施例，其结合2D图像传感器1204采用成像光楔1202来捕获紧邻交互表面106的图像，以及结合邻近交互表面定位的3D图像传感器1208采用成像光楔1202来捕获与交互表面1206间隔更远的三维内容。这可允许交互显示1200设备利用2D图像传感器1202来成像在离交互表面1206第一更靠近距离范围(例如，大约18英寸)内的物体，以及利用3D图像传感器1208成像在离交互表面1206第二更远距离范围(例如比18英寸更远)内的物体。因此，触摸输入以及在第一距离范围内的悬停输入可经由从第一图像传感器(在某些实施例中，结合可变扩散器)接收的图像而检测，在第二距离范围内的悬停输入可经由从第二图像传感器接收的图像而检测。虽然图12描绘了位于显示面板后面的可变扩散器，应了解其他实施例可不利用可变扩散器。

在利用单个图像传感器的实施例中，也可经由被配置为允许图像传感器的不同像素以不同视角捕获物体的图像的光学器件来检测悬停。以此方式，可经由来自单个图像传感器的图像的部分来构建物体的立体图像。图13示出了与交互显示设备一起使用的SIP显示面板1300的实施例的示意描绘，其中显示面板1300包括位于诸如空间光调制器或发射型显示器之类的图像产生元件1304后面的大规格图像传感器1302。术语“大规格图像传感器”表示尺寸与图像产生元件1304相同或相似的传感器。另外，透镜阵列1306安置于空间光调制器1304与大规格图像传感器1302之间。透镜阵列1306被配置为使物体的不同视角聚焦在大规格图像传感器1302的不同部分上，从而允许从由大规格图像传感器1302获取的图像的两个或更多子区域来构建立体图像。

图像产生元件1304和大规格图像传感器1302可与计算设备1308通信，计算设备1308被配置为控制图像产生元件1304和大规格图像传感器1302。另外，计算设备1308也可被配置为从经由大规格图像传感器1302获取的图像的部分来构建立体图像；根据立体图像检测悬停输入；以及经由图像产生元件1304来显示对悬停输入的响应。在所描绘的实施例中，透镜阵列1306经由间隙与图像产生元件1304分隔，但应了解透镜阵列1306、图像产生元件1304和大规格图像传感器1302彼此之间可具有任何合适的位置和结构关系。

另外，作为实例，尽管立体图像提供确定悬停距离的基本能力，可能的是，利用诸如双凸透镜阵列之类的一维微透镜阵列来实现这种效果，其中双凸透镜间距可跨越大约成像器的两个像素。以这样的方式，图像的分辨率在一个维度为自然分辨率的一半但在其他维度仍保持完全的分辨率。为了实现立体图像之间较高的角扩展，可减小阵列中的微透镜的焦距，其基本上接近于成像器与阵列之间的分隔距离。但是，由于感测像素具有有限宽度，它们将成像最小对向角(angle of subtend)。为了改善和限制这个角对向，可减小像素宽度与像素间距的比率，例如通过像素之间的附加间隔和或给定像素间隔的像素的孔径作用(aperturing)。可以通过简单地不使用为了两个立体图像目的的像素列或行中的某些、从而实现减小的像素宽度与像素间距的比率来实现相同的效果。另外，应当指出的是虽然使用1维阵列可提供信息来确定由于立体图像之间的图像偏移造成的悬停距离，二维微透镜阵列可进一步用于实现角图像空间的探测。在这样的情况下，可形成从表面法线指向交叉角维度的图像，诸如四边图像(即，在两个角探测维度中为立体的)。

虽然此处所讨论的概念利用安置于LCD面板与图像传感器之间的透镜阵列，可需要实现相似功能而无需分隔LCD与大规格图像传感器。举例而言，可需要将SIP面板用于显示和成像这二者，因为这种系统在单个面板中包括显示功能和成像功能这二者，但将间距大于显示像素间距的透镜阵列放置于面板顶部上可造成显示器性能降级。通过使得透镜阵列对于IR为反射性的且对于可见光透明，并将这种IR反射性透镜阵列放置于具有仅对IR光敏感的IR传感器的SIP面板后面，使得分隔距离被设置成基本上靠近反射性透镜阵列的焦距，可实现立体成像而不会显著损害显示性能。对于在一个维度或多个探测方向中的立体而言，使用二维IR反射的/可见光透射的透镜阵列，可实现这种效果。另外，透镜阵列可嵌入于具有匹配折射率的介质中以进一步减小可能由透镜阵列对显示性能引起的任何伪影。这样一来，可在单个面板中实现立体图的探测，或者更多地，来自具有对进入面板底侧而非顶侧的光敏感的传感器元件的SIP面板的图像，且对于显示性能具有显著低的影响。应了解由于透镜阵列对于IR为反射性的，用于照亮物体的IR照明可放置于显示面板的前方。这可通过从面板玻璃框内的照明来提供，使得物体将光的某些部分再散射到立体成像锥的接受范围内。作为替代，可使用在透射与反射之间具有角度选择性响应的‘泄漏的’前灯来进行照明，其使得相对于表面法线的高角度被反射且相对于表面法线的低角度被透射。可使用多层电介质光学涂层来实现这种角响应。

图14示出类似的实施例，其中交互显示设备1400包括调制显示面板1402、位于调制显示面板1402后面的扩散器1404(其可以是可变的或可以不是可变的)和位于扩散器1404后面的光楔1406。另外，图像传感器1408被配置为通过光楔1406来捕获扩散器1404的图像。在此实施例中，调制显示面板1402可被配置为周期性地(例如，对于每个帧的部分或者每预定数量帧一次)形成经由调制显示面板1402的多个针孔孔径，使得仅窄光锥1410穿过由调制显示面板限定的针孔孔径。在此配置中，由调制显示面板1402限定的每个针孔孔径充当针孔照相机，将图像聚焦在扩散器1404上，从而允许物体的不同视角的图像聚焦在扩散器1404的不同部分上。图像传感器1408然后可通过光楔1406来捕获扩散器的图像，且物体的立体图像可从所获取图像中的物体的不同视角来构建。应了解图像显示器可复用进行图像获取。应当指出的是，在将用于针孔成像的给定波长的衍射存在的情况下，针孔大小可针对所需对比度来适当地确定。另外，对于使用近IR光来成像的情况，针孔阵列可足够远地间隔开以便最小化散射光的对比度损失，以便允许针孔照相机图像分片区(tiling)，且每个图像基本上绕图像片区的针孔而居中。在针孔阵列位于面板单元与显示背光源之间的情形下，针孔阵列可具有对于IR不透明或反射的且对于可见显示光透明的矩阵。这样一来，可在对IR光提供控制以允许针孔照相机类型成像的同时照亮该显示光。虽然看起来可通过在稀疏孔径阵列图像与显示图像之间来回切换(可能进行反图像补偿)来将此概念带到可见光范围，但是这种情形可不提供最小大小孔径的控制，因为在显示面板中的RGB单元限定成像质量限制。这种系统的限制可包括由于针孔透射填充因素造成的有限的效率和由于屏幕光出射立体角的角扩展造成的进一步损失。

上文所述的各种实施例利用光楔来将触摸交互表面和/或在交互表面上悬停的物体的图像转移到图像传感器。图15至图18示出光楔的实例实施例。首先，图15示出实例光楔1500，其可被配置为将图像转移到邻近光楔1500的薄末端1510安置的图像传感器1502，如由图15中的光线轨迹所示。术语“观看表面”指示观看表面1550比与观看表面1550相对的后表面(在图15中不可见)更靠近观看者。观看表面和后表面中每一个由侧1530和1540、薄末端1510和厚末端1520界定。在图15中，观看表面1550朝向页面的观看者且后表面由光楔1500的此视图隐藏。

光楔1500被配置为使得以反射临界角进入观看表面1550的平行光线由末端反射器1525聚焦且经由全内反射递送到图像捕获设备1502。在此实施例中，末端反射器1525是弯曲的，且均匀曲率半径具有曲率中心1572，且图像传感器1502定位于末端反射器1525的焦点处，焦点为曲率半径的一半。在各种实施例中，末端反射器125可为环形，抛物线形或具有用于准直光的其他合适曲率。

图16和图17示出穿过光楔1500的示意截面图的光线轨迹。图16示出穿过光楔1500的第一光线1600的路径，且图17示出穿过光楔1500的第二光线1700的路径，其中光线1600和1700表示位于由图像传感器1502所接收的光锥相对侧的光线。如在图16和图17中可看出的那样，光线1600邻近光楔1500的薄末端1510进入观看表面1550，而光线1700邻近光楔1500的厚末端1520离开观看表面1550。

光线1600和1700以小于或等于相对于观看表面1550的法线的内反射临界角的角度进入观看表面1550。此临界角在本文中被称作“第一临界角”。同样，当光线以大于相对于观看表面1550的法线的第一内反射临界角的角度与观看表面1550相交时，光线在光楔1500中内反射。另外，当光线以大于相对于后表面1560的法线的内反射临界角的角度与后表面1560相交时，光线在光楔1500中内反射。此临界角在本文中被称作“第二临界角”。

可需要第一临界角和第二临界角不同，使得以第一临界角入射在后表面1560上的光朝向观看表面1550往回反射。这可帮助防止光穿过后表面1560损失，且因此可增加光楔1500的光学效率。第一临界角为光楔1500的折射率和与观看表面1550成界面相接的材料(例如，空气或包覆层)的折射率的函数，而第二临界角为光楔1500的折射率和邻近后表面1560的材料的折射率的函数。在某些实施例，诸如图16至图17所图示的实施例中，包覆层1570可仅涂覆到后表面160，使得观看表面1550与空气建立界面接。在其他实施例中，观看表面1550可包括具有不同于后表面1560的折射率的包覆层(未图示)。

任何合适的材料或多种材料可用作包覆层来实现光楔的观看表面和/或后表面的所需内反射临界角。在实例实施例中，光楔1500由折射率为1.492的聚甲基丙烯酸甲酯或PMMA形成。空气的折射率大约为1.000。照此，无包覆的表面的临界角为大约42.1度。接下来，实例包覆层可包括Teflon AF (特拉华州威尔明顿的EI DuPont de Nemours & Co.)，折射率为1.33的无定形含氟聚合物。包覆了Teflon AF的PMMA表面的临界角为63.0度。应了解，描述这些实例是出于说明目的，且不预期以任何方式限制。

在其他实施例中，后表面1560可包括镜子。作为非限制性实例，镜子可通过向后表面1560涂覆反射性涂层或者邻近后表面1560放置镜子而形成。以此方式，后表面1560可反射与后表面1560相交的入射光。当后表面1560被配置为反射某些或所有入射光时，后表面1560在本文中可被称作“反射性后表面”。反射性后表面的非限制性实例包括具有镜面的后表面，邻近后表面放置的镜子，具有相对于后表面的法线的第二内反射临界角的后表面，其中第二反射临界角小于第一反射临界角，或者其中后表面对于以第一内反射临界角在内部入射的光为反射性的任何其他配置。

末端反射器1525可包括多面体透镜结构，其被配置为改变相对于观看表面1550和后表面1560中每一个的法线的光线角。此外，光楔1500从厚末端1520向薄末端1510的减小的厚度造成随着进入观看表面的光线从观看表面1550朝向末端反射器1525行进，光线角相对于每个表面的法线增大。

在某些实施例中，图像传感器1502可定位于末端反射器1525的焦点处。在这样的实施例中，末端反射器1525可弯曲，且曲率半径为光楔1500长度的两倍。在图16至图17的实施例中，光楔1500的锥角被配置为使得在厚末端1520和观看表面1550处的拐角包括直角且在厚末端1520和后表面1560处的拐角包括直角。当薄末端1510处于末端反射器1525的焦点处时，薄末端1510为厚末端1520厚度的一半。在其他实施例中，这些结构中的每一个可具有任何其他合适配置。

在所描绘的实施例中，末端反射器1525是环形弯曲的，或者具有从侧面1530到侧面1540和从观看表面150到后表面160的其他能成像的合适曲率。在其他实施例中，末端反射器1525可为圆柱形弯曲，具有从观看表面1550和后表面1560的均匀曲率半径和观看表面1550和后表面1560若延伸将会合的曲率中心。圆柱形弯曲末端反射器可具有比球形弯曲末端反射器1525更小的下垂，这可有益于大规格应用。其他合适曲率可用于末端反射器1525，诸如例如抛物线形或球形曲率。此外，在垂直于侧面1530和1540的平面中的末端反射器1525的曲率可不同于在平行于侧面1530和1540的平面中的末端反射器1525的曲率。

应了解图15至图17无限制意义。在其他实施例中，可利用不同配置的光楔。举例而言，作为利用具有带末端反射器的折叠光学器件的上述光楔的替代，在某些实施例中，可利用具有连续光学器件的光楔。这种具有连续光学器件的光楔可比上文所述的利用折叠光学器件的光楔更易于制造。

图18示出具有连续光学器件的实例光楔1800。进入光楔1800的观看表面的光线1804经由全内反射朝向厚末端1802行进以经由图像传感器1805检测。虽然所描绘的实施例示出光线以垂直于光楔表面的角度进入光楔，应了解光线以反射临界角进入光楔。还应了解转向膜或类似物可用于将光重新导向至光楔1800的观看表面内。

由于光楔1800的楔状几何构造，进入光楔1800的较窄部分的平行光线行进到该光楔的厚末端。因此，光楔1800可与另一光楔1806堆叠以便成像交互触摸显示器的整个交互表面以检测触摸输入，且可使用附加图像传感器（一个或多个）来捕获由光楔1806成像的交互表面的部分的图像。光楔可定位成“首尾相接”(例如，光楔1800的薄末端可邻近光楔1806的厚末端定位)。在图示堆叠配置中，光楔1800定位成看透光楔1806的非成像区域。

应了解本文所述的配置和/或方案出于实例目的而提供，且这些具体的实施例或实例并不认为具有限制意义，因为许多变型是可能的。本文所述的具体例程或方法可表示任意数量处理策略中的一个或多个策略。照此，所图示的各种行为可以以图示顺序、以其他顺序、并行地或以省略的一些情形执行。同样，可改变上述过程的次序。

本公开内容的主题包括本文所公开的各种过程、系统和配置以及其他特征、功能、行为和/或性质的所有新颖和非显而易见的组合和子组合以及其任何和所有等效物。

Claims (10)

1.一种交互显示设备(100)，包括：

显示面板(102)，其被配置为在交互表面(108)上显示图像；

成像光楔(122)，其邻近所述显示面板安置；

图像传感器(104)，其被配置为通过通过所述成像光楔捕获图像来捕获位于所述交互表面前面且与所述交互表面间隔开的物体的图像；

逻辑子系统(134)；以及

数据保持子系统(136)，其包括可由所述逻辑子系统执行来进行以下操作的指令：从所述图像传感器接收一个或多个图像，基于从所述图像传感器接收的一个或多个图像来检测悬停输入；以及经由所述显示面板来显示对所述悬停输入的响应。

2.根据权利要求1所述的交互显示设备，其中所述图像传感器包括三维图像传感器。

3.根据权利要求2所述的交互显示设备，其中所述三维图像传感器包括包括两个或更多图像传感器的立体照相机系统。

4.根据权利要求3所述的交互显示设备，其还包括：可变扩散器，且其中可执行所述指令来用所述立体照相机系统的第一图像传感器和第二图像传感器以不同的扩散性获取图像。

5.根据权利要求3所述的交互显示设备，其中可执行所述指令来用所述立体照相机系统的第一图像传感器和第二图像传感器以相同扩散性获取图像。

6.根据权利要求2所述的交互显示设备，其中所述三维图像传感器包括结构化的光深度传感器。

7.根据权利要求6所述的交互显示设备，其中所述结构化的光深度传感器被配置为通过所述成像光楔来投射结构化的光图案。

8.根据权利要求6所述的交互显示设备，其中所述控制器被配置成经由所述显示面板来投射结构化的光图案。

9.根据权利要求1所述的交互显示设备，其还包括：位于所述光楔与所述显示面板之间的扩散器，其中所述显示面板为调制显示面板，且其中可执行所述指令以经由所述显示面板形成多个孔径来将多个图像聚焦在所述扩散器上并通过所述光楔来捕获所述扩散器的图像。

10.根据权利要求1所述的交互显示设备，其中所述图像传感器是第一图像传感器且还包括第二图像传感器，所述第二图像传感器被定位成使得不通过所述显示面板来捕获图像，其中所述第一图像传感器被配置为检测在离所述交互表面的第一更靠近距离范围中的物体，且其中所述第二图像传感器被配置为检测在离所述交互表面的第二更远距离范围中的物体。

Images