CN102498456A

CN102498456A - 具有光学传感器的显示器

Info

Publication number: CN102498456A
Application number: CN2009801616287A
Authority: CN
Inventors: J.麦卡锡; J.布里登
Original assignee: Hewlett Packard Development Co LP
Current assignee: Hewlett Packard Development Co LP
Priority date: 2009-07-23
Filing date: 2009-07-23
Publication date: 2012-06-13
Anticipated expiration: 2029-07-23
Also published as: US20120120030A1; GB2485086A; TW201108071A; GB201201056D0; WO2011011008A1; TWI484386B; CN102498456B; DE112009004947T5; GB2485086B

Abstract

一种三维光学传感器（115）能够生成与显示系统相接触的物体（120）的三维数据。如果所述物体与显示系统相接触，则控制器能够仅在所述物体从显示系统延伸至大于编程距离（130）的距离的情况下才激活计算设备的功能。

Description

具有光学传感器的显示器

背景技术

电阻式触摸屏面板由以狭窄间隙分隔开来的两个薄金属导电层所构成。当诸如手指的物体在面板的外表面上的一点下压时，所述两个金属层在该点处连接并且所述面板于是表现为具有连接输出的一对分压器。这导致了电流的变化，所述电流变化被记录为触摸事件并且被发送至控制器以便进行处理。电容式触摸屏面板是一种传感器，所述传感器是其中板面在水平和垂直轴线之间包括网格图案的重叠区域的电容器。人体也导电并且在传感器表面上进行的触摸将会影响电场并且产生设备电容的可测量变化。

附图说明

参见以下附图对本发明的一些实施例进行描述：

图1a是根据本发明示例性实施例的显示器；

图1b是根据本发明示例性实施例的显示器；

图2是根据本发明示例性实施例的显示器的一部分；

图3是根据本发明示例性实施例的三维光学传感器；

图4是根据本发明示例性实施例的显示器；

图5是根据本发明示例性实施例的显示器；

图6是根据本发明示例性实施例的框图；和

图7是根据本发明的方法的示例性实施例的流程图。

具体实施方式

触摸屏可以被用来激活显示器上的项目。如果物体接触显示器，则会向计算设备发送信号以便提供显示器上的接触位置。显示器上的位置可以使得显示器上所显示的项目被激活。例如，如果项目是程序的图标，则在所述图标的位置触摸显示器可以启动所述程序。

如果物体无意接触到显示器，则计算设备可能会生成无意操作。例如，无意操作可以是无意启动应用程序、取消冗长过程或者将计算设备从休眠状态唤醒。

显示器可以包括三维光学传感器以确定光学传感器所捕捉的物体距光学传感器的深度。如果物体所进行的接触是显示器上的污染物，则可以使用物体的大小或物体从显示器延伸的距离来忽略所述接触。所述污染物例如可以是灰尘、污垢或昆虫。如果物体是昆虫并且在接触显示器时所述昆虫并没有在显示器的前面延伸至编程距离，则计算设备能够忽略该接触。

电阻式触摸屏面板包括覆盖以导电和电阻金属层的玻璃面板。这两层通过间隔体（spacer）保持分离，并且上面置以防划层。电流在显示器工作时流过所述两个层。当用户触摸屏幕时，所述两个层在该确切的点进行接触。计算机记录电场的变化并且计算接触点的坐标。在电容式系统中，存储电荷的层被置于显示器的玻璃面板上。当用户利用其手指触摸显示器时，一些电荷传输到用户，从而电容层上的电荷减少。这种减少在位于显示器每个角落的电路中进行测量。

二维光学触摸系统可以被用来确定屏幕上哪里发生了触摸。二维光学触摸系统可以包括跨显示器表面传播并且容纳在显示器相反一侧的光源。如果物体阻断了光，则接收器无法接收到光并且在被阻断的来自两个光源的光相交的位置记录触摸。光学触摸系统中的光源和接收器安装在透明层的前面以允许光束沿透明层的表面行进。一些光学传感器表现为围绕显示器周边的小型墙壁。将光源和接收器安装在玻璃的前面使得污染物对光源和接收器之间传送的光造成干扰。

电阻式、电容式和二维光学触摸系统能够在物体接触或接近显示器时确定XY坐标。所述电阻式、电容式和二维光学触摸系统并不确定Z维度（第三维度），即与显示器的距离。

如果与显示器的接触基于与显示器相接触的二维大小而被忽略，则计算系统可以忽略与显示器相接触的具有小的二维面积的物体。例如，用于接触显示器的具有小的二维表面的指示笔（stylus）可能被忽略。如果与显示器的接触基于显示器的最小接触时间而被忽略，则快速接触可以被忽略。例如，如果用户在玩需要与部分屏幕快速接触的游戏，则系统可能会拒绝在过短时间段内所记录的接触。

参见附图，图1a是根据本发明示例性实施例的显示系统100。显示系统100包括面板110以及处于面板110的表面116的前面的透明层105以用于显示图像。面板110的前面是显示图像的表面116而面板110的背面与前面相对。三维光学传感器115可以与面板110一样在透明层的同一侧。透明层105可以是玻璃、塑料或者其它透明材料。面板110例如可以是液晶显示器（LCD）面板、等离子显示器、阴极射线管（CRT）、OLED或诸如数字光处理（DLP）的投影显示器。在显示系统100位于面板110的表面116周边117之外的区域中安装三维光学传感器使得透明层的清晰度（clarity）并不由于所述三维光学传感器而降低。

三维光学传感器115可以确定位于三维光学传感器115的视场135中的物体距该三维光学传感器的深度。所述物体的深度在一个实施例中可以被用来确定该物体是否与显示器相接触。所述物体的深度在一个实施例中可以被用来确定该物体是否从显示器远离显示器延伸至编程距离130。例如，物体120可以是处于透明层105上但是没有从透明层105延伸至编程距离130的昆虫。

如果物体120处于三维光学传感器115的视场135之内，则来自光源125的光可以从所述物体反射并且被三维光学传感器115所捕捉。物体120与三维光学传感器115的距离可以被用来确定该物体的大小。从物体120的大小，可以确定物体120从显示系统100延伸的距离。如果物体没有从显示器延伸至编程距离130，则计算系统可以忽略该接触。如果物体从显示器延伸至编程距离130，则计算系统可以生成按钮激活，这可以被视为在物体120和显示器之间的接触位置进行的鼠标点击。例如，如果昆虫在呈现图标图像的地方接触显示器，则计算系统可以忽略没有伸至编程距离130的接触，但是如果手指在呈现图标图像的地方接触显示器，则计算系统会由于手指和手延伸超过了编程距离而激活所述图标所表示的功能，诸如启动程序。

在一些实施例中，棱镜112被用来使得反射光从物体屈向光学传感器。棱镜112可以允许所述光学传感器沿透明层105的表面进行观看。棱镜112可以附着至透明层105。棱镜112是部分受到两个非平行平面约束的透明体，并且被用来使得光束发生折射或散射。在一个实施例中，棱镜112使得从光源125发射的光束通过透明层105发生折射以从物体进行反射并且通过透明层205返回三维光学传感器115。

图1b包括透明层105和面板110之间的间隙114。该间隙允许三维光学传感器115具有来自透明层105和面板110之间的透明层105的视场。该间隙例如可以是0.1厘米至0.5厘米，但是该间隙可以是其它量。三维光学传感器115的视场包括透明层105上的周边117。

在一个实施例中，可以在将光学传感器附着到面板之后对所述光学传感器进行配置。例如，在将光学传感器附着到显示器之后，在面板上显示信息的计算机可以通过在所述面板上显示对象而进行训练。用户接着能够在面板上显示对象的地方与显示器进行接触，并且所述计算机能够对光学传感器进行校准以使得未来与显示器的接触被该计算机解释为显示器的接触。

图2是根据本发明示例性实施例的显示器200的一部分。显示器200的该部分包括与透明层205成角度安装的三维光学传感器215。确定三维光学传感器的角度以使得三维光学传感器215的视场包括透明层205对应于显示面板210的周边217的部分。在一个实施例中，间隙214处于显示面板210和透明层205之间。所述视场可以由三维光学传感器215上的透镜来确定。所述视场可以按度来测量，例如，具有100度视场的三维光学传感器能够捕捉具有50度视场的三维光学传感器所不能捕捉的图像。

图3是根据本发明示例性实施例的三维光学传感器315。三维光学传感器315能够接收从物体320所反射的来自光源325的光。光源325例如可以是发射用户不可见的光的红外光源或激光源。光源325可以位于相对于三维光学传感器315的允许光从物体320反射并且被三维光学传感器315所捕捉的任意位置。红外光可以从物体320反射并且被三维光学传感器315所捕捉，所述物体320可以是污染物。三维图像中的物体被映射到针对每个物体给出Z次序（Z-order）的不同平面，所述Z次序即距离次序。所述Z次序可以使得计算机程序能够将前景物体与背景区分开来并且使得计算机程序能够确定物体与显示器的距离。

使用诸如立体之类的基于三角测量的方法的二维传感器可以包含密集图像处理以近似物体的深度。该二维图像处理使用来自传感器的数据并且对所述数据进行处理以生成在正常情况下不能从二维传感器获得的数据。密集图像处理可能无法被用于三维传感器，原因在于来自三维传感器的数据包括深度数据。例如，针对飞行时间（time of flight）的三维光学传感器的图像处理可以包含简单的表查找以将传感器读数映射到物体与显示器的距离。所述飞行时间传感器根据时间来确定物体距传感器的深度，所述时间是光自已知源行进、从物体反射以及返回三维光学传感器所用的时间。物体在图像中的深度可以从并不使用第二三维光学传感器来确定物体在图像中的距离的三维光学传感器来确定。

在可替换实施例中，光源可以以已知角度将结构光发射到物体上，所述结构光是诸如平面、网格或更复杂形状的光图案的投影。光图案在撞击表面时发生变形的方式允许视觉系统计算物体在画面中的深度和表面信息。全景成像（integral imaging）是提供全视差立体视图的技术。为了记录物体的信息，使用与高分辨率光学传感器相结合的微透镜阵列。由于每个微透镜关于成像物体的不同位置，可以将物体的多个透视图成像到光学传感器上。所记录的包含来自每个微透镜的要素图像的图像可以进行电传输并且随后在图像处理中进行重构。在一些实施例中，全景成像透镜可以具有不同的焦距并且基于物体是对准焦点（聚焦传感器）还是未对准焦点（失焦传感器）来确定物体深度。本发明的实施例并不局限于已经描述的三维光学传感器的类型，而是可以为任意类型的三维传感器。

图4是根据本发明示例性实施例的显示器。在一些GUI中，能够感测多于一个的物体420的显示系统400能够执行程序内不会通过单次接触所识别的任务。例如，将两个手指移动分开可以在项目上进行放大并且将两个手指移动合拢可以在项目上进行缩小。

在一个实施例中，存在第一三维光学传感器415和第二三维光学传感器417。第一三维光学传感器415可以具有视场460。在透明层405和面板之间包括间隙的实施例中，部分视场可以处于透明层405的后面。在视场460内捕捉物体420的图像。第二物体422由于第一物体420处于第一三维光学传感器415和第二物体422之间而无法被第一三维光学传感器415所看到。视场460在第一物体420之外的体积465中被第一物体420沿视场460的部分455所遮蔽。第二三维光学传感器417能够在其视场内捕捉到包括第一物体420和第二物体422二者的深度的图像。第一三维光学传感器415能够确定例如昆虫的第一物体420的距离。如果第一三维光学传感器422所观看的第二物体422被第一物体420所遮蔽，则第一三维光学传感器415可能无法捕捉第二物体422（例如用户的手上的手指）。第一三维光学传感器415和第二三维光学传感器417可以处于显示系统400的角落，或者所述光学传感器可以位于显示器之中或之上的任意位置，诸如底部、底部或侧面。

由于距光学传感器的深度已知，所以三维光学传感器可以被用来确定物体的大小。如果距光学传感器的深度未知，则物体420的图像可能表现得与距离光学传感器415更远的较大物体422相同。物体的大小可以被计算系统用来确定物体的类型，诸如手、手指、指示笔、昆虫、污染物或其它物体。

图5是根据本发明示例性实施例的显示器。光学传感器具有在显示面板510的周边517之外延伸的可视区域。物体在周边517之外的移动能够激活计算机系统的功能。在一个实施例中，虚拟按钮540可以位于显示面板510之外。所述虚拟按钮540可以是印制在围绕显示面板510的边框（bezel）570上的符号或文本。所述虚拟按钮没有移动部分并且并不电连接至计算机系统580。光学传感器515能够检测诸如用户手指之类的物体何时接触到虚拟按钮540，但是忽略来自没有从虚拟按钮延伸至编程距离的物体与虚拟按钮的接触。在一个实施例中，显示系统可以封闭在壳体中，所述壳体还将计算系统580封闭于其中，或者在替换实施例中，所述计算系统可以处于不同于显示系统壳体的单独壳体中。

在一个实施例中，用户可以通过沿显示系统500的侧面575以向上或向下的运动移动其手部来控制诸如音量之类的功能。显示器的侧面可以是面板510周边之外的区域，并且可以包括超出透明层的区域。可以通过用户的手沿显示面板侧面进行控制的其它功能的示例是诸如快进和回退之类的媒体控制以及诸如移动到下一张幻灯片或之前幻灯片的呈现控制。如果物体在显示器侧面的附近移动，诸如在显示器侧面附近飞行的昆虫，则计算系统能够在物体没有延伸至编程距离的情况下忽略该物体。

用户可以对计算机在检测到特定移动时所实施的功能进行编程。例如，用户可以通过将其手在显示器上方从右向左移动以转向下一个页面或者从左向右移动以转向之前页面来翻动文档的页面。在另一个示例中，用户可以以表示抓住屏幕上的对象并且旋转所述对象的运动来移动其手部以将该对象以顺时针或逆时针方向旋转。用户界面可以允许用户改变三维光学传感器所检测到的手部运动的结果。例如，如果用户将其手在显示器的前面以从右向左的方向移动，则计算机可以被编程为将该运动解释为翻动页面或关闭文档。如果物体在显示器的前面移动，诸如在显示器的前面飞行的昆虫，则计算系统可以在物体没有延伸至编程距离的情况下忽略该物体。在一个实施例中，物体的深度签名（signature）被存储计算系统上。所述深度签名是一种类型的物体的深度信息。例如，手的深度签名不同于诸如昆虫之类的污染物的深度签名。来自三维光学传感器的深度信息可以与计算系统上的深度签名信息进行比较以确定物体的类型。例如，计算机可以忽略具有污染物的深度签名的物体，或者计算机可以忽略不具有诸如手之类的非污染物的深度签名的物体。计算机可以在物体的深度信息与污染物的深度签名相当的情况下忽略在显示系统的前面移动的物体。

图6是根据本发明示例性实施例的框图。光学传感器模块600包括光源625和光学传感器615。光学传感器模块600能够捕捉可包括图像中物体的高度、宽度和深度在内的数据。光学传感器模块600可以连接到通信端口670以将所捕捉的数据传送给计算设备。通信端口670可以是计算设备上的通信端口670。例如，通信端口670可以是通用串行总线（USB）端口或IEEE 1394端口。在一个实施例中，通信端口670可以是计算设备的输入输出控制器675的一部分。输入输出控制器675可以连接到计算机可读介质685。计算设备的输入输出控制器675可以连接到控制器680。

控制器680能够通过输入输出控制器675的通信端口670接收三维光学传感器模块625所捕捉的数据。控制器680能够从三维光学传感器模块600所捕捉的数据确定物体与光学传感器模块600的距离。控制器680能够基于所述物体与三维光学传感器模块600的距离确定所述物体与显示器的距离。在一个实施例中，控制器680是处理器或应用特定集成电路（ASIC）。

包括控制器680的计算系统能够使用所述数据来确定与显示器的接触是否能够被忽略。例如，所述数据可以包括物体的大小。如果所述物体的大小并没有从显示器延伸至编程距离，则能够忽略与显示器的接触。

图7是根据本发明的方法的示例性实施例的流程图。所述方法以从三维光学传感器接收深度信息作为开始（在710）。所述深度信息包括所述三维光学传感器的视场中的物体的深度。例如，所述三维光学传感器可以使用飞行时间、结构光、全景成像或聚焦失焦来生成所述深度信息。所述深度信息可以被计算设备所接收。所述计算设备例如可以是计算机系统、个人数字助理或蜂窝电话。所述计算设备能够从所述深度信息确定物体是否与显示系统相接触（在720）。如果所述物体与显示系统的距离基本上为零厘米，则所述计算设备可以从所述深度信息确定物体与显示器相接触。在一个实施例中，基本上为零意味着三维光学传感器的分辨率无法确定与显示器的接触并且距显示系统小于接触距离的物体可以具有来自三维光学传感器的深度信息，所述深度信息被所述计算设备确定为零距离并且与显示系统相接触。接触距离例如可以为距显示系统0.2厘米，但是也可以为其它距离。如果物体与透明层相接触，则所计算的该物体与显示器的距离为零。如果计算机接收到距离为零的信号，则所述计算机能够在其确定了物体位置和面板上的图标显示的图像的位置相互对应的情况下生成所述图标所表示功能的激活。例如，所述图标可以表示在该图标被激活的情况下将被启动的程序。

所述计算设备能够在与显示器相接触的物体没有从显示器延伸至距显示器的编程距离的情况下忽略与显示器的接触（在730）。在一个实施例中，出于激活显示器的接触位置处的图标的图像所表示的计算机功能的目的而忽略接触，但是显示器可以使用所述接触来向用户指示显示器上的污染物。例如，可以在显示器上的污染物位置处显示诸如圆环之类的指示符。

以上所描述的技术可以在计算机可读介质中体现以便对计算系统进行配置以执行所述方法。计算机可读介质例如可以包括以下任意数量的包括磁盘和磁带存储介质的磁存储介质；诸如紧致盘介质（例如，CD-ROM、CD-R等）和数字视频盘存储介质的光存储介质；全息存储器；包括基于半导体的存储器单元的非易失性存储器存储介质，诸如闪存、EEPROM、EPROM、ROM；铁磁数字存储器；包括寄存器、缓冲器或高速缓存、主存、RAM等的易失性存储介质；以及因特网，这仅作为列举而并不局限于此。可以使用其它新的、各种类型的计算机可读介质来存储和/或传送这里所讨论的软件模块。计算系统可以以许多形式来构建，该许多形式包括大型机、小型计算机、服务器、工作站、个人计算机、笔记本电脑、个人数字助理、各种无线设备以及嵌入式系统，仅作为列举而并不局限于此。

在以上描述中，给出了多种细节以提供对本发明的理解。然而，本领域技术人员将要理解的是，本发明可以在没有这些细节的情况下来实践。虽然已经关于有限数量的实施例公开了本发明，但是本领域技术人员将会意识到其多种修改和变化。所附权利要求意在覆盖落入本发明真实精神和范围之内的这些修改和变化。

Claims

1.一种显示系统100，包括：

三维光学传感器115，用于生成与显示系统相接触的物体120的三维数据，其中所述物体在其距显示系统小于接触距离的情况下与所述显示系统相接触；和

控制器，用于仅在所述物体从显示系统延伸至大于编程距离130的距离的情况下才激活计算设备的功能。

2.如权利要求1所述的系统，进一步包括面板110，用于在显示系统100上显示从计算设备所接收的图像。

3.如权利要求1所述的系统，其中所述控制器在所述物体与显示系统相接触并且所述物体没有从显示系统延伸至编程距离130的情况下忽略与显示系统100的接触。

4.如权利要求1所述的系统，其中所述功能是启动与显示系统相接触的物体在显示系统上的位置处所述显示系统100上所显示的图像所标识的程序。

5.如权利要求1所述的系统，其中所述三维数据包括物体120的高度、宽度和深度。

6.如权利要求1所述的系统，其中三维光学传感器115是飞行时间光学传感器、结构光光学传感器、全景图像光学传感器、聚焦传感器或失焦传感器。

7.一种方法，包括：

从三维光学传感器115接收深度信息；

从所述深度信息确定物体120是否与显示系统100相接触，其中所述物体在其距显示系统小于接触距离的情况下被确定为与所述显示系统相接触；并且

在与显示系统相接触的物体没有从显示系统延伸至距显示系统的编程距离130的情况下忽略与显示系统的接触。

8.如权利要求7所述的方法，进一步包括在与显示系统100相接触的物体延伸至编程距离130的情况下激活计算设备上的功能。

9.如权利要求9所述的方法，其中所述功能是启动与显示系统相接触的物体在显示系统上的位置处所述显示系统100上所显示的图像所标识的程序。

10.如权利要求7所述的方法，进一步包括存储所述物体的深度签名。

11.如权利要求10所述的方法，进一步包括在所述物体的深度签名是污染物的深度签名的情况下忽略所述物体。

12.如权利要求10所述的方法，进一步包括在所述物体在显示系统的前侧的前面移动并且所述物体的深度签名被标识为污染物的情况下忽略所述物体。

13.一种包括指令的计算机可读介质，所述指令在被执行时使得处理器：

从三维光学传感器115接收三维数据；

仅在所述物体从显示系统延伸至距显示系统的编程距离130的情况下才激活功能。

14.如权利要求13所述的计算机可读介质，进一步包括在被执行时使得处理器在物体与显示系统相接触并且没有延伸至距显示系统的编程距离130的情况下忽略与显示系统100的接触的指令。

15.如权利要求13所述的计算机可读介质，进一步包括在被执行时使得处理器将三维数据与所存储的深度签名相比较以确定物体类型的指令。