CN103052928B - 能使多显示输入实现的系统和方法 - Google Patents

Abstract

本发明的实施例公开一种能使多显示输入实现的系统和方法。根据一个实施例，通过与处理器联接的至少一个光传感器，在第一显示面板或第二显示面板的显示区域内检测对象的存在。从光传感器接收对象的位置数据，并且根据从光传感器接收的位置数据，确定与第一显示面板或第二显示面板相关联的控制操作。

Description

能使多显示输入实现的系统和方法

背景技术

为了带来愉快和动人的用户体验，提供计算机系统和其用户间高效直观的交互是必要的。当今，大多数计算机系统包括用于允许用户将信息手动输入到计算机系统内的键盘以及用于选择或突出在相关联的显示单元上示出的项目的鼠标。然而，随着计算机系统逐渐普及，已开发出可替代的输入和交互系统。例如，基于触摸的计算机系统或触摸屏计算机系统允许用户身体上接触显示单元，并且将该接触记录为该特定触摸位置的输入，从而使用户能够身体上与在显示器上示出的对象交互。

附图说明

在下文中，由于结合下面附图对本发明的特定实施例进行的详细描述，本发明的特征和优点以及本发明的其它特征和优点将得到更清楚的理解，在附图中：

图1是根据本发明实施例的多显示计算环境的三维立体图。

图2是根据本发明实施例的多显示系统的简化框图。

图3描述根据本发明实施例的示例性三维光传感器。

图4A和图4B是根据本发明实施例的多显示系统的俯视的立体图。

图5A图示多显示系统及其操作用户的三维立体图，而图5B图示根据本发明实施例的多显示系统及其操作用户的俯视的立体图。

图6图示根据本发明实施例的多显示系统的又一操作环境。

图7图示根据本发明实施例的能使多显示触摸和手势输入实现的处理步骤。

符号和术语

在下面的具体实施方式和权利要求书中，某些术语用来表示特定的系统部件。如本领域技术人员将理解的，组织可以通过不同名称来指代部件。本文档不旨在区分名称不同但功能相同的部件。在下面的介绍以及权利要求书中，术语“包括”和“包含”以及“例如”是以开放的方式使用的，因此应被解释为指“包括，但不限于……”。术语“联接”意指间接连接或者直接连接。因此，如果第一部件与第二部件联接，则该连接可以通过直接电连接或者通过经由其它部件和连接（诸如光的电连接或无线的电连接）的间接电连接。此外，术语“系统”指代两个或两个以上硬件部件和/或软件部件的组合，并且可用于指代电子设备或多个电子设备，或者电子设备的子系统。

具体实施方式

下面的介绍针对各个实施例。尽管说明并描述了特定实施例，但所公开的实施例不应被解释为或以其他方式用来限制包括权利要求书在内的本公开的范围。另外，本领域技术人员将理解，以下描述具有广泛的应用，并且对任何实施例的介绍仅仅打算说明该实施例，而不旨在暗示包括权利要求在内的本公开的范围局限于该实施例。

通常，为了向计算系统提供触摸功能，在系统的显示器上必须包括或安装光传感器。然而，为多个相邻的显示器提供这些光传感器可能导致过高的制造成本和安装成本。因此，需要一种更加经济和直观的方案。

本发明的实施例公开一种能使多显示触摸输入实现的系统和方法。根据一个实施例，通过使用能够对位于安装有触摸传感器的显示器的边缘以外的对象进行检测的触摸传感器，可以检测位于第二显示器前方的对象。也就是说，在具有这种光传感器的能触摸的显示器旁边放置非触摸显示器，可以允许该光传感器检测非触摸显示器上的触摸。因此，本发明的实施例使单个触摸传感器能够向多个相邻的显示器提供触摸功能，以便降低实现的总成本。

现在更详细地参考附图，在附图中相同的附图标记在所有视图中表示相应的组件，图1是根据本发明实施例的多显示计算环境的三维立体图。如图所示，多显示环境100包括第一计算系统102和第二计算系统104。第一计算系统102包括用于封装处理部件和显示面板或显示单元140的外壳。类似地，第二计算系统102包括用于包围显示面板150的外壳107。另外，第一计算系统102包括第一光传感器110a和第二光传感器110b。这些光传感器可以代表被配置为检测靠近的对象的阴影细节的二维光传感器，被配置为产生靠近的对象的三维深度图（depthmap）的三维传感器，或者类似的图像采集设备。此外，显示面板140和显示面板150可以例如是液晶显示（LCD）面板、等离子体显示器、阴极射线管（CRT）、OLED或投影显示器（例如数字光处理（DLP））。系统100还包括例如用于由用户进行文本输入、导航用户界面以及操纵数据的输入设备，例如键盘120和鼠标125。

在一个实施例中，显示面板140可以包括位于显示面板140前方的透明层。显示面板140和显示面板150的前面是显示图像的表面，面板的后面与前面相对。光传感器110a和光传感器110b可以位于显示面板140的具有透明层的相同侧，以便保护光传感器免受污染。在可替代实施例中，光传感器110a和光传感器110b可以位于透明层的前方。透明层可以是玻璃、塑料或另一透明材料。根据一个实施例，光传感器110a和光传感器110b安装在外壳105的位于显示面板140边缘外部的区域中，以便确保光传感器不降低透明层的清晰度。

图2是根据本发明实施例的多显示系统的简化框图。如在该示例性实施例中示出的，系统200包括第一计算系统202和第二计算系统204。第一计算系统202包括与显示单元230、系统控制单元240、计算机可读存储介质225以及被配置成采集输入214的光传感器210a和光传感器210b联接的处理器220，输入214是与位于与计算系统202或计算系统204相关联的显示单元前方的对象有关的位置数据。第二计算系统204包括与第二显示单元250、系统控制单元255以及计算机可读存储介质225联接的处理器245。光传感器210a和光传感器210b被配置为检测位于第一计算系统202和第二计算系统204两者显示区域内的对象的位置数据。在一个实施例中，处理器220和处理器245代表被配置为执行程序指令的中央处理单元。此外，根据一个示例，计算机系统202的处理器220通过有线连接或无线连接与计算机系统204的处理器245联接。因此，计算机系统202可以与计算机系统204进行通信，并且可以传输信息，例如由光传感器210a和光传感器210b之一所检测的与对象或输入214相关联的位置数据。

显示单元230代表被配置为对图像和能使用户和计算机系统间交互的图形用户界面进行显示的触摸感应显示器，而显示单元250代表非触摸感应电子可视显示器，例如普通的阴极射线管（CRT）监视器。存储介质225和260代表易失性存储（例如随机存储存储器）、非易失性存储（例如硬盘驱动器、只读存储器、光盘只读存储器、闪存等等）或者它们的组合。在一个实施例中，系统控制单元240和系统控制单元255可以代表被配置为接收和处理被检测对象的位置数据的应用程序或用户界面控制模块。此外，计算机系统202的存储介质225和计算机系统204的存储介质255分别包括软件228，软件228可由处理器220执行并且在被执行时导致处理器220执行本文中描述的功能中的某些功能或全部功能。

图3描述根据本发明实施例的示例性三维光传感器315。三维光传感器315可以接收来自源325的从对象320反射的光。光源325可以例如是发光且对用户而言不可见的红外光源或者激光源。光源325可以相对于三维光传感器315处于允许光从对象320上反射并被三维光传感器315采集的任何位置。红外光可以从对象320（在一个实施例中对象320可以是用户的手）上反射，并且被三维光传感器315采集。三维图像中的对象被映射到对每个对象而言提供“Z序”（距离上的次序）的不同平面上。“Z序”可以使计算机程序能够将前景对象与背景区分开，并且可以使计算机程序能够确定对象到显示器的距离。

一个实施例的二维光传感器可以利用基于三角测量的方法，该方法包含密集的图像处理，以准确地估算对象的深度。二维图像处理通常使用来自传感器的数据并且处理该数据，以生成在正常情况下无法从三维传感器获得的数据。在一个示例中，彩色和密集图像处理不可以用于三维传感器，因为来自三维传感器的数据包括深度数据。例如，利用三维光传感器对飞行时间进行的图像处理可能包含简单的查表，以将传感器读数与对象到显示器的距离相映射。飞行时间传感器根据光从已知源出发、在对象上反射并返回三维光传感器所经过的时间来确定对象到传感器的深度。

在可替代实施例中，光源可以发出结构化的光，该结构化的光是光图案（例如平面、栅格或更复杂的形状）以已知的角度在对象上的投射。光图案在照到表面上时变形的方式允许可视系统计算场景中对象的深度和表面信息。集成成像是一种提供完整视差立体视图的技术。为了记录对象的信息，使用与高分辨率光传感器结合的微透镜阵列。由于每个微透镜关于被成像的对象的不同位置，所以可以将对象的多个视角成像在光传感器上。包含来自每个微透镜的元素图像的所记录图像可以以电子方式传递，然后在图像处理时被重构。在一些实施例中，集成成像透镜可以具有不同焦距，并且根据对象是处于聚焦（聚焦传感器）还是处于离焦（散焦传感器）来确定对象深度。然而，本发明的实施例不限于任何特定类型的二维光传感器或三维光传感器。

图4A和图4B是根据本发明实施例的多显示系统的俯视的立体图。图4A中示出的示例代表二维触摸屏环境中的多显示系统。如这里所示，第一显示面板405和第二显示面板407彼此水平相邻放置。显示面板405包括两个光传感器410a和410b以及两个发光设备412a和412b。根据本实施例，发光设备412a和发光设备412b分别投射光源417a和光源417b。更具体地，发光器412a和发光器412b投射红外光417a和红外光417b的平面，该平面除覆盖第二显示面板407的前表面409以外还覆盖第一显示面板405的前表面407。此外，光传感器410a和光传感器410b包括各自的视场415a和视场415b，视场415a和视场415b被配置为对光源417a或光源417b中由接近前显示表面408或前显示表面409的输入对象或设备导致的干扰进行检测和采集。对象可以是实体对象，例如如图4A所示的与显示表面409形成接触的手指或光笔。另外，直接面对前表面408和前表面409以及处于前表面408和前表面409的可编程距离（例如一米）内的区域代表显示区域，或者代表相关联的计算系统的至少一个光传感器的视野中的区域。更具体地，光传感器410a和光传感器410被配置为检测对象（在显示区域内）关于第一显示面板405和第二显示面板407的存在。

更具体地，对象（例如用户的手428）可以接近第二显示面板407，并且可以在如图4A所示的位置444处造成光源417a中的干扰。当对象或输入428干扰光源417a或光源417b的平面时，光传感器410a或光传感器410b之一相应地检测出该干扰。此后，处理控制器从光传感器接收呈阴影数据（其中被干扰的区域例如可以呈现黑色）形式的位置信息或干扰信息。这种位置信息向处理器报告干扰的位置，由此报告来自用户的所期望的输入的位置。

图4B描述利用三维光传感器的多显示系统。如这里所示，紧邻第二显示面板407放置的第一显示面板405包括两个三维光传感器410a和410b和两个发光设备412a和412b，这两个三维光传感器410a和410b被配置为向处理器报告三维深度图。三维光传感器410a和410b可以确定位于其相应视场415a和视场415b内的对象的深度。而且，当对象移动到光传感器410a的相应视场415a中或者移动到光传感器415b的视场415b内时，所获得的深度图随时间改变。在一个实施例中，对象的深度可以用来确定对象是否与显示面板405或显示面板407的前表面侧408或前表面侧409形成接触，或者确定对象是否处于显示面板的可编程距离（即显示区域）内而实际上未接触显示面板405或显示面板407的前侧。例如，对象428可以是接近显示面板407的前侧409的用户的手和手指。也就是说，光传感器410a和光传感器410b被配置为采集对象关于第一显示面板405和第二显示面板407的位置数据。

根据本发明的一个示例，光传感器410a和光传感器410b放置在显示面板405边缘附近的最上角，使得每个视场415a和视场415b包括位于显示面板409上方且包围显示面板409的区域。如这里所示，光传感器410a所提供的视场415a延伸到第一显示面板405的前表面408以外，并且包括第二显示面板407的前表面409。因此，可以检测出对象（例如用户的手），并且可以通过与光传感器410a和光传感器410b联接的处理器精确解释位于显示面板405或显示面板407前方及边缘附近的任何相关联的动作。

图5A图示多显示系统及其操作用户的三维立体图，而图5B图示根据本发明实施例的多显示系统及其操作用户的俯视的立体图。在本示例中，多显示环境500包括操作第一计算系统505和第二计算系统507的用户527。如关于前面的示例所述的，第一计算系统包括能使触摸功能实现的光传感器510a和光传感器510b，而第二计算系统507在没有光传感器的条件下制造。此外，每个光传感器510a和光传感器510b均被配置为分别具有用于采集来自对象（例如用户的手530a和530b）的触摸输入或手势输入的视场512a和视场512b。而且，如图5B的俯视的立体图所示，第一计算系统505可以放置在第二计算系统507附近并且关于第二计算系统507以小角度放置。这种放置可以允许光传感器510b具有持续采集位于第二计算系统507的显示区域内或前表面侧区域内的对象的视场512b。例如，视场512a使光传感器510a能够采集与由用户527在第一计算系统505的显示区域内挥动用户的左手530a所导致的手势输入相关联的位置数据。类似地，视场512b使光传感器510b能够采集与由用户527用用户的左手530b接触第二计算系统507的前表面（即显示区域）所导致的触摸输入相关联的位置数据。

图6图示根据本发明实施例的多显示系统的又一操作环境。如这里所示，多显示系统600包括四个相邻的显示面板620a-620d以及分别放置在显示面板620a和620b的外边缘附近的两个光传感器610a和610b。更具体地，光传感器610a和光传感器610b与处理器联接并且放置在安装表面615的上角，安装表面615可以是较大的显示器（例如投影屏幕）、墙或其它竖直上升的障碍物。此外，光传感器610a和光传感器610b可以是物理分离的设备，或者可以与显示面板620a-620d中的一个或多个显示面板连接。如前面的示例中提到的，光传感器610a和光传感器610b可以代表二维光传感器或三维光传感器，并且可以包括相应的视场612a和视场612b。利用上面描述的方法之一，当对象或输入位于任一显示面板620a-620d的显示区域内时，光传感器610a和光传感器610b能够检测对象或输入，例如来自用户的手势输入或触摸输入。

图7图示根据本发明实施例的能使多显示触摸输入实现的处理步骤。在步骤702中，光传感器检测操作第一计算系统或第二计算系统的用户的存在。该检测将在光传感器采集位置信息时发生，位置信息例如是实现二维光传感器的环境中的阴影数据或者实现至少一个三维传感器的环境中的深度图数据。接着，在步骤704中，将所采集的位置信息发送给与光传感器联接的处理器，并且处理器接收该位置信息。然后，在步骤706中，处理器确定所采集的数据是否与第一计算系统或第二计算系统的显示区域相关联。如果处理器确定位置信息是在第一计算系统的显示区域内采集的，则在步骤708中，使位置信息与第一计算系统相关联或分派给第一计算系统。基于该位置信息，在步骤710中，处理器确定待由第一计算系统执行的输入操作或控制操作。然而，如果处理器确定位置信息是在第二计算系统的显示区域内采集的，则在步骤712中，使位置信息与第二计算系统相关联或分派给第二计算系统。也就是说，调整处理器，来确定和分派输入与哪个显示面板相关联。接着，在步骤714中，通过利用所采集的位置信息，处理器能够确定待由第二计算系统执行的输入操作或控制操作。例如，输入操作或控制操作可以是基于用户的拍手手势或者在用户用一个手指触摸显示屏并在显示器四处移动该手指的情况中的选择操作和拖拉操作，向上或向下滚动所显示的页面。

本发明实施例公开一种能使多显示手势输入和触摸输入实现的系统和方法。更具体地，与一个计算系统的显示器相关联的光传感器被配置为采集和分析针对相邻的没有光传感器的第二计算系统的与触摸相关的输入。因此，可以为仅具有单个光传感器的多个相邻的显示器提供触摸功能，从而简化触摸屏计算的实现，同时还降低了相关的制造成本。

此外，尽管本发明是关于示例性实施例描述的，但本领域技术人员将认识到多种修改是可能的。例如，尽管特定实施例描述阴极射线管（CRT）计算机作为不能接触的计算机系统，但本发明不局限于此。例如，第二计算系统和显示器可以是笔记本电脑，上网本，来自便携式投影仪的虚拟键盘显示器，或者被配置为向操作用户显示图形或对象的任何其它显示器。

此外，尽管将一体化的计算机描述为代表性的触摸感应显示器，但本发明不局限于此。例如，根据本发明实施例，可以利用平板个人电脑、智能手机或与处理器联接并且包括至少一个光传感器的任何其它能触摸的显示器。因此，尽管本发明是关于示例性实施例描述的，但应理解的是，本发明旨在覆盖落入以下权利要求的范围内的所有修改和等同物。

Claims (10)

1.一种能使多显示输入实现的方法，包括：

通过与处理器联接的至少一个光传感器检测对象的存在，其中所述光传感器被配置为关于第一显示面板和第二显示面板检测对象的存在；

从所述至少一个光传感器接收所述对象的位置数据；以及

根据从所述至少一个光传感器接收的所述位置数据，确定与所述第一显示面板或所述第二显示面板相关联的输入，

其中所述第二显示面板不包括能使触摸屏功能实现的传感器。

2.根据权利要求1所述的方法，进一步包括：

通过与所述光传感器联接的所述处理器，使在所述第二显示面板的显示区域内检测的所述对象的位置数据与所述第二显示面板的输入相关联。

3.根据权利要求2所述的方法，进一步包括：

通过与所述光传感器联接的所述处理器，使在所述第一显示面板的显示区域内检测的所述对象的位置数据与所述第一显示面板的输入相关联。

4.根据权利要求1所述的方法，其中所述输入是可由所述处理器执行的对与所述第一显示面板或所述第二显示面板相关联的计算机系统执行特定功能的指令。

5.根据权利要求1所述的方法，其中所述第二显示面板紧邻所述第一显示面板放置并且关于所述第一显示面板成一角度放置。

6.一种能使多显示输入实现的系统，包括：

第一计算系统，包括第一显示单元和与至少一个光传感器联接的处理器，和

第二计算系统，包括第二显示单元并且与所述第一计算系统的所述处理器联接；

其中所述光传感器被配置为关于所述第一显示单元和所述第二显示单元检测对象的存在，

其中根据与所述第一计算系统相关联的所述至少一个光传感器所检测的位置数据，确定来自用户的针对所述第一显示单元或所述第二显示单元的手势输入或触摸输入，

其中所述第二计算系统不包括能使触摸屏功能实现的传感器。

7.根据权利要求6所述的系统，其中所述第一计算系统的所述处理器被配置为根据来自所述光传感器的所述位置数据来确定来自所述用户的所述手势输入或触摸输入。

8.根据权利要求7所述的系统，其中所述第二显示单元紧邻所述第一显示单元放置。

9.根据权利要求8所述的系统，其中所述第二显示单元关于所述第一显示单元成一角度放置。

10.根据权利要求6所述的系统，其中所述第一显示单元包括放置在所述第一显示单元的前表面的相对侧的至少两个三维光传感器。