CN103339591A

CN103339591A - 用于用户输入以控制显示信息的装置和方法

Info

Publication number: CN103339591A
Application number: CN2011800616253A
Authority: CN
Inventors: 颜其锋
Original assignee: Nokia Oyj
Current assignee: Nokia Technologies Oy
Priority date: 2010-11-09
Filing date: 2011-11-02
Publication date: 2013-10-02
Anticipated expiration: 2031-11-02
Also published as: CA2817181A1; RU2013127015A; CN103339591B; US20120113018A1; WO2012062958A1; EP2638461B1; EP2638461A1; RU2559720C2; US10146426B2; AP2013006903A0

Abstract

依据本发明的示例实施例，提供了一种用于基于接近的输入的方法，该方法包括：接收关于在紧密接近于触摸屏幕表面存在物体的信息，检测当前与该物体相关联的显示元素，该显示元素被可视化为在基本上垂直于屏幕表面的z-方向上从屏幕表面层移位，以及基于物体与屏幕表面之间的距离来适配显示元素，其中显示元素响应于检测到物体触摸触摸屏幕表面而被可视化为基本上位于触摸屏幕表面层。

Description

用于用户输入以控制显示信息的装置和方法

技术领域

本发明涉及用于用户输入以控制显示信息的装置和方法。

背景技术

触摸屏幕广泛使用在许多便携式电子设备中，例如在PDA（个人数字助理）设备、桌上型计算机、触摸表面以及移动设备中。触摸屏幕可由指向设备（或触笔）和/或由手指控制。通常这些设备还包括用于某些操作的常规按钮。

已经开发出也用于便携式设备和手持式设备的能够显示立体图像的立体显示器或3D显示器。立体显示器可以被用以显示用户界面（UI）项以便用户感知三维（3D）图像。立体显示器的引入也为用户交互设计带来了新的挑战和可能性。

发明内容

在权利要求中陈述了本发明的示例的各个方面。

根据一方面，提供了一种装置，包括至少一个处理器；以及包括计算机程序代码的至少一个存储器，该至少一个存储器和该计算机程序代码被配置为，与该至少一个处理器一起使该装置至少执行：接收关于在紧密接近于触摸屏幕表面存在物体的信息，检测当前与该物体相关联的显示元素，该显示元素被可视化为在基本上垂直于屏幕表面的z-方向上从屏幕表面层移位，以及基于物体与屏幕表面之间的距离来适配显示元素，其中显示元素响应于检测到物体触摸触摸屏幕表面而被可视化为基本上位于触摸屏幕表面层。

根据一方面，提供了一种方法，包括：由装置接收关于在紧密接近于触摸屏幕表面存在物体的信息，检测当前与该物体相关联的显示元素，该显示元素被可视化为在基本上垂直于屏幕表面的z-方向上从屏幕表面层移位，以及基于物体与屏幕表面之间的距离来适配显示元素，其中显示元素响应于检测到物体触摸触摸屏幕表面而被可视化为基本上位于触摸屏幕表面层。

根据示例实施例，用于适配显示元素在z-方向上的可视化移位的显示操作基于取决于检测的距离的差异值而被控制。

本发明和本发明的各实施例提供了若干优点，其将从以下详细描述中变得显而易见。

附图说明

为了更完整地理解本发明的示例实施例，现参照以下结合附图所采取的描述，其中：

图1a和图1b图示了对根据示例实施例的立体显示器的显示元素的外观的操控；

图2是依据本发明的实施例的装置的侧视图的简化框图；

图3至图5图示了根据本发明的示例实施例的方法；

图6图示了依据本发明的示例实施例的电子设备；以及

图7图示了根据示例实施例的方法。

具体实施方式

图1a图示了诸如手持移动设备之类的电子设备的显示器的虚拟三维视图的显示元素2、3、4的显示，这些显示元素诸如图形项或表示数据项和/或可用动作的图标。上部视图图示屏幕在基本上平行于屏幕表面5的x方向和y方向上的前视图，而下部视图图示其在基本上垂直于屏幕表面5的z-方向上的侧视图。显示元素2-4可以通过提供3D效果的立体显示器来显示，使得至少某些显示元素表现为位于相对于触摸屏幕表面层的不同层，例如一个显示元素2在相对于触摸屏幕表面层5的第一层而另一显示元素3在相对于触摸屏幕表面层5的第二层。至少某些显示元素因此可以被可视化为在z-方向上从屏幕表面层移位。将会意识到的是，显示元素2-4可以具有各种形式，并且在某些实施例中它们的形状可以被用户修改。例如，显示元素2和显示元素4可以“漂浮”在屏幕表面5上方而显示元素3可以被图示为位于屏幕表面层5下方的背景中。

在示例实施例中，使用悬停（hovering）以控制一个或多个显示元素2-4的外观和/或位置。悬停通常指的是将诸如手指或触笔之类的输入物体1引至与触摸屏幕表面5接近但不接触。可以基于检测到的物体至屏幕表面3的距离来适配显示元素在z-方向上所图示的位置。这通常指的是便于感知显示元素接近屏幕表面或远离屏幕表面的任何种类的显示操作。距离的检测可以包括例如基于特别估计的距离值或者基于取决于物体的距离的信号值的检测。因此，基于对物体1的距离进行重复的和/或持续的监测，可以针对手指朝向/远离触摸屏幕的移动来控制显示元素。

在所显示的3D视图的显示元素之中，一个或多个显示元素2-4可以基于物体1的位置而被检测为目标元素。可以依据检测到的物体1的距离变化而对用以引起目标显示元素2的移动6的显示操作进行控制。在物体1接近屏幕表面3时，显示元素可以通过3D效果被可视化为朝向触摸屏幕表面5移动6、7。如图1b中所图示的，在输入物体1被检测为触摸屏幕表面3时，作为目标的显示元素2可以被可视化8为位于屏幕表面平面内。因此，可以使用户感知到显示元素与手指在屏幕表面层在z-方向上接触。这使得能够提升触摸体验并且提供与在不同深度水平的3D视图的GUI对象交互的更为直观并且交互式的用户感受。而且，在未限制权利要求范围的情况下，可以有可能减轻在试图通过触摸屏幕表面来选择在屏幕表面层上方或下方出现的图标时对某些用户造成的不适感。

图2图示了其中可以提供基于悬停的显示元素控制的示例装置100。装置100可以是外围设备或被集成在电子设备中。电子设备的示例包括像计算机、媒体播放器、无线通信终端设备等的任意消费电子设备。

示例装置100包括具有多个触敏检测器114的触摸屏幕显示器110以感测向触摸屏幕表面的触摸输入。装置100包括接近检测系统或单元120，其被配置为检测输入物体1何时被放于接近但不接触触摸屏幕表面112的位置。感测区域140（也可以称作悬停区域）可以表明对悬停输入物体1和悬停输入进行检测的大致区域和/或距离。在悬停区域140中至少部分基于输入物体1不触碰屏幕表面112而检测的用户输入（诸如特定的检测到的手势）可以被称为悬停输入。该悬停输入关联于至少一个功能，例如选择显示元素、缩放显示区域、激活弹出菜单、修改显示元素或移动显示元素。可以基于感测信号或输入物体1至屏幕表面112的距离满足预先定义的阈值来检测悬停输入物体1和悬停输入。在某些实施例中，悬停区域140还允许即使在不接触屏幕表面112的情况下在装置100中输入和/或访问数据。

在某些实施例中，检测系统120通过一个或多个接近传感器122来生成感测场。在一个示例实施例中，应用了电容式接近检测系统，从而传感器122为电容式感测节点。对由一个或多个输入物体100在感测场中产生的扰动进行监测并且基于所检测的扰动来检测一个或多个物体的存在。电容式检测电路120检测在屏幕表面112上方电容的变化。

然而，要意识到的是这些特征并不限于应用任何特定类型的接近检测。接近检测系统120可以基于红外接近检测、光学阴影检测、声发射检测、超声检测或任何其他适合的接近检测技术。例如，在接近检测系统120将基于红外检测的情况中，系统将包括一个或多个发出红外光脉冲的发射器。将提供一个或多个检测器以检测从附近物体100的该光的反射。如果系统检测到反射光，则认为存在输入物体。

检测系统120可以布置为对输入物体1距屏幕表面112的距离进行估计（或提供允许估计的信号），这允许提供物体1相对于屏幕表面112的位置的z坐标数据。这可以持续地进行，或在一些其他实施例中在某些时间段进行，和/或在某种触发之后进行。接近检测系统120还可以被布置为生成关于物体1的x，y位置的信息以便能够确定悬停输入的目标显示元素或区域。取决于所应用的接近检测技术、装置100和屏幕表面112的大小以及所期望的用户交互，悬停区域140可以被布置为从屏幕表面112延伸以选自例如数毫米到甚至多达数十厘米的距离。

装置100可以包括能够显示立体视图的立体显示器。立体显示器可以被布置为生成3D视图，即包括具有3D效果并且被可视化于（在z-方向上的）各深度水平的整个视图或至少一些显示元素（诸如图1a和图1b所图示的显示元素2-4）的视图。立体显示器可以将来自图像的某些子像素的信息导向不同的方向，使得观看者可以用每只眼睛看见不同的图像。如果图像足够相似，则人脑将认为观看者正在看单个物体并且将两个图像上的匹配点融合在一起以创造感知到的单个物体。3D显示元素的数据可以例如通过取多个二维图像并且通过将图像的像素合并为单一图像的子像素用于在立体显示器上呈现来获得。在一个替代方式中，被布置为彼此相距小的预先指定距离的两个相机取二维图像用于3D呈现。每个相机可以包括对所捕捉的图像施加图像处理的图像链。立体显示系统还可以包括用户成像设备和眼睛位置追踪功能。显示器可以具有特定的2D模式和3D模式，并且系统可以在那些模式之间切换。取决于所期望的实现方式和所应用的立体显示技术，触摸屏幕110可以被布置为提供立体显示特征，或者立体显示器的元素可以至少与触摸屏幕110（未在图2中特别地示出）部分分离。在一个实施例中，立体显示器为自动立体显示器并且3D视图为自动立体视图，这通常指的是无需用户的特定眼镜的显示元素的立体呈现。可以应用各种自动立体显示器，例如基于视差屏障和/或双面凸状透镜或者应用全息和/或眼睛追踪的自动立体显示器。

接近检测系统120耦合至控制器130。接近检测系统120被配置为在悬停区域140中检测到输入物体1时为控制器130供以信号。基于这样的输入信号，可以发起命令、选择以及其他类型的动作，通常导致针对用户的可视的、可听的和/或触觉的反馈。可以经由控制电路向控制器130或另一控制器通知向触敏检测器114的触摸输入。

控制器130还可以连接至一个或多个输出设备，诸如具有3D显示特征的触摸屏幕显示器和/或单独的能够提供3D感受的显示单元。控制器130可以被配置为控制显示器110上不同的应用视图。控制器130可以基于来自接近检测系统120和触敏检测器114的信号来检测触摸输入和悬停输入。控制器130继而可以控制与检测到的触摸输入或悬停输入相关联的显示功能。而且，控制器130可以被配置为检测当前作为目标并且与悬停物体1相关联的显示元素，并且使显示操作基于取决于物体1至屏幕表面112的当前距离来适配该显示元素在z-方向上的可视化（深度）位置。下文说明了可以至少部分地由控制器130实现的进一步特征的一些示例。要意识到的是，可以通过单个控制单元或多个控制单元来实现控制器130的功能。

要意识到的是，装置100可以包括未在此详细讨论的各种另外的元件。虽然装置100和控制器130被描绘为单个实体，但是可以在一个或多个物理或逻辑实体中实现不同的特征。例如，可以提供有被配置为实现控制器130的控制特征的芯片组装置。还可以有例如用于实现结合图3所描述的一个或多个框的特定功能模块。

图3示出根据示例实施例的用于对基于悬停的显示元素的操控进行控制的方法。该方法例如可以被控制器130应用为控制算法。

检测在紧密接近于屏幕表面存在物体310。要注意的是，在某些实施例中，接收关于存在物体的信息并且该检测基于该接收到的信息。

检测被悬停输入物体当做目标的显示元素320。检测目标显示元素通常指的是检测当前与悬停物体相关联的显示元素，并且可以基于物体1的当前x,y位置检测目标显示元素。然而，诸如物体1的距离150之类的另外条件可以影响目标显示元素的检测。显示元素被可视化为从屏幕表面平面移位，即，它可以被图示为位于触摸屏幕表面5的上方或下方。

检查物体1至屏幕表面112的距离330。该检查可以例如基于由接近检测系统120所生成的信号或值来执行。

基于当前检测到的距离来适配显示元素。从而，可以控制显示操作340以适配显示元素在z-方向上所图示的位置。控制显示操作将被广义理解为造成并且导致被用户所感知的显示元素的变化的动作。例如，这可以涉及通过重新定位图像、从图像数据库提取新图像和/或实时重新渲染2D/3D矢量图形来适配输出图像。

图3的示例程序还是监测触摸传感器状态350。可以例如基于来自显示控制器的信号来检查触摸传感器的状态350、360。如果还未检测到触摸输入，则可以返回框330并且可以例如周期性地再次检查距离。如果检测到对触摸屏幕表面112的触摸，则可以进入框370并且控制显示操作以将显示元素可视化为位于屏幕表面平面（5）。

这允许基于输入物体1至触摸屏幕表面的距离来适配经可视化的显示元素深度位置，从而用户在触摸触摸屏幕表面112时可以感知显示元素接近手指并且与手指接触。

诸如装置100的装置的用户接口可以被配置为提供至少某些图3的与输入/输出相关的功能。要意识到的是，可以对图3的示例方法做出各种修改和添加。例如，可以基本上同时检测悬停输入物体1和当前作为目标的显示元素2，或者用户可以在框310的仅一段时间之后进行悬停输入。另一示例为可以有进一步的检查程序以检查是否检测到物体从接近屏幕112处移除。当在悬停区域140中不再检测到物体时，可以结束图3的程序。以下说明了一些另外的示例实施例。

还参照图1a和图1b的示例，装置100可以因而被布置为适配（340）显示以图示显示元素2至少在z-方向上移动6。因此，作为目标的显示元素2可以被布置为对悬停手指移动做出反应，并且可以为用户提供以显示元素2随手指移动的感受。如果显示元素3被显示在背景中（在屏幕表面层3的下方或“后面”），则用户的手指和显示元素3可以被可视化为向相反方向移动并且在屏幕上接触。如果显示元素2在屏幕上方，则视觉上图标和手指可以向同一方向移动并且在屏幕表面层接触。

取决于为创造3D感受所应用的技术，存在各种选项以将显示操作340、370布置为适配所感知的显示元素在z-方向上的位置。在某些实施例中，这涉及到改变被用于生成具有3D效果的显示元素3的2D显示项的横向x-方向位置。这些操作还可以涉及到适配显示元素3的大小和/或形式。

在某些实施例中，显示元素相对于屏幕表面层在z-方向上被可视化的移位是基于差异值来控制的，该差异值取决于检测到的物体1至屏幕表面5的距离。差异在此通常指的是为左眼观看而生成的图像与为右眼观看而生成的另一图像之间的差别和偏移，为左眼观看而生成的图像和为右眼观看而生成的另一图像可以被称作左眼图像和右眼图像，每个图像都具有在x,y屏幕平面上的特定屏幕位置。差异值可以是影响或限定左眼图像与右眼图像之间在x-方向上的横向偏移从而引起产生的显示元素的所感知的深度位置的变化的任何种类的参数。差异值可以直接限定左眼图像和右眼图像之间的视差，从而限定显示元素的所感知的深度位置。在应用加-视差（+视差）时，用户可以感知显示元素2漂浮在屏幕5上方。在应用减-视差（-视差）时，UI组件表现为在屏幕5的下面。例如，在图1a和图1b的示例中，对显示元素2接近屏幕表面5的图示可以基于减少形成显示元素的两个2D图像之间的横向偏移来提供。

图4图示了与图3的方法相似的示例方法，该方法例如可以在图3的框320之后执行。在检测410至屏幕表面的当前距离之后，设置差异值420。例如，连接至控制器130的存储器可以存储具有距离（或距离范围）的集合和对应的差异值的映射表或某种其他类型的数据结构。

控制430显示元素适配操作以根据差异值来适配显示元素在z-方向上所图示的位置。这可以指的是改变形成显示元素的两个图像（的拷贝）之间的x-方向移位或偏移的任何类型的操作。继而，可以改变一个或全部两个图像的X-方向位置坐标并且可以执行渲染操作以将图像显示在经适配的屏幕位置。要注意的是，图像可以至少部分重叠。可以例如通过控制对从图像数据库提取的图像进行显示或者实时重新渲染2D/3D矢量图形，来对两个输出图像进行进一步适配。

如果基于检查440、450还未检测到触摸输入，则可以返回框410并且可以例如周期性地再次检查距离。这允许提供根据悬停距离自动调整作为目标的显示元素至屏幕表面层的差异。

如果检测到对触摸屏幕表面112的触摸，则可以进入框460并且可以将差异设置为零，导致显示元素被图示在屏幕表面层5处。因此，左眼图像与右眼图像之间没有横向差别，但是可能显示单个的2D图像，并且不提供3D深度效果。可以将屏幕平面z-位置最初设置为零视差点（ZPP），并且在ZPP上在框460中控制显示元素。

要意识到的是，目标显示元素3可能还被可视化为从屏幕表面112移开（通过加入差异）以促使感受到显示元素跟随后退的物体。

图5图示例如关于框410和框420的可以由控制器130应用的示例方法。在检测510物体1至屏幕表面112的当前距离之后，将检测到的距离与早先存储的接近值进行比较520、530、550，该接近值表示之前检测到的距离。如果检测到的距离小于已存储的值，则适配540差异值以导致将显示元素可视化为更接近于屏幕表面112。在+视差的情况中（即显示元素2被图示在屏幕表面5上方），控制器130可以因而减少图像在x-方向上的移位。在-视差的情况中，控制器130可以因而增加图像在X-方向上的移位。

如果检测到的距离大于已存储的值，则适配560差异值以导致将显示元素可视化为进一步远离屏幕表面112。例如，在+视差的情况中，控制器130可以因而增加图像在x-方向上的移位。在框570中，用在框510中检测到的值更新已存储的接近值，并且程序可以返回框510（如果物体仍在悬停区域140内悬停）。

在实施例中，例如在框370/460中，响应于检测到触摸输入，进入2D显示模式并且3D视图变成2D视图。因此，对于某些或全部显示元素，3D效果可以被移除，并且用户可以在2D图像上输入进一步的触摸输入。

在某些示例实施例中，装置100被配置为检测物体1在平行于屏幕表面3的x,y方向上的横向位置。这可以例如关于框330而被检测。还可以依据检测到的横向位置（例如在框340中）来控制作为目标的显示元素2的可视化移动，使得显示元素与物体相似地横向移动。

在一个示例实施例中，在框320中，装置100被配置为检测物体1对（在屏幕表面5上方出现的）显示元素2的虚拟触摸。因此，该显示元素可以响应于检测到虚拟触摸而被检测为目标显示元素。例如，在框340和/或框370中，响应于检测到推悬停动作（即在检测到虚拟接触后物体接近屏幕表面5），该装置可以被配置为在框340和/或框370中适配显示元素2的外观。

装置100可以被配置为检测悬停手势。在一个示例实施例中，该装置在框320中被配置为检测至少与显示元素2相关联的悬停手势。可以依据悬停手势控制330对显示元素的移动的选择和/或图示。例如，装置100可以被布置为检测与目标显示元素2相关联的旋转或双击特征。

在某些示例实施例中，装置100被配置为基于与输入物体1在悬停区域140中的移动相关联的另外属性来控制对显示元素的显示操作。在另一个示例实施例中，装置100被配置为估计物体1的移动速度。该装置还可以被布置为依据检测到的速度来选择用于适配（例如在框340/370中）显示元素外观的显示操作。可以存在影响要取决于物体移动速度而对显示操作进行选择的一个或多个阈值参数。

接近检测系统120可以布置为检测两个或更多个物体1的同时或组合使用。在一个示例实施例中，响应于检测到在屏幕表面上方悬停的两个或更多个手指而检测相关联的显示元素。在另一实施例中，响应于检测两个悬停的手指，可以检测显示元素并且/或者可以修改显示元素的外观。以上例如结合图3所图示的特征可以单独应用于每个检测到的手指或手指的组合。

在示例实施例中，结合框340、框370、框430、框460、框540、框560中的一个或多个框应用了进一步的效果。例如，可以生成进一步的视觉的、可听的和/或触觉的输出。

在示例实施例中，装置100被布置为检测施加到触摸屏幕的压力。触摸传感器114可以被布置为生成表示例如由物体1施加到屏幕表面112的压力的信号。控制器130可以接收与所检测的压力有关的信息，并且该信息可以应用于进一步适配目标显示元素。可以基于该压力适配显示元素2的所图示的z-位置。例如，在显示元素2被触摸后，在屏幕表面被检测为被更用力地推动时，显示元素2可以被图示为从屏幕表面层5下方的位置8移开。

要意识到的是，可以使用两个或更多个以上图示的示例条件来影响显示操作。除已经在上文图示的实施例之外，有广泛的进一步的功能可供选择以与由触敏检测系统和/或接近检测系统120检测的输入相关联。控制器130可以被配置为例如根据装置100的当前操作状态、用户输入或装置100中执行的应用来适配该关联。例如，关联可以是应用专用的、菜单专用的、视图专用的和/或上下文（其可以基于从装置100的当前环境或使用中所获得的信息而被限定）专用的。

图6示出根据示例实施例的电子设备600的结构框图。该电子设备可以包括装置100。虽然出于示例的目的图示了电子设备600的一个实施例并且将在下文对其进行描述，但是其他类型的电子设备，诸如但不限于：PDA、寻呼机、移动计算机、桌上型计算机、膝上型计算机、平板计算机、媒体播放器、电视机、游戏设备、相机、录像机、定位设备、电子书、可穿戴设备、投影仪设备、触摸表面、触摸使能墙壁以及其他类型的电子系统也可以采用本文的实施例。

此外，示例实施例的装置无需是整个电子设备，而可以是其他示例实施例中的电子设备的组件或组件组。例如，该装置可能是用于通过执行上文所图示的至少某些功能（诸如图2的控制器130的功能）来进行控制的芯片组或某个其他种类的硬件模块的形式。

处理器602被配置为执行指令并且实现与电子设备600相关联的操作。处理器602可以包括诸如数字信号处理器设备、微处理器设备以及另外的电路之类的用于执行例如包括结合图3至图5所描述的一个或多个功能在内的各种功能的装置。处理器602可以通过使用从存储器重新取回的指令来对电子设备600的组件之间的输入数据和输出数据的接收和处理进行控制。处理器602可以在单片机、多个芯片或多个电气组件上被实现。可以被用于处理器602的架构的一些示例包括专用的或嵌入式处理器以及ASIC。为了简明起见，图6中将处理器602图示为单个框，但是要意识到的是，电子设备600可以包括多个控制子系统（诸如一个或多个I/O子系统、应用处理子系统以及通信协议处理子系统），每个控制子系统可以包括一个或多个控制器。要意识到的是，在处理器602与显示器612之间可以存在实现结合图3至图5在上文中所图示的至少某些特征的专用控制器，诸如调整差异值的差异调整器。

处理器602可以包括用以操作一个或多个计算机程序的功能。计算机程序代码可以存储在存储器604中。至少一个存储器和计算机程序代码可以被配置为与至少一个处理器一起使装置执行例如包括对结合图3至图5所描述的一个或多个功能进行控制的至少一个实施例。例如，处理器602可以被布置为执行图2的控制器130的至少部分功能。通常，处理器602与操作系统一起操作以执行计算机代码并且产生和使用数据。

作为示例，存储器604可以包括诸如EEPROM、闪存存储器等非易失性部分，以及诸如包括用于数据的临时存储的缓存区域的随机访问存储器（RAM）之类的易失性部分。用于控制处理器802功能的信息还可能驻留在可移除存储介质上并且在需要时被加载或安装到电子设备600上。

电子设备600可以包括可与包括发射器和接收器的收发器单元606进行可操作通信的天线（或多个天线）。电子设备600可以采用一个或多个空中接口标准和通信协议来操作。作为说明，电子设备600可以依据若干第一代通信协议、第二代通信协议、第三代通信协议和/或第四代通信协议等中的任意通信协议来操作。例如，电子设备600可以依据如下协议来操作：诸如以太网和数字用户线路（DSL）之类的有线协议，诸如全球移动通信系统（GSM）之类的第二代（2G）无线通信协议，诸如第三代合作伙伴计划（3GPP）的3G协议、CDMA2000、宽带CDMA（WCDMA）和时分同步CDMA（TD-SCDMA）之类的第三代（3G）无线通信协议，诸如3GPP长期演进（LTE）之类的第四代（4G）无线通信协议，诸如802.11之类的无线局域网络协议，诸如蓝牙之类的短程无线协议，等等。

电子设备600的用户接口可以包括诸如扬声器之类的输出设备608，诸如麦克风、小键盘或者一个或多个按钮或致动器之类的一个或多个输入设备610，以及适于讨论中的电子设备600的显示设备612。

输入设备610可以包括触摸感测设备，该触摸感测设备被配置为接收来自用户触摸的输入并且将此信息发送至处理器602。这样的触摸感测设备可以被配置为还识别触摸在触敏表面上的位置和程度。触摸感测设备可以基于包括但不限于如下的感测技术：电容式感测、电阻式感测、表面声波感测、压力感测、电感式感测以及光学感测。此外，触摸感测设备可以基于单点感测或多点感测。在一个实施例中，输入设备是置于显示器612前面的触摸屏幕。

电子设备600还包括有效地耦合至处理器602的具有接近检测器的接近检测系统614（诸如先前说明的系统120）。接近检测系统614被配置为检测手指、触笔或其他指向设备何时接近但不接触计算机系统的包括例如外壳或诸如触摸屏幕之类的I/O设备的某个组件。

电子设备600还可以包括未在图6中图示的另外的单元和元件，诸如另外的接口设备、另外的传感器（例如加速度传感器）、电池、诸如相机之类的媒体捕捉元件、视频和/或音频模块、定位单元以及用户标识模块。

在某些实施例中还可以例如基于检测到的悬停输入由装置100产生诸如听觉的和/或触觉的输出之类的另外的输出。因此，处理器602可以被布置为控制电子设备600中的扬声器和/或诸如振动电机之类的触觉输出致动器以提供此类另外的输出。

图7图示了另一示例方法，其可以由诸如控制器130或处理器602之类的装置来实现。在框710中，接收关于在紧密接近于触摸屏幕表面存在物体的信息。检测当前与物体相关联的显示元素720，该显示元素被可视化为在基本上垂直于屏幕表面的z-方向上从屏幕表面层移位。基于物体与屏幕表面之间的距离适配显示元素730，其中响应于检测到物体触摸触摸屏幕表面，显示元素被可视化为基本上位于触摸屏幕表面层。要意识到的是，可以结合图7的方法应用以上图示的另外的实施例中的至少某些实施例，例如类似于与图3中图示的方法相结合。

本发明的实施例可以以软件、硬件、应用逻辑或者软件、硬件与应用逻辑的组合来实现。在示例实施例中，应用逻辑、软件或指令集被保留在各种常规计算机可读介质中的任何一种上。在本文件的上下文中，“计算机可读介质”可以是可包含、存储、传达、传播或传送指令以由诸如计算机之类（图6中描述并且描绘了计算机的一个示例）的指令执行系统、装置或设备使用或者与其结合使用的任何介质或装置。计算机可读介质可以包括有形的且非瞬态的计算机可读存储介质，该计算机可读存储介质可以是可包含或存储指令以由诸如计算机之类的指令执行系统、装置或设备使用或者与其结合使用的任何介质或装置。

在一个示例实施例中，可以提供有被配置为提供上文所图示的至少某些控制功能的电路或用户接口电路。如在本申请中所使用的，术语“电路”指的是所有以下内容：（a）纯硬件的电路实现方式（诸如以纯模拟和/或数字电路形式的实现方式），以及（b）电路和软件（和/或固件）的组合，诸如（如可适用）：（i）处理器的组合或（ii）处理器/软件的部分（包括一起工作以使诸如移动电话或服务器之类的装置执行各种功能的数字信号处理器、软件和存储器）以及（c）电路，诸如需要软件或固件（即便该软件或固件不是物理上存在的）来工作的微处理器或微处理器的一部分。“电路”的该定义适用于本申请中此术语的所有使用，包括在任何权利要求中的使用。作为如本申请中所使用的另外的示例，术语“电路”还将涵盖纯处理器（或多个处理器）或处理器的一部分以及它的（或它们的）随附的软件和/或固件的实现方式。

若需要，可以以不同的顺序和/或互相并行地执行本文所讨论的至少某些不同功能。此外，若需要，上述功能中的一个或多个功能可以是可选择的或者可以被组合。

虽然在独立权利要求中陈述了本发明的各个方面，但是本发明的其他方面包括来自所述实施例和/或具有独立权利要求的特征的从属权利要求的特征的其他组合，并且并不仅包括在权利要求中明确陈述的组合。

在此还要注意的是，虽然上文描述了本发明的示例实施例，但是这些描述不应当从限制的意义上来看待。恰恰相反，存在可以在不偏离如所附权利要求中所限定的本发明的范围的情况下做出的若干变化和修改。

Claims

1.一种装置，包括：

至少一个处理器；以及

包括计算机程序代码的至少一个存储器，

所述至少一个存储器和所述计算机程序代码被配置为，与所述至少一个处理器一起使所述装置至少：

接收关于在紧密接近于触摸屏幕表面存在物体的信息，

检测当前与所述物体相关联的显示元素，所述显示元素被可视化为在基本上垂直于所述屏幕表面的z-方向上从所述屏幕表面层移位，以及

基于所述物体与所述屏幕表面之间的距离来适配所述显示元素，其中所述显示元素响应于检测到所述物体触摸所述触摸屏幕表面而被可视化为基本上位于所述触摸屏幕表面层。

2.一种装置，包括：

用于接收关于在紧密接近于触摸屏幕表面存在物体的信息的部件，

用于检测当前与所述物体相关联的显示元素的部件，所述显示元素被可视化为在基本上垂直于所述屏幕表面的z-方向上从所述屏幕表面层移位，以及

用于基于所述物体与所述屏幕表面之间的距离来适配所述显示元素的部件，其中所述显示元素响应于检测到所述物体触摸所述触摸屏幕表面而被可视化为基本上位于所述触摸屏幕表面层。

3.根据权利要求1或2所述的装置，其中所述装置被配置为使显示操作基于取决于检测的所述距离的差异值，来适配所述显示元素在所述z-方向上相对于所述屏幕表面层的可视化移位。

4.根据权利要求3所述的装置，其中所述差异值限定所述显示元素的两个图像之间在基本上平行于所述屏幕表面的x-方向上的移位。

5.根据权利要求4所述的装置，其中所述装置被配置为响应于检测到所述物体触摸所述触摸屏幕表面而将所述差异值设置为零。

6.根据前述权利要求中的任一项所述的装置，其中所述装置被配置为将所述显示元素可视化为与所述物体在所述触摸屏幕层的同一侧，以及

所述装置被配置为使显示操作将所述显示元素可视化为与所述物体在同一方向上移动。

7.根据前述权利要求中的任一项所述的装置，其中所述装置被配置为将所述显示元素可视化为相比于所述物体的位置而在所述触摸屏幕层的相对侧，以及

所述装置被配置为使显示操作将所述显示元素可视化为在与所述物体的移动方向相反的方向上移动。

8.根据前述权利要求中的任一项所述的装置，其中所述装置被配置为在三维模式与二维模式之间切换，以及

所述装置被配置为响应于检测到所述物体触摸所述触摸屏幕表面而改变成二维模式。

9.根据前述权利要求中的任一项所述的装置，其中所述装置被配置为检测所述物体对显示元素的一部分的虚拟触摸，以及

所述装置被配置为响应于检测到所述虚拟触摸而将所述显示元素检测为目标显示元素。

10.根据前述权利要求中的任一项所述的装置，其中所述装置是包括所述触摸屏幕的移动通信设备。

11.一种方法，包括：

由装置接收关于在紧密接近于触摸屏幕表面存在物体的信息，

12.根据权利要求11所述的方法，其中显示操作被控制以基于取决于检测的所述距离的差异值来适配所述显示元素在所述z-方向上相对于所述屏幕表面层的可视化移位。

13.根据权利要求12所述的方法，其中所述差异值限定所述显示元素的两个图像之间在基本上平行于所述屏幕表面的x-方向上的移位。

14.根据权利要求13所述的方法，其中所述差异值响应于检测到所述物体触摸所述触摸屏幕表面而被设置为零。

15.根据前述权利要求11至14中的任一项所述的方法，其中所述显示元素被可视化为与所述物体在所述触摸屏幕层的同一侧，以及

使显示操作将所述显示元素可视化为与所述物体在同一方向上移动。

16.根据前述权利要求11至14中的任一项所述的方法，其中所述显示元素被可视化为相比于所述物体的位置而在所述触摸屏幕层的相对侧，以及

使显示操作将所述显示元素可视化为在与所述物体的移动方向相反的方向上移动。

17.根据前述权利要求11至16中的任一项所述的方法，其中所述装置响应于检测到所述物体触摸所述触摸屏幕表面而从三维模式切换至二维模式。

18.根据前述权利要求11至17中的任一项所述的方法，检测所述物体对显示元素的一部分的虚拟触摸，以及

所述显示元素响应于检测到所述虚拟触摸而被检测为目标显示元素。

19.一种用于电子设备的用户接口，所述电子设备包括用于检测在紧密接近于屏幕表面存在输入物体的接近检测系统，其中所述用户接口被配置为：

检测在紧密接近于触摸屏幕表面存在物体，

20.一种计算机程序产品，包括计算机可读介质，所述计算机可读介质承载其中包含的用于与计算机一起使用的计算机程序代码，所述计算机程序代码包括用于使所述计算机执行根据权利要求11至18中的任一项所述的方法的代码。