CN103261997A - 用于控制显示的信息的用户输入的装置和方法 - Google Patents

用于控制显示的信息的用户输入的装置和方法 Download PDF

Info

Publication number
CN103261997A
CN103261997A CN2011800598768A CN201180059876A CN103261997A CN 103261997 A CN103261997 A CN 103261997A CN 2011800598768 A CN2011800598768 A CN 2011800598768A CN 201180059876 A CN201180059876 A CN 201180059876A CN 103261997 A CN103261997 A CN 103261997A
Authority
CN
China
Prior art keywords
input
virtual level
hovering
detect
detects
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2011800598768A
Other languages
English (en)
Other versions
CN103261997B (zh
Inventor
M·尼尔米
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nokia Technologies Oy
Original Assignee
Nokia Oyj
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nokia Oyj filed Critical Nokia Oyj
Publication of CN103261997A publication Critical patent/CN103261997A/zh
Application granted granted Critical
Publication of CN103261997B publication Critical patent/CN103261997B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16Constructional details or arrangements
    • G06F1/1613Constructional details or arrangements for portable computers
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/041012.5D-digitiser, i.e. digitiser detecting the X/Y position of the input means, finger or stylus, also when it does not touch, but is proximate to the digitiser's interaction surface and also measures the distance of the input means within a short range in the Z direction, possibly with a separate measurement setup
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048Indexing scheme relating to G06F3/048
    • G06F2203/04808Several contacts: gestures triggering a specific function, e.g. scrolling, zooming, right-click, when the user establishes several contacts with the surface simultaneously; e.g. using several fingers or a combination of fingers and pen

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)

Abstract

根据本发明的示例性实施例,提供一种用于基于近距离的输入的方法,包括:检测紧邻输入表面的对象的存在(300),基于对象至输入表面的距离检测显示的当前与对象关联的虚拟层(310),检测由对象进行的悬停输入(320),并且根据检测的悬停输入引起显示操作移动关联的虚拟层的至少一部分(330)。

Description

用于控制显示的信息的用户输入的装置和方法
技术领域
本发明涉及用于控制显示的信息的用户输入的装置和方法。
背景技术
触摸屏被广泛用于许多便携式电子设备中,例如用于PDA(个人数字助理)设备、桌面设备、触摸表面设备和移动设备。触摸屏可以通过定点设备(或触笔)和/或通过手指来操作。设备通常还包括用于某些操作的常规的按键。
能够显示立体的图像的3D显示器已经被开发用于便携式和手持式设备。立体显示器可以用于将用户感知到的UI项显示为三维(3D)图像。3D显示器的引入也给用户交互设计带来了新的挑战和可能性。
发明内容
本发明的示例的各个方面在权利要求中阐述。
根据一个方面,提供一种装置,包括至少一个处理器;以及至少一个包括计算机程序代码的存储器,该至少一个的存储器和计算机程序代码被配置成,与至少一个的处理器一起,引起装置至少执行:检测紧邻输入表面的对象的存在,基于对象至输入表面的距离来检测显示的当前与对象关联的虚拟层,检测由对象进行的悬停输入,并且根据检测的悬停输入引起显示操作以移动关联的虚拟层的至少一部分。
根据一个方面,提供一种方法,包括:检测紧邻输入表面的对象的存在,基于对象至输入表面的距离来检测显示的当前与对象关联的虚拟层,检测由对象进行的悬停输入,并且根据检测的悬停输入引起显示操作以移动关联的虚拟层的至少一部分。
根据示例实施例,根据悬停输入适配层的至少一部分至输入表面的距离。
根据另一示例实施例,基于检测的悬停输入检测显示模式在二维模式和三维模式之间的改变,并且根据检测的显示模式的改变控制二维视图或三维视图的显示。
本发明和本发明的各个实施例提供了若干优点,其将从以下具体实施方式中变得明显。
附图说明
为了更加完整地理解本发明的示例实施例,现在将结合附图来对以下描述做出参考,其中:
图1a和图1b图示了根据示例实施例的对虚拟层的操纵;
图2是根据本发明的示例实施例的装置的侧视图的简化框图;
图3和图4图示了根据本发明的示例实施例的方法;
图5和图6图示了根据本发明的一些示例实施例的基于悬停输入对虚拟层的外观进行适配的侧视图;
图7a和图7b图示了根据示例实施例的对虚拟层的外观进行适配的顶视图;
图8图示了根据示例实施例的方法;
图9、图10、图11a、图11b、图12和图13图示了根据一些示例实施例的基于悬停输入对虚拟层的外观进行适配的侧视图;
图14图示了根据示例实施例的方法;以及
图15图示了根据本发明的示例实施例的电子设备。
具体实施方式
图1图示了虚拟三维空间的虚拟层2a、虚拟层2b、虚拟层2c的显示。虚拟层2a至虚拟层2c可以由立体显示器显示,以便看上去像是被定位在显示表面3之上。虚拟层通常指可以至少部分地重叠的一组分层的或堆叠的3D分层或视图中的分层或视图。虚拟层还可以称为3D层,并且被认为有助于显示的3D空间幻象。虚拟层可以仅覆盖显示区域的一部分,并且单独的虚拟层可以应用于覆盖显示器的不同区域。虚拟层可以显示多个2D和/或3D图形用户接口(GUI)项,其可以是至少部分地透明。将理解虚拟层可以具有各种形式,并且在一些实施例中,它们的形状可以被用户修改。
在示例实施例中,悬停用于控制一个或多个虚拟层2a至虚拟层2c的外观和/或位置。悬停通常指与输入表面3(诸如触摸屏的输入表面)紧邻但不接触的输入对象1(诸如手指或触笔)的引入。在显示的3D视图的虚拟层2a至虚拟层2c之中,当前与对象关联的层2a可以在对象1至输入表面3的距离4的基础之上被检测。将从广义上对此进行理解,并且可以例如包括基于特定的估计的距离值或基于取决于对象的距离的信号值的检测。
可以根据检测的悬停输入对引起关联的虚拟层的至少一部分的图示的移动的显示操作进行控制。例如可以仅仅基于感应的与虚拟层关联的输入对象1的移动检测与虚拟层2a关联的悬停输入,或者还可以要求由输入对象进行的某个另外的特殊手势。这些特征通过使用输入表面3上的空间来使得许多直观交互选项操纵3D显示视图。虚拟层可以被可视化,以对真实的对象(诸如用户的手指)做出反应,从而能够增强用户的3D感觉。
如图1b的示例中所表明的,可以基于被检测为悬停输入的进一步的手指移动操纵关联的层2a,例如通过改变关联的层2a的方位并且使层更靠近5另一层2b。
图2图示了示例装置100,其中可以提供基于悬停的虚拟层控制。装置100可以是外围设备或者集成在电子设备中。电子设备的示例包括任意消费电子设备,如计算机、媒体播放器、无线通信终端设备等。
装置100包括近距离检测系统或单元120,其被配置成检测何时输入对象1被带至紧邻但不接触输入表面112。输入表面112可以是能够检测用户输入的设备的触摸屏或其他输入装置的表面。
感应区域140,也可以称为悬停区域,可以示出检测到悬停输入对象1和悬停输入所在的大概区域和/或距离。至少部分地基于输入对象1未触摸输入表面112检测在悬停区域140中的用户输入(诸如特殊的检测的手势)称为悬停输入。此类悬停输入与至少一个功能关联,例如选择UI项、选择虚拟层、放大显示区域、激活弹出菜单、修改UI项或虚拟层、或者移动虚拟层。可以基于感应信号或输入对象1至输入表面112的距离150达到预定的阈值来检测悬停输入对象1和悬停输入。在一些实施例中,悬停区域140还实现甚至在没有触摸输入表面112的情况下输入和/或访问装置100中的数据。
在一些实施例中,检测系统120通过一个或多个近距离传感器122产生感应场。在一个示例实施例中,应用电容近距离检测系统,因此传感器122是电容感应节点。对感应场中的一个或多个输入对象100的干扰进行监视,并且基于检测的干扰来检测一个或多个对象的存在。电容检测电路120检测触摸屏110的表面之上的电容的改变。
然而,将理解这些特征并不限于任何特殊类型的近距离检测的应用。近距离检测系统120可以基于红外近距离检测、光暗影检测、声发射检测、超声检测或任何其他合适的近距离检测技术。例如,在近距离检测系统120将基于红外检测的情况下,系统将包括一个或多个发送红外光脉冲的发射器。将提供一个或多个检测器,用于检测该光从附近的对象100的反射。如果系统检测到反射的光,那么就假定存在输入对象。
检测系统120可以被安排用于估计(或提供信号,该信号能够估计)从输入表面112到输入对象1的距离,其能够提供对象1关于输入表面112的位置的z坐标数据。近距离检测系统120还可以被安排用于产生与对象1的x,y位置有关的信息,以便能够确定悬停输入的目标UI项或区域。x和y方向通常基本上与输入表面112平行,并且z方向基本上与输入表面112垂直。根据所应用的近距离检测技术、装置100的尺寸和输入表示112、以及期望的用户交换,悬停区域140例如可以被安排成从输入表面112以从若干毫米到甚至高达几十厘米中所选择的距离来延伸。近距离检测系统120可以实现对用户的手的其他部分的检测,并且系统可以被安排用于识别错误输入并且避免进一步的动作。
虚拟层可以由显示器110显示在悬停区域140中。在一些实施例中,近距离检测系统120被提供在包括触摸屏显示器的装置中。因此,显示器110可以是触摸屏显示器,其包括多个触摸敏感检测器114,用于感应至触摸屏输入表面的触摸输入。
装置100可以包括能够显示立体视图的立体显示器。立体显示器可以被安排用于在一个或多个虚拟层(诸如图1a和1b中示出的虚拟层2a至虚拟层2c)上生成3D图像。立体显示器可以将来自图像的某些子像素的信息导向不同的方向,使得观看者可以用每个眼睛看到不同的画面。如果画面足够相似,则人类大脑将假定观看者正在看着单个对象,并且将两个画面上的匹配点融合在一起,以创建感知的单个对象。用于3D图像的数据可以例如通过拍摄多个二维图像并且通过将图像的像素和单个图像的亚像素结合起来获得,用于呈现在立体显示器上。在一个备选方案中,被布置成相对于彼此具有较小的预先规定的距离的两个摄像机拍摄二维图像,用于3D呈现。每个摄像机可以包括针对捕获的图像应用图像处理的图像链。立体显示系统还可以包括用户成像设备和眼位置追踪功能。显示器110可以具有特定的2D和3D模式,并且系统能够在这些模式之间切换。根据所期望的实现和所应用的立体显示技术,显示器110(其在一些实施例中是触摸屏)可以被安排成提供立体显示特征,或者立体显示器的元件可以至少部分地与触摸屏显示器110分离(未在图2中明确示出)。在一个实施例中,立体显示器是自由立体显示器,并且虚拟层是自由立体视图,其通常指不要求用户使用特定眼镜的UI项的立体呈现。可以应用各种自由立体显示器,例如基于视差光栅和/或晶状体透镜或者应用全息照相技术和/或眼部追踪技术的自由立体显示器。
近距离检测系统120被耦合至控制器130。近距离检测系统120被配置成当在悬停区域140中检测到输入对象1时,向控制器130提供信号。基于此类输入信号,命令、选择和其他类型的动作可以被启动,通常对用户造成可视的、可听的和/或触觉的反馈。至触摸感应检测器114的触摸输入可以经由控制电路被用信号传递至控制器130,或另一控制器。
控制器130还可以被连接至一个或者多个输出设备,诸如带有3D显示器特征的触摸屏显示器和/或独立的3D显示单元。控制器130可以被配置成控制显示器110上的不同应用视图。控制器130可以基于来自近距离检测系统120和触摸敏感检测器114的信号来检测触摸输入和悬停输入。控制器130然后可以控制与检测的触摸输入或悬停输入关联的显示功能。进一步,控制器130可以被安排成检测当前与悬停对象1关联的虚拟层,并且根据检测的悬停输入引起显示操作来移动关联的层的至少一部分。下文说明了可以至少部分地由控制器130执行的另外特征的一些示例。将理解控制器130功能可以由单个控制单元或多个控制单元实现。
将理解装置100可以包括各种其他的此处未进行详细讨论的元件。尽管装置100和控制器130被描绘为单个实体,但是不同的特征可以被实现在一个或多个物理的或逻辑的实体中。例如,可以提供芯片组装置,其被配置成执行控制器130的控制特征。可以存在另外的特定功能模块,例如用于执行结合图3、图4、图8和图14描述的一个或多个块。在一个示例变化中,近距离检测系统120和输入表面112与显示器110分开放置,例如,在手持式电子设备的侧面或背面(考虑到显示器的位置)。
图3示出了用于根据示例实施例的基于悬停对虚拟层的操纵进行控制的方法。该方法可以例如由控制器130应用为控制算法。
检测300紧邻输入表面的对象的存在。基于对象至输入表面的距离,在立体显示器的至少两个虚拟层之中检测310当前与对象关联的图层。
检测320由对象进行的悬停输入。将理解可以基本上同时检测悬停输入和当前关联的层,或者用户可以仅在块310后的一段时间执行悬停输入。另外,在图3的一个示例变化中,在悬停输入的检测之后检测(320)关联的层。
根据检测的悬停输入引起330显示操作移动关联的层的至少一部分。另外参考图1的示例,装置100可以因此被安排用于适配显示器,以显示选择的层2a在方向x、方向y、方向z中的一个或多个中移动。例如,层2a的至少一部分至输入表面的相对距离根据悬停输入来适配。因此,虚拟层可以被安排成对手指移动做出反应,并且可以向用户提供一种层随着手指移动的感觉。针对选择的层的各种动作可以与对象1在方向x、方向y、方向z中的一个或多个中的移动关联。一些进一步的示例在下文进行说明。
装置100可以被配置成检测悬停手势。在一个示例实施例中,块320中的装置被配置成检测与至少一个虚拟层1a关联的悬停手势。可以根据悬停手势控制330图层的至少一部分的选择和/或显示。例如,装置100可以被安排用于检测与虚拟层关联的旋转或双击。
在一些示例实施例中,如图4中所图示的,装置100被配置成检测400对象1在与输入表面3平行的x,y方向中的侧向位置。层的至少一部分的移动可以根据检测的侧向位置来控制400。图1a、图1b、图5、图6、图7a和图7b图示了一些示例,其中对象的x,y位置影响关联的虚拟层的可视化移动。
例如,参考图5,当悬停移动在层2的中央部分500之内被检测时,选择整个层并且控制显示操作以显示510整个层2朝输入表面的移动。在一个实施例中,可以通过选择整个层的悬停动作来将层2a朝另一层2b移动,并且层可以被带至到相同的分层。装置100还可以被安排用于通过逆向悬停输入来可视化3D视图分离到不同的分层。
在一个示例实施例中,如图6、图7a和图7b中所示的,装置100被配置成引起层2的一部分接近610、620输入表面。此外,倾斜操作700可以在检测到的对象的侧向位置600的基础之上被安排用于层2。例如,层2可以提供3D城市地图视图。响应于手指从层2的一侧朝输入表面的手指悬停,地图视图可以从一侧倾斜,并且地图可以水平地滚动,因此使用户可以很容易地改变地图视图方位并且还可以随着倾斜揭示更多的地图区域而看见地图的更多部分。
将理解部分或整个层2可以被选择并且被可视化为远离输入表面3、112移动,以便形成层跟随后退的对象的感觉。
在另一示例实施例中,如图8中所图示的,装置100被配置成检测800对象实质上触摸虚拟层的一部分。响应于在检测实质触摸之后检测推动悬停动作,即对象接近810输入表面,装置可以被配置成适配820层的至少一部分的形式。层(的一部分)的形式可以被适配成模拟对对象推动图层的至少一部分的响应。因此,层可以被可视化为弯曲并且部分地朝输入表面后退,例如如图10中所图示的。
各种动作可以与整个或部分的虚拟层2的移动关联。作为一些进一步的示例,可以向被用户悬停的虚拟层执行放大、旋转或拉伸操作。在另一示例中,虚拟层2a至虚拟层2c可以通过选择整个层并且将其关于其他层移动来重新排序。
在一些示例实施例中,装置100被配置成基于与悬停区域140中的输入对象1的移动关联的其他属性来控制(330)虚拟层显示操作。
在一个另外的示例实施例中,装置100被配置成估计对象1的移动速度,并且根据检测的速度来选择适配(330)层外观的显示操作。可以存在一个或多个阈值参数,其影响取决于对象移动的速度对显示操作的选择。例如,在图9中,手指1可以是较慢地接近输入表面,从而显示器被更新为可视化整个层2的移动。在图10的示例中,手指可以较快地接近输入表面移动(例如,在给定的阈值以上),并且响应于较快的悬停速度,层2可以被可视化为弯曲1000。
在一些示例实施例中,输入表面3和显示虚拟层的显示器被布置在手持式电子设备的相对面。例如,输入表面可以被提供在手持电子设备的后盖。近距离检测系统可以被安排用于检测在背面的用户悬停输入,并且用户可以在没有手指妨碍3D视图的情况下通过悬停动作控制虚拟层。在另一示例中,装置100可以被安排用于支持甚至是同时地来自设备的两面的悬停输入。例如,用户可以因此在设备的两面使用手指同时控制在显示器前面和后面可视化的虚拟层。
在一个示例实施例中,虚拟层被可视化为延伸或定位在电子设备的背面中(考虑到在设备前面的显示器)。如图11a的示例中所图示的,虚拟层2可以可视化为位于设备的背面。近距离检测系统可以被安排用于检测在设备的背面的对象以及虚拟层被安排用于接近表面1110上的对象1100。如图11b的示例中所图示的,响应于设备进一步接近表面,至少一部分的虚拟层被移动并且因此虚拟层的外观被适配为对对象1100实质上触摸虚拟层做出反应。例如,对象1100的位置可以被检测并且虚拟层2的关联区域可以被可视化为弯曲。
在一些示例实施例中,根据与层或层的一个或多个图形用户接口项目关联的一个或多个物理属性来控制层2a至层2c的至少一部分的移动和/或外观。在一个实施例中,不同的层2a至层2c可以与不同的厚度关联,并且对悬停输入的可视化层适配可以取决于厚度。例如,参考图12,悬停输入推动与较大厚度值关联的层2b导致显示层在不改变其外形的情况下移动。然而,在图13的示例中,响应于与带有较小厚度值的层2c关联的相似悬停输入,层2c被可视化为弯曲1300。
在另一示例实施例中,虚拟层2a至虚拟层2c可以与特殊的材质关联,一个或多个属性与材质关联。因此,虚拟层可以与不同的特定重量、弯曲性能和/或拉伸性能等关联。可以基于所述的层的属性来选择图3的块330中的显示操作。
在一些示例实施例中,基于与一个或多个层2a至层2c关联的悬停输入来检测显示模式在2D模式和3D模式之间的改变。装置100可以被配置成根据检测的悬停输入来控制显示转换为2D视图或3D视图。
在一个示例实施例中,如图14中所图示的,装置100被配置成检测1400对整个层的选择,例如,响应于检测到对象实质上触摸层的中央部分。响应于检测1410朝输入表面(诸如触摸屏)的(在一个实施例中,继对输入表面的触摸之后的)推动悬停动作,控制1420显示模式从3D模式到2D模式的改变。用户然后可以仅仅通过触摸显示屏进行输入。这向用户提供了直观的方式来开启或关闭3D模式。并且从2D到3D的改变可以至少部分地基于悬停输入来触发。例如,当用户抬起显示表面上的手指时,虚拟层被显示。当装置100被放在表面上(虚拟层变平)或举离表面时,可以安排相似的显示操作。
在一些示例实施例中,确定与检测的悬停输入关联的输入对象1的属性,并且它们可以应用于控制步骤330中的显示操作。例如,装置100可以被安排用于检测是否手掌被带至悬停区域,并且可以控制和与手指关联的显示操作不同的显示操作。在进一步的示例中,虚拟层仅在感应到手掌接近输入表面时才可以被移除(并且显示模式可以被改变成2D模式)。因此,对象的尺寸可以用于响应于悬停来调整虚拟层的外观。
近距离检测系统120可以被安排用于检测两个或更多对象1的同时的或结合的使用。在一个示例实施例中,响应于检测到两个或更多的手指悬停在输入表面之上来检测关联的层和/或悬停输入。在另一实施例中,虚拟层2a至虚拟层2c的外观可以通过两个或更多的手指来同时修改。
在一个实施例中,不同的悬停功能被分配给(至少两个)不同的手指。装置100可以然后被安排用于支持手指识别,例如,基于来自近距离检测系统和/或另外的传感器的可用的信息。例如,两个悬停手指可以引起虚拟层2比使用一个手指的相似的悬停移动弯曲更多。基于在悬停区域140中检测到手指的移动,装置100可以被安排用于估计由每个手指施加的(虚拟的)力,对估计的力进行求和,并且例如根据组合的力来弯曲虚拟层。例如以上结合图3、图4和图8描述的特征可以分别应用于每个检测到的手指或手指的组合。
作为进一步的示例,检测到的悬停区域的尺寸可以用于影响对显示操作的控制330。仍在一个另外的示例中,装置100被安排用于检测对象1在悬停区域140中的移动方向,即悬停方向。悬停方向可以影响对针对关联的虚拟层的显示操作的控制330。将理解两个或更多的上述示例情况可以用于影响显示操作。例如,在块330中可以考虑移动的速度和手指的数量。
除了以上已经说明的实施例之外,广泛的更多功能可用于被选择成关联于被触摸敏感检测系统和/或近距离检测系统120检测的输入。控制器130可以被配置成例如根据装置100的当前操作状态、用户输入或在装置100中执行的应用来适配关联。例如,关联可以是应用特定的、菜单特定的、视图特定的和/或内容(可以基于从当前环境或对装置100的使用获得的信息来定义的)特定的。
图15示出了根据示例实施例的电子设备1500的结构的框图。电子设备可以包括装置100。尽管对电子设备1500的一个实施例进行了说明并且将为了示例目的在下文进行描述,其他类型的电子设备,诸如但不限于,PDA、寻呼机、移动计算机、平板计算机、媒体播放器、电视机、游戏设备、摄像机、录像机、定位设备、电子书、可佩戴设备、投影设备、触摸表面、触摸墙以及其他类型的电子系统,可以使用本实施例。
另外,示例实施例的装置无需是完整的电子设备,而可以在其他示例实施例中是电子设备的部件或部件组。例如,装置可以是用于通过执行至少某些上述功能(诸如图2的控制器130的功能)来控制的芯片集或一些其他类型的硬件模块形式。处理器1502被配置成执行指令并且实施与电子设备1500关联的操作。处理器1502可以包括用于执行例如包括一个或多个结合图1至图14描述的功能的各种功能的装置,诸如数字信号处理设备、微处理器设备以及其他的电路系统。处理器1502可以通过使用从存储器获取的指令来控制电子设备1500的部件之间的输入数据和输出数据的接收和处理。处理器1502可以实现在单个芯片、多个芯片或多个电子部件上。可用于处理器1502的架构的一些示例包括专用的或嵌入式的处理器,以及ASIC。为了简明目的,处理器1502在图15中被图示为单个块,但是将理解电子设备1500可以包括多个控制子系统,诸如I/O子系统、应用处理子系统和通信协议处理子系统中的一个或多个,其中的每一个都可以包括一个或多个控制器。
处理器1502可以包括操作一个或多个计算机程序的功能。计算机程序代码可以存储在存储器1504中。至少一个的存储器和计算机程序代码可以被配置成,与至少一个处理器一起,引起装置执行至少一个实施例,包括例如控制以上结合图1至图14描述的功能中的一个或多个。例如,处理器1502可以被安排用于执行图2的控制器130的功能的至少一部分。通常处理器1502与操作系统一起操作,以执行计算机代码并且产生且使用数据。
通过示例的方式,存储器1504可以包括非易失性部分,诸如EEPROM、闪速存储器等,以及易失性部分,诸如包括用于临时存储数据的高速缓存区域的随机存取存储器(RAM)。用于控制处理器802的功能的信息还可以驻留在可移动存储介质上,并且在需要时被加载在或者安装在电子设备1500上。
电子设备1500可以包括天线(或多个天线),其与包括发送器和接收器的收发器单元1506可操作地通信。电子设备1500可以以一个或多个空中接口标准和通信协议操作。举例来说,电子设备1500可以根据第一代通信协议、第二代通信协议、第三代通信协议和/或第四代通信协议等任意若干的通信协议来进行操作。例如,电子设备1500可以根据有线协议,诸如以太网和数字用户线路(DSL),根据第二代(2G)无线通信协议,诸如全球移动通讯系统(GSM),根据第三代(3G)无线通信协议,诸如第三代合作伙伴计划(3GPP)的3G协议、CDMA2000、宽带CDMA(WCDMA)和时分同步CDMA(TD-CDMA),并且根据第四代(4G)无线通信协议,诸如3GPP长期演进技术(LTE),无线局域网协议,诸如820.11,近程无线协议,诸如蓝牙等进行操作。
电子设备1500的用户接口可以包括适用于所讨论的电子设备1500的输出设备1508,诸如扬声器,一个或多个输入设备1510,诸如麦克风、小键盘或者一个或多个按钮或致动器,以及显示设备1512。
输入设备1510可以包括触摸感应设备,其被配置成接收来自用户触摸的输入和发送该信息至处理器1502。此类触摸感应设备还可以被配置成也识别触摸感应表面上的触摸的位置和量级。触摸感应设备可以基于感应技术,包括但不限于电容感应、电阻感应、表面声波感应、压力感应、电感感应和光感应。此外,触摸感应设备可以基于单点感应或者多点感应。在一个实施例中,输入设备是触摸屏,其定位在显示器1512的前面。
电子设备1500还包括带有近距离检测器的近距离检测系统1514,诸如更早示出的系统120,其可操作性地耦合至处理器1502。近距离检测系统1514被配置成检测何时手指、触笔或其他定点设备紧邻但不接触计算机系统的某个部件,例如包括机壳或I/O设备,诸如触摸屏。
电子设备1500还可以包括其他的未在图15中图示的单元和元件,诸如其他的接口设备、其他的传感器(例如,加速度传感器)、电池、媒体捕获元件诸如摄像机、视频和/或音频模块、定位单元和用户识别模块。
在一些实施例中,其他的输出,诸如可听的和/触觉的输出还可以由装置100例如在检测的悬停输入的基础之上产生。因此,处理器1502可以被安排用于在电子设备1500中控制扬声器和/或触觉的输出致动器,诸如震动电机,以提供此类的其他输出。
本发明的实施例可以在软件、硬件、应用逻辑或软件、硬件和应用逻辑的组合中实现,在示例实施例中,应用逻辑、软件或指令集被维持在各种常规的计算机可读介质的任意一个上,在本文档的背景中,“计算机可读介质”可以是能够包含、存储、通信、传播或运输由指令执行系统、装置或设备(诸如计算机,例如图15中描述并描绘的计算机的一个例子)使用或结合指令执行系统、装置或设备使用的指令的任意介质或装置。计算机可读介质可以包括有形的且非瞬态的计算机可读存储介质,其可以是能够包含或存储由指令执行系统、装置或设备(诸如计算机)使用或结合指令执行系统、装置或设备使用的指令的任意介质或装置。
在一个示例实施例中,可以提供电路或用户接口电路,其被配置成提供至少一些以上示出的控制功能。当在本申请中使用时,术语“电路”指以下全部:(a)仅硬件电路实现(诸如仅在模拟和/或数字电路中的实现)以及(b)电路和软件(和/或固件)的组合,诸如(如可用于):(i)处理器的组合或(ii)处理器/软件的部分(包括一起工作以引起诸如移动电话或服务器的装置执行各种功能的数字信号处理器、软件和存储器)以及(c)电路,诸如微处理器或微处理器的一部分,其要求软件或固件来操作,即使是软件或固件并非物理地存在。“电路”的该定义适用于本申请中的所有本术语的使用,包括在任意的权利要求中的使用。作为进一步的示例,如在本申请中使用的,术语“电路”也将覆盖仅仅处理器(或多处理器)或处理器的部分及它的(或它们的)附随软件和/或固件的实现。
若有需要,则此处讨论的至少一些不同的功能可以以不同的顺序和/或彼此同时地执行。另外,若有需要,则上述功能的一个或多个是可选的或是可组合的。
尽管在独立权利要求中阐述了本发明的各个方面,但是本发明的其他方面包括了来自所描述的实施例和/或附属权利要求的特征与独立权利要求的特征的组合,而并非仅仅包括权利要求中明确阐述的组合。
此处还注意到尽管上文描述了本发明的示例实施例,但是不应在限制的意义上考虑这些描述。反而,可以在不脱离在所附权利要求中限定的本发明的范围的情况下做出若干变化和修改。

Claims (26)

1.一种装置,包括:
至少一个处理器;以及
至少一个存储器,其包括计算机程序代码,
至少一个所述存储器和所述计算机程序代码被配置成与至少一个所述处理器一起,引起所述装置至少:
检测紧邻输入表面的对象的存在,
基于所述对象至所述输入表面的距离来检测显示的当前与所述对象关联的虚拟层,
检测由所述对象进行的悬停输入,以及
根据检测的所述悬停输入引起显示操作移动关联的所述虚拟层的至少一部分。
2.一种装置,包括:
近距离检测系统,其带有用于检测紧邻输入表面的输入对象的存在的至少一个近距离检测器,以及
可操作地连接至所述近距离检测系统的控制器,所述控制器被配置成:
检测紧邻输入表面的对象的存在,
基于所述对象至所述输入表面的距离来检测显示的当前与所述对象关联的虚拟层,
检测由所述对象进行的悬停输入,以及
根据检测的所述悬停输入引起显示操作移动关联的所述虚拟层的至少一部分。
3.一种装置,包括:
用于检测紧邻输入表面的对象的存在的装置,
用于基于所述对象至所述输入表面的距离来检测显示的当前与所述对象关联的虚拟层的装置,
用于检测由所述对象进行的悬停输入的装置,以及
用于根据检测的所述悬停输入引起显示操作移动关联的所述虚拟层的至少一部分的装置。
4.根据前述权利要求中的任意项所述的装置,其中所述装置被配置成根据所述悬停输入适配所述层的至少一部分至所述输入表面的所述距离。
5.根据前述权利要求中的任意项所述的装置,其中所述装置被配置成基于检测的所述悬停输入来检测显示模式在二维模式和三维模式之间的改变,并且
所述装置被配置成根据检测的显示模式的所述改变,控制二维视图或三维视图的显示。
6.根据权利要求5所述的装置,其中所述装置被配置成基于检测到所述悬停对象选择整个所述虚拟层并且检测到在选择所述虚拟层后所述对象触摸所述输入表面,来检测显示模式从所述三维模式到所述二维模式的改变。
7.根据前述权利要求中的任意项所述的装置,其中所述装置被配置成检测所述对象在与所述输入表面平行的x,y方向中的侧向位置,并且
所述装置被配置成根据检测的所述侧向位置,控制所述虚拟层的至少一部分的所述移动。
8.根据权利要求7所述的装置,其中所述装置被配置成基于检测的所述对象的所述侧向位置,引起针对所述虚拟层的倾斜操作。
9.根据前述权利要求中的任意项所述的装置,其中所述装置被配置成检测所述对象的移动速度,并且根据检测的速度选择针对所述虚拟层的所述显示操作。
10.根据前述权利要求中的任意项所述的装置,其中所述装置被配置成响应于检测到两个或多个手指悬停在所述输入表面之上,来检测关联的所述虚拟层和/或所述悬停输入。
11.根据前述权利要求中的任意项所述的装置,其中所述装置被配置成检测所述对象实质上触摸所述虚拟层的一部分,并且
响应于在检测到所述实质触摸之后检测到所述对象进一步接近所述输入表面,所述装置被配置成适配所述虚拟层的一部分的外形以模仿对推动对象的反应。
12.根据前述权利要求中的任意项所述的装置,其中所述装置被配置成根据与所述虚拟层关联的一个或多个物理属性或所述虚拟层的一个或多个图形用户接口项,控制所述虚拟层的至少一部分的所述移动和/或外观。
13.根据前述权利要求中的任意项所述的装置,其中所述输入表面和显示所述虚拟层的显示器被布置在手持式电子设备的相对面。
14.根据前述权利要求中的任意项所述的装置,其中所述装置是包括触摸屏的移动通信装置。
15.一种方法,包括:
检测紧邻输入表面的对象的存在,
基于所述对象至所述输入表面的距离来检测显示的当前与所述对象关联的虚拟层,
检测由所述对象进行的悬停输入,以及
根据检测的所述悬停输入引起显示操作移动所述关联的虚拟层的至少一部分。
16.根据权利要求15所述的方法,其中根据所述悬停输入适配所述层的至少一部分至所述输入表面的所述距离。
17.根据权利要求15或16所述的方法,其中基于检测的所述悬停输入检测显示模式在二维模式和三维模式之间的改变,并且
根据检测的显示模式的所述改变控制二维视图或三维视图的显示。
18.根据权利要求15-17中的任意一项所述的方法,其中基于检测到所述悬停对象选择整个所述虚拟层并且检测到在选择所述虚拟层后所述对象触摸所述输入表面,来检测显示模式从所述三维模式到所述二维模式的改变。
19.根据权利要求15-18中的任意一项所述的方法,其中检测所述对象在与所述输入表面平行的x,y方向中的所述侧向位置,并且
根据检测的所述侧向位置控制所述虚拟层的至少一部分的所述移动。
20.根据权利要求15-19中的任意一项所述的方法,其中基于检测的所述对象的侧向位置,引起针对所述虚拟层的倾斜操作。
21.根据权利要求15-20中的任意一项所述的方法,其中检测所述对象的移动速度,并且
根据检测的所述速度选择针对所述虚拟层的所述显示操作。
22.根据权利要求15-21中的任意一项所述的方法,其中响应于检测到两个或多个手指悬停在所述输入表面之上,来检测关联的所述虚拟层和/或所述悬停输入。
23.根据权利要求15-22中的任意一项所述的方法,其中检测到所述对象实质上触摸所述虚拟层的一部分,并且
响应于在检测到所述实质触摸之后检测到所述对象进一步接近所述输入表面,所述虚拟层的一部分的外形被适配成模仿对推动对象的反应。
24.根据权利要求15-23中的任意一项所述的方法,其中根据与所述虚拟层关联的一个或多个物理属性或者所述虚拟层的一个或多个图形用户接口项,控制所述虚拟层的至少一部分的所述移动和/或外观。
25.一种用于电子设备的用户接口,该电子设备包括用于检测紧邻输入表面的输入对象的存在的近距离检测系统,其中所述用户接口被配置成:
基于所述对象至所述输入表面的距离来检测显示的当前与所述对象关联的虚拟层,
检测所述对象进行的悬停输入,以及
根据检测的所述悬停输入引起显示操作移动关联的所述虚拟层的至少一部分。
26.一种计算机程序产品,包括计算机可读介质,该计算机可读介质承载包括在其中的与计算机一起使用的计算机程序代码,所述计算机程序代码包括用于引起所述计算机执行根据权利要求15-24中的任意一项所述的方法的代码。
CN201180059876.8A 2010-10-21 2011-10-07 用于控制显示的信息的用户输入的装置和方法 Active CN103261997B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US12/909,499 US9043732B2 (en) 2010-10-21 2010-10-21 Apparatus and method for user input for controlling displayed information
US12/909,499 2010-10-21
PCT/FI2011/050866 WO2012052612A1 (en) 2010-10-21 2011-10-07 Apparatus and method for user input for controlling displayed information

Publications (2)

Publication Number Publication Date
CN103261997A true CN103261997A (zh) 2013-08-21
CN103261997B CN103261997B (zh) 2017-02-15

Family

ID=45974054

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201180059876.8A Active CN103261997B (zh) 2010-10-21 2011-10-07 用于控制显示的信息的用户输入的装置和方法

Country Status (7)

Country Link
US (1) US9043732B2 (zh)
EP (1) EP2630563B1 (zh)
KR (1) KR101488121B1 (zh)
CN (1) CN103261997B (zh)
RU (1) RU2558620C2 (zh)
TW (1) TW201220159A (zh)
WO (1) WO2012052612A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110456957A (zh) * 2019-08-09 2019-11-15 北京字节跳动网络技术有限公司 显示交互方法、装置、设备、存储介质

Families Citing this family (59)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120120002A1 (en) * 2010-11-17 2012-05-17 Sony Corporation System and method for display proximity based control of a touch screen user interface
US9417696B2 (en) * 2011-01-27 2016-08-16 Blackberry Limited Portable electronic device and method therefor
WO2012135373A2 (en) * 2011-04-01 2012-10-04 Analog Devices, Inc. A dedicated user interface controller for feedback responses
GB2490108B (en) * 2011-04-13 2018-01-17 Nokia Technologies Oy A method, apparatus and computer program for user control of a state of an apparatus
US20120317516A1 (en) * 2011-06-09 2012-12-13 Casio Computer Co., Ltd. Information processing device, information processing method, and recording medium
WO2013005586A1 (ja) * 2011-07-04 2013-01-10 Necカシオモバイルコミュニケーションズ株式会社 画像処理装置、画像処理方法、及び画像処理プログラム
US9417754B2 (en) 2011-08-05 2016-08-16 P4tents1, LLC User interface system, method, and computer program product
US20130162624A1 (en) * 2011-12-22 2013-06-27 Research In Motion Limited Method and apparatus pertaining to modification of a three-dimensional presentation of a user-interaction opportunity
US9052414B2 (en) 2012-02-07 2015-06-09 Microsoft Technology Licensing, Llc Virtual image device
US9594499B2 (en) * 2012-02-21 2017-03-14 Nokia Technologies Oy Method and apparatus for hover-based spatial searches on mobile maps
US9870066B2 (en) 2012-03-02 2018-01-16 Microsoft Technology Licensing, Llc Method of manufacturing an input device
US9075566B2 (en) 2012-03-02 2015-07-07 Microsoft Technoogy Licensing, LLC Flexible hinge spine
US9134807B2 (en) 2012-03-02 2015-09-15 Microsoft Technology Licensing, Llc Pressure sensitive key normalization
DE112013002387T5 (de) 2012-05-09 2015-02-12 Apple Inc. Vorrichtung, Verfahren und grafische Benutzeroberfläche für die Bereitstellung taktiler Rückkopplung für Operationen in einer Benutzerschnittstelle
WO2013169865A2 (en) 2012-05-09 2013-11-14 Yknots Industries Llc Device, method, and graphical user interface for moving a user interface object based on an intensity of a press input
EP3401773A1 (en) 2012-05-09 2018-11-14 Apple Inc. Device, method, and graphical user interface for displaying additional information in response to a user contact
CN106201316B (zh) 2012-05-09 2020-09-29 苹果公司 用于选择用户界面对象的设备、方法和图形用户界面
DE112013002412T5 (de) 2012-05-09 2015-02-19 Apple Inc. Vorrichtung, Verfahren und grafische Benutzeroberfläche zum Bereitstellen von Rückmeldung für das Wechseln von Aktivierungszuständen eines Benutzerschnittstellenobjekts
WO2013169849A2 (en) 2012-05-09 2013-11-14 Industries Llc Yknots Device, method, and graphical user interface for displaying user interface objects corresponding to an application
WO2013169843A1 (en) 2012-05-09 2013-11-14 Yknots Industries Llc Device, method, and graphical user interface for manipulating framed graphical objects
WO2013169870A1 (en) 2012-05-09 2013-11-14 Yknots Industries Llc Device, method, and graphical user interface for transitioning between display states in response to gesture
US20130300590A1 (en) 2012-05-14 2013-11-14 Paul Henry Dietz Audio Feedback
US10031556B2 (en) 2012-06-08 2018-07-24 Microsoft Technology Licensing, Llc User experience adaptation
US9019615B2 (en) 2012-06-12 2015-04-28 Microsoft Technology Licensing, Llc Wide field-of-view virtual image projector
US9829996B2 (en) * 2012-06-25 2017-11-28 Zspace, Inc. Operations in a three dimensional display system
US20140009461A1 (en) * 2012-07-06 2014-01-09 Motorola Mobility Llc Method and Device for Movement of Objects in a Stereoscopic Display
US8947385B2 (en) 2012-07-06 2015-02-03 Google Technology Holdings LLC Method and device for interactive stereoscopic display
US9355345B2 (en) 2012-07-23 2016-05-31 Microsoft Technology Licensing, Llc Transparent tags with encoded data
KR102091710B1 (ko) * 2012-08-28 2020-04-14 삼성전자주식회사 좌표 측정 장치 및 그 제어 방법
JP6012068B2 (ja) * 2012-08-28 2016-10-25 日本電気株式会社 電子機器、その制御方法及びプログラム
US9152173B2 (en) * 2012-10-09 2015-10-06 Microsoft Technology Licensing, Llc Transparent display device
US9513748B2 (en) 2012-12-13 2016-12-06 Microsoft Technology Licensing, Llc Combined display panel circuit
US9638835B2 (en) 2013-03-05 2017-05-02 Microsoft Technology Licensing, Llc Asymmetric aberration correcting lens
KR101872426B1 (ko) * 2013-03-14 2018-06-28 인텔 코포레이션 깊이 기반 사용자 인터페이스 제스처 제어
CN104077013B (zh) * 2013-03-28 2019-02-05 联想(北京)有限公司 指令识别方法和电子设备
KR102056316B1 (ko) 2013-05-03 2020-01-22 삼성전자주식회사 터치 스크린 동작 방법 및 그 전자 장치
KR102157078B1 (ko) * 2013-06-27 2020-09-17 삼성전자 주식회사 휴대 단말기에서 전자문서 작성 방법 및 장치
EP2818986A1 (en) * 2013-06-28 2014-12-31 Nokia Corporation A hovering field
EP2818985B1 (en) * 2013-06-28 2021-05-12 Nokia Technologies Oy A hovering input field
KR102140811B1 (ko) * 2013-07-23 2020-08-03 삼성전자주식회사 디바이스의 사용자 인터페이스 제공 방법 및 그 디바이스
US9967546B2 (en) 2013-10-29 2018-05-08 Vefxi Corporation Method and apparatus for converting 2D-images and videos to 3D for consumer, commercial and professional applications
US20150116458A1 (en) 2013-10-30 2015-04-30 Barkatech Consulting, LLC Method and apparatus for generating enhanced 3d-effects for real-time and offline appplications
KR101518786B1 (ko) * 2013-11-29 2015-05-15 주식회사 하이딥 터치의 압력 레벨에 따른 피드백 방법 및 이를 수행하는 터치 스크린을 포함하는 장치
US9652097B2 (en) 2013-11-29 2017-05-16 Hideep Inc. Feedback method according to touch level and touch input device performing the same
US9262012B2 (en) * 2014-01-03 2016-02-16 Microsoft Corporation Hover angle
WO2015126098A1 (en) * 2014-02-24 2015-08-27 Samsung Electronics Co., Ltd. Method and apparatus for displaying content using proximity information
KR101628246B1 (ko) * 2014-02-24 2016-06-08 삼성전자주식회사 컨텐츠 표시 방법 및 장치
US10158847B2 (en) 2014-06-19 2018-12-18 Vefxi Corporation Real—time stereo 3D and autostereoscopic 3D video and image editing
KR20160034135A (ko) 2014-09-19 2016-03-29 삼성전자주식회사 터치 입력을 처리하는 전자 장치 및 방법
US9535495B2 (en) 2014-09-26 2017-01-03 International Business Machines Corporation Interacting with a display positioning system
KR102380228B1 (ko) * 2014-11-14 2022-03-30 삼성전자주식회사 디바이스를 제어하는 방법 및 그 디바이스
US10095396B2 (en) 2015-03-08 2018-10-09 Apple Inc. Devices, methods, and graphical user interfaces for interacting with a control object while dragging another object
US9632664B2 (en) 2015-03-08 2017-04-25 Apple Inc. Devices, methods, and graphical user interfaces for manipulating user interface objects with visual and/or haptic feedback
US9639184B2 (en) 2015-03-19 2017-05-02 Apple Inc. Touch input cursor manipulation
US20170045981A1 (en) 2015-08-10 2017-02-16 Apple Inc. Devices and Methods for Processing Touch Inputs Based on Their Intensities
US9860451B2 (en) 2015-06-07 2018-01-02 Apple Inc. Devices and methods for capturing and interacting with enhanced digital images
US9830048B2 (en) 2015-06-07 2017-11-28 Apple Inc. Devices and methods for processing touch inputs with instructions in a web page
US9880735B2 (en) 2015-08-10 2018-01-30 Apple Inc. Devices, methods, and graphical user interfaces for manipulating user interface objects with visual and/or haptic feedback
US11237641B2 (en) * 2020-03-27 2022-02-01 Lenovo (Singapore) Pte. Ltd. Palm based object position adjustment

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2009024971A2 (en) * 2007-08-19 2009-02-26 Saar Shai Finger-worn devices and related methods of use
EP2144448A1 (en) * 2007-03-30 2010-01-13 National Institute Of Information And Communication Technology Mid-air video interaction device and its program
US20100095206A1 (en) * 2008-10-13 2010-04-15 Lg Electronics Inc. Method for providing a user interface using three-dimensional gestures and an apparatus using the same
US20100245345A1 (en) * 2007-10-01 2010-09-30 Pioneer Corporation Image display device

Family Cites Families (42)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB9701793D0 (en) * 1997-01-29 1997-03-19 Gay Geoffrey N W Means for inputting characters or commands into a computer
JP2004280496A (ja) 2003-03-17 2004-10-07 Kyocera Mita Corp 操作パネル装置
US7508377B2 (en) 2004-03-05 2009-03-24 Nokia Corporation Control and a control arrangement
US8537112B2 (en) * 2006-02-08 2013-09-17 Oblong Industries, Inc. Control system for navigating a principal dimension of a data space
US8531396B2 (en) * 2006-02-08 2013-09-10 Oblong Industries, Inc. Control system for navigating a principal dimension of a data space
US8681098B2 (en) * 2008-04-24 2014-03-25 Oblong Industries, Inc. Detecting, representing, and interpreting three-space input: gestural continuum subsuming freespace, proximal, and surface-contact modes
US8537111B2 (en) * 2006-02-08 2013-09-17 Oblong Industries, Inc. Control system for navigating a principal dimension of a data space
WO2007097225A1 (ja) 2006-02-21 2007-08-30 Pioneer Corporation 画像表示装置
US8334841B2 (en) 2006-03-13 2012-12-18 Navisense Virtual user interface method and system thereof
KR100783552B1 (ko) * 2006-10-11 2007-12-07 삼성전자주식회사 휴대 단말기의 입력 제어 방법 및 장치
US20080120568A1 (en) 2006-11-20 2008-05-22 Motorola, Inc. Method and device for entering data using a three dimensional position of a pointer
JP2008219788A (ja) 2007-03-07 2008-09-18 Toshiba Corp 立体画像表示装置、方法およびプログラム
US8432365B2 (en) * 2007-08-30 2013-04-30 Lg Electronics Inc. Apparatus and method for providing feedback for three-dimensional touchscreen
US9569088B2 (en) * 2007-09-04 2017-02-14 Lg Electronics Inc. Scrolling method of mobile terminal
JP2009140368A (ja) 2007-12-07 2009-06-25 Sony Corp 入力装置、表示装置、入力方法、表示方法及びプログラム
TW200928892A (en) * 2007-12-28 2009-07-01 Wistron Corp Electronic apparatus and operation method thereof
US8265688B2 (en) * 2007-12-31 2012-09-11 Motorola Mobility Llc Wireless communication device and split touch sensitive user input surface
KR101467513B1 (ko) * 2008-02-11 2014-12-01 삼성전자 주식회사 모바일 단말 제어장치 및 그 방법
KR101474429B1 (ko) * 2008-03-11 2014-12-19 엘지전자 주식회사 이동단말기 및 그의 표시 방법
US8723811B2 (en) * 2008-03-21 2014-05-13 Lg Electronics Inc. Mobile terminal and screen displaying method thereof
KR101486345B1 (ko) * 2008-03-21 2015-01-26 엘지전자 주식회사 이동 단말기 및 이동 단말기의 화면 표시 방법
US8949743B2 (en) 2008-04-22 2015-02-03 Apple Inc. Language input interface on a device
US8169414B2 (en) * 2008-07-12 2012-05-01 Lim Seung E Control of electronic games via finger angle using a high dimensional touchpad (HDTP) touch user interface
US9658765B2 (en) 2008-07-31 2017-05-23 Northrop Grumman Systems Corporation Image magnification system for computer interface
KR100969790B1 (ko) * 2008-09-02 2010-07-15 엘지전자 주식회사 이동단말기 및 그 컨텐츠 합성방법
US20100053151A1 (en) 2008-09-02 2010-03-04 Samsung Electronics Co., Ltd In-line mediation for manipulating three-dimensional content on a display device
KR101592296B1 (ko) * 2008-09-03 2016-02-05 엘지전자 주식회사 이동 단말기 및 그의 객체 선택과 실행 방법
KR101587087B1 (ko) * 2008-10-14 2016-02-02 엘지전자 주식회사 휴대 단말기
KR101504210B1 (ko) * 2008-10-17 2015-03-19 엘지전자 주식회사 단말기 및 그 제어 방법
KR101545582B1 (ko) * 2008-10-29 2015-08-19 엘지전자 주식회사 단말기 및 그 제어 방법
KR20100064873A (ko) * 2008-12-05 2010-06-15 엘지전자 주식회사 단말기 및 그 제어 방법
KR101521932B1 (ko) * 2009-01-19 2015-05-20 엘지전자 주식회사 단말기 및 그 제어 방법
KR101609388B1 (ko) 2009-03-04 2016-04-05 엘지전자 주식회사 3차원 메뉴를 표시하는 이동 단말기 및 이동 단말기의 제어방법
US20100315413A1 (en) * 2009-06-16 2010-12-16 Microsoft Corporation Surface Computer User Interaction
JP5563250B2 (ja) * 2009-06-30 2014-07-30 株式会社ジャパンディスプレイ 立体画像表示装置
KR20110014040A (ko) * 2009-08-04 2011-02-10 엘지전자 주식회사 이동 단말기 및 그의 아이콘 충돌 제어방법
KR101558207B1 (ko) * 2009-09-14 2015-10-07 엘지전자 주식회사 이동 단말기 및 이동 단말기의 아이템 설정 방법
KR101623008B1 (ko) * 2009-10-23 2016-05-31 엘지전자 주식회사 이동 단말기
JP5535585B2 (ja) * 2009-11-10 2014-07-02 株式会社ソニー・コンピュータエンタテインメント プログラム、情報記憶媒体、情報入力装置、及びその制御方法
US8232990B2 (en) * 2010-01-05 2012-07-31 Apple Inc. Working with 3D objects
US10007393B2 (en) * 2010-01-19 2018-06-26 Apple Inc. 3D view of file structure
US8508347B2 (en) 2010-06-24 2013-08-13 Nokia Corporation Apparatus and method for proximity based input

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2144448A1 (en) * 2007-03-30 2010-01-13 National Institute Of Information And Communication Technology Mid-air video interaction device and its program
CN101641964A (zh) * 2007-03-30 2010-02-03 独立行政法人情报通信研究机构 空中影像互动装置及其程序
WO2009024971A2 (en) * 2007-08-19 2009-02-26 Saar Shai Finger-worn devices and related methods of use
CN101785046A (zh) * 2007-08-19 2010-07-21 环弓有限公司 穿在手指上的装置和相关使用方法
US20100245345A1 (en) * 2007-10-01 2010-09-30 Pioneer Corporation Image display device
US20100095206A1 (en) * 2008-10-13 2010-04-15 Lg Electronics Inc. Method for providing a user interface using three-dimensional gestures and an apparatus using the same

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110456957A (zh) * 2019-08-09 2019-11-15 北京字节跳动网络技术有限公司 显示交互方法、装置、设备、存储介质
CN110456957B (zh) * 2019-08-09 2022-05-03 北京字节跳动网络技术有限公司 显示交互方法、装置、设备、存储介质

Also Published As

Publication number Publication date
EP2630563A4 (en) 2014-04-16
US20120102436A1 (en) 2012-04-26
WO2012052612A1 (en) 2012-04-26
US9043732B2 (en) 2015-05-26
RU2013123025A (ru) 2014-11-27
RU2558620C2 (ru) 2015-08-10
KR101488121B1 (ko) 2015-01-29
EP2630563B1 (en) 2018-01-17
KR20130108604A (ko) 2013-10-04
CN103261997B (zh) 2017-02-15
EP2630563A1 (en) 2013-08-28
TW201220159A (en) 2012-05-16

Similar Documents

Publication Publication Date Title
CN103261997A (zh) 用于控制显示的信息的用户输入的装置和方法
EP2638461B1 (en) Apparatus and method for user input for controlling displayed information
CN103080887B (zh) 用于基于接近的输入的装置和方法
KR102051418B1 (ko) 영상에 포함된 객체를 선택하기 위한 사용자 인터페이스 제어 장치 및 그 방법 그리고 영상 입력 장치
EP2946265B1 (en) Portable terminal and method for providing haptic effect to input unit
US9690377B2 (en) Mobile terminal and method for controlling haptic feedback
CN108431734B (zh) 用于非触摸式表面交互的触觉反馈
KR102097452B1 (ko) 프로젝터를 포함하는 전자 장치 및 그 제어 방법
KR20110040845A (ko) 양면 입력 디바이스를 이용해서 전자 기기를 조작하는 장치, 방법 및 컴퓨터-판독 가능 매체
KR20150103240A (ko) 깊이 기반 사용자 인터페이스 제스처 제어
KR20140126129A (ko) 잠금 및 해제를 제어하는 장치 및 방법
EP3096206A1 (en) Haptic effects based on predicted contact
US20140340336A1 (en) Portable terminal and method for controlling touch screen and system thereof
JP2019519856A (ja) マルチモーダルハプティック効果
KR102117450B1 (ko) 디스플레이 장치 및 그 제어 방법

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C41 Transfer of patent application or patent right or utility model
TA01 Transfer of patent application right

Effective date of registration: 20160118

Address after: Espoo, Finland

Applicant after: Technology Co., Ltd. of Nokia

Address before: Espoo, Finland

Applicant before: Nokia Oyj

C14 Grant of patent or utility model
GR01 Patent grant