CN102834789A - 用于使虚拟键盘尺寸与用户手指大小动态相关的设备和方法 - Google Patents

用于使虚拟键盘尺寸与用户手指大小动态相关的设备和方法 Download PDF

Info

Publication number
CN102834789A
CN102834789A CN2011800186965A CN201180018696A CN102834789A CN 102834789 A CN102834789 A CN 102834789A CN 2011800186965 A CN2011800186965 A CN 2011800186965A CN 201180018696 A CN201180018696 A CN 201180018696A CN 102834789 A CN102834789 A CN 102834789A
Authority
CN
China
Prior art keywords
user
touch
screen display
watching
processor
Prior art date
Application number
CN2011800186965A
Other languages
English (en)
Other versions
CN102834789B (zh
Inventor
杰迪恩·N·伊
乔尔·贝尔纳尔特
珍妮特·L·多布森
吉达尔·D·曼蒂阿姆
约瑟夫·黄
Original Assignee
高通股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority to US12/761,479 priority Critical patent/US8982160B2/en
Priority to US12/761,479 priority
Application filed by 高通股份有限公司 filed Critical 高通股份有限公司
Priority to PCT/US2011/032626 priority patent/WO2011130594A1/en
Publication of CN102834789A publication Critical patent/CN102834789A/zh
Application granted granted Critical
Publication of CN102834789B publication Critical patent/CN102834789B/zh

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013Eye tracking input arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04886Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures by partitioning the screen or tablet into independently controllable areas, e.g. virtual keyboards, menus
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048Indexing scheme relating to G06F3/048
    • G06F2203/04805Virtual magnifying lens, i.e. window or frame movable on top of displayed information to enlarge it for better reading or selection

Abstract

本发明提供一种用于配备有触摸屏显示器和数码相机的计算装置的用户接口,其放大所显示图像的在用户注视内的一部分。用户可通过用一根或一根以上手指触摸所述触摸屏的一部分且用其双眼跟随所述显示器上的移动图像来校准其移动装置。所述移动装置可跟踪用户正观看的位置,且如果所述用户正观看所述移动装置显示器,那么可放大所述显示器的在所述用户的注视附近的一部分。在一实施例中,如果所述用户正观看虚拟键盘,那么可以与所述用户的指尖大小相称的大小增大在所述用户的注视附近的按键图标。以此方式,用户可准确地选择配合在移动装置显示器内的虚拟键盘中的个别按键。

Description

用于使虚拟键盘尺寸与用户手指大小动态相关的设备和方法

技术领域

[0001] 本申请案大体上涉及计算装置用户接ロ,且更明确地说,涉及适合于配备有触摸屏的移动装置的用户接ロ。

背景技术

[0002] 配备有触摸屏显示器的移动计算装置已经实现新一代个人电子装置。触摸屏显示器提供图形显示器和柔性用户接ロ两者,且因此使得 装置能够消除物理按键和按钮以有利于较大的显示器。此类移动装置通常包括图形用户接ロ系统,其使得用户能够通过触摸呈现在显示器上的图标来输入命令。常见形式的用户接ロ呈现具有多个小按键图标的虚拟键盘或小键盘,其以传统物理键盘或小键盘的方式来布置。尽管虚拟键盘用户接ロ是直观且有用的,但典型移动装置中的触摸屏显示器的有限大小要求虚拟键盘按键图标在大小上受到限制,从而使得用户难以在没有键入错误的情况下准确地触摸。

发明内容

[0003] 各种实施例实现适合于在具有触摸屏显示器的计算装置上使用的用户接ロ,其可通过经由用数码相机跟踪用户注视而局部地増加显示图像的一部分的大小来补偿用户手指的大小。在一实施例中,移动装置包括触摸屏显示器和数码相机,所述数码相机经定位以使得其可在用户正查看触摸屏显示器时对用户面部成像。通过在数字图像中跟踪用户眼睛,移动装置可经配置以确定用户正观看的位置,且如果用户注视指向触摸屏显示器上的位置,那么可在大小上增大所显示图像的在用户正观看的位置附近的一部分。当所显示图像包括虚拟键盘或小键盘时,可与用户指尖的尺寸相称地在大小上増大在用户注视附近的按键图标。在一实施例中,可在训练例程中将移动装置校准到用户的手指大小和眼睛。尽管所述实施例可尤其对虚拟键盘用户接ロ显示有用,但眼睛跟踪局部化放大功能性还可对其它应用程序以及其它形式的计算装置(包括具有大触摸屏显示器的计算装置)有用。

附图说明

[0004] 并入本文中并构成本说明书的一部分的附图说明本发明的示范性实施例,且连同上文给出的概括描述和下文给出的详细描述一起用以解释本发明的特征。

[0005] 图I为移动装置的正视图,其展示触摸屏显示器上的用于消息接发应用程序的常规用户接ロ。

[0006] 图2为移动装置的正视图,其展示用于消息接发应用程序的实施例用户接ロ。

[0007] 图3和4为移动装置的正视图,其说明实施例用户接ロ的操作。

[0008] 图5和6为移动装置的正视图,其说明实施例用户接ロ的校准操作。

[0009] 图7为用于实施实施例用户接ロ的实例方法的过程流程图。

[0010] 图8为用于校准实施例用户接ロ的实施例方法的过程流程图。[0011] 图9为用于实施另一实施例用户接ロ的实施例方法的过程流程图。

[0012] 图10为适合于在实施例中使用的移动装置的组件框图。

具体实施方式

[0013] 将參看附图来详细地描述各种实施例。只要可能,将在整个图式中使用相同的參考标号来指代相同或相似的部分。对特定实例和实施方案做出的參考是出于说明性目的,且不希望限制本发明或权利要求书的范围。

[0014] 本文中可互換地使用术语“计算装置”和“移动装置”来指代蜂窝式电话、个人数据助理(PDA)、掌上型计算机、无线电子邮件接收器(例如,Blackberry ©和Treot)装置)、具有多媒体因特网功能的蜂窝式电话(例如,Blackberry Srorm® )、全球定位系统(GPS)接收器、无线游戏控制器、个人计算机以及包括可编程处理器、触摸屏用户接ロ /显示器和定位于装置上以使得其可在用户可以看到显示器时对用户眼睛进行成像的数码相机的类似个人电子装置中的任何一者或全部。尽管各种实施例尤其在具有小显示器的移动装置(例如,蜂窝式电话)中有用,但所述实施例还可在采用触摸屏显示器的任何计算装置中有用。因此,在后面的实施例描述中对“移动装置”的參考仅是出于说明目的,且不希望排除以触摸屏显示器为特征的其它形式的计算装置或限制权利要求书的范围。

[0015] 配备有触摸屏用户接ロ/显示器的计算装置在用户输入和材料的图形表示方面提供很大灵活性。然而,此类用户接ロ并不是没有限制的。举例来说,当常规键盘按照虚拟键盘或小键盘来在典型的移动装置触摸屏显示器上表示吋,必须以充分小而足以配合在显示器的宽度和高度内的大小来显示按键图标。此类小按键图标可能非常难以用手指来准确地按压,因为手指所触摸的表面面积将通常涵盖ー个以上按键图标。这在图I中说明,图I展示具有上面显示虚拟键盘4的触摸屏2的移动装置I。在如图I中所说明的典型虚拟键盘布局中,试图按压单个按键(例如,“ H”按键)的用户手指5还将触摸到周围的按键图标,例如如所说明的用于“G”、“H”、“V”和“B”的按键。因而,此类虚拟键盘和小键盘上的键入错误是常见的,且可能使用户感到沮丧。

[0016] 各种实施例通过响应于用户注视而提供所显示图像或图标的选择性增强来提供对小移动装置显示器所具有的此问题的解决方案。在一实施例中,用户可将其计算装置校准到其自身的手指大小且训练所述装置基于对其眼睛拍摄的图像来辨识用户注视的位置。通过确定用户正在触摸屏上观看的位置且基于手指大小校准因数来将虚拟键盘的在用户正观看的位置附近的部分增强一定量,移动装置可提供配合在触摸屏显示器的不动产内但提供对于用户手指来说足够大的按键图标的用户接ロ键盘或小键盘。在另ー实施例中,可将增强显示器的在用户注视内的部分的方法应用于其它应用,例如所显示的地图、照片、文字和其它视觉材料。而且,各种实施例可在包括触摸屏显示器的任何计算装置上实施,甚至是具有大触摸屏显示器的计算装置,因为局部化图像增强功能性可使得用户能够准确按压显示器上的特定位置而不必放大整个图像。

[0017] 图2说明在具有触摸屏2的移动装置I上进行操作的实施例。在此实施例中,通过数码相机3对用户眼睛进行成像,数码相机3定位于移动装置I上,使得其可在用户正与触摸屏2交互时对用户面部进行成像。基于用户正观看的位置,移动装置I增大虚拟小键盘虚拟键盘4中的按键图标的大小,使得其与用户手指5相客。如所说明,向试图按压用于字母“H”的虚拟按键的用户呈现与用户指尖一样大的图标。以此方式,按压错误按键或用涵盖多个按键图标的触摸事件将触摸屏接ロ搞乱的机会得以降低。

[0018] 此实施例在图3和4中进ー步说明,图3和4展示数码相机3如何对用户眼睛5进行成像以确定触摸屏显示器2上的用户注视6的位置。这可通过使用图像辨识软件定位用户眼睛,且更明确地说,定位用户瞳孔的位置来完成。可通过对用户眼睛的图像应用图像分析规则(其可考虑到用户面部相对于装置触摸屏显示器的定向和位置以及用户瞳孔在所述图像内的位置)且应用三角计算估计用户正观看的位置来完成确定用户注视的位置。随着移动装置根据数码相机3所获得的图像确定用户注视6的位置,在大小上增强虚拟小键盘4的靠近用户注视6的中心的按键图标。因此,随着用户注视6从虚拟键盘4的左手侧(如图3中所示)移位到右手侧(如图4中所示),基于用户手指的 校准因数而使虚拟小键盘4的在用户注视6的中心内的那些图标更大。图3和4说明所述实施例如何使得虚拟键盘4能够配合在移动装置触摸屏2的有限空间内,同时还提供足够大以适应用户手指的按键图标。

[0019] 尽管图2到4展示响应于用户注视而增强的虚拟键盘4,但所述实施例还可应用于任何虚拟小键盘,例如电话小键盘、计算器小键盘或游戏专用小键盘。因此,提供虚拟键盘4的图像仅仅作为实例而不作为对所述实施例的范围的限制。

[0020] 为了将移动装置I校准到用户手指大小,移动装置可要求用户在使用之前将其装置初始化或校准到其手指。图5展示可能在校准过程中在触摸屏2上呈现的实例用户接ロ显示。在此校准过程中,可提示用户用在文本编辑期间通常使用的手指触摸所述屏幕上的虚拟按键8。在此实施例中,用户仅仅必须触摸所显示的按键图标来使得移动装置I能够确定触摸屏2的由用户指尖接触的表面面积的尺寸。使用所测量的尺寸,装置处理器可计算恰当的用户手指大小校准因数,所述用户手指大小校准因数可存储在存储器中以供用于调整按键图标的大小中,如图2到4中所说明。

[0021] 为了将移动装置I校准到用户眼睛以使得其能够准确地确定用户正观看的位置,移动装置I可在训练例程中要求用户训练其装置以跟踪其眼睛。图6展示可能在此类训练例程中在触摸屏2上呈现的简单用户接ロ显示。举例来说,可提示用户随着触摸屏2上的移动图标(例如蜜蜂9的图像)在触摸屏显示器2上到处移动而跟随所述移动图标。在每ー时刻,移动装置I将从数码相机3获得的用户眼睛的图像与移动图标9在显示器2上的位置进行比较,以学习如何使用户眼睛的图像与显示器2上的特定位置相关。由于装置处理器知道图像在触摸屏上的位置,所以处理器可计算差异或校正因数,或者另外调整图像分析规则以使所确定位置与实际位置对准。此类校准/学习过程可用以(例如)通过使用众所周知的机器学习技术和众所周知的图像辨识技术来形成用于分析用户面部图像以确定注视焦点的ー组规则。

[0022] 图5和6中所说明的校准和训练过程可重复多次以便提供统计上平均的手指大小的校准和眼睛跟踪规则。另外,眼睛跟踪训练可继续进行预定时间周期或直到所显示图像的实际位置与用户正观看的所确定位置之间的误差降低到最大阈值以下为止。

[0023] 图7中说明根据实施例的可在计算装置上实施的实例方法10。在方法10中,可当在触摸屏上显示虚拟小键盘时激活眼睛跟踪/显示增强功能性(步骤12)。作为激活眼睛跟踪/显示增强功能性的一部分,计算装置内的处理器可在步骤14中从存储器存取校准值和眼睛跟踪规则。在步骤16中,处理器可激活数码相机3且开始对用户面部和眼睛成像。在步骤18中,处理器可分析用户面部的图像以确定用户注视的位置。如上文所提及,这可通过使用图像辨识软件定位用户瞳孔的位置和定向来完成。确定用户注视的位置可通过将从存储器获得的图像分析规则应用于用户眼睛的图像来完成。此些图像分析规则可在用户训练例程期间确定或调整,如下文參看图8所论述。

[0024] 当确定了用户注视的方向或位置时,处理器可在确定步骤20中将所述位置与所显示的虚拟小键盘的位置进行比较以确定用户是否正观看小键盘。如果处理器确定用户目前不在观看虚拟键盘(即,确定步骤20 =“否”),那么处理器可通过返回到步骤18来继续从数码相机获得用户眼睛的图像并对其进行分析。如果处理器确定 用户目前正在观看虚拟键盘(即,确定步骤20 =“是”),那么处理器可在步骤22中使用手指大小校准因数来增强在用户注视的中心附近的按键图标。处理器接着通过返回步骤18来继续从数码相机接收图像并对其进行分析。此过程可继续进行,只要在触摸屏显示器上显示虚拟键盘,或直到所述功能性以其它方式由用户终止为止。

[0025] 除了放大用户正观看的位置附近的虚拟按键的大小之外,处理器还可调整映射到每ー按键图标的显示器坐标以匹配于图标的大小,以用于将对触摸屏显示器的触摸辨识为用户输入的目的。图形用户接ロ功能将所显示图像中的用户接ロ图标(例如,按键图标)的位置映射到触摸屏接口上的坐标位置或边界,使得装置处理器可辨识何时特定图标正被用户触摸。因此,在步骤22中,处理器还可调整按键图标到显示器坐标的映射以匹配于呈现在显示器上的图标的尺寸。在一实施例中,调整键盘图标的大小可在两个步骤中完成。首先,处理器可基于用户注视的位置和手指校准因数来确定每一按键图标的新大小。接着,在第二步骤中,处理器可调整图标到触摸屏传感器坐标的映射以匹配于各种按键图标的经调整尺寸。

[0026] 图8说明可在计算装置上实施以用于训练所述装置并将其校准到用户手指大小和眼睛注视的实例方法30。尽管方法30 —起说明校准/训练操作两者,但还可分开完成手指大小校准和眼睛跟踪训练。在方法30中,在步骤32中,计算装置内的处理器可激活校准/训练应用程序,例如响应于用户菜单选择或作为较大装置初始化例程的一部分。在步骤34中,处理器可产生提示用户触摸所述触摸屏上的特定点的显示,例如图5中所说明。在步骤36中,处理器可从触摸屏显示器接收信号或坐标信息且测量用户手指所接触的区域的大小和形状。在步骤38中,处理器可使用接触区域的所測量大小和形状来计算可存储在存储器中的手指大小校准因数。此校准因数可为尺寸值(例如,面积、直径或半径)或放大因数(例如,百分比或数字值),其可应用于图标尺寸以便确定适合于用户手指的图标大小。

[0027] 在步骤40中,处理器可激活数码相机且对用户面部和眼睛进行成像。在步骤42中,处理器可分析所获得的图像以在所述图像内定位用户面部,辨识用户眼睛,且获得图像区域内的用户面部的尺寸測量值。此信息可用以产生或调整图像辨识规则,所述图像辨识规则可在将计算装置固持在距用户面部各种距离处时辨识并跟踪用户眼睛。计算装置与用户面部之间的距离将有可能在每当激活所述功能性时以及在用户正与计算装置交互的同时改变。因此,校准的一部分可涉及获得測量值以使得计算装置处理器能够补偿不同成像距离。另外,可在不同面部-相机距离处重复所述训练过程以使得处理器能够产生可补偿此些分隔距离的差异的辨识规则。[0028] 在步骤44中,处理器可显示提示用户跟随显示器上的移动卡通或图标的消息。在步骤46中,处理器可将所述卡通或图标在显示器上移动某ー递增的距离,且在步骤48中,处理器可获得用户面部的图像并对其进行分析以确定用户注视的位置。可在步骤46中连续地、递增地或以大步长移动所述卡通或图标(例如,依序移动到角落和中心中的每ー者)。当第一次完成眼睛跟踪训练时,步骤48中的注视确定操作可采用默认规则将用户眼睛的图像翻译为计算装置上的注视位置。在步骤50中,计算装置可调整注视确定图像分析规则,使得所确定的位置匹配于显示器上的实际卡通或图标位置。此眼睛跟踪规则校准过程可涉及对在步骤48中用来确定用户注视位置的规则的简单线性调整或变换,使得所确定的位置匹配于所述卡通或图标在显示器上的实际位置。在确定步骤52中,处理器可确定训练过程是否已完成。处理器可通过在显示器上移动所述卡通或图标持续预定时间量、经过预定数目的位置,或直到注视的所确定位置与卡通或图标的实际位置之间的差异始终处于最大阈值内(即,可接受的误差)为止来继续所述训练例程。只要处理器确 定训练未完成(即,确定步骤52 =“否”),处理器就可继续在显示器上移动卡通或图标,步骤46,确定用户注视的位置,步骤48,且校准注视-图标确定规则,步骤50。一旦处理器确定完成训练(即,确定步骤52 = “是”),处理器就可将校准设置和眼睛跟踪图像分析规则存储在存储器中,步骤54。

[0029] 各种实施例还可应用于可受益于优先视觉增强的呈现视觉显示的其它类型的应用程序。举例来说,眼睛跟踪局部化放大功能性可在地图或导航程序中有用,使得用户可在较大地图显示的上下文内看到局部地图细节。类似于虚拟小键盘,准许用户通过触摸触摸屏接ロ来选择特定位置以获得进ー步信息的地图或导航应用程序可将地图局部地放大取决于手指大小校准因数的量。以此方式,地图或导航应用程序可经由对特定位置的手指触摸接收用户输入,其中用户指尖的大小将无意地选择错误位置的机会得以降低。

[0030] 各种实施例的另ー实用应用将是使用眼睛跟踪局部化放大功能性来增强触摸屏显示器上所显示的超链接、因特网网络链接和其它“可点击的”文字。归因于大多数移动装置上的触摸屏显示器的大小较小,所显示的网页图标和文字的大小通常小于大多数用户的指尖。因此,触摸显示屏以“点击”呈图标或超文本形式的超链接可较困难。各种实施例可局部地放大含有用户正观看的超链接的网页和文档,使得超链接图标或文字足够大以使得用户能够准确地触摸所要的超链接而不会无意地触摸不正确的超链接。

[0031] 图9说明用于在计算装置上实施所述功能性的实例方法60。在步骤62中,计算装置处理器可响应于地图或其它应用程序的激活而激活视觉跟踪和增强功能性。作为激活眼睛跟踪/显示增强功能性的一部分,计算装置内的处理器可在存储器中存取校准值和眼睛跟踪规则,步骤64。在步骤66中,处理器可激活数码相机且开始对用户面部和眼睛成像。在步骤68中,处理器可分析用户面部的图像以确定用户注视的位置。为了完成此分析,处理器可应用在用户训练例程期间所确定的图像分析规则,所述用户训练例程如上文參看图8所论述。当确定了用户注视的位置时,处理器可在确定步骤70中将所述位置与触摸屏显示器的位置进行比较以确定用户是否正观看计算装置显示器。如果处理器确定用户目前不在观看显示器(即,确定步骤70 =“否”),那么处理器可通过返回到步骤68来继续从数码相机获得图像并对其进行分析。如果处理器确定用户目前正在观看显示器(即,确定步骤70 =“是”),那么处理器可在步骤72中增强键盘图像的在用户注视的中心附近的部分。处理器接着通过返回步骤68来继续从数码相机获得图像并对其进行分析。此过程可继续进行,只要特定应用程序被激活或在触摸屏显示器上显示特定类型的图像,或直到所述功能性由用户终止为止。

[0032] 适合于与各种实施例一起使用的典型移动装置I将共同具有图10中所说明的组件。举例来说,移动接收器装置I可包括耦合到内部存储器102的处理器101、触摸屏显示器103和经定位以使得其可在用户正观看显示器103时对用户眼睛成像的数码相机3。另夕卜,移动装置I可具有连接到无线数据链路的用于发送和接收电磁辐射的天线104和/或耦合到处理器101的蜂窝式电话收发器105。移动装置还通常包括菜单选择按钮或摇臂开关107以用于接收用户输入。虽然图10说明移动计算装置, 但其它形式的计算装置(包括个人计算机或膝上型计算机)将通常也包括耦合到内部存储器102的处理器101、触摸屏显示器103和经定位以使得其可在用户正观看显示器103时对用户眼睛成像的数码相机3。另外,数码相机3可构建到计算装置中,如图10所示,或配置为例如借助于电缆(未图示)或无线数据链路(未图示)电耦合到处理器101的単独装置。因此,图10不希望将权利要求书的范围限于呈特定所说明形状因数的移动计算装置。

[0033] 处理器101可为任何可编程的微处理器、微型计算机或多处理器芯片,其可通过软件指令(应用程序)配置以执行多种功能,包括本文中所描述的各种实施例的功能。在一些移动装置中,可提供多个处理器101,例如一个处理器专用于无线通信功能,且ー个处理器专用于运行其它应用程序。通常,在软件应用程序被存取且被加载到处理器101中之前,其可存储在内部存储器102中。在一些移动装置中,处理器101可包括足以存储应用程序软件指令的内部存储器。在一些移动装置中,安全存储器可在耦合到处理器101的単独存储器芯片中。在许多移动装置I中,内部存储器102可为易失性或非易失性存储器(例如快闪存储器),或两者的混合物。出于本描述的目的,对存储器的一般參考指代可由处理器101存取的所有存储器,包括内部存储器102、插入到移动装置中的可装卸式存储器以及在处理器101自身内的存储器。

[0034] 前述方法描述和过程流程图仅作为说明性实例而提供,且不希望要求或暗示必须以所呈现的次序执行各种实施例的步骤。如所属领域的技术人员将了解,前述实施例中的步骤次序可以任何次序执行。例如“此后”、“接着”、“接下来”等词不希望限制步骤的次序;这些词仅仅用以引导读者阅读对方法的描述。另外,例如使用冠词“一”或“所述”以单数形式对权利要求元素的任何參考不应解释为将元素限于单数形式。

[0035] 结合本文所掲示的实施例来描述的各种说明性逻辑块、模块、电路和算法步骤可实施为电子硬件、计算机软件或两者的组合。为了清楚地说明硬件与软件的此可互換性,上文已大体上关于其功能性而描述了各种说明性组件、块、模块、电路和步骤。将所述功能性实施为硬件还是软件取决于特定应用和施加于整个系统的设计约束。熟练的技术人员可针对每ー特定应用以不同方式来实施所描述的功能性,但所述实施方案决策不应被解释为会导致脱离本发明的范围。

[0036] 用以实施结合本文中所掲示的实施例而描述的各种说明性逻辑、逻辑块、模块和电路的硬件可用通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或其它可编程逻辑装置、离散门或晶体管逻辑、离散硬件组件或其经设计以执行本文中所描述的功能的任何组合来实施或执行。通用处理器可以是微处理器,但在替代方案中,处理器可以是任何常规处理器、控制器、微控制器或状态机。处理器还可实施为计算装置的组合,例如,DSP与微处理器的组合、多个微处理器、结合DSP核心的ー个或ー个以上微处理器或任何其它此类配置。或者,一些步骤或方法可由专用于给定功能的电路执行。

[0037] 在ー个或ー个以上示范性实施例中,所描述的功能可以硬件、软件、固件或其任何组合来实施。如果以软件来实施,那么可将所述功能作为ー个或ー个以上指令或代码存储在计算机可读媒体上或经由计算机可读媒体传输。本文中所掲示的方法或算法的步骤可在所执行的处理器可执行软件模块中体现,所述处理器可执行软件模块可驻留在计算机可读媒体上。计算机可读媒体包括计算机存储媒体与通信媒体两者,所述通信媒体包括促进将计算机程序从ー处传送到另ー处的任何媒体。存储媒体可为可由计算机存取的任何可用媒体。举例来说而非限制,所述计算机可读媒体可包含RAM、ROM、EEPROM 、CD-ROM或其它光盘存储装置、磁盘存储装置或其它磁性存储装置,或可用以运载或存储呈指令或数据结构形式的所要程序代码且可由计算机存取的任何其它媒体。同样,恰当地将任何连接称作计算机可读媒体。举例来说,如果使用同轴电缆、光纤电缆、双绞线、数字订户线(DSL)或例如红外线、无线电和微波等无线技术从网站、服务器或其它远程源传输软件,那么同轴电缆、光纤电缆、双绞线、DSL或例如红外线、无线电和微波等无线技术包括于媒体的定义中。如本文中所使用,磁盘和光盘包括压缩光盘(CD)、激光光盘、光学光盘、数字多功能光盘(DVD)、软盘和蓝光光盘,其中磁盘通常以磁性方式再现数据,而光盘使用激光以光学方式再现数据。以上各项的组合也应包括在计算机可读媒体的范围内。另外,方法或算法的操作可作为代码和/或指令中的一者或任何组合或集合而驻留在机器可读媒体和/或计算机可读媒体上,所述媒体可并入到计算机程序产品中。

[0038] 提供所掲示实施例的先前描述是为了使所属领域的任何技术人员能够制作或使用本发明。所属领域的技术人员将容易明白对这些实施例的各种修改,且在不脱离本发明的精神或范围的情况下,本文所界定的一般原理可应用于其它实施例。因此,本发明不希望限于本文中所展示的实施例,而是应被赋予与所附权利要求书以及本文中所掲示的原理和新颖特征一致的最广范围。

Claims (40)

1. 一种用于在配备有触摸屏显示器和数码相机的计算装置上提供用户接ロ的方法,所述数码相机经配置以能够在用户正查看所述触摸屏显示器时对所述用户的面部成像,所述方法包含: 用所述数码相机获得所述计算装置的用户的眼睛的数字图像; 基于所述所获得的数字图像来确定所述用户的注视的位置; 确定所述用户的注视是否指向所述触摸屏显示器的一部分;以及当确定所述用户的注视指向所述触摸屏显示器的一部分时放大呈现在所述触摸屏显示器上的图像的在所述用户正观看的位置附近的一部分。
2.根据权利要求I所述的方法,其中放大呈现在所述触摸屏显示器上的图像的一部分包含基干与所述用户的手指的大小有关的校准因数来放大呈现在所述触摸屏显示器上的所述图像的所述部分。
3.根据权利要求2所述的方法,其进ー步包含当用户接ロ图标在所述触摸屏显示器上的所述用户的注视的所述所确定的位置附近时放大所述图标。
4.根据权利要求3所述的方法,其进ー步包含调整所显示的图标到所述触摸屏的坐标的映射以匹配于所述经放大的图标。
5.根据权利要求I所述的方法,其中: 确定所述用户的注视是否指向所述触摸屏显示器的一部分包含确定所述用户的注视是否指向所述触摸屏显示器上的虚拟键盘图像;且 放大呈现在所述触摸屏显示器上的图像的在所述用户正观看的位置附近的一部分包含: 基于用户手指大小校准因数来放大所述虚拟键盘图像内的位于所述用户正观看的位置附近的按键图标;以及 调整所显示的按键图标到所述触摸屏的坐标的映射以匹配于所述经放大的按键图标。
6.根据权利要求I所述的方法,其进ー步包含: 測量所述触摸屏显示器上的触摸区域的尺寸; 基于所述触摸区域的所述所测量的尺寸来计算手指大小校准因数;以及 将所述所计算的手指大小校准因数存储在存储器中。
7.根据权利要求I所述的方法,其中基于所述所获得的数字图像来确定所述用户的注视的位置包含向所述所获得的数字图像应用规则,所述方法进ー步包含: 在所述触摸屏显示器上显示图标; 用所述数码相机获得所述用户的所述眼睛的数字图像; 通过向所述所获得的数字图像应用所述规则来确定所述用户的注视的位置; 基于所述所显示的图标在所述触摸屏显示器上的实际位置来调整所述规则;以及 将所述经调整的规则存储在存储器中。
8.根据权利要求I所述的方法,其中: 确定所述用户的注视是否指向所述触摸屏显示器的一部分包含确定所述用户的注视是否指向所显示的超链接的附近;且 放大呈现在所述触摸屏显示器上的图像的在所述用户正观看的位置附近的一部分包 含:基于用户手指大小校准因数来放大位于所述用户正观看的位置附近的所显示的超链接;以及 调整所述所显示的超链接到所述触摸屏的坐标的映射以匹配于所述经放大的所显示的超链接。
9.根据权利要求I所述的方法,其中所述计算装置为移动装置。
10.根据权利要求I所述的方法,其中所述计算装置为个人计算机。
11. 一种计算装置,其包含: 处理器; 存储器,其耦合到所述处理器; 数码相机,其耦合到所述处理器且经配置以能够对所述计算装置的用户的眼睛成像;以及 触摸屏显示器,其耦合到所述处理器, 其中所述处理器配置有用以执行包含以下各项的操作的处理器可执行指令: 用所述数码相机获得所述计算装置的用户的所述眼睛的数字图像; 基于所述所获得的数字图像来确定所述用户的注视的位置; 确定所述用户的注视是否指向所述触摸屏显示器的一部分;以及当确定所述用户的注视指向所述触摸屏显示器的一部分时,放大呈现在所述触摸屏显示器上的图像的在所述用户正观看的位置附近的一部分。
12.根据权利要求11所述的计算装置,其中所述处理器配置有用以执行操作的处理器可执行指令,使得放大呈现在所述触摸屏显示器上的图像的一部分包含基干与所述用户的手指的大小有关的校准因数来放大呈现在所述触摸屏显示器上的所述图像的所述部分。
13.根据权利要求12所述的计算装置,其中所述处理器配置有用以执行进ー步包含以下各项的操作的处理器可执行指令:当用户接ロ图标在所述触摸屏显示器上的所述用户的注视的所述所确定的位置附近时放大所述图标。
14.根据权利要求13所述的计算装置,其中所述处理器配置有用以执行进ー步包含以下各项的操作的处理器可执行指令:调整所显示的图标到所述触摸屏的坐标的映射以匹配于所述经放大的图标。
15.根据权利要求11所述的计算装置,其中所述处理器配置有用以执行操作的处理器可执行指令,使得: 确定所述用户的注视是否指向所述触摸屏显示器的一部分包含确定所述用户的注视是否指向所述触摸屏显示器上的虚拟键盘图像;且 放大呈现在所述触摸屏显示器上的图像的在所述用户正观看的位置附近的一部分包含: 基于用户手指大小校准因数来放大所述虚拟键盘图像内的位于所述用户正观看的位置附近的按键图标;以及 调整所显示的按键图标到所述触摸屏的坐标的映射以匹配于所述经放大的按键图标。
16.根据权利要求11所述的计算装置,其中所述处理器配置有用以执行进ー步包含以下各项的操作的处理器可执行指令: 測量所述触摸屏显示器上的触摸区域的尺寸;基于所述触摸区域的所述所测量的尺寸来计算手指大小校准因数;以及 将所述所计算的手指大小校准因数存储在存储器中。
17.根据权利要求11所述的计算装置,其中所述处理器配置有用以执行操作的处理器可执行指令,使得基于所述所获得的数字图像来确定所述用户的注视的位置包含向所述所获得的数字图像应用规则,且 其中所述处理器配置有用以执行进ー步包含以下各项的操作的处理器可执行指令: 在所述触摸屏显示器上显示图标; 用所述数码相机获得所述用户的所述眼睛的数字图像; 通过向所述所获得的数字图像应用所述规则来确定所述用户的注视的位置; 基于所述所显示的图标在所述触摸屏显示器上的实际位置来调整所述规则;以及 将所述经调整的规则存储在存储器中。
18.根据权利要求11所述的计算装置,其中所述处理器配置有用以执行操作的处理器可执行指令,使得: 确定所述用户的注视是否指向所述触摸屏显示器的一部分包含确定所述用户的注视是否指向所显示的超链接的附近;且 放大呈现在所述触摸屏显示器上的图像的在所述用户正观看的位置附近的一部分包含: 基于用户手指大小校准因数来放大位于所述用户正观看的位置附近的所显示的超链接;以及 调整所述所显示的超链接到所述触摸屏的坐标的映射以匹配于所述经放大的所显示的超链接。
19.根据权利要求11所述的计算装置,其中所述计算装置为移动装置。
20.根据权利要求11所述的计算装置,其中所述计算装置为个人计算机。
21. 一种计算装置,其包含: 触摸屏显示器; 用于获得所述计算装置的用户的眼睛的数字图像的装置; 用于基于所述所获得的数字图像来确定所述用户的注视的位置的装置; 用于确定所述用户的注视是否指向所述触摸屏显示器的一部分的装置;以及用于当确定所述用户的注视指向所述触摸屏显示器的一部分时放大呈现在所述触摸屏显示器上的图像的在所述用户正观看的位置附近的一部分的装置。
22.根据权利要求21所述的计算装置,其中用于放大呈现在所述触摸屏显示器上的图像的一部分的装置包含用于基于与所述用户的手指的大小有关的校准因数来放大呈现在所述触摸屏显示器上的所述图像的所述部分的装置。
23.根据权利要求22所述的计算装置,其进ー步包含用于当用户接ロ图标在所述触摸屏显示器上的所述用户的注视的所述所确定的位置附近时放大所述图标的装置。
24.根据权利要求23所述的计算装置,其进ー步包含用于调整所显示的图标到所述触摸屏的坐标的映射以匹配于所述经放大的图标的装置。
25.根据权利要求21所述的计算装置,其中: 用于确定所述用户的注视是否指向所述触摸屏显示器的一部分的装置包含用于确定所述用户的注视是否指向所述触摸屏显示器上的虚拟键盘图像的装置;且用于放大呈现在所述触摸屏显示器上的图像的在所述用户正观看的位置附近的一部分的装置包含: 用于基于用户手指大小校准因数来放大所述虚拟键盘图像内的位于所述用户正观看的位置附近的按键图标的装置;以及 用于调整所显示的按键图标到所述触摸屏的坐标的映射以匹配于所述经放大的按键图标的装置。
26.根据权利要求21所述的计算装置,其进ー步包含: 用于测量所述触摸屏显示器上的触摸区域的尺寸的装置; 用于基于所述触摸区域的所述所测量的尺寸来计算手指大小校准因数的装置;以及 用于将所述所计算的手指大小校准因数存储在存储器中的装置。
27.根据权利要求21所述的计算装置,其中用于基于所述所获得的数字图像来确定所述用户的注视的位置的装置包含用于向所述所获得的数字图像应用规则的装置, 所述计算装置进ー步包含: 用于在所述触摸屏显示器上显示图标的装置; 用于用数码相机获得所述用户的所述眼睛的数字图像的装置; 用于通过向所述所获得的数字图像应用所述规则来确定所述用户的注视的位置的装置; 用于基于所述所显示的图标在所述触摸屏显示器上的实际位置来调整所述规则的装置;以及 用于将所述经调整的规则存储在存储器中的装置。
28.根据权利要求21所述的计算装置,其中: 用于确定所述用户的注视是否指向所述触摸屏显示器的一部分的装置包含用于确定所述用户的注视是否指向所显示的超链接的附近的装置;且 用于放大呈现在所述触摸屏显示器上的图像的在所述用户正观看的位置附近的一部分的装置包含: 用于基于用户手指大小校准因数来放大位于所述用户正观看的位置附近的所显示的超链接的装置;以及 用于调整所述所显示的超链接到所述触摸屏的坐标的映射以匹配于所述经放大的所显示的超链接的装置。
29.根据权利要求21所述的计算装置,其中所述计算装置为移动装置。
30.根据权利要求21所述的计算装置,其中所述计算装置为个人计算机。
31. 一种处理器可读存储媒体,其上存储有经配置以致使处理器执行包含以下各项的操作的处理器可执行指令: 用数码相机获得计算装置的用户的眼睛的数字图像; 基于所述所获得的数字图像来确定所述用户的注视的位置; 确定所述用户的注视是否指向触摸屏显示器的一部分;以及 当确定所述用户的注视指向所述触摸屏显示器的一部分时放大呈现在所述触摸屏显示器上的图像的在所述用户正观看的位置附近的一部分。
32.根据权利要求31所述的处理器可读存储媒体,其中所述所存储的处理器可执行指令经配置以致使处理器执行操作,使得放大呈现在所述触摸屏显示器上的图像的一部分包含基干与所述用户的手指的大小有关的校准因数来放大呈现在所述触摸屏显示器上的所述图像的所述部分。
33.根据权利要求32所述的处理器可读存储媒体,其中所述所存储的处理器可执行指令经配置以致使处理器执行进一歩包含以下各项的操作:当用户接ロ图标在所述触摸屏显示器上的所述用户的注视的所述所确定的位置附近时放大所述图标。
34.根据权利要求33所述的处理器可读存储媒体,其中所述所存储的处理器可执行指令经配置以致使处理器执行进一歩包含以下各项的操作:调整所显示的图标到所述触摸屏的坐标的映射以匹配于所述经放大的图标。
35.根据权利要求31所述的处理器可读存储媒体,其中所述所存储的处理器可执行指令经配置以致使处理器执行操作,使得: 确定所述用户的注视是否指向所述触摸屏显示器的一部分包含确定所述用户的注视是否指向所述触摸屏显示器上的虚拟键盘图像;且 放大呈现在所述触摸屏显示器上的图像的在所述用户正观看的位置附近的一部分包含: 基于用户手指大小校准因数来放大所述虚拟键盘图像内的位于所述用户正观看的位置附近的按键图标;以及 调整所显示的按键图标到所述触摸屏的坐标的映射以匹配于所述经放大的按键图标。
36.根据权利要求31所述的处理器可读存储媒体,其中所述所存储的处理器可执行指令经配置以致使处理器执行进一歩包含以下各项的操作: 測量所述触摸屏显示器上的触摸区域的尺寸; 基于所述触摸区域的所述所测量的尺寸来计算手指大小校准因数;以及 将所述所计算的手指大小校准因数存储在存储器中。
37.根据权利要求31所述的处理器可读存储媒体,其中所述所存储的处理器可执行指令经配置以致使处理器执行操作,使得基于所述所获得的数字图像来确定所述用户的注视的位置包含向所述所获得的数字图像应用规则,且 其中所述所存储的处理器可执行指令经配置以致使处理器执行进一歩包含以下各项的操作: 在所述触摸屏显示器上显示图标; 用所述数码相机获得所述用户的所述眼睛的数字图像; 通过向所述所获得的数字图像应用所述规则来确定所述用户的注视的位置; 基于所述所显示的图标在所述触摸屏显示器上的实际位置来调整所述规则;以及 将所述经调整的规则存储在存储器中。
38.根据权利要求31所述的处理器可读存储媒体,其中所述所存储的处理器可执行指令经配置以致使处理器执行操作,使得: 确定所述用户的注视是否指向所述触摸屏显示器的一部分包含确定所述用户的注视是否指向所显示的超链接的附近;且 放大呈现在所述触摸屏显示器上的图像的在所述用户正观看的位置附近的一部分包 含:基于用户手指大小校准因数来放大位于所述用户正观看的位置附近的所显示的超链接;以及 调整所述所显示的超链接到所述触摸屏的坐标的映射以匹配于所述经放大的所显示的超链接。
39.根据权利要求31所述的处理器可读存储媒体,其中所述所存储的处理器可执行指令经配置以由移动装置的处理器执行。
40.根据权利要求31所述的处理器可读存储媒体,其中所述所存储的处理器可执行指令经配置以由个人计算机的处理器执行。
CN201180018696.5A 2010-04-16 2011-04-15 用于使虚拟键盘尺寸与用户手指大小动态相关的设备和方法 CN102834789B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
US12/761,479 US8982160B2 (en) 2010-04-16 2010-04-16 Apparatus and methods for dynamically correlating virtual keyboard dimensions to user finger size
US12/761,479 2010-04-16
PCT/US2011/032626 WO2011130594A1 (en) 2010-04-16 2011-04-15 Apparatus and methods for dynamically correlating virtual keyboard dimensions to user finger size

Publications (2)

Publication Number Publication Date
CN102834789A true CN102834789A (zh) 2012-12-19
CN102834789B CN102834789B (zh) 2017-03-01

Family

ID=44318452

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201180018696.5A CN102834789B (zh) 2010-04-16 2011-04-15 用于使虚拟键盘尺寸与用户手指大小动态相关的设备和方法

Country Status (6)

Country Link
US (1) US8982160B2 (zh)
EP (1) EP2558922A1 (zh)
JP (2) JP2013524390A (zh)
KR (1) KR101436226B1 (zh)
CN (1) CN102834789B (zh)
WO (1) WO2011130594A1 (zh)

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103645806A (zh) * 2013-12-24 2014-03-19 惠州Tcl移动通信有限公司 一种基于眼球追踪的商品浏览方法及系统
CN104035549A (zh) * 2013-03-06 2014-09-10 联想(北京)有限公司 一种信号处理的方法及装置
WO2014139209A1 (en) * 2013-03-11 2014-09-18 City University Of Hong Kong Regional zooming virtual keyboards for accurate typing on small displays
WO2015043369A1 (zh) * 2013-09-29 2015-04-02 罗蒙明 一种实现双手拇指操控宽屏虚拟键盘按键的方法
CN104536556A (zh) * 2014-09-15 2015-04-22 联想(北京)有限公司 一种信息处理方法及电子设备
CN104662600A (zh) * 2012-06-25 2015-05-27 亚马逊技术公司 使用注视确定与装置输入
CN104793734A (zh) * 2014-01-21 2015-07-22 精工爱普生株式会社 位置检测装置、位置检测系统和位置检测装置的控制方法
CN104793750A (zh) * 2015-04-30 2015-07-22 努比亚技术有限公司 输入的方法及装置
CN104834402A (zh) * 2015-05-11 2015-08-12 上海交通大学 基于预测的自适应中文输入法触摸屏键盘的实现方法
CN105339868A (zh) * 2013-06-06 2016-02-17 微软技术许可有限责任公司 基于眼睛跟踪的视觉增强
CN105612478A (zh) * 2013-10-11 2016-05-25 微软技术许可有限责任公司 用户接口程序化的缩放
CN106415413A (zh) * 2014-02-13 2017-02-15 欧姆龙株式会社 可编程显示器、便携终端装置、数据处理方法以及程序
CN106662917A (zh) * 2014-04-11 2017-05-10 眼球控制技术有限公司 眼睛跟踪校准系统和方法
US9933858B2 (en) 2013-09-29 2018-04-03 Shenzhen Hsmc Technology Co., Ltd. Keyboard operated with two thumbs and key layout method thereof
CN105446673B (zh) * 2014-07-28 2018-10-19 华为技术有限公司 屏幕显示的方法及终端设备
US10156984B2 (en) 2013-09-29 2018-12-18 Shenzhen Hsmc Technology Co., Ltd. Method for implementing control of keys of virtual keyboard on wide touch screen with two thumbs
CN109840060A (zh) * 2019-01-31 2019-06-04 维沃移动通信有限公司 一种显示控制方法及终端设备

Families Citing this family (102)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100913962B1 (ko) * 2007-05-14 2009-08-26 삼성전자주식회사 이동통신 단말기의 문자 입력 방법 및 장치
US9886231B2 (en) 2008-03-28 2018-02-06 Kopin Corporation Head worn wireless computer having high-resolution display suitable for use as a mobile internet device
JP4982430B2 (ja) * 2008-05-27 2012-07-25 株式会社エヌ・ティ・ティ・ドコモ 文字入力装置及び文字入力方法
US8237666B2 (en) * 2008-10-10 2012-08-07 At&T Intellectual Property I, L.P. Augmented I/O for limited form factor user-interfaces
US8253713B2 (en) 2008-10-23 2012-08-28 At&T Intellectual Property I, L.P. Tracking approaching or hovering objects for user-interfaces
US8677287B2 (en) * 2008-12-04 2014-03-18 Mitsubishi Electric Corporation Display input device and navigation device
JP2010176170A (ja) * 2009-01-27 2010-08-12 Sony Ericsson Mobilecommunications Japan Inc 表示装置、表示制御方法および表示制御プログラム
US20110264442A1 (en) * 2010-04-22 2011-10-27 Microsoft Corporation Visually emphasizing predicted keys of virtual keyboard
US8810543B1 (en) 2010-05-14 2014-08-19 Cypress Semiconductor Corporation All points addressable touch sensing surface
WO2012005005A1 (ja) * 2010-07-07 2012-01-12 パナソニック株式会社 端末装置およびgui画面生成方法
KR101695818B1 (ko) * 2010-07-28 2017-01-13 엘지전자 주식회사 이동 단말기 및 이것의 가상 키 패드 제어 방법
US9411413B2 (en) 2010-08-04 2016-08-09 Apple Inc. Three dimensional user interface effects on a display
US8913056B2 (en) * 2010-08-04 2014-12-16 Apple Inc. Three dimensional user interface effects on a display by using properties of motion
US9357024B2 (en) 2010-08-05 2016-05-31 Qualcomm Incorporated Communication management utilizing destination device user presence probability
KR20150027163A (ko) * 2012-05-30 2015-03-11 코핀 코포레이션 개선된 가상 디스플레이 기능을 가진 헤드-착용 컴퓨터
US10013976B2 (en) 2010-09-20 2018-07-03 Kopin Corporation Context sensitive overlays in voice controlled headset computer displays
CN102479046B (zh) * 2010-11-30 2013-09-25 英业达股份有限公司 触控装置及其操作方法
KR101838696B1 (ko) * 2011-01-24 2018-04-26 삼성전자주식회사 터치스크린 기반 웹브라이저 환경에서 링크 개체 선택 방법 및 장치
US8725443B2 (en) * 2011-01-24 2014-05-13 Microsoft Corporation Latency measurement
US9542092B2 (en) 2011-02-12 2017-01-10 Microsoft Technology Licensing, Llc Prediction-based touch contact tracking
EP2751988A1 (en) * 2011-04-21 2014-07-09 Sony Mobile Communications AB Method and system for providing an improved audio experience for viewers of video
US20130002722A1 (en) * 2011-07-01 2013-01-03 Krimon Yuri I Adaptive text font and image adjustments in smart handheld devices for improved usability
US20130016129A1 (en) * 2011-07-14 2013-01-17 Google Inc. Region-Specific User Input
US8368723B1 (en) * 2011-07-14 2013-02-05 Google Inc. User input combination of touch and user position
WO2013059647A1 (en) * 2011-10-21 2013-04-25 New York University Reducing visual crowding, increasing attention and improving visual span
US8750852B2 (en) * 2011-10-27 2014-06-10 Qualcomm Incorporated Controlling access to a mobile device
JP2013097593A (ja) * 2011-11-01 2013-05-20 Sony Corp 情報処理装置、情報処理方法及びプログラム
JP2013098840A (ja) * 2011-11-02 2013-05-20 Sony Corp 情報処理装置、表示制御方法およびプログラム
US9785281B2 (en) 2011-11-09 2017-10-10 Microsoft Technology Licensing, Llc. Acoustic touch sensitive testing
JP5945417B2 (ja) * 2012-01-06 2016-07-05 京セラ株式会社 電子機器
KR101850034B1 (ko) * 2012-01-06 2018-04-20 엘지전자 주식회사 이동 단말기 및 그 제어방법
JP5808435B2 (ja) * 2012-01-23 2015-11-10 三菱電機株式会社 情報表示装置
US8884928B1 (en) * 2012-01-26 2014-11-11 Amazon Technologies, Inc. Correcting for parallax in electronic displays
US9378581B2 (en) 2012-03-13 2016-06-28 Amazon Technologies, Inc. Approaches for highlighting active interface elements
JP5962085B2 (ja) * 2012-03-15 2016-08-03 ソニー株式会社 表示制御装置、その制御方法およびプログラム
KR101850035B1 (ko) * 2012-05-02 2018-04-20 엘지전자 주식회사 이동 단말기 및 그 제어방법
US9471763B2 (en) * 2012-05-04 2016-10-18 Sony Interactive Entertainment America Llc User input processing with eye tracking
JP2013235344A (ja) * 2012-05-07 2013-11-21 Sony Computer Entertainment Inc 入力装置、入力制御方法、及び入力制御プログラム
JP5942586B2 (ja) * 2012-05-18 2016-06-29 富士通株式会社 タブレット端末および操作受付プログラム
CN103514149B (zh) * 2012-06-29 2017-03-22 国际商业机器公司 调整超链接的版面大小的装置和方法
US9170680B2 (en) * 2012-07-12 2015-10-27 Texas Instruments Incorporated Method, system and computer program product for operating a touchscreen
KR20140011204A (ko) * 2012-07-18 2014-01-28 삼성전자주식회사 컨텐츠 제공 방법 및 이를 적용한 디스플레이 장치
CN102841683B (zh) * 2012-07-24 2015-07-22 东莞宇龙通信科技有限公司 应用启动的方法及其通信终端
JP2014035562A (ja) * 2012-08-07 2014-02-24 Sony Corp 情報処理装置、情報処理方法及びコンピュータプログラム
US20140049487A1 (en) * 2012-08-17 2014-02-20 Qualcomm Incorporated Interactive user interface for clothing displays
US9772722B2 (en) * 2012-10-22 2017-09-26 Parade Technologies, Ltd. Position sensing methods and devices with dynamic gain for edge positioning
WO2014065203A1 (ja) * 2012-10-26 2014-05-01 シャープ株式会社 座標入力装置、及びそれを備えた表示装置
DE102012219958A1 (de) * 2012-10-31 2014-06-12 Bayerische Motoren Werke Aktiengesellschaft Bestimmung einer Eingabeposition auf einem Touch-Screen
US20140118268A1 (en) * 2012-11-01 2014-05-01 Google Inc. Touch screen operation using additional inputs
TWI483193B (zh) * 2012-12-13 2015-05-01 Hongfujin Prec Ind Wuhan 顯示螢幕移動系統及方法
CN103869943A (zh) * 2012-12-14 2014-06-18 鸿富锦精密工业(武汉)有限公司 显示内容修改系统及方法
US20140184511A1 (en) * 2012-12-28 2014-07-03 Ismo Puustinen Accurate data entry into a mobile computing device
US9619021B2 (en) 2013-01-09 2017-04-11 Lg Electronics Inc. Head mounted display providing eye gaze calibration and control method thereof
KR20140090552A (ko) * 2013-01-09 2014-07-17 엘지전자 주식회사 시선 캘리브레이션을 제공하는 헤드 마운트 디스플레이 및 그 제어 방법
US20150355815A1 (en) * 2013-01-15 2015-12-10 Poow Innovation Ltd Dynamic icons
US20140208263A1 (en) * 2013-01-24 2014-07-24 Victor Maklouf System and method for dynamically displaying characters over a screen of a computerized mobile device
EP2956844B1 (en) * 2013-02-14 2017-05-24 Facebook, Inc. Systems and methods of eye tracking calibration
KR20140104661A (ko) 2013-02-21 2014-08-29 삼성전자주식회사 시선 인식을 이용한 사용자 인터페이스 방법 및 장치
US20140267281A1 (en) * 2013-03-13 2014-09-18 Ericom Software Ltd. Method for displaying a remote desktop on a portable touch screen device
US20140282196A1 (en) * 2013-03-15 2014-09-18 Intuitive Surgical Operations, Inc. Robotic system providing user selectable actions associated with gaze tracking
US9798382B2 (en) * 2013-04-16 2017-10-24 Facebook, Inc. Systems and methods of eye tracking data analysis
KR20140125078A (ko) * 2013-04-18 2014-10-28 삼성전자주식회사 전자 장치 및 전자 장치에서 잠금 해제 방법
GB2514603A (en) * 2013-05-30 2014-12-03 Tobii Technology Ab Gaze-controlled user interface with multimodal input
US9189095B2 (en) 2013-06-06 2015-11-17 Microsoft Technology Licensing, Llc Calibrating eye tracking system by touch input
KR20140144510A (ko) 2013-06-11 2014-12-19 삼성전자주식회사 시선 추적을 이용한 시인성 개선 방법, 저장 매체 및 전자 장치
US20140368442A1 (en) * 2013-06-13 2014-12-18 Nokia Corporation Apparatus and associated methods for touch user input
KR101500098B1 (ko) * 2013-07-05 2015-03-06 현대자동차주식회사 터치스크린을 구비한 유저인터페이스 제어 장치 및 방법
US20150049012A1 (en) * 2013-08-19 2015-02-19 Qualcomm Incorporated Visual, audible, and/or haptic feedback for optical see-through head mounted display with user interaction tracking
US10073518B2 (en) * 2013-08-19 2018-09-11 Qualcomm Incorporated Automatic calibration of eye tracking for optical see-through head mounted display
KR20150051663A (ko) * 2013-11-05 2015-05-13 삼성전자주식회사 터치 입력에 반응하여 기능을 실행하는 방법 및 이를 구현하는 전자장치
US9971413B2 (en) * 2013-11-27 2018-05-15 Huawei Technologies Co., Ltd. Positioning method and apparatus
JP2015127897A (ja) * 2013-12-27 2015-07-09 ソニー株式会社 表示制御装置、表示制御システム、表示制御方法、およびプログラム
JP6504058B2 (ja) * 2014-01-08 2019-04-24 ソニー株式会社 情報処理システム、情報処理方法およびプログラム
US20170060413A1 (en) * 2014-02-21 2017-03-02 Drnc Holdings, Inc. Methods, apparatus, systems, devices and computer program products for facilitating entry of user input into computing devices
US9324149B2 (en) * 2014-03-17 2016-04-26 Joel David Wigton Method and use of smartphone camera to prevent distracted driving
US9158426B1 (en) * 2014-03-19 2015-10-13 Google Inc. Touch keyboard calibration
EP2924540B1 (de) 2014-03-27 2019-04-24 SensoMotoric Instruments Gesellschaft für innovative Sensorik mbH Verfahren und System zum Betreiben einer Anzeigevorrichtung
US20150301598A1 (en) * 2014-04-22 2015-10-22 Kabushiki Kaisha Toshiba Method, electronic device, and computer program product
WO2015183208A1 (en) * 2014-05-30 2015-12-03 Koç Üniversitesi Gaze based prediction device and method
US20150358594A1 (en) * 2014-06-06 2015-12-10 Carl S. Marshall Technologies for viewer attention area estimation
WO2015198366A1 (ja) * 2014-06-23 2015-12-30 富士通株式会社 電子機器、モード判定方法およびモード判定プログラム
EP3201737A4 (en) * 2014-09-29 2018-05-23 Hewlett-Packard Development Company, L.P. Virtual keyboard
JP6547268B2 (ja) 2014-10-02 2019-07-24 富士通株式会社 視線位置検出装置、視線位置検出方法及び視線位置検出プログラム
US10126940B2 (en) * 2014-10-19 2018-11-13 Lenovo (Singapore) Pte. Ltd. Touch zones on a soft keyboard
CN105630365A (zh) * 2014-10-29 2016-06-01 深圳富泰宏精密工业有限公司 网页调整方法及系统
US9936195B2 (en) * 2014-11-06 2018-04-03 Intel Corporation Calibration for eye tracking systems
US20160140523A1 (en) * 2014-11-13 2016-05-19 Bank Of America Corporation Position adaptive atm for customer privacy
WO2016075532A1 (en) * 2014-11-14 2016-05-19 The Eye Tribe Aps Dynamic eye tracking calibration
KR20160071139A (ko) * 2014-12-11 2016-06-21 삼성전자주식회사 시선 캘리브레이션 방법 및 그 전자 장치
US9961258B2 (en) 2015-02-23 2018-05-01 Facebook, Inc. Illumination system synchronized with image sensor
US9791942B2 (en) 2015-03-31 2017-10-17 International Business Machines Corporation Dynamic collaborative adjustable keyboard
US9927974B2 (en) 2015-09-22 2018-03-27 Qualcomm Incorporated Automatic customization of keypad key appearance
CN105607736B (zh) * 2015-12-17 2019-10-11 魅族科技(中国)有限公司 一种信息显示方法及终端
US10275023B2 (en) 2016-05-05 2019-04-30 Google Llc Combining gaze input and touch surface input for user interfaces in augmented and/or virtual reality
CN106126088A (zh) * 2016-06-15 2016-11-16 青岛海信移动通信技术股份有限公司 一种图片放大显示的方法及装置
JP2018018437A (ja) 2016-07-29 2018-02-01 富士ゼロックス株式会社 画像表示装置、画像形成装置、および、プログラム
CN106791135A (zh) * 2016-12-29 2017-05-31 努比亚技术有限公司 一种自动局部缩放显示方法及移动终端
KR101966840B1 (ko) * 2017-01-04 2019-04-08 조선대학교산학협력단 오입력을 최소화한 가상키보드 및 이를 이용한 문자 입력방법
DE102017213005A1 (de) * 2017-07-27 2019-01-31 Audi Ag Verfahren zum Darstellen eines Anzeigeinhalts
US20190107884A1 (en) * 2017-10-05 2019-04-11 Microsoft Technology Licensing, Llc Eye gaze correction using pursuit vector
DE102018211624A1 (de) * 2018-07-12 2020-01-16 Bayerische Motoren Werke Aktiengesellschaft Verfahren und Benutzerschnittstelle zur Erfassung einer Eingabe mittels Zeigegestik
DE102018212398A1 (de) * 2018-07-25 2020-01-30 Audi Ag Eingabeeinheit und Verfahren zum Eingeben von Steuerbefehlen

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0887380A (ja) * 1994-09-19 1996-04-02 Tabai Espec Corp 操作体対応型操作パネル装置
US20050047629A1 (en) * 2003-08-25 2005-03-03 International Business Machines Corporation System and method for selectively expanding or contracting a portion of a display using eye-gaze tracking
US20050237310A1 (en) * 2004-04-23 2005-10-27 Nokia Corporation User interface
JP2009251658A (ja) * 2008-04-01 2009-10-29 Fujifilm Corp 携帯型電子装置及びその制御方法

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH02153415A (en) * 1988-12-06 1990-06-13 Hitachi Ltd Keyboard device
JP3272906B2 (ja) * 1995-05-29 2002-04-08 シャープ株式会社 視線方向検出方法及び装置及びそれを含むマンマシンインターフェース装置
GB0119859D0 (en) * 2001-08-15 2001-10-10 Qinetiq Ltd Eye tracking system
JP2004118484A (ja) 2002-09-26 2004-04-15 Toshiba Corp リンク表示位置変更方法、リンク表示位置変更プログラム、文書表示装置、入出力装置及び計算機
US9274598B2 (en) * 2003-08-25 2016-03-01 International Business Machines Corporation System and method for selecting and activating a target object using a combination of eye gaze and key presses
US7760187B2 (en) * 2004-07-30 2010-07-20 Apple Inc. Visual expander
US9213404B2 (en) * 2006-02-01 2015-12-15 Tobii Technology Ab Generation of graphical feedback in a computer system
DE102006037156A1 (de) * 2006-03-22 2007-09-27 Volkswagen Ag Interaktive Bedienvorrichtung und Verfahren zum Betreiben der interaktiven Bedienvorrichtung
US20080238947A1 (en) * 2007-03-27 2008-10-02 Keahey T Alan System and method for non-linear magnification of images

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0887380A (ja) * 1994-09-19 1996-04-02 Tabai Espec Corp 操作体対応型操作パネル装置
US20050047629A1 (en) * 2003-08-25 2005-03-03 International Business Machines Corporation System and method for selectively expanding or contracting a portion of a display using eye-gaze tracking
US20050237310A1 (en) * 2004-04-23 2005-10-27 Nokia Corporation User interface
JP2009251658A (ja) * 2008-04-01 2009-10-29 Fujifilm Corp 携帯型電子装置及びその制御方法

Cited By (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104662600B (zh) * 2012-06-25 2018-02-16 亚马逊技术公司 使用注视确定与装置输入
CN104662600A (zh) * 2012-06-25 2015-05-27 亚马逊技术公司 使用注视确定与装置输入
CN104035549A (zh) * 2013-03-06 2014-09-10 联想(北京)有限公司 一种信号处理的方法及装置
WO2014139209A1 (en) * 2013-03-11 2014-09-18 City University Of Hong Kong Regional zooming virtual keyboards for accurate typing on small displays
US9965062B2 (en) 2013-06-06 2018-05-08 Microsoft Technology Licensing, Llc Visual enhancements based on eye tracking
CN105339868A (zh) * 2013-06-06 2016-02-17 微软技术许可有限责任公司 基于眼睛跟踪的视觉增强
CN105339868B (zh) * 2013-06-06 2019-02-05 微软技术许可有限责任公司 基于眼睛跟踪的视觉增强
US10156984B2 (en) 2013-09-29 2018-12-18 Shenzhen Hsmc Technology Co., Ltd. Method for implementing control of keys of virtual keyboard on wide touch screen with two thumbs
WO2015043369A1 (zh) * 2013-09-29 2015-04-02 罗蒙明 一种实现双手拇指操控宽屏虚拟键盘按键的方法
US9933858B2 (en) 2013-09-29 2018-04-03 Shenzhen Hsmc Technology Co., Ltd. Keyboard operated with two thumbs and key layout method thereof
CN105612478A (zh) * 2013-10-11 2016-05-25 微软技术许可有限责任公司 用户接口程序化的缩放
CN105612478B (zh) * 2013-10-11 2019-06-04 微软技术许可有限责任公司 用户接口程序化的缩放
CN103645806B (zh) * 2013-12-24 2016-09-14 惠州Tcl移动通信有限公司 一种基于眼球追踪的商品浏览方法及系统
CN103645806A (zh) * 2013-12-24 2014-03-19 惠州Tcl移动通信有限公司 一种基于眼球追踪的商品浏览方法及系统
CN104793734A (zh) * 2014-01-21 2015-07-22 精工爱普生株式会社 位置检测装置、位置检测系统和位置检测装置的控制方法
CN104793734B (zh) * 2014-01-21 2019-07-05 精工爱普生株式会社 位置检测装置、位置检测系统和位置检测装置的控制方法
CN106415413A (zh) * 2014-02-13 2017-02-15 欧姆龙株式会社 可编程显示器、便携终端装置、数据处理方法以及程序
CN106415413B (zh) * 2014-02-13 2020-01-31 欧姆龙株式会社 可编程显示器、便携终端装置、数据处理方法
CN106662917A (zh) * 2014-04-11 2017-05-10 眼球控制技术有限公司 眼睛跟踪校准系统和方法
CN105446673B (zh) * 2014-07-28 2018-10-19 华为技术有限公司 屏幕显示的方法及终端设备
CN104536556A (zh) * 2014-09-15 2015-04-22 联想(北京)有限公司 一种信息处理方法及电子设备
CN104793750A (zh) * 2015-04-30 2015-07-22 努比亚技术有限公司 输入的方法及装置
CN104834402A (zh) * 2015-05-11 2015-08-12 上海交通大学 基于预测的自适应中文输入法触摸屏键盘的实现方法
CN104834402B (zh) * 2015-05-11 2018-01-02 上海交通大学 基于预测的自适应中文输入法触摸屏键盘的实现方法
CN109840060A (zh) * 2019-01-31 2019-06-04 维沃移动通信有限公司 一种显示控制方法及终端设备

Also Published As

Publication number Publication date
KR20130010012A (ko) 2013-01-24
WO2011130594A1 (en) 2011-10-20
JP2013524390A (ja) 2013-06-17
JP6069378B2 (ja) 2017-02-01
US20110254865A1 (en) 2011-10-20
EP2558922A1 (en) 2013-02-20
CN102834789B (zh) 2017-03-01
KR101436226B1 (ko) 2014-09-01
US8982160B2 (en) 2015-03-17
JP2015097123A (ja) 2015-05-21

Similar Documents

Publication Publication Date Title
JP6140668B2 (ja) 携帯電話のタッチスクリーンとの使用等のためのマルチモーダルテキスト入力システム
KR101833129B1 (ko) 언어 입력 교정
US9891070B2 (en) Mobile terminal and control method for the mobile terminal
US9678943B2 (en) Partial gesture text entry
EP2993571A1 (en) Electronic device with curved display and method for controlling thereof
US9261995B2 (en) Apparatus, method, and computer readable recording medium for selecting object by using multi-touch with related reference point
US10509862B2 (en) Dynamic phrase expansion of language input
EP3164785B1 (en) Wearable device user interface control
Oney et al. ZoomBoard: a diminutive qwerty soft keyboard using iterative zooming for ultra-small devices
US9836210B2 (en) Character input method and apparatus in portable terminal having touch screen
CN104704451B (zh) 提供用于定位和数据输入的触觉反馈
US9329767B1 (en) User-specific customization based on characteristics of user-interaction
EP3086538B1 (en) Mobile terminal and communication system using said terminal
JP5905007B2 (ja) 電子デバイスディスプレイの上方の空気中で物体を移動させることによって電子デバイスアプリケーションと相互作用するための方法および装置
US9134849B2 (en) Pen interface for a touch screen device
Wang et al. Ubiquitous keyboard for small mobile devices: harnessing multipath fading for fine-grained keystroke localization
TWI410906B (zh) 使用擴增實境導航路徑之方法及使用該方法之行動終端機
CN105593787B (zh) 用于与数字设备交互的直接指向检测的系统和方法
EP2945043B1 (en) Eyewear-type terminal and method of controlling the same
US20150350147A1 (en) Displaying interactive notifications on touch sensitive devices
US8959013B2 (en) Virtual keyboard for a non-tactile three dimensional user interface
Agrawal et al. Using mobile phones to write in air
KR20150025452A (ko) 데이터 처리 방법 및 그 전자 장치
US8627235B2 (en) Mobile terminal and corresponding method for assigning user-drawn input gestures to functions
Liu et al. Gunslinger: Subtle arms-down mid-air interaction

Legal Events

Date Code Title Description
PB01 Publication
C06 Publication
SE01 Entry into force of request for substantive examination
C10 Entry into substantive examination
GR01 Patent grant
GR01 Patent grant