CN102834789B - 用于使虚拟键盘尺寸与用户手指大小动态相关的设备和方法 - Google Patents

用于使虚拟键盘尺寸与用户手指大小动态相关的设备和方法 Download PDF

Info

Publication number
CN102834789B
CN102834789B CN201180018696.5A CN201180018696A CN102834789B CN 102834789 B CN102834789 B CN 102834789B CN 201180018696 A CN201180018696 A CN 201180018696A CN 102834789 B CN102834789 B CN 102834789B
Authority
CN
China
Prior art keywords
user
touch
screen display
icon
described user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201180018696.5A
Other languages
English (en)
Other versions
CN102834789A (zh
Inventor
杰迪恩·N·伊
乔尔·贝尔纳尔特
珍妮特·L·多布森
吉达尔·D·曼蒂阿姆
约瑟夫·黄
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qualcomm Inc
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Publication of CN102834789A publication Critical patent/CN102834789A/zh
Application granted granted Critical
Publication of CN102834789B publication Critical patent/CN102834789B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013Eye tracking input arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304Detection arrangements using opto-electronic means
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04817Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance using icons
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04886Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures by partitioning the display area of the touch-screen or the surface of the digitising tablet into independently controllable areas, e.g. virtual keyboards or menus
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/107Static hand or arm
    • G06V40/11Hand-related biometrics; Hand pose recognition
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048Indexing scheme relating to G06F3/048
    • G06F2203/04805Virtual magnifying lens, i.e. window or frame movable on top of displayed information to enlarge it for better reading or selection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048Indexing scheme relating to G06F3/048
    • G06F2203/04806Zoom, i.e. interaction techniques or interactors for controlling the zooming operation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • User Interface Of Digital Computer (AREA)
  • Input From Keyboards Or The Like (AREA)
  • Position Input By Displaying (AREA)

Abstract

本发明提供一种用于配备有触摸屏显示器和数码相机的计算装置的用户接口,其放大所显示图像的在用户注视内的一部分。用户可通过用一根或一根以上手指触摸所述触摸屏的一部分且用其双眼跟随所述显示器上的移动图像来校准其移动装置。所述移动装置可跟踪用户正观看的位置,且如果所述用户正观看所述移动装置显示器,那么可放大所述显示器的在所述用户的注视附近的一部分。在一实施例中,如果所述用户正观看虚拟键盘,那么可以与所述用户的指尖大小相称的大小增大在所述用户的注视附近的按键图标。以此方式,用户可准确地选择配合在移动装置显示器内的虚拟键盘中的个别按键。

Description

用于使虚拟键盘尺寸与用户手指大小动态相关的设备和方法
技术领域
本申请案大体上涉及计算装置用户接口,且更明确地说,涉及适合于配备有触摸屏的移动装置的用户接口。
背景技术
配备有触摸屏显示器的移动计算装置已经实现新一代个人电子装置。触摸屏显示器提供图形显示器和柔性用户接口两者,且因此使得装置能够消除物理按键和按钮以有利于较大的显示器。此类移动装置通常包括图形用户接口系统,其使得用户能够通过触摸呈现在显示器上的图标来输入命令。常见形式的用户接口呈现具有多个小按键图标的虚拟键盘或小键盘,其以传统物理键盘或小键盘的方式来布置。尽管虚拟键盘用户接口是直观且有用的,但典型移动装置中的触摸屏显示器的有限大小要求虚拟键盘按键图标在大小上受到限制,从而使得用户难以在没有键入错误的情况下准确地触摸。
发明内容
各种实施例实现适合于在具有触摸屏显示器的计算装置上使用的用户接口,其可通过经由用数码相机跟踪用户注视而局部地增加显示图像的一部分的大小来补偿用户手指的大小。在一实施例中,移动装置包括触摸屏显示器和数码相机,所述数码相机经定位以使得其可在用户正查看触摸屏显示器时对用户面部成像。通过在数字图像中跟踪用户眼睛,移动装置可经配置以确定用户正观看的位置,且如果用户注视指向触摸屏显示器上的位置,那么可在大小上增大所显示图像的在用户正观看的位置附近的一部分。当所显示图像包括虚拟键盘或小键盘时,可与用户指尖的尺寸相称地在大小上增大在用户注视附近的按键图标。在一实施例中,可在训练例程中将移动装置校准到用户的手指大小和眼睛。尽管所述实施例可尤其对虚拟键盘用户接口显示有用,但眼睛跟踪局部化放大功能性还可对其它应用程序以及其它形式的计算装置(包括具有大触摸屏显示器的计算装置)有用。
附图说明
并入本文中并构成本说明书的一部分的附图说明本发明的示范性实施例,且连同上文给出的概括描述和下文给出的详细描述一起用以解释本发明的特征。
图1为移动装置的正视图,其展示触摸屏显示器上的用于消息接发应用程序的常规用户接口。
图2为移动装置的正视图,其展示用于消息接发应用程序的实施例用户接口。
图3和4为移动装置的正视图,其说明实施例用户接口的操作。
图5和6为移动装置的正视图,其说明实施例用户接口的校准操作。
图7为用于实施实施例用户接口的实例方法的过程流程图。
图8为用于校准实施例用户接口的实施例方法的过程流程图。
图9为用于实施另一实施例用户接口的实施例方法的过程流程图。
图10为适合于在实施例中使用的移动装置的组件框图。
具体实施方式
将参看附图来详细地描述各种实施例。只要可能,将在整个图式中使用相同的参考标号来指代相同或相似的部分。对特定实例和实施方案做出的参考是出于说明性目的,且不希望限制本发明或权利要求书的范围。
本文中可互换地使用术语“计算装置”和“移动装置”来指代蜂窝式电话、个人数据助理(PDA)、掌上型计算机、无线电子邮件接收器(例如,装置)、具有多媒体因特网功能的蜂窝式电话(例如,Blackberry)、全球定位系统(GPS)接收器、无线游戏控制器、个人计算机以及包括可编程处理器、触摸屏用户接口/显示器和定位于装置上以使得其可在用户可以看到显示器时对用户眼睛进行成像的数码相机的类似个人电子装置中的任何一者或全部。尽管各种实施例尤其在具有小显示器的移动装置(例如,蜂窝式电话)中有用,但所述实施例还可在采用触摸屏显示器的任何计算装置中有用。因此,在后面的实施例描述中对“移动装置”的参考仅是出于说明目的,且不希望排除以触摸屏显示器为特征的其它形式的计算装置或限制权利要求书的范围。
配备有触摸屏用户接口/显示器的计算装置在用户输入和材料的图形表示方面提供很大灵活性。然而,此类用户接口并不是没有限制的。举例来说,当常规键盘按照虚拟键盘或小键盘来在典型的移动装置触摸屏显示器上表示时,必须以充分小而足以配合在显示器的宽度和高度内的大小来显示按键图标。此类小按键图标可能非常难以用手指来准确地按压,因为手指所触摸的表面面积将通常涵盖一个以上按键图标。这在图1中说明,图1展示具有上面显示虚拟键盘4的触摸屏2的移动装置1。在如图1中所说明的典型虚拟键盘布局中,试图按压单个按键(例如,“H”按键)的用户手指5还将触摸到周围的按键图标,例如如所说明的用于“G”、“H”、“V”和“B”的按键。因而,此类虚拟键盘和小键盘上的键入错误是常见的,且可能使用户感到沮丧。
各种实施例通过响应于用户注视而提供所显示图像或图标的选择性增强来提供对小移动装置显示器所具有的此问题的解决方案。在一实施例中,用户可将其计算装置校准到其自身的手指大小且训练所述装置基于对其眼睛拍摄的图像来辨识用户注视的位置。通过确定用户正在触摸屏上观看的位置且基于手指大小校准因数来将虚拟键盘的在用户正观看的位置附近的部分增强一定量,移动装置可提供配合在触摸屏显示器的不动产内但提供对于用户手指来说足够大的按键图标的用户接口键盘或小键盘。在另一实施例中,可将增强显示器的在用户注视内的部分的方法应用于其它应用,例如所显示的地图、照片、文字和其它视觉材料。而且,各种实施例可在包括触摸屏显示器的任何计算装置上实施,甚至是具有大触摸屏显示器的计算装置,因为局部化图像增强功能性可使得用户能够准确按压显示器上的特定位置而不必放大整个图像。
图2说明在具有触摸屏2的移动装置1上进行操作的实施例。在此实施例中,通过数码相机3对用户眼睛进行成像,数码相机3定位于移动装置1上,使得其可在用户正与触摸屏2交互时对用户面部进行成像。基于用户正观看的位置,移动装置1增大虚拟小键盘虚拟键盘4中的按键图标的大小,使得其与用户手指5相容。如所说明,向试图按压用于字母“H”的虚拟按键的用户呈现与用户指尖一样大的图标。以此方式,按压错误按键或用涵盖多个按键图标的触摸事件将触摸屏接口搞乱的机会得以降低。
此实施例在图3和4中进一步说明,图3和4展示数码相机3如何对用户眼睛5进行成像以确定触摸屏显示器2上的用户注视6的位置。这可通过使用图像辨识软件定位用户眼睛,且更明确地说,定位用户瞳孔的位置来完成。可通过对用户眼睛的图像应用图像分析规则(其可考虑到用户面部相对于装置触摸屏显示器的定向和位置以及用户瞳孔在所述图像内的位置)且应用三角计算估计用户正观看的位置来完成确定用户注视的位置。随着移动装置根据数码相机3所获得的图像确定用户注视6的位置,在大小上增强虚拟小键盘4的靠近用户注视6的中心的按键图标。因此,随着用户注视6从虚拟键盘4的左手侧(如图3中所示)移位到右手侧(如图4中所示),基于用户手指的校准因数而使虚拟小键盘4的在用户注视6的中心内的那些图标更大。图3和4说明所述实施例如何使得虚拟键盘4能够配合在移动装置触摸屏2的有限空间内,同时还提供足够大以适应用户手指的按键图标。
尽管图2到4展示响应于用户注视而增强的虚拟键盘4,但所述实施例还可应用于任何虚拟小键盘,例如电话小键盘、计算器小键盘或游戏专用小键盘。因此,提供虚拟键盘4的图像仅仅作为实例而不作为对所述实施例的范围的限制。
为了将移动装置1校准到用户手指大小,移动装置可要求用户在使用之前将其装置初始化或校准到其手指。图5展示可能在校准过程中在触摸屏2上呈现的实例用户接口显示。在此校准过程中,可提示用户用在文本编辑期间通常使用的手指触摸所述屏幕上的虚拟按键8。在此实施例中,用户仅仅必须触摸所显示的按键图标来使得移动装置1能够确定触摸屏2的由用户指尖接触的表面面积的尺寸。使用所测量的尺寸,装置处理器可计算恰当的用户手指大小校准因数,所述用户手指大小校准因数可存储在存储器中以供用于调整按键图标的大小中,如图2到4中所说明。
为了将移动装置1校准到用户眼睛以使得其能够准确地确定用户正观看的位置,移动装置1可在训练例程中要求用户训练其装置以跟踪其眼睛。图6展示可能在此类训练例程中在触摸屏2上呈现的简单用户接口显示。举例来说,可提示用户随着触摸屏2上的移动图标(例如蜜蜂9的图像)在触摸屏显示器2上到处移动而跟随所述移动图标。在每一时刻,移动装置1将从数码相机3获得的用户眼睛的图像与移动图标9在显示器2上的位置进行比较,以学习如何使用户眼睛的图像与显示器2上的特定位置相关。由于装置处理器知道图像在触摸屏上的位置,所以处理器可计算差异或校正因数,或者另外调整图像分析规则以使所确定位置与实际位置对准。此类校准/学习过程可用以(例如)通过使用众所周知的机器学习技术和众所周知的图像辨识技术来形成用于分析用户面部图像以确定注视焦点的一组规则。
图5和6中所说明的校准和训练过程可重复多次以便提供统计上平均的手指大小的校准和眼睛跟踪规则。另外,眼睛跟踪训练可继续进行预定时间周期或直到所显示图像的实际位置与用户正观看的所确定位置之间的误差降低到最大阈值以下为止。
图7中说明根据实施例的可在计算装置上实施的实例方法10。在方法10中,可当在触摸屏上显示虚拟小键盘时激活眼睛跟踪/显示增强功能性(步骤12)。作为激活眼睛跟踪/显示增强功能性的一部分,计算装置内的处理器可在步骤14中从存储器存取校准值和眼睛跟踪规则。在步骤16中,处理器可激活数码相机3且开始对用户面部和眼睛成像。在步骤18中,处理器可分析用户面部的图像以确定用户注视的位置。如上文所提及,这可通过使用图像辨识软件定位用户瞳孔的位置和定向来完成。确定用户注视的位置可通过将从存储器获得的图像分析规则应用于用户眼睛的图像来完成。此些图像分析规则可在用户训练例程期间确定或调整,如下文参看图8所论述。
当确定了用户注视的方向或位置时,处理器可在确定步骤20中将所述位置与所显示的虚拟小键盘的位置进行比较以确定用户是否正观看小键盘。如果处理器确定用户目前不在观看虚拟键盘(即,确定步骤20=“否”),那么处理器可通过返回到步骤18来继续从数码相机获得用户眼睛的图像并对其进行分析。如果处理器确定用户目前正在观看虚拟键盘(即,确定步骤20=“是”),那么处理器可在步骤22中使用手指大小校准因数来增强在用户注视的中心附近的按键图标。处理器接着通过返回步骤18来继续从数码相机接收图像并对其进行分析。此过程可继续进行,只要在触摸屏显示器上显示虚拟键盘,或直到所述功能性以其它方式由用户终止为止。
除了放大用户正观看的位置附近的虚拟按键的大小之外,处理器还可调整映射到每一按键图标的显示器坐标以匹配于图标的大小,以用于将对触摸屏显示器的触摸辨识为用户输入的目的。图形用户接口功能将所显示图像中的用户接口图标(例如,按键图标)的位置映射到触摸屏接口上的坐标位置或边界,使得装置处理器可辨识何时特定图标正被用户触摸。因此,在步骤22中,处理器还可调整按键图标到显示器坐标的映射以匹配于呈现在显示器上的图标的尺寸。在一实施例中,调整键盘图标的大小可在两个步骤中完成。首先,处理器可基于用户注视的位置和手指校准因数来确定每一按键图标的新大小。接着,在第二步骤中,处理器可调整图标到触摸屏传感器坐标的映射以匹配于各种按键图标的经调整尺寸。
图8说明可在计算装置上实施以用于训练所述装置并将其校准到用户手指大小和眼睛注视的实例方法30。尽管方法30一起说明校准/训练操作两者,但还可分开完成手指大小校准和眼睛跟踪训练。在方法30中,在步骤32中,计算装置内的处理器可激活校准/训练应用程序,例如响应于用户菜单选择或作为较大装置初始化例程的一部分。在步骤34中,处理器可产生提示用户触摸所述触摸屏上的特定点的显示,例如图5中所说明。在步骤36中,处理器可从触摸屏显示器接收信号或坐标信息且测量用户手指所接触的区域的大小和形状。在步骤38中,处理器可使用接触区域的所测量大小和形状来计算可存储在存储器中的手指大小校准因数。此校准因数可为尺寸值(例如,面积、直径或半径)或放大因数(例如,百分比或数字值),其可应用于图标尺寸以便确定适合于用户手指的图标大小。
在步骤40中,处理器可激活数码相机且对用户面部和眼睛进行成像。在步骤42中,处理器可分析所获得的图像以在所述图像内定位用户面部,辨识用户眼睛,且获得图像区域内的用户面部的尺寸测量值。此信息可用以产生或调整图像辨识规则,所述图像辨识规则可在将计算装置固持在距用户面部各种距离处时辨识并跟踪用户眼睛。计算装置与用户面部之间的距离将有可能在每当激活所述功能性时以及在用户正与计算装置交互的同时改变。因此,校准的一部分可涉及获得测量值以使得计算装置处理器能够补偿不同成像距离。另外,可在不同面部-相机距离处重复所述训练过程以使得处理器能够产生可补偿此些分隔距离的差异的辨识规则。
在步骤44中,处理器可显示提示用户跟随显示器上的移动卡通或图标的消息。在步骤46中,处理器可将所述卡通或图标在显示器上移动某一递增的距离,且在步骤48中,处理器可获得用户面部的图像并对其进行分析以确定用户注视的位置。可在步骤46中连续地、递增地或以大步长移动所述卡通或图标(例如,依序移动到角落和中心中的每一者)。当第一次完成眼睛跟踪训练时,步骤48中的注视确定操作可采用默认规则将用户眼睛的图像翻译为计算装置上的注视位置。在步骤50中,计算装置可调整注视确定图像分析规则,使得所确定的位置匹配于显示器上的实际卡通或图标位置。此眼睛跟踪规则校准过程可涉及对在步骤48中用来确定用户注视位置的规则的简单线性调整或变换,使得所确定的位置匹配于所述卡通或图标在显示器上的实际位置。在确定步骤52中,处理器可确定训练过程是否已完成。处理器可通过在显示器上移动所述卡通或图标持续预定时间量、经过预定数目的位置,或直到注视的所确定位置与卡通或图标的实际位置之间的差异始终处于最大阈值内(即,可接受的误差)为止来继续所述训练例程。只要处理器确定训练未完成(即,确定步骤52=“否”),处理器就可继续在显示器上移动卡通或图标,步骤46,确定用户注视的位置,步骤48,且校准注视-图标确定规则,步骤50。一旦处理器确定完成训练(即,确定步骤52=“是”),处理器就可将校准设置和眼睛跟踪图像分析规则存储在存储器中,步骤54。
各种实施例还可应用于可受益于优先视觉增强的呈现视觉显示的其它类型的应用程序。举例来说,眼睛跟踪局部化放大功能性可在地图或导航程序中有用,使得用户可在较大地图显示的上下文内看到局部地图细节。类似于虚拟小键盘,准许用户通过触摸触摸屏接口来选择特定位置以获得进一步信息的地图或导航应用程序可将地图局部地放大取决于手指大小校准因数的量。以此方式,地图或导航应用程序可经由对特定位置的手指触摸接收用户输入,其中用户指尖的大小将无意地选择错误位置的机会得以降低。
各种实施例的另一实用应用将是使用眼睛跟踪局部化放大功能性来增强触摸屏显示器上所显示的超链接、因特网网络链接和其它“可点击的”文字。归因于大多数移动装置上的触摸屏显示器的大小较小,所显示的网页图标和文字的大小通常小于大多数用户的指尖。因此,触摸显示屏以“点击”呈图标或超文本形式的超链接可较困难。各种实施例可局部地放大含有用户正观看的超链接的网页和文档,使得超链接图标或文字足够大以使得用户能够准确地触摸所要的超链接而不会无意地触摸不正确的超链接。
图9说明用于在计算装置上实施所述功能性的实例方法60。在步骤62中,计算装置处理器可响应于地图或其它应用程序的激活而激活视觉跟踪和增强功能性。作为激活眼睛跟踪/显示增强功能性的一部分,计算装置内的处理器可在存储器中存取校准值和眼睛跟踪规则,步骤64。在步骤66中,处理器可激活数码相机且开始对用户面部和眼睛成像。在步骤68中,处理器可分析用户面部的图像以确定用户注视的位置。为了完成此分析,处理器可应用在用户训练例程期间所确定的图像分析规则,所述用户训练例程如上文参看图8所论述。当确定了用户注视的位置时,处理器可在确定步骤70中将所述位置与触摸屏显示器的位置进行比较以确定用户是否正观看计算装置显示器。如果处理器确定用户目前不在观看显示器(即,确定步骤70=“否”),那么处理器可通过返回到步骤68来继续从数码相机获得图像并对其进行分析。如果处理器确定用户目前正在观看显示器(即,确定步骤70=“是”),那么处理器可在步骤72中增强键盘图像的在用户注视的中心附近的部分。处理器接着通过返回步骤68来继续从数码相机获得图像并对其进行分析。此过程可继续进行,只要特定应用程序被激活或在触摸屏显示器上显示特定类型的图像,或直到所述功能性由用户终止为止。
适合于与各种实施例一起使用的典型移动装置1将共同具有图10中所说明的组件。举例来说,移动接收器装置1可包括耦合到内部存储器102的处理器101、触摸屏显示器103和经定位以使得其可在用户正观看显示器103时对用户眼睛成像的数码相机3。另外,移动装置1可具有连接到无线数据链路的用于发送和接收电磁辐射的天线104和/或耦合到处理器101的蜂窝式电话收发器105。移动装置还通常包括菜单选择按钮或摇臂开关107以用于接收用户输入。虽然图10说明移动计算装置,但其它形式的计算装置(包括个人计算机或膝上型计算机)将通常也包括耦合到内部存储器102的处理器101、触摸屏显示器103和经定位以使得其可在用户正观看显示器103时对用户眼睛成像的数码相机3。另外,数码相机3可构建到计算装置中,如图10所示,或配置为例如借助于电缆(未图示)或无线数据链路(未图示)电耦合到处理器101的单独装置。因此,图10不希望将权利要求书的范围限于呈特定所说明形状因数的移动计算装置。
处理器101可为任何可编程的微处理器、微型计算机或多处理器芯片,其可通过软件指令(应用程序)配置以执行多种功能,包括本文中所描述的各种实施例的功能。在一些移动装置中,可提供多个处理器101,例如一个处理器专用于无线通信功能,且一个处理器专用于运行其它应用程序。通常,在软件应用程序被存取且被加载到处理器101中之前,其可存储在内部存储器102中。在一些移动装置中,处理器101可包括足以存储应用程序软件指令的内部存储器。在一些移动装置中,安全存储器可在耦合到处理器101的单独存储器芯片中。在许多移动装置1中,内部存储器102可为易失性或非易失性存储器(例如快闪存储器),或两者的混合物。出于本描述的目的,对存储器的一般参考指代可由处理器101存取的所有存储器,包括内部存储器102、插入到移动装置中的可装卸式存储器以及在处理器101自身内的存储器。
前述方法描述和过程流程图仅作为说明性实例而提供,且不希望要求或暗示必须以所呈现的次序执行各种实施例的步骤。如所属领域的技术人员将了解,前述实施例中的步骤次序可以任何次序执行。例如“此后”、“接着”、“接下来”等词不希望限制步骤的次序;这些词仅仅用以引导读者阅读对方法的描述。另外,例如使用冠词“一”或“所述”以单数形式对权利要求元素的任何参考不应解释为将元素限于单数形式。
结合本文所揭示的实施例来描述的各种说明性逻辑块、模块、电路和算法步骤可实施为电子硬件、计算机软件或两者的组合。为了清楚地说明硬件与软件的此可互换性,上文已大体上关于其功能性而描述了各种说明性组件、块、模块、电路和步骤。将所述功能性实施为硬件还是软件取决于特定应用和施加于整个系统的设计约束。熟练的技术人员可针对每一特定应用以不同方式来实施所描述的功能性,但所述实施方案决策不应被解释为会导致脱离本发明的范围。
用以实施结合本文中所揭示的实施例而描述的各种说明性逻辑、逻辑块、模块和电路的硬件可用通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或其它可编程逻辑装置、离散门或晶体管逻辑、离散硬件组件或其经设计以执行本文中所描述的功能的任何组合来实施或执行。通用处理器可以是微处理器,但在替代方案中,处理器可以是任何常规处理器、控制器、微控制器或状态机。处理器还可实施为计算装置的组合,例如,DSP与微处理器的组合、多个微处理器、结合DSP核心的一个或一个以上微处理器或任何其它此类配置。或者,一些步骤或方法可由专用于给定功能的电路执行。
在一个或一个以上示范性实施例中,所描述的功能可以硬件、软件、固件或其任何组合来实施。如果以软件来实施,那么可将所述功能作为一个或一个以上指令或代码存储在计算机可读媒体上或经由计算机可读媒体传输。本文中所揭示的方法或算法的步骤可在所执行的处理器可执行软件模块中体现,所述处理器可执行软件模块可驻留在计算机可读媒体上。计算机可读媒体包括计算机存储媒体与通信媒体两者,所述通信媒体包括促进将计算机程序从一处传送到另一处的任何媒体。存储媒体可为可由计算机存取的任何可用媒体。举例来说而非限制,所述计算机可读媒体可包含RAM、ROM、EEPROM、CD-ROM或其它光盘存储装置、磁盘存储装置或其它磁性存储装置,或可用以运载或存储呈指令或数据结构形式的所要程序代码且可由计算机存取的任何其它媒体。同样,恰当地将任何连接称作计算机可读媒体。举例来说,如果使用同轴电缆、光纤电缆、双绞线、数字订户线(DSL)或例如红外线、无线电和微波等无线技术从网站、服务器或其它远程源传输软件,那么同轴电缆、光纤电缆、双绞线、DSL或例如红外线、无线电和微波等无线技术包括于媒体的定义中。如本文中所使用,磁盘和光盘包括压缩光盘(CD)、激光光盘、光学光盘、数字多功能光盘(DVD)、软盘和蓝光光盘,其中磁盘通常以磁性方式再现数据,而光盘使用激光以光学方式再现数据。以上各项的组合也应包括在计算机可读媒体的范围内。另外,方法或算法的操作可作为代码和/或指令中的一者或任何组合或集合而驻留在机器可读媒体和/或计算机可读媒体上,所述媒体可并入到计算机程序产品中。
提供所揭示实施例的先前描述是为了使所属领域的任何技术人员能够制作或使用本发明。所属领域的技术人员将容易明白对这些实施例的各种修改,且在不脱离本发明的精神或范围的情况下,本文所界定的一般原理可应用于其它实施例。因此,本发明不希望限于本文中所展示的实施例,而是应被赋予与所附权利要求书以及本文中所揭示的原理和新颖特征一致的最广范围。

Claims (24)

1.一种用于在配备有触摸屏显示器和数码相机的计算装置上提供用户接口的方法,所述数码相机经配置以能够在用户正查看所述触摸屏显示器时对所述用户的脸部成像,所述方法包含:
将移动图标在所述触摸屏显示器上显示预定眼睛跟踪训练周期;
在所述预定眼睛跟踪训练周期期间以及当所述用户的脸部距所述数码相机第一距离时,用所述数码相机获得所述用户的眼睛的第一多个图像;
当所述用户的脸部距所述数码相机第二距离时,用所述数码相机获得所述用户的所述眼睛的第二多个图像;
在所述预定眼睛跟踪训练周期期间,比较所获得的所述第一多个图像与所述移动图标的已知位置,以确定图像分析规则;
比较所获得的所述第二多个图像与所述移动图标的已知位置,以调整所述图像分析规则;
在所述预定眼睛跟踪训练周期后将经调整的所述图像分析规则存储在存储器中;
在所述预定眼睛跟踪训练周期之后,用所述数码相机获得所述计算装置的所述用户的所述眼睛的数字图像;
基于所述所获得的数字图像及经调整的所述图像分析规则来确定所述用户的注视的位置;
确定所述用户的注视是否指向所述触摸屏显示器的包含图像元素的一部分;以及
当确定所述用户的注视指向所述触摸屏显示器的包含图像元素的一部分时,基于与所述用户的手指的大小有关的校准因数,放大所述触摸屏显示器上的所述图像元素。
2.根据权利要求1所述的方法,其进一步包含当用户接口图标在所述触摸屏显示器上的所述用户的注视的所述所确定的位置附近时放大所述图标。
3.根据权利要求2所述的方法,其进一步包含调整所显示的图标到所述触摸屏的坐标的映射以匹配于所述经放大的图标。
4.根据权利要求1所述的方法,其中:
确定所述用户的注视是否指向所述触摸屏显示器的包含图像元素的一部分包含确定所述用户的注视是否指向所述触摸屏显示器上的虚拟键盘图像;且
基于与所述用户的手指的大小有关的校准因数来放大所述触摸屏显示器上的所述图像元素包含:
基于所述用户手指大小校准因数来放大所述虚拟键盘图像内的位于所述用户正观看的位置附近的按键图标;以及
调整所显示的按键图标到所述触摸屏的坐标的映射以匹配于所述经放大的按键图标。
5.根据权利要求1所述的方法,其进一步包含:
测量所述触摸屏显示器上的触摸区域的尺寸;
基于所述触摸区域的所述所测量的尺寸来计算所述手指大小校准因数;以及
将所述所计算的手指大小校准因数存储在存储器中。
6.根据权利要求1所述的方法,其中:
确定所述用户的注视是否指向所述触摸屏显示器的包含图像元素的一部分包含确定所述用户的注视是否指向所显示的超链接的附近;且
基于与所述用户的手指的大小有关的校准因数来放大所述触摸屏显示器上的所述图像元素包含:
基于所述用户手指大小校准因数来放大位于所述用户正观看的位置附近的所显示的所述超链接;以及
调整所述所显示的超链接到所述触摸屏的坐标的映射以匹配于所述经放大的所显示的超链接。
7.根据权利要求1所述的方法,其中所述计算装置为移动装置。
8.根据权利要求1所述的方法,其中所述计算装置为个人计算机。
9.一种计算装置,其包含:
处理器;
存储器,其耦合到所述处理器;
数码相机,其耦合到所述处理器且经配置以能够对所述计算装置的用户的眼睛成像;以及
触摸屏显示器,其耦合到所述处理器,
其中所述处理器配置有用以执行包含以下各项的操作的处理器可执行指令:
将移动图标在所述触摸屏显示器上显示预定眼睛跟踪训练周期;
在所述预定眼睛跟踪训练周期期间以及当所述用户的脸部距所述数码相机第一距离时,用所述数码相机获得所述用户的眼睛的第一多个图像;
当所述用户的脸部距所述数码相机第二距离时,用所述数码相机获得所述用户的所述眼睛的第二多个图像;
在所述预定眼睛跟踪训练周期期间,比较所获得的所述第一多个图像与所述移动图标的已知位置,以确定图像分析规则;
比较所获得的所述第二多个图像与所述移动图标的已知位置,以调整所述图像分析规则;
在所述预定眼睛跟踪训练周期后,将经调整的所述图像分析规则存储在存储器中;
在所述预定眼睛跟踪训练周期之后,用所述数码相机获得所述计算装置的所述用户的所述眼睛的数字图像;
基于所述所获得的数字图像及经调整的所述图像分析规则来确定所述用户的注视的位置;
确定所述用户的注视是否指向所述触摸屏显示器的包含图像元素的一部分;以及
当确定所述用户的注视指向所述触摸屏显示器的包含图像元素的一部分时,基于与所述用户的手指的大小有关的校准因数,放大所述触摸屏显示器上的所述图像元素。
10.根据权利要求9所述的计算装置,其中所述处理器配置有用以执行进一步包含以下各项的操作的处理器可执行指令:当用户接口图标在所述触摸屏显示器上的所述用户的注视的所述所确定的位置附近时放大所述图标。
11.根据权利要求10所述的计算装置,其中所述处理器配置有用以执行进一步包含以下各项的操作的处理器可执行指令:调整所显示的图标到所述触摸屏的坐标的映射以匹配于所述经放大的图标。
12.根据权利要求9所述的计算装置,其中所述处理器配置有用以执行操作的处理器可执行指令,使得:
确定所述用户的注视是否指向所述触摸屏显示器的包含图像元素的一部分包含确定所述用户的注视是否指向所述触摸屏显示器上的虚拟键盘图像;且
基于与所述用户的手指的大小有关的校准因数来放大所述触摸屏显示器上的所述图像元素包含:
基于所述用户手指大小校准因数来放大所述虚拟键盘图像内的位于所述用户正观看的位置附近的按键图标;以及
调整所显示的按键图标到所述触摸屏的坐标的映射以匹配于所述经放大的按键图标。
13.根据权利要求9所述的计算装置,其中所述处理器配置有用以执行进一步包含以下各项的操作的处理器可执行指令:
测量所述触摸屏显示器上的触摸区域的尺寸;
基于所述触摸区域的所述所测量的尺寸来计算所述手指大小校准因数;以及
将所述所计算的手指大小校准因数存储在存储器中。
14.根据权利要求9所述的计算装置,其中所述处理器配置有用以执行操作的处理器可执行指令,使得:
确定所述用户的注视是否指向所述触摸屏显示器的包含图像元素的一部分包含确定所述用户的注视是否指向所显示的超链接的附近;且
基于与所述用户的手指的大小有关的校准因数来放大所述触摸屏显示器上的所述图像元素包含:
基于所述用户手指大小校准因数来放大位于所述用户正观看的位置附近的所显示的超链接;以及
调整所述所显示的超链接到所述触摸屏的坐标的映射以匹配于所述经放大的所显示的超链接。
15.根据权利要求9所述的计算装置,其中所述计算装置为移动装置。
16.根据权利要求9所述的计算装置,其中所述计算装置为个人计算机。
17.一种计算装置,其包含:
用于将移动图标在触摸屏显示器上显示预定眼睛跟踪训练周期的装置;
用于在所述预定眼睛跟踪训练周期期间以及当用户的脸部距数码相机第一距离时,用所述数码相机获得所述用户的眼睛的第一多个图像的装置;
用于当所述用户的脸部距所述数码相机第二距离时,用所述数码相机获得所述用户的所述眼睛的第二多个图像的装置;
用于在所述预定眼睛跟踪训练周期期间,比较所获得的所述第一多个图像与所述移动图标的已知位置,以确定图像分析规则的装置;
用于比较所获得的所述第二多个图像与所述移动图标的已知位置,以调整所述图像分析规则的装置;
在所述预定眼睛跟踪训练周期后,用于将经调整的所述图像分析规则存储在存储器中的装置;
用于在所述预定眼睛跟踪训练周期之后,用所述数码相机获得所述计算装置的所述用户的所述眼睛的数字图像的装置;
用于基于所述所获得的数字图像及经调整的所述图像分析规则来确定所述用户的注视的位置的装置;
用于确定所述用户的注视是否指向所述触摸屏显示器的包含图像元素的一部分的装置;以及
用于当确定所述用户的注视指向所述触摸屏显示器的包含图像元素的所述一部分时,基于与所述用户的手指的大小有关的校准因数,放大所述触摸屏显示器上的所述图像元素的装置。
18.根据权利要求17所述的计算装置,其进一步包含用于当用户接口图标在所述触摸屏显示器上的所述用户的注视的所述所确定的位置附近时放大所述图标的装置。
19.根据权利要求18所述的计算装置,其进一步包含用于调整所显示的图标到所述触摸屏的坐标的映射以匹配于所述经放大的图标的装置。
20.根据权利要求17所述的计算装置,其中:
用于确定所述用户的注视是否指向所述触摸屏显示器的包含图像元素的一部分的装置包含用于确定所述用户的注视是否指向所述触摸屏显示器上的虚拟键盘图像的装置;且
用于基于与所述用户的手指的大小有关的校准因数来放大所述触摸屏显示器上的所述图像元素的装置包含:
用于基于所述用户手指大小校准因数来放大所述虚拟键盘图像内的位于所述用户正观看的位置附近的按键图标的装置;以及
用于调整所显示的按键图标到所述触摸屏的坐标的映射以匹配于所述经放大的按键图标的装置。
21.根据权利要求17所述的计算装置,其进一步包含:
用于测量所述触摸屏显示器上的触摸区域的尺寸的装置;
用于基于所述触摸区域的所述所测量的尺寸来计算所述手指大小校准因数的装置;以及
用于将所述所计算的手指大小校准因数存储在存储器中的装置。
22.根据权利要求17所述的计算装置,其中:
用于确定所述用户的注视是否指向所述触摸屏显示器的包含图像元素的一部分的装置包含用于确定所述用户的注视是否指向所显示的超链接的附近的装置;且
用于基于与所述用户的手指的大小有关的校准因数来放大所述触摸屏显示器上的所述图像元素的装置包含:
用于基于用户手指大小校准因数来放大位于所述用户正观看的位置附近的所显示的所述超链接的装置;以及
用于调整所述所显示的超链接到所述触摸屏的坐标的映射以匹配于所述经放大的所显示的超链接的装置。
23.根据权利要求17所述的计算装置,其中所述计算装置为移动装置。
24.根据权利要求17所述的计算装置,其中所述计算装置为个人计算机。
CN201180018696.5A 2010-04-16 2011-04-15 用于使虚拟键盘尺寸与用户手指大小动态相关的设备和方法 Expired - Fee Related CN102834789B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US12/761,479 2010-04-16
US12/761,479 US8982160B2 (en) 2010-04-16 2010-04-16 Apparatus and methods for dynamically correlating virtual keyboard dimensions to user finger size
PCT/US2011/032626 WO2011130594A1 (en) 2010-04-16 2011-04-15 Apparatus and methods for dynamically correlating virtual keyboard dimensions to user finger size

Publications (2)

Publication Number Publication Date
CN102834789A CN102834789A (zh) 2012-12-19
CN102834789B true CN102834789B (zh) 2017-03-01

Family

ID=44318452

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201180018696.5A Expired - Fee Related CN102834789B (zh) 2010-04-16 2011-04-15 用于使虚拟键盘尺寸与用户手指大小动态相关的设备和方法

Country Status (6)

Country Link
US (1) US8982160B2 (zh)
EP (1) EP2558922A1 (zh)
JP (2) JP2013524390A (zh)
KR (1) KR101436226B1 (zh)
CN (1) CN102834789B (zh)
WO (1) WO2011130594A1 (zh)

Families Citing this family (151)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100913962B1 (ko) * 2007-05-14 2009-08-26 삼성전자주식회사 이동통신 단말기의 문자 입력 방법 및 장치
CN102016975A (zh) 2008-03-28 2011-04-13 寇平公司 适合用作移动式互联网装置的具有高分辨率显示器的手持式无线显示装置
JP4982430B2 (ja) * 2008-05-27 2012-07-25 株式会社エヌ・ティ・ティ・ドコモ 文字入力装置及び文字入力方法
US8237666B2 (en) * 2008-10-10 2012-08-07 At&T Intellectual Property I, L.P. Augmented I/O for limited form factor user-interfaces
US8253713B2 (en) 2008-10-23 2012-08-28 At&T Intellectual Property I, L.P. Tracking approaching or hovering objects for user-interfaces
WO2010064423A1 (ja) * 2008-12-04 2010-06-10 三菱電機株式会社 表示入力装置
JP2010176170A (ja) * 2009-01-27 2010-08-12 Sony Ericsson Mobilecommunications Japan Inc 表示装置、表示制御方法および表示制御プログラム
US20110264442A1 (en) * 2010-04-22 2011-10-27 Microsoft Corporation Visually emphasizing predicted keys of virtual keyboard
US8810543B1 (en) 2010-05-14 2014-08-19 Cypress Semiconductor Corporation All points addressable touch sensing surface
JP5189709B2 (ja) * 2010-07-07 2013-04-24 パナソニック株式会社 端末装置およびgui画面生成方法
KR101695818B1 (ko) * 2010-07-28 2017-01-13 엘지전자 주식회사 이동 단말기 및 이것의 가상 키 패드 제어 방법
US9411413B2 (en) 2010-08-04 2016-08-09 Apple Inc. Three dimensional user interface effects on a display
US8913056B2 (en) * 2010-08-04 2014-12-16 Apple Inc. Three dimensional user interface effects on a display by using properties of motion
US9357024B2 (en) 2010-08-05 2016-05-31 Qualcomm Incorporated Communication management utilizing destination device user presence probability
US10013976B2 (en) 2010-09-20 2018-07-03 Kopin Corporation Context sensitive overlays in voice controlled headset computer displays
CN102479046B (zh) * 2010-11-30 2013-09-25 英业达股份有限公司 触控装置及其操作方法
US8725443B2 (en) 2011-01-24 2014-05-13 Microsoft Corporation Latency measurement
KR101838696B1 (ko) * 2011-01-24 2018-04-26 삼성전자주식회사 터치스크린 기반 웹브라이저 환경에서 링크 개체 선택 방법 및 장치
US9542092B2 (en) 2011-02-12 2017-01-10 Microsoft Technology Licensing, Llc Prediction-based touch contact tracking
WO2012143745A1 (en) * 2011-04-21 2012-10-26 Sony Ericsson Mobile Communications Ab Method and system for providing an improved audio experience for viewers of video
WO2012154938A1 (en) 2011-05-10 2012-11-15 Kopin Corporation Headset computer that uses motion and voice commands to control information display and remote devices
US20130002722A1 (en) * 2011-07-01 2013-01-03 Krimon Yuri I Adaptive text font and image adjustments in smart handheld devices for improved usability
US20130016129A1 (en) * 2011-07-14 2013-01-17 Google Inc. Region-Specific User Input
US8368723B1 (en) * 2011-07-14 2013-02-05 Google Inc. User input combination of touch and user position
WO2013059647A1 (en) * 2011-10-21 2013-04-25 New York University Reducing visual crowding, increasing attention and improving visual span
US8750852B2 (en) * 2011-10-27 2014-06-10 Qualcomm Incorporated Controlling access to a mobile device
JP2013097593A (ja) 2011-11-01 2013-05-20 Sony Corp 情報処理装置、情報処理方法及びプログラム
JP2013098840A (ja) * 2011-11-02 2013-05-20 Sony Corp 情報処理装置、表示制御方法およびプログラム
US9785281B2 (en) 2011-11-09 2017-10-10 Microsoft Technology Licensing, Llc. Acoustic touch sensitive testing
JP5945417B2 (ja) * 2012-01-06 2016-07-05 京セラ株式会社 電子機器
KR101850034B1 (ko) * 2012-01-06 2018-04-20 엘지전자 주식회사 이동 단말기 및 그 제어방법
DE112012005729T5 (de) * 2012-01-23 2014-10-02 Mitsubishi Electric Corporation Informations-Anzeigevorrichtung
US8884928B1 (en) * 2012-01-26 2014-11-11 Amazon Technologies, Inc. Correcting for parallax in electronic displays
US9378581B2 (en) 2012-03-13 2016-06-28 Amazon Technologies, Inc. Approaches for highlighting active interface elements
JP5962085B2 (ja) * 2012-03-15 2016-08-03 ソニー株式会社 表示制御装置、その制御方法およびプログラム
KR101850035B1 (ko) * 2012-05-02 2018-04-20 엘지전자 주식회사 이동 단말기 및 그 제어방법
US9471763B2 (en) * 2012-05-04 2016-10-18 Sony Interactive Entertainment America Llc User input processing with eye tracking
JP2013235344A (ja) * 2012-05-07 2013-11-21 Sony Computer Entertainment Inc 入力装置、入力制御方法、及び入力制御プログラム
JP5942586B2 (ja) * 2012-05-18 2016-06-29 富士通株式会社 タブレット端末および操作受付プログラム
KR20150027163A (ko) * 2012-05-30 2015-03-11 코핀 코포레이션 개선된 가상 디스플레이 기능을 가진 헤드-착용 컴퓨터
US20130342672A1 (en) * 2012-06-25 2013-12-26 Amazon Technologies, Inc. Using gaze determination with device input
CN103514149B (zh) 2012-06-29 2017-03-22 国际商业机器公司 调整超链接的版面大小的装置和方法
US9170680B2 (en) * 2012-07-12 2015-10-27 Texas Instruments Incorporated Method, system and computer program product for operating a touchscreen
KR20140011204A (ko) * 2012-07-18 2014-01-28 삼성전자주식회사 컨텐츠 제공 방법 및 이를 적용한 디스플레이 장치
CN102841683B (zh) * 2012-07-24 2015-07-22 东莞宇龙通信科技有限公司 应用启动的方法及其通信终端
JP2014035562A (ja) * 2012-08-07 2014-02-24 Sony Corp 情報処理装置、情報処理方法及びコンピュータプログラム
US20140049487A1 (en) * 2012-08-17 2014-02-20 Qualcomm Incorporated Interactive user interface for clothing displays
US9772722B2 (en) * 2012-10-22 2017-09-26 Parade Technologies, Ltd. Position sensing methods and devices with dynamic gain for edge positioning
US9559793B2 (en) * 2012-10-25 2017-01-31 Microsoft Technology Licensing, Llc Wireless device test station calibration
WO2014065203A1 (ja) * 2012-10-26 2014-05-01 シャープ株式会社 座標入力装置、及びそれを備えた表示装置
DE102012219958A1 (de) * 2012-10-31 2014-06-12 Bayerische Motoren Werke Aktiengesellschaft Bestimmung einer Eingabeposition auf einem Touch-Screen
US20140118268A1 (en) * 2012-11-01 2014-05-01 Google Inc. Touch screen operation using additional inputs
TWI483193B (zh) * 2012-12-13 2015-05-01 Hongfujin Prec Ind Wuhan 顯示螢幕移動系統及方法
CN103869943A (zh) * 2012-12-14 2014-06-18 鸿富锦精密工业(武汉)有限公司 显示内容修改系统及方法
US20140184511A1 (en) * 2012-12-28 2014-07-03 Ismo Puustinen Accurate data entry into a mobile computing device
KR20140090552A (ko) * 2013-01-09 2014-07-17 엘지전자 주식회사 시선 캘리브레이션을 제공하는 헤드 마운트 디스플레이 및 그 제어 방법
US9619021B2 (en) 2013-01-09 2017-04-11 Lg Electronics Inc. Head mounted display providing eye gaze calibration and control method thereof
WO2014111924A1 (en) * 2013-01-15 2014-07-24 Poow Innovation Ltd. Dynamic icons
US20140208263A1 (en) * 2013-01-24 2014-07-24 Victor Maklouf System and method for dynamically displaying characters over a screen of a computerized mobile device
US9693684B2 (en) * 2013-02-14 2017-07-04 Facebook, Inc. Systems and methods of eye tracking calibration
KR102093198B1 (ko) 2013-02-21 2020-03-25 삼성전자주식회사 시선 인식을 이용한 사용자 인터페이스 방법 및 장치
CN104035549A (zh) * 2013-03-06 2014-09-10 联想(北京)有限公司 一种信号处理的方法及装置
US20160139803A1 (en) * 2013-03-11 2016-05-19 City University Of Hong Kong Regional zooming virtual keyboards for accurate typing on small displays
US20140267281A1 (en) * 2013-03-13 2014-09-18 Ericom Software Ltd. Method for displaying a remote desktop on a portable touch screen device
US11747895B2 (en) * 2013-03-15 2023-09-05 Intuitive Surgical Operations, Inc. Robotic system providing user selectable actions associated with gaze tracking
KR102059356B1 (ko) * 2013-03-25 2020-02-11 삼성전자주식회사 동작 인식을 이용하여 가상 피팅 서비스를 제공하는 가상 피팅 장치 및 그 장치를 이용한 방법
EP2987052A2 (en) * 2013-04-16 2016-02-24 The Eye Tribe ApS Systems and methods of eye tracking data analysis
KR102080183B1 (ko) * 2013-04-18 2020-04-14 삼성전자주식회사 전자 장치 및 전자 장치에서 잠금 해제 방법
GB2514603B (en) 2013-05-30 2020-09-23 Tobii Ab Gaze-controlled user interface with multimodal input
US9189095B2 (en) 2013-06-06 2015-11-17 Microsoft Technology Licensing, Llc Calibrating eye tracking system by touch input
US9965062B2 (en) * 2013-06-06 2018-05-08 Microsoft Technology Licensing, Llc Visual enhancements based on eye tracking
KR102098277B1 (ko) 2013-06-11 2020-04-07 삼성전자주식회사 시선 추적을 이용한 시인성 개선 방법, 저장 매체 및 전자 장치
US20140368442A1 (en) * 2013-06-13 2014-12-18 Nokia Corporation Apparatus and associated methods for touch user input
KR101500098B1 (ko) * 2013-07-05 2015-03-06 현대자동차주식회사 터치스크린을 구비한 유저인터페이스 제어 장치 및 방법
US10073518B2 (en) * 2013-08-19 2018-09-11 Qualcomm Incorporated Automatic calibration of eye tracking for optical see-through head mounted display
US10914951B2 (en) * 2013-08-19 2021-02-09 Qualcomm Incorporated Visual, audible, and/or haptic feedback for optical see-through head mounted display with user interaction tracking
US10156984B2 (en) 2013-09-29 2018-12-18 Shenzhen Hsmc Technology Co., Ltd. Method for implementing control of keys of virtual keyboard on wide touch screen with two thumbs
CN103576879B (zh) * 2013-09-29 2016-03-30 罗蒙明 一种实现双手拇指操控宽屏虚拟键盘按键的方法
US9933858B2 (en) 2013-09-29 2018-04-03 Shenzhen Hsmc Technology Co., Ltd. Keyboard operated with two thumbs and key layout method thereof
US9400553B2 (en) * 2013-10-11 2016-07-26 Microsoft Technology Licensing, Llc User interface programmatic scaling
KR20150051663A (ko) * 2013-11-05 2015-05-13 삼성전자주식회사 터치 입력에 반응하여 기능을 실행하는 방법 및 이를 구현하는 전자장치
US9971413B2 (en) * 2013-11-27 2018-05-15 Huawei Technologies Co., Ltd. Positioning method and apparatus
CN103645806B (zh) * 2013-12-24 2016-09-14 惠州Tcl移动通信有限公司 一种基于眼球追踪的商品浏览方法及系统
JP2015127897A (ja) * 2013-12-27 2015-07-09 ソニー株式会社 表示制御装置、表示制御システム、表示制御方法、およびプログラム
US20160291692A1 (en) * 2014-01-08 2016-10-06 Sony Corporation Information processing system, information processing method, and program
JP6349838B2 (ja) * 2014-01-21 2018-07-04 セイコーエプソン株式会社 位置検出装置、位置検出システム、及び、位置検出装置の制御方法
US11010042B2 (en) * 2014-02-13 2021-05-18 Lenovo (Singapore) Pte. Ltd. Display of different versions of user interface element
JP6343953B2 (ja) * 2014-02-13 2018-06-20 オムロン株式会社 プログラマブル表示器、携帯端末装置、データ処理方法、およびプログラム
WO2015127325A1 (en) * 2014-02-21 2015-08-27 Drnc Holdings, Inc. Methods for facilitating entry of user input into computing devices
US9324149B2 (en) * 2014-03-17 2016-04-26 Joel David Wigton Method and use of smartphone camera to prevent distracted driving
US9158426B1 (en) * 2014-03-19 2015-10-13 Google Inc. Touch keyboard calibration
EP2924540B1 (de) * 2014-03-27 2019-04-24 SensoMotoric Instruments Gesellschaft für innovative Sensorik mbH Verfahren und System zum Betreiben einer Anzeigevorrichtung
WO2015154882A1 (en) * 2014-04-11 2015-10-15 The Eye Tribe Aps Systems and methods of eye tracking calibration
US20150301598A1 (en) * 2014-04-22 2015-10-22 Kabushiki Kaisha Toshiba Method, electronic device, and computer program product
WO2015183208A1 (en) * 2014-05-30 2015-12-03 Koç Üniversitesi Gaze based prediction device and method
US20150358594A1 (en) * 2014-06-06 2015-12-10 Carl S. Marshall Technologies for viewer attention area estimation
WO2015198366A1 (ja) * 2014-06-23 2015-12-30 富士通株式会社 電子機器、モード判定方法およびモード判定プログラム
CN105446673B (zh) * 2014-07-28 2018-10-19 华为技术有限公司 屏幕显示的方法及终端设备
CN104536556B (zh) * 2014-09-15 2021-01-15 联想(北京)有限公司 一种信息处理方法及电子设备
US10585584B2 (en) * 2014-09-29 2020-03-10 Hewlett-Packard Development Company, L.P. Virtual keyboard
JP6547268B2 (ja) 2014-10-02 2019-07-24 富士通株式会社 視線位置検出装置、視線位置検出方法及び視線位置検出プログラム
US10126940B2 (en) * 2014-10-19 2018-11-13 Lenovo (Singapore) Pte. Ltd. Touch zones on a soft keyboard
CN105630365A (zh) * 2014-10-29 2016-06-01 深圳富泰宏精密工业有限公司 网页调整方法及系统
CN107111355B (zh) * 2014-11-03 2021-03-12 宝马股份公司 用于校准眼睛跟踪系统的方法和系统
US9936195B2 (en) * 2014-11-06 2018-04-03 Intel Corporation Calibration for eye tracking systems
US20160140523A1 (en) * 2014-11-13 2016-05-19 Bank Of America Corporation Position adaptive atm for customer privacy
US9851791B2 (en) * 2014-11-14 2017-12-26 Facebook, Inc. Dynamic eye tracking calibration
KR20160071139A (ko) * 2014-12-11 2016-06-21 삼성전자주식회사 시선 캘리브레이션 방법 및 그 전자 장치
US9961258B2 (en) 2015-02-23 2018-05-01 Facebook, Inc. Illumination system synchronized with image sensor
US9791942B2 (en) 2015-03-31 2017-10-17 International Business Machines Corporation Dynamic collaborative adjustable keyboard
CN104793750A (zh) * 2015-04-30 2015-07-22 努比亚技术有限公司 输入的方法及装置
CN104834402B (zh) * 2015-05-11 2018-01-02 上海交通大学 基于预测的自适应中文输入法触摸屏键盘的实现方法
JP6553418B2 (ja) 2015-06-12 2019-07-31 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America 表示制御方法、表示制御装置及び制御プログラム
US9927974B2 (en) 2015-09-22 2018-03-27 Qualcomm Incorporated Automatic customization of keypad key appearance
CN105607736B (zh) * 2015-12-17 2019-10-11 魅族科技(中国)有限公司 一种信息显示方法及终端
US10733275B1 (en) * 2016-04-01 2020-08-04 Massachusetts Mutual Life Insurance Company Access control through head imaging and biometric authentication
US10956544B1 (en) 2016-04-01 2021-03-23 Massachusetts Mutual Life Insurance Company Access control through head imaging and biometric authentication
WO2017187708A1 (ja) * 2016-04-26 2017-11-02 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
US10275023B2 (en) * 2016-05-05 2019-04-30 Google Llc Combining gaze input and touch surface input for user interfaces in augmented and/or virtual reality
CN106126088A (zh) * 2016-06-15 2016-11-16 青岛海信移动通信技术股份有限公司 一种图片放大显示的方法及装置
JP6809022B2 (ja) 2016-07-29 2021-01-06 富士ゼロックス株式会社 画像表示装置、画像形成装置、および、プログラム
JP2018031822A (ja) * 2016-08-22 2018-03-01 パイオニア株式会社 表示装置及び方法、並びにコンピュータプログラム及び記録媒体
DK201670728A1 (en) * 2016-09-06 2018-03-19 Apple Inc Devices, Methods, and Graphical User Interfaces for Providing Feedback During Interaction with an Intensity-Sensitive Button
CN106791135B (zh) * 2016-12-29 2020-12-29 努比亚技术有限公司 一种自动局部缩放显示方法及移动终端
KR101966840B1 (ko) * 2017-01-04 2019-04-08 조선대학교산학협력단 오입력을 최소화한 가상키보드 및 이를 이용한 문자 입력방법
GB2560340A (en) * 2017-03-07 2018-09-12 Eyn Ltd Verification method and system
CA3061332A1 (en) * 2017-05-19 2018-11-22 Magic Leap, Inc. Keyboards for virtual, augmented, and mixed reality display systems
DE102017213005A1 (de) * 2017-07-27 2019-01-31 Audi Ag Verfahren zum Darstellen eines Anzeigeinhalts
US20200261160A1 (en) * 2017-09-05 2020-08-20 Covidien Lp Robotic surgical systems and methods and computer-readable media for controlling them
US10768696B2 (en) * 2017-10-05 2020-09-08 Microsoft Technology Licensing, Llc Eye gaze correction using pursuit vector
US10936189B2 (en) * 2017-10-24 2021-03-02 BBPOS Limited System and method for a keypad on a touch screen device
CN108052304B (zh) * 2017-11-22 2021-03-26 努比亚技术有限公司 一种音量调节方法、设备及计算机存储介质
DE102018211624A1 (de) * 2018-07-12 2020-01-16 Bayerische Motoren Werke Aktiengesellschaft Verfahren und Benutzerschnittstelle zur Erfassung einer Eingabe mittels Zeigegestik
DE102018212398A1 (de) * 2018-07-25 2020-01-30 Audi Ag Eingabeeinheit und Verfahren zum Eingeben von Steuerbefehlen
CN109177899B (zh) * 2018-08-30 2021-03-09 上海天马微电子有限公司 车载显示装置的交互方法和车载显示装置
CN109242778A (zh) * 2018-09-18 2019-01-18 北京旷视科技有限公司 一种图片标注控制方法、装置及其存储介质
US11537202B2 (en) * 2019-01-16 2022-12-27 Pupil Labs Gmbh Methods for generating calibration data for head-wearable devices and eye tracking system
CN109840060A (zh) * 2019-01-31 2019-06-04 维沃移动通信有限公司 一种显示控制方法及终端设备
US11159731B2 (en) * 2019-02-19 2021-10-26 Samsung Electronics Co., Ltd. System and method for AI enhanced shutter button user interface
JP7215254B2 (ja) * 2019-03-13 2023-01-31 株式会社リコー 情報処理装置、表示制御方法、及びプログラム
JP7491300B2 (ja) 2019-03-15 2024-05-28 ソニーグループ株式会社 情報処理装置、情報処理方法、及びコンピュータが読み取り可能な記録媒体
CN110286759A (zh) * 2019-06-18 2019-09-27 广东以诺通讯有限公司 基于视线跟踪的终端自适应放大显示方法、系统及终端
US10990420B1 (en) * 2019-10-24 2021-04-27 Dell Products L.P. Customizing user interface components
JP6827132B2 (ja) * 2020-01-14 2021-02-10 パイオニア株式会社 操作装置、制御方法、プログラム及び記憶媒体
US11281289B2 (en) 2020-02-21 2022-03-22 Honda Motor Co., Ltd. Content adjustment based on vehicle motion and eye gaze
AU2021349381B2 (en) * 2020-09-25 2024-02-22 Apple Inc. Methods for interacting with virtual controls and/or an affordance for moving virtual objects in virtual environments
CN112987930A (zh) * 2021-03-17 2021-06-18 读书郎教育科技有限公司 一种实现和大尺寸电子产品便捷交互的方法
SE545129C2 (en) * 2021-03-31 2023-04-11 Tobii Ab Method and system for eye-tracker calibration
FR3124872A1 (fr) * 2021-07-02 2023-01-06 Faurecia Interieur Industrie Dispositif électronique et procédé d'affichage de données sur un écran d’affichage, système d’affichage, véhicule et programme d’ordinateur associés
KR102426071B1 (ko) * 2021-07-21 2022-07-27 정희석 인공지능 기반 시선 인식 장치 및 방법과 이를 이용한 무인 정보 단말기
KR20230063017A (ko) * 2021-11-01 2023-05-09 라인플러스 주식회사 스와이프 투 프리뷰를 통한 다양한 스티커 콘텐츠 탐색 방법, 장치, 및 컴퓨터 프로그램

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0887380A (ja) * 1994-09-19 1996-04-02 Tabai Espec Corp 操作体対応型操作パネル装置
JP2009251658A (ja) * 2008-04-01 2009-10-29 Fujifilm Corp 携帯型電子装置及びその制御方法

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH02153415A (ja) * 1988-12-06 1990-06-13 Hitachi Ltd キーボード装置
JP3272906B2 (ja) * 1995-05-29 2002-04-08 シャープ株式会社 視線方向検出方法及び装置及びそれを含むマンマシンインターフェース装置
US7760187B2 (en) * 2004-07-30 2010-07-20 Apple Inc. Visual expander
GB0119859D0 (en) * 2001-08-15 2001-10-10 Qinetiq Ltd Eye tracking system
JP2004118484A (ja) 2002-09-26 2004-04-15 Toshiba Corp リンク表示位置変更方法、リンク表示位置変更プログラム、文書表示装置、入出力装置及び計算機
US20050047629A1 (en) * 2003-08-25 2005-03-03 International Business Machines Corporation System and method for selectively expanding or contracting a portion of a display using eye-gaze tracking
US9274598B2 (en) * 2003-08-25 2016-03-01 International Business Machines Corporation System and method for selecting and activating a target object using a combination of eye gaze and key presses
FI20045149A (fi) 2004-04-23 2005-10-24 Nokia Corp Käyttöliittymä
JP5510951B2 (ja) * 2006-02-01 2014-06-04 トビー テクノロジー アーベー コンピュータシステムにおけるグラフィカルフィードバックの生成
DE102006037156A1 (de) * 2006-03-22 2007-09-27 Volkswagen Ag Interaktive Bedienvorrichtung und Verfahren zum Betreiben der interaktiven Bedienvorrichtung
US20080238947A1 (en) * 2007-03-27 2008-10-02 Keahey T Alan System and method for non-linear magnification of images
JP4982430B2 (ja) * 2008-05-27 2012-07-25 株式会社エヌ・ティ・ティ・ドコモ 文字入力装置及び文字入力方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0887380A (ja) * 1994-09-19 1996-04-02 Tabai Espec Corp 操作体対応型操作パネル装置
JP2009251658A (ja) * 2008-04-01 2009-10-29 Fujifilm Corp 携帯型電子装置及びその制御方法

Also Published As

Publication number Publication date
JP6069378B2 (ja) 2017-02-01
JP2015097123A (ja) 2015-05-21
JP2013524390A (ja) 2013-06-17
US20110254865A1 (en) 2011-10-20
EP2558922A1 (en) 2013-02-20
US8982160B2 (en) 2015-03-17
WO2011130594A1 (en) 2011-10-20
KR20130010012A (ko) 2013-01-24
CN102834789A (zh) 2012-12-19
KR101436226B1 (ko) 2014-09-01

Similar Documents

Publication Publication Date Title
CN102834789B (zh) 用于使虚拟键盘尺寸与用户手指大小动态相关的设备和方法
CN106249909B (zh) 语言输入校正
CN105144067B (zh) 用于调节控件的外观的设备、方法和图形用户界面
US20190238755A1 (en) Method and apparatus for push interaction
US8780076B2 (en) Mobile terminal and method for controlling the same
CN101673177B (zh) 信息处理设备和信息处理方法
KR100823083B1 (ko) 터치스크린을 구비한 문서 표시장치의 문서 교정 방법 및그 장치
US20100273461A1 (en) Method and device for calibrating mobile terminal
US20160085379A1 (en) Device and method for information processing using virtual keyboard
US20130215018A1 (en) Touch position locating method, text selecting method, device, and electronic equipment
US20090073136A1 (en) Inputting commands using relative coordinate-based touch input
CN101553775A (zh) 操作触摸屏界面
US20140059428A1 (en) Portable device and guide information provision method thereof
CN103052937A (zh) 用于调整显示内容的方法和系统
US20180268568A1 (en) Color analysis and control using an electronic mobile device transparent display screen
CN112842249B (zh) 视力检测方法、装置、设备及存储介质
US11507181B2 (en) Input apparatus having virtual keys set on reference plane
KR102229971B1 (ko) 콘텐츠 정보 제공 지원 장치 및 방법
CN109416599A (zh) 用于基于调整的输入参数来处理触摸输入的设备和方法
US20100164756A1 (en) Electronic device user input
AU2011341889B2 (en) Mobile device
US9372847B2 (en) Method, device and computer readable recording medium for preventing input error when information is inputted through touch screen
KR101901234B1 (ko) 휴대 단말기의 펜 입력 방법 및 장치
CN116737051A (zh) 基于触控屏的视触结合交互方法、装置、设备和可读介质
CN114637454A (zh) 一种输入方法、装置和用于输入的装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20170301

Termination date: 20190415