CN107368191A - 用于注视交互的系统 - Google Patents

用于注视交互的系统 Download PDF

Info

Publication number
CN107368191A
CN107368191A CN201710584409.6A CN201710584409A CN107368191A CN 107368191 A CN107368191 A CN 107368191A CN 201710584409 A CN201710584409 A CN 201710584409A CN 107368191 A CN107368191 A CN 107368191A
Authority
CN
China
Prior art keywords
user
gesture
region
presented
blinkpunkt
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710584409.6A
Other languages
English (en)
Other versions
CN107368191B (zh
Inventor
马库斯·塞德隆德
罗伯特·加韦林
安德斯·文斯特罗姆
安德斯·卡普兰
安德斯·奥尔森
马丁·斯克戈
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toby Joint-Stock Co
Original Assignee
Toby Joint-Stock Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toby Joint-Stock Co filed Critical Toby Joint-Stock Co
Publication of CN107368191A publication Critical patent/CN107368191A/zh
Application granted granted Critical
Publication of CN107368191B publication Critical patent/CN107368191B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/10—Input arrangements, i.e. from user to vehicle, associated with vehicle functions or specially adapted therefor
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0189—Sight systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1684—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
    • G06F1/1694—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675 the I/O peripheral being a single or a set of motion sensors for pointer control or gesture input obtained by sensing movements of the portable computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/014—Hand-worn input/output arrangements, e.g. data gloves
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/146—Instrument input by gesture
    • B60K2360/1468—Touch gesture
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/21—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using visual output, e.g. blinking lights or matrix displays
    • B60K35/23—Head-up displays [HUD]
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/21—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using visual output, e.g. blinking lights or matrix displays
    • B60K35/23—Head-up displays [HUD]
    • B60K35/235—Head-up displays [HUD] with means for detecting the driver's gaze direction or eye points
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/038—Indexing scheme relating to G06F3/038
    • G06F2203/0381—Multimodal input, i.e. interface arrangements enabling the user to issue commands by simultaneous use of input devices of different nature, e.g. voice plus gesture on digitizer

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Optics & Photonics (AREA)
  • Computer Hardware Design (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Position Input By Displaying (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明提供了用于当用户与图形用户界面交互时通过将基于注视的输入与基于手势的用户命令相结合来辅助用户的改善方法和系统。本发明提供了使用基于注视的输入和基于手势的用户命令的组合使不具有传统触摸屏的计算机系统的用户能够以触摸屏式方式与图形用户界面交互的系统、设备和方法。此外，本发明提供了例如在与常规触摸屏的交互难使用或者富有人体工程学挑战的情形下作为与具有触摸屏的计算机设备的触摸屏交互的补充或替代的使用注视输入和基于手势的输入的触摸屏式交互的解决方案。此外，本发明提供了用于与图形用户界面进行基于组合的注视和手势的交互以在不具有传统触摸屏的计算机系统中或者在具有被布置为在人体工程学上不利于用户的触摸屏或者被布置为使得与触摸屏相比用户更适合使用手势和注视来进行交互的触摸屏的计算机系统中实现触摸屏式环境的系统、设备和方法。

Description

用于注视交互的系统
本申请是申请号为201280070732.7，题为“用于注视交互的系统”的中国专利申请的分案申请。
技术领域
本发明大体上涉及用于利用与交互式图形用户界面相结合的眼睛移动检测的计算机实现系统和方法。具体地，本发明涉及用于在用户与图形用户界面交互时通过将基于眼睛的输入与基于手势的输入和基于手势的用户命令进行结合来辅助用户的系统和方法。
背景技术
已经通过引入图形用户界面(GUI)使人机交互发生革命性巨变。由此，提供了用于以极大地超出任何先前信道的带宽向用户呈现信息的有效方式。多年以来，已经通过彩色屏幕、增大的显示器、智能图形对象(例如，弹出窗口)、窗口标签、菜单、工具栏等进一步提高了可以呈现信息的速度。然而，在此期间，输入设备基本上保持不变，即，键盘和定点设备(例如，鼠标、跟踪球或触摸板)。近年来，已经引入了(例如，手写笔或图形笔形式的)手写设备。然而，虽然输出带宽已经增加了很多倍，但是输入带宽实质上未改变。因此，人机交互中的通信带宽的严重不对称性已经显现。
为了减小这种带宽不对称性以及为了改善和促进用户交互，已经进行了多种尝试来将眼睛跟踪用于这些目的。通过在例如膝上型计算机中实现眼睛跟踪设备，可以显著提高用户与在计算机上运行的不同软件应用之间的交互可能性。
因此，一种用于改善和促进用户交互并且用于移除带宽不对称性的令人关注的思想是：取而代之地使用眼睛注视跟踪，或者使用眼睛注视跟踪作为鼠标输入的补充。通常，根据计算出的用户注视点将光标定位在显示器上。已经提出了多种不同的技术以在这些系统中选择和激活目标对象。在一个示例中，在检测到用户在特定时间段期间将他或她的注视集中在特定对象处之后，系统激活对象。另一种方法是当用户眨眼时检测对象的激活。
然而，存在与这些使用眼睛跟踪的解决方案相关联的问题。例如，人类将其眼睛用于感知动作而不是控制。因此，小心地使用眼睛移动来与计算机交互以例如激活和选择呈现在计算机的显示器上的对象可能是充满压力的。还可能难以控制眨眼或凝视，以与呈现在显示器上的对象进行交互。
因此，本领域中需要改善技术，该技术实现与配备有眼睛跟踪设备的计算机的用户交互从而允许用户以更直观和自然的方式使用他或她的眼睛来控制、选择和激活呈现在计算机的显示器上的对象或对象的一部分。此外，在本领域中还需要以更有效的方式利用使用眼睛跟踪的潜力以改善和促进与计算机的用户交互的技术。
在Beymer等的美国专利申请(公开号2005/0243054)中给出了一种这样的尝试，在该专利申请中，公开了一种用于使用眼睛注视和键按压来选择和激活目标对象的技术。更具体地，用户注视目标对象，例如，图形用户界面上的按钮，然后按压键盘的选择键。一旦按压了选择键，就使用概率推理确定了最可能的目标。然后，所确定的目标对象被突出显示并且用户可以通过再次按压选择键来选择该目标对象。如果突出显示的对象不是目标对象，则用户可以使用额外键导航至期望的目标对象来选择另一目标对象。
然而，该技术局限于基于眼睛注视与对一个专用选择键的两次连续按压的组合的对象选择和激活。
在Amir等的US 6,204,828中，公开了用于通过集成眼睛注视和手动操作员输入来辅助用户定位光标的计算机驱动系统。注视跟踪装置在用户观看屏幕时监视用户的眼睛方位。同时，计算机在诸如鼠标等的输入设备上监视操作员的机械激活。当计算机检测到输入设备的机械激活时，其确定当前注视区域中的初始光标显示位置。然后，在初始显示位置处将光标显示在屏幕上，此后，根据用户对输入设备的操控而不参考注视来手动地定位光标。
因此，在现有技术中仍然需要以更有效的方式利用使用眼睛跟踪的潜力以改善和促进与计算机的用户交互(具体地，与图形用户界面的用户交互)的改善技术。
发明内容
本发明的目的是提供用于当用户与图形用户界面交互时通过将基于注视的输入与基于手势的用户命令相结合来辅助用户的改善方法、设备和系统。
本发明的另一目的是提供用于与图形用户界面进行对用户友好且直观的交互的方法、设备和系统。
本发明的特定目的是提供使不具有传统触摸屏的计算机系统的用户能够使用基于注视的输入和基于手势的用户命令的组合来通过触摸屏式方式与图形用户界面交互的系统、设备和方法。此外，本发明提供了以下解决方案：例如在与常规触摸屏的交互难以使用或者富有人体工程学挑战性的情形下，使用注视输入和基于手势的输入的触摸屏式交互来作为与具有触摸屏的计算机设备的触摸屏交互的补充或替代。
本发明的另一特定目的是提供以下系统、设备和方法：与图形用户界面进行基于组合的注视和手势的交互，以在不具有传统触摸屏的计算机系统中或者在具有被布置为在人体工程学上不利于用户的触摸屏或者被布置为使得与触摸屏相比用户更适合使用手势和注视来进行交互的触摸屏的计算机系统中实现触摸屏式环境。
在本发明的上下文中，术语“GUI”(图形用户界面)是指基于图形的用户界面，其在并入了例如可移动窗口和图标的显示器上具有画面或图像和文字(包括例如符号和数字)。
此外，在本发明的上下文中，术语“对象”或“对象部分”是指交互式图形对象或GUI对象(例如，窗口、图标、按钮、滚动条、超链接)或非交互式对象(例如，图像、文本或文本中的用户期望选择或激活的文字)。
在本方面的上下文中，术语“触摸板”(或术语“跟踪板”)是指用于检测一根或多根手指和/或旨在定点、绘制或做手势的一个或多个其他对象(例如，手写笔)的位置和移动的表面传感器。
通过具有独立权利要求中所定义的特征的系统的方式来实现本发明的这些目的和其他的目的。通过从属权利要求描述本发明的实施例。
根据本发明的一个方面，提供了用于实现在例如计算机设备或手持设备或无线发送/接收单元(WTRU)中以处理和产生基于手势的控制命令从而基于这些命令执行用户动作的控制模块。控制模块被配置为从适于检测用户产生的手势的输入装置获取用户输入并且从注视跟踪模块获取注视数据信号，以及基于所述用户输入来确定至少一个用户产生的基于手势的控制命令。此外，控制模块被配置为至少基于注视数据信号来确定信息呈现区域上包括用户注视点的注视点区域，以及基于所确定的注视点区域和至少一个用户产生的基于手势的控制命令来执行对呈现在图形信息呈现区域上的视图进行操纵的至少一个用户动作，其中使用所确定的注视点区域作为起始点来执行用户动作。用作起始点的注视点区域可以是用户初始注视的区域或者微调区域，即，用户已经通过例如经由输入装置的调节或校正命令来选择的区域，从而将初始注视点区域校正或调节至所选区域。
根据本发明的另一方面，提供了一种在与(例如，与计算机设备或手持设备相关联或包括在计算机设备或手持设备中，或者与无线发送/接收单元(WTRU)相关联或者包括在WTRU中的)信息呈现区域进行用户交互期间产生基于手势的命令的方法。该方法包括：获取用户输入，该用户输入与用户产生的手势和注视数据信号相对应，以及基于用户输入来确定至少一个用户产生的基于手势的控制命令。此外，至少基于注视数据信号来确定信息呈现区域上包括用户注视点的注视点区域，以及基于所确定的注视点区域和至少一个用户产生的基于手势的控制命令来执行对呈现在信息呈现区域上的视图进行操纵的至少一个用户动作，其中使用所确定的注视点区域作为起始点来执行用户动作。
根据本发明的另一方面，提供了一种手持便携式设备，该手持便携式设备配备有信息呈现区域或者与信息呈现区域相关联并且包括适于检测用户产生的手势的输入装置和适于检测所述信息呈现区域的观看者的注视数据的注视跟踪模块。该手持设备还包括：控制模块，控制模块被配置为：从输入装置获取用户输入并且从注视跟踪模块获取注视数据信号，以及基于用户输入来确定至少一个用户产生的基于手势的控制命令。该控制模块被还配置为至少基于注视数据信号来确定信息呈现区域上包括用户注视点的注视点区域，以及基于所确定的注视点区域和至少一个用户产生的基于手势的控制命令来执行对呈现在信息呈现区域上的视图进行操纵的至少一个用户动作，其中使用所确定的注视点区域作为起始点来执行用户动作。在本发明的实施例中，手持设备可以是蜂窝电话、智能电话、iPad或类似设备、平板电脑、phoblet/phablet、膝上型计算机或类似设备。
根据本发明的另一方面，提供了一种无线发送/接收单元WTRU，该WTRU与信息呈现区域相关联并且包括适于检测用户产生的手势的输入装置和适于检测信息呈现区域的观看者的注视数据的注视跟踪模块。该WTRU还包括：控制模块，控制模块被配置为：从输入装置获取用户输入并且从注视跟踪模块获取注视数据信号，以及基于用户输入来确定至少一个用户产生的基于手势的控制命令。该控制模块被还配置为至少基于注视数据信号来确定信息呈现区域上包括用户注视点的注视点区域，以及基于所确定的注视点区域和至少一个用户产生的基于手势的控制命令来执行对呈现在信息呈现区域上的视图进行操纵的至少一个用户动作，其中使用所确定的注视点区域作为起始点来执行用户动作。
术语“无线发送/接收单元(WTRU)”包括但不限于用户设备(UE)、移动站、固定或移动订户单元、蜂窝电话、智能电话、个人数字助理(PDA)、计算机、或者能够在无线环境(例如，无线局域网(WLAN)或无线移动通信系统(例如，第三代(3G)全球移动通信系统和包括长期演进(LTE)小区的用于移动通信的系统))中操作的任何其他类型的设备。
根据本发明的另一方面，提供了一种用于与信息呈现区域进行用户交互的系统。该系统包括：输入装置，适于检测用户产生的手势，以及注视跟踪模块，适于检测信息呈现区域的观看者的注视数据。此外，该系统包括：控制模块，被配置为：从输入装置获取用户输入并且从注视跟踪模块获取注视数据信号，以及基于用户输入来确定至少一个用户产生的基于手势的控制命令。控制模块还被配置为：至少基于注视数据信号来确定信息呈现区域上用户注视点所在的注视点区域，以及基于所确定的注视点区域和至少一个用户产生的基于手势的控制命令来执行对呈现在图形信息呈现区域上的视图进行操纵的至少一个用户动作，其中，使用所确定的注视点区域作为起始点来执行用户动作。
根据本发明的另一方面，提供了一种与信息呈现区域相关联的计算机设备。该计算机设备包括：输入装置，适于检测用户产生的手势，以及注视跟踪模块，适于检测信息呈现区域的观看者的注视数据。该计算机设备还包括：控制模块，该控制模块被配置为：从适于检测用户产生的手势的输入装置获取用户输入并且从注视跟踪模块获取注视数据信号，以及基于用户输入来确定至少一个用户产生的基于手势的控制命令。此外，控制模块被配置为至少基于注视数据信号来确定信息呈现区域上包括用户注视点的注视点区域，以及基于所确定的注视点区域和至少一个用户产生的基于手势的控制命令来执行对呈现在信息呈现区域上的视图进行操纵的至少一个用户动作，其中使用所确定的注视点区域作为起始点来执行用户动作。
根据本发明的实施例，计算机设备可以例如是具有以下各项的组中的任意一个：个人计算机、计算机工作站、大型计算机、车辆中的处理器或设备、或者手持设备，例如蜂窝电话、智能电话或类似设备、便携式音乐播放器(例如，iPod)、膝上型计算机、计算机游戏、电子书、iPAD或类似设备、平板电脑、Phoblet/Phablet。
根据本发明的实施例，输入装置被配置为使用例如光学测量技术或电容测量技术来检测手或手指例如相对于键盘或信息呈现区域的用户手势。
根据本发明的一个方面，提供了一种用于与可佩带的头戴式信息呈现区域进行用户交互的系统。该系统包括：被配置为陀螺戒指的输入装置，适于检测用户产生的手势并且适于与(还可通信地连接到信息呈现区域的)控制模块进行无线通信，以及注视跟踪模块，适于检测信息呈现区域的观看者的注视数据。控制模块被配置为：从输入装置获取用户输入并且从注视跟踪模块获取注视数据信号；以及基于用户输入来确定至少一个用户产生的基于手势的控制命令；至少基于注视数据信号来确定信息呈现区域上包括用户注视点的注视点区域；以及基于所确定的注视点区域和至少一个用户产生的基于手势的控制命令来执行对呈现在图形信息呈现区域上的视图进行操纵的至少一个用户动作，其中使用所确定的注视点区域作为起始点来执行用户动作。
根据本发明的另一方面，提供了一种用于与信息呈现区域进行用户交互的系统。该系统包括：输入装置，适于检测用户产生的手势，其中输入装置包括至少一个触摸板，该触摸板被布置在车辆的转向设备上或者适于集成在车辆的转向设备中。此外，系统包括：注视跟踪模块，适于检测信息呈现区域的观看者的注视数据，以及控制模块，被配置为：从输入装置获取用户输入并且从注视跟踪模块获取注视数据信号；以及基于用户输入来确定至少一个用户产生的基于手势的控制命令；至少基于注视数据信号来确定信息呈现区域上包括用户注视点的注视点区域；以及基于所确定的注视点区域和至少一个用户产生的基于手势的控制命令来执行对呈现在图形信息呈现区域上的视图进行操纵的至少一个用户动作，其中使用所确定的注视点区域作为起始点来执行用户动作。
根据本发明的实施例，输入装置包括触摸板，该触摸板被配置为使用户能够产生基于手势的控制命令。例如可以通过在触摸板的表面上移动至少一根手指或者使用例如手指触摸触摸板的表面来产生基于手势的命令。
根据本发明的实施例，触摸板表面的专用部分或区域被配置为接收基于手势的控制命令。
根据本发明的实施例，触摸板表面的至少第一专用部分或区域被配置为接收第一组基于手势的控制命令，并且触摸板表面的至少第二部分或区域被配置为接收第二组基于手势的控制命令。例如，触摸板可以被配置为接收诸如在专用区域或部分处滚动或缩放等的手势。
在本发明的实施例中，控制模块被配置为基于经由输入装置的多个同时的用户输入来确定至少一个基于手势的控制命令。此外，基于注视数据信号来确定信息呈现区域上用户注视点所在的注视点区域，并且基于所确定的注视点区域和至少一个基于手势的控制命令来执行对呈现在图形信息呈现区域上的视图进行操纵的至少一个用户动作，其中使用所确定的注视点区域作为起始点来执行用户动作。
根据本发明的实施例，输入模块被配置为解释表示至少一个用户产生的手势的信号，以提供反映用户手势的至少一个基于手势的控制命令。根据本发明的实施例，输入模块被布置在控制模块中。
在本发明的实施例中，输入模块被配置为使用注视输入信号和/或可能的基于手势的控制命令的预定集合来解释表示至少一个用户产生的手势的信号，每一个可能的控制命令与相对于输入装置的特定用户手势相对应。
根据本发明的实施例，至少一个对象被呈现在图形信息呈现区域上，对象表示至少一个图形用户界面组件，并且被配置为根据用户产生的基于手势的控制命令而被操纵，其中控制模块被配置为：基于注视数据信号来确定用户注视点是否在对象上或者在该对象周围的区域中。此外，控制模块可以被配置为：基于注视数据信号来确定用户注视点在预定时间点是否已经在对象上或者在该对象周围的区域中。例如，控制模块可以被配置为确定用户注视点在0.1秒之前是否在对象上或者该对象周围的区域上。
如果与由经由输入装置的用户输入得到的用户产生的激活命令同步地，用户注视点在对象上或者在该对象周围的区域中，则启用对象的用户激活，其中可以通过由经由输入装置的用户输入得到的用户产生的命令来操纵所激活的对象。如果与由经由输入装置的用户输入得到的用户产生的激活命令在预定时间段上同步地，用户注视点曾在对象上或者在该对象周围的区域内，则也启用对象的用户激活，其中可以通过由于经由输入装置的用户输入得到的用户产生的命令来操纵激活的对象。
根据本发明的实施例，当用户触摸触摸板时，通过诸如十字准线或类似标记等的视觉反馈来指示初始注视点的位置。用户可以通过在触摸板上移动手指来调整该初始位置。然后，用户可以使用不同的手势以触摸屏式方式与信息呈现区域进行交互。视觉反馈的强度(例如，十字准线的光的强度)可以取决于信息呈现区域上用户的注视所在的位置。例如，如果在注视点处发起用于平移(pan)窗口的拖动操作，则视觉反馈最初可以是不连续(discrete)的。当拖动操作已经维持一段时间时，可以增强视觉反馈以向用户指示此时执行拖动操作的位置。
在包括触摸板的实施例中，手势是相对于触摸板的手指移动，并且每一个手势与导致用户动作的基于特定手势的控制命令相关联或相对应。在下文中，将讨论可以使用手势和注视的组合执行的用户动作的非穷举数量的示例：
●通过例如注视呈现在信息呈现区域上的对象并且通过与之关联地在预定时间段期间下压触摸板并在触摸板上保持手指，呈现与该对象相关的视觉反馈。例如，通过在第一时间段期间下压触摸板并且在触摸板上保持手指，可以突出显示对象，并且通过在第二时间段期间继续在触摸板上保持手指，可以显示对与该对象相关的信息进行呈现的信息框。
●通过例如注视呈现在信息呈现区域上的对象并且通过与之关联地使用手指轻击触摸板，可以发起主动作。例如，可以通过注视表示应用的图标并且使用手指轻击触摸板来打开和启动应用。
●通过例如注视呈现在信息呈现区域上的对象并且通过与之关联地抬起已经与触摸板相接触的手指，可以发起主动作。例如，可以通过注视表示应用的图标并且抬起已经与触摸板相接触的手指来打开和启动应用。
●用户可以通过注视信息呈现区域并且通过与之关联地在触摸板上滑动他或她的手指来滑动或拖动由信息呈现区域呈现的视图。从而在用户注视点处发起拖动。可以通过注视对象并且通过与之关联地在触摸板上滑动手指来实现在信息呈现区域上滑动对象的类似动作。通过需要两根手指来进行划动或者一根手指用于划动而另一根手指按下按钮的方式，可以取而代之地实现这两个目的。
●用户可以通过注视对象并且通过与之关联地在触摸板上向下划动他或她的手指来选择对象以进行进一步动作。
●通过注视呈现在信息呈现区域上的对象或对象部分并且通过与之关联地使用他或她的两根手指进行捏合，可以对该对象或对象部分进行缩放。通过使例如拇指推动按钮或键盘键并且手指在触摸板上远离或朝向按钮或键盘键移动，也可以在仅能够感测单一触摸的触摸板上实现相同的功能。
●通过注视呈现在信息呈现区域上的对象或对象部分并且通过与之关联地使用他或她的两根手指旋转，可以旋转对象或对象部分。类似地，当使用仅能够感测单一触摸的触摸板时，拇指可以按压按钮同时手指在触摸板上与按钮相距恒定距离的曲线中移动以旋转对象。
●通过注视信息呈现区域的边缘并且在触摸板上在可能朝向信息呈现区域的中心的方向上(如果已经在注视位置做出手势)滑动手指，可以呈现或显示在正常使用期间隐藏的菜单或其他窗口(例如，帮助菜单)。也即是说，如果用户注视例如信息呈现区域的左边缘并且在触摸板上在向右方向上划动他或她的手指，则可以显示或呈现隐藏菜单或其他窗口。
●通过注视滑动条控制(例如，音量控制)，手指可以在触摸板上、在触摸屏的预定义区域上或者在键盘上上移/下移(或者针对水平控制，左移/右移)以调整滑动条控制的值。
●通过注视复选框控制同时在触摸板上做出“选中-手势”(例如，“V”)，复选框可以是选中的或未选中的。
●通过注视呈现在信息呈现区域上的可缩放对象或对象部分，同时使用一根手指(例如，拇指之一)用力按压压力敏感触摸板，可以使用注视点作为缩放中心点来对所述对象进行放大或缩小，其中，每一个用力按压在不同缩放水平之间切换(toggle)。
●通过注视有多个选项可用(例如，“复制”或“重命名”)的对象或对象部分，可以在预置聚焦停留时间已经过去之后或者在已经提供适当的用户输入之后在对象的不同侧上显示不同的选项。此后，触摸板或触摸屏的预定义区域用于选择动作。例如，向左划动以复制并且向右滑动以重命名。
根据本发明的另一个实施例，注视跟踪模块和用户输入装置被实现在配备有触摸屏的设备(例如，iPad或类似设备)中。触摸屏用作信息呈现区域和用于输入用户手势的输入设备二者。控制模块被包括在配备有触摸屏的设备中，并且被配置为基于注视数据信号来确定信息呈现区域(即，触摸屏)上用户注视点所在的注视点区域，并且基于所确定的注视点区域和至少一个用户产生的基于手势的控制命令来执行对呈现在触摸屏上的视图进行操纵的至少一个用户动作，其中使用所确定的注视点区域作为起始点来执行用户动作。经由触摸屏输入用户手势。根据该实施例，用户手势或触摸屏上的手指移动是相对于注视点的，这伴随着配备有触摸屏的设备的更用户友好且人体工程学的使用。例如，用户可以用两只手握住设备并且使用注视和拇指的移动与触摸屏上的图形用户界面进行交互，其中所有用户动作和激活都将用户注视点作为起始点。
如上所述，上文所讨论的手势和注视发起的动作仅是示例性的，并且存在与注视点相结合导致可感知的动作的大量其他手势。在下文中，描述一些其他示例：
●可以通过注视对象或对象部分并且按压手指(例如，拇指)、通过移动手指来进行微调、并且释放手指施加的压力以选择对象或对象部分，来对该对象或对象部分进行选择；
●可以通过注视对象或对象部分、按压手指(例如，拇指)、通过移动手指来进行微调、使用另一手指(例如，另一拇指)轻击以选择对象或对象部分，来对该对象或对象部分进行选择。此外，双轻击可以用于“双击动作”，并且快速下移可以用于“右击”。
●通过注视呈现在信息呈现区域上的可缩放对象或对象部分，同时以圆周运动移动手指(例如，拇指之一)，可以使用注视点作为缩放中心点来对所述对象进行放大或缩小，其中，顺时针运动执行“放大”命令，并且逆时针运动执行“缩小”命令，反之亦然。
●通过注视呈现在信息呈现区域上的可缩放对象或对象部分，并且通过与之关联地使一根手指(例如，拇指之一)保持静止同时上移或下移另一根手指(例如，另一根拇指)，可以使用注视点作为缩放中心点来对所述对象进行放大或缩小，其中，上移运动执行“放大”命令，下移运动执行“缩小”命令，反之亦然。
●通过注视呈现在信息呈现区域上的可缩放对象或对象部分同时使用一根手指(例如，拇指之一)双轻击触摸屏，可以使用注视点作为缩放中心点来对所述对象进行放大或缩小，其中，每一个双轻击在不同的缩放水平之间切换。
●通过注视呈现在信息呈现区域上的可缩放对象或对象部分同时在相反的水平方向上同时滑动两根手指(例如，两根拇指)，可以对该对象或对象部分进行缩放。
●通过注视可缩放对象并且与之关联地使手指(例如，一根拇指)在触摸屏上保持静止同时以圆周运动移动另一根手指(例如，另一根拇指)，可以对该对象或对象部分进行缩放。
●通过注视呈现在信息呈现区域上的对象或对象部分并且与之关联地使手指(例如，拇指之一)在触摸屏上保持静止同时滑动另一根手指(例如，另一根拇指)，可以滑动或拖动由信息呈现区域呈现的视图。
●通过注视呈现在信息呈现区域上的对象或对象部分并且与之关联地使手指(例如，拇指之一)在触摸屏上保持静止同时滑动另一根手指(例如，另一根拇指)，可以滑动或拖动由信息呈现区域呈现的视图。
●通过注视呈现在信息呈现区域上的对象或对象部分同时使用手指(例如，拇指之一)轻击或双轻击，可以激活自动平移(panning)功能，使得在注视点靠近信息呈现区域的边缘的同时呈现区域从屏幕的边缘之一向中心连续地滑动，直到接收到第二用户输入为止。
●通过注视呈现在信息呈现区域上的对象或对象部分同时使用手指(例如，拇指之一)轻击或双轻击，呈现区域立即根据注视点(例如，注视点用于指示滑动信息呈现区域应该滑动到的中心)滑动。
●通过注视呈现在信息呈现区域上的对象或对象部分同时在相反的垂直方向上同时滑动两根手指(例如，两根拇指)，可以旋转该对象或对象部分。
在执行两指手势之前，手指之一可以用于微调动作点。例如，当用户触摸触摸屏时，可以在注视点上示出诸如“虚拟手指”等的用户反馈符号。第一根手指可以用于四处滑动以相对于原点来调整动作点。当用户使用第二根手指触摸屏幕时，动作点固定并且第二根手指用于“点击”动作点或者用于执行诸如上述旋转、拖动和缩放示例等的两指手势。
根据本发明的另一实施例，注视跟踪模块和用户输入装置被实现在诸如iPad、超级本平板电脑或类似设备等的便携式设备中。然而，替代使用拇指在呈现区域上执行手势，将一个或两个单独的触摸板放置在设备的背面，以允许使用除了拇指之外的其他手指的两指手势。
根据本发明的另一实施例，注视跟踪模块和用户输入装置被实现在车辆中。信息呈现区域可以是平视显示器或信息娱乐屏幕。输入装置可以是转向设备的背面(以与食指一起使用)或正面(以与拇指一起使用)上的一个或两个单独的触摸板。
根据本发明的另一实施例，注视跟踪模块和信息呈现区域被实现在可佩带的头戴式显示器中，该头戴式显示器可以被设计为看似一副眼镜(例如，US8,235,529中所述的解决方案)。用户输入装置可以包括陀螺仪，并且适于佩戴在手腕、手或至少一根手指上。例如，输入装置可以是与眼镜(或处理单元，诸如可通信地连接到眼镜智能电话等)无线连接的戒指和检测佩戴戒指的手指的小幅移动的陀螺仪。检测到表示的移动的手势数据然后被无线地传送到检测到注视的眼镜，并且基于来自输入装置的手势数据的基于手势的控制命令用于识别和执行用户动作。
通常，在大多数应用中，触摸板显著小于信息呈现区域，这使得在特定情形中触摸板可以对可能的用户动作施加限制。例如，可能期望在整个信息呈现区域上拖动或移动对象同时用户手指的移动受到较小触摸板区域的限制。因此，在本发明的实施例中，如果例如按下或按压特定或专用的按钮或键盘键，则尽管用户已经从触摸板移走了手指，也可以维持触摸屏式会话。由此，用户可以执行需要触摸板上的多次触摸的动作。例如，可以通过触摸板上的多次拖动移动来在整个信息呈现区域上移动或拖动对象。
在本发明的其他实施例中，在手指沿着与手指的初始方向相同的方向到达触摸板的边缘之后，信息呈现区域上的拖动移动或者其他用户动作继续。继续的移动或其他动作可以持续到传送中断命令为止，该中断命令可以是例如下压键盘键或按钮、触摸板上的轻击或者当从触摸板移走了手指时。
在本发明的其他实施例中，当用户手指靠近触摸板的边缘时，增加或加快拖动移动或其他动作的速度。如果手指在相反的方向上移动，则可以减小速度。
在本发明的实施例中，可以基于注视位置来加快动作，例如，对象的拖动移动。例如，通过注视对象、在期望方向上发起该对象的拖动操作、然后注视该对象的期望结束位置，对象的初始位置与期望结束位置之间的距离越长，对象移动的速度将越高。
在本发明的其他实施例中，语音命令可被用于选择要对当前注视的对象执行什么动作，然后需要手势来执行该动作。例如，诸如词“移动”等的语音命令可以允许用户通过在触摸板或触摸屏上移动手指来移动当前正在注视的对象。要执行的另一个动作可以是删除对象。在该情况下，词“删除”可以允许删除当前正在注视的对象，但是另外需要诸如向下划动等的手势来实际删除对象。因此，通过注视要作用于的对象来选择对象，通过语音命令来选择要执行的特定动作，并且通过手势来完成要执行的移动或确认。
下面将通过例证实施例的方式来讨论本发明的其他目的和优点。
当参照以下详细描述、所附权利要求和附图来考虑时，将更全面地理解本发明的这些和其他特征和优点。
附图说明
附图不必按比例绘制，并且以举例说明而非限制性的方式概括地示出了本发明的多个实施例。因此，在附图的图示中通过举例说明而非限制性的方式说明了示例性实施例，在附图中，相似的附图标记指示相似的元件。应当注意的是，在本讨论中对“一”或“一个”实施例的提及不一定是对相同实施例的提及，并且这种提及意味着至少一个。
图1示出了用户控制可以在其中实现本发明的计算机装置的概览图；
图2是示出了根据本发明的布置的实施例的框图；
图3是示出了根据本发明的布置的另一实施例的框图；
图4示出了根据本发明导致用户产生的基于手势的控制命令的示例性手势；
图5示出了根据本发明导致用户产生的基于手势的控制命令的另一示例性手势；
图6示出了根据本发明导致用户产生的基于手势的控制命令的另一示例性手势；
图7示出了根据本发明导致用户产生的基于手势的控制命令的另一示例性手势；
图8示出了根据本发明导致用户产生的基于手势的控制命令的另一示例性手势；
图9示出了根据本发明导致用户产生的基于手势的控制命令的另一示例性手势；
图10示出了根据本发明导致用户产生的基于手势的控制命令的另一示例性手势；
图11a示出了在其中实现本发明的另一实施例的配备有触摸屏的设备的概览图；
图11b示出了在其中实现本发明的另一实施例的在背面配备有触摸板的设备的概览图；
图12是示出了图11a中所示的根据本发明的实施例的框图；
图13a是根据本发明的实施例的控制模块的示意图；
图13b是根据本发明的另一实施例的控制模块的示意图；
图13c是根据本发明的另一实施例的控制模块的示意图；
图14是根据本发明的实施例的无线发送/接收单元WTRU的示意图；
图15a是根据本发明的实施例的计算机设备或手持设备的实施例的示意图；
图15b是根据本发明的计算机设备或手持设备的另一实施例的示意图；
图16是示出了根据本发明的实施例的方法的实施例的步骤的示意性流程图；
图17是示出了根据本发明的方法的另一实施例的步骤的示意性流程图；
图18是示出了根据本发明的实施例的方法的另一实施例的步骤的示意性流程图；
图19是示出了根据本发明的实施例的方法的另一实施例的步骤的示意性流程图；
图20是示出了根据本发明的布置的另一实施例的框图；
图21是本发明的另一实现的示意图；
图22是本发明的另一实现的示意图；以及
图23是本发明的实现的示意图。
具体实施方式
本文使用的术语“模块”指代专用集成电路(ASIC)、电子电路、执行一个或多个软件程序的处理器(共享的、专用的、或组)以及存储器、组合逻辑电路、或者提供所述功能的其他适合的组件。术语“模块”还指代实现本文所述的方法(具体地，结合每一个特定“模块”所述的功能)必需的特定形式的软件。认为将主要通过根据本发明的系统中采用的特定系统架构并且通过根据本发明的系统采用的特定方法来确定特定形式的软件。
下文是根据本发明的示例性实施例的描述。不应从限制性的意义理解该描述，而是仅为了描述本发明的一般原理的目的给出该描述。将理解的是，在不偏离本发明的范围的情况下可以利用其他实施例并且进行结构和逻辑改变。
参照图1、图2、图3和图20，将描述根据本发明的计算机系统的实施例。图1示出了根据本发明具有集成的注视和手动控制的计算机系统的实施例。用户110能够至少部分地基于眼睛跟踪信号DEYE(眼睛跟踪信号DEYE描述了用户在信息呈现区域或显示器20上的关注点x、y)并且基于用户产生的手势(即，可以检测到用户的至少一个身体部位的移动，从而经由诸如触摸板51等的用户输入装置50产生基于手势的控制命令)，来控制计算机系统10。
在本发明的上下文中，如上所述，术语“触摸板”(或术语“跟踪板”)是指以触觉传感器(即，可以将用户手指的运动和位置转换为屏幕(信息呈现区域)上的相对位置的专用表面)为特征的定点设备。触摸板是膝上型计算机的公共特征，并且也在桌面空间不足的情况下用作鼠标的替换。因为它们的尺寸不同，因此也可以在个人数字助理(PDA)和一些便携式媒体播放器上发现它们。无线触摸板也可以作为拆卸的配件使用。触摸板以多种方式之一操作，包括电容感测和电导感测。如今最常用的技术伴随着感测手指的电容虚拟地效应或传感器之间的电容。虽然诸如触摸屏等的触摸板能够感测绝对位置，但是分辨率受到其尺寸的限制。对于作为指针设备的通常使用，与操纵被抬起并放回表面的鼠标类似，手指的拖动运动被转换为光标在屏幕上的更精细的相对运动。与标准鼠标的左右按钮相当的硬件按钮被定位在触摸板的下方、上方或旁边。上网本有时采用最后一种方式作为节约空间的方式。一些触摸板和相关联的设备驱动器软件可以将轻击板解释为点击，并且其后接着是连续定点运动的轻击(“点击-半按(click-and-a-half)”)可以指示拖动。触觉触摸板允许通过将按钮功能并入到触摸板自身的表面中来进行点击和拖动。为了选择，下压触摸板而不是物理按钮。为了拖动，不是执行“点击-半按”技术，而是进行下压同时拖动对象而不释放压力，并且当完成时放开。触摸板驱动器还可以允许使用多根手指来促进其他鼠标按钮(通常针对中心按钮两指轻击)。一些触摸板具有“热点”，即触摸板上用于除了鼠标之外的功能的位置。例如，在特定触摸板上沿着触摸板的边缘移动手指将被用作滚轮，控制滚动条并且垂直地或水平地滚动具有焦点的窗口。Apple(苹果)使用两指拖动来在其触摸板上进行滚动。此外，一些触摸板驱动器支持轻击区，即，轻击将执行功能(例如，暂停媒体播放器或者启动应用)的区域。所有这些功能是在触摸板设备驱动器软件中实现的，并且可以被禁用。触摸板主要用于整装(self-contained)的便携式膝上型计算机中，并且不需要靠近机器的平坦表面。触摸板接近键盘，并且只需要非常短的手指移动以在显示屏上移动光标；虽然是有利的，但是这还使得用户的拇指可能在键入时无意地移动鼠标的光标。在具有内置触摸板的键盘中，触摸板功能可用于台式计算机。
触摸板的示例包括一维触摸板，该一维触摸板用作第二代及以后的iPod Classic便携式音乐播放器上的菜单导航的主控制界面，其中它们被称作“点击滑轮”，这是因为它们仅感测沿着一个轴的运动，该轴像轮子一样回绕。在触摸板的另一实现中，第二代Microsoft Zune产品线(Zune 80/120和Zune 4/8)将触摸应用于Zune Pad。Apple的PowerBook 500系列是其携带这种设备的第一台膝上型计算机，Apple将其称为“跟踪板(trackpad)”。Apple最近的膝上型计算机以跟踪板为特征，该跟踪板可以同时感测多达五指手指，从而为输入提供更多选项，例如，通过轻击两根手指提供快捷菜单的能力。在2008年下半年，Apple的MacBook和MacBook Pro的修订版并入了“触觉触摸板(TactileTouchpad)”设计，该“触觉触摸板”设计具有并入到跟踪表面的按钮功能。
本发明提供了使用基于注视的输入和基于手势的用户命令使不具有传统触摸屏的计算机系统的用户以触摸屏式方式与图形用户界面进行交互的解决方案。此外，本发明提供了使用注视输入和基于手势的输入的触摸屏式交互的解决方案，作为与具有触摸屏的计算机设备的触摸屏交互的补充或替代。
因此，显示器20可以是任意类型的已知计算机屏幕或监视器以及两个或更多个单独的显示器的组合。例如，显示器20可以构成常规计算机屏幕、立体屏幕、车辆中的平视显示器(HUD)、或者至少一个头戴式显示器(HMD)。
计算机30可以例如是具有以下各项的组中的任意一个：个人计算机、计算机工作站、大型计算机、车辆中的处理器、或者手持设备，例如蜂窝电话、便携式音乐播放器(例如，iPod)、膝上型计算机、计算机游戏、电子书、以及类似的其他设备。还可以在“智能环境”中实现本发明，例如，在该“智能环境”中，可以选择和激活在多个显示器上呈现的对象。
为了产生注视跟踪信号DEYE，注视跟踪器单元40被包括在显示器20中或者与显示器20相关联。同一申请人在题为“Method and Installation for detecting andfollowing an eye and the gaze direction thereof”的美国专利No.7,572,008中描述了适合的注视跟踪器，其全部内容被并入本文。
与注视跟踪模块40相关联的软件程序或软件执行指令可以被包括在注视跟踪模块40中。图2、图3和图20中所示的具体示例示出了在注视跟踪模块中实现的相关联软件，所述相关联软件可以根据特定的应用单独地包含在计算机30中、包括在注视跟踪模块40中、或者包括这二者的组合中。
计算机系统10包括计算机设备30、注视跟踪模块40、显示器20、控制模块36、36’、以及用户输入装置50、50’，如图2、图3和图20所示。除了图2和图20中所示的组件之外，计算机设备30还包括多种其他组件，但是为了说明的目的，从图2、图3和图20中省略了这些组件。
用户输入装置50、50’包括对压力、物理接触、手势或用户的其他手动控制敏感的元件，例如触摸板51。此外，输入设备装置50、50’还可以包括计算机键盘、鼠标、“跟踪球”或者任何其他设备，例如，IR传感器、语音激活的输入装置，或者可以使用具有基于身体姿态或邻近的输入的检测设备。然而，在图2、图3和图20所示的具体实施例中，触摸板51被包括在用户输入设备50、50’中。
输入模块32被配置为从触摸板51接收反映用户的手势的信号，其中输入模块32可以是单独地包括在控制模块36’或者包括在用户输入装置50中的软件模块，或者作为与控制模块和输入装置50’分离的模块包括的软件模块。此外，输入模块32还适于解释接收的信号，并且基于解释的信号提供基于手势的控制命令，例如，用于激活对象的轻击命令、划动命令或者滑动命令。
如果输入模块32被包括在输入装置50中，则基于手势的控制命令被提供给控制模块36，如图2所示。在本发明的实施例中，控制模块36’包括基于来自用户输入装置50’的手势数据的输入模块32，如图3所示。
控制模块36、36’还被配置为从注视跟踪模块40获取注视数据信号。此外，控制模块36、36’被配置为基于注视数据信号确定信息呈现区域20上用户注视点所在的注视点区域120。如图1中所示，注视点区域120优选地是用户注视点周围的局部区域。
此外，控制模块36、36’被配置为基于所确定的注视点区域和至少一个用户产生的基于手势的控制命令来执行对在图形信息呈现区域20上呈现的视图进行操纵的至少一个用户动作，其中使用所确定的注视点区域作为起始点执行用户动作。控制模块36、36’可以集成到计算机设备30中或者可以关联或耦合到计算机设备30。
因此，本发明允许用户使用注视和手势(例如通过在触摸板51上移动至少一根手指)以触摸屏式方式与计算机设备30进行交互(例如操纵呈现在信息呈现区域20上的对象)。
优选地，当用户触摸触摸板51时，通过诸如十字准线或类似标记等的视觉反馈来指示初始注视点的位置。可以通过在触摸板51上移动手指来调整该初始位置。此后，用户可以使用不同的手势和注视以触摸屏式方式与信息呈现区域20交互。在包括触摸板的实施例中，手势是相对于触摸板51的手指移动，并且每一个手势与导致用户动作的基于特定手势的用户命令相关联或者相对应。
在下文中，将参照图4至图10讨论可以使用手势和注视的组合执行的用户动作的非穷举数量的示例：
●通过例如注视在信息呈现区域20上呈现的对象并且通过与之关联地触摸触摸板或者下压触摸板51并在y ms的时段期间在触摸板51上保持手指60(见图4)，来突出显示该对象。如果在z ms的第二时段期间手指60保持压下，则可以显示对与该对象有关的信息进行呈现的信息框。在图4中，关于触摸板51示出了该手势。
●通过例如注视在信息呈现区域20上呈现的对象并且通过与之关联地使用手指71轻击触摸板51，可以发起主动作。例如，通过注视表示应用的图标并且使用手指轻击触摸板51，可以打开和启动应用。在图5中，关于触摸板51示出了该手势。
●用户可以通过注视信息呈现区域20上的某一位置并且通过与之关联地在触摸板51上滑动他或她的手指81来滑动或拖动由信息呈现区域20呈现的视图。可以通过注视对象并且通过与之关联地在触摸板51上滑动手指81来实现在信息呈现区域20上滑动对象的类似动作。在图6中关于触摸板51示出了该手势。当然，可以通过多于一根手指(例如，通过使用两根手指)来执行该手势。
●用户可以通过注视对象并且通过与之关联地在触摸板51上在特定方向上划动他或她的手指来选择对象以进行进一步动作。在图7中关于触摸板51示出了该手势。当然，可以通过多于一根手指(例如，通过使用两根手指)来执行该手势。
●通过注视在信息呈现区域20上呈现的对象或对象部分并且通过与之关联地使用他或她的两根手指101和102进行捏合，可以缩小该对象或对象部分。在图8中关于触摸板51示出了该手势。类似地，通过注视在信息呈现区域20上呈现的对象或对象部分并且通过与之关联地使他或她的手指101和102分开，可以扩大或放大该对象或对象部分。
●通过注视在信息呈现区域20上呈现的对象或对象部分并且通过与之关联地使用他或她的两根手指111和112旋转，可以旋转对象或对象部分。在图9中关于触摸板51示出了该手势。
●通过注视信息呈现区域20的边缘或边框部分或者与边缘或边框邻近的区域并且通过与之关联地在触摸板51上在从信息呈现区域的边缘到中心的方向上(如果在注视点执行的话)滑动他或她的手指124，菜单可以从边缘显现。
●通过注视滑动条控制(例如，音量控制)，手指可以上移/下移(或者针对水平控制左移/右移)以调整滑动条控制的值。使用适当的输入装置，可以在触摸板上、在触摸屏上或者在空中检测到该手势，而无需物理地触摸该输入装置。
●通过注视复选框控制同时在触摸板上做出“选中-手势”(例如，“V”)，复选框可以是选中的或未选中的。使用适当的输入装置，可以在触摸板上、在触摸屏上或者在空中检测到该手势，而无需物理地触摸该输入装置。
●通过注视有多个选项可用(例如，“复制”或“重命名”)的对象或对象部分，可以在预置聚焦停留时间已经过去之后或者在已经提供适当的用户输入之后在对象的不同侧上显示不同的选项。此后，做出手势以选择动作。例如，向左划动以复制并且向右划动以重命名。使用适当的输入装置，可以在触摸板上、在触摸屏上或者在空中检测到该手势，而无需物理地触摸该输入装置。
通过将手指用力压在触摸板上，即，增加手指触摸触摸板的压力，可以发起滑动模式。例如，通过注视对象、触摸触摸板、增加触摸板上的压力并且在触摸屏上移动手指，可以在信息呈现区域上移动或拖动对象。当用户从触摸板51移走手指时，触摸屏式会话完成。此后，用户可以通过注视信息呈现区域20并且将手指放在触摸板51上来开始新的触摸屏式会话。
如上所述，上文所讨论的手势和注视发起的动作仅是示例性的，并且存在与注视点相结合导致可感知动作的大量其他手势。使用适合的输入装置，可以在触摸板上、在触摸屏上的预定区域上、在空中(在无需物理地接触输入装置的情况下)或者通过佩戴在用户的手指或手上的输入装置检测到这些手势中的很多手势。在下文中，描述一些其他示例：
●可以通过注视对象或对象部分并且按压手指(例如，拇指)、通过移动手指来进行微调、并且释放手指施加的压力以选择对象或对象部分，来对该对象或对象部分进行选择；
●可以通过注视对象或对象部分、按压手指(例如，拇指)、通过移动手指来进行微调、使用另一手指(例如，另一拇指)轻击以选择对象或对象部分，来对该对象或对象部分进行选择。此外，双轻击可以用于“双击动作”，并且快速下移可以用于“右击”。
●通过注视呈现在信息呈现区域上的可缩放对象或对象部分，同时以圆周运动移动手指(例如，拇指之一)，可以使用注视点作为缩放中心点来对所述对象进行放大或缩小，其中，顺时针运动执行“放大”命令，并且逆时针运动执行“缩小”命令，反之亦然。
●通过注视呈现在信息呈现区域上的可缩放对象或对象部分，并且与之关联地使一根手指(例如，拇指之一)保持静止同时上移和下移另一根手指(例如，另一根拇指)，可以使用注视点作为缩放中心点来对所述对象进行放大或缩小，其中，上移运动执行“放大”命令，下移运动执行“缩小”命令，反之亦然。
●通过注视呈现在信息呈现区域上的可缩放对象或对象部分，同时使用一根手指(例如，拇指之一)用力按压压力敏感触摸板，可以使用注视点作为缩放中心点来对所述对象进行放大或缩小，其中，每一个用力按压在不同的缩放水平之间切换。
●通过注视呈现在信息呈现区域上的可缩放对象或对象部分同时使用一根手指(例如，拇指之一)双轻击触摸板，可以使用注视点作为缩放中心点来对所述对象进行放大或缩小，其中，每一个双轻击在不同的缩放水平之间切换。
●通过注视呈现在信息呈现区域上的可缩放对象或对象部分同时在相反的水平方向上同时滑动两根手指(例如，两根拇指)，可以对该对象或对象部分进行缩放。
●通过注视可缩放对象并且与之关联地使手指(例如，一根拇指)在触摸屏上保持静止同时以圆周运动移动另一根手指(例如，另一根拇指)，可以对该对象或对象部分进行缩放。
●通过注视呈现在信息呈现区域上的对象或对象部分并且与之关联地使手指(例如，拇指之一)在触摸屏上保持静止同时滑动另一根手指(例如，另一根拇指)，可以滑动或拖动由信息呈现区域呈现的视图。
●通过注视呈现在信息呈现区域上的对象或对象部分并且与之关联地使手指(例如，拇指之一)在触摸屏上保持静止同时滑动另一根手指(例如，另一根拇指)，可以滑动或拖动由信息呈现区域呈现的视图。
●通过注视呈现在信息呈现区域上的对象或对象部分同时使用手指(例如，拇指之一)轻击或双轻击，可以激活自动平移功能，使得在注视点靠近信息呈现区域的边缘的同时呈现区域从屏幕的边缘之一向中心连续地滑动，直到接收到第二用户输入为止。
●通过注视呈现在信息呈现区域上的对象或对象部分同时使用手指(例如，拇指之一)轻击或双轻击，呈现区域立即根据注视点(例如，注视点用于指示滑动信息呈现区域应该滑动到的中心)滑动。
●通过注视呈现在信息呈现区域上的对象或对象部分同时在相反的垂直方向上同时滑动两根手指(例如，两根拇指)，可以旋转该对象或对象部分。
在执行两指手势之前，手指之一可以用于微调动作点。例如，当用户触摸触摸屏时，可以在注视点上示出诸如“虚拟手指”等的用户反馈符号。第一根手指可以用于四处滑动以相对于原点来调整动作点。当用户使用第二根手指触摸屏幕时，动作点固定并且第二根手指用于“点击”动作点或者用于执行诸如上述旋转、拖动和缩放示例等的两指手势。
在本发明的实施例中，如果按下或按压特定或专用的按钮或键盘键，则尽管用户已经从触摸板移走了手指，也可以维持触摸屏式会话。由此，用户可以执行需要触摸板上的多次触摸的动作。例如，可以通过触摸板上的多次拖动来移动在整个信息呈现区域上移动或拖动对象。
现在参照图11a、图11b和图12，将讨论本发明的其他实施例。图11a示出了根据本发明的利用集成的注视和手动控制的系统的另一实施例。系统的该实施例被实现在具有触摸屏151的设备100(例如，iPad或类似设备)中。用户110能够至少部分地基于注视跟踪信号(注视跟踪信号描述了用户在触摸屏151上的关注点x、y)并且基于用户产生的手势(即，可以检测到用户的至少一个身体部位的移动，从而经由包括触摸屏151的用户输入装置150产生基于手势的控制命令)，来控制设备100。
本发明提供了使具有触摸屏151的设备100的用户能够使用注视作为直接输入并且使用基于手势的用户命令作为相对输入来与图形用户界面进行交互的解决方案。由此，例如可以用两只手握住设备100，并且使用注视以及拇指161和162来与呈现在触摸屏上的图形用户界面180进行交互，如图11a所示。
在备选实施例中，一个或多个触摸板168可以被布置在设备100’的背面上，即，布置在设备的用户在使用期间正常而言看不到的面上。在图11b中示出了该实施例。由此，允许用户至少部分地基于注视跟踪信号(注视跟踪信号描述了用户在信息呈现区域上的关注点x、y)并且基于用户产生的手势(即，至少一根手指在设备100’的背面上的一个或多个触摸板168上的移动，从而产生由控制模块解释的基于手势的控制命令)来控制设备。为了产生注视跟踪信号，注视跟踪模块140被包括在设备100、100’中。由同一申请人在题为“Method and Installation for detecting and following an eye and the gazedirection thereof”的美国专利No.7,572,008中描述了适合的注视跟踪器，其全部内容被并入本文。
与注视跟踪模块140相关联的软件程序或软件实现的指令可以被包括在注视跟踪模块140中。
设备100包括注视跟踪模块140、包括触摸屏151和输入模块132的用户输入装置150、以及控制模块136，如图12所示。除了图12中所示的组件之外，设备100还包括多个其他组件，但是为了说明的目的，从图12中省略了这些组件。
输入模块132(其可以是单独地包括在控制模块中或者包括在用户输入装置150中的软件模块)被配置为从触摸屏151接收反映用户手势的信号。此外，输入模块132还适于解释接收的信号，并且基于所解释的信号来提供基于手势的控制命令，例如，用于激活对象的轻击命令、划动命令或者滑动命令。
控制模块136被配置为从注视跟踪模块140获取注视数据信号并且从输入模块132获取基于手势的控制命令。此外，控制模块136被配置为确定信息呈现区域(即，触摸屏151)上的注视点区域180，其中基于注视数据信号来定位用户注视点。如图1中所示，注视点区域180优选地是用户注视点周围的局部区域。
此外，控制模块136被配置为基于所确定的注视点区域和至少一个用户产生的基于手势的控制命令来执行对呈现在触摸屏151上的视图进行操纵的至少一个用户动作，其中使用所确定的注视点区域作为起始点来执行用户动作。还可以使用本发明的该实施例来执行本申请的上下文中所述的所有用户动作。
在可能的其他实施例中，当用户触摸触摸屏151时，通过可视反馈(例如，十字准线或类似标记)来指示初始注视点的位置。可以通过在触摸屏151上移动手指(例如，使用拇指161或162)来调整初始位置。此后，用户可以使用不同的手势和注视来与触摸屏151交互，其中注视是用户兴趣的直接指示者，并且手势是相对于触摸屏151的。在包括触摸屏的实施例中，手势是相对于触摸屏151的手指移动，并且每一个手势与导致用户动作的特定的基于手势的用户命令相关联或者相对应。
现在参照图13a、图13b和图13c，将描述用于在与信息呈现区域201的用户交互期间产生基于手势的命令的控制模块，该控制模块例如与(如下文参照图14所述的)WTRU或者(如参照图15a或图15b所述的)计算机设备或手持便携式设备相关联，或者在(如下文参照图21所述的)车辆中，或者在(如下文参照图22所述的)可佩带的头戴式显示器中。现在将再次结合该实施例详细地描述上述部件或模块。
根据图13a中所示的本发明的实施例，控制模块200被配置为从例如其中布置有该控制模块的设备中包括的输入装置205获取用户输入，其中输入装置205适于检测用户产生的手势。为此，控制模块200可以包括输入模块232，输入模块232包括数据获取模块210，数据获取模块210被配置为将来自输入装置205的手势数据转换为输入信号。输入装置205可以包括对压力、物理接触、手势或用户的其他手动控制敏感的元件，例如触摸板。此外，输入装置205还可以包括计算机键盘、鼠标、“跟踪球”或者任何其他设备，例如可以使用IR传感器、语音激活的输入装置，或者具有基于身体姿态或邻近的输入的检测设备。
此外，输入模块232被配置为基于输入信号来确定至少一个用户产生的基于手势的控制命令。为此，输入模块232还包括与数据获取模块210进行通信的手势确定模块220。手势确定模块220还可以与注视数据分析模块240进行通信。手势确定模块220可以被配置为检查输入信号是否与预定义或预定的相对手势相对应，并且可选地使用注视输入信号来解释输入信号。例如，控制模块200可以包括手势存储单元(未示出)，该手势存储单元存储预定义手势的库或列表，每一个预定义手势与特定输入信号相对应。因此，手势确定模块220适于解释接收的信号，并且基于解释的信号来提供基于手势的控制命令，例如，用于激活对象的轻击命令、划动命令或者滑动命令。
注视数据分析模块240被配置为至少基于来自注视跟踪模块235的注视数据信号来确定信息呈现区域201上包括用户注视点的注视点区域。信息呈现区域201可以是任意类型的已知计算机屏幕或监视器的显示器、以及两个或更多个单独的显示器的组合，这将取决于控制模块被实现在其中的特定设备或系统。例如，显示器201可以构成常规计算机屏幕、立体屏幕、车辆中的平视显示器(HUD)、或者至少一个头戴式显示器(HMD)。然后，处理模块250可以被配置为基于所确定的注视点区域和至少一个用户产生的基于手势的控制命令来执行对呈现在信息呈现区域201上的视图进行操纵的至少一个用户动作，其中使用所确定的注视点区域作为起始点来执行用户动作。因此，用户能够至少部分地基于眼睛跟踪信号(眼睛跟踪信号描述了用户在信息呈现区域或显示器201上的关注点x、y)并且基于用户产生的手势(即，可以检测到用户的至少一个身体部位的移动，经由诸如触摸板等的用户输入装置205产生基于手势的控制命令)，来控制设备或系统。
根据另一实施例，在图13b中示出了根据本发明的控制模块，控制模块260被配置为从输入模块232’获取基于手势的控制命令。输入模块232’可以包括手势确定模块和数据获取模块，如上文参照图13a所述的。注视数据分析模块240被配置为至少基于从注视跟踪模块235接收的注视数据信号来确定信息呈现区域201上包括用户注视点的注视点区域。信息呈现区域201可以是任意类型的已知计算机屏幕或监视器的显示器、以及两个或更多个单独的显示器的组合，这将取决于控制模块被实现在其中的特定设备或系统。例如，显示器201可以构成常规计算机屏幕、立体屏幕、车辆中的平视显示器(HUD)、或者至少一个头戴式显示器(HMD)。处理模块250可以被配置为基于所确定的注视点区域和至少一个用户产生的基于手势的控制命令来执行对呈现在信息呈现区域201上的视图进行操纵的至少一个用户动作，其中使用所确定的注视点区域作为起始点来执行用户动作。因此，用户能够至少部分地基于眼睛跟踪信号(眼睛跟踪信号描述了用户在信息呈现区域或显示器201上的关注点x、y)并且基于用户产生的手势(即，可以检测到用户的至少一个身体部位的移动，经由诸如触摸板等的用户输入装置205产生基于手势的控制命令)，来控制设备或系统。
参照图13c，将讨论根据本发明的控制模块的另一实施例。输入模块232”被分布为使得数据获取模块210被设置在控制模块280外部并且手势确定模块220被设置在控制模块280内部。注视数据分析模块240被配置为至少基于从注视跟踪模块235接收的注视数据信号来确定信息呈现区域201上包括用户注视点的注视点区域。信息呈现区域201可以是任意类型的已知计算机屏幕或监视器的显示器、以及两个或更多个单独的显示器的组合，这将取决于控制模块被实现在其中的特定设备或系统。例如，显示器201可以构成常规计算机屏幕、立体屏幕、车辆中的平视显示器(HUD)、或者至少一个头戴式显示器(HMD)。处理模块250可以被配置为基于所确定的注视点区域和至少一个用户产生的基于手势的控制命令来执行对呈现在信息呈现区域201上的视图进行操纵的至少一个用户动作，其中使用所确定的注视点区域作为起始点来执行用户动作。因此，用户能够至少部分地基于眼睛跟踪信号(眼睛跟踪信号描述了用户在信息呈现区域或显示器201上的关注点x、y)并且基于用户产生的手势(即，可以检测到用户的至少一个身体部位的移动，经由诸如触摸板等的用户输入装置205产生基于手势的控制命令)，来控制设备或系统。
参照图14，将描述根据本发明的诸如蜂窝电话或智能电话等的无线发送/接收单元(WTRU)。将不再详细描述上述部件或模块。此外，下面将仅描述与本发明有关的部件或模块。因此，WTRU包括本文未描述的大量附加部件、单元和模块，例如天线和发送/接收单元。无线发送/接收单元(WTRU)300与信息呈现区域301相关联，并且还包括输入装置305(输入装置305包括例如上文已经描述的输入模块)和注视跟踪模块325，该输入装置305适于检测用户产生的手势，以及该注视跟踪模块325适于检测信息呈现区域301的观看者的注视数据。WTRU还包括上文参照图13a、图13b和图13c所述的控制模块200、260或280。用户能够至少部分地基于眼睛跟踪信号(眼睛跟踪信号描述了用户在信息呈现区域或显示器301上的关注点x、y)并且基于用户产生的手势(即，可以检测到用户的至少一个身体部位的移动，经由诸如触摸板等的用户输入装置305产生基于手势的控制命令)，来控制WTRU。还可以使用本发明的该实施例来执行在本申请的上下文中所述的所有用户动作。
参照图15a和图15b，将描述根据本发明的计算机设备或手持便携式设备。将不再详细描述上述部件或模块。此外，下面将仅描述与本发明有关的部件或模块。因此，设备包括本文未描述的大量附加部件、单元和模块，例如存储单元(例如，RAM/ROM)或处理单元。计算机设备或手持便携式设备400可以例如是来自具有以下各项的组中的任意一个：个人计算机、计算机工作站、大型计算机、车辆中的处理器或设备、或者手持设备，例如蜂窝电话、智能电话或类似设备、便携式音乐播放器(例如，iPod)、膝上型计算机、计算机游戏、电子书、iPAD或者类似的设备、Tablet、Phoblet/Phablet。
如图15a所示，计算机设备或手持设备400a可以连接到信息呈现区域401a(例如，外部显示器或平视显示器(HUD)、或者至少一个头戴式显示器(HMD))，或者如图15b中所示，计算机设备或手持设备400b包括信息呈现区域401b，例如，常规计算机屏幕、立体屏幕、平视显示器(HUD)、或者至少一个头戴式显示器(HMD)。此外，计算机设备或手持设备400a、400b包括输入装置405和注视跟踪模块435，输入装置405适于检测用户产生的手势，以及注视跟踪模块435适于检测信息呈现区域401的观看者的注视数据。此外，计算机设备或手持设备400a、400b包括如上文关于图13a、图13b或图13c所述的控制模块200、260或280。用户能够至少部分地基于眼睛跟踪信号(眼睛跟踪信号描述了用户在信息呈现区域或显示器401上的关注点x、y)并且基于用户产生的手势(即，可以检测到用户的至少一个身体部位的移动，经由诸如触摸板等的用户输入装置405产生基于手势的控制命令)，来控制计算机设备或手持设备400a、400b。还可以使用本发明的该实施例来执行在本申请的上下文中所述的所有用户动作。
现在将参照图16至图19来描述根据本发明的方法的示例性实施例。结合图16至图19所述的方法实施例被实现在这样的环境中，即特定步骤是在诸如以下各项等的设备中执行的：在上文参照图14所述的WTRU、或者在上文参照图15a或图15b所述的计算机设备或手持设备，并且特定步骤是在诸如以下各项等的控制模块中执行的：在上文参照图13a、图13b和图13c所述的控制模块。本领域技术人员认识到，还可以在其他环境中执行本文所述的方法，例如，在上文参照图2、图3和图20所述的系统中，或者在图21至图23所示的实现中。将在下文中使用相同的附图标记来指示在不同实施例中执行的类似或相似步骤。
首先参照图16，在步骤S500，设备等待用户输入。在步骤S510，用户使用每一只手的一根或多根手指来触摸设备上的触摸敏感区域(例如，上述输入装置)。该步骤不是根据本发明的实施例的方法的一部分。存在用户可以使用来控制设备的动作的大量可感知的手势，并且上文已经描述了非穷举数量的此类手势。在步骤S520，将手势数据(即，用户输入)转换为输入信号。在步骤S530，检查输入信号是否与预定义或预定的相对手势相对应。如果否，则过程返回步骤S500。另一方面，如果是(即，输入信号与预定义手势相对应)，则在步骤S570产生基于手势的控制命令。在步骤S540，用户观看屏幕或者信息呈现区域，并且在步骤S550，在信息呈现区域处检测到用户的注视。步骤S540不是根据本发明的实施例的方法的一部分。在步骤S560，确定屏幕或信息呈现区域上包括用户注视点的注视点区域。在步骤S580，根据基于手势的控制命令和在信息呈现区域处确定的注视点来执行与用户注视点处的相对手势相对应的动作。
参照图17，在步骤S500，设备等待用户输入。在步骤S590，用户使用一根或多根手指和/或至少一只手在信息呈现区域前方做手势(如上所述由输入装置来解释该手势)。步骤S590不是根据本发明的实施例的方法的一部分。存在用户可以使用来控制设备的动作的大量可感知的手势，并且上文已经描述了非穷举数量的此类手势。在步骤S520，将手势数据(即，用户输入)转换为输入信号。在步骤S530，检查输入信号是否与预定义或预定的相对手势相对应。如果否，则过程返回步骤S500。另一方面，如果是(即，输入信号与预定义手势相对应)，则在步骤S570产生基于手势的控制命令。在步骤S540，用户观看屏幕或者信息呈现区域，并且在步骤S550，在信息呈现区域处检测到用户的注视。如上所述，步骤S540不是根据本发明的实施例的方法的一部分。在步骤S560，确定屏幕或信息呈现区域上包括用户注视点的注视点区域。在步骤S580，根据基于手势的控制命令和在信息呈现区域处确定的注视点来执行与用户注视点处的相对手势相对应的动作。
参照图18，在步骤S500，设备等待用户输入。在步骤S592，用户通过触摸触摸板或触摸屏的预定义区域产生输入。步骤S592不是根据本发明的实施例的方法的一部分。存在用户可以使用来控制设备的动作的大量可感知的手势，并且上文已经描述了非穷举数量的此类手势。在步骤S520，将手势数据(即，用户输入)转换为输入信号。在步骤S530，检查输入信号是否与预定义或预定的相对手势相对应。如果否，则过程返回步骤S500。另一方面，如果是(即，输入信号与预定义手势相对应)，则在步骤S570产生基于手势的控制命令。在步骤S540，用户观看屏幕或者信息呈现区域，并且在步骤S550，在信息呈现区域处检测到用户的注视。步骤S540不是根据本发明的实施例的方法的一部分。在步骤S560，确定屏幕或信息呈现区域上包括用户注视点的注视点区域。在步骤S580，根据基于手势的控制命令和在信息呈现区域处确定的注视点来执行与用户注视点处的相对手势相对应的动作。
参照图19，在步骤S500，设备等待用户输入。在步骤S594，用户通过使用他或她的手指中的一根或多根手指和/或至少一只手做手势来产生输入。步骤S594不是根据本发明的实施例的方法的一部分。存在用户可以使用来控制设备的动作的大量可感知的手势，并且上文已经描述了非穷举数量的此类手势。在步骤S520，将手势数据(即，用户输入)转换为输入信号。在步骤S530，检查输入信号是否与预定义或预定的相对手势相对应。如果否，则过程返回步骤S500。另一方面，如果是(即，输入信号与预定义手势相对应)，则在步骤S570产生基于手势的控制命令。在步骤S540，用户观看屏幕或者信息呈现区域，并且在步骤S550，在信息呈现区域处检测到用户的注视。步骤S540不是根据本发明的实施例的方法的一部分。在步骤S560，确定屏幕或信息呈现区域上包括用户注视点的注视点区域。在步骤S580，根据基于手势的控制命令和在信息呈现区域处确定的注视点来执行与用户注视点处的相对手势相对应的动作。
参照图21，将讨论本发明的另一实现。注视跟踪模块(未示出)和用户输入装置900被实现在车辆(未示出)中。信息呈现区域(未示出)可以是平视显示器或信息娱乐屏幕。输入装置900可以是车辆的转向设备910的背面(以与食指一起使用)或正面(以与拇指一起使用)上的一个或两个单独的触摸板。控制模块950被布置在处理单元中，该处理单元被配置为插入到车辆中或车辆的中央处理单元中。优选地，控制模块是上文参照图13a至图13c所述的控制模块。
参照图22，将讨论本发明的另一实现。注视跟踪模块(未示出)和信息呈现区域(未示出)被实现在可佩带的头戴式显示器1000中，该头戴式显示器1000可以被设计为看似一副眼镜。在US 8,235,529中描述了一种此类解决方案。用户输入装置1010可以包括陀螺仪，并且适于由用户1020佩戴在手腕、手或至少一根手指上。例如，输入装置1010可以是与眼镜无线连接的戒指以及检测佩戴戒指的手指的小幅移动的陀螺仪。表示所检测到的移动的手势数据然后被无线地传送到检测到注视的眼镜，并且基于来自输入装置的手势数据的基于手势的控制命令被用于识别和执行用户动作。优选地，将上文参照图13a至图13c所述的控制模块与该实现结合使用。
将参照图23讨论本发明的实现。在该实现中，用户1120能够至少部分地基于眼睛跟踪信号(眼睛跟踪信号描述了用户在信息呈现区域1140上的关注点x、y)并且基于用户产生的手势(即，可以检测到用户的至少一个身体部位的移动，经由用户输入装置1150产生基于手势的控制命令)来控制计算机设备1100。在该实施例中，用户1120可以通过在计算机设备1100的键盘之上或相对于该键盘执行手势来产生基于手势的控制命令。输入装置1140例如使用光学测量技术或电容测量技术来检测手势。优选地，将参照图13a至图13c所述的控制模块与该实现一起使用并且可以将其布置在计算机设备1100中。计算机设备1100可以例如是具有以下各项的组中的任意一个：个人计算机、计算机工作站、大型计算机、车辆中的处理器、或者手持设备，例如蜂窝电话、便携式音乐播放器(例如，iPod)、膝上型计算机、计算机游戏、电子书、以及类似的其他设备。可以在“智能环境”中实现本发明，例如，在该“智能环境”中，可以选择和激活在多个显示器上呈现的对象。为了产生注视跟踪信号，注视跟踪器单元(未示出)被包括在计算机设备1100中或者与信息呈现区域1140相关联。同一申请人在题为“Method and Installation for detecting and following an eye and thegaze direction thereof”的美国专利No.7,572,008中描述了适合的注视跟踪器，其全部内容被并入本文。虽然本说明书包含大量具体实施例，但是这些实施例不应当被理解为限制本发明的范围或者可能要求保护的范围，而是被理解为对本发明的示例性实现特定的特征的描述。在本说明书中在单独实现的上下文中所述的特定特征还可以组合地实现在单个实现中。相反，在单个实现的上下文中实现的各个特征也可以单独地或者以任何适当的子组合实现在多个实现中。此外，虽然可以在上文中将特征描述为以特定的组合或者甚至以最初要求保护的方式操作，但是在一些情况下可以从要求保护的组合中删除组合的一个或多个特征，并且要求保护的组合可以涉及子组合或者子组合的变形。
类似地，虽然以特定的顺序在附图中描绘了操作，但是这不应当被理解为需要以所示的特定顺序或以连续顺序执行这些操作或者执行所有所示的操作以实现期望结果。在特定环境中，多任务和并行处理可能是有利的。此外，上述实现中的各个系统组件的分离应当被理解为在所有实现中需要这种分离，并且应当理解的是，所述程序组件和系统通常可以一起集成在单个软件产品中或者封装到多个软件产品中。

Claims (11)

1.一种用于在与信息呈现区域进行用户交互期间产生基于手势的命令的控制模块，其中所述控制模块被配置为：
从包括触摸敏感区域的输入装置获取用户输入，并且从注视跟踪模块获取注视数据信号，所述输入装置适于检测用户产生的手势；
至少基于所述注视数据信号来确定所述信息呈现区域上包括用户注视点的注视点区域；以及
基于所述注视点区域在所述信息呈现区域的边缘或边框部分或者临近所述信息呈现区域的边缘或边框部分，并基于用户手指在从所述信息呈现区域的边缘到所述信息呈现区域的中心的方向上的滑动，执行用于从所述信息呈现区域的边缘显现菜单的用户动作。
2.根据权利要求1所述的控制模块，其中所述控制模块包括输入模块，所述输入模块被配置为解释表示至少一个用户产生的手势的信号，以提供反映用户的手势的至少一个基于手势的控制命令，所述输入模块被配置为使用注视输入信号和/或可能的基于手势的控制命令的预定集合来解释表示所述至少一个用户产生的手势的所述信号，每一个可能的控制命令与相对于所述输入装置的特定用户手势相对应。
3.根据权利要求1所述的控制模块，其中，至少一个对象被呈现在所述信息呈现区域上，所述对象表示至少一个图形用户界面组件，并且被配置为根据用户产生的基于手势的控制命令而被操纵，所述控制模块被配置为：
基于所述注视数据信号来确定所述用户注视点是否在对象上或者在所述对象周围的区域中；
如果与由经由所述输入装置的用户输入得到的用户产生的基于手势的控制命令同步地，所述用户注视点在所述对象上或者在所述对象周围的区域中，则启用所述对象的用户激活，其中，能够通过由经由所述输入装置的用户输入得到的用户产生的命令来操纵所激活的对象。
4.一种用于在与和计算机设备相关联的信息呈现区域进行用户交互期间产生基于手势的控制命令的方法，所述方法包括：
获取用户输入，所述用户输入与用户产生的手势相对应；
获取注视数据信号；
至少基于所述注视数据信号来确定所述信息呈现区域上包括用户注视点的注视点区域；以及
基于所述注视点区域在所述信息呈现区域的边缘或边框部分或者临近所述信息呈现区域的边缘或边框部分，并基于用户手指在从所述信息呈现区域的边缘到所述信息呈现区域的中心的方向上的滑动，执行用于从所述信息呈现区域的边缘显现菜单的用户动作。
5.根据权利要求4所述的方法，还包括：
获取用户产生的基于手势的控制命令，所述基于手势的控制命令是通过触摸包括触摸板或触摸屏的输入装置的表面或者触摸所述触摸板的表面而产生的。
6.根据权利要求4所述的方法，还包括：
解释表示至少一个用户产生的手势的信号，以提供反映用户的手势的至少一个基于手势的控制命令，所述信号是使用注视输入信号和/或可能的基于手势的控制命令的预定集合来解释的，每一个可能的控制命令与相对于所述输入装置的特定用户手势相对应。
7.根据权利要求4所述的方法，还包括：
在所述信息呈现上呈现至少一个对象，所述对象表示至少一个图形用户界面组件，并且被配置为根据用户产生的基于手势的控制命令而被操纵；
基于所述注视数据信号来确定所述用户的所述注视点是否在对象上或者在所述对象周围的区域中；
如果与由经由所述输入装置的用户输入得到的用户产生的激活命令同步地，所述用户注视点在所述对象上或者在所述对象周围的区域中，则启用所述对象的用户激活，其中能够通过由经由所述输入装置的用户输入得到的用户产生的命令来操纵所激活的对象。
8.一种计算机设备，所述计算机设备包括：
处理器；以及
存储器，存储有机器可执行指令，所述指令在被处理器执行时，使得处理器执行以下操作：
获取用户输入，所述用户输入与用户产生的手势相对应；
获取注视数据信号；
至少基于所述注视数据信号来确定所述信息呈现区域上包括用户注视点的注视点区域；以及
基于所述注视点区域在所述信息呈现区域的边缘或边框部分或者临近所述信息呈现区域的边缘或边框部分，并基于用户手指在从所述信息呈现区域的边缘到所述信息呈现区域的中心的方向上的滑动，执行用于从所述信息呈现区域的边缘显现菜单的用户动作。
9.根据权利要求8所述的计算机设备，其中，所述处理器还执行指令以：
获取用户产生的基于手势的控制命令，所述基于手势的控制命令是通过触摸包括触摸板或触摸屏的输入装置的表面或者触摸所述触摸板的表面而产生的。
10.根据权利要求8所述的计算机设备，其中，所述处理器还执行指令以：
解释表示至少一个用户产生的手势的信号，以提供反映用户的手势的至少一个基于手势的控制命令，所述信号是使用注视输入信号和/或可能的基于手势的控制命令的预定集合来解释的，每一个可能的控制命令与相对于所述输入装置的特定用户手势相对应。
11.根据权利要求8所述的计算机设备，其中，所述处理器还执行指令以：
在所述信息呈现上呈现至少一个对象，所述对象表示至少一个图形用户界面组件，并且被配置为根据用户产生的基于手势的控制命令而被操纵；
基于所述注视数据信号来确定所述用户的所述注视点是否在对象上或者在所述对象周围的区域中；
如果与由经由所述输入装置的用户输入得到的用户产生的激活命令同步地，所述用户注视点在所述对象上或者在所述对象周围的区域中，则启用所述对象的用户激活，其中能够通过由经由所述输入装置的用户输入得到的用户产生的命令来操纵所激活的对象。
CN201710584409.6A 2012-01-04 2012-12-17 用于注视交互的系统 Active CN107368191B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201261583013P 2012-01-04 2012-01-04
US61/583,013 2012-01-04
US13/646,299 2012-10-05
US13/646,299 US10013053B2 (en) 2012-01-04 2012-10-05 System for gaze interaction
CN201280070732.7A CN104145232B (zh) 2012-01-04 2012-12-17 用于注视交互的系统

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN201280070732.7A Division CN104145232B (zh) 2012-01-04 2012-12-17 用于注视交互的系统

Publications (2)

Publication Number Publication Date
CN107368191A true CN107368191A (zh) 2017-11-21
CN107368191B CN107368191B (zh) 2020-09-25

Family

ID=48694442

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201710584409.6A Active CN107368191B (zh) 2012-01-04 2012-12-17 用于注视交互的系统
CN201280070732.7A Active CN104145232B (zh) 2012-01-04 2012-12-17 用于注视交互的系统

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN201280070732.7A Active CN104145232B (zh) 2012-01-04 2012-12-17 用于注视交互的系统

Country Status (7)

Country Link
US (4) US10013053B2 (zh)
EP (1) EP2801009B1 (zh)
KR (1) KR20140117469A (zh)
CN (2) CN107368191B (zh)
CA (1) CA2860381A1 (zh)
ES (1) ES2761198T3 (zh)
WO (1) WO2013102551A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110045816A (zh) * 2018-01-10 2019-07-23 脸谱科技有限责任公司 近眼显示器和系统
CN116088175A (zh) * 2022-11-30 2023-05-09 业成科技（成都）有限公司 显示系统及其车用抬头显示系统

Families Citing this family (279)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9158116B1 (en) 2014-04-25 2015-10-13 Osterhout Group, Inc. Temple and ear horn assembly for headworn computer
US9400390B2 (en) 2014-01-24 2016-07-26 Osterhout Group, Inc. Peripheral lighting for head worn computing
US9715112B2 (en) 2014-01-21 2017-07-25 Osterhout Group, Inc. Suppression of stray light in head worn computing
US9366867B2 (en) 2014-07-08 2016-06-14 Osterhout Group, Inc. Optical systems for see-through displays
US9298007B2 (en) 2014-01-21 2016-03-29 Osterhout Group, Inc. Eye imaging in head worn computing
US20120257035A1 (en) * 2011-04-08 2012-10-11 Sony Computer Entertainment Inc. Systems and methods for providing feedback by tracking user gaze and gestures
RU2621633C2 (ru) 2011-10-28 2017-06-06 Мэджик Лип, Инк. Система и способ для дополненной и виртуальной реальности
US10025381B2 (en) 2012-01-04 2018-07-17 Tobii Ab System for gaze interaction
US10488919B2 (en) 2012-01-04 2019-11-26 Tobii Ab System for gaze interaction
US10394320B2 (en) 2012-01-04 2019-08-27 Tobii Ab System for gaze interaction
US10540008B2 (en) 2012-01-04 2020-01-21 Tobii Ab System for gaze interaction
US10013053B2 (en) 2012-01-04 2018-07-03 Tobii Ab System for gaze interaction
KR20130120599A (ko) * 2012-04-26 2013-11-05 엘지전자 주식회사 이동 단말기 및 그 제어방법
JP5342040B1 (ja) * 2012-06-07 2013-11-13 株式会社エヌ・ティ・ティ・ドコモ 表示装置、表示方法及びプログラム
US9582035B2 (en) 2014-02-25 2017-02-28 Medibotics Llc Wearable computing devices and methods for the wrist and/or forearm
US10314492B2 (en) 2013-05-23 2019-06-11 Medibotics Llc Wearable spectroscopic sensor to measure food consumption based on interaction between light and the human body
US20130342672A1 (en) * 2012-06-25 2013-12-26 Amazon Technologies, Inc. Using gaze determination with device input
US9575960B1 (en) * 2012-09-17 2017-02-21 Amazon Technologies, Inc. Auditory enhancement using word analysis
US9201500B2 (en) * 2012-09-28 2015-12-01 Intel Corporation Multi-modal touch screen emulator
US9164625B2 (en) 2012-10-14 2015-10-20 Neonode Inc. Proximity sensor for determining two-dimensional coordinates of a proximal object
US9921661B2 (en) 2012-10-14 2018-03-20 Neonode Inc. Optical proximity sensor and associated user interface
US10585530B2 (en) 2014-09-23 2020-03-10 Neonode Inc. Optical proximity sensor
US20140111452A1 (en) * 2012-10-23 2014-04-24 Electronics And Telecommunications Research Institute Terminal and method of controlling touch operations in the terminal
US9612656B2 (en) 2012-11-27 2017-04-04 Facebook, Inc. Systems and methods of eye tracking control on mobile device
TW201421340A (zh) * 2012-11-29 2014-06-01 Egalax Empia Technology Inc 一種放大影像的電子裝置與方法
US9829971B2 (en) * 2013-01-21 2017-11-28 Facebook, Inc. Systems and methods of eye tracking control
US8814683B2 (en) 2013-01-22 2014-08-26 Wms Gaming Inc. Gaming system and methods adapted to utilize recorded player gestures
US10365874B2 (en) * 2013-01-28 2019-07-30 Sony Corporation Information processing for band control of a communication stream
JP2014153663A (ja) * 2013-02-13 2014-08-25 Sony Corp 音声認識装置、および音声認識方法、並びにプログラム
US9791921B2 (en) * 2013-02-19 2017-10-17 Microsoft Technology Licensing, Llc Context-aware augmented reality object commands
EP2962175B1 (en) 2013-03-01 2019-05-01 Tobii AB Delay warp gaze interaction
US9864498B2 (en) 2013-03-13 2018-01-09 Tobii Ab Automatic scrolling based on gaze detection
KR102117086B1 (ko) * 2013-03-08 2020-06-01 삼성디스플레이 주식회사 단말기 및 그의 조작 방법
JP5962547B2 (ja) * 2013-03-08 2016-08-03 ソニー株式会社 情報処理装置、情報処理方法およびプログラム
US11747895B2 (en) * 2013-03-15 2023-09-05 Intuitive Surgical Operations, Inc. Robotic system providing user selectable actions associated with gaze tracking
US9170724B2 (en) * 2013-04-01 2015-10-27 Jet Optoelectronics Co., Ltd. Control and display system
KR102111457B1 (ko) * 2013-05-15 2020-05-15 엘지전자 주식회사 이동 단말기 및 이동 단말기의 제어 방법
US20140368432A1 (en) * 2013-06-17 2014-12-18 Tencent Technology (Shenzhen) Company Limited Wearable smart glasses as well as device and method for controlling the same
WO2014205422A2 (en) 2013-06-20 2014-12-24 Parshionikar Uday Systems, methods, apparatuses, computer readable medium for controlling electronic devices
US20160139762A1 (en) * 2013-07-01 2016-05-19 Inuitive Ltd. Aligning gaze and pointing directions
US9113036B2 (en) * 2013-07-17 2015-08-18 Ebay Inc. Methods, systems, and apparatus for providing video communications
CN104349002B (zh) * 2013-07-30 2017-11-21 柯尼卡美能达株式会社 操作装置以及图像处理装置
DE102013013362A1 (de) * 2013-08-09 2015-02-12 Daimler Ag Verfahren und Vorrichtung zum komprimierten Übertragen von Bewegungskoordinaten aufweisenden Signalen eines Bedienelements in einem Fahrzeug
US10914951B2 (en) * 2013-08-19 2021-02-09 Qualcomm Incorporated Visual, audible, and/or haptic feedback for optical see-through head mounted display with user interaction tracking
EP2843507A1 (en) * 2013-08-26 2015-03-04 Thomson Licensing Display method through a head mounted device
US9400553B2 (en) 2013-10-11 2016-07-26 Microsoft Technology Licensing, Llc User interface programmatic scaling
KR101503159B1 (ko) * 2013-10-15 2015-03-16 (주)이스트소프트 시선의 위치를 감지하여 터치스크린을 제어하는 방법
CN105593785B (zh) * 2013-11-01 2019-11-12 英特尔公司 凝视辅助触摸屏输入
DE102013019200A1 (de) * 2013-11-15 2015-05-21 Audi Ag Verfahren zum Betreiben eines Bediensystems, Bediensystem und Vorrichtung mit einem Bediensystem
US10558262B2 (en) * 2013-11-18 2020-02-11 Tobii Ab Component determination and gaze provoked interaction
US10317995B2 (en) 2013-11-18 2019-06-11 Tobii Ab Component determination and gaze provoked interaction
CN104679226B (zh) * 2013-11-29 2019-06-25 上海西门子医疗器械有限公司 非接触式医疗控制系统、方法及医疗设备
DE102013226244A1 (de) * 2013-12-17 2015-06-18 Siemens Aktiengesellschaft Medizintechnische Steuerung
JP6260255B2 (ja) * 2013-12-18 2018-01-17 株式会社デンソー 表示制御装置およびプログラム
DE102013022035B4 (de) * 2013-12-20 2015-11-12 Audi Ag Kraftfahrzeug-Bedienvorrichtung mit graphischer Benutzerschnittstelle, sowie Kraftfahrzeug und Verfahren
DE102013021931A1 (de) * 2013-12-20 2015-06-25 Audi Ag Tastenlos bedienbare Bedienvorrichtung
US9244539B2 (en) * 2014-01-07 2016-01-26 Microsoft Technology Licensing, Llc Target positioning with gaze tracking
JP2015133088A (ja) * 2014-01-16 2015-07-23 カシオ計算機株式会社 Ｇｕｉシステム、表示処理装置、入力処理装置及びプログラム
US10254856B2 (en) 2014-01-17 2019-04-09 Osterhout Group, Inc. External user interface for head worn computing
US10649220B2 (en) 2014-06-09 2020-05-12 Mentor Acquisition One, Llc Content presentation in head worn computing
US9829707B2 (en) 2014-08-12 2017-11-28 Osterhout Group, Inc. Measuring content brightness in head worn computing
US9841599B2 (en) 2014-06-05 2017-12-12 Osterhout Group, Inc. Optical configurations for head-worn see-through displays
US9594246B2 (en) 2014-01-21 2017-03-14 Osterhout Group, Inc. See-through computer display systems
US20150228119A1 (en) 2014-02-11 2015-08-13 Osterhout Group, Inc. Spatial location presentation in head worn computing
US10684687B2 (en) 2014-12-03 2020-06-16 Mentor Acquisition One, Llc See-through computer display systems
US9939934B2 (en) 2014-01-17 2018-04-10 Osterhout Group, Inc. External user interface for head worn computing
US9810906B2 (en) 2014-06-17 2017-11-07 Osterhout Group, Inc. External user interface for head worn computing
US9766463B2 (en) 2014-01-21 2017-09-19 Osterhout Group, Inc. See-through computer display systems
US9494800B2 (en) 2014-01-21 2016-11-15 Osterhout Group, Inc. See-through computer display systems
US11669163B2 (en) 2014-01-21 2023-06-06 Mentor Acquisition One, Llc Eye glint imaging in see-through computer display systems
US9811159B2 (en) 2014-01-21 2017-11-07 Osterhout Group, Inc. Eye imaging in head worn computing
US12093453B2 (en) 2014-01-21 2024-09-17 Mentor Acquisition One, Llc Eye glint imaging in see-through computer display systems
US12105281B2 (en) 2014-01-21 2024-10-01 Mentor Acquisition One, Llc See-through computer display systems
US11487110B2 (en) 2014-01-21 2022-11-01 Mentor Acquisition One, Llc Eye imaging in head worn computing
US11737666B2 (en) 2014-01-21 2023-08-29 Mentor Acquisition One, Llc Eye imaging in head worn computing
US11892644B2 (en) 2014-01-21 2024-02-06 Mentor Acquisition One, Llc See-through computer display systems
US9753288B2 (en) 2014-01-21 2017-09-05 Osterhout Group, Inc. See-through computer display systems
US9311718B2 (en) * 2014-01-23 2016-04-12 Microsoft Technology Licensing, Llc Automated content scrolling
US9201578B2 (en) 2014-01-23 2015-12-01 Microsoft Technology Licensing, Llc Gaze swipe selection
US20160018654A1 (en) 2014-01-24 2016-01-21 Osterhout Group, Inc. See-through computer display systems
US9846308B2 (en) 2014-01-24 2017-12-19 Osterhout Group, Inc. Haptic systems for head-worn computers
US9401540B2 (en) 2014-02-11 2016-07-26 Osterhout Group, Inc. Spatial location presentation in head worn computing
US12112089B2 (en) 2014-02-11 2024-10-08 Mentor Acquisition One, Llc Spatial location presentation in head worn computing
JP2015153195A (ja) * 2014-02-14 2015-08-24 オムロン株式会社 ジェスチャ認識装置およびジェスチャ認識装置の制御方法
US10429888B2 (en) 2014-02-25 2019-10-01 Medibotics Llc Wearable computer display devices for the forearm, wrist, and/or hand
KR20150107528A (ko) * 2014-03-14 2015-09-23 삼성전자주식회사 사용자 인터페이스를 제공하는 방법과 전자 장치
KR20150108216A (ko) * 2014-03-17 2015-09-25 삼성전자주식회사 입력 처리 방법 및 그 전자 장치
US9804753B2 (en) 2014-03-20 2017-10-31 Microsoft Technology Licensing, Llc Selection using eye gaze evaluation over time
US20160187651A1 (en) 2014-03-28 2016-06-30 Osterhout Group, Inc. Safety for a vehicle operator with an hmd
US9651787B2 (en) 2014-04-25 2017-05-16 Osterhout Group, Inc. Speaker assembly for headworn computer
US10853589B2 (en) 2014-04-25 2020-12-01 Mentor Acquisition One, Llc Language translation with head-worn computing
US20160137312A1 (en) 2014-05-06 2016-05-19 Osterhout Group, Inc. Unmanned aerial vehicle launch system
US10416759B2 (en) * 2014-05-13 2019-09-17 Lenovo (Singapore) Pte. Ltd. Eye tracking laser pointer
US9594427B2 (en) 2014-05-23 2017-03-14 Microsoft Technology Licensing, Llc Finger tracking
US10663740B2 (en) 2014-06-09 2020-05-26 Mentor Acquisition One, Llc Content presentation in head worn computing
US9766449B2 (en) 2014-06-25 2017-09-19 Thalmic Labs Inc. Systems, devices, and methods for wearable heads-up displays
US9851822B2 (en) * 2014-06-29 2017-12-26 TradAir Ltd. Methods and systems for secure touch screen input
US9678567B2 (en) 2014-07-16 2017-06-13 Avaya Inc. Indication of eye tracking information during real-time communications
WO2016013893A1 (en) 2014-07-25 2016-01-28 Samsung Electronics Co., Ltd. Displaying method, animation image generating method, and electronic device configured to execute the same
EP3629140A1 (en) * 2014-07-25 2020-04-01 Samsung Electronics Co., Ltd. Displaying method, animation image generating method, and electronic device configured to execute the same
US9922439B2 (en) 2014-07-25 2018-03-20 Samsung Electronics Co., Ltd. Displaying method, animation image generating method, and electronic device configured to execute the same
WO2016017945A1 (en) * 2014-07-29 2016-02-04 Samsung Electronics Co., Ltd. Mobile device and method of pairing the same with electronic device
WO2016017956A1 (en) * 2014-07-30 2016-02-04 Samsung Electronics Co., Ltd. Wearable device and method of operating the same
US10599326B2 (en) 2014-08-29 2020-03-24 Hewlett-Packard Development Company, L.P. Eye motion and touchscreen gestures
US9582076B2 (en) * 2014-09-17 2017-02-28 Microsoft Technology Licensing, Llc Smart ring
JP6367673B2 (ja) * 2014-09-29 2018-08-01 京セラ株式会社 電子機器
KR102337682B1 (ko) * 2014-10-01 2021-12-09 삼성전자주식회사 디스플레이 장치 및 그의 제어 방법
EP3007051A1 (en) * 2014-10-10 2016-04-13 Thomson Licensing Method for applying at least one operation on one or several objects displayed on a display interface of a device equipped with at least one microphone
CN104360787A (zh) * 2014-10-17 2015-02-18 联想(北京)有限公司 一种显示方法及电子设备
CN107111355B (zh) * 2014-11-03 2021-03-12 宝马股份公司 用于校准眼睛跟踪系统的方法和系统
KR102422793B1 (ko) * 2014-12-04 2022-07-19 삼성전자주식회사 전자 디바이스 및 전자 디바이스를 통하여 글자 입력을 수신하기 위한 방법
KR101655818B1 (ko) 2014-12-11 2016-09-08 현대자동차주식회사 웨어러블 글래스, 그 제어 방법 및 차량 제어 시스템
EP3237251B1 (de) * 2014-12-22 2021-04-07 Volkswagen AG Anwenderschnittstelle für ein fortbewegungsmittel umfassend eine fingerleiste und fortbewegungsmittel damit
US20160187976A1 (en) * 2014-12-29 2016-06-30 Immersion Corporation Systems and methods for generating haptic effects based on eye tracking
WO2016134038A1 (en) 2015-02-17 2016-08-25 Thalmic Labs Inc. Systems, devices, and methods for eyebox expansion in wearable heads-up displays
US20160239985A1 (en) 2015-02-17 2016-08-18 Osterhout Group, Inc. See-through computer display systems
US10878775B2 (en) 2015-02-17 2020-12-29 Mentor Acquisition One, Llc See-through computer display systems
CN113017836A (zh) * 2015-02-20 2021-06-25 柯惠Lp公司 手术室和手术部位感知
US9851790B2 (en) * 2015-02-27 2017-12-26 Lenovo (Singapore) Pte. Ltd. Gaze based notification reponse
JP6463849B2 (ja) * 2015-03-13 2019-02-06 華為技術有限公司Ｈｕａｗｅｉ Ｔｅｃｈｎｏｌｏｇｉｅｓ Ｃｏ．，Ｌｔｄ． 電子デバイス、撮影方法、および撮影装置
CN104699249B (zh) * 2015-03-27 2018-04-27 联想(北京)有限公司 一种信息处理方法及电子设备
US10197805B2 (en) 2015-05-04 2019-02-05 North Inc. Systems, devices, and methods for eyeboxes with heterogeneous exit pupils
NZ737402A (en) 2015-05-19 2023-06-30 Magic Leap Inc Dual composite light field device
KR102474236B1 (ko) 2015-05-28 2022-12-05 구글 엘엘씨 착용 가능 헤드업 디스플레이들에 눈 추적 및 스캐닝 레이저 투사를 통합시키는 시스템들, 디바이스들 및 방법들
US11252399B2 (en) * 2015-05-28 2022-02-15 Microsoft Technology Licensing, Llc Determining inter-pupillary distance
US9898865B2 (en) * 2015-06-22 2018-02-20 Microsoft Technology Licensing, Llc System and method for spawning drawing surfaces
US10229429B2 (en) * 2015-06-26 2019-03-12 International Business Machines Corporation Cross-device and cross-channel advertising and remarketing
US11003246B2 (en) 2015-07-22 2021-05-11 Mentor Acquisition One, Llc External user interface for head worn computing
US10139966B2 (en) 2015-07-22 2018-11-27 Osterhout Group, Inc. External user interface for head worn computing
CN105630324A (zh) * 2015-08-31 2016-06-01 宇龙计算机通信科技(深圳)有限公司 一种显示器之间的切换方法、装置及系统
JP6407824B2 (ja) 2015-09-01 2018-10-17 株式会社東芝 メガネ型ウエアラブル端末およびこの端末を用いる方法
CA2996721A1 (en) 2015-09-04 2017-03-09 Thalmic Labs Inc. Systems, articles, and methods for integrating holographic optical elements with eyeglass lenses
US10382746B1 (en) * 2015-09-22 2019-08-13 Rockwell Collins, Inc. Stereoscopic augmented reality head-worn display with indicator conforming to a real-world object
CN108700933B (zh) * 2015-09-24 2021-11-30 托比股份公司 能够进行眼睛追踪的可穿戴设备
US10565446B2 (en) 2015-09-24 2020-02-18 Tobii Ab Eye-tracking enabled wearable devices
CA3007196A1 (en) * 2015-10-01 2017-04-06 Thalmic Labs Inc. Systems, devices, and methods for interacting with content displayed on head-mounted displays
EP3156879A1 (en) * 2015-10-14 2017-04-19 Ecole Nationale de l'Aviation Civile Historical representation in gaze tracking interface
US9904051B2 (en) 2015-10-23 2018-02-27 Thalmic Labs Inc. Systems, devices, and methods for laser eye tracking
CN105357381A (zh) * 2015-10-28 2016-02-24 努比亚技术有限公司 一种终端操作方法和智能终端
CN105468144B (zh) 2015-11-17 2019-02-12 小米科技有限责任公司 智能设备控制方法及装置
US10802190B2 (en) 2015-12-17 2020-10-13 Covestro Llc Systems, devices, and methods for curved holographic optical elements
CN105677026B (zh) * 2015-12-31 2020-01-31 联想(北京)有限公司 信息处理方法及电子设备
US10303246B2 (en) 2016-01-20 2019-05-28 North Inc. Systems, devices, and methods for proximity-based eye tracking
JP6712865B2 (ja) * 2016-01-27 2020-06-24 株式会社コーエーテクモゲームス 情報処理装置、設定画面表示方法及び設定画面表示プログラム
US10151926B2 (en) 2016-01-29 2018-12-11 North Inc. Systems, devices, and methods for preventing eyebox degradation in a wearable heads-up display
US10850116B2 (en) 2016-12-30 2020-12-01 Mentor Acquisition One, Llc Head-worn therapy device
US10591728B2 (en) 2016-03-02 2020-03-17 Mentor Acquisition One, Llc Optical systems for head-worn computers
US10667981B2 (en) 2016-02-29 2020-06-02 Mentor Acquisition One, Llc Reading assistance system for visually impaired
US9880441B1 (en) 2016-09-08 2018-01-30 Osterhout Group, Inc. Electrochromic systems for head-worn computer systems
US9826299B1 (en) 2016-08-22 2017-11-21 Osterhout Group, Inc. Speaker systems for head-worn computer systems
US10594974B2 (en) 2016-04-07 2020-03-17 Tobii Ab Image sensor for vision based on human computer interaction
US9910284B1 (en) 2016-09-08 2018-03-06 Osterhout Group, Inc. Optical systems for head-worn computers
US10466491B2 (en) 2016-06-01 2019-11-05 Mentor Acquisition One, Llc Modular systems for head-worn computers
US10684478B2 (en) 2016-05-09 2020-06-16 Mentor Acquisition One, Llc User interface systems for head-worn computers
US10824253B2 (en) 2016-05-09 2020-11-03 Mentor Acquisition One, Llc User interface systems for head-worn computers
JP2019518979A (ja) 2016-04-13 2019-07-04 ノース インコーポレイテッドＮｏｒｔｈ Ｉｎｃ． レーザプロジェクタの焦点を合わせるためのシステム、デバイス、及び方法
WO2017183943A1 (ko) * 2016-04-21 2017-10-26 주식회사 비주얼캠프 표시 장치와 이를 이용한 입력 처리 방법 및 시스템
KR101904889B1 (ko) 2016-04-21 2018-10-05 주식회사 비주얼캠프 표시 장치와 이를 이용한 입력 처리 방법 및 시스템
ES2939165T3 (es) 2016-04-29 2023-04-19 Tobii Ab Dispositivos portátiles con seguimiento ocular
US10223067B2 (en) 2016-07-15 2019-03-05 Microsoft Technology Licensing, Llc Leveraging environmental context for enhanced communication throughput
US10277874B2 (en) 2016-07-27 2019-04-30 North Inc. Systems, devices, and methods for laser projectors
US10459221B2 (en) 2016-08-12 2019-10-29 North Inc. Systems, devices, and methods for variable luminance in wearable heads-up displays
EP3293723A3 (en) * 2016-09-09 2018-08-15 Samsung Electronics Co., Ltd. Method, storage medium, and electronic device for displaying images
CN106200679B (zh) * 2016-09-21 2019-01-29 中国人民解放军国防科学技术大学 基于多模态自然交互的单操作员多无人机混合主动控制方法
CN106569598A (zh) * 2016-10-31 2017-04-19 努比亚技术有限公司 菜单栏的管理装置及方法
US10088902B2 (en) 2016-11-01 2018-10-02 Oculus Vr, Llc Fiducial rings in virtual reality
US10345596B2 (en) 2016-11-10 2019-07-09 North Inc. Systems, devices, and methods for astigmatism compensation in a wearable heads-up display
WO2018097632A1 (en) * 2016-11-25 2018-05-31 Samsung Electronics Co., Ltd. Method and device for providing an image
US10409057B2 (en) 2016-11-30 2019-09-10 North Inc. Systems, devices, and methods for laser eye tracking in wearable heads-up displays
US10379612B1 (en) * 2016-12-16 2019-08-13 Apple Inc. Electronic device with gaze tracking system
US10437070B2 (en) 2016-12-23 2019-10-08 Realwear, Inc. Interchangeable optics for a head-mounted display
US10936872B2 (en) 2016-12-23 2021-03-02 Realwear, Inc. Hands-free contextually aware object interaction for wearable display
US10393312B2 (en) 2016-12-23 2019-08-27 Realwear, Inc. Articulating components for a head-mounted display
US11099716B2 (en) 2016-12-23 2021-08-24 Realwear, Inc. Context based content navigation for wearable display
US10663732B2 (en) 2016-12-23 2020-05-26 North Inc. Systems, devices, and methods for beam combining in wearable heads-up displays
US11507216B2 (en) 2016-12-23 2022-11-22 Realwear, Inc. Customizing user interfaces of binary applications
US10620910B2 (en) * 2016-12-23 2020-04-14 Realwear, Inc. Hands-free navigation of touch-based operating systems
US10437074B2 (en) 2017-01-25 2019-10-08 North Inc. Systems, devices, and methods for beam combining in laser projectors
US10977858B2 (en) 2017-03-30 2021-04-13 Magic Leap, Inc. Centralized rendering
KR102451702B1 (ko) 2017-03-30 2022-10-05 매직 립, 인코포레이티드 비차단 이중 드라이버 이어폰들
IL269861B2 (en) 2017-04-14 2023-11-01 Magic Leap Inc Multimodal eye tracking
IL252056A (en) 2017-05-01 2018-04-30 Elbit Systems Ltd Head-up display device, system and method
US11079522B1 (en) 2017-05-31 2021-08-03 Magic Leap, Inc. Fiducial design
CN107239222B (zh) * 2017-06-02 2021-06-22 汪念鸿 一种触摸屏的操控方法及终端设备
EP4242817A3 (en) * 2017-06-29 2023-10-25 Maxell, Ltd. Portable terminal
US10422995B2 (en) 2017-07-24 2019-09-24 Mentor Acquisition One, Llc See-through computer display systems with stray light management
US11409105B2 (en) 2017-07-24 2022-08-09 Mentor Acquisition One, Llc See-through computer display systems
US10578869B2 (en) 2017-07-24 2020-03-03 Mentor Acquisition One, Llc See-through computer display systems with adjustable zoom cameras
DE102017213005A1 (de) 2017-07-27 2019-01-31 Audi Ag Verfahren zum Darstellen eines Anzeigeinhalts
US10969584B2 (en) 2017-08-04 2021-04-06 Mentor Acquisition One, Llc Image expansion optic for head-worn computer
US10152141B1 (en) 2017-08-18 2018-12-11 Osterhout Group, Inc. Controller movement tracking with light emitters
WO2019040665A1 (en) 2017-08-23 2019-02-28 Neurable Inc. BRAIN-COMPUTER INTERFACE PROVIDED WITH HIGH-SPEED OCULAR FOLLOWING CHARACTERISTICS
US11023040B2 (en) 2017-09-21 2021-06-01 Tobii Ab Systems and methods for interacting with a computing device using gaze information
PL3654148T3 (pl) * 2017-10-16 2023-11-06 Tobii Dynavox Ab Ulepszony dostęp do urządzeń obliczeniowych za pomocą śledzenia wzroku
WO2019079523A1 (en) 2017-10-17 2019-04-25 Magic Leap, Inc. SPACE AUDIO WITH MIXED REALITY
US20190121133A1 (en) 2017-10-23 2019-04-25 North Inc. Free space multiple laser diode modules
US10678116B1 (en) 2017-11-09 2020-06-09 Facebook Technologies, Llc Active multi-color PBP elements
EP3710915A4 (en) 2017-11-13 2021-08-11 Neurable Inc. BRAIN-COMPUTER INTERFACE WITH ADAPTATIONS FOR HIGH-SPEED, ACCURATE AND INTUITIVE USER INTERACTIONS
US10732826B2 (en) * 2017-11-22 2020-08-04 Microsoft Technology Licensing, Llc Dynamic device interaction adaptation based on user engagement
US10572007B2 (en) 2017-12-15 2020-02-25 International Business Machines Corporation Preventing unintended input
CN111712192B (zh) 2018-01-18 2024-07-02 神经股份有限公司 具有对于高速、准确和直观的用户交互的适配的大脑-计算机接口
CN116781827A (zh) 2018-02-15 2023-09-19 奇跃公司 混合现实虚拟混响
CA3090281A1 (en) 2018-02-15 2019-08-22 Magic Leap, Inc. Dual listener positions for mixed reality
JP7313361B2 (ja) 2018-02-15 2023-07-24 マジック リープ， インコーポレイテッド 複合現実楽器
US20190253700A1 (en) 2018-02-15 2019-08-15 Tobii Ab Systems and methods for calibrating image sensors in wearable apparatuses
US10534982B2 (en) 2018-03-30 2020-01-14 Tobii Ab Neural network training for three dimensional (3D) gaze prediction with calibration parameters
US10558895B2 (en) 2018-03-30 2020-02-11 Tobii Ab Deep learning for three dimensional (3D) gaze prediction
WO2019190561A1 (en) 2018-03-30 2019-10-03 Tobii Ab Deep learning for three dimensional (3d) gaze prediction
US10671890B2 (en) 2018-03-30 2020-06-02 Tobii Ab Training of a neural network for three dimensional (3D) gaze prediction
CN108519834A (zh) * 2018-04-04 2018-09-11 Oppo广东移动通信有限公司 图像显示方法、装置、存储介质和电子设备
JP2021522552A (ja) 2018-04-24 2021-08-30 メンター アクイジション ワン， エルエルシー 視覚補正および増加されたコンテンツ密度を有するシースルーコンピュータディスプレイシステム
US10871874B2 (en) * 2018-05-09 2020-12-22 Mirametrix Inc. System and methods for device interaction using a pointing device and attention sensing device
WO2019221724A1 (en) 2018-05-16 2019-11-21 Tobii Ab Method to reliably detect correlations between gaze and stimuli
US10528131B2 (en) * 2018-05-16 2020-01-07 Tobii Ab Method to reliably detect correlations between gaze and stimuli
WO2019221654A1 (en) 2018-05-17 2019-11-21 Tobii Ab Autoencoding generative adversarial network for augmenting training data usable to train predictive models
US10667072B2 (en) 2018-06-12 2020-05-26 Magic Leap, Inc. Efficient rendering of virtual soundfields
WO2019241754A1 (en) 2018-06-14 2019-12-19 Magic Leap, Inc. Reverberation gain normalization
WO2019241760A1 (en) 2018-06-14 2019-12-19 Magic Leap, Inc. Methods and systems for audio signal filtering
CN112567767B (zh) 2018-06-18 2023-01-03 奇跃公司 用于交互式音频环境的空间音频
CN110682912B (zh) * 2018-06-19 2023-03-31 斑马智行网络(香港)有限公司 一种数据处理方法、装置和机器可读介质
CN112513983A (zh) 2018-06-21 2021-03-16 奇跃公司 可穿戴系统语音处理
US11080417B2 (en) * 2018-06-26 2021-08-03 Google Llc Private eye-to-eye communications with wearable heads up display
ES2938535T3 (es) 2018-07-20 2023-04-12 Tobii Ab Representación foveada distribuida basada en la mirada del usuario
EP4366337A3 (en) 2018-07-24 2024-07-10 Magic Leap, Inc. Application sharing
US11858526B2 (en) 2018-07-26 2024-01-02 Bayerische Motoren Werke Aktiengesellschaft Apparatus and method for use with vehicle
JP6971932B2 (ja) * 2018-07-27 2021-11-24 日本電信電話株式会社 映像操作装置、映像操作方法、及び映像操作プログラム
US10996748B2 (en) 2018-09-10 2021-05-04 Apple Inc. Gaze-dependent display encryption
US10664050B2 (en) 2018-09-21 2020-05-26 Neurable Inc. Human-computer interface using high-speed and accurate tracking of user interactions
EP3857291A4 (en) 2018-09-25 2021-11-24 Magic Leap, Inc. SYSTEMS AND PROCEDURES FOR EXTENDED REALITY
JP7194271B2 (ja) 2018-10-05 2022-12-21 マジック リープ， インコーポレイテッド 近接場オーディオレンダリング
JP7545960B2 (ja) 2018-10-05 2024-09-05 マジック リープ， インコーポレイテッド オーディオ空間化のための強調
EP3864575A4 (en) 2018-10-09 2021-12-01 Magic Leap, Inc. VIRTUAL AND AUGMENTED REALITY SYSTEMS AND PROCESSES
US11183140B2 (en) 2018-10-10 2021-11-23 International Business Machines Corporation Human relationship-aware augmented display
JP7459798B2 (ja) * 2018-10-15 2024-04-02 ソニーグループ株式会社 情報処理装置、情報処理方法、及びプログラム
WO2020086760A2 (en) 2018-10-24 2020-04-30 Magic Leap, Inc. Asynchronous asic
US11353952B2 (en) 2018-11-26 2022-06-07 Tobii Ab Controlling illuminators for optimal glints
SE1851597A1 (en) * 2018-12-17 2020-06-02 Tobii Ab Gaze tracking via tracing of light paths
US11221814B2 (en) 2018-12-27 2022-01-11 Magic Leap, Inc. Systems and methods for virtual and augmented reality
KR20200091988A (ko) * 2019-01-23 2020-08-03 삼성전자주식회사 장치를 제어하기 위한 방법 및 그 전자 장치
US11537218B2 (en) * 2019-02-13 2022-12-27 Xinlin CAO System and method for processing commands in a computer-graphics software environment
US10825196B2 (en) 2019-02-15 2020-11-03 Universal City Studios Llc Object orientation detection system
CN113748462A (zh) 2019-03-01 2021-12-03 奇跃公司 确定用于语音处理引擎的输入
WO2020189254A1 (ja) * 2019-03-15 2020-09-24 ソニー株式会社 情報処理装置、情報処理方法、及びコンピュータが読み取り可能な記録媒体
KR102198867B1 (ko) * 2019-04-25 2021-01-05 주식회사 비주얼캠프 사용자 입력 방법 및 이를 수행하기 위한 사용자 인터페이스 장치
WO2020247863A1 (en) 2019-06-06 2020-12-10 Magic Leap, Inc. Photoreal character configurations for spatial computing
US11704874B2 (en) 2019-08-07 2023-07-18 Magic Leap, Inc. Spatial instructions and guides in mixed reality
US11328740B2 (en) 2019-08-07 2022-05-10 Magic Leap, Inc. Voice onset detection
EP3809251A1 (en) * 2019-10-17 2021-04-21 BAE SYSTEMS plc User-vehicle interface
US12050733B2 (en) 2019-09-06 2024-07-30 Bae Systems Plc User-vehicle interface featuring variable sensitivity
CN114830182A (zh) 2019-10-18 2022-07-29 奇跃公司 视觉惯性里程计的重力估计和光束法平差
US11304017B2 (en) 2019-10-25 2022-04-12 Magic Leap, Inc. Reverberation fingerprint estimation
WO2021081442A1 (en) 2019-10-25 2021-04-29 Magic Leap, Inc. Non-uniform stereo rendering
US11959997B2 (en) 2019-11-22 2024-04-16 Magic Leap, Inc. System and method for tracking a wearable device
CN115698847A (zh) 2019-12-04 2023-02-03 奇跃公司 可变间距彩色发射显示器
EP4070284A4 (en) 2019-12-06 2023-05-24 Magic Leap, Inc. ENVIRONMENTAL ACOUSTIC PERSISTENCE
EP4073689A4 (en) 2019-12-09 2022-12-14 Magic Leap, Inc. SYSTEMS AND PROCEDURES FOR THE OPERATION OF A USER IDENTIFICATION-BASED HEAD-MOUNTED DISPLAY
US11337023B2 (en) 2019-12-20 2022-05-17 Magic Leap, Inc. Physics-based audio and haptic synthesis
KR20220098024A (ko) 2019-12-31 2022-07-08 네오노드, 인크. 비 접촉식 터치 입력 시스템
CN113220111A (zh) * 2020-01-21 2021-08-06 厦门歌乐电子企业有限公司 一种车载设备控制装置及方法
WO2021163224A1 (en) 2020-02-10 2021-08-19 Magic Leap, Inc. Dynamic colocation of virtual content
CN115698818B (zh) 2020-02-14 2024-01-23 奇跃公司 会话管理器
EP4104000A4 (en) 2020-02-14 2023-07-12 Magic Leap, Inc. TOOL BRIDGE
US11778410B2 (en) 2020-02-14 2023-10-03 Magic Leap, Inc. Delayed audio following
US11763559B2 (en) 2020-02-14 2023-09-19 Magic Leap, Inc. 3D object annotation
EP4104456A4 (en) 2020-02-14 2023-07-19 Magic Leap, Inc. AUDIO PLAYBACK WITH MULTIPLE APPLICATIONS
JP2023515886A (ja) 2020-03-02 2023-04-14 マジック リープ， インコーポレイテッド 没入型のオーディオプラットフォーム
US11917384B2 (en) 2020-03-27 2024-02-27 Magic Leap, Inc. Method of waking a device using spoken voice commands
EP4158615A4 (en) 2020-05-29 2023-11-15 Magic Leap, Inc. DETERMINATION OF ANGULAR ACCELERATION
JP2023527561A (ja) 2020-05-29 2023-06-29 マジック リープ， インコーポレイテッド 表面の適切な衝突
US11630639B2 (en) * 2020-12-08 2023-04-18 Samsung Electronics Co., Ltd. Control method of electronic device using a plurality of sensors and electronic device thereof
CN115176275A (zh) * 2020-12-24 2022-10-11 京东方科技集团股份有限公司 图像畸变处理方法和装置
US11474598B2 (en) * 2021-01-26 2022-10-18 Huawei Technologies Co., Ltd. Systems and methods for gaze prediction on touch-enabled devices using touch interactions
CN112947761B (zh) * 2021-03-26 2023-07-28 芜湖汽车前瞻技术研究院有限公司 Ar-hud系统的虚像位置调整方法、装置及存储介质
US11503998B1 (en) 2021-05-05 2022-11-22 Innodem Neurosciences Method and a system for detection of eye gaze-pattern abnormalities and related neurological diseases
WO2022248054A1 (en) 2021-05-27 2022-12-01 Telefonaktiebolaget Lm Ericsson (Publ) Backside user interface for handheld device
US12099653B2 (en) 2022-09-22 2024-09-24 Apple Inc. User interface response based on gaze-holding event assessment
CN116225209A (zh) * 2022-11-03 2023-06-06 溥畅(杭州)智能科技有限公司 一种基于眼动追踪的人机交互方法及系统
US12118200B1 (en) 2023-06-02 2024-10-15 Apple Inc. Fuzzy hit testing
CN117348737A (zh) * 2023-12-06 2024-01-05 之江实验室 一种基于多通道交互的数据处理系统及方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5689619A (en) * 1996-08-09 1997-11-18 The United States Of America As Represented By The Secretary Of The Army Eyetracker control of heads-up displays
CN101344816A (zh) * 2008-08-15 2009-01-14 华南理工大学 基于视线跟踪和手势识别的人机交互方法及装置
WO2011089199A1 (en) * 2010-01-21 2011-07-28 Tobii Technology Ab Eye tracker based contextual action
CN102176191A (zh) * 2011-03-23 2011-09-07 山东大学 一种基于视线跟踪的电视机操控方法
US20110260965A1 (en) * 2010-04-22 2011-10-27 Electronics And Telecommunications Research Institute Apparatus and method of user interface for manipulating multimedia contents in vehicle

Family Cites Families (48)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5859642A (en) * 1996-09-26 1999-01-12 Sandia Corporation Virtual button interface
US6204828B1 (en) 1998-03-31 2001-03-20 International Business Machines Corporation Integrated gaze/manual cursor positioning system
US8482488B2 (en) 2004-12-22 2013-07-09 Oakley, Inc. Data input management system for wearable electronically enabled interface
JP2003337963A (ja) * 2002-05-17 2003-11-28 Seiko Epson Corp 画像処理装置および画像処理方法、ならびに、画像処理プログラムおよびその記録媒体
US20040138849A1 (en) * 2002-09-30 2004-07-15 Albrecht Schmidt Load sensing surface as pointing device
SE524003C2 (sv) 2002-11-21 2004-06-15 Tobii Technology Ab Förfarande och anläggning för att detektera och följa ett öga samt dess blickvinkel
US9274598B2 (en) 2003-08-25 2016-03-01 International Business Machines Corporation System and method for selecting and activating a target object using a combination of eye gaze and key presses
DK2202609T3 (en) * 2004-06-18 2016-04-25 Tobii Ab Eye control of computer equipment
US7295904B2 (en) * 2004-08-31 2007-11-13 International Business Machines Corporation Touch gesture based interface for motor vehicle
US8793620B2 (en) * 2011-04-21 2014-07-29 Sony Computer Entertainment Inc. Gaze-assisted computer interface
US20080147488A1 (en) * 2006-10-20 2008-06-19 Tunick James A System and method for monitoring viewer attention with respect to a display and determining associated charges
US20100277428A1 (en) 2007-08-31 2010-11-04 Itsuo Kumazawa Touch panel input assisting device, computer operating method using the device, and tactile sense interlocking program
CN101971128B (zh) * 2007-12-05 2013-07-17 阿尔梅瓦股份公司 屏幕与指针对象之间交互用的交互装置
US20100313110A1 (en) 2007-12-14 2010-12-09 Doubleiq Pty Ltd Method and apparatus for the display and/or processing of information, such as data
US20110012848A1 (en) 2008-04-03 2011-01-20 Dong Li Methods and apparatus for operating a multi-object touch handheld device with touch sensitive display
US20090251407A1 (en) * 2008-04-03 2009-10-08 Microsoft Corporation Device interaction with combination of rings
US20090273562A1 (en) * 2008-05-02 2009-11-05 International Business Machines Corporation Enhancing computer screen security using customized control of displayed content area
US8754855B2 (en) * 2008-06-27 2014-06-17 Microsoft Corporation Virtual touchpad
JP2010215194A (ja) * 2009-03-19 2010-09-30 Hyundai Motor Co Ltd 車載機器の操作装置
KR101596890B1 (ko) * 2009-07-29 2016-03-07 삼성전자주식회사 사용자의 시선 정보를 이용한 디지털 오브젝트 탐색 장치 및 방법
US20110202842A1 (en) 2010-02-12 2011-08-18 Dynavox Systems, Llc System and method of creating custom media player interface for speech generation device
US8922480B1 (en) 2010-03-05 2014-12-30 Amazon Technologies, Inc. Viewer-based device control
US8810509B2 (en) 2010-04-27 2014-08-19 Microsoft Corporation Interfacing with a computing application using a multi-digit sensor
CN102270035A (zh) * 2010-06-04 2011-12-07 三星电子株式会社 以非触摸方式来选择和操作对象的设备和方法
US8593375B2 (en) 2010-07-23 2013-11-26 Gregory A Maltz Eye gaze user interface and method
US9557812B2 (en) 2010-07-23 2017-01-31 Gregory A. Maltz Eye gaze user interface and calibration method
US8463075B2 (en) * 2010-08-11 2013-06-11 International Business Machines Corporation Dynamically resizing text area on a display device
KR101685991B1 (ko) 2010-09-30 2016-12-13 엘지전자 주식회사 이동 단말기 및 이동 단말기의 제어 방법
EP2503479B1 (en) 2011-03-21 2015-08-05 BlackBerry Limited Login method based on direction of gaze
US9363361B2 (en) 2011-04-12 2016-06-07 Microsoft Technology Licensing Llc Conduct and context relationships in mobile devices
US8235529B1 (en) 2011-11-30 2012-08-07 Google Inc. Unlocking a screen using eye tracking information
US20170235360A1 (en) 2012-01-04 2017-08-17 Tobii Ab System for gaze interaction
US10013053B2 (en) 2012-01-04 2018-07-03 Tobii Ab System for gaze interaction
US10394320B2 (en) 2012-01-04 2019-08-27 Tobii Ab System for gaze interaction
US10488919B2 (en) 2012-01-04 2019-11-26 Tobii Ab System for gaze interaction
US10540008B2 (en) 2012-01-04 2020-01-21 Tobii Ab System for gaze interaction
US10025381B2 (en) 2012-01-04 2018-07-17 Tobii Ab System for gaze interaction
WO2013144807A1 (en) 2012-03-26 2013-10-03 Primesense Ltd. Enhanced virtual touchpad and touchscreen
US10210480B2 (en) 2012-05-31 2019-02-19 Apple Inc. Avoiding a redundant display of a notification on multiple user devices
EP2696259B1 (en) 2012-08-09 2021-10-13 Tobii AB Fast wake-up in a gaze tracking system
US9147248B2 (en) 2012-12-21 2015-09-29 Tobii Technology Ab Hardware calibration of eye tracker
US9864498B2 (en) 2013-03-13 2018-01-09 Tobii Ab Automatic scrolling based on gaze detection
KR102080183B1 (ko) 2013-04-18 2020-04-14 삼성전자주식회사 전자 장치 및 전자 장치에서 잠금 해제 방법
CN104750232B (zh) 2013-12-28 2017-12-29 华为技术有限公司 一种眼动跟踪方法及装置
US9766959B2 (en) 2014-03-18 2017-09-19 Google Inc. Determining user response to notifications based on a physiological parameter
US20150309566A1 (en) 2014-04-29 2015-10-29 Harman International Industries, Inc. Gaze tracking system
US10338677B2 (en) 2015-10-28 2019-07-02 Microsoft Technology Licensing, Llc Adjusting image frames based on tracking motion of eyes
EP3187976A3 (en) 2015-12-31 2017-09-13 Tobii AB System for gaze interaction

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5689619A (en) * 1996-08-09 1997-11-18 The United States Of America As Represented By The Secretary Of The Army Eyetracker control of heads-up displays
CN101344816A (zh) * 2008-08-15 2009-01-14 华南理工大学 基于视线跟踪和手势识别的人机交互方法及装置
WO2011089199A1 (en) * 2010-01-21 2011-07-28 Tobii Technology Ab Eye tracker based contextual action
US20110260965A1 (en) * 2010-04-22 2011-10-27 Electronics And Telecommunications Research Institute Apparatus and method of user interface for manipulating multimedia contents in vehicle
CN102176191A (zh) * 2011-03-23 2011-09-07 山东大学 一种基于视线跟踪的电视机操控方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110045816A (zh) * 2018-01-10 2019-07-23 脸谱科技有限责任公司 近眼显示器和系统
CN110045816B (zh) * 2018-01-10 2022-05-31 脸谱科技有限责任公司 近眼显示器和系统
CN116088175A (zh) * 2022-11-30 2023-05-09 业成科技（成都）有限公司 显示系统及其车用抬头显示系统

Also Published As

Publication number Publication date
CN104145232B (zh) 2017-09-22
US10324528B2 (en) 2019-06-18
ES2761198T3 (es) 2020-05-19
US20210255700A1 (en) 2021-08-19
CN107368191B (zh) 2020-09-25
US20200174561A1 (en) 2020-06-04
US11573631B2 (en) 2023-02-07
US20130169560A1 (en) 2013-07-04
US20180335838A1 (en) 2018-11-22
CA2860381A1 (en) 2013-07-11
EP2801009A1 (en) 2014-11-12
US10013053B2 (en) 2018-07-03
KR20140117469A (ko) 2014-10-07
CN104145232A (zh) 2014-11-12
EP2801009B1 (en) 2019-10-02
WO2013102551A1 (en) 2013-07-11

Similar Documents

Publication Publication Date Title
CN104145232B (zh) 用于注视交互的系统
US20180364802A1 (en) System for gaze interaction
US10394320B2 (en) System for gaze interaction
US20200285379A1 (en) System for gaze interaction
US10540008B2 (en) System for gaze interaction
US10488919B2 (en) System for gaze interaction
US10353462B2 (en) Eye tracker based contextual action
CN111708478B (zh) 键盘输入的消歧
EP2933709A2 (en) Haptic information management method and electronic device supporting the same
Hinckley et al. Input/Output Devices and Interaction Techniques.
EP3187976A2 (en) System for gaze interaction
WO2018156912A1 (en) System for gaze interaction
JP2010033158A (ja) 情報処理装置及び情報処理方法
Kajastila et al. Eyes-free interaction with free-hand gestures and auditory menus
Tu et al. Mode switching techniques through pen and device profiles
Lee et al. Embodied interaction on constrained interfaces for augmented reality
KR20150049661A (ko) 터치패드 입력 정보 처리 장치 및 방법
KR20150052470A (ko) 제스처 기반 3ｄ 그래픽 사용자 인터페이스 제공방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant