CN109863466A - 组合式眼睛和手势跟踪 - Google Patents

组合式眼睛和手势跟踪 Download PDF

Info

Publication number
CN109863466A
CN109863466A CN201780065536.3A CN201780065536A CN109863466A CN 109863466 A CN109863466 A CN 109863466A CN 201780065536 A CN201780065536 A CN 201780065536A CN 109863466 A CN109863466 A CN 109863466A
Authority
CN
China
Prior art keywords
user
gesture
eyes
graphical pointer
user interface
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201780065536.3A
Other languages
English (en)
Other versions
CN109863466B (zh
Inventor
A.罗尔巴克尔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Harman Becker Automotive Systems GmbH
Original Assignee
Harman Becker Automotive Systems GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Harman Becker Automotive Systems GmbH filed Critical Harman Becker Automotive Systems GmbH
Publication of CN109863466A publication Critical patent/CN109863466A/zh
Application granted granted Critical
Publication of CN109863466B publication Critical patent/CN109863466B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04812—Interaction techniques based on cursor appearance or behaviour, e.g. being affected by the presence of displayed objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/038—Indexing scheme relating to G06F3/038
    • G06F2203/0381—Multimodal input, i.e. interface arrangements enabling the user to issue commands by simultaneous use of input devices of different nature, e.g. voice plus gesture on digitizer

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

公开了一种用于控制组合式眼睛和手势跟踪系统(100)的方法，其中所述方法包括：向用户提供图形用户界面(102)(300)，包括被显示在所述图形用户界面(102)上的多个图形项目(110)；在所述图形用户界面(102)上显示图形指针(120)(310)；检测与所述用户的眼睛相关联的用户眼睛注视(210)(320)；检测与所述用户的身体部位相关联的位移用户手势(230)(330)；以及基于所述位移用户手势(230)和所述用户眼睛注视(210)来控制所述图形指针(120)在所述图形用户界面上的移动速率(340)。

Description

组合式眼睛和手势跟踪
技术领域
各种实施方案涉及一种用于控制组合式眼睛和手势跟踪系统的方法，并且具体地涉及一种用于控制汽车环境中的图形用户界面的组合式眼睛和手势跟踪系统的方法。
背景技术
诸如导航系统、通信装置和媒体播放器等电子装置的使用在汽车环境中变得越来越流行。这种装置为用户提供了对信息内容(诸如导航指令)、媒体内容(诸如音乐、新闻、通信服务)和用于控制车辆操作的装置的便利访问。
已知人机界面(HMI)包括显示多个菜单项的图形用户界面。菜单项可以与图形用户界面的图形菜单的条目相关，用户可以通过使用例如图形指针来选择或激活所述条目。在进行所述选择时，可以访问或调用某些功能，例如子菜单和/或功能或应用程序和/或设置的改变等。例如，菜单项可以与以下一个或多个相关：应用程序、音频和/或视频轨道、系统设置、图片、已下载项目。
通常，在显示器上显示多个这样的菜单项。用户可以通过控制图形用户界面上的图形指针根据他的选择决定来选择和激活多个菜单项中的一个特定菜单项。为此，在一个给定时间点，多个菜单项可以至少部分地或完全地显示在显示器上，并且用户可以通过使用例如机械按钮、触摸控制器、触摸显示器、独立眼睛跟踪或独立手势跟踪系统将图形指针移动到其中一个菜单项来从多个菜单项中选择其中一个菜单项。
在如上所述的情况下，具体地，独立眼睛跟踪技术和独立手势跟踪技术向用户提供了与图形用户界面方便地交互的可能性。然而，这种技术面临某些限制：眼睛或手势跟踪系统提供的控制选项可能不令人满意。此外，眼睛或手势跟踪系统的速度和精度可能受到限制。
发明内容
因此，需要提供一种用于图形用户界面的组合式眼睛和手势跟踪的方法和系统，所述方法和系统向用户提供改进的控制。
根据实施方案，提供了一种用于控制组合式眼睛和手势跟踪系统的方法，其中所述方法包括以下步骤：向用户提供图形用户界面，包括被显示在所述图形用户界面上的多个图形项目；在所述图形用户界面上显示图形指针；检测与所述用户的眼睛相关联的用户眼睛注视；检测与所述用户的身体部位相关联的位移用户手势；以及基于所述位移用户手势和所述用户眼睛注视来控制所述图形指针在所述图形用户界面上的移动速率。
因此，提供了一种用于控制组合式眼睛和手势跟踪系统的方法，所述方法在用户的控制中可以具有提高的精度和提高的速度。例如，如果与常规的眼睛或手势跟踪系统相比，组合式眼睛和手势跟踪系统的响应速度可以提高。因此，可以向用户提供对图形用户界面元素的更快和更精确访问，这在汽车环境中通常提高了车辆操作的安全性。此外，与常规的眼睛或手势跟踪系统相比，车辆的设计和生产可以更容易地实现，并且成本更低，在车辆内放置屏幕的自由度更大。通过基于位移用户手势和用户眼睛注视来控制图形指针在图形用户界面上的移动速率，可以通过连续跟踪位移用户手势方向并相应地调整图形指针的位移方向来校正眼睛跟踪的可能的未对准校准误差，而无需用户注意。具体地，在眼睛跟踪系统的未对准校准误差的这种情况下，用户可以查看特定图形项目，但是由于未对准校准误差，眼睛跟踪系统可能识别成他的眼睛注视与特定图形项目不相关，但是与除特定图形项目之外的位置相关，则用户必须在另一方向上查看除特定图形项目之外的位置以便校正未对准校准误差。通过连续跟踪位移用户手势方向并相应地调整图形指针的位移方向而无需用户注意，用户不必查看图形项目以选择图形项目。此外，通过位移用户手势而不是通过用户眼睛注视，在屏幕上的平移移动中移动图形指针可以更直观。
此外，所述方法可以包括检测所述位移用户手势对应于与所述用户的身体部位相关联的多个预定位移用户手势中的一者，其中所述用户的所述身体部位相对于所述图形用户界面在位移方向上移动，并且控制图形指针的移动速率可以包括在考虑到用户眼睛注视的情况下，以可变的移动速率将图形指针移动到与多个图形项目中的一个相关联的位置。如果用户做出任意移动用户手势，则位移用户手势对应于多个预定位移用户手势中的一者可以提供图形指针不会意外地移位的效果。这可以提高组合式眼睛和手势跟踪系统的精度和安全性。这种控制图形指针的移动速率可以附加地提高组合式眼睛和手势跟踪系统的速度、精度和访问速率。
此外，可以基于位移用户手势与用户眼睛注视的相关性来选择性地移动图形指针，由此进一步提高组合式眼睛和手势跟踪系统的精度和速度。
此外，检测用户眼睛注视可以包括确定所述用户正查看所述图形用户界面以及确定所述图形用户界面上的眼睛聚焦位置，其中仅当所述位移方向指向所述眼睛聚焦位置所在的方向时才移动所述图形指针。仅当位移方向指向眼睛聚焦位置所在的方向时，图形指针才被移动，这进一步提高了组合式眼睛和手势跟踪系统的精度、速度和安全性。
此外，控制所述图形指针的移动速率可以包括将所述位移方向与所述眼睛聚焦位置进行比较，并且仅当所述位移方向与所述眼睛聚焦位置相关时才以更高速度移动所述图形指针。仅当位移方向与眼睛聚焦位置相关时才以更高速度移动图形指针，从而进一步提高了组合式眼睛和手势跟踪系统的精度、速度和安全性。
此外，每个图形项目可以包括围绕所述图形项目的预定咬合区域，其中所述身体部位的移动速率导致当所述图形指针在所述预定咬合区域内并且所述位移方向基本上不指向所述图形项目时所述图形指针的移动速率小于当所述图形指针在所述预定咬合区域内并且所述位移方向基本上指向所述图形项目时或者当所述图形指针不在所述预定咬合区域内时所述图形指针的移动速率。咬合区域提供了对组合式眼睛和手势跟踪系统的进一步提高的精度和速度以及更直观可用性，其中图形指针倾向于保持在菜单项上方的位置，一旦图形指针到达图形目标项目就会更容易停止。
此外，用于控制组合式眼睛和手势跟踪系统的方法可以包括检测发起用户手势；确定所述发起用户手势是否基本上等于预定发起用户手势，其中仅当所述发起用户手势基本上等于所述预定发起用户手势时才执行显示图形指针和控制所述图形指针的移动速率的步骤。仅当所述发起用户手势基本上等于所述预定发起用户手势时才执行显示图形指针和控制所述图形指针的移动速率的步骤提供了防止用户意外激活功能或隐式地移动图形指针的效果。因此，通过提供对图形元素的更快和更精确的访问，手势处理逻辑得以改进。因此，用户可以在没有人机界面(HMI)的可见动作的情况下查看所有项目，例如移动图形指针、突出显示某些图形项目、激活某些图形项目。具体地，如果向用户显示眼睛聚焦位置，则避免了被显示在图形用户界面上的眼睛聚焦位置的跳跃风险。
此外，显示所述图形指针可以包括确定所述图形指针在所述图形用户界面上的发起位置，以及在所述发起位置处显示所述图形指针。通过在已确定发起位置处显示所述指针，组合式眼睛和手势跟踪系统的反应时间被减小，因为用户从所述发起位置比从所述图形用户界面上的任意位置更容易控制所述图形指针。
此外，所述图形指针的所述发起位置可以是所述图形用户界面上的所述眼睛聚焦位置、或者所述图形用户界面上的所述用户已经在预定时间范围内查看了最长时间的位置、或者所述图形用户界面上的所述用户已经在预定时间范围内以最高计数的重新聚焦动作查看的位置、或者已经在预定时间范围内确定的已确定眼睛聚焦位置的中值。因此，选择所述图形指针的发起位置，所述发起位置对应于用户在显示所述图形指针时的动作和需要，因此减少了所述组合式眼睛和手势跟踪系统的反应时间，因为用户从所述发起位置比从所述图形用户界面上的任意位置更容易控制所述图形指针。此外，所述发起位置可以是所述图形用户界面上的预定位置(即，所谓的原始位置)，所述预定位置对于每个菜单页是典型的，因此易于被用户识别。
此外，用于控制组合式眼睛和手势跟踪系统的方法可以包括检测与所述用户的所述身体部位相关联的选用用户手势；确定所述选用用户手势是否基本上等于预定选用用户手势；以及如果所述选用用户手势基本上等于预定选用用户手势，则选择与所述图形指针的所述位置相关联的所述多个图形项目中的一个。当所述选用用户手势基本上等于预定选用用户手势时，则选择与所述图形指针的所述位置相关联的所述多个图形项目中的所述一个具有防止用户意外地激活功能的效果。因此，通过提供对图形元素的更快和更精确访问来改进手势处理逻辑，并且提高了车辆操作的安全性。
此外，用于控制组合式眼睛和手势跟踪系统的方法可以包括在所述身体部位的用户手势之间转换期间或在未被授权改变所述图形指针的所述位置的用户手势的执行期间将所述图形指针设定为锁定状态，使得在所述锁定状态期间，所述图形指针的所述位置基本上不能相对于所述图形指针的最后有效位置发生改变直到识别出被授权改变所述图形指针的所述位置的用户手势为止。将所述图形指针设定为锁定状态具有防止用户意外地移动所述图形指针的效果。因此，在手势转换期间、在HMI显示改变期间，图形指针的位置保持不变，从而提供与传统台式计算机相同的用户感觉。因此，通过提供对图形元素的更快和更精确的访问，手势处理逻辑得以改进。
此外，所述身体部位可以包括手指、特别是食指、手的一部分、手、手臂的一部分、手臂或所述用户的肩部的一部分中的至少一者，从而具有如下效果：所述用户在控制所述组合式眼睛和手势跟踪系统的同时具有更大的移动自由度，因此可以以更安全方式控制车辆。
此外，用于控制组合式眼睛和手势跟踪系统的方法可以包括检测由所述用户做出的用户手势基本上不等于预定发起手势、预定位移手势或预定选用手势的组中的一者，以及从所述图形用户界面移除所述图形指针。通过从图形用户界面移除图形指针，如果检测到由用户做出的用户手势基本上不等于预定发起手势、预定位移手势或预定选用手势的组中的一者，则用户不必通过单独的用户动作来终止控制过程，因此可以以更安全方式来控制车辆。
根据另一实施方案，提供了一种组合式眼睛和手势跟踪系统，其包括：至少一个摄像头；至少一个图形用户界面；存储器，其被配置为存储程序代码；至少一个处理器，其与所述存储器和所述至少一个图形用户界面联接并且被配置为执行所述程序代码，其中所述程序代码的执行使所述至少一个处理器执行以下操作：在所述图形用户界面上向用户显示多个图形项目；在所述图形用户界面上显示图形指针；检测与所述用户的身体部位相关联的位移用户手势；检测与所述用户的眼睛相关联的用户眼睛注视；以及基于所述位移用户手势和所述用户眼睛注视来控制所述图形指针在所述图形用户界面上的移动速率。
因此，提供了一种提高用户控制的精度和速度的组合式眼睛和手势跟踪系统，其中与常规的眼睛或手势跟踪系统相比，可以提高所述组合式眼睛和手势跟踪系统的响应速度，并且可以向用户提供对HMI元素的更快和更精确的访问。此外，与常规的眼睛或手势跟踪系统相比，车辆的设计和生产可以更容易地实现，并且成本更低，在车辆内放置屏幕的自由度更大。通过基于位移用户手势和用户眼睛注视来控制图形指针在图形用户界面上的移动速率，可以通过连续跟踪位移用户手势方向并相应地调整图形指针的位移方向来校正眼睛跟踪的可能的未对准校准误差，而无需用户注意。具体地，在眼睛跟踪系统的未对准校准误差的这种情况下，用户不必查看图形项目之外的项目就能选择所述图形项目。此外，通过位移用户手势而不是通过用户眼睛注视，在屏幕上的平移移动中移动图形指针是更直观的。
尽管结合本公开的具体实施方案和各方面描述了在上述发明内容和以下具体实施方式中描述的具体特征，但是应当理解，除非另外明确说明，否则示例性实施方案和各方面的特征可以彼此组合。
附图说明
现在将参考附图更详细地描述本公开。
图1示出了根据本公开的实施方案的组合式眼睛和手势跟踪系统的示意图；
图2示意性地示出了根据本公开的实施方案的组合式眼睛和手势跟踪系统，所述组合式眼睛和手势跟踪系统包括显示具有指示的眼睛聚焦位置的图形指针的图形用户界面；
图3示意性地示出了具有指示的具有主动重力效应的眼睛聚焦位置的图2的图形用户界面；
图4示意性地示出了其中指示的位移方向具有主动重力效应的图3的图形用户界面；
图5示意性地示出了根据本公开的实施方案的发起用户手势；
图6示意性地示出了根据本公开的实施方案的位移用户手势；
图7示意性地示出了根据本公开的实施方案的选用用户手势；
图8示意性地示出了具有锁定图形指针的图2的图形用户界面；
图9示出了根据本公开的实施方案的用于控制组合式眼睛和手势跟踪系统的方法的流程图；
图10示出了根据示例的用于控制组合式眼睛和手势跟踪系统的方法的流程图；
图11示出了根据另一示例的用于控制组合式眼睛和手势跟踪系统的方法的流程图。
具体实施方式
在下文中，将参考附图更详细地解释根据示例性实施方案的概念。
附图应被视为示意性表示，并且附图中示出的元素不一定按比例示出。更确切地，各种元素被示出，使得其功能和通用目的对于本领域技术人员是显而易见的。附图中示出或本文所述的功能块、装置、部件或其他物理或功能单元之间的任何连接或联接也可以由间接连接或联接来实现。部件之间的联接还可以通过无线连接来建立。功能块可以用硬件、固件、软件或其组合来实现。
在下文中，描述了关于采用组合式眼睛和手势跟踪系统的各种技术。在一些示例中，组合式眼睛和手势跟踪系统可以在诸如客车等车辆中使用。
图1示出了根据本公开的实施方案的组合式眼睛和手势跟踪系统100的示意图。组合式眼睛和手势跟踪系统100包括摄像头101、图形用户界面102、存储器103和处理器104。存储器103可以是非易失性的。组合式眼睛和手势跟踪系统100还包括人机界面(HMI)，所述人机界面包括摄像头101和图形用户界面102。通常，人机界面(HMI)可以包括一个以上的摄像头101和一个以上的图形用户界面102。人机界面(HMI)可以包括诸如以下元件：触摸屏、语音控制器、小键盘和/或方向盘按钮等。
可以预期摄像头101的不同安装位置。一个或多个摄像头104可以安装在仪表组下方，例如，在仪表组下方以0度水平角水平居中，以略高于仪表组的竖直角度向前(朝向平均身材的人的面部)移向驾驶员。摄像头的竖直角度也可以与方向盘调整相关联。当假设驾驶员负责根据人体工程学和仪表组的清晰视野设置合理的方向盘调整时，静态安装位置(关于深度和垂直角度)可能足以覆盖各种身材的驾驶员。一个或多个摄像头101可以安装在仪表组罩上。以0度水平角度在仪表组罩上水平居中，可能以适当的竖直角度向后移向挡风玻璃(朝向平均身材的人的面部)。所述安装位置可以使得组合式眼睛和手势跟踪系统能够与抬头系统一起使用。一个或多个摄像头101可以安装在A柱(驾驶员侧)附近。一个或多个摄像头101可以在仪表板上居中。一个或多个摄像头104可以安装在中央显示器下方。通常，提供足够性能/精度的任何其他位置都可用于安装一个或多个摄像头101。
合适的摄像头可以是红外摄像头。这里，明亮瞳孔跟踪可以用于可靠的眼睛跟踪系统。通过使用红外/近红外光作为照明源，甚至可以实现更可靠的眼睛跟踪。也可以采用无源红外摄像头。无论何时启用眼睛或手势跟踪，即使在白天期间，照明源(如果可用)都可以是活动的。基于摄像头、控制单元和软件的可用眼睛或手势跟踪解决方案可以离散地检测并适应照明条件的变化。由于红外光/近红外光对人眼来说是不可见的，所以不会引起注意力分散。
组合式眼睛和手势跟踪系统100的处理器104被配置成实现眼睛和手势跟踪技术。例如，处理器104可以被配置为执行如图9至图11的流程图中的一个所示的方法。
为了用户的有效操作和控制，人机界面(HMI)可以包括显示多个菜单项的图形用户界面。菜单项可以与图形用户界面的图形菜单的条目相关，用户可以通过使用图形指针来选择或激活所述条目。图形指针对应于可移动项目，如鼠标指针、目标十字、聚光灯等，所有这些项目都表示在图形用户界面102上显示的系统的当前HMI焦点。图形指针对应于图形用户界面102上的位置。用户可以通过使用图形用户界面上的图形指针根据他的选择决定来选择并激活多个菜单项中位于图形指针下方的一个特定菜单项。为此，在一个给定时间点，多个菜单项可以至少部分地或完全地显示在图形用户界面上，并且用户可以通过使用例如硬件按钮、触摸显示器、触摸控制器、眼睛跟踪或手势跟踪将图形指针控制到对应于菜单项中的一个的位置，而从多个菜单项中选择菜单项中的一个。
用户的眼睛注视可以对应于：用户正在看显示器的给定点，眼睛跟踪系统识别/计算视觉焦点的坐标和可选的方差/不准确性水平，并将数据传递给处理器。
图形用户界面可以被示出在一个或多个显示器上。例如，图形用户界面可以被描绘在车辆的组合仪表显示器、中央控制台显示器、信息娱乐显示器和/或抬头显示器(HUD)上。此外，可以预期三维显示器，例如自动立体显示器。
在给定菜单项被激活的情况下，可以激活或触发与相应菜单项相关联的相应功能。激活功能可以包括以下一个或多个：使用例如弹出窗口(例如在图形用户界面的预留区域中和/或在激活的菜单项附近)触发附加信息的显示。例如，功能可以是任何视听反应，诸如正显示的弹出菜单、正浏览的菜单等。附加信息也可以例如通过改变其形状或形式显示在菜单项内。替代地或附加地，功能可以对应于改变车辆部件的内部状态的非视觉反应。在一些示例中，功能可以对应于记录眼睛注视的取向的最后坐标。激活与给定菜单项相关联的功能还可以包括改变车辆的或车辆部件的一个或多个操作参数，例如娱乐系统的音量、雨刷器速度、空调系统的温度等。
本文描述的技术可以适用于基于车辆的眼睛跟踪系统的驾驶员和/或副驾驶员控制。一个或多个摄像头可以限定一个或多个视场，所述一个或多个视场包括驾驶员座椅区域和/或副驾驶员座椅区域。如果要使驾驶员和副驾驶员能够操作同一个物理显示器(例如，信息娱乐系统，其通常是中央显示器的物理显示器)，则可能需要提供分屏视图显示器，所述分屏视图显示器为驾驶员和副驾驶员提供例如两个独立的人机界面(HMI)，所述两个独立的人机界面例如通过视角分离。替代地或附加地，可以实现“主/从”逻辑以解决驾驶员和副驾驶员之间的访问冲突。
图2示出了根据本公开的实施方案的包括图形用户界面102的组合式眼睛和手势跟踪系统100，所述图形用户界面显示图形指针的发起位置122的图形指针120和指示的眼睛聚焦位置130。发起位置也可以被称为种子位置。例如，当重新设置系统时，例如在用户不活动超时之后等，图形指针120可以位于发起位置122处。例如，图形指针120可以响应于检测到发起用户手势而位于发起位置122处。例如，图形指针的发起位置可以是图形用户界面上的眼睛聚焦位置，或者图形用户界面上的用户已经在预定时间范围内查看最长时间的位置。此外，发起位置可以是图形用户界面上的用户已经在预定时间范围内以最高计数的重新聚焦动作查看的位置，或者已经在预定时间内确定的已确定眼睛聚焦位置的中值。此外，发起位置可以是图形用户界面上的预定位置，即，所谓的原始位置。例如，如果系统在不依赖于眼睛注视和/或用户手势的预定义状态下发起，则图形指针120可以位于发起位置122处。由此，显示图形指针时的位置对于多个菜单页面中的每一个可以是典型的，并且因此可以容易地被用户识别。
此外，在图形用户界面102上显示多个图形项目110。指示的眼睛聚焦位置130对于用户是不可见的，而在其他情况下，所指示的眼睛聚焦位置可以对用户可见。
图3示出了根据本公开的实施方案的图2的组合式眼睛和手势跟踪系统100的图形用户界面102，所述图形用户界面显示图形指针的发起位置122处的图形指针120以及多个图形项目110。其中，指示的眼睛聚焦位置被显示为具有主动重力效应131的眼睛聚焦位置。这里，用户已经通过眼睛注视聚焦图形项目(“名称”)，但是尚未例如通过移动食指做出实质的位移用户手势。具有有效重力效应131的眼睛聚焦位置对用户是不可见的，在其他情况下，具有有效重力效应的眼睛聚焦位置对于用户来说是可见的。通常，位移用户手势可以对应于身体部位在自由空间中的移动。例如，位移用户手势可以与移动用户的手臂和/或手指相关。根据所属领域中已知的手势识别系统，可以通过摄像头或另一种非接触式光学检测装置来检测手势。其中，手势是包含信息的身体或身体部位的运动，例如挥手告别。而按下键盘上的键或移动鼠标不是手势，因为手指在敲击按键的过程中的运动或者在移动鼠标时手的运动既无法被观察到也不显著。重要的是按下了哪个键，或者鼠标的移动。
图4示出了根据本公开的实施方案的图3的组合式眼睛和手势跟踪系统100的图形用户界面，所述图形用户界面显示图形指针120的发起位置122处的图形指针120、多个图形项目110和具有主动重力效应131的眼睛聚焦位置。其中还显示图形指针120的位移方向231。图形指针的位移方向231对于用户可以是可见的或可以是不可见的。
图5示出了根据本公开的实施方案的发起用户手势220。其中发起用户手势是用户的手的手势或位置，其中除基本上完全伸长的食指之外所有手指都是闭合的。这是一个示例。在其他示例中，发起用户手势220可以是用户的任何身体部位的手势或位置，所述身体部位包括用户的一个或多个手指、特别是食指、手的一部分、手、手臂的一部分、手臂、肩膀、肩膀的一部分或头部。发起用户手势220的检测可能导致图形指针120被示出在发起位置120处。
图6示出了根据本公开的实施方案的位移用户手势230。其中位移用户手势230是用户的手的手势或移动，其中除基本上完全伸长的食指之外的所有手指都是闭合的，其中手指相对于彼此的位置保持基本相等，仅手作为整体做出基本平移移动。位移用户手势230可以是用户的任何身体部位的手势或位置，所述身体部位包括用户的一个或多个手指、特别是食指、手的一部分、手、手臂的一部分、手臂、肩膀、肩膀的一部分或头部。位移用户手势230可以包括位移用户手势230的采样锚，例如食指的尖端或另一伸长手指的另一尖端。此外，图形指针120的移动可以通过位移用户手势230的采样锚与图形指针120的移动之间的直接相关联来控制。其中图形指针120的移动方向和速率与位移用户手势230的移动方向和速率直接相关，例如，采样锚的移动方向和速率。所示的位移用户手势230是有利的，因为食指的尖端的位置或移动可以由组合式眼睛和手势跟踪系统100容易且精确地跟踪。
图7示出了根据本公开的实施方案的选用用户手势260。其中选用用户手势260是用户的手的手势或移动，其中除基本上完全伸长的食指之外的所有手指都是闭合的，并且其中食指朝向手的手掌移动。选用用户手势260可以是用户的任何身体部位的手势或位置，所述身体部位包括用户的一个或多个手指、特别是食指、手的一部分、手、手臂的一部分、手臂、肩膀、肩膀的一部分或头部。选用手势260可以包括位移用户手势230的采样锚。
图8示出了具有锁定图形指针121的图2的图形用户界面102。在身体部位的用户手势之间的转换期间或者在未被授权改变图形指针位置的用户手势的执行期间，在图形指针121的锁定状态下，图形指针的位置基本上不能从图形指针的最后有效位置改变，直到识别出授权改变图形指针位置的用户手势为止。图形指针121的锁定状态不必在视觉上向用户指示。在图8的示例中，用户通过选用手势230选用当前眼睛聚焦位置130下方的图形项目110，因此图形指针121的位置被暂时锁定。
图9示出了根据本公开的实施方案的用于控制组合式眼睛和手势跟踪系统100的方法的流程图。所述方法开始，然后向用户提供图形用户界面102，其中在步骤300中向用户显示图形用户界面102上的多个图形项目110。在步骤310中，在图形用户界面102上显示图形指针120。其中，显示图形指针可包括诸如图形指针淡入的动画。在步骤320中，检测与用户的眼睛相关联的用户眼睛注视210。检测用户眼睛注视210的步骤320可包括从用户眼睛注视数据计算用户眼睛注视，所述用户眼睛注视数据是通过连续地跟踪用户的眼睛来获得的。可以不向用户指示检测用户眼睛注视210的步骤320。在步骤330中，检测与用户的身体部位相关联的位移用户手势230。例如，对位移用户手势230的识别可以触发诸如图形指针120的移动的对用户可见的系统动作。例如，位移用户手势230可以触发图形指针120的移动。在步骤340中，基于位移用户手势230和用户眼睛注视210来控制图形指针120在图形用户界面102的显示器上的移动速率。其中，图形指针的移动速率可以直接与位移用户手势230的移动速率相关。在其他示例中，图形指针120的移动速率可以比移位用户手势230的移动速率更快或更慢。在另一示例中，基于用户眼睛注视210，图形指针120的移动速率可以是可变的移动，特别是移动期间的移动速率可以增加或减少，或者可以相应地比在图形指针120的移动开始或结束处的位移用户手势230的移动速率更慢或更快。在基于位移用户手势230和用户眼睛注视210控制移动速率的步骤340中，用户眼睛注视210可以是相关用户眼睛注视，其中相关用户眼睛注视在时间上与位移用户手势相关。特别地，可以在检测位移用户手势230的同时检测相关用户眼睛注视。所述方法在步骤340之后结束。
图10示出了根据另一示例的用于控制组合式眼睛和手势跟踪系统100的方法的流程图。所述方法开始，并且在步骤300中，向用户提供图形用户界面102。在步骤330中，检测到发起用户手势220。检测发起用户手势220的步骤330还可以包括判定发起用户手势220是否在用于识别的有效空间区域内，其中如果发起用户手势220在用于识别的有效特殊区域内时，则仅确认存在发起用户手势220。然后，判定发起用户手势220是否基本上等于多个预定初始用户手势中的一者。如果判定发起用户手势220基本上不等于多个预定初始用户手势中的一者，则所述过程结束。因此，仅当用户手势对应于多个发起用户手势中的一者时才控制图形指针120。如果判定初始用户手势220基本上等于多个预定初始用户手势中的一者，则判定用户是否正在查看图形用户界面102。如果判定用户没有查看图形用户界面102，则在步骤330中，图形指针120显示在图形用户界面102的中间、中心或预定原始位置。然后，在步骤340中，控制图形指针120的移动速率。如果判定用户正查看图形用户界面102，则判定眼睛聚焦位置130。此后，在步骤310中，基于眼睛聚焦位置130在图形用户界面102上显示图形指针120。在步骤340中，控制图形指针120的移动速率。
所述方法可以包括检测位移用户手势230对应于与用户的身体部位相关联的多个预定位移用户手势中的一者，其中用户的身体部位相对于图形用户界面102在位移方向231上移动。控制图形指针120的移动速率可以包括考虑到用户眼睛注视将图形指针120以可变移动速率在位移方向231上移动到与多个图形项目中的一个相关联的位置。此外，控制所述图形指针120的移动速率可以包括将所述位移方向231与所述眼睛聚焦位置130进行比较，并且当或仅当所述位移方向231与所述眼睛聚焦位置130相关时才以更高速度移动所述图形指针。仅当位移方向231与眼睛聚焦位置130相关时，才以更高速度移动图形指针120进一步提高了组合式眼睛和手势跟踪系统的精度和速度。这种所谓的虚拟重力效应可以基于位移用户手势231和眼睛聚焦位置130的对应来打开或关闭。当连续眼睛跟踪数据可用时，可以通过另外的算法连续地针对位移用户手势230来检查连续计算的眼睛聚焦位置。当图形指针120更接近眼睛聚焦位置130时，重力效应可加速。当间隙接近图形目标项目时，重力效应可能变得更强，并且甚至可以在图形目标项目的特定范围内具有咬合效应，其中移动进一步加速朝向图形目标项目并且一旦到达图形目标项目就会停止。
在系统未识别出相关性(例如手势在与眼睛聚焦位置130相反的方向上移动)的情况下，加速效果降低或完全被禁用，因此图形指针120仅由位移用户手势控制，直到组合式眼睛和手势跟踪系统100再次识别出眼睛跟踪数据(眼睛用户注视)与位移用户手势230之间的有效相关性为止，这将会再次启用或提高加速效果。
此外，每个图形项目110可以包括围绕图形项目110的预定咬合区域，其中身体部位的移动速率导致当图形指针120在预定咬合区域内并且位移方向231基本上不指向图形项目110时所述图形指针120的移动速率小于当图形指针120在预定咬合区域内并且位移方向231基本上指向图形项目110时或者当图形指针不在预定咬合区域内时所述图形指针120的移动速率。咬合区域进一步提高了组合式眼睛和手势跟踪系统的精度和速度，其中图形指针120倾向于保持在图形项目上方的位置。所述方法还可以包括控制指向多个图形项目110中的一个图形项目的图形指针120并激活与多个图形项目110中的一个图形项目相关联的相应功能的步骤。所述过程在此步骤后结束。
此外，用于控制组合式眼睛和手势跟踪系统100的方法可以包括检测由用户做出的用户手势基本上不等于预定发起手势、预定位移手势或预定选用手势的组中的一者，和/或检测用户手势不再有效，例如用户已从便于识别的有效空间区移除身体部位，或者用户已启动新用户手势，所述新用户手势使先前用户手势及其部分数据无效，并且因此从图形用户界面102移除图形指针120。移除图形指针120可以包括使图形指针120淡出。
图11示出了根据另一示例的用于控制组合式眼睛和手势跟踪系统的方法的流程图。首先，检测用户手势。然后，判定用户手势是否被识别。如果用户手势未被识别，则所述过程结束。如果用户手势被识别为位移用户手势230，则跟踪眼睛聚焦位置130。此后，在步骤340中，基于用户手势和眼睛聚焦位置来控制图形指针120的移动速率。如果用户手势被识别为选用用户手势260，则激活相应的功能。
附图标记列表
100 组合式眼睛和手势跟踪系统
101 摄像头
102 图形用户界面
103 存储器
104 处理器
110 图形项目
120 图形指针
121 处于锁定状态的图形指针
122 图形指针的发起位置
130 眼睛聚焦位置
131 具有主动重力效应的眼睛聚焦位置
210 用户眼睛注视
220 发起用户手势
230 位移用户手势
231 位移方向
260 选用用户手势
300 提供图形用户界面
310 显示图形指针
320 检测用户眼睛注视
330 检测位移用户手势
340 控制图形指针的移动速率
350 检测选用用户手势

Claims (15)

1.一种用于控制组合式眼睛和手势跟踪系统(100)的方法，其中所述方法包括以下步骤：
-向用户提供图形用户界面(102)，所述图形用户界面包括被显示在所述图形用户界面(102,300)上的多个图形项目(110)；
-在所述图形用户界面(102，310)上显示图形指针(120)；
-检测与所述用户的眼睛相关联的用户眼睛注视(210)(320)；以及
-检测与所述用户的身体部位相关联的位移用户手势(230)(330)；以及
-基于所述位移用户手势(230)和所述用户眼睛注视(210,340)来控制所述图形指针(120)在所述图形用户界面上的移动速率。
2.如权利要求1所述的方法，其还包括：
-检测所述位移用户手势(230)对应于与所述用户的身体部位相关联的多个预定位移用户手势中的一者，其中所述用户的身体部位相对于所述图形用户界面(102)在位移方向(231)上移动；以及
-控制所述图形指针(120)的移动速率包括考虑到所述用户眼睛注视(210)将所述图形指针(120)以可变移动速率在所述位移方向(231)上移动到与所述多个图形项目(110)中的一个相关联的位置。
3.如前述任一项权利要求所述的用于控制组合式眼睛和手势跟踪系统(100)的方法，其中所述位移手势是身体部位在自由空间中的运动，所述运动由非接触式光学装置检测。
4.如前述任一项权利要求所述的用于控制组合式眼睛和手势跟踪系统(100)的方法，其中检测用户眼睛注视(320)包括：
-确定所述用户正查看所述图形用户界面(102)；以及
-确定所述图形用户界面(102)上的眼睛聚焦位置(130)。
5.如权利要求4所述的用于控制组合式眼睛和手势跟踪系统(100)的方法，其中仅当所述位移方向(231)指向所述眼睛聚焦位置(130)所在的方向时，所述图形指针(120)才移动。
6.如权利要求4或5所述的用于控制组合式眼睛和手势跟踪系统(100)的方法，其中控制所述图形指针(120)的移动速率包括：
-将所述位移方向(231)与所述眼睛聚焦位置(130)进行比较；以及
-仅当所述位移方向(231)与所述眼睛聚焦位置(130)相关时才以更高速度移动所述图形指针(120)。
7.如前述任一项权利要求所述的用于控制组合式眼睛和手势跟踪系统(100)的方法，其中每个图形项目(110)包括围绕所述图形项目的预定咬合区域，其中所述身体部位的移动速率导致当所述图形指针(120)在所述预定咬合区域内并且所述位移方向(231)基本上不指向所述图形项目(110)时所述图形指针(120)的移动速率小于当所述图形指针在所述预定咬合区域内并且所述位移方向(231)基本上指向所述图形项目(110)时或者当所述图形指针(120)不在所述预定咬合区域内时所述图形指针(120)的移动速率。
8.如前述任一项权利要求所述的用于控制组合式眼睛和手势跟踪系统(100)的方法，其中所述方法还包括：
-检测发起用户手势(220)；
-确定所述发起用户手势(220)是否基本上等于预定发起用户手势；
其中仅当所述发起用户手势(220)基本上等于所述预定发起用户手势时，才执行显示图形指针和控制所述图形指针的移动速率的步骤。
9.如前述任一项权利要求所述的用于控制组合式眼睛和手势跟踪系统(100)的方法，其中显示所述图形指针(310)还包括：
-确定所述图形指针(120)在所述图形用户界面(102)上的发起位置(122)；以及
-在所述发起位置(122)处显示所述图形指针(120)。
10.如权利要求9所述的用于控制组合式眼睛和手势跟踪系统(100)的方法，其中所述图形指针(120)的所述发起位置(122)是：
-所述图形用户界面(102)上的所述眼睛聚焦位置(130)；或者
-所述图形用户界面(102)上的所述用户已经在预定时间范围内查看最长时间的位置；或者
-所述图形用户界面(102)上的所述用户已经在预定时间范围内以最高的重新聚焦动作计数查看的位置；或者
-已经在预定时间范围内确定的已确定的眼睛聚焦位置(130)的中值，或者
-所述图形用户界面上的预定位置。
11.如前述任一项权利要求所述的用于控制组合式眼睛和手势跟踪系统(100)的方法，其中所述方法还包括：
-检测与所述用户的所述身体部位相关联的选用用户手势(260)(350)；
-确定所述选用用户手势(260)是否基本上等于预定选用用户手势；以及
-如果所述选用用户手势(260)基本上等于预定选用用户手势，则选择所述多个图形项目(110)中的与所述图形指针(120)的位置相关联的一个图形项目。
12.如前述任一项权利要求所述的用于控制组合式眼睛和手势跟踪系统(100)的方法，其中所述方法还包括在所述身体部位的用户手势之间的转换期间或在未被授权改变所述图形指针(120)的位置的用户手势的执行期间将所述图形指针(120)设定为锁定状态(121)，使得在所述锁定状态(121)期间，所述图形指针(120)的位置基本上不能相对于所述图形指针(120)的最后有效位置发生改变，直到识别出被授权改变所述图形指针(120)的位置的用户手势为止。
13.如前述任一项权利要求所述的用于控制组合式眼睛和手势跟踪系统(100)的方法，其中所述身体部位包括所述用户的手指、特别是食指、手的一部分、手、手臂的一部分、手臂或肩膀的一部分中的至少一者。
14.如前述任一项权利要求所述的用于控制组合式眼睛和手势跟踪系统(100)的方法，其中所述方法还包括：
-检测由所述用户做出的用户手势基本上不等于预定发起手势、预定位移手势或预定选用手势中的一者；以及
-从所述图形用户界面(102)移除所述图形指针(120)。
15.一种组合式眼睛和手势跟踪系统，其包括：
-至少一个摄像头(101)，
-至少一个图形用户界面(102)，
-存储器(103)，其被配置为存储程序代码，
-至少一个处理器(104)，其与所述存储器(103)和所述至少一个图形用户界面(102)联接并且被配置为执行所述程序代码，其中所述程序代码的执行使所述至少一个处理器(104)执行以下操作：
-在所述图形用户界面(102)上向用户显示多个图形项目(110)(300)；
-在所述图形用户界面(102)上显示图形指针(120,310)；
-检测与所述用户的眼睛相关联的用户眼睛注视(210)(320)；以及
-检测与所述用户的身体部位相关联的位移用户手势(230)(330)；以及
-基于所述位移用户手势(230)和所述用户眼睛注视(210,340)来控制所述图形指针(120)在所述图形用户界面上的移动速率。
CN201780065536.3A 2016-10-26 2017-07-05 组合式眼睛和手势跟踪 Active CN109863466B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP16195740.2A EP3316075B1 (en) 2016-10-26 2016-10-26 Combined eye and gesture tracking
EP16195740.2 2016-10-26
PCT/EP2017/066782 WO2018077491A1 (en) 2016-10-26 2017-07-05 Combined eye and gesture tracking

Publications (2)

Publication Number Publication Date
CN109863466A true CN109863466A (zh) 2019-06-07
CN109863466B CN109863466B (zh) 2023-09-26

Family

ID=57206145

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780065536.3A Active CN109863466B (zh) 2016-10-26 2017-07-05 组合式眼睛和手势跟踪

Country Status (4)

Country Link
US (1) US11320956B2 (zh)
EP (1) EP3316075B1 (zh)
CN (1) CN109863466B (zh)
WO (1) WO2018077491A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110324648A (zh) * 2019-07-17 2019-10-11 咪咕文化科技有限公司 直播展现方法和系统
CN111443813A (zh) * 2020-04-08 2020-07-24 维沃移动通信有限公司 应用程序管理操作方法、装置、电子设备及存储介质
CN111601129A (zh) * 2020-06-05 2020-08-28 北京字节跳动网络技术有限公司 控制方法、装置、终端及存储介质

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10890967B2 (en) 2018-07-09 2021-01-12 Microsoft Technology Licensing, Llc Systems and methods for using eye gaze to bend and snap targeting rays for remote interaction
JP7024702B2 (ja) * 2018-12-27 2022-02-24 株式会社デンソー ジェスチャ検出装置、およびジェスチャ検出方法
US11907432B2 (en) 2019-09-06 2024-02-20 Bae Systems Plc User-vehicle interface including gesture control support
EP3809251A1 (en) * 2019-10-17 2021-04-21 BAE SYSTEMS plc User-vehicle interface
EP3809237A1 (en) * 2019-10-17 2021-04-21 BAE SYSTEMS plc User-vehicle interface
WO2021044117A1 (en) 2019-09-06 2021-03-11 Bae Systems Plc User-vehicle interface
JP7383471B2 (ja) * 2019-12-20 2023-11-20 キヤノン株式会社 電子機器およびその制御方法
CN111722716B (zh) * 2020-06-18 2022-02-08 清华大学 眼动交互方法、头戴式设备和计算机可读介质
CN112363626B (zh) * 2020-11-25 2021-10-01 广东魅视科技股份有限公司 基于人体姿态和手势姿态视觉识别的大屏幕交互控制方法
EP4405791A1 (en) * 2021-09-25 2024-07-31 Apple Inc. Methods for interacting with an electronic device
US20230168736A1 (en) * 2021-11-29 2023-06-01 Sony Interactive Entertainment LLC Input prediction for pre-loading of rendering data
WO2024159200A1 (en) * 2023-01-27 2024-08-02 Meta Platforms Technologies, Llc Systems and methods for gaze-assisted gesture control

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5710574A (en) * 1995-11-14 1998-01-20 International Business Machines Corporation Method and system for positioning a graphical pointer within a widget of a data processing system graphical user interface
US20120272179A1 (en) * 2011-04-21 2012-10-25 Sony Computer Entertainment Inc. Gaze-Assisted Computer Interface
CN103150093A (zh) * 2013-02-25 2013-06-12 北京极兴莱博信息科技有限公司 一种操作提示标识符移动的方法、装置及终端
CN103336581A (zh) * 2013-07-30 2013-10-02 黄通兵 基于人体眼动特征设计的人机交互方法及系统
CN103347437A (zh) * 2011-02-09 2013-10-09 普莱姆森斯有限公司 3d映射环境中的凝视检测
CN104321785A (zh) * 2012-03-22 2015-01-28 Smi创新传感技术有限公司 评估视线检测结果的方法和装置
US9185352B1 (en) * 2010-12-22 2015-11-10 Thomas Jacques Mobile eye tracking system
CN105212890A (zh) * 2006-01-26 2016-01-06 诺基亚公司 眼睛跟踪器设备
CN105339868A (zh) * 2013-06-06 2016-02-17 微软技术许可有限责任公司 基于眼睛跟踪的视觉增强

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6204828B1 (en) * 1998-03-31 2001-03-20 International Business Machines Corporation Integrated gaze/manual cursor positioning system
JP4608326B2 (ja) * 2005-01-26 2011-01-12 株式会社竹中工務店 指示動作認識装置及び指示動作認識プログラム
US10564714B2 (en) * 2014-05-09 2020-02-18 Google Llc Systems and methods for biomechanically-based eye signals for interacting with real and virtual objects

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5710574A (en) * 1995-11-14 1998-01-20 International Business Machines Corporation Method and system for positioning a graphical pointer within a widget of a data processing system graphical user interface
CN105212890A (zh) * 2006-01-26 2016-01-06 诺基亚公司 眼睛跟踪器设备
US9185352B1 (en) * 2010-12-22 2015-11-10 Thomas Jacques Mobile eye tracking system
CN103347437A (zh) * 2011-02-09 2013-10-09 普莱姆森斯有限公司 3d映射环境中的凝视检测
US20120272179A1 (en) * 2011-04-21 2012-10-25 Sony Computer Entertainment Inc. Gaze-Assisted Computer Interface
CN104321785A (zh) * 2012-03-22 2015-01-28 Smi创新传感技术有限公司 评估视线检测结果的方法和装置
CN103150093A (zh) * 2013-02-25 2013-06-12 北京极兴莱博信息科技有限公司 一种操作提示标识符移动的方法、装置及终端
CN105339868A (zh) * 2013-06-06 2016-02-17 微软技术许可有限责任公司 基于眼睛跟踪的视觉增强
CN103336581A (zh) * 2013-07-30 2013-10-02 黄通兵 基于人体眼动特征设计的人机交互方法及系统

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110324648A (zh) * 2019-07-17 2019-10-11 咪咕文化科技有限公司 直播展现方法和系统
CN110324648B (zh) * 2019-07-17 2021-08-06 咪咕文化科技有限公司 直播展现方法和系统
CN111443813A (zh) * 2020-04-08 2020-07-24 维沃移动通信有限公司 应用程序管理操作方法、装置、电子设备及存储介质
CN111443813B (zh) * 2020-04-08 2022-08-16 维沃移动通信有限公司 应用程序管理操作方法、装置、电子设备及存储介质
CN111601129A (zh) * 2020-06-05 2020-08-28 北京字节跳动网络技术有限公司 控制方法、装置、终端及存储介质

Also Published As

Publication number Publication date
US20190294312A1 (en) 2019-09-26
US11320956B2 (en) 2022-05-03
EP3316075A1 (en) 2018-05-02
CN109863466B (zh) 2023-09-26
WO2018077491A1 (en) 2018-05-03
EP3316075B1 (en) 2021-04-07

Similar Documents

Publication Publication Date Title
CN109863466A (zh) 组合式眼睛和手势跟踪
CN110045825B (zh) 用于车辆交互控制的手势识别系统
US9244527B2 (en) System, components and methodologies for gaze dependent gesture input control
US20210141451A1 (en) Two Step Gaze Interaction
US11003242B2 (en) Eye tracking
US10126897B2 (en) Touch input device, vehicle including the same, and method of manufacturing the vehicle
Esteves et al. Orbits: Gaze interaction for smart watches using smooth pursuit eye movements
JP2019192242A (ja) 没入型現実インターフェースモードを提供するシステム、デバイス及び方法
US10146386B2 (en) Touch input device, vehicle including the same, and manufacturing method thereof
CN106427571B (zh) 交互式操纵装置和用于运行所述交互式操纵装置的方法
EP3088997A1 (en) Delay warp gaze interaction
KR20150079435A (ko) 단일 컨트롤러 및 햅틱 가능 사용자 인터페이스로 다수의 디스플레이들을 제어하기 위한 시스템 및 방법
EP2699993A1 (en) Gaze-assisted computer interface
JP2005174356A (ja) 方向検出方法
CN110869882B (zh) 用于运行用于机动车的显示设备的方法以及机动车
US20220397975A1 (en) Method, apparatus, and computer program for touch stabilization
KR101542502B1 (ko) 차량 제어 장치 및 그 제어 방법
EP3384374A1 (en) Motion based systems, apparatuses and methods for establishing 3 axis coordinate systems for mobile devices and writing with virtual keyboards
US9940900B2 (en) Peripheral electronic device and method for using same
JP2005135439A (ja) 操作入力装置
CN114040857A (zh) 用于运行车辆中的操作系统的方法和车辆中的操作系统
Soomro In-vehicle touchscreens: reducing attentional demands and improving driving performance.

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant