CN115598832A - 提升用户体验和注视互动准确度的光学系统和相关方法 - Google Patents

提升用户体验和注视互动准确度的光学系统和相关方法 Download PDF

Info

Publication number
CN115598832A
CN115598832A CN202210744988.7A CN202210744988A CN115598832A CN 115598832 A CN115598832 A CN 115598832A CN 202210744988 A CN202210744988 A CN 202210744988A CN 115598832 A CN115598832 A CN 115598832A
Authority
CN
China
Prior art keywords
user
user interface
interface object
regard
points
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210744988.7A
Other languages
English (en)
Inventor
刘冠麟
邱柏榕
吴奕亨
李魁安
简韶逸
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jianzhen Technology Co ltd
Original Assignee
Jianzhen Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jianzhen Technology Co ltd filed Critical Jianzhen Technology Co ltd
Publication of CN115598832A publication Critical patent/CN115598832A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0025—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 for optical correction, e.g. distorsion, aberration
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Human Computer Interaction (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)
  • Eye Examination Apparatus (AREA)
  • Image Analysis (AREA)

Abstract

光学系统包含眼动追踪仪和头戴式显示器。眼动追踪仪的传感器模块用来捕捉用户的一个或多个眼睛影像。头戴式显示器的处理器用来依据相关眼睛影像的用户的一个或多个预估注视点来提供包含一个或多个用户界面对象的用户界面，求出用户的至少一预估注视点和每一用户界面对象之间的距离，依据用户的至少一预估注视点和每一用户界面对象之间的距离来求出每一用户界面对象的分数，以及将一个或多个用户界面对象中分数最高的用户界面对象设为相关用户的至少一预估注视点的一目标用户界面对象。

Description

提升用户体验和注视互动准确度的光学系统和相关方法
【技术领域】
本发明相关于一种提升用户体验和注视互动准确度的光学系统和相关方法，尤指一种能在交互式虚拟环境中提升用户体验和注视互动准确度的光学系统和相关方法。
【背景技术】
虚拟现实(virtual reality,VR)是利用计算机技术仿真出一个立体且高拟真的三维空间，当用户穿戴特殊显示设备执行VR应用时会产生好像处在现实中的错觉。扩增实境(augmented reality,AR)是一种将虚拟信息扩增到现实空间中的技术，相较于取代现实空间的VR，AR是在现实空间中添加虚拟对象。混合实境(mixed reality,MR)则是把现实世界与虚拟世界合并在一起，从而建立出一个新的环境以及符合一般视觉上所认知的虚拟图像，其中现实世界中的对象能够与数字世界中的对象共同存在并且实时的产生互动。现有VR/AR/MR的应用多半是通过双手控制游戏杆或是触控面板来操作，但在不同场所需要随时携带这些控制装置，在使用上并不便利。若是将眼动追踪(eye-tracking)的技术应用在VR/AR/MR领域，用户可轻易地将眼睛变成操作接口，通过眼睛注视点、聚焦点和特定细微动作即可完成选取或点击对象的动作。
眼动追踪是一种能通过测量眼睛的注视位置或眼球相对头部的运动，来追踪用户眼球运动的技术。现有计算机会在显示屏幕上呈现一用户界面(user interface)，以提供用户各种视觉数据。用户界面一般包含复数个用户界面对象(UI element)，每一用户界面对象包含一图像对象(graphic element)和一命中框(hit box)。图像对象可决定相对应用户界面对象的外观，而命中框为用户看不见的虚拟对象，其链接至相对应事件处理器。当用户的注视指令触发时一用户界面对象的命中框时，会执行对应被触发用户界面对象的一预定动作。
在现有技术的光学系统中，会依据预估注视点的绝对位置来提供基于眼动注视技术的人机互动。更详细地说，用户需将其视线停留在特定用户界面对象的命中框内以触发特定用户界面对象。此种技术对眼动追踪仪的准确度要求很高，微小的误差就会大幅影响用户体验。因此，需要一种能提升用户体验和注视互动准确度的光学系统和方法。
【发明内容】
本发明提供一种在交互式虚拟环境中提供准确眼动追踪的光学系统，其包含一眼动追踪仪和一头戴式显示器。该眼动追踪仪包含一传感器模块，用来捕捉一用户的一个或多个眼睛影像。该头戴式显示器中的一处理器用来依据该用户的一个或多个预估注视点来提供一用户界面，其中该用户界面包含一个或多个用户界面对象，且该用户的该一个或多个预估注视点依据该用户的该一个或多个眼睛影像来计算出；求出该用户的至少一预估注视点和每一用户界面对象之间的距离；依据该用户的该至少一预估注视点和每一用户界面对象之间的距离来求出每一用户界面对象的分数；将该一个或多个用户界面对象中分数最高的一第一用户界面对象设为相关该用户的该至少一预估注视点的一目标用户界面对象。该头戴式显示器中的一显示屏幕用来呈现该用户界面。
本发明另提供一种在交互式虚拟环境中提供准确眼动追踪运作的方法，其包含提供包含一个或多个用户界面对象的一用户界面，在执行一眼动追踪运作的期间捕捉一用户的一个或多个眼睛影像，依据该用户的该一个或多个眼睛影像来计算出该用户的一个或多个预估注视点，求出该用户的至少一预估注视点和每一用户界面对象之间的距离，依据该用户的该至少一预估注视点和每一用户界面对象之间的距离来求出每一用户界面对象的分数，以及将该一个或多个用户界面对象中分数最高的一第一用户界面对象设为相关该用户的该至少一预估注视点的一目标用户界面对象。
本发明另提供一种在交互式虚拟环境中提供准确眼动追踪的光学系统，其包含一眼动追踪仪和一头戴式显示器。该眼动追踪仪包含一传感器模块和一数据库。该传感器模块用来捕捉一用户的一个或多个眼睛影像。该数据库用来存储一组预设轨迹图案，该组预设轨迹图案中每一预设轨迹图案对应于相关一个或多个用户界面对象的一特定运作连结。该头戴式显示器的一处理器用来依据该用户的一个或多个预估注视点来提供一用户界面，其中该用户界面包含该一个或多个用户界面对象，且该用户的该一个或多个预估注视点依据该用户的该一个或多个眼睛影像来计算出；依据该用户的该一个或多个预估注视点来求出该用户的一注视轨迹；以及当该用户的该注视轨迹符合至少一预设轨迹图案时，执行相关该至少一预设轨迹图案的该特定运作连结。该头戴式显示器的一显示屏幕用来呈现该用户界面。
本发明另提供一种在交互式虚拟环境中提供准确眼动追踪的方法，其包含提供包含一个或多个用户界面对象的一用户界面，存储一组预设轨迹图案，该组预设轨迹图案中每一预设轨迹图案对应于相关该一个或多个用户界面对象的一特定运作连结，在一眼动追踪运作的期间捕捉一用户的一个或多个眼睛影像，依据该用户的该一个或多个眼睛影像来计算出该用户的一个或多个预估注视点，依据该用户的该一个或多个预估注视点来求出该用户的一注视轨迹，以及当该用户的该注视轨迹符合至少一预设轨迹图案时执行相关该至少一预设轨迹图案的该特定运作连结。
【附图说明】
图1为本发明实施例中一种可在交互式虚拟环境中提供准确眼动追踪的光学系统的功能方块图。
图2为本发明另一实施例中一种可在交互式虚拟环境中提供准确眼动追踪的光学系统的功能方块图。
图3为本发明实施例中在交互式虚拟环境中提供基于注视轨迹的人机互动的方法流程图。
图4A、4B和4C为本发明实施例中在交互式虚拟环境中提供基于注视轨迹的人机互动时的示意图。
图5A、5B和5C为本发明另一实施例中在交互式虚拟环境中提供基于注视轨迹的人机互动时的示意图。
图6为本发明实施例中在交互式虚拟环境中提供基于注视分数的人机互动的方法流程图。
图7为本发明实施例中在交互式虚拟环境中提供基于注视分数的人机互动时的示意图。
图8为本发明实施例中所求出眼动追踪仪的表现图的示意图。
图9为本发明实施例中在交互式虚拟环境中提供基于眼动注视的人机互动的方法流程图。
【具体实施方式】
图1为本发明实施例中一种可在交互式虚拟环境中提供准确眼动追踪的光学系统100的功能方块图。图2为本发明另一实施例中一种可在交互式虚拟环境中提供准确眼动追踪的光学系统200的功能方块图。
在图1所示的实施例中，光学系统100包含一头戴式显示器(head-mounteddisplay,HMD)10和一眼动追踪仪20。头戴式显示器10包含一处理器12、一显示屏幕14、一内存15、一传感器模块16、一输入/输出装置18，以及一用户界面19，其中内存包含一数据库155、一第一缓冲器151和一第二缓冲器152。眼动追踪仪20包含一处理器22、一照明模块24，以及一传感器模块26。处理器12可控制头戴式显示器10的运作，而处理器22可控制眼动追踪仪20的运作。
在图2所示的实施例中，光学系统200为一头戴式显示器10，其包含一处理器12、一显示屏幕14、一内存15、一传感器模块16、一输入/输出装置18、一用户界面19，以及一眼动追踪仪20。内存15包含一数据库155、一第一缓冲器151和一第二缓冲器152。眼动追踪仪20包含一处理器22、一照明模块24，以及一传感器模块26。处理器12可控制头戴式显示器10的运作，而处理器22可控制眼动追踪仪20的运作。
在本发明其它实施例中，光学系统100和200可省略处理器22。更详细地说，头戴式显示器10和眼动追踪仪20可共享同一处理器12，并由处理器12来控制头戴式显示器10和眼动追踪仪20的运作。
在光学系统100和200中，照明模块24可包含一个或多个红外光发光二极管(light-emitting diode,LED)，用来照亮用户双眼，以确保不同眼色的用户在虹膜和瞳孔之间能有足够对比，尤其是在非常亮或非常暗的背景下，进而提升眼动追踪仪20捕捉用户双眼反射光线时的准确度。然而，照明模块24的实施方式并不限定本发明的范畴。
在光学系统100或200中，输入/输出装置18可接收用户下达的指令。在一实施例中，输入/输出装置18可包含任何种类的手持式控制器(例如游戏手柄或游戏机)及/或任何形式的触觉回馈装置(例如体感套装或体感手套)。输入/输出装置18可侦测用户的动作信号，并将用户的动作信号传送至光学系统100或200的控制器12。在一实施例中，控制器12可依据输入/输出装置18接收到的用户指令来控制光学系统100或200的运作。在另一实施例中，控制器12可同时依据输入/输出装置18接收到的用户指令和用户界面19的用户界面对象UIE1-UIEN接收到的注视指令来控制光学系统100或200的运作。
图3为本发明实施例中在交互式虚拟环境中提供基于注视轨迹的人机互动的方法流程图。图3所示的方法流程图包含下列步骤：
步骤310：提供包含一个或多个用户界面对象的用户界面。
步骤320：存储一组预设轨迹图案，每一预设轨迹图案对应于相关一个或多个用户界面对象的一特定运作连结。
步骤330：捕捉用户的一个或多个眼睛影像。
步骤340：依据用户的一个或多个眼睛影像来计算出用户的一个或多个预估注视点并加以存储。
步骤350：依据用户的一个或多个预估注视点来求出用户的注视轨迹并加以存储。
步骤360：判断用户的注视轨迹是否符合至少一预设轨迹图案；若是，执行步骤370；若否，执行步骤330。
步骤370：执行相关预设轨迹图案的特定运作链接。
在步骤310中，包含一个或多个用户界面对象UIE1-UIEN的用户界面19可呈现在显示屏幕14上，其中N为正整数。在一实施例中，用户界面对象UIE1-UIEN可为用户看不见的抽象对象。如果用户界面对象UIE1-UIEN为互动对象，每一用户界面对象会链接至一事件处理器，其中每一事件处理器相关于光学系统100或200的一特定运作，且由控制器12来掌控。
用户界面对象UIE1-UIEN可增加用户界面19的互动性，并提供用户下达眼动指令的接触点。每一用户界面对象的功能可相关于输入控制、浏览控制和信息显示，但不限定本发明的范畴。每一用户界面对象包含一图像对象和一命中框。图像对象可决定相对应用户界面对象的外观，且可相关于相对应用户界面对象的功能。在一实施例中，用户界面对象的图像对象可为相关输入控制的复选框(checkbox)、单选钮(radio button)、下拉式选单(dropdown list)、列表盒(list box)、开关按钮(toggle button)或日期/时间选项。在另一实施例中，用户界面对象的图像对象可为相关浏览控制的页面路径(breadcrumb)、滑动选单(slider)、分页选单(pagination)、图标(icon)或图像轮播(image carousel)。在另一实施例中，用户界面对象的图像对象可为相关信息显示的工具提示框(tooltip)、进度列(progress bar)、提示通知(notification)、对话框(message box)或互动窗口(modalwindow)。然而，用户界面对象的图像对象的外观并不限定本发明的范畴。
用户界面对象的命中框为用户看不见的虚拟对象，其链接至相对应事件处理器。当相关用户的一个或多个预估注视点的一注视指令触发一用户界面对象的命中框时，处理器12会执行对应被触发用户界面对象的动作。在满足一个或多个触发条件时，本发明会判定用户界面对象被注视指令触发。在本发明中，当用户的注视轨迹符合包含一个或多个区段的一预设轨迹图案时，会判定满足上述触发条件。上述区段可为当用户的视线从用户界面19上一第一点移动至一第二点的动作。然而，相关每一用户界面对象的触发条件类型并不限定本发明的范畴。
在步骤320中，本发明会将一组预设轨迹图案存储在光学系统100或200中内存15的数据库155内，其中该组预设轨迹图案中每一预设轨迹图案对应于相关一个或多个用户界面对象的一特定运作连结。在一实施例中，预设轨迹图案可为一m区段轨迹图案(m为正整数)，但不以此为限。举例来说，二区段轨迹图案可依序包含一第一区段和一第二区段，其中第一区段相关于用户将其视线从用户界面19上一第一点移动至一第二点的动作，而第二区段相关于用户将其视线从用户界面19上第二点移动至一第三点的动作。然而，预设轨迹图案中m的值并不限定本发明的范畴。
在光学系统100中，眼动追踪仪20中的传感器模块26包含至少一个影像传感器(眼睛传感器)，用来在步骤330中捕捉用户的一个或多个眼睛影像。眼动追踪仪20中的处理器22可接收传感器模块26所捕捉的一个或多个眼睛影像，并在步骤340中依据一个或多个眼睛影像来计算出用户的一个或多个预估注视点。此外，眼动追踪仪20中的处理器22另可依据一个或多个眼睛影像来计算出其它眼动追踪相关数据，例如预估注视点的信心度和准确度、在三维空间内的眼球位置和瞳孔相关信息(例如瞳孔大小)。眼动追踪运作的算法可实作成能被眼动追踪仪20中的处理器22执行的程序/软件/固体，但不限定本发明的范畴。此外，用户的一个或多个预估注视点可在步骤340中存储在内存15中的第一缓冲器151。
在光学系统200中，眼动追踪仪20中的传感器模块26包含至少一个影像传感器(眼睛传感器)，用来在步骤330中捕捉用户的一个或多个眼睛影像。处理器12可接收传感器模块26所捕捉的一个或多个眼睛影像，并在步骤340中依据一个或多个眼睛影像来计算出用户的一个或多个预估注视点。此外，处理器12另可依据一个或多个眼睛影像来计算出其它眼动追踪相关数据，例如预估注视点的信心度和准确度、在三维空间内的眼球位置和瞳孔相关信息(例如瞳孔大小)。眼动追踪运作的算法可实作成能被处理器12执行的程序/软件/固体，但不限定本发明的范畴。此外，用户的一个或多个预估注视点可在步骤340中存储在内存15中的第一缓冲器151。
在光学系统100和200中，传感器模块16包含至少一场景传感器、至少一声音传感器(例如麦克风)，及/或至少一动作传感器(例如陀螺仪或加速度计)。场景传感器可捕捉相关于用户的目前可视范围(field of view)的一个或多个场景影像，声音传感器可接收用户下达的语音指令，而动作传感器可侦测用户的动作(通常是头部动作)。
在步骤350中，处理器12可依据用户的一个或多个预估注视点来求出用户的注视轨迹。更详细地说，处理器12会在用户的一个或多个预估注视点中辨识出两相邻预估注视点之间的视线移动(区段)，并通过连接所有区段或连接M个连续区段来提供用户的注视轨迹，其中M为正整数。此外，辨识出的区段可存储在内存15中的第二缓冲器152内。
在步骤360中，处理器12会判断用户的注视轨迹是否符合至少一预设轨迹图案。更详细地说，处理器12会将步骤350中辨识出的用户注视轨迹和数据库155内存的该组预设轨迹图案做比较。若用户的注视轨迹并未符合任何预设轨迹图案，本发明会再次执行步骤330以继续进行眼动追踪运作。若用户的注视轨迹符合至少一预设轨迹图案，本发明会执行步骤370以执行相关符合预设轨迹图案的特定运作链接。特定运作连结可包含一个或多个预定动作。上述预定动作包含内容选择、往前一页、往后一页、设定、关闭页面、返回、回主页、显示通知信息或屏幕锁定，但不限定本发明的范畴。
图4A-4C图为本发明实施例中在交互式虚拟环境中提供基于注视轨迹的人机互动时的示意图。GZ1-GZ3代表步骤340中计算出的用户预估注视点。SG1和SG2代表步骤350中所辨识出的用户注视轨迹内的区段。在图4A图所示的初始状态下，假设用户界面19包含4个用户界面组件UIE1-UIE4。在图4B和4C图所示的后续人机互动过程中，用户界面19另会呈现用户界面组件UIE5和UIE6。
首先，用户将其视线固定在用户界面19的正中央，目的是要选取用户界面组件UIE1，如图4A图所示。接着，用户将其视线从用户界面19的正中央移向用户界面19的正上方，目的是要选取用户界面组件UIE4，如图4B图所示。最后，用户将其视线从用户界面19的正上方移向用户界面19的左上方，目的是要选取用户界面组件UIE5，如图4C图所示。
依据眼动追踪仪20的传感器模块26在步骤中330捕捉到的一个或多个眼睛影像，可记录图4A-4C图所示的用户眼睛/头部运动。依据在步骤中340计算出的用户预估注视点GZ1-GZ3，处理器12可在步骤350中辨识出用户注视轨迹中的区段SG1和SG2，其中区段SG1(视线上移区段)相关于用户将视线从注视点GZ1移动注视点GZ2的动作，而区段SG2(视线左移)相关于用户将其视线从注视点GZ2移动至注视点GZ3的动作。
若包含的区段SG1和SG2的用户注视轨迹符合至少一预设轨迹图案，本发明会执行步骤370以执行相关预设轨迹图案的特定运作链接。在图4A-4C图所示的实施例中，特定运作链接包含相关用户界面组件UIE4的”展开选单”动作、相关用户界面组件UIE5和UIE6的”内容选择”动作，以及相关用户界面组件UIE5的”返回”动作。更详细地说，当包含区段SG1和SG2的用户注视轨迹符合至少一预设轨迹图案时，用户界面组件UIE4和UIE5会依序被用户的注视轨迹触发。
图5A-5C为本发明另一实施例中在交互式虚拟环境中提供基于注视轨迹的人机互动时的示意图。GZ1’-GZ3’代表步骤340中计算出的用户预估注视点。SG1’和SG2’代表步骤350中所辨识出的用户注视轨迹内的区段。在图5A所示的初始状态下，假设用户界面19包含4个用户界面组件UIE1-UIE4。在图5B和5C所示的后续人机互动过程中，用户界面19另会呈现用户界面组件UIE5和UIE6。
依据眼动追踪仪20的传感器模块26在步骤中330捕捉到的一个或多个眼睛影像，可记录图5A-5C所示的用户眼睛/头部运动。依据在步骤中340计算出的用户的预估注视点GZ1’-GZ3’，处理器12可在步骤350中辨识出用户注视轨迹中的区段SG1’和SG2’，其中区段SG1’(视线上移区段)相关于用户将视线从注视点GZ1’移动注视点GZ2’的动作，而区段SG2’(视线左移区段)相关于用户将其视线从注视点GZ2’移动至注视点GZ3’的动作。
若眼动追踪仪20的准确度很低，图5A-5C所示的预估注视点GZ1’-GZ3’的位置会明显偏移图4A-4C图所示的实际注视点GZ1-GZ3的位置。然而，当包含区段SG1’和SG2’的用户注视轨迹符合至少一预设轨迹图案时，本发明依旧会执行步骤370以执行相关预设轨迹图案的特定运作链接。换句话说，即使因为眼动追踪仪20的低准确度而无法取得用户注视轨迹的精确坐标，本发明依旧能够执行相关预设轨迹图案的特定运作链接。
图6为本发明实施例中在交互式虚拟环境中提供基于注视分数的人机互动的方法流程图。图6所示的方法流程图包含下列步骤：
步骤610：提供包含一个或多个用户界面对象的用户界面。
步骤620：捕捉用户的一个或多个眼睛影像。
步骤630：依据用户的一个或多个眼睛影像来计算出用户的一预估注视点。
步骤640：求出预估注视点和每一用户界面对象之间的距离。
步骤650：依据用户的一个或多个眼睛影像来求出眼动追踪仪20的表现图(performance map)。
步骤660：依据眼动追踪仪20的表现图来求出眼动追踪仪20在每一用户界面对象所在位置的表现水平。
步骤670：依据眼动追踪仪20在每一用户界面对象所在位置的表现水平和预估注视点和每一用户界面对象之间的距离来求出每一用户界面对象的分数。
步骤680：将一个或多个用户界面对象中分数最高的一用户界面对象设为相关用户的预估注视点的一目标用户界面对象。
步骤690：判断目标用户界面对象是否被触发；若是，执行步骤700；若否，执行步骤610。
步骤700：执行相关目标用户界面对象的一预定动作。
图6中步骤610、620和630的实施方式分别和图3中步骤310、330和340相同，在此不另加赘述。在步骤640中，处理器12会求出预估注视点和每一用户界面对象之间的距离。
图7为本发明实施例中在交互式虚拟环境中提供基于注视分数的人机互动时的示意图。为了说明目的，图7显示了N＝4时的实施例，其中用户界面19包含4个用户界面组件UIE1-UIE4。GZ代表步骤630中计算出的用户预估注视点，d1代表预估注视点GZ和用户界面对象UIE1之间的距离，d2代表预估注视点GZ和用户界面对象UIE2之间的距离，d3代表预估注视点GZ和用户界面对象UIE3之间的距离，而d4代表预估注视点GZ和用户界面对象UIE4之间的距离。
在步骤650中，处理器12会依据用户的一个或多个眼睛影像和用户的初始可视范围来求出眼动追踪仪20的表现图。用户的初始可视范围指当用户正视前方时的可视范围，可依据光学系统100或200的物理规格和用户的标准人体测量数据来计算出。眼动追踪仪20的表现图代表眼动追踪仪20相关用户的初始可视范围的运作表现。由于传感器模块26在眼动追踪仪20内的设置位置为固定，当用户穿戴眼动追踪仪20后，传感器模块26的位置仅会随着用户的头部运动而改变，但不会被用户的眼球运动所影响。因此，眼动追踪仪20的表现图会随着用户的头部运动而变化，但不相关于用户的眼球运动。
图8为本发明实施例在步骤650中所求出眼动追踪仪20的表现图的示意图。纵轴代表用户的垂直可视范围(单位为度)，横轴代表用户的水平可视范围(单位为度)，而数字为眼动追踪仪20在用户的可视范围内不同位置的错误率。在一般情况下，眼动追踪仪20的准确率会随着偏心率(eccentricity)增加而降低。如图8所示，在用户可视范围的中心区域内眼动追踪仪20的平均错误率约为1.88°，在用户可视范围±10°视角内眼动追踪仪20的平均错误率约为1.96°，而在用户可视范围±20°视角内眼动追踪仪20的平均错误率约为2°。然而，图8所示的数字仅为说明目的，并不限定本发明的范畴。
在步骤660中，处理器12会依据眼动追踪仪20的表现图来求出眼动追踪仪20在每一用户界面对象所在位置的表现水平。请参阅图7和图8，为了说明目的假设眼动追踪仪20在用户界面对象UIE1所在位置的错误率约为2.92°，在用户界面对象UIE2所在位置的错误率约为2.13°，在用户界面对象UIE3所在位置的错误率约为1.61°，而在用户界面对象UIE4所在位置的错误率约为1.34°。
在步骤670中，处理器12会依据眼动追踪仪20在每一用户界面对象所在位置的表现水平和预估注视点和每一用户界面对象之间的距离来求出每一用户界面对象的分数。在一实施例中，用户界面对象UIEn的分数SCn可依据下列公式(1)来出，其中dn代表预估注视点GZ和用户界面对象UIEn之间的距离，ERn代表眼动追踪仪20在用户界面对象UIEn所在位置的错误率，W1代表距离权重，而W2代表准确率权重。
SCn＝W1(1/dn)+W2(ERn/dn)…(1)
在步骤680中，处理器120会将一个或多个用户界面对象中分数最高的一用户界面对象设为相关用户的预估注视点GZ的目标用户界面对象。
在一实施例中，距离可为决定基于眼动注视的人机互动的唯一参数，此时可将距离权重W1设为1，并将准确率权重W2设为0。如图7和图8所示，用户界面对象UIE1的分数SC1为0.8，用户界面对象UIE2的分数SC2约为0.67，用户界面对象UIE3的分数SC3为1，而用户界面对象UIE4的分数SC4约为0.909。在此种状况下，分数最高的用户界面对象UIE3会被设为相关用户的预估注视点GZ的目标用户界面对象。
在另一实施例中，距离和准确率可皆为决定基于眼动注视的人机互动的参数，此时可将距离权重W1设为1，并将准确率权重W2设为1。如图7和图8所示，用户界面对象UIE1的分数SC1约为3.136，用户界面对象UIE2的分数SC2约为2.087，用户界面对象UIE3的分数SC3约为2.61，而用户界面对象UIE4的分数SC4约为2.127。在此种状况下，分数最高的用户界面对象UIE1会被设为相关用户的预估注视点GZ的目标用户界面对象。
在步骤690，处理器12会判断目标用户界面对象是否被触发。当相关用户的一个或多个预估注视点的注视指令满足一个或多个触发条件时，本发明会判定目标用户界面对象被注视指令触发。上述触发条件包含用户的注视点位于目标用户界面对象的命中框内超过相关目标用户界面对象的凝视时段、用户按下另一按键、用户下达一语音指令、用户自主性地眨眼，或侦测到特定注视点轨迹/模式，但不限定本发明的范畴。
在判定目标用户界面对象已被触发后，处理器12会在步骤700中执行对应目标用户界面对象的预定动作。上述预定动作包含内容选择、往前一页、往后一页、设定、关闭页面、返回、回主页、显示通知信息或屏幕锁定，但不限定本发明的范畴。
图9为本发明实施例中在交互式虚拟环境中提供基于眼动注视的人机互动的方法流程图。图9所示的方法流程图包含下列步骤：
步骤810：提供包含一个或多个用户界面对象的用户界面。
步骤820：存储一组预设轨迹图案，每一预设轨迹图案对应于相关一个或多个用户界面对象的一特定运作连结。
步骤830：捕捉用户的一个或多个眼睛影像。
步骤840：依据用户的一个或多个眼睛影像来计算出用户的一个或多个预估注视点。
步骤850：求出至少一预估注视点和每一用户界面对象之间的距离。
步骤860：依据用户的一个或多个眼睛影像来求出眼动追踪仪20的表现图。
步骤870：依据眼动追踪仪20的表现图来求出眼动追踪仪20在每一用户界面对象所在位置的表现水平。
步骤880：依据眼动追踪仪20在每一用户界面对象所在位置的表现水平和至少一预估注视点和每一用户界面对象之间的距离来求出每一用户界面对象的分数。
步骤890：将一个或多个用户界面对象中分数最高的一用户界面对象设为相关用户的至少一预估注视点的一目标用户界面对象。
步骤900：依据用户的一个或多个预估注视点来求出用户的注视轨迹并加以存储。
步骤910：判断用户的注视轨迹是否符合至少一预设轨迹图案；若是，执行步骤920；若否，执行步骤830。
步骤920：判断相关目标用户界面对象的动作是否符合相关至少一预设轨迹图案的特定运作链接；若是，执行步骤930；若否，执行步骤940。
步骤930：执行相关目标用户界面对象的动作。
步骤940：对眼动追踪仪20执行一自动更正程序；执行步骤830。
在图9所示的实施例中，图3所示的基于注视轨迹的人机互动和图6所示的基于注视分数的人机互动皆被采用以在交互式虚拟环境中提供准确眼动追踪。在步骤850-890中，本发明会先决定最有可能相关于一预估用户注视点的目标用户界面对象，如图7所示。接着在步骤900-910中，本发明会求出用户的注视轨迹，并和一组预设轨迹图案加以比对。当判定用户的注视轨迹符合至少一预设轨迹图案时，接着会在步骤920中确认相关目标用户界面对象的动作和相关至少一预设轨迹图案的特定运作链接之间的关联性。当判定相关目标用户界面对象的动作符合相关至少一预设轨迹图案的特定运作链接时，本发明会在步骤930中执行相关目标用户界面对象的动作。
当判定相关目标用户界面对象的动作不符合相关至少一预设轨迹图案的特定运作链接时，本发明在步骤940中会对眼动追踪仪20执行一自动更正程序。更详细地说，相关目标用户界面对象的动作和相关至少一预设轨迹图案的特定运作链接之间的差异可能代表眼动追踪仪20的运作有严重误差。在这种情况下，依据眼动追踪仪20的量测数据求出的预估注视点可能会大大偏移用户的实际注视点，但相邻注视点之间的移动关系依旧正确。因此，用户打算互动的实际用户界面对象可视为一特定用户界面对象，其相关动作对应至至少一预设轨迹图案。在步骤940中，本发明可依据特定用户界面对象和一个或多个预估注视点之间的几何关系，来会对眼动追踪仪20执行自动更正程序。
在本发明中，光学系统可采用基于注视轨迹的人机互动和基于注视分数的人机互动来降低对眼动追踪运作的精准度要求。因此，本发明可在交互式虚拟环境中提供准确眼动追踪。
以上所述仅为本发明的较佳实施例，凡依本发明权利要求范围所做的均等变化与修饰，皆应属本发明的涵盖范围。
【符号说明】
10： 头戴式显示器
12、22： 处理器
14： 显示屏幕
15： 内存
16、26： 传感器模块
18： 输入/输出装置
19： 用户界面
20： 眼动追踪仪
24： 照明模块
30： 用户
100、200： 光学系统
151： 第一缓冲器
152： 第二缓冲器
155： 数据库
310-370、610-700、810-940： 步骤
UIE1-UIEN： 用户界面对象
GZ、GZ1、GZ2、GZ1’、GZ2’： 预估注视点
SG1、SG2、SG1’、SG2’： 区段
d1-d4： 距离

Claims (24)

1.一种在交互式虚拟环境中提供准确眼动追踪的光学系统，其包含：
一眼动追踪仪，其包含：
一传感器模块，用来捕捉一用户的一个或多个眼睛影像；以及
一头戴式显示器，其包含：
一处理器，用来：
依据该用户的一个或多个预估注视点来提供一用户界面，其中该用户界面包含一个或多个用户界面对象(UIelement)，且该用户的该一个或多个预估注视点依据该用户的该一个或多个眼睛影像来计算出；
求出该用户的至少一预估注视点和每一用户界面对象之间的距离；
依据该用户的该至少一预估注视点和每一用户界面对象之间的距离来求出每一用户界面对象的分数；
将该一个或多个用户界面对象中分数最高的一第一用户界面对象设为相关该用户的该至少一预估注视点的一目标用户界面对象；以及
一显示屏幕，用来呈现该用户界面。
2.如权利要求1所述的光学系统，其中每一用户界面对象的分数和该用户的该至少一预估注视点和每一用户界面对象之间的距离成反比。
3.如权利要求1所述的光学系统，其中该处理器还用来：
依据该用户的该一个或多个眼睛影像来求出该眼动追踪仪的一表现图；以及
依据该眼动追踪仪的该表现图来求出该眼动追踪仪在每一用户界面对象所在位置的一表现水平；以及
依据该眼动追踪仪在每一用户界面对象所在位置的该表现水平和该用户的该至少一预估注视点和每一用户界面对象之间的距离来求出每一用户界面对象的分数。
4.如权利要求3所述的光学系统，其中每一用户界面对象的分数和该眼动追踪仪在每一用户界面对象所在位置的一错误率成正比。
5.如权利要求1所述的光学系统，其另包含一数据库，用来存储一组预设轨迹图案，该组预设轨迹图案中每一预设轨迹图案对应于相关该一个或多个用户界面对象的一特定运作连结，其中该处理器还用来：
依据该用户的该一个或多个注视点来求出该用户的一注视轨迹；
当该用户的该注视轨迹符合至少一预设轨迹图案时，判断相关该目标用户界面对象的一动作和相关该至少一预设轨迹图案的该特定运作连结之间的一关联性；以及
当相关该目标用户界面对象的该动作符合相关该至少一预设轨迹图案的该特定运作连结时，执行相关该目标用户界面对象的该动作。
6.如权利要求5所述的光学系统，其中该处理器还用来：
当相关该目标用户界面对象的该动作不符合相关该至少一预设轨迹图案的该特定运作连结时，取得该一个或多个用户界面对象中一第二用户界面对象和该一个或多个注视点之间的一几何关系，其中相关该第二用户界面对象的一动作对应于相关该至少一预设轨迹图案的该特定运作连结；以及
依据该几何关系来校正该眼动追踪仪。
7.如权利要求5所述的光学系统，其中该处理器还用来：
辨识相关该用户的该一个或多个预估注视点的一个或多个区段，其中每一区段位于该用户的该一个或多个预估注视点中两相邻预估注视点之间；以及
通过连接该一个或多个区段中M个连续区段来提供该用户的该注视轨迹，其中M为正整数。
8.如权利要求7所述的光学系统，其另包含：
一第一缓冲器，用来存储该用户的该一个或多个预估注视点；以及
一第二缓冲器，用来存储辨识出的该一个或多个区段。
9.如权利要求7所述的光学系统，其中该特定运作连结包含一个或多个预设动作。
10.一种在交互式虚拟环境中提供准确眼动追踪运作的方法，其包含：
提供包含一个或多个用户界面对象的一用户界面；
在执行一眼动追踪运作的期间捕捉一用户的一个或多个眼睛影像；
依据该用户的该一个或多个眼睛影像来计算出该用户的一个或多个预估注视点；
求出该用户的至少一预估注视点和每一用户界面对象之间的距离；
依据该用户的该至少一预估注视点和每一用户界面对象之间的距离来求出每一用户界面对象的分数；以及
将该一个或多个用户界面对象中分数最高的一第一用户界面对象设为相关该用户的该至少一预估注视点的一目标用户界面对象。
11.如权利要求10所述的方法，其中每一用户界面对象的分数和该用户的该至少一预估注视点和每一用户界面对象之间的距离成反比。
12.如权利要求10所述的方法，其另包含：
依据该用户的该一个或多个眼睛影像来求出该眼动追踪运作的一表现图；
依据该眼动追踪运作的该表现图来求出该眼动追踪运作在每一用户界面对象所在位置的一表现水平；以及
依据该眼动追踪运作在每一用户界面对象所在位置的该表现水平和该用户的该至少一预估注视点和每一用户界面对象之间的距离来求出每一用户界面对象的分数。
13.如权利要求12所述的方法，其中每一用户界面对象的分数和该眼动追踪运作在每一用户界面对象所在位置的一错误率成正比。
14.如权利要求10所述的方法，其另包含：
存储一组预设轨迹图案，该组预设轨迹图案中每一预设轨迹图案对应于相关该一个或多个用户界面对象的一特定运作连结；
依据该用户的该一个或多个预估注视点来求出该用户的一注视轨迹并存储该用户的该注视轨迹；
当该用户的该注视轨迹符合至少一预设轨迹图案时，判断相关该目标用户界面对象的一动作和相关该至少一预设轨迹图案的该特定运作连结之间的一关联性；以及
当相关该目标用户界面对象的该动作符合相关该至少一预设轨迹图案的该特定运作连结时，执行相关该目标用户界面对象的该动作。
15.如权利要求14所述的方法，其另包含：
当相关该目标用户界面对象的该动作不符合相关该至少一预设轨迹图案的该特定运作连结时，取得该一个或多个用户界面对象中一第二用户界面对象和该一个或多个用户注视点之间的一几何关系，其中相关该第二用户界面对象的一动作对应于相关该至少一预设轨迹图案的该特定运作连结；以及
依据该几何关系来校正该眼动追踪运作。
16.如权利要求14所述的方法，其另包含：
辨识相关该用户的该一个或多个注视点的一个或多个区段，其中每一区段位于该用户的一个或多个预估注视点中两相邻预估注视点之间；以及
通过连接该一个或多个区段中M个连续区段来提供该用户的该注视轨迹，其中M为正整数。
17.如权利要求16所述的方法，其中该特定运作连结包含一个或多个预设动作。
18.一种在交互式虚拟环境中提供准确眼动追踪的光学系统，其包含：
一眼动追踪仪，其包含：
一传感器模块，用来捕捉一用户的一个或多个眼睛影像；以及
一数据库，用来存储一组预设轨迹图案，该组预设轨迹图案中每一预设轨迹图案对应于相关一个或多个用户界面对象的一特定运作连结；以及
一头戴式显示器，其包含：
一处理器，用来：
依据该用户的一个或多个预估注视点来提供一用户界面，其中该用户界面包含该一个或多个用户界面对象，且该用户的该一个或多个预估注视点依据该用户的该一个或多个眼睛影像来计算出；
依据该用户的该一个或多个预估注视点来求出该用户的一注视轨迹；以及
当该用户的该注视轨迹符合至少一预设轨迹图案时，执行相关该至少一预设轨迹图案的该特定运作连结；以及
一显示屏幕，用来呈现该用户界面。
19.如权利要求18所述的光学系统，其中该处理器还用来：
辨识相关该用户的该一个或多个预估注视点的一个或多个区段，其中每一区段位于该用户的该一个或多个预估注视点中两相邻预估注视点之间；以及
通过连接该一个或多个区段中M个连续区段来提供该用户的该注视轨迹，其中M为正整数。
20.如权利要求19所述的光学系统，其中该特定运作连结包含一个或多个预设动作。
21.如权利要求19所述的光学系统，其另包含：
一第一缓冲器，用来存储该用户的该一个或多个预估注视点；以及
一第二缓冲器，用来存储辨识出的该一个或多个区段。
22.一种在交互式虚拟环境中提供准确眼动追踪的方法，其包含：提供包含一个或多个用户界面对象的一用户界面；
存储一组预设轨迹图案，该组预设轨迹图案中每一预设轨迹图案对应于相关该一个或多个用户界面对象的一特定运作连结；
在一眼动追踪运作的期间捕捉一用户的一个或多个眼睛影像；
依据该用户的该一个或多个眼睛影像来计算出该用户的一个或多个预估注视点；
依据该用户的该一个或多个预估注视点来求出该用户的一注视轨迹；以及
当该用户的该注视轨迹符合至少一预设轨迹图案时执行相关该至少一预设轨迹图案的该特定运作连结。
23.如权利要求22所述的方法，其另包含：
辨识相关该用户的该一个或多个预估注视点的一个或多个区段，其中每一区段位于该用户的一个或多个预估注视点中两相邻预估注视点之间；以及
通过连接该一个或多个区段中M个连续区段来提供该用户的该注视轨迹，其中M为正整数。
24.如权利要求23所述的方法，其中该特定运作连结包含一个或多个预设动作。
CN202210744988.7A 2021-06-28 2022-06-28 提升用户体验和注视互动准确度的光学系统和相关方法 Pending CN115598832A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US202163215984P 2021-06-28 2021-06-28
US63/215,984 2021-06-28

Publications (1)

Publication Number Publication Date
CN115598832A true CN115598832A (zh) 2023-01-13

Family

ID=84540961

Family Applications (3)

Application Number Title Priority Date Filing Date
CN202210745087.XA Pending CN115598842A (zh) 2021-06-28 2022-06-28 提升用户体验和注视互动准确度的光学系统和相关方法
CN202210744988.7A Pending CN115598832A (zh) 2021-06-28 2022-06-28 提升用户体验和注视互动准确度的光学系统和相关方法
CN202210739311.4A Pending CN115598831A (zh) 2021-06-28 2022-06-28 提供精准眼动追踪的光学系统和相关方法

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN202210745087.XA Pending CN115598842A (zh) 2021-06-28 2022-06-28 提升用户体验和注视互动准确度的光学系统和相关方法

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN202210739311.4A Pending CN115598831A (zh) 2021-06-28 2022-06-28 提供精准眼动追踪的光学系统和相关方法

Country Status (3)

Country Link
US (3) US20220413606A1 (zh)
CN (3) CN115598842A (zh)
TW (3) TW202301083A (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11720380B1 (en) * 2022-05-18 2023-08-08 Bank Of America Corporation System and method for updating augmented reality navigation instructions based on a detected error
US12061776B2 (en) * 2022-06-24 2024-08-13 Google Llc List navigation with eye tracking
US20240221038A1 (en) * 2023-01-04 2024-07-04 Microsoft Technology Licensing, Llc Mechanisms for measuring and minimizing the impact of software experiences on human context-switching
TWI846403B (zh) * 2023-03-25 2024-06-21 張朝凱 瞳孔大小之量測系統及其量測方法
CN117632330B (zh) * 2023-10-12 2024-07-16 浙江大学 一种虚拟环境下眼控界面的交互目标布局方法和系统
CN117755076B (zh) * 2023-12-26 2024-05-31 广州车全影电子科技有限公司 汽车仪表盘控制方法、装置、存储介质及电子设备

Family Cites Families (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20080106218A (ko) * 2006-02-01 2008-12-04 토비 테크놀로지 에이비 컴퓨터 시스템에서 그래픽 피드백의 생성
CN101943982B (zh) * 2009-07-10 2012-12-12 北京大学 基于被跟踪的眼睛运动的图像操作
TWI419077B (zh) 2010-09-10 2013-12-11 Oriental Inst Technology 立體視覺資訊補償系統及方法
US20120327116A1 (en) 2011-06-23 2012-12-27 Microsoft Corporation Total field of view classification for head-mounted display
KR101919009B1 (ko) 2012-03-06 2018-11-16 삼성전자주식회사 안구 동작에 의한 제어 방법 및 이를 위한 디바이스
KR101919010B1 (ko) * 2012-03-08 2018-11-16 삼성전자주식회사 안구 동작에 기초한 디바이스의 제어 방법 및 이를 위한 디바이스
US11714487B2 (en) * 2013-03-04 2023-08-01 Tobii Ab Gaze and smooth pursuit based continuous foveal adjustment
US10895909B2 (en) 2013-03-04 2021-01-19 Tobii Ab Gaze and saccade based graphical manipulation
US10025378B2 (en) 2013-06-25 2018-07-17 Microsoft Technology Licensing, Llc Selecting user interface elements via position signal
US10089786B2 (en) * 2013-08-19 2018-10-02 Qualcomm Incorporated Automatic customization of graphical user interface for optical see-through head mounted display with user interaction tracking
GB201322873D0 (en) * 2013-12-23 2014-02-12 Tobii Technology Ab Eye gaze determination
JP2015153195A (ja) * 2014-02-14 2015-08-24 オムロン株式会社 ジェスチャ認識装置およびジェスチャ認識装置の制御方法
US10607401B2 (en) * 2015-06-03 2020-03-31 Tobii Ab Multi line trace gaze to object mapping for determining gaze focus targets
KR101904889B1 (ko) 2016-04-21 2018-10-05 주식회사 비주얼캠프 표시 장치와 이를 이용한 입력 처리 방법 및 시스템
TW201738791A (zh) 2016-04-28 2017-11-01 jian-qiang Fang 一種資訊處理系統及方法
JP6604271B2 (ja) * 2016-06-06 2019-11-13 富士通株式会社 注視位置検出装置、注視位置検出方法及び注視位置検出用コンピュータプログラム
US10245507B2 (en) 2016-06-13 2019-04-02 Sony Interactive Entertainment Inc. Spectator management at view locations in virtual reality environments
US10981061B2 (en) * 2016-06-13 2021-04-20 Sony Interactive Entertainment LLC Method and system for directing user attention to a location based game play companion application
CN105979224A (zh) 2016-06-23 2016-09-28 青岛歌尔声学科技有限公司 一种头戴显示器、视频输出设备和视频处理方法、系统
US10845595B1 (en) 2017-12-28 2020-11-24 Facebook Technologies, Llc Display and manipulation of content items in head-mounted display
WO2019202355A1 (en) 2018-04-18 2019-10-24 Flex Ltd. System and method for using gaze control to control electronic switches and machinery
CN111221410B (zh) 2018-11-25 2023-03-31 宏达国际电子股份有限公司 传输眼球追踪信息的方法、头戴式显示器及计算机装置
US11144052B2 (en) 2018-12-07 2021-10-12 Toyota Research Institute, Inc. Readiness and identification by gaze and/or gesture pattern detection
US11042259B2 (en) * 2019-08-18 2021-06-22 International Business Machines Corporation Visual hierarchy design governed user interface modification via augmented reality
US11922581B2 (en) 2020-05-08 2024-03-05 Coviden Lp Systems and methods of controlling an operating room display using an augmented reality headset
US11606529B2 (en) 2020-10-16 2023-03-14 Google Llc Channel layering of video content for augmented reality (AR) or control-based separation
US11423569B1 (en) 2021-04-09 2022-08-23 Varjo Technologies Oy Gaze-tracking system and method employing selective glints

Also Published As

Publication number Publication date
US20220413605A1 (en) 2022-12-29
TW202301083A (zh) 2023-01-01
US11726564B2 (en) 2023-08-15
TWI802456B (zh) 2023-05-11
CN115598842A (zh) 2023-01-13
TWI801276B (zh) 2023-05-01
TW202301871A (zh) 2023-01-01
US12118139B2 (en) 2024-10-15
US20220413606A1 (en) 2022-12-29
CN115598831A (zh) 2023-01-13
US20220413607A1 (en) 2022-12-29
TW202301872A (zh) 2023-01-01

Similar Documents

Publication Publication Date Title
CN115598832A (zh) 提升用户体验和注视互动准确度的光学系统和相关方法
US20210406529A1 (en) Gesture-based casting and manipulation of virtual content in artificial-reality environments
JP7543466B2 (ja) 眼追跡較正技術
JP7526226B2 (ja) 複合現実ディスプレイにおける仮想コンテンツのための掩蔽カーソル
US10712901B2 (en) Gesture-based content sharing in artificial reality environments
US11625103B2 (en) Integration of artificial reality interaction modes
US11294475B1 (en) Artificial reality multi-modal input switching model
CN110832441A (zh) 用于虚拟、增强和混合现实显示系统的键盘
JP4982279B2 (ja) 学習支援装置および学習支援方法
US20240103712A1 (en) Devices, Methods, and Graphical User Interfaces For Interacting with Three-Dimensional Environments
US20240103629A1 (en) Control device and control method
CN117369649B (zh) 基于本体感觉的虚拟现实交互系统及方法
Nagy et al. Evaluation of AI-Supported Input Methods in Augmented Reality Environment
US20240338086A1 (en) Virtual Selections Using Multiple Input Modalities
WO2023196670A1 (en) Artificial reality input using multiple modalities
WO2024085997A1 (en) Triggering actions based on detected motions on an artificial reality device
CN116166161A (zh) 基于多层级菜单的交互方法及相关设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination