CN115598842A - 提升用户体验和注视互动准确度的光学系统和相关方法 - Google Patents

提升用户体验和注视互动准确度的光学系统和相关方法 Download PDF

Info

Publication number
CN115598842A
CN115598842A CN202210745087.XA CN202210745087A CN115598842A CN 115598842 A CN115598842 A CN 115598842A CN 202210745087 A CN202210745087 A CN 202210745087A CN 115598842 A CN115598842 A CN 115598842A
Authority
CN
China
Prior art keywords
user interface
user
interface element
eye
eye tracker
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210745087.XA
Other languages
English (en)
Inventor
刘冠麟
邱柏榕
吴奕亨
李魁安
简韶逸
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jianzhen Technology Co ltd
Original Assignee
Jianzhen Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jianzhen Technology Co ltd filed Critical Jianzhen Technology Co ltd
Publication of CN115598842A publication Critical patent/CN115598842A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0025—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 for optical correction, e.g. distorsion, aberration
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Human Computer Interaction (AREA)
  • User Interface Of Digital Computer (AREA)
  • Eye Examination Apparatus (AREA)
  • Position Input By Displaying (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种提升用户体验和注视互动准确度的光学系统和相关方法，其中在眼动追踪运作中，首先捕捉用户的一个或多个眼睛影像，再依据用户的一个或多个眼睛影像来计算用户的一个或多个注视点。接着，依据用户的一个或多个注视点来提供包含一个或多个用户界面元素的一用户界面，依据用户的一个或多个眼睛影像来求出眼动追踪运作的一表现图，并依据眼动追踪仪的表现图来调整一个或多个用户界面元素中至少一用户界面元素。

Description

提升用户体验和注视互动准确度的光学系统和相关方法
技术领域
本发明涉及一种提升用户体验和注视互动准确度的光学系统和相关方法，尤其涉及一种能在交互式虚拟环境中提升用户体验和注视互动准确度的光学系统和相关方法。
背景技术
虚拟现实(virtual reality,VR)是利用计算机技术模拟出一个立体且高拟真的三维空间，当用户穿戴特殊显示装置执行VR应用时会产生好像处在现实中的错觉。扩增现实(augmented reality,AR)是一种将虚拟信息扩增到现实空间中的技术，相较于取代现实空间的VR，AR是在现实空间中添加虚拟元素。混合现实(mixed reality,MR)则是把现实世界与虚拟世界合并在一起，从而建立出一个新的环境以及符合一般视觉上所认知的虚拟影像，其中现实世界中的元素能够与数位世界中的元素共同存在并且实时的产生互动。现有VR/AR/MR的应用多半是通过双手控制摇杆或是触控面板来操作，但在不同场所需要随时携带这些控制装置，在使用上并不便利。若是将眼动追踪(eye-tracking)的技术应用在VR/AR/MR领域，用户可轻易地将眼睛变成操作界面，通过眼睛注视点、聚焦点和特定细微动作即可完成选取或点击元素的动作。
眼动追踪是一种能通过测量眼睛的注视位置或眼球相对头部的运动，来追踪用户眼球运动的技术。现有计算机会在显示屏幕上呈现一用户界面(user interface)，以提供用户各种视觉资料。用户界面一般包含复数个用户界面元素(UI element)，每一用户界面元素包含一图像元素(graphic element)和一命中框(hit box)。图像元素可决定相对应用户界面元素的外观，而命中框为用户看不见的虚拟元素，其连结至相对应事件处理器。当用户的注视指令触发时一用户界面元素的命中框时，会执行对应被触发用户界面元素的一预定动作。
在用户和光学系统之间基于眼动凝视技术的交互式虚拟环境中，眼动追踪的表现和呈现用户界面方式非常重要。因此，需要一种能提升用户体验和注视互动准确度的光学系统和方法。
发明内容
本发明提供一种提升用户体验和注视互动准确度的光学系统，其包含一眼动追踪仪和一头戴式显示器。该眼动追踪仪包含一传感器模块，用来捕捉一用户的一个或多个眼睛影像。该头戴式显示器包含一处理器和一显示屏幕。该处理器用来依据该用户的一个或多个注视点来提供一用户界面，其中该用户界面包含一个或多个用户界面元素，且该用户的该一个或多个注视点依据该用户的该一个或多个眼睛影像来计算出；依据该用户的该一个或多个眼睛影像来求出该眼动追踪仪的一表现图；以及依据该眼动追踪仪的该表现图来调整该一个或多个用户界面元素中至少一用户界面元素。该显示屏幕用来呈现该用户界面。
本发明还提供一种提升用户体验和注视互动准确度的方法，其包含在一眼动追踪运作中捕捉一用户的一个或多个眼睛影像；依据该用户的该一个或多个眼睛影像来计算出该用户的一个或多个注视点；依据该用户的该一个或多个注视点来提供一用户界面，其中该用户界面包含一个或多个用户界面元素；依据该用户的该一个或多个眼睛影像来求出该眼动追踪运作的一表现图；以及依据该眼动追踪仪的该表现图来调整该一个或多个用户界面元素中至少一用户界面元素。
附图说明
图1为本发明实施例中一种可提升用户体验和注视互动准确度的光学系统的功能方块图。
图2为本发明另一实施例中一种可提升用户体验和注视互动准确度的光学系统的功能方块图。
图3为本发明实施例中可提升用户体验和注视互动准确度的光学系统运作时的方法流程图。
图4为本发明实施例中在光学系统运作时所呈现的用户界面的示意图。
图5为本发明实施例所求出眼动追踪仪的表现图的示意图。
图6A和6B为本发明实施例中评估眼动追踪仪的表现图的信心值时的示意图。
图7A-7B、8A-8B和9A-9B为本发明实施例中调整用户界面元素设定时的示意图。
图10A-10B和11A-11B为本发明实施例中调整用户界面元素设定时的示意图。
图12A-12B和13A-13B为本发明实施例中调整用户界面元素布局时的示意图。
图14A-14D为本发明实施例中将眼动追踪仪的低表现告知用户的方式的示意图。
附图标号说明：
10： 头戴式显示器
12、22： 处理器
14： 显示屏幕
16、26： 传感器模块
18： 输入/输出装置
19： 用户界面
20： 眼动追踪仪
24： 照明模块
30： 用户
100、200： 光学系统
310-420： 步骤
UIE1-UIEN： 用户界面元素
GZ1、GZ2： 注视点
d1、d2： 距离
具体实施方式
图1为本发明实施例中一种可提升用户体验和注视互动准确度的光学系统100的功能方块图。图2为本发明另一实施例中一种可提升用户体验和注视互动准确度的光学系统200的功能方块图。
在图1所示的实施例中，光学系统100包含一头戴式显示器(head-mounteddisplay,HMD)10和一眼动追踪仪20。头戴式显示器10包含一处理器12、一显示屏幕14、一传感器模块16、一输入/输出装置18，以及一用户界面19。眼动追踪仪20包含一处理器22、一照明模块24，以及一传感器模块26。处理器12可控制头戴式显示器10的运作，而处理器22可控制眼动追踪仪20的运作。
在图2所示的实施例中，光学系统200为一头戴式显示器10，其包含一处理器12、一显示屏幕14、一传感器模块16、一输入/输出装置18、一用户界面19，以及一眼动追踪仪20。眼动追踪仪20包含一处理器22、一照明模块24，以及一传感器模块26。处理器12可控制头戴式显示器10的运作，而处理器22可控制眼动追踪仪20的运作。
在本发明其它实施例中，光学系统100和200可省略处理器22。更详细地说，头戴式显示器10和眼动追踪仪20可共享同一处理器12，并由处理器12来控制头戴式显示器10和眼动追踪仪20的运作。
图3为本发明实施例中可提升用户体验和注视互动准确度的光学系统100和200运作时的方法流程图。图3所示的方法流程图包含下列步骤：
步骤310：捕捉用户的一个或多个眼睛影像；执行步骤320。
步骤320：依据用户的一个或多个眼睛影像来计算出用户的一个或多个注视点；执行步骤330。
步骤330：依据用户的一个或多个注视点来提供包含一个或多个用户界面元素的用户界面19；执行步骤340和370。
步骤340：依据用户界面19的信息和用户的一个或多个注视点来从一个或多个用户界面元素中辨识出和用户进行互动的一特定用户界面元素；执行步骤350。
步骤350：依据用户的一个或多个注视点来判断特定用户界面元素是否被触发；若是；执行步骤360；若否；执行步骤310。
步骤360：执行对应特定用户界面元素的一预定动作；执行步骤310。
步骤370：依据用户的一个或多个眼睛影像来求出眼动追踪仪20的表现图(performance map)；执行步骤380。
步骤380：判断眼动追踪仪20的表现图的信心值是否高于一第一临界值；若是；执行步骤400；若否；执行步骤390。
步骤390：判断眼动追踪仪20的表现图的信心值是否高于一第二临界值；若是；执行步骤410；若否；执行步骤420。
步骤400：保留现有的用户界面元素；执行步骤310。
步骤410：依据眼动追踪仪20的表现图来调整一个或多个用户界面元素中至少一用户界面元素；执行步骤310。
步骤420：将眼动追踪仪20的低表现告知用户，并通知用户去进行其它动作。
在光学系统100中，眼动追踪仪20中的传感器模块26包含至少一个影像传感器(眼睛传感器)，用来在步骤310中捕捉用户的一个或多个眼睛影像。眼动追踪仪20中的处理器22可接收传感器模块26所捕捉的一个或多个眼睛影像，并在步骤320中依据一个或多个眼睛影像来计算出用户的一个或多个注视点。此外，眼动追踪仪20中的处理器22还可依据一个或多个眼睛影像来计算出其它眼动追踪相关数据，例如预估注视点的信心度和准确度、在三维空间内的眼球位置和瞳孔相关信息(例如瞳孔大小)。眼动追踪运作的算法可制作成能被眼动追踪仪20中的处理器22执行的程序/软件/固件，但不限定本发明的范畴。
在光学系统200中，眼动追踪仪20中的传感器模块26包含至少一个影像传感器(眼睛传感器)，用来在步骤310中捕捉用户的一个或多个眼睛影像。处理器12可接收传感器模块26所捕捉的一个或多个眼睛影像，并在步骤320中依据一个或多个眼睛影像来计算出用户的一个或多个注视点。此外，处理器12还可依据一个或多个眼睛影像来计算出其它眼动追踪相关数据，例如预估注视点的信心度和准确度、在三维空间内的眼球位置和瞳孔相关信息(例如瞳孔大小)。眼动追踪运作的算法可制作成能被处理器12执行的程序/软件/固件，但不限定本发明的范畴。
在光学系统100和200中，传感器模块16包含至少一场景传感器、至少一声音传感器(例如麦克风)，及/或至少一动作传感器(例如陀螺仪或加速度计)。场景传感器可捕捉与用户相关的目前可视范围(field of view)的一个或多个场景影像，声音传感器可接收用户下达的语音指令，而动作传感器可侦测用户的动作(通常是头部动作)。
在光学系统100和200中，照明模块24可包含一个或多个红外光发光二极管(light-emitting diode,LED)，用来照亮用户双眼，以确保不同眼色的用户在虹膜和瞳孔之间能有足够对比，尤其是在非常亮或非常暗的背景下，进而提升眼动追踪仪20捕捉用户双眼反射光线时的准确度。然而，照明模块24的实施方式并不限定本发明的范畴。
在光学系统100或200中，包含一虚拟可视范围(virtual field of view)和一个或多个用户界面元素UIE1-UIEN的用户界面19可呈现在显示屏幕14上，其中N为正整数。在一实施例中，用户界面元素UIE1-UIEN可为用户看不见的抽象元素。如果用户界面元素UIE1-UIEN为互动元素，每一用户界面元素会连结至一事件处理器，其中每一事件处理器相关于光学系统100或200的一特定运作，且由处理器12来掌控。在本发明中，用户界面元素UIE1-UIEN的外观和功能可依据眼动追踪仪20的运作状态来动态地加以调整，进而提供最佳化用户体验。
用户界面元素UIE1-UIEN可增加用户界面19的互动性，并提供用户下达眼动指令的接触点。每一用户界面元素的功能可相关于输入控制、浏览控制和讯息显示，但不限定本发明的范畴。每一用户界面元素包含一图像元素和一命中框。图像元素可决定相对应用户界面元素的外观，且可相关于相对应用户界面元素的功能。在一实施例中，用户界面元素的图像元素可为与输入控制相关的核取方块(checkbox)、单选按钮(radio button)、下拉式选单(dropdown list)、列表盒(list box)、开关按钮(toggle button)或日期/时间选项。在另一实施例中，用户界面元素的图像元素可为与浏览控制相关的页面路径(breadcrumb)、滑动选单(slider)、分页选单(pagination)、图标(icon)或图像轮播(image carousel)。在另一实施例中，用户界面元素的图像元素可为与讯息显示相关的工具提示框(tooltip)、进度列(progress bar)、提示通知(notification)、对话框(message box)或互动视窗(modalwindow)。然而，用户界面元素的图像元素的外观并不限定本发明的范畴。
用户界面元素的命中框为用户看不见的虚拟元素，其连结至相对应事件处理器。当与用户相关的一个或多个注视点的一注视指令触发一用户界面元素的命中框时，处理器12会执行对应被触发用户界面元素的动作。在满足一个或多个触发条件时，本发明会判定用户界面元素被注视指令触发。上述触发条件包含下列至少一条件：在用户的一个或多个注视点位于一用户界面元素的命中框内后，用户立即或在一预定时间间隔内通过输入/输出装置18或传感器模块16(例如麦克风)加以确认；当用户的一个或多个注视点位于一用户界面元素的命中框内超过一预定凝视时段时；在用户的一个或多个注视点位于一用户界面元素的命中框后，用户立即或在一预定时间间隔内通过自主性眼动(例如眼球扫视或眨眼)加以确认；以及当包含用户的一个或多个注视点的一注视轨迹通过一用户界面元素的命中框的反应边界时。然而，与每一用户界面元素相关的触发条件类型并不限定本发明的范畴。
在光学系统100或200中，输入/输出装置18可接收用户下达的指令。在一实施例中，输入/输出装置18可包含任何种类的手持式控制器(例如游戏手柄或游戏机)及/或任何形式的触觉反馈装置(例如体感套装或体感手套)。输入/输出装置18可侦测用户的动作讯号，并将用户的动作讯号传送至光学系统100或200的处理器12。在一实施例中，处理器12可依据输入/输出装置18接收到的用户指令来控制光学系统100或200的运作。在另一实施例中，处理器12可同时依据输入/输出装置18接收到的用户指令和用户界面19的用户界面元素UIE1-UIEN接收到的注视指令来控制光学系统100或200的运作。
在步骤330中，处理器12可依据用户的一个或多个注视点来提供用户界面19，其中用户界面19包含一个或多个用户界面元素。在另一实施例中，处理器12还可依据与用户可视范围相关的一个或多个影像和用户的动作来提供用户界面19。图4为本发明实施例中在光学系统100和200运作时所呈现的用户界面19的示意图。用户界面19的现有信息包含用户界面元素UIE1-UIEN的布局。为了说明目的，图4显示了N＝9的实施例，其中用户界面元素UIE1-UIE9的设置成一阵列。然而，用户界面元素UIE1-UIEN的数量和位置并不限定本发明的范畴。
在步骤340中，处理器12会依据用户界面19的信息和用户的一个或多个注视点来从一个或多个用户界面元素中辨识出和用户进行互动的一特定用户界面元素。用户界面19的信息包含用户界面元素UIE1-UIEN的目前布局，例如图4所示的用户界面元素UIE1-UIE9。假设步骤320中计算出的一个或多个注视点位于用户界面元素UIE6上，处理器12会判定用户是通过注视指令和用户界面元素UIE6进行互动。
在步骤350，处理器12会依据用户的一个或多个注视点来判断特定用户界面元素是否被触发。当与用户相关的一个或多个注视点的一注视指令满足一个或多个触发条件时，本发明会判定特定用户界面元素被注视指令触发。上述触发条件包含用户的注视点位于特定用户界面元素的命中框内超过与特定用户界面元素相关的凝视时段、用户按下另一按键、用户下达一语音指令、用户自主性地眨眼，或侦测到特定注视点轨迹/模式，但不限定本发明的范畴。
在依据用户的一个或多个注视点判定特定用户界面元素已被触发后，处理器12会在步骤360中执行对应特定用户界面元素的预定动作。上述预定动作包含内容选择、往前一页、往后一页、设定、关闭页面、返回、回主页、显示通知讯息或屏幕锁定，但不限定本发明的范畴。
在步骤370中，处理器12会依据用户的一个或多个眼睛影像和用户的初始可视范围来求出眼动追踪仪20的表现图。用户的初始可视范围指当用户正视前方时的可视范围，可依据光学系统100或200的物理规格和用户的标准人体测量数据来计算出。眼动追踪仪20的表现图代表与眼动追踪仪20相关的用户的初始可视范围的运作表现。由于传感器模块26在眼动追踪仪20内的设置位置为固定，当用户穿戴眼动追踪仪20后，传感器模块26的位置仅会随着用户的头部运动而改变，但不会被用户的眼球运动所影响。因此，眼动追踪仪20的表现图会随着用户的头部运动而变化，但不相关于用户的眼球运动。
图5为本发明实施例在步骤370中所求出眼动追踪仪20的表现图的示意图。纵轴代表用户的垂直可视范围(单位为度)，横轴代表用户的水平可视范围(单位为度)，而数字为眼动追踪仪20在用户的可视范围内不同位置的错误率。在一般情况下，眼动追踪仪20的准确率会随着偏心率(eccentricity)增加而降低。如图5所示，在用户可视范围的中心区域内眼动追踪仪20的平均错误率约为1.88°，在用户可视范围±10°视角内眼动追踪仪20的平均错误率约为1.96°，而在用户可视范围±20°视角内眼动追踪仪20的平均错误率约为2°。
针对在步骤370中所求出眼动追踪仪20的表现图，其初次使用时眼动追踪仪20的错误率可为图5中所示的初始值，接着会在光学系统100和200的运作期间动态地被更新。在一实施例中，眼动追踪仪20的表现图的初始值可由用户依据自身参数加以调整，例如依据用户的视力(visual acuity)和自身偏好加以调整。举例来说，假设用户因右眼视力较差而使得凝视右方元素较为困难，可手动调高在用户右方可视范围内眼动追踪仪20的平均错误率。
在另一实施例中，眼动追踪仪20的表现图的初始值可依据用户和光学系统100/200结构之间的关系来自动调整。举例来说，眼动追踪仪20的准确率可相关于用户双眼和眼动追踪仪20中传感器模块26之间的距离。为了说明目的，假设眼动追踪仪20中传感器模块26设置在用户可视范围的中心区域下方。在垂直方向相同程度的头动/眼动运动下，用户往下方注视时眼动追踪仪20的准确率会高于用户往上方注视时眼动追踪仪20的准确率。如图5所示，在用户可视范围的下方区域内眼动追踪仪20的平均错误率约为1.55°，而在用户可视范围的上方区域内眼动追踪仪20的平均错误率约为2.44°。
在一实施例中，眼动追踪仪20的表现图可为依据眼动追踪仪20的单一表现参数来构建的单张图，例如依据眼动追踪运作的准确度、信心值、稳定度/精准性或取样率来构建。在另一实施例中，眼动追踪仪20的表现图可依据眼动追踪仪20的复数个表现参数来构建，例如依据眼动追踪运作的准确度、信心值、稳定度/精准性和取样率中至少两者来构建。在采用复数个表现参数的实施例中，每一表现参数还可具备自身的加权值。上述加权值可由光学系统100和200自动决定，或由用户依据自身偏好或目前应用的类型来决定。
在另一实施例中，眼动追踪仪20的表现图可包含复数张图，每一张图包含至少一张子图。每一子图可依据眼动追踪仪20的单一表现参数来构建，例如依据眼动追踪运作的准确度、信心值、稳定度/精准性或取样率来构建。
眼动追踪仪20的信心值是指预估用户注视点的信心值。眼动追踪仪20可依据用户的一个或多个眼睛影像来导出眼球中心点信息。依据用户眼球中心点的位置，可求出投射至影像平面上的可能瞳孔位置和形状，并将其限制在一个很小的参数空间。当传感器模块26所撷取的用户瞳孔影像超出参数空间时，传感器模块20可视为具有低信心值和低准确度。
图6A和6B为本发明实施例中评估眼动追踪仪20的表现图的信心值时的示意图。如图6A所示，当每一注视点GZ1的大部分范围和一用户元素重叠时，传感器模块20可视为具有高信心值和高准确度。如图6B所示，当每一注视点GZ1的大部分范围并未和一用户元素重叠时，传感器模块26可视为具有低信心值和低准确度。
在另一实施例中，眼动追踪仪20的传感器模块26可还包含至少一惯性传感器，用来侦测一滑移(slippage)，其中滑移可能会改变用户双眼和眼动追踪仪20中传感器模块26之间的关系。举例来说，当依据传感器模块26和惯性传感器的测量资料所预估的用户瞳孔位置相异于实际用户瞳孔位置时，传感器模块26可视为具有低信心值和低准确度。
在步骤380和390中，处理器12会评估眼动追踪仪20的表现图在特定用户界面元素所在位置的信心值。在眼动追踪仪20的表现图包含单张图的实施例中，上述评估可通过比较眼动追踪仪20的信心值、第一临界值和第二临界值来执行。在眼动追踪仪20的表现图包含复数张子图的实施例中，上述评估可通过比较眼动追踪仪20的信心值、复数个第一临界值和复数个第二临界值来执行，其中每一第一临界值和第二临界值相关于一相对应的子图，且依据每一张子图所导出的信心值会个别地进行评估。为了降低比较的复杂度，本发明可将以上述比较条件而得到的信心值转换成一个抽象尺度，其中抽象尺度上数值越大会对应至眼动追踪仪20的越好表现。
当在步骤380中判定眼动追踪仪20在特定用户界面元素所在位置的信心值高于第一临界值时，处理器12会执行步骤400以保留用户界面元素的现有设定。
当在步骤380和390中判定眼动追踪仪20在特定用户界面元素所在位置的信心值介于第一临界值和第二临界值之间时，处理器12会执行步骤410以依据眼动追踪仪20的表现图来调整一个或多个用户界面元素中至少一用户界面元素的设定。
在一实施例中，处理器12调整用户界面元素设定的方法包含调整至少一用户界面元素的一相对应图像元素的大小、调整至少一用户界面元素的一相对应命中框的大小，及/或调整至少一用户界面元素的相对应命中框的一凝视时段。如前所述，用户界面元素的命中框为用户看不见的虚拟元素，其连结至相对应事件处理器以等待来自用户的一特定触发事件。图像元素为相对应用户界面元素中可被用户看见的部分。当用户的注视指令停留在特定用户界面元素的命中框内超过其相对应凝视时段时，特定用户界面元素会被触发。当特定用户界面元素的位置对应至眼动追踪仪20的表现图上的低信心值区域(例如较低准确度、较低信心值或较低取样率)时，本发明可调大特定用户界面元素的命中框的范围以使用户的注视点更容易命中特定用户界面元素的命中框，可缩小特定用户界面元素的图像元素的范围以使用户的注视点更容易命中特定用户界面元素的命中框，及/或可增加特定用户界面元素的凝视时段以降低特定用户界面元素的命中框被错误判定触发的概率(尤其是当特定用户界面元素的位置对应至眼动追踪仪20的表现图上在较低取样率区域的状况下)。
图7A-7B、8A-8B和9A-9B为本发明实施例中在步骤410中调整用户界面元素设定时的示意图。为了说明目的，假设在用户30的可视范围FoV内提供三个用户界面元素UIE1-UIE3，且每一用户界面元素的位置不被用户的头部运动影响。当用户30正视时，用户界面元素UIE1和UIE3位于用户30的周边可视范围内，而用户界面元素UIE2位于用户30的中央可视范围内，如图7A所示。当用户30把视线转向右方并随之转头时，用户界面元素UIE1和UIE2位于用户30的周边可视范围内，而用户界面元素UIE3位于用户30的中央可视范围内，如图7B所示。当传感器模块16和26中的一个或多个传感器侦测到用户30的头部/眼睛运动时，本发明会依据用户30的新注视点位置来更新眼动追踪仪20的表现图，并依据用户的头部运动来更新用户30的可视范围和用户界面19之间的关系。如前所述，眼动追踪仪20在用户30的中央可视范围内(偏心率较小)的准确度会高于在用户30的周边可视范围内(偏心率较大)的准确度，因此本发明可依据用户的头部/眼睛运动来动态更新用户界面元素UIE1-UIE3。举例来说，由于眼动追踪仪20在用户30的周边可视范围内具有较低准度，位于用户30的周边可视范围内的每一用户界面元素可包含较大的命中框(由虚线矩形表示)，如图7A和7B所示。由于眼动追踪仪20在用户30的周边可视范围内具有较低准度，位于用户30的周边可视范围内的每一用户界面元素可包含较小的图像元素(由点状矩形表示)，如图8A和8B所示。当眼动追踪仪20在用户30的中央可视范围内的取样率高于在用户30的周边可视范围内的取样率时，此时位于用户30的周边可视范围内的每一用户界面元素可具备较长的凝视时段，如图9A和9B所示。
图10A-10B和11A-11B为本发明实施例中在步骤410中调整用户界面元素设定时的示意图。为了说明目的，假设在用户30的可视范围FoV内提供两个用户界面元素UIE1和UIE2。当传感器模块16和26中的一个或多个传感器侦测到用户30的头部/眼睛运动时，本发明会依据用户30的新注视点位置来更新眼动追踪仪20的表现图，并依据用户的头部运动来更新用户30的可视范围和用户界面19之间的关系。如前所述，眼动追踪仪20的准确度可为用户双眼和传感器模块26之间距离的函数。为了说明目的，假设眼动追踪仪20的传感器模块26设置在用户30的中央可视范围下方，而眼动追踪仪20的准确度和用户双眼和传感器模块26之间距离为线性相关，亦即当传感器模块26离用户双眼越远，眼动追踪仪20的准确度越低。当用户30把视线转向用户界面元素UIE1时，用户双眼和传感器模块26之间距离会变短，使得眼动追踪仪20在用户界面元素UIE1的位置具有较高准确度，此时用户界面元素UIE1可包含较小的命中框(由虚线矩形表示)，如图10A所示。当用户30把视线转向用户界面元素UIE2时，用户双眼和传感器模块26之间距离会变长，使得眼动追踪仪20在用户界面元素UIE2的位置具有较低准确度，此时用户界面元素UIE1可包含较大的命中框(由虚线矩形表示)，如图10B所示。当用户30把视线转向用户界面元素UIE1时，用户双眼和传感器模块26之间距离会变短，使得眼动追踪仪20在用户界面元素UIE1的位置具有较高准确度，此时用户界面元素UIE1可包含较大的图像元素(由点状矩形表示)，如图11A所示。当用户30把视线转向用户界面元素UIE2时，用户双眼和传感器模块26之间距离会变长，使得眼动追踪仪20在用户界面元素UIE2的位置具有较低准确度，此时用户界面元素UIE2可包含较小的图像元素(由点状矩形表示)，如图11B所示。
在图7A-10A和7B-11B所示的实施例中，当一第一用户界面元素对应至表现图上的一较低准确值且当一第二用户界面元素对应至表现图上的一较高准确值时，第一用户界面元素和第二用户界面元素之间的差异可通过仅调整第一用户界面元素、仅调整第二用户界面元素，或同时调整第一用户界面元素和第二用户界面元素来达成。
在调整用户界面元素的设定后，本发明亦可相对应地调整用户界面元素的布局，以避免用户界面元素互相重叠。图12A-12B和13A-13B为本发明实施例中调整用户界面元素布局时的示意图。为了说明目的，图12A-12B和13A-13B显示了N＝6时的实施例，其中用户界面元素UIE1-UIE6设置成一阵列。
在图12A中，用户界面元素UIE1-UIE6所在位置对应于表现图上的较高准确值。在图12B中，用户界面元素UIE1-UIE6所在位置对应于表现图上的较低准确值。图12B中两相邻用户界面元素之间的距离d2可大于图12A中两相邻用户界面元素之间的距离d1，以在调整用户界面元素UIE1-UIE6的设定后(例如在缩小图像元素及/或调大命中框后)避免让用户界面元素UIE1-UIE6互相重叠
在图13A中，用户界面元素UIE1-UIE6所在位置对应于表现图上的较高准确值。在图13B中，用户界面元素UIE1-UIE6所在位置对应于表现图上的较低准确值。图13B中用户界面元素UIE1-UIE6所形成阵列的行/列数和每一用户界面元素的大小可加以改变，以在调整用户界面元素UIE1-UIE6的设定后(例如在调大图像元素或缩小命中框后)避免让用户界面元素UIE1-UIE6互相重叠。
虽然在大部分情况下，改变用户界面元素可提升用户体验，但在眼动追踪仪20运作表现极差的状态下并不适用。在本发明中，第二临界值的值小于第一临界值的值，其用来定义眼动追踪仪20提供适当运作表现所需的最小值。当在步骤380和390中判定判断眼动追踪仪20的表现图的信心值不高于第一临界值和第二临界值时，本发明会在步骤420中将眼动追踪仪20的低表现告知用户，并且通知用户去进行其它动作。
图14A-14D为本发明实施例中将眼动追踪仪的低表现告知用户的方式的示意图。为了说明目的，图14A-14D显示了N＝6时的实施例，其中用户界面元素UIE1-UIE6设置成一阵列。
当判定判断眼动追踪仪20的表现图的信心值高于第一临界值和第二临界值时，用户界面19所呈现的用户界面元素UIE1-UIE6如图14A所示。
当判定眼动追踪仪20的运作表现极差时，每一用户界面元素的外观可被改变(例如改变颜色、颜色变淡、发亮或闪烁)，以告知每一用户界面元素的注视互动功能已被关闭，如图14B所示。
当判定眼动追踪仪20的运作表现极差时，每一用户界面元素的外观可被模糊化，以告知每一用户界面元素的注视互动功能已被关闭，如图14C所示。
当判定眼动追踪仪20的运作表现极差时，每一用户界面元素的位置可被打乱，以告知每一用户界面元素的注视互动功能已被关闭，如图14D所示。
在一实施例中，在将眼动追踪仪20的低表现告知用户后，处理器12还可关闭注视互动功能并切换至另一种形式的互动(例如基于输入/输出装置18的互动)。在另一实施例中，在将眼动追踪仪20的低表现告知用户后，处理器12还可要求用户重新校正眼动追踪仪20。
在本发明中，光学系统会在用户界面上呈现一个或多个用户界面元素，以提供基于眼动注视技术的用户互动功能。在眼动追踪运作期间，本发明会依据眼动追踪仪20/眼动追踪运作的表现图来动态地调整一个或多个用户界面元素。因此，本发明可提供一种能提升用户体验和注视互动准确度的光学系统和方法。
以上所述仅为本发明的优选实施例，凡依本发明权利要求所做的同等变化与修饰，皆应属于本发明的保护范围。

Claims (23)

1.一种提升用户体验和注视互动准确度的光学系统，其特征在于，包含：
一眼动追踪仪，包含：
一第一传感器模块，用来捕捉一用户的一个或多个眼睛影像；以及
一头戴式显示器，包含：
一第一处理器，用来：
依据该用户的一个或多个注视点来提供一用户界面，其中该用户界面包含一个或多个用户界面元素，且该用户的该一个或多个注视点依据该用户的该一个或多个眼睛影像来计算出；
依据该用户的该一个或多个眼睛影像来求出该眼动追踪仪的一表现图；以及
依据该眼动追踪仪的该表现图来调整该一个或多个用户界面元素中至少一用户界面元素；以及
一显示屏幕，用来呈现该用户界面。
2.如权利要求1所述的光学系统，其特征在于：
该眼动追踪仪还包含一第二处理器，用来：
接收该第一传感器模块所捕捉的该一个或多个眼睛影像；以及
依据该一个或多个眼睛影像来计算出该用户的该一个或多个注视点；且
该第一处理器还用来从该第二处理器接收该用户的该一个或多个注视点。
3.如权利要求1所述的光学系统，其特征在于，该第一处理器还用来：
接收该第一传感器模块所捕捉的该一个或多个眼睛影像；以及
依据该一个或多个眼睛影像来计算出该用户的该一个或多个注视点。
4.如权利要求1所述的光学系统，其特征在于：
每一用户界面元素包含一图像元素和一命中框；且
该第一处理器调整该至少一用户界面元素包含依据该眼动追踪仪的该表现图来调整该至少一用户界面元素的一相对应图像元素的大小、调整该至少一用户界面元素的一相对应命中框的大小，及/或调整该至少一用户界面元素的该相对应命中框的一凝视时段。
5.如权利要求1所述的光学系统，其特征在于，该第一处理器还用来：
依据该眼动追踪仪的该表现图来调整两相邻用户界面元素之间的距离、调整该多个用户界面元素的布局，及/或调整每一用户界面元素的大小。
6.如权利要求1所述的光学系统，其特征在于，该第一处理器还用来：
依据该用户界面的信息和该用户的该一个或多个注视点来从该一个或多个用户界面元素中辨识出和该用户进行互动的一特定用户界面元素；
判断该特定用户界面元素是否被与该用户相关的该一个或多个注视点的一注视指令所触发；以及
当该特定用户界面元素被该注视指令触发时，执行对应该特定用户界面元素的一预定动作。
7.如权利要求6所述的光学系统，其特征在于：
每一用户界面元素包含一图像元素和一命中框；且
该第一处理器还用来：
当该特定用户界面元素对应至该眼动追踪仪的该表现图上一高信心值时，增加该特定用户界面元素的一相对应图像元素的大小、缩小该特定用户界面元素的一相对应命中框的大小，及/或缩短该特定用户界面元素的该相对应命中框的一凝视时段；或
当该特定用户界面元素对应至该眼动追踪仪的该表现图上一低信心值时，缩小该特定用户界面元素的一相对应图像元素的大小、增加该特定用户界面元素的一相对应命中框的大小，及/或增加该特定用户界面元素的该相对应命中框的一凝视时段。
8.如权利要求6所述的光学系统，其特征在于，该第一处理器还用来：
当该多个用户界面元素对应至该眼动追踪仪的该表现图上一低信心值时，增加该特定用户界面元素和一相邻用户界面元素之间的距离或调整该多个用户界面元素的布局，以增加该多个用户界面元素在该用户界面上的分布面积。
9.如权利要求1所述的光学系统，其特征在于，该第一处理器还用来：
判断该眼动追踪仪的该表现图的一信心值是否高于一第一临界值；
判断该眼动追踪仪的该表现图的该信心值是否高于一第二临界值，
其中该第二临界值小于该第一临界值；以及
当判定该眼动追踪仪的该表现图的该信心值在该第一临界值和该第二临界值之间时，依据该眼动追踪仪的该表现图来调整该至少一用户界面元素。
10.如权利要求1所述的光学系统，其特征在于，该第一处理器还用来：
当判定该眼动追踪仪的该表现图的该信心值不高于该第二临界值时，将该眼动追踪仪的低表现通知该用户。
11.如权利要求10所述的光学系统，其特征在于，该第一处理器还用来：
在将该眼动追踪仪的低表现通知该用户后，关闭每一用户界面元素的凝视互动功能及/或要求该用户重新校正该眼动追踪仪。
12.如权利要求1所述的光学系统，其特征在于，该第一处理器还用来：
依据该眼动追踪仪的一准确度、一信心值、一稳定度、一精准度及/或一取样率来构建该将眼动追踪仪的该表现图，其中该眼动追踪仪的该准确度、该信心值、该稳定度、该精准度和该取样率依据该用户的该一个或多个眼睛影像来求出。
13.一种提升用户体验和注视互动准确度的方法，其特征在于，包含：
在一眼动追踪运作中捕捉一用户的一个或多个眼睛影像；
依据该用户的该一个或多个眼睛影像来计算出该用户的一个或多个注视点；
依据该用户的该一个或多个注视点来提供一用户界面，其中该用户界面包含一个或多个用户界面元素；
依据该用户的该一个或多个眼睛影像来求出该眼动追踪运作的一表现图；以及
依据该眼动追踪仪的该表现图来调整该一个或多个用户界面元素中至少一用户界面元素。
14.如权利要求13所述的方法，其特征在于，每一用户界面元素包含一图像元素和一命中框，且该方法还包含：
依据该眼动追踪运作的该表现图来调整该至少一用户界面元素的一相对应图像元素的大小、调整该至少一用户界面元素的一相对应命中框的大小，及/或调整该至少一用户界面元素的该相对应命中框的一凝视时段。
15.如权利要求13所述的方法，其特征在于，还包含：
依据该眼动追踪运作的该表现图来调整两相邻用户界面元素之间的距离、调整该多个用户界面元素的布局，及/或调整每一用户界面元素的大小。
16.如权利要求13所述的方法，其特征在于，还包含：
依据该用户界面的信息和该用户的该一个或多个注视点来从该一个或多个用户界面元素中辨识出和该用户进行互动的一特定用户界面元素；
判断该特定用户界面元素是否被与该用户相关的该一个或多个注视点的一注视指令所触发；以及
当判定该特定用户界面元素被该注视指令触发时，执行对应该特定用户界面元素的一预定动作。
17.如权利要求13所述的方法，其特征在于，该特定用户界面元素包含一图像元素和一命中框，且方法还包含：
当该特定用户界面元素对应至该眼动追踪运作的该表现图上一高信心值时，增加该特定用户界面元素的一相对应图像元素的大小、缩小该特定用户界面元素的一相对应命中框的大小，及/或缩短该特定用户界面元素的该相对应命中框的一凝视时段；或
当该特定用户界面元素对应至该眼动追踪运作的该表现图上一低信心值时，缩小该特定用户界面元素的一相对应图像元素的大小、增加该特定用户界面元素的一相对应命中框的大小，及/或增加该特定用户界面元素的该相对应命中框的一凝视时段。
18.如权利要求16所述的方法，其特征在于，还包含：
当该多个用户界面元素对应至该眼动追踪仪的该表现图上一低信心值时，增加该特定用户界面元素和一相邻用户界面元素之间的距离或调整该多个用户界面元素的布局，以增加该多个用户界面元素在该用户界面的分布面积。
19.如权利要求13所述的方法，其特征在于，还包含：
判断该眼动追踪运作的该表现图的一信心值是否高于一第一临界值；
判断该眼动追踪运作的该表现图的该信心值是否高于一第二临界值，其中该第二临界值小于该第一临界值；以及
当判定该眼动追踪运作的该表现图的该信心值在该第一临界值和该第二临界值之间时，依据该眼动追踪运作的该表现图来调整该至少一用户界面元素。
20.如权利要求19所述的方法，其特征在于，还包含：
当判定该眼动追踪仪的该表现图的该信心值不高于该第二临界值时，将该眼动追踪运作的低表现通知该用户。
21.如权利要求20所述的方法，其特征在于，还包含：
当判定该眼动追踪运作的该表现图的该信心值不高于该第二临界值时，通过改变每一用户界面元素的外观、模糊化每一用户界面元素，及/或随机改变每一用户界面元素的位置来将该眼动追踪运作的低表现通知该用户。
22.如权利要求21所述的方法，其特征在于，还包含：
在将该眼动追踪运作的低表现通知该用户后，关闭每一用户界面元素的凝视互动功能及/或要求该用户重新校正该眼动追踪运作。
23.如权利要求13所述的方法，其特征在于，还包含：
依据该眼动追踪运作的一准确度、一信心值、一稳定度、一精准度及/或一取样率来构建该将眼动追踪运作的该表现图，其中该眼动追踪运作的该准确度、该信心值、该稳定度、该精准度和该取样率依据该用户的该一个或多个眼睛影像来求出。
CN202210745087.XA 2021-06-28 2022-06-28 提升用户体验和注视互动准确度的光学系统和相关方法 Pending CN115598842A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US202163215984P 2021-06-28 2021-06-28
US63/215,984 2021-06-28

Publications (1)

Publication Number Publication Date
CN115598842A true CN115598842A (zh) 2023-01-13

Family

ID=84540961

Family Applications (3)

Application Number Title Priority Date Filing Date
CN202210739311.4A Pending CN115598831A (zh) 2021-06-28 2022-06-28 提供精准眼动追踪的光学系统和相关方法
CN202210744988.7A Pending CN115598832A (zh) 2021-06-28 2022-06-28 提升用户体验和注视互动准确度的光学系统和相关方法
CN202210745087.XA Pending CN115598842A (zh) 2021-06-28 2022-06-28 提升用户体验和注视互动准确度的光学系统和相关方法

Family Applications Before (2)

Application Number Title Priority Date Filing Date
CN202210739311.4A Pending CN115598831A (zh) 2021-06-28 2022-06-28 提供精准眼动追踪的光学系统和相关方法
CN202210744988.7A Pending CN115598832A (zh) 2021-06-28 2022-06-28 提升用户体验和注视互动准确度的光学系统和相关方法

Country Status (3)

Country Link
US (3) US11726564B2 (zh)
CN (3) CN115598831A (zh)
TW (3) TW202301083A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117632330A (zh) * 2023-10-12 2024-03-01 浙江大学 一种虚拟环境下眼控界面的交互目标布局方法和系统

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11720380B1 (en) * 2022-05-18 2023-08-08 Bank Of America Corporation System and method for updating augmented reality navigation instructions based on a detected error
US20230418438A1 (en) * 2022-06-24 2023-12-28 Google Llc List navigation with eye tracking
CN117755076B (zh) * 2023-12-26 2024-05-31 广州车全影电子科技有限公司 汽车仪表盘控制方法、装置、存储介质及电子设备

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9213404B2 (en) 2006-02-01 2015-12-15 Tobii Technology Ab Generation of graphical feedback in a computer system
CN101943982B (zh) * 2009-07-10 2012-12-12 北京大学 基于被跟踪的眼睛运动的图像操作
TWI419077B (zh) 2010-09-10 2013-12-11 Oriental Inst Technology 立體視覺資訊補償系統及方法
US20120327116A1 (en) 2011-06-23 2012-12-27 Microsoft Corporation Total field of view classification for head-mounted display
KR101919009B1 (ko) 2012-03-06 2018-11-16 삼성전자주식회사 안구 동작에 의한 제어 방법 및 이를 위한 디바이스
KR101919010B1 (ko) 2012-03-08 2018-11-16 삼성전자주식회사 안구 동작에 기초한 디바이스의 제어 방법 및 이를 위한 디바이스
US10895909B2 (en) 2013-03-04 2021-01-19 Tobii Ab Gaze and saccade based graphical manipulation
US11714487B2 (en) * 2013-03-04 2023-08-01 Tobii Ab Gaze and smooth pursuit based continuous foveal adjustment
US10025378B2 (en) * 2013-06-25 2018-07-17 Microsoft Technology Licensing, Llc Selecting user interface elements via position signal
US10089786B2 (en) * 2013-08-19 2018-10-02 Qualcomm Incorporated Automatic customization of graphical user interface for optical see-through head mounted display with user interaction tracking
GB201322873D0 (en) * 2013-12-23 2014-02-12 Tobii Technology Ab Eye gaze determination
JP2015153195A (ja) * 2014-02-14 2015-08-24 オムロン株式会社 ジェスチャ認識装置およびジェスチャ認識装置の制御方法
US10607401B2 (en) * 2015-06-03 2020-03-31 Tobii Ab Multi line trace gaze to object mapping for determining gaze focus targets
KR101904889B1 (ko) * 2016-04-21 2018-10-05 주식회사 비주얼캠프 표시 장치와 이를 이용한 입력 처리 방법 및 시스템
JP6604271B2 (ja) * 2016-06-06 2019-11-13 富士通株式会社 注視位置検出装置、注視位置検出方法及び注視位置検出用コンピュータプログラム
US10981061B2 (en) 2016-06-13 2021-04-20 Sony Interactive Entertainment LLC Method and system for directing user attention to a location based game play companion application
CN105979224A (zh) 2016-06-23 2016-09-28 青岛歌尔声学科技有限公司 一种头戴显示器、视频输出设备和视频处理方法、系统
US10845595B1 (en) 2017-12-28 2020-11-24 Facebook Technologies, Llc Display and manipulation of content items in head-mounted display
WO2019202355A1 (en) 2018-04-18 2019-10-24 Flex Ltd. System and method for using gaze control to control electronic switches and machinery
CN111221410B (zh) 2018-11-25 2023-03-31 宏达国际电子股份有限公司 传输眼球追踪信息的方法、头戴式显示器及计算机装置
US11144052B2 (en) 2018-12-07 2021-10-12 Toyota Research Institute, Inc. Readiness and identification by gaze and/or gesture pattern detection
US11042259B2 (en) * 2019-08-18 2021-06-22 International Business Machines Corporation Visual hierarchy design governed user interface modification via augmented reality
US11922581B2 (en) 2020-05-08 2024-03-05 Coviden Lp Systems and methods of controlling an operating room display using an augmented reality headset
US11606529B2 (en) 2020-10-16 2023-03-14 Google Llc Channel layering of video content for augmented reality (AR) or control-based separation
US11423569B1 (en) 2021-04-09 2022-08-23 Varjo Technologies Oy Gaze-tracking system and method employing selective glints

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117632330A (zh) * 2023-10-12 2024-03-01 浙江大学 一种虚拟环境下眼控界面的交互目标布局方法和系统

Also Published As

Publication number Publication date
CN115598832A (zh) 2023-01-13
US20220413607A1 (en) 2022-12-29
US20220413606A1 (en) 2022-12-29
TW202301083A (zh) 2023-01-01
US11726564B2 (en) 2023-08-15
CN115598831A (zh) 2023-01-13
TWI802456B (zh) 2023-05-11
TW202301871A (zh) 2023-01-01
US20220413605A1 (en) 2022-12-29
TWI801276B (zh) 2023-05-01
TW202301872A (zh) 2023-01-01

Similar Documents

Publication Publication Date Title
US10712901B2 (en) Gesture-based content sharing in artificial reality environments
US10481685B2 (en) Method for controlling device on the basis of eyeball motion, and device therefor
US10719911B2 (en) Information processing method and system for executing the information processing method
CN115598842A (zh) 提升用户体验和注视互动准确度的光学系统和相关方法
JP5387557B2 (ja) 情報処理装置及び方法、並びにプログラム
JP2022535316A (ja) スライドメニューを有する人工現実システム
CN110352033B (zh) 用眼睛追踪装置确定眼睛睁开度
US20210124415A1 (en) Eye-based activation and tool selection systems and methods
US11720171B2 (en) Methods for navigating user interfaces
JP6367673B2 (ja) 電子機器
CN111670001A (zh) 用于眼睛跟踪系统的图像调整
US20240152245A1 (en) Devices, Methods, and Graphical User Interfaces for Interacting with Window Controls in Three-Dimensional Environments
JP6456003B2 (ja) 視線操作装置及び方法、並びに医療機器
US20230092874A1 (en) Devices, Methods, and Graphical User Interfaces for Interacting with Three-Dimensional Environments
EP3922166B1 (en) Display device, display method and display program
KR102325684B1 (ko) 두부 착용형 시선 추적 입력 장치 및 이를 이용하는 입력 방법
WO2021080926A1 (en) Eye-based activation and tool selection systems and methods
US11874961B2 (en) Managing display of an icon in an eye tracking augmented reality device
US20240103681A1 (en) Devices, Methods, and Graphical User Interfaces for Interacting with Window Controls in Three-Dimensional Environments
US20240103636A1 (en) Methods for manipulating a virtual object
Penkar Hypertext Navigation with an Eye Gaze Tracker
KR20240048522A (ko) 3차원 환경들과 상호작용하기 위한 디바이스들, 방법들, 및 그래픽 사용자 인터페이스들
CN117957581A (zh) 用于与三维环境交互的设备、方法和图形用户界面

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination