CN114341774A - 使用眼跟踪地图的动态眼跟踪相机对准 - Google Patents

使用眼跟踪地图的动态眼跟踪相机对准 Download PDF

Info

Publication number
CN114341774A
CN114341774A CN202080046584.XA CN202080046584A CN114341774A CN 114341774 A CN114341774 A CN 114341774A CN 202080046584 A CN202080046584 A CN 202080046584A CN 114341774 A CN114341774 A CN 114341774A
Authority
CN
China
Prior art keywords
eye
tracking map
user
activity
eye tracking
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202080046584.XA
Other languages
English (en)
Inventor
L·泽曼
A·福斯兰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Cognixion Corp
Original Assignee
Cognixion Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Cognixion Corp filed Critical Cognixion Corp
Publication of CN114341774A publication Critical patent/CN114341774A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04812—Interaction techniques based on cursor appearance or behaviour, e.g. being affected by the presence of displayed objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04804—Transparency, e.g. transparent or translucent windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04806—Zoom, i.e. interaction techniques or interactors for controlling the zooming operation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

一种使用眼活动跟踪相机进行实时眼跟踪反馈的方法，包括从用户的面部和用户的眼接收左眼活动变换、右眼活动变换和注视方向信息。构造包括左眼活动变换和右眼活动变换的眼跟踪地图。眼跟踪地图与左眼活动信息、右眼活动信息和注视方向信息一起显示在设备屏幕上。向用户提供与左眼活动变换、右眼活动变换和注视方向信息相关的反馈。

Description

使用眼跟踪地图的动态眼跟踪相机对准
背景技术
基于眼跟踪的通信程序通过将眼活动和定位与屏幕上的位置相关，为行动受限的个人提供通过眼活动进行沟通的能力。这些程序通过与用户的眼位置和活动相关的基于选择的交互进行操作，以便允许用户选择通过用户界面显示的选项。这些可能遭受当用户的眼从相应的屏幕移开或者与程序解释的位置不对齐时而导致的对准问题。这些对准问题在用户学习如何操作程序时经常发生。因此，需要用于跟踪用户眼定位和活动的反馈系统。
附图说明
为了容易地标识对任何特定元素或动作的讨论，附图标记中最显著的一个或多个数字指代的是首次引入该元素的图号。
图1示出了根据一个实施例的系统100。
图2示出了根据一个实施例的系统200。
图3示出了根据一个实施例的系统300。
图4示出了根据一个实施例的系统400。
图5示出了根据一个实施例的系统500。
图6示出了根据一个实施例的系统600。
图7示出了根据一个实施例的系统700。
图8示出了根据一个实施例的系统800。
图9示出了根据一个实施例的眼跟踪地图和指针900。
图10示出了根据一个实施例的系统1000。
图11示出了根据一个实施例的方法1100。
图12示出了根据一个实施例的系统1200。
图13是可结合本公开的实施例的计算设备1300的示例框图。
具体实施方式
一种利用眼活动跟踪相机进行实时眼跟踪的系统，使用设备上的眼跟踪地图创建了以人为中心的动态眼跟踪相机对准软设备。
眼跟踪地图的概念可以类似于视频游戏迷你地图来看待，该迷你地图允许玩家知道他们在虚拟世界中的相对位置，因为眼跟踪地图允许用户识别他们的眼相对于设备上解释的焦点的位置。眼跟踪地图可以被配置具有圆形轮廓以图形地表示眼球，眼球中心有较小的封闭圆，表示瞳孔相对于被跟踪的眼瞳孔位置的定位。
眼跟踪地图可与基于眼跟踪的通信程序一起使用，该程序通过将眼活动和定位与屏幕上的位置相关，为行动受限的个人提供通过眼活动进行沟通的能力。这些程序通过与用户的眼位置和活动相关的基于选择的交互进行操作，以便允许用户选择通过用户界面显示的选项。
系统可将眼跟踪地图附接到眼跟踪指针，以允许在用户视觉焦点区域的中心向用户提供反馈，同时也允许眼跟踪相机标识用户的眼定位。
眼跟踪地图可以处理大量用户的技能集和能力，因此具有广泛的个性化可配置性，以反映多样性和随时间增加的技能掌握。对于首次使用基于眼跟踪的通信程序的初学者，存在可以帮助他们快速实现良好的眼相机对准并获得早期技能成功的配置，以及存在有助于基于眼跟踪的通信程序的采用的配置。随着技能的提高，用户可以通过眼跟踪地图的α通道透明度混合来“淡出”眼跟踪地图，以保持反馈，但限制其对显示内容的干扰。眼跟踪地图可以被配置为使得用户可以选择关闭眼跟踪地图或者选择高度透明的α混合。眼跟踪地图也可以被配置为附着在显示器中心的位置。
眼跟踪地图的一些配置可包括切换其可见性开/关，允许α通道透明度混合，对眼跟踪地图的颜色的修改，对眼跟踪地图的尺寸，对指针和眼跟踪地图之间的距离的修改，对眼跟踪地图的定位的修改，使眼跟踪地图并排位于眼跟踪指针的上方或下方，从而允许眼跟踪地图被放大并且以大透明度附着在屏幕中心附近。
在一些配置中，眼跟踪地图可不是眼跟踪指针尺寸或命中区域计算的部分，即使在被附接到眼跟踪指针的运动时。眼跟踪指针操作可独立于眼跟踪地图的使用或显示。眼跟踪指针的行为可以保持在配置中，其独立的调整集设置在基于眼跟踪的通信程序中。
在一些配置中，眼跟踪地图中使用的眼跟踪特征可以利用三个功能来完成，这三个功能查看户的左眼、右眼和焦点的眼活动变换。这些功能可以分别称为“左眼变换(leftEyeTransform)”“右眼变换(rightEyeTransform)”和“查看点(lookAtPoint)”。
“左眼变换”和“右眼变换”可以利用用户眼的被跟踪的活动来分别确定用户左眼和右眼的定位和活动。“查看点”功能可以利用“左眼变换”和“右眼变换”计算“查看点”。计算“查看点”时出现的一个问题是，当眼相机对准对眼“失去跟踪”时，“查看点”开始生成错误的位置数据。
在一些实例中，如果眼相机对准使得“(左|右)眼变换”失去对眼的跟踪，则与每个眼的眼活动/位置信息相对应的眼跟踪地图瞳孔指针可消失，从而通知用户他们的眼未对准。在另一配置中，瞳孔指针颜色可根据用户眼的对准状态而改变。例如，如果用户对准，则瞳孔指针颜色可示出为绿色，而当用户的眼未对准时，瞳孔指针颜色可表示为红色。其他实现可能会隐藏指示跟踪事件丢失的眼跟踪指针。
图1示出了使用眼活动跟踪相机进行实时眼跟踪反馈的系统100。系统100包括设备102，设备102包括图像传感器104和设备屏幕106。图像传感器104可操作地朝向用户的面部108布置，以从用户的眼110捕获右眼活动变换112和左眼活动变换114以及注视方向信息116。系统100在设备屏幕106上生成眼跟踪地图和指针118，其中眼跟踪地图和指针118的位置与注视方向信息116和来自用户的眼活动变换相关。眼跟踪地图和指针118的眼跟踪地图显示左眼活动信息120和右眼活动信息122。眼跟踪地图和指针118附加地显示眼跟踪指针124，眼跟踪指针124表示眼活动之后用户的眼的注视位置的焦点。眼跟踪地图和指针118可以覆盖在用于通信信息的用户界面菜单上方。
图2示出了使用眼活动跟踪相机进行实时眼跟踪反馈的系统200。系统200包括具有朝向用户的面部226布置的图像传感器218的设备202，以从用户的面部226和用户的眼208捕获用户的眼的位置和注视方向信息214。
当用户被定位以观看设备屏幕220时，系统200利用相对于注视方向信息214的眼活动变换来构造在设备屏幕220上与用户焦点相关的点处显示的眼跟踪地图和指针222。当图像传感器218检测到至少眼活动变换和/或注视方向信息中的改变时，系统200更新在设备屏幕220上显示的眼跟踪地图和指针222的位置。用户的眼208相对于眼跟踪地图和指针222的位置可以在眼跟踪地图和指针222中表示为左眼跟踪地图234和右眼跟踪地图232中的左眼活动信息210和右眼活动信息212，左眼跟踪地图234和右眼跟踪地图232位于眼跟踪指针216附近。当用户直接查看设备屏幕220时，左眼活动信息210和右眼活动信息212可以分别被发现在左眼跟踪地图234和右眼跟踪地图232的中心。当用户改变他们的眼位置而不改变他们的视线以观看在设备屏幕220的下部上的某物时，左眼活动信息210和右眼活动信息212可以在左眼跟踪地图234和右眼跟踪地图232中显示相应的眼位置改变。在静态情况下，右眼活动信息可以对应于相对于眼跟踪地图的右眼位置，并且左眼活动信息可以对应于相对于眼跟踪地图的左眼位置。
例如，图像传感器218捕获眼活动变换228和注视方向信息214，并在设备屏幕220上的第一位置204处显示眼跟踪地图和指针222。由于第一位置204直接位于用户的面部226和用户的眼208的前面，右眼活动信息212和左眼活动信息210分别显示为位于右眼跟踪地图232和左眼跟踪地图234的中心。当图像传感器218继续从用户的面部226和用户的眼208捕获信息时，图像传感器218接收眼活动变换230，并将眼跟踪地图和指针222从设备屏幕220上的第一位置204移动到与用户的眼208的眼活动224相对应的第二位置206。通过示出左眼活动信息210和右眼活动信息212指向左眼跟踪地图234和右眼跟踪地图232的右下角来改变左眼活动信息210和右眼活动信息212，以反映新的眼定位。
图3示出了使用眼活动跟踪相机进行实时眼跟踪反馈的系统300。系统300包括设备302，设备302包括位于用户的面部320和用户的眼308前面的图像传感器312和设备屏幕314。图像传感器312接收注视方向信息306和眼活动变换322，以在设备屏幕314上生成眼跟踪地图和指针318。在一些实例中，用户的眼活动可由系统200解释为对应于设备屏幕314的边界外部的位置，并且可以为用户生成反馈指令304。例如，图像传感器312可以使用被解释为设备屏幕314外部的焦点316的注视方向信息306来检测眼活动变换322。在这种情况下，眼跟踪地图和指针318可以在左眼跟踪地图326和右眼跟踪地图324中显示反馈指令304，指示用户将设备或他们的眼移动到某个方向，以便再次与设备屏幕314对准。具有左眼跟踪地图326、眼跟踪指针310和右眼跟踪地图324的眼跟踪地图和指针318可以定位在眼跟踪地图和指针318的最后的屏幕上(on-screen)位置处。
图4示出了使用眼活动跟踪相机进行实时眼跟踪反馈的系统400。系统400包括具有设备屏幕406的设备402，设备屏幕406示出眼跟踪地图和指针404的配置。眼跟踪地图和指针404包括眼跟踪地图408，眼动跟踪地图408的可见性相对于眼跟踪指针410的可见性降低或关闭。该配置可以由用户设置以提高设备屏幕406所显示内容的可见性。
图5示出了使用眼活动跟踪相机进行实时眼跟踪反馈的系统500。系统500包括具有设备屏幕508的设备502，设备屏幕508示出眼跟踪地图和指针的配置，该配置允许α通道透明度与设备屏幕508上显示的内容混合。眼跟踪地图和指针504以全不透明度示出眼跟踪指针514和眼跟踪地图510，阻挡了在设备屏幕508上显示的内容。在应用α通道透明度混合之后，眼跟踪映射和指针504被变换为眼跟踪地图和指针506，眼动跟踪地图和指针506示出透明的眼跟踪指针516和眼跟踪地图512，从而允许在设备屏幕508上显示的内容的可见性。
图6示出了使用眼活动跟踪相机进行实时眼跟踪反馈的系统600。系统600包括具有设备屏幕616的设备602，并且允许眼跟踪地图和指针614的颜色配置。在该配置中，可以修改左眼跟踪地图边界线604、右眼跟踪地图边界线606、左眼位置608、右眼位置610和眼跟踪指针612，以提高相对于设备屏幕616上显示的内容的可见性。还可以基于某些条件触发不同的颜色，诸如提醒用户他们的目光在设备屏幕616的外部。
图7示出了使用眼活动跟踪相机进行实时眼跟踪反馈的系统700。系统700包括具有设备屏幕704的设备702，设备屏幕704显示了具有可配置的眼跟踪地图尺寸的眼跟踪地图和指针。示出了具有眼跟踪指针710和眼跟踪地图714的眼跟踪地图和指针706，其中眼跟踪地图714为第一尺寸。眼跟踪地图的尺寸可以相对于眼跟踪指针增大或减少。例如，眼跟踪地图和指针708示出眼跟踪地图716和眼跟踪指针712，其中眼跟踪地图716的尺寸比眼跟踪地图714小，而眼跟踪指针712和眼跟踪指针710的尺寸相同。眼跟踪地图和指针的可配置尺寸可以用于修改眼跟踪地图、眼跟踪指针或其组合的尺寸。
图8示出了使用眼活动跟踪相机进行实时眼跟踪反馈的系统800。系统800包括具有设备屏幕804的设备802，设备屏幕804显示眼跟踪地图和指针816的配置，该配置允许眼跟踪地图与眼跟踪指针810的间隔。眼跟踪地图806和眼跟踪地图808与眼跟踪指针810的距离不同，其中距离812将眼跟踪地图806与眼跟踪指针810分开，距离814将眼跟踪地图808与眼跟踪指针810分开。
图9示出了用于使用眼活动跟踪相机进行实时眼跟踪反馈的眼跟踪地图和指针900。在一种配置中，眼跟踪地图和指针900可允许左眼跟踪地图912和右眼跟踪地图914并排定位在眼跟踪指针902的一侧。在该配置中，眼跟踪地图904可以围绕眼跟踪指针902重新定位，诸如重新定位到眼跟踪指针902的右侧(当前位置)、眼跟踪指针902的上方(位置906)、眼跟踪指针902的左侧(位置908)、眼跟踪指针902的下方(位置910)，以及它们之间的任何位置。
图10示出了用于使用眼活动跟踪相机进行实时眼跟踪反馈的眼跟踪地图和指针900。系统1000包括具有设备屏幕1004的设备1002。在系统1000中，眼跟踪地图1006可被放大并附着到设备屏幕1004中心附近。还可以修改眼跟踪地图1006的透明度，以减少对设备屏幕1004上显示的内容的干扰。左眼跟踪地图1012和右眼跟踪地图1010可以并排定位，并且左眼活动信息1014和右眼活动信息1016可以反映用户相对于眼跟踪指针1008的眼活动。
参考图11，用于操作利用眼活动跟踪相机进行实时眼跟踪反馈系统的方法1100可以涉及从用户的面部和眼接收左眼活动变换、右眼活动变换和注视方向信息中的至少一者或多者(框1102)。在框1104中，方法1100构造包括左眼活动变换和右眼活动变换中的至少一者的眼跟踪地图。在框1106中，方法1100在设备屏幕上显示眼跟踪地图以及左眼活动信息、右眼活动信息和注视方向信息中的至少一者或多者。在框1108中，方法1100向用户提供与左眼活动变换、右眼活动变换和注视方向信息中的至少一者或多者相关的反馈。
图12示出了使用眼活动跟踪相机进行实时眼跟踪反馈的系统1200。系统1200包括图像传感器1202、构造器1204、包括屏幕位置相关器1208的用户界面控制器1206、输出设备控制器1210和设备屏幕1214。图像传感器1202可以从用户的面部1216和用户的眼1218接收右眼活动变换1222、左眼活动变换1220和注视方向信息。图像传感器1202可以将右眼活动变换1222、左眼活动变换1220和注视方向信息传送到构造器1204。构造器1204可以用于从右眼活动变换1222、左眼活动变换1220和注视方向信息生成眼跟踪地图1212。然后，可以将包括右眼活动变换1222、左眼活动变换1220和注视方向信息1228的眼跟踪地图1212传送到包括屏幕位置相关器1208的用户界面控制器1206。用户界面控制器1206将显示控制传送到设备屏幕1214，以在屏幕位置1238处显示包括左眼活动信息1230、右眼活动信息1232和眼跟踪指针1226的眼跟踪地图和指针1234。屏幕位置相关器1208可用于根据眼跟踪地图1212确定眼跟踪地图的屏幕位置1238和设备屏幕1214上的指针1234。如果系统1200检测到设备屏幕1214之外的屏幕位置，则用户界面控制器1206可以将反馈控制传送到设备屏幕1214，以显示用于将用户视线拉回与设备屏幕1214对准的反馈指令1236。在一些配置中，用户界面控制器1206可以将反馈控制传送到输出设备控制器1210，以控制附加的视觉、音频和触觉设备，以提醒用户未对准。在一些配置中，图像传感器1202可以捕获用户的鼻子位置向量1224作为注视方向信息的一部分。
图13是可结合本公开的实施例的计算设备1300的示例框图。图13仅仅说明了用于执行本文描述的技术处理的方面的机器系统，并且不限制权利要求的范围。本领域的普通技术人员将认识到许多变型、修改和替代物。在一个实施例中，计算设备1300通常包括监视器或图形用户界面1302、数据处理系统1320、通信网络接口1312、(多个)输入设备1308、(多个)输出设备1306等。
如图13所描绘的，数据处理系统1320可以包括一个或多个处理器1304，该一个或多个处理器1304经由总线子系统1318与多个外围设备通信。这些外围设备可以包括(多个)输入设备1308、(多个)输出设备1306、通信网络接口1312和存储子系统，诸如易失性存储器1310和非易失性存储器1314。
易失性存储器1310和/或非易失性存储器1314可存储计算机可执行指令，从而形成逻辑1322，当应用于(多个)处理器1304并由(多个)处理器1304执行时，该逻辑1322实现本文公开的过程的实施例。
(多个)输入设备1308包括用于向数据处理系统1320输入信息的设备和机构。这些可以包括键盘、小键盘、并入监视器或图形用户界面1302的触摸屏、音频输入设备(诸如语音识别系统、麦克风)和其他类型的输入设备。在各种实施例中，(多个)输入设备1308可以体现为计算机鼠标、轨迹球、轨迹板、操纵杆、无线遥控器、绘图板、语音命令系统、眼跟踪系统等。(多个)输入设备1308通常允许用户经由诸如按钮点击之类的命令来选择出现在监视器或图形用户界面1302上的对象、图标、控制区域、文本等等。
(多个)输出设备1306包括用于从数据处理系统1320输出信息的设备和机构。这些可以包括监视器或图形用户界面1302、扬声器、打印机、红外LED等，这在本领域是众所周知的。
通信网络接口1312提供到通信网络(例如，通信网络1316)和数据处理系统1320外部设备的接口。通信网络接口1312可以用作从其他系统接收数据和向其他系统发送数据的接口。通信网络接口1312的实施例可包括以太网接口、调制解调器(电话、卫星、电缆、ISDN)、(异步)数字用户线(DSL)、火线、USB、诸如蓝牙或WiFi的无线通信接口、近场通信无线接口、蜂窝接口等。
通信网络接口1312可以经由天线、电缆等等耦合到通信网络1316。在一些实施例中，通信网络接口1312可以物理地集成在数据处理系统1320的电路板上，或者在一些情况下可以在软件或固件(诸如“软调制解调器”)中实现，等等。
计算设备1300可以包括能够使用诸如HTTP、TCP/IP、RTP/RTSP、IPX、UDP等协议在网络上进行通信的逻辑。
易失性存储器1310和非易失性存储器1314是被配置为存储以实现本文所描述的过程的各种实施例的计算机可读数据和指令的有形介质的示例。其他类型的有形介质包括可移动存储器(例如，可插拔USB存储器设备、移动设备SIM卡)，诸如CD-ROM、DVD的光存储介质，诸如闪存存储器的半导体存储器、非瞬态只读存储器(ROM)、电池支持的易失性存储器、网络存储设备等。易失性存储器1310和非易失性存储器1314可以被配置为存储基本编程和数据结构，这些基本编程和数据结构提供属于本发明范围内的所公开的过程及其他实施例的功能。
实现本发明实施例的逻辑1322可存储在易失性存储器1310和/或非易失性存储器1314中。所述逻辑1322可从易失性存储器1310和/或非易失性存储器1314读取，并可由(多个)处理器1304执行。易失性存储器1310和非易失性存储器1314还可以提供用于存储逻辑1322使用的数据的储存库。
易失性存储器1310和非易失性存储器1314可包括多个存储器，该多个存储器包括用于在程序执行期间存储指令和数据的主随机存取存储器(RAM)和只读存储器(ROM)，其中存储只读非暂时性指令。易失性存储器1310和非易失性存储器1314可以包括为程序和数据文件提供持久(非易失性)存储的文件存储子系统。易失性存储器1310和非易失性存储器1314可以包括可移动存储系统，诸如可移动闪存。
总线子系统1318提供了一种用于使数据处理系统1320的各种组件和子系统能够按照预期相互通信的机构。尽管通信网络接口1312被示意性地描绘为单个总线，但是总线子系统1318的一些实施例可以利用多个不同的总线。
对于本领域的普通技术人员显而易见的是，计算设备1300可以是诸如智能手机、台式计算机、膝上型计算机、机架式计算机系统、计算机服务器或平板计算机设备之类的设备。如本领域公知的，计算设备1300可以实现为多个联网计算设备的集合。进一步，计算设备1300通常将包括操作系统逻辑(未示出)，其类型和性质在本领域中是众所周知的。
本文中使用的术语应在相关技术中赋予其普通含义，或它们在上下文的使用中所指示的含义，但如果提供了明确的定义，则该含义将起控制作用。
“电路系统”在该上下文中是指具有至少一个分立电路的电路系统、具有至少一个集成电路的电路系统、具有至少一个专用集成电路的电路系统、形成由计算机程序配置的通用计算设备(例如，由至少部分执行本文所描述的过程或设备的计算机程序所配置的通用计算机，或由至少部分执行本文所描述的过程或设备的计算机程序配置的微处理器)的电路系统、形成存储器设备的电路系统(例如，随机存取存储器的形式)，或形成通信设备(例如，调制解调器、通信交换机或光电设备)的电路系统。
“固件”在此上下文中是指体现为存储在只读存储器或介质中的处理器可执行指令的软件逻辑。
“硬件”在此上下文中是指体现为模拟或数字电路的逻辑。
“逻辑”在此上下文中是指可用于影响设备操作的机器存储器电路、非瞬态机器可读介质、和/或电路系统(其材料和/或材料能量配置包括控制和/或程序信号)、和/或设置和值(诸如电阻、阻抗、电容、电感、电流/电压额定值等)。磁介质、电子电路、电气和光学存储器(易失性和非易失性二者)以及固件都是逻辑的示例。逻辑明确排除了纯信号或软件本身(但不排除包含软件并由此形成物质配置的机器存储器)。
“软件”在此上下文中是指实现为机器存储器(例如读/写易失性或非易失性存储器或介质)中的处理器可执行指令的逻辑。
本文中，对“一个实施例”或“实施例”的引用不一定是指相同的实施例，尽管它们可能是相同的。除非上下文另外明确要求，否则在整个说明书和权利要求书中，词语“包括”、“包括有”等应以包容性的意义解释而不是以排他性或穷举性的意义解释；也就是说，以“包括但不限于”的意义解释。使用单数或复数的词也分别包括复数或单数，除非明确限定为单个或多个单数。附加地，词语“本文”、“上文”、“下文”、以及类似的导入词语在本申请中使用时指代本申请整体，而不是本申请的任何特定部分。当权利要求书在提及两个或两个以上项的列表时使用“或”词时，该词涵盖对该词的以下所有解释：列表中的任一项、列表中的所有项以及列表中项的任何组合，除非明确限定于其中一个或另一个。本文中未明确定义的任何术语具有相关(多个)领域的技术人员通常理解的常规含义。
本文描述的各种逻辑功能操作可以在使用反映所述操作或功能的名词或名词短语所指的逻辑中实现。例如，关联操作可由“关联器”或“相关器”执行。同样，可以通过“开关”进行切换，通过“选择器”进行选择，等等。

Claims (19)

1.一种使用眼活动跟踪相机进行实时眼跟踪反馈的方法，所述方法包括：
从用户的面部和用户的眼接收左眼活动变换、右眼活动变换和注视方向信息中的至少一者或多者；
利用所述左眼活动变换和所述右眼活动变换中的至少一者或多者构造眼跟踪地图，其中所述眼跟踪地图包括左眼活动信息、相对于所述眼跟踪地图的左眼位置、右眼活动信息和相对于所述眼跟踪地图的右眼位置中的至少一者或多者；
在包括设备屏幕的设备上显示所述眼跟踪地图和所述注视方向信息；以及
向所述用户提供与所述左眼活动变换、所述右眼活动变换和所述注视方向信息中的至少一者或多者相关的反馈。
2.如权利要求1所述的方法，其中所述反馈包括移动所述设备相对于所述用户的眼的相对位置的指令。
3.如权利要求1所述的方法，其中所述反馈包括到所述用户的视觉信号、音频信号和触觉信号中的至少一者。
4.如权利要求3所述的方法，其中所述视觉信号包括在所述眼跟踪地图内显示左眼活动信息、相对于所述眼跟踪地图的所述左眼位置、右眼活动信息和相对于所述眼跟踪地图的所述右眼位置中的至少一者的推荐改变。
5.如权利要求1所述的方法，其中所述显示包括调整所述眼跟踪地图以进行缩放动作。
6.如权利要求1所述的方法，进一步包括接收关于用户的鼻子位置向量的信息。
7.一种使用眼活动跟踪相机进行实时眼跟踪反馈的系统，包括：
图像传感器，所述图像传感器被配置为从用户的面部和用户的眼接收左眼活动变换、右眼活动变换和注视方向信息中的至少一者或多者；
构造器，所述构造器被配置为利用所述左眼活动变换和所述右眼活动变换中的至少一者或多者构造眼跟踪地图，其中所述眼跟踪地图包括左眼活动信息、相对于所述眼跟踪地图的左眼位置、右眼活动信息、以及相对于所述眼跟踪地图的右眼位置中的至少一者或多者；
用户界面控制器，所述用户界面控制器包括屏幕位置相关器，所述屏幕位置相关器被配置为在包括设备屏幕的设备上显示所述眼跟踪地图和所述注视方向信息；并且
所述用户界面控制器被配置为通过所述设备屏幕向所述用户传送与所述左眼活动变换、所述右眼活动变换和所述注视方向信息中的至少一者或多者相关的反馈控制。
8.如权利要求7所述的系统，其中所述用户界面控制器被配置为将所述反馈控制传送到输出设备控制器。
9.如权利要求8所述的系统，其中所述输出设备控制器通过视觉信号、音频信号和触觉信号中的至少一者向所述用户生成反馈。
10.如权利要求9所述的系统，其中所述视觉信号包括在所述眼跟踪地图内显示左眼活动信息、相对于所述眼跟踪地图的所述左眼位置、右眼活动信息和相对于所述眼跟踪地图的所述右眼位置中的至少一者的推荐改变。
11.如权利要求7所述的系统，其中所述用户界面控制器被配置为调整所述眼跟踪地图以进行缩放动作。
12.如权利要求7所述的系统，其中所述用户界面控制器被配置为传送所述反馈控制以作为通过所述设备屏幕移动所述设备相对于所述用户的眼的相对位置的反馈指令。
13.如权利要求7所述的系统，其中所述图像传感器接收关于用户的鼻子位置向量的信息。
14.一种装置，所述装置包括：
处理器；以及
存储器，所述存储器存储指令，当由处理器执行时，所述指令将所述装置配置为：
从用户的面部和用户的眼接收左眼活动变换、右眼活动变换和注视方向信息中的至少一者或多者；
利用所述左眼活动变换和所述右眼活动变换中的至少一者或多者构造眼跟踪地图，其中所述眼跟踪地图包括左眼活动信息、相对于所述眼跟踪地图的左眼位置、右眼活动信息、以及相对于所述眼跟踪地图的右眼位置中的至少一者或多者；
在包括设备屏幕的设备上显示所述眼跟踪地图以及所述注视方向信息；以及
向所述用户提供与所述左眼活动变换、所述右眼活动变换和所述注视方向信息中的至少一者或多者相关的反馈。
15.如权利要求14所述的装置，其中所述反馈包括移动所述设备相对于所述用户的眼的相对位置的指令。
16.如权利要求14所述的装置，其中所述反馈包括到所述用户的视觉信号、音频信号和触觉信号中的至少一者。
17.如权利要求16所述的装置，其中所述视觉信号包括在所述眼跟踪地图内显示左眼活动信息、相对于所述眼跟踪地图的所述左眼位置、右眼活动信息和相对于所述眼跟踪地图的所述右眼位置中的至少一者的推荐改变。
18.如权利要求14所述的装置，其中所述指令进一步将所述装置配置为调整所述眼跟踪地图以进行缩放动作的所述显示。
19.如权利要求14所述的装置，其中所述指令进一步将所述装置配置为接收关于用户的鼻子位置向量的信息。
CN202080046584.XA 2019-05-02 2020-04-24 使用眼跟踪地图的动态眼跟踪相机对准 Pending CN114341774A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US16/401,918 2019-05-02
US16/401,918 US10860095B2 (en) 2019-05-02 2019-05-02 Dynamic eye-tracking camera alignment utilizing eye-tracking maps
PCT/US2020/029938 WO2020223131A1 (en) 2019-05-02 2020-04-24 Dynamic eye-tracking camera alignment utilizing eye-tracking maps

Publications (1)

Publication Number Publication Date
CN114341774A true CN114341774A (zh) 2022-04-12

Family

ID=73016480

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080046584.XA Pending CN114341774A (zh) 2019-05-02 2020-04-24 使用眼跟踪地图的动态眼跟踪相机对准

Country Status (6)

Country Link
US (1) US10860095B2 (zh)
EP (1) EP3963430A4 (zh)
KR (1) KR20220004746A (zh)
CN (1) CN114341774A (zh)
CA (1) CA3141268C (zh)
WO (1) WO2020223131A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11695758B2 (en) * 2020-02-24 2023-07-04 International Business Machines Corporation Second factor authentication of electronic devices

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4836670A (en) 1987-08-19 1989-06-06 Center For Innovative Technology Eye movement detector
US5360971A (en) 1992-03-31 1994-11-01 The Research Foundation State University Of New York Apparatus and method for eye tracking interface
US6152563A (en) 1998-02-20 2000-11-28 Hutchinson; Thomas E. Eye gaze direction tracker
US6943754B2 (en) * 2002-09-27 2005-09-13 The Boeing Company Gaze tracking system, eye-tracking assembly and an associated method of calibration
US7386406B2 (en) * 2003-10-31 2008-06-10 Agilent Technologies, Inc. Forced-alignment measurement tools for composite eye diagrams
US7783077B2 (en) 2006-12-01 2010-08-24 The Boeing Company Eye gaze tracker system and method
TW201017474A (en) * 2008-09-03 2010-05-01 Koninkl Philips Electronics Nv Method of performing a gaze-based interaction between a user and an interactive display system
JP5490664B2 (ja) 2009-11-18 2014-05-14 パナソニック株式会社 眼電位推定装置、眼電位算出方法、視線検出装置、ウェアラブルカメラ、ヘッドマウントディスプレイおよび電子めがね
JP5613025B2 (ja) 2009-11-18 2014-10-22 パナソニック株式会社 視線検出装置、視線検出方法、眼電位計測装置、ウェアラブルカメラ、ヘッドマウントディスプレイ、電子めがねおよび眼科診断装置
GB201004346D0 (en) * 2010-03-16 2010-04-28 Qinetiq Ltd Eye tracking apparatus
US8885882B1 (en) * 2011-07-14 2014-11-11 The Research Foundation For The State University Of New York Real time eye tracking for human computer interaction
US8929589B2 (en) 2011-11-07 2015-01-06 Eyefluence, Inc. Systems and methods for high-resolution gaze tracking
US9433346B2 (en) * 2011-11-21 2016-09-06 Gobiquity, Inc. Circular preferential hyperacuity perimetry video game to monitor macular and retinal diseases
US8869115B2 (en) * 2011-11-23 2014-10-21 General Electric Company Systems and methods for emotive software usability
US8235529B1 (en) 2011-11-30 2012-08-07 Google Inc. Unlocking a screen using eye tracking information
US9075453B2 (en) * 2011-12-29 2015-07-07 Khalifa University of Science, Technology & Research (KUSTAR) Human eye controlled computer mouse interface
US20150367859A1 (en) * 2012-12-21 2015-12-24 Harman Becker Automotive Systems Gmbh Input device for a motor vehicle
US10430150B2 (en) * 2013-08-23 2019-10-01 Tobii Ab Systems and methods for changing behavior of computer program elements based on gaze input
EP3015952B1 (en) * 2014-10-30 2019-10-23 4tiitoo GmbH Method and system for detecting objects of interest
US20160231812A1 (en) * 2015-02-06 2016-08-11 The Eye Tribe Aps Mobile gaze input system for pervasive interaction
US10209772B2 (en) * 2016-09-19 2019-02-19 International Business Machines Corporation Hands-free time series or chart-based data investigation
US10379612B1 (en) * 2016-12-16 2019-08-13 Apple Inc. Electronic device with gaze tracking system
US10872272B2 (en) * 2017-04-13 2020-12-22 L'oreal System and method using machine learning for iris tracking, measurement, and simulation

Also Published As

Publication number Publication date
CA3141268C (en) 2024-04-02
KR20220004746A (ko) 2022-01-11
WO2020223131A1 (en) 2020-11-05
EP3963430A1 (en) 2022-03-09
US20200348752A1 (en) 2020-11-05
EP3963430A4 (en) 2023-01-18
CA3141268A1 (en) 2020-11-05
US10860095B2 (en) 2020-12-08

Similar Documents

Publication Publication Date Title
EP2525271B1 (en) Method and apparatus for processing input in mobile terminal
CN108536353B (zh) 界面显示控制方法、装置及存储介质
US10768714B2 (en) Electronic device and a method for controlling the functions of the electronic device as well as program product for implementing the method
US20170293351A1 (en) Head mounted display linked to a touch sensitive input device
US10282022B2 (en) Control method and control device for working mode of touch screen
JP4275151B2 (ja) ユーザが調整可能な閾値を用いる赤目補正方法及び装置
CN107870723B (zh) 一种悬浮按钮显示方法及终端设备
US20090153468A1 (en) Virtual Interface System
WO2014129102A1 (en) Display control apparatus, display apparatus, display control method, and program
US9823779B2 (en) Method and device for controlling a head-mounted display by a terminal device
US11334210B2 (en) Method for window adjustment, mobile terminal, and computer-readable storage medium
CN111736691A (zh) 头戴显示设备的交互方法、装置、终端设备及存储介质
CN108462729B (zh) 实现终端设备交互的方法和装置、终端设备及服务器
US10621766B2 (en) Character input method and device using a background image portion as a control region
JP2018180051A (ja) 電子機器及びその制御方法
CN114341774A (zh) 使用眼跟踪地图的动态眼跟踪相机对准
CN106990843B (zh) 一种眼睛跟踪系统的参数校准方法及电子设备
WO2018186004A1 (ja) 電子機器及びその制御方法
US20200210063A1 (en) Display method and electronic device
CN110162170A (zh) 基于终端可扩展区域的控制方法及装置
WO2024131694A1 (en) Methods and systems for gaze assisted interaction
WO2012007034A1 (en) Sending and receiving information
EP4400959A1 (en) Touchless user interface operating method based on an electronic device
WO2020024901A1 (zh) 一种显示区域的对齐显示方法及终端、存储介质
CN117687508A (zh) 交互控制方法、装置、电子设备及计算机可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20220412

WD01 Invention patent application deemed withdrawn after publication