CN112041788A - 使用眼睛注视来选择文本输入字段 - Google Patents

使用眼睛注视来选择文本输入字段 Download PDF

Info

Publication number
CN112041788A
CN112041788A CN201980028660.1A CN201980028660A CN112041788A CN 112041788 A CN112041788 A CN 112041788A CN 201980028660 A CN201980028660 A CN 201980028660A CN 112041788 A CN112041788 A CN 112041788A
Authority
CN
China
Prior art keywords
gaze
entry field
text entry
text
displays
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201980028660.1A
Other languages
English (en)
Other versions
CN112041788B (zh
Inventor
E·M·奥尔森
P·普拉艾卡纳萨
A·P·汤普森
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Apple Inc
Original Assignee
Apple Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Apple Inc filed Critical Apple Inc
Publication of CN112041788A publication Critical patent/CN112041788A/zh
Application granted granted Critical
Publication of CN112041788B publication Critical patent/CN112041788B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/038—Indexing scheme relating to G06F3/038
    • G06F2203/0381—Multimodal input, i.e. interface arrangements enabling the user to issue commands by simultaneous use of input devices of different nature, e.g. voice plus gesture on digitizer

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

在用于使用眼睛注视来选择文本输入字段的示例性过程中，显示包括文本输入字段的图形对象。该文本输入字段与一个或多个显示器上的一个或多个相应的位置相关联。使用注视传感器确定该眼睛注视的特征，并且使用该特征来确定注视位置。从输入设备接收对应于一个或多个文本字符的输入；如果该注视位置对应于该一个或多个相应的位置，则在该文本输入字段中显示该一个或多个文本字符。如果该注视位置不对应于该一个或多个相应的位置，则在该文本输入字段中不显示该一个或多个文本字符。

Description

使用眼睛注视来选择文本输入字段
相关申请的交叉引用
本申请要求于2018年5月9日提交的名称为“SELECTING A TEXT INPUT FIELDUSING EYE GLAZE”的美国临时申请62/669290号的优先权，该申请的全部公开内容以引用方式并入本文。
背景技术
1.技术领域
本公开整体涉及用于与电子设备进行交互的用户界面，更具体地，涉及使用眼睛注视与电子设备进行交互。
2.相关领域的描述
常规电子设备使用输入机构诸如键盘、按钮、操纵杆和触摸屏来接收来自用户的输入。一些常规设备还包括响应于用户的输入而显示内容的屏幕。此类输入机构和显示器为用户提供与电子设备进行交互的界面。
发明内容
本公开描述了用于使用眼睛注视与电子设备进行交互的技术。根据一些实施方案，用户使用他或她的眼睛来选择显示在电子设备上的文本输入字段。在一些示例性实施方案中，该技术通过允许用户主要使用眼睛注视来识别要输入文本的位置来提供更自然和有效的界面。该技术可应用于诸如台式计算机、膝上型计算机、平板电脑和智能电话的设备上的常规用户界面。该技术对于虚拟现实、增强现实和混合现实设备及应用也是有利的，如下文更详细所述。
根据一些实施方案，一种用于选择文本输入字段的技术包括在一个或多个显示器上显示包括该文本输入字段的图形对象，其中该文本输入字段与该一个或多个显示器上的一个或多个相应的位置相关联；使用该一个或多个注视传感器确定眼睛注视的一个或多个特征；使用该眼睛注视的该一个或多个特征来确定注视位置；从输入设备接收对应于一个或多个文本字符的输入；根据确定该注视位置对应于该一个或多个相应的位置，在该文本输入字段中显示该一个或多个文本字符；以及根据确定该注视位置不对应于该一个或多个相应的位置，放弃在该文本输入字段中显示该一个或多个文本字符。
在一些实施方案中，该一个或多个相应的位置对应于该文本输入字段在第一显示器上的第一显示位置和该文本输入字段在第二显示器上的第二显示位置。在一些实施方案中，该技术还包括：根据确定该注视位置对应于一个或多个相应的位置，提供该注视位置对应于该一个或多个相应的位置的指示。
在一些实施方案中，该输入设备包括语音转文本引擎，并且所接收的输入是提供给麦克风的自然语言输入。在一些实施方案中，该输入设备是键盘。在一些实施方案中，该输入设备是触敏表面。
在一些实施方案中，该技术还包括：显示包括第二文本输入字段的第二图形对象，其中该第二文本输入字段与该一个或多个显示器上的一个或多个相应的第二位置相关联；以及根据确定该注视位置对应于该一个或多个相应的第二位置，在该第二文本输入字段中显示该一个或多个文本字符。
在一些实施方案中，确定该注视位置包括使用该眼睛注视的一个或多个特征来确定该眼睛注视指向该注视位置达第一预先确定的时间量。在一些实施方案中，该技术还包括：当该眼睛注视指向另一位置小于第二预先确定的时间量时，保持该注视位置。
附图说明
为了更好地理解各种所述实施方案，应该结合以下附图参考下面的具体实施方式，在附图中，类似的附图标号在所有附图中指示对应的部分。
图1A至图1B示出了用于各种计算机生成的包括虚拟现实和混合现实的现实技术的示例性系统。
图2示出了根据各种实施方案的用户查看对象。
图3A至图3D示出了根据各种实施方案的位于单个显示器上的用于使用眼睛注视来选择文本输入字段的界面。
图4A至图4B示出了根据各种实施方案的位于双显示器上的用于使用眼睛注视来选择文本输入字段的界面。
图5描绘了根据各种实施方案的用于使用眼睛注视来选择文本输入字段的示例性过程的流程图。
具体实施方式
以下描述阐述了示例性方法、参数等。然而，应当认识到，此类描述并非意在限制本公开的范围，而是作为对示例性实施方案的描述来提供。
描述了用于与各种计算机生成的现实技术相关地使用此类系统的电子系统和技术的各种示例。
物理环境(或真实环境)是指人们在没有电子系统帮助的情况下能够感测和/或交互的物理世界。物理环境诸如物理公园包括物理物品(或物理对象或真实对象)，诸如物理树木、物理建筑物和物理人。人们能够诸如通过视觉、触觉、听觉、味觉和嗅觉来直接感测物理环境和/或与物理环境交互。
相反，计算机生成现实(CGR)环境是指人们经由电子系统感知和/或交互的完全或部分模拟的环境。在CGR中，跟踪人的物理运动的一个子集或其表示，并且作为响应，以符合至少一个物理定律的方式调节在CGR环境中模拟的一个或多个虚拟对象的一个或多个特征。例如，CGR系统可以检测人的头部转动，并且作为响应，以与此类视图和声音在物理环境中变化的方式类似的方式调节呈现给人的图形内容和声场。在一些情况下(例如，出于可达性原因)，对CGR环境中虚拟对象的特征的调节可以响应于物理运动的表示(例如，声音命令)来进行。
人可以利用其感官中的任一者来感测CGR对象和/或与CGR对象交互，包括视觉、听觉、触觉、味觉和嗅觉。例如，人可以感测音频对象和/或与音频对象交互，音频对象创建3D或空间音频环境，3D或空间音频环境提供3D空间中点音频源的感知。又如，音频对象可以使能音频透明度，该音频透明度在有或者没有计算机生成的音频的情况下选择性地引入来自物理环境的环境声音。在某些CGR环境中，人可以感测和/或只与音频对象交互。
CGR的示例包括虚拟现实和混合现实。
虚拟现实(VR)环境(虚拟环境)是指被设计成对于一个或多个感官完全基于计算机生成的感官输入的模拟环境。VR环境包括人可以感测和/或交互的多个虚拟对象。例如，树木、建筑物和代表人的化身的计算机生成的图像是虚拟对象的示例。人可以通过在计算机生成的环境内人的存在的模拟、和/或通过在计算机生成的环境内人的物理运动的一个子组的模拟来感测和/或与VR环境中的虚拟对象交互。
与被设计成完全基于计算机生成的感官输入的VR环境相比，混合现实(MR)环境是指被设计成除了包括计算机生成的感官输入(例如，虚拟对象)之外还引入来自物理环境的感官输入或其表示的模拟环境。在虚拟连续体上，混合现实环境是完全物理环境作为一端和虚拟现实环境作为另一端之间的任何状况，但不包括这两端。
在一些MR环境中，计算机生成的感官输入可以对来自物理环境的感官输入的变化进行响应。另外，用于呈现MR环境的一些电子系统可以跟踪相对于物理环境的位置和/或取向，以使虚拟对象能够与真实对象(即，来自物理环境的物理物品或其表示)交互。例如，系统可以导致运动使得虚拟树木相对于物理地面看起来是静止的。
混合现实的示例包括增强现实和增强虚拟。
增强现实(AR)环境是指其中一个或多个虚拟对象叠加在物理环境或其表示之上的模拟环境。例如，用于呈现AR环境的电子系统可具有透明或半透明显示器，人可以透过该显示器直接查看物理环境。该系统可以被配置成在透明或半透明显示器上呈现虚拟对象，使得人利用该系统感知叠加在物理环境之上的虚拟对象。另选地，系统可以具有不透明显示器和一个或多个成像传感器，成像传感器捕获物理环境的图像或视频，这些图像或视频是物理环境的表示。系统将图像或视频与虚拟对象组合，并在不透明显示器上呈现组合物。人利用系统经由物理环境的图像或视频而间接地查看物理环境，并且感知叠加在物理环境之上的虚拟对象。如本文所用，在不透明显示器上显示的物理环境的视频被称为“透传视频”，意味着系统使用一个或多个图像传感器捕获物理环境的图像，并且在不透明显示器上呈现AR环境时使用那些图像。进一步另选地，系统可以具有投影系统，该投影系统将虚拟对象投射到物理环境中，例如作为全息图或者在物理表面上，使得人利用该系统感知叠加在物理环境之上的虚拟对象。
增强现实环境也是指其中物理环境的表示被计算机生成的感官信息进行转换的模拟环境。例如，在提供透传视频中，系统可以对一个或多个传感器图像进行转换以施加与成像传感器所捕获的视角不同的选择视角(例如，视点)。又如，物理环境的表示可以通过图形地修改(例如，放大)其部分而进行转换，使得经修改部分可以是原始捕获图像的代表性的但不是真实的版本。再如，物理环境的表示可以通过以图形方式消除其部分或将其部分进行模糊处理而进行转换。
增强虚拟(AV)环境是指其中虚拟或计算机生成的环境结合来自物理环境的一个或多个感官输入的模拟环境。感官输入可以是物理环境的一个或多个特性的表示。例如，AV公园可以具有虚拟树木和虚拟建筑物，但人的脸部是从对物理人拍摄的图像逼真再现的。又如，虚拟对象可以采用一个或多个成像传感器所成像的物理物品的形状或颜色。再如，虚拟对象可以采用符合太阳在物理环境中的位置的阴影。
有许多不同类型的电子系统使人能够感测和/或与各种CGR环境交互。示例包括头戴式系统、基于投影的系统、平视显示器(HUD)、集成有显示能力的车辆挡风玻璃、集成有显示能力的窗户、被形成为被设计用于放置在人眼睛上的透镜的显示器(例如，类似于隐形眼镜)、耳机/听筒、扬声器阵列、输入系统(例如，具有或没有触觉反馈的可穿戴或手持控制器)、智能电话、平板电脑、和台式/膝上型计算机。头戴式系统可以具有一个或多个扬声器和集成的不透明显示器。另选地，头戴式系统可以被配置成接受外部不透明显示器(例如，智能电话)。头戴式系统可以结合用于捕获物理环境的图像或视频的一个或多个成像传感器、和/或用于捕获物理环境的音频的一个或多个麦克风。头戴式系统可以具有透明或半透明显示器，而不是不透明显示器。透明或半透明显示器可以具有媒介，代表图像的光通过该媒介被引导到人的眼睛。显示器可以利用数字光投影、OLED、LED、uLED、硅基液晶、激光扫描光源或这些技术的任意组合。媒介可以是光学波导、全息图媒介、光学组合器、光学反射器、或它们的任意组合。在一个示例中，透明或半透明显示器可被配置为选择性地变得不透明。基于投影的系统可以采用将图形图像投影到人的视网膜上的视网膜投影技术。投影系统也可以被配置成将虚拟对象投影到物理环境中，例如作为全息图或在物理表面上。
图1A和图1B描绘了在各种现实计算机生成技术中使用的示例性系统100。
在一些实施方案中，如图1A所示，系统100包括设备100a。设备100a包括各种部件，诸如处理器102、RF电路104、存储器106、图像传感器108、取向传感器110、麦克风112、位置传感器116、扬声器118、显示器120和触敏表面122。这些部件任选地通过设备100a的通信总线150进行通信。
在一些实施方案中，系统100的元件在基站设备(例如，计算设备，诸如远程服务器、移动设备或膝上型计算机)中实现，并且系统100的其他元件在设计成由用户佩戴的头戴式显示器(HMD)设备中实现，其中HMD设备与基站设备通信。在一些实施方案中，设备100a在基站设备或HMD设备中实现。
如图1B所示，在一些实施方案中，系统100包括两个(或更多个)通信中的设备，诸如通过有线连接或无线连接。第一设备100b(例如，基站设备)包括处理器102、RF电路104、存储器106。这些部件可选地通过设备100b的通信总线150进行通信。第二设备100c(例如，头戴式设备)包括各种部件，诸如处理器102、RF电路104、存储器106、图像传感器108、取向传感器110、麦克风112、位置传感器116、扬声器118、显示器120和触敏表面122。这些部件可选地通过设备100c的通信总线150进行通信。
在一些实施方案中，系统100为移动设备。在一些实施方案中，系统100为头戴式显示器(HMD)设备。在一些实施方案中，系统100为可穿戴HUD设备。
系统100包括处理器102和存储器106。处理器102包括一个或多个通用处理器、一个或多个图形处理器、和/或一个或多个数字信号处理器。在一些实施方案中，一个或多个存储器106是存储计算机可读指令的一个或多个非暂态计算机可读存储介质(例如，闪存存储器，随机存取存储器)，所述计算机可读指令被配置为由一个或多个处理器102执行以执行下述技术。
系统100包括RF电路104。RF电路104可选地包括用于与电子设备、网络(诸如互联网、内联网)和/或无线网络(诸如蜂窝网络和无线局域网(LAN))通信的电路。RF电路104可选地包括用于使用近场通信和/或短程通信(诸如
Figure BDA0002744741710000071
)进行通信的电路。
系统100包括显示器120。在一些实施方案中，显示器120包括第一显示器(例如，左眼显示面板)和第二显示器(例如，右眼显示面板)，每个显示器用于向用户的相应眼睛显示图像。对应的图像同时显示在第一显示器和第二显示器上。可选地，对应的图像包括来自不同视点的相同虚拟对象和/或相同物理对象的表示，从而产生视差效应，该视差效应向用户提供显示器上对象的立体感效应。在一些实施方案中，显示器120包括单个显示器。对于用户的每只眼睛，对应的图像同时显示在单个显示器的第一区域和第二区域上。可选地，对应的图像包括来自不同视点的相同虚拟对象和/或相同物理对象的表示，从而产生视差效应，该视差效应向用户提供单个显示器上对象的立体感效应。
在一些实施方案中，系统100包括用于接收用户输入的一个或多个触敏表面122，诸如轻击输入和轻扫输入。在一些实施方案中，显示器120和触敏表面122形成触敏显示器。
系统100包括图像传感器108。图像传感器108可选地包括一个或多个可见光图像传感器(诸如电荷耦合设备(CCD)传感器)和/或可操作以从真实环境获得物理对象的图像的互补金属氧化物半导体(CMOS)传感器。图像传感器还可选地包括一个或多个红外(IR)传感器，诸如无源IR传感器或有源IR传感器，用于检测来自真实环境的红外光。例如，有源IR传感器包括IR发射器，诸如IR点发射器，用于将红外光发射到真实环境中。图像传感器108还可选地包括一个或多个事件相机，这些事件相机被配置为捕获真实环境中的物理对象的移动。图像传感器108还可选地包括一个或多个深度传感器，这些深度传感器被配置为检测物理对象与系统100的距离。在一些实施方案中，系统100组合使用CCD传感器、事件相机和深度传感器来检测系统100周围的物理环境。在一些实施方案中，图像传感器108包括第一图像传感器和第二图像传感器。第一图像传感器和第二图像传感器可选地被配置为从两个不同的视角捕获真实环境中的物理对象的图像。在一些实施方案中，系统100使用图像传感器108来接收用户输入，诸如手势。在一些实施方案中，系统100使用图像传感器108来检测系统100和/或显示器120在真实环境中的位置和取向。例如，系统100使用图像传感器108来跟踪显示器120相对于真实环境中的一个或多个固定对象的位置和取向。
在一些实施方案中，系统100包括一个或多个麦克风112。系统100使用麦克风112来检测来自用户和/或用户的真实环境的声音。在一些实施方案中，麦克风112包括麦克风阵列(包括多个麦克风)，其任选地串联操作，以便识别环境噪声或在真实环境的空间中定位声源。
系统100包括用于检测系统100和/或显示器120的取向和/或移动的取向传感器110。例如，系统100使用取向传感器110来跟踪系统100和/或显示器120的位置和/或取向的变化，诸如关于真实环境中的物理对象。取向传感器110可选地包括一个或多个陀螺仪和/或一个或多个加速度计。
现在参考图2、图3A至图3D和图4A至图4B，描述了用于使用眼睛注视来选择文本输入字段的示例性技术。
图2示出了其注视聚焦在对象210上的用户200的顶视图。用户的注视由用户的眼睛中的每只眼睛的视轴线限定(如图2中的射线201A和201B所描绘)。视轴线的方向限定用户的注视方向，并且轴线会聚的距离限定注视深度。视线方向也可称为视线矢量或视线。在图2中，注视方向在对象210的方向上，并且注视深度为相对于用户的距离D。在一些示例中，该注视方向和/或注视深度是用于确定注视位置(在这种情况下为对象210)的特征。
在一些实施方案中，确定用户角膜的中心、用户瞳孔的中心以及/或者用户眼球的旋转中心，以确定用户眼睛的视轴线位置。因此，可使用用户角膜的中心、用户瞳孔的中心和/或用户眼球的旋转中心来确定用户的注视方向和/或注视深度。在一些实施方案中，基于用户眼睛的视轴线的会聚点(或用户眼睛的视轴线之间的最小距离的位置)或用户眼睛的焦点的某种其他测量来确定注视深度。任选地，注视深度用于估计用户眼睛聚焦的距离。
在图2中，射线201A和201B分别沿着用户200的左眼和右眼的视轴线被投射(例如，投影)，并且任选地在所谓的射线投射中用于确定用户的注视方向和/或注视深度。图2还示出了分别具有角范围203A和203B的锥形202A和202B。锥形202A和202B也分别沿着用户200的左眼和右眼的视轴线被投射，并且任选地用于在所谓的锥形投射中确定用户的注视方向和/或注视深度。
图3A至图3D描绘了具有显示器302的电子设备300。在一些实施方案中，电子设备300是系统100的一个实施方案，如参考图1A至图1B所述。在图3A至图3D中，电子设备300被示出为使用单个显示屏。然而，应当理解，电子设备300可以是被配置为显示界面的任何设备。
电子设备300显示包括图形对象306a、306b和306c的界面304。在例示的实施方案中，图形对象306a至306c包括用户可使用眼睛注视与之进行交互的相应文本输入字段。斑点308表示用户在显示器302上的眼睛注视位置(下文称为注视位置308)。该注视位置308是基于用户的眼睛注视的特征诸如注视方向和/或注视深度来确定的。
如图3A所示，注视位置308对应于图形对象306a。在一些实施方案中，电子设备300从指向用户的注视传感器310捕获数据，并且基于从该注视传感器310捕获的数据来确定注视位置308。在其中界面304包括三维特征结构的一些实施方案中，诸如下文相对于图4A至图4B所述的实施方案，电子设备300还(或另选地)确定注视深度以及该注视深度是否对应于图形对象306a至306c。
注视传感器310指向用户并且捕获用户的眼睛注视的特征，诸如用户的眼睛的图像数据。在一些实施方案中，注视传感器310包括事件相机，该事件相机基于检测到的光强度随时间变化而从用户(例如，用户的眼睛)检测事件数据并且使用事件数据来确定注视方向和/或注视深度。任选地，电子设备300使用图像数据和事件数据两者来确定注视方向和/或注视深度。任选地，电子设备300使用射线投射和/或锥形投射来确定注视方向和/或注视深度。
基于该眼睛注视的特征(例如，注视方向和/或注视深度)，电子设备300确定该注视位置308对应于显示图形对象306a的位置(例如，从用户的眼睛投射的射线或锥形至少部分地与显示器302上出现图形对象306a的位置相交)。
在一些实施方案中，在注视位置308不再与图形对象306a重叠之后，确定该注视位置308对应于该图形对象306a(例如，一旦初始确定该注视位置对应于图形对象306a，该注视位置就被认为对应于图形对象306a达至少预先确定的时间量或达在用户目光离开图形对象306a之后的预先确定的时间量)。
在确定注视位置308对应于图形对象306a之后，选择该图形对象306a，如图3B所示。任选地，显示指示以指示选择了该图形对象306a。指示的示例包括在图形对象306a内显示光标312或突出显示图形对象306a的边界区域(例如，如果先前未显示边界，则显示边界，显示较厚的边界，或以不同颜色显示边界)。在一些实施方案中，该指示包括音频输出(例如，哔哔声)或触觉输出。
在一些实施方案中，即使注视位置308不再与图形对象306a重叠，该图形对象306a也保持被选择达预先确定的时间量。任选地，图形对象306a保持被选择，直到接收到与图形对象306a相关联的输入。
在选择图形对象306a之后，从输入设备接收到对应于一个或多个文本字符的输入。输入设备的示例包括但不限于键盘、触敏表面(例如，触控板或触摸屏)或麦克风。根据输入设备的类型，该一个或多个文本字符可分别对应于键盘上键入的字母、用触控板或触摸屏选择的字符、或由麦克风接收的说出字词。当利用麦克风接收自然语言(例如，口头)输入时，语音转文本引擎任选地将输入翻译(例如，转换)为一个或多个文本字符。
在一些实施方案中，该一个或多个文本字符显示在所选择的图形对象306a的文本输入字段中。例如，如图3C所示，如果接收到对应于字词“Jane”的输入，则在图形对象306a的文本输入字段中显示“Jane”。通过将文本字符输入到与用户的眼睛注视的确定方向对应的文本输入字段中，电子设备300提供与界面304的更有效且自然的交互。例如，典型的界面要求用户用鼠标光标或触摸输入来选择文本输入字段，然后将文本字符输入到所选择的输入字段中。电子设备300允许用户仅通过看着输入字段来选择文本输入字段。一旦电子设备300确定用户的眼睛注视指向特定文本输入字段(例如，图形对象306a的文本输入字段)，所接收的输入将被显示在该特定文本输入字段中。
在一些实施方案中，如果在用户的注视位置308不对应于图形对象306a至306c时接收到输入，则电子设备300放弃显示对应于该输入的文本字符。任选地，电子设备300提供在接收到输入时未选择图形对象306a至306c的通知。
在将一个或多个文本字符输入到图形对象306a的文本输入字段中之后，注视位置308可移动到图形对象306b，如图3C所示。任选地，在注视位置308移动到图形对象306b之后，图形对象306a保持被选择达预先确定的时间。这样，在用户目光离开图形对象306a之后，文本字符可以继续被输入到图形对象306a的文本输入字段中达预先确定的时间量。
在确定注视位置308对应于图形对象306b之后，选择该图形对象306b，如图3D所示。任选地，显示指示以指示图形对象306b被选择，如参考图3B所述。然后可以接收另外的输入，并且可以在图形对象306b的文本输入字段中显示另外的文本字符。
图4A至图4B描绘了具有双显示器402a和402b的电子设备400。在一些实施方案中，电子设备400是系统100的一个实施方案，如参考图1A至图1B所述。在4A至图4B中，电子设备400被示出为头戴式显示设备。然而，应当理解，电子设备400可以是被配置为显示界面的任何设备。
电子设备400在双显示器402a和402b上显示界面404。双显示器402a和402b可以是物理上分开的显示器或单个显示器的分割的部分。界面404包括图形对象406a、406b和406c。界面404同时显示在双显示器402a和402b上。任选地，界面404的元素诸如图形对象406a、406b和406c显示在每个显示器上的不同视点处，从而导致视差效应，该视差效应向用户提供该对象的深度错觉。在例示的实施方案中，图形对象406a至406c包括用户可使用眼睛注视与之进行选择的相应文本输入字段。斑点408a和408b表示用户的每只眼睛在相应显示器402a和402b上的注视位置(在下文中称为注视位置408a和408b)。该注视位置408a和408b是基于该用户的眼睛注视的特征诸如注视方向和/或注视深度来确定的。
如图4A所示，注视位置408a和408b对应于图形对象406a。以举例的方式，电子设备400从指向用户的一个或多个注视传感器410捕获数据，并且基于从注视传感器410捕获的数据来确定注视位置408a和408b。在一些实施方案中，电子设备400还(或另选地)确定注视深度以及该注视深度是否对应于图形对象406a至406c。
注视传感器410指向用户并且在操作期间捕获用户的眼睛注视的特征，诸如用户的眼睛的图像数据。在一些实施方案中，注视传感器410包括事件相机，该事件相机基于检测到的光强度随时间变化而从用户(例如，用户的眼睛)检测事件数据并且使用事件数据来确定注视方向和/或注视深度。任选地，电子设备400使用图像数据和事件数据两者来确定注视方向和/或注视深度。任选地，电子设备400使用射线投射和/或锥形投射来确定注视方向和/或注视深度。在一些实施方案中，使用多个注视传感器410。
基于用户的眼睛注视的特征(例如，注视方向和/或注视深度)，电子设备400确定注视位置408a和408b对应于双显示器402a和402b上显示图形对象406a至406c的位置(例如，从用户的眼睛投射的射线或锥形至少部分地与显示器402a和402b上出现图形对象406a至406c的位置相交)。
在确定注视位置408a和408b对应于图形对象406a至406c之后，选择对应的图形对象406a并显示文本字符，如参考图3A至图3B所示。例如，如图4A所示，如果选择了图形对象406a并接收到对应于字词“Jane”的输入，则在图形对象406a的文本输入字段中显示“Jane”。
在将一个或多个文本字符输入到图形对象406a的文本输入字段中之后，注视位置408a和408b可移动到图形对象406b，如图4A所示。在确定注视位置408a和408b对应于图形对象406b之后，选择该图形对象406b，如图4B所示。任选地，显示指示以指示图形对象406b被选择。指示的示例包括在图形对象406b内显示光标412或突出显示图形对象406b的边界区域(例如，如果先前未显示边界，则显示边界，显示较厚的边界，或以不同颜色显示边界)。在一些实施方案中，该指示包括音频输出(例如，哔哔声)或触觉输出。然后可以接收另外的输入，并且可以在图形对象406b的文本输入字段中显示另外的文本字符。
现在转向图5，其描绘了用于使用眼睛注视来选择文本输入字段的示例性过程500的流程图。可使用用户设备(例如，100a、300或400)来执行过程500。该用户设备例如是台式计算机、膝上型计算机、手持式移动设备、头戴式显示设备或平视显示设备。应当认识到，在其他实施方案中，使用两个或更多个电子设备来执行过程500，诸如通信地耦接到另一设备(诸如基础设备)的用户设备。在这些实施方案中，过程500的操作以任何方式分布在用户设备与所述另一设备之间。此外，应当理解，用户设备的显示器(或多个显示器)可以是透明的或不透明的。还应当理解，过程500可应用于CGR应用程序，诸如虚拟现实、增强现实或混合现实应用程序。尽管在图5中以特定顺序示出了过程500的框，但是应当理解，可以其他顺序执行这些框。此外，过程500的一个或多个框可以被部分执行，被任选地执行，与另一个(些)框组合执行，和/或可以执行附加框。
在框502处，在一个或多个显示器上显示包括文本输入字段的图形对象(例如，图形对象306a至306c或406a至406c)。该文本输入字段与该一个或多个显示器上的一个或多个相应的位置相关联。在一些实施方案中，该一个或多个相应的位置对应于该文本输入字段在第一显示器上的第一显示位置和该文本输入字段在第二显示器上的第二显示位置。
在框504处，使用一个或多个注视传感器(例如，注视传感器310或410)来确定眼睛注视的一个或多个特征。在一些实施方案中，该眼睛注视的特征包括注视方向和/或注视深度。任选地，使用射线投射或锥形投射来确定注视方向或注视深度。
在框506处，使用该眼睛注视的该一个或多个特征来确定注视位置(例如，注视位置308或408)。在一些实施方案中，确定该注视位置包括使用该眼睛注视的一个或多个特征来确定该眼睛注视指向该注视位置达第一预先确定的时间量。在一些实施方案中，当眼睛注视指向另一位置小于第二预先确定的时间量时，保持该注视位置。
在框508处，从输入设备接收对应于一个或多个文本字符的输入。在一些实施方案中，该输入设备包括语音转文本引擎，并且所接收的输入是提供给麦克风的自然语言(例如，语音)输入。在一些实施方案中，该输入设备是键盘。在一些实施方案中，该输入设备是触敏表面(例如，触控板或者触摸屏)。
在框510处，根据确定该注视位置对应于该一个或多个相应的位置，在该文本输入字段中显示该一个或多个文本字符；任选地，提供该注视位置对应于一个或多个相应的位置的指示(例如，光标312或412)。
在框512处，根据确定该注视位置不对应于该一个或多个相应的位置，不在该文本输入字段中显示该一个或多个文本字符。
在一些实施方案中，与一个或多个相应第二位置相关联的第二文本输入字段显示在该一个或多个显示器上。当该注视位置对应于该一个或多个相应的第二位置，在该第二文本输入字段中显示该一个或多个文本字符。
用于执行上述方法500的特征的可执行指令任选地被包括在被配置为由一个或多个处理器(例如，一个或多个处理器102)执行的暂态或非暂态计算机可读存储介质(例如，一个或多个存储器106)或其他计算机程序产品中。
出于例示和描述的目的呈现了具体实施方案的前述描述。它们并非旨在穷举或将权利要求的范围限制于所公开的精确形式，并且应当理解，鉴于上述教导，许多修改和变型是可能的。

Claims (14)

1.一种方法，包括：
在具有一个或多个注视传感器和一个或多个显示器的电子设备处：
在所述一个或多个显示器上显示包括文本输入字段的图形对象，其中所述文本输入字段与所述一个或多个显示器上的一个或多个相应的位置相关联；
使用所述一个或多个注视传感器来确定眼睛注视的一个或多个特征；
使用所述眼睛注视的所述一个或多个特征来确定注视位置；
从输入设备接收对应于一个或多个文本字符的输入；
根据确定所述注视位置对应于所述一个或多个相应的位置，在所述文本输入字段中显示所述一个或多个文本字符；以及
根据确定所述注视位置不对应于所述一个或多个相应的位置，放弃在所述文本输入字段中显示所述一个或多个文本字符。
2.根据权利要求1所述的方法，其中所述一个或多个相应的位置对应于所述文本输入字段在第一显示器上的第一显示位置和所述文本输入字段在第二显示器上的第二显示位置。
3.根据权利要求1或2所述的方法，还包括：
根据确定所述注视位置对应于所述一个或多个相应的位置，提供所述注视位置对应于所述一个或多个相应的位置的指示。
4.根据权利要求1至3中任一项所述的方法，其中所述输入设备包括语音转文本引擎，并且所接收的输入是提供给麦克风的自然语言输入。
5.根据权利要求1至4中任一项所述的方法，其中所述输入设备是键盘。
6.根据权利要求1至5中任一项所述的方法，其中所述输入设备是触敏表面。
7.根据权利要求1至6中的任一项所述的方法，还包括：
显示包括第二文本输入字段的第二图形对象，其中所述第二文本输入字段与所述一个或多个显示器上的一个或多个相应的第二位置相关联；以及
根据确定所述注视位置对应于所述一个或多个相应的第二位置，在所述第二文本输入字段中显示所述一个或多个文本字符。
8.根据权利要求1至7中任一项所述的方法，其中确定所述注视位置包括使用所述眼睛注视的所述一个或多个特征来确定所述眼睛注视指向所述注视位置达第一预先确定的时间量。
9.根据权利要求1至8中任一项所述的方法，还包括：
当所述眼睛注视指向另一位置小于第二预先确定的时间量时，保持所述注视位置。
10.一种存储一个或多个程序的非暂态计算机可读存储介质，所述一个或多个程序被配置为由具有一个或多个显示器和一个或多个注视传感器的电子设备的一个或多个处理器执行，所述一个或多个程序包括用于执行根据权利要求1至9中任一项所述的方法的指令。
11.一种电子设备，包括：
一个或多个显示器；
一个或多个注视传感器；
一个或多个处理器；以及
存储器，所述存储器存储被配置为由所述一个或多个处理器执行的一个或多个程序，所述一个或多个程序包括用于执行根据权利要求1至9中任一项所述的方法的指令。
12.一种存储一个或多个程序的非暂态计算机可读存储介质，所述一个或多个程序被配置为由具有一个或多个显示器和一个或多个注视传感器的电子设备的一个或多个处理器执行，所述一个或多个程序包括用于以下操作的指令：
在所述一个或多个显示器上显示包括文本输入字段的图形对象，其中所述文本输入字段与所述一个或多个显示器上的一个或多个相应的位置相关联；
使用所述一个或多个注视传感器来确定眼睛注视的一个或多个特征；
使用所述眼睛注视的所述一个或多个特征来确定注视位置；
从输入设备接收对应于一个或多个文本字符的输入；
根据确定所述注视位置对应于所述一个或多个相应的位置，在所述文本输入字段中显示所述一个或多个文本字符；以及
根据确定所述注视位置不对应于所述一个或多个相应的位置，放弃在所述文本输入字段中显示所述一个或多个文本字符。
13.一种电子设备，包括：
一个或多个显示器；
一个或多个注视传感器；
一个或多个处理器；以及
存储器，所述存储器存储被配置为由所述一个或多个处理器执行的一个或多个程序，所述一个或多个程序包括用于以下操作的指令：
在所述一个或多个显示器上显示包括文本输入字段的图形对象，其中所述文本输入字段与所述一个或多个显示器上的一个或多个相应的位置相关联；
使用所述一个或多个注视传感器来确定眼睛注视的一个或多个特征；
使用所述眼睛注视的所述一个或多个特征来确定注视位置；
从输入设备接收对应于一个或多个文本字符的输入；
根据确定所述注视位置对应于所述一个或多个相应的位置，在所述文本输入字段中显示所述一个或多个文本字符；以及
根据确定所述注视位置不对应于所述一个或多个相应的位置，放弃在所述文本输入字段中显示所述一个或多个文本字符。
14.一种电子设备，包括：
用于在所述一个或多个显示器上显示包括文本输入字段的图形对象的装置，其中所述文本输入字段与所述一个或多个显示器上的一个或多个相应的位置相关联；
用于使用所述一个或多个注视传感器来确定眼睛注视的一个或多个特征的装置；
用于使用所述眼睛注视的所述一个或多个特征来确定注视位置的装置；
用于从输入设备接收对应于一个或多个文本字符的输入的装置；
用于根据确定所述注视位置对应于所述一个或多个相应的位置来在所述文本输入字段中显示所述一个或多个文本字符的装置；以及
用于根据确定所述注视位置不对应于所述一个或多个相应的位置放弃在所述文本输入字段中显示所述一个或多个文本字符的装置。
CN201980028660.1A 2018-05-09 2019-04-24 使用眼睛注视来选择文本输入字段 Active CN112041788B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201862669290P 2018-05-09 2018-05-09
US62/669,290 2018-05-09
PCT/US2019/028980 WO2019217081A1 (en) 2018-05-09 2019-04-24 Selecting a text input field using eye gaze

Publications (2)

Publication Number Publication Date
CN112041788A true CN112041788A (zh) 2020-12-04
CN112041788B CN112041788B (zh) 2024-05-03

Family

ID=66776872

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980028660.1A Active CN112041788B (zh) 2018-05-09 2019-04-24 使用眼睛注视来选择文本输入字段

Country Status (3)

Country Link
US (1) US11314396B2 (zh)
CN (1) CN112041788B (zh)
WO (1) WO2019217081A1 (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111052042B (zh) 2017-09-29 2022-06-07 苹果公司 基于注视的用户交互
JP7269131B2 (ja) * 2019-08-14 2023-05-08 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置、視線検出システム、視線検出方法および視線検出プログラム
US11599717B2 (en) * 2020-03-20 2023-03-07 Capital One Services, Llc Separately collecting and storing form contents
CN111459288B (zh) * 2020-04-23 2021-08-03 捷开通讯(深圳)有限公司 一种运用头控实现语音输入的方法和装置
US11960790B2 (en) 2021-05-27 2024-04-16 Microsoft Technology Licensing, Llc Spatial attention model enhanced voice engagement system
CN114047872A (zh) * 2021-10-11 2022-02-15 北京理工大学 一种文本输入方法和系统

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004037149A (ja) * 2002-07-01 2004-02-05 Mazda Motor Corp 経路誘導装置、経路誘導方法、及び、経路誘導用プログラム
JP2009064395A (ja) * 2007-09-10 2009-03-26 Hiroshima Univ ポインティングデバイス、操作者の注視位置とカーソルの位置との誤差の補正をコンピュータに実行させるためのプログラムおよびそのプログラムを記録したコンピュータ読み取り可能な記録媒体
CN103164017A (zh) * 2011-12-12 2013-06-19 联想(北京)有限公司 一种眼控输入方法及电子设备
US20140096076A1 (en) * 2012-09-28 2014-04-03 Nokia Corporation Presentation of a notification based on a user's susceptibility and desired intrusiveness
US20140184550A1 (en) * 2011-09-07 2014-07-03 Tandemlaunch Technologies Inc. System and Method for Using Eye Gaze Information to Enhance Interactions
US20140201844A1 (en) * 2013-01-14 2014-07-17 Lookout, Inc. Detection of and privacy preserving response to observation of display screen
US20160116980A1 (en) * 2013-03-01 2016-04-28 Tobii Ab Two step gaze interaction
WO2016099706A1 (en) * 2014-12-18 2016-06-23 Google Inc. Methods, systems, and media for presenting requested content on public display devices
US20170090566A1 (en) * 2012-01-04 2017-03-30 Tobii Ab System for gaze interaction

Family Cites Families (53)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8965460B1 (en) 2004-01-30 2015-02-24 Ip Holdings, Inc. Image and augmented reality based networks using mobile devices and intelligent electronic glasses
KR101181766B1 (ko) 2005-12-23 2012-09-12 엘지전자 주식회사 이동통신 단말기에서의 메뉴 표시 방법, 및 그 방법을구현하기 위한 이동통신 단말기
KR100820639B1 (ko) 2006-07-25 2008-04-10 한국과학기술연구원 시선 기반 3차원 인터랙션 시스템 및 방법 그리고 3차원시선 추적 시스템 및 방법
US8745535B2 (en) 2007-06-08 2014-06-03 Apple Inc. Multi-dimensional desktop
US9916006B2 (en) 2010-07-23 2018-03-13 Telepatheye Inc. Eye-wearable device user interface and method
US8408706B2 (en) 2010-12-13 2013-04-02 Microsoft Corporation 3D gaze tracker
KR20130136566A (ko) 2011-03-29 2013-12-12 퀄컴 인코포레이티드 로컬 멀티-사용자 협업을 위한 모듈식 모바일 접속된 피코 프로젝터들
AU2011205223C1 (en) 2011-08-09 2013-03-28 Microsoft Technology Licensing, Llc Physical interaction with virtual objects for DRM
US9342610B2 (en) 2011-08-25 2016-05-17 Microsoft Technology Licensing, Llc Portals: registered objects as virtualized, personalized displays
US20130241805A1 (en) * 2012-03-15 2013-09-19 Google Inc. Using Convergence Angle to Select Among Different UI Elements
US11169611B2 (en) 2012-03-26 2021-11-09 Apple Inc. Enhanced virtual touchpad
US9041622B2 (en) 2012-06-12 2015-05-26 Microsoft Technology Licensing, Llc Controlling a virtual object with a real controller device
US9977492B2 (en) 2012-12-06 2018-05-22 Microsoft Technology Licensing, Llc Mixed reality presentation
US9202313B2 (en) 2013-01-21 2015-12-01 Microsoft Technology Licensing, Llc Virtual interaction with image projection
WO2015017242A1 (en) 2013-07-28 2015-02-05 Deluca Michael J Augmented reality based user interfacing
TWI526878B (zh) 2013-10-04 2016-03-21 大同股份有限公司 控制電子裝置的方法、手持電子裝置與監控系統
US10048748B2 (en) 2013-11-12 2018-08-14 Excalibur Ip, Llc Audio-visual interaction with user devices
US10558262B2 (en) 2013-11-18 2020-02-11 Tobii Ab Component determination and gaze provoked interaction
JP6210023B2 (ja) 2013-11-28 2017-10-11 株式会社Ｊｖｃケンウッド 視線検出支援装置および視線検出支援方法
US9201578B2 (en) 2014-01-23 2015-12-01 Microsoft Technology Licensing, Llc Gaze swipe selection
US20160085072A1 (en) 2014-01-24 2016-03-24 Osterhout Group, Inc. See-through computer display systems
EP3097459A1 (en) 2014-01-24 2016-11-30 Sony Corporation Face tracking for a mobile device
US20160371888A1 (en) 2014-03-10 2016-12-22 Bae Systems Plc Interactive information display
US10203762B2 (en) 2014-03-11 2019-02-12 Magic Leap, Inc. Methods and systems for creating virtual and augmented reality
US11138793B2 (en) 2014-03-14 2021-10-05 Magic Leap, Inc. Multi-depth plane display system with reduced switching between depth planes
US9804753B2 (en) 2014-03-20 2017-10-31 Microsoft Technology Licensing, Llc Selection using eye gaze evaluation over time
KR20150118813A (ko) 2014-04-15 2015-10-23 삼성전자주식회사 햅틱 정보 운용 방법 및 이를 지원하는 전자 장치
KR102248474B1 (ko) 2014-04-30 2021-05-07 삼성전자 주식회사 음성 명령 제공 방법 및 장치
US9766715B2 (en) 2014-05-01 2017-09-19 Seiko Epson Corporation Head-mount type display device, control system, method of controlling head-mount type display device, and computer program
WO2015183014A1 (en) 2014-05-28 2015-12-03 Samsung Electronics Co., Ltd. Apparatus and method for controlling internet of things devices
US10353532B1 (en) 2014-12-18 2019-07-16 Leap Motion, Inc. User interface for integrated gestural interaction and multi-user collaboration in immersive virtual reality environments
JP6491517B2 (ja) 2015-03-31 2019-03-27 Kddi株式会社 画像認識ａｒ装置並びにその姿勢推定装置及び姿勢追跡装置
US9652897B2 (en) 2015-06-25 2017-05-16 Microsoft Technology Licensing, Llc Color fill in an augmented reality environment
EP3118722B1 (en) 2015-07-14 2020-07-01 Nokia Technologies Oy Mediated reality
KR102196975B1 (ko) 2015-08-15 2020-12-30 구글 엘엘씨 실제 객체 및 가상 객체와 상호작용하기 위한 생체기계적 기반의 안구 신호를 위한 시스템 및 방법
US10101803B2 (en) 2015-08-26 2018-10-16 Google Llc Dynamic switching and merging of head, gesture and touch input in virtual reality
US10630965B2 (en) 2015-10-02 2020-04-21 Microsoft Technology Licensing, Llc Calibrating a near-eye display
KR20170055295A (ko) 2015-11-11 2017-05-19 엘지전자 주식회사 이동 단말기 및 그 이동 단말기의 제어 방법
US20170153701A1 (en) 2015-12-01 2017-06-01 Thalmic Labs Inc. Systems, devices, and methods for wearable heads-up displays as wireless controllers
WO2017111234A1 (en) 2015-12-23 2017-06-29 Samsung Electronics Co., Ltd. Method for electronic device to control object and electronic device
US10708573B2 (en) 2016-01-04 2020-07-07 Occipital, Inc. Apparatus and methods for three-dimensional sensing
US10063560B2 (en) 2016-04-29 2018-08-28 Microsoft Technology Licensing, Llc Gaze-based authentication
US10268266B2 (en) 2016-06-29 2019-04-23 Microsoft Technology Licensing, Llc Selection of objects in three-dimensional space
US10198855B2 (en) 2016-07-20 2019-02-05 Colopl, Inc. Method of providing virtual space, method of providing virtual experience, system and medium for implementing the methods
US10110678B2 (en) 2016-08-19 2018-10-23 Sony Corporation System and method for data communication based on image processing
JP6373920B2 (ja) 2016-09-14 2018-08-15 株式会社バンダイナムコエンターテインメント シミュレーションシステム及びプログラム
KR102499139B1 (ko) 2016-09-21 2023-02-13 삼성전자주식회사 이미지를 표시하는 전자 장치 및 그 제어 방법
US11132840B2 (en) 2017-01-16 2021-09-28 Samsung Electronics Co., Ltd Method and device for obtaining real time status and controlling of transmitting devices
CN106951069A (zh) 2017-02-23 2017-07-14 深圳市金立通信设备有限公司 一种虚拟现实界面的控制方法及虚拟现实设备
US11175735B2 (en) * 2017-07-24 2021-11-16 Adobe Inc. Choice-based analytics that combine gaze and selection data
CN111052042B (zh) 2017-09-29 2022-06-07 苹果公司 基于注视的用户交互
JP6730363B2 (ja) * 2018-04-13 2020-07-29 ファナック株式会社 操作訓練システム
US20200301553A1 (en) 2019-03-22 2020-09-24 Sony Interactive Entertainment Inc. Establishing and using virtual assets on tangible objects in augmented reality (ar) and virtual reality (vr)

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004037149A (ja) * 2002-07-01 2004-02-05 Mazda Motor Corp 経路誘導装置、経路誘導方法、及び、経路誘導用プログラム
JP2009064395A (ja) * 2007-09-10 2009-03-26 Hiroshima Univ ポインティングデバイス、操作者の注視位置とカーソルの位置との誤差の補正をコンピュータに実行させるためのプログラムおよびそのプログラムを記録したコンピュータ読み取り可能な記録媒体
US20140184550A1 (en) * 2011-09-07 2014-07-03 Tandemlaunch Technologies Inc. System and Method for Using Eye Gaze Information to Enhance Interactions
CN103164017A (zh) * 2011-12-12 2013-06-19 联想(北京)有限公司 一种眼控输入方法及电子设备
US20170090566A1 (en) * 2012-01-04 2017-03-30 Tobii Ab System for gaze interaction
US20140096076A1 (en) * 2012-09-28 2014-04-03 Nokia Corporation Presentation of a notification based on a user's susceptibility and desired intrusiveness
US20140201844A1 (en) * 2013-01-14 2014-07-17 Lookout, Inc. Detection of and privacy preserving response to observation of display screen
US20160116980A1 (en) * 2013-03-01 2016-04-28 Tobii Ab Two step gaze interaction
WO2016099706A1 (en) * 2014-12-18 2016-06-23 Google Inc. Methods, systems, and media for presenting requested content on public display devices

Also Published As

Publication number Publication date
WO2019217081A1 (en) 2019-11-14
US11314396B2 (en) 2022-04-26
US20210240331A1 (en) 2021-08-05
CN112041788B (zh) 2024-05-03

Similar Documents

Publication Publication Date Title
US11714592B2 (en) Gaze-based user interactions
US11756269B2 (en) Tangibility visualization of virtual objects within a computer-generated reality environment
CN110968188B (zh) 基于头部位置的应用程序放置
CN112041788B (zh) 使用眼睛注视来选择文本输入字段
US11302086B1 (en) Providing features of an electronic product in an augmented reality environment
CN110968187B (zh) 由外围设备启用的远程触摸检测
US11842449B2 (en) Presenting an environment based on user movement
CN112292657B (zh) 围绕布景进行移动
US11893154B2 (en) Systems, methods, and graphical user interfaces for updating display of a device relative to a user's body
US11315215B2 (en) Movement within an environment
CN110968248B (zh) 生成用于视觉触摸检测的指尖的3d模型
US20240062487A1 (en) Presenting an environment based on user movement
US12033240B2 (en) Method and device for resolving focal conflict
US20210097729A1 (en) Method and device for resolving focal conflict
CN112578983A (zh) 手指取向触摸检测
CN111913568A (zh) 与配置显示设备相关的技术

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant