CN104903818B - 眼睛跟踪佩戴式设备和使用方法 - Google Patents

眼睛跟踪佩戴式设备和使用方法 Download PDF

Info

Publication number
CN104903818B
CN104903818B CN201380068249.XA CN201380068249A CN104903818B CN 104903818 B CN104903818 B CN 104903818B CN 201380068249 A CN201380068249 A CN 201380068249A CN 104903818 B CN104903818 B CN 104903818B
Authority
CN
China
Prior art keywords
user
worn type
type equipment
eyes
equipment
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201380068249.XA
Other languages
English (en)
Other versions
CN104903818A (zh
Inventor
E·德雷克
G·阿马娅
A·卡诺
D·勒布朗克
Z·刘
J·马格拉夫
R·皮尔斯
N·G·普布卡福尔
C·N·斯皮塔勒
M·瓦茨娜
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Google LLC
Original Assignee
Google LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Google LLC filed Critical Google LLC
Publication of CN104903818A publication Critical patent/CN104903818A/zh
Application granted granted Critical
Publication of CN104903818B publication Critical patent/CN104903818B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/14—Arrangements specially adapted for eye photography
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B17/00—Details of cameras or camera bodies; Accessories therefor
    • G03B17/38—Releasing-devices separate from shutter
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/163—Wearable computers, e.g. on a belt
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B2213/00—Viewfinders; Focusing aids for cameras; Means for focusing for cameras; Autofocus systems for cameras
    • G03B2213/02—Viewfinders
    • G03B2213/025—Sightline detection

Abstract

提供用于眼睛跟踪的设备和方法，如包括自由形式的光学组件和/或模块化设计。在示例性实施例中，提供一种设备和方法，该设备包括在用户头部上的佩戴式设备，佩戴式设备包括被定向以捕获用户周围图像的场景摄像机。用户可以利用用户的眼睛执行预定行为以激活佩戴式设备的照片特征、注视在用户周围内的区域，基于中心点，佩戴式设备确定用于摄像机成像场的焦点和有限视场，且激活摄像机以捕获围绕焦点为中心的有限视场的图像。

Description

眼睛跟踪佩戴式设备和使用方法
相关申请数据
本申请要求共同未决临时申请，即2012年12月6日提交的序列号分别为61/734,354、61/734,294和61/734,342的权益，其全部公开以引用的方式明确地并入本文。
技术领域
本发明通常涉及用于眼睛跟踪的装置、系统和方法以产生注视映射，如确定空间中的位置或由一只或两只眼睛观察到的(一个或多个)物体。
背景技术
佩戴式设备和系统是有益的，因为使用靠近一只或两只眼睛的平台的眼睛测量降低由头部移动和其他来源生成的测量误差。历史上，由于与佩戴式眼睛跟踪设备有关的局限性，佩戴式应用限于研究、眼科手术和军事领域。由于所需摄像机位置不便，导致佩戴式系统趋向于体积大且昂贵。惯例，制造成像和照明系统的困难在于要求实现不显眼的外形因素。如果系统未连接到计算机，注视映射和/或注视确定可以是数据且计算密集导致有限的实时功能。最后，获得更高精确度的一个方法是根据眼睛图像中的位置和饱和度控制闪烁的存在。结果，户外功能由以外来闪烁的形式的噪声明显限制。外来闪烁通常由在系统外部的光源(直接的或间接的)引起。
一个示例是在眼睛图像中捕获的、用户眼睛中的场景的映像。对于类似的原因，依靠用于注视确定的浦肯野(Purkinje)图像的眼睛跟踪系统经常与眼镜和隐形佩戴者不相宜。
发明内容
本发明针对用于眼睛跟踪的装置、系统和方法，例如，以产生注视映射，如确定空间中的位置或确定由一只或两只眼睛观察到的(一个或多个)物体。具体地，本文提出的方案可以与移动设备(如平板电脑)相配，该移动设备对环境照明条件如明亮的阳光成模块化且/或是鲁棒的。
本文装置、系统和方法涉及应用中的眼睛跟踪，在应用中，移动的佩戴式设备用于用户视觉反馈和/或期望对一致的性能具有环境鲁棒性。不像其他眼睛跟踪系统，本文中的系统可以是低成本的和/或不引人注目的，其具有安装在架构上的部件，如类似于一副典型的太阳镜或其他头饰。由于眼睛移动对人的做决定的过程和技能提供有用的洞察力，则确定注视点位置的能力和/或使用眼睛移动来控制和/或与设备的宽阵列交互的能力可以是有用的。
佩戴式眼睛跟踪设备中的一个障碍是不引人注目的摄像机位置。用于成像眼睛的理想位置是紧靠在眼睛前。历史上，选择移动摄像机和光学器件到头部一侧并包含热镜或其他反射镜，或选择将摄像机离轴移动到眼睛以下。后一种方法导致紧紧约束的机械设计以让用户看不到。另外，高视角使眼睛和瞳孔检测复杂化。需要一种方案使眼睛能够直视，同时能够具有重量轻的、紧凑的外形因素。自由形式的光学表面是一个可能的方案，如在美国公开号2012/0162549中由高(Gao)等人和2012/0081800中由程(Cheng)等人公开的方案，其全部公开成果以引用的方式明确地并入本文。传感器和耦合透镜组件可以靠近太阳穴定位，且自由形式的光学器件如棱镜或波导可以被设计，使得眼睛的正前方视图在重量轻的、不引人注目的耳机的约束内获得。优化自由形式的模块的入射光瞳和厚度以成像眼睛，且补偿透镜可以连接到自由形式的光学器件的外表面以给用户提供场景的无畸变视图。补偿透镜可以包含或可以不包含用户的处方(prescription)校正。
典型地，佩戴式设备与眼镜不相宜或放置在眼镜上。如果相反，用户的处方被包含到光学系统设计，那么根据用户的立足点，系统可以是体积小的和/或不灵活的。
为缓和一些耦合/反射光学器件的性能约束，由于目标不是产生图像数据而是产生眼睛跟踪数据，所以光学精度可以代替光学空间传递函数的知识。实际上，这可以包括波前编码技术和/或给出每个像素的实际位置(相对于使用阵列内的像素的索引来表示空间距离)的二维(2D)查询表的发展。为了成本效率，机械和光学设计的模块化方法可以是有用的。
例如，紧凑的自由形式的波导可以结合到眼睛跟踪产品一类中。在此系统中，传感器、光源、耦合透镜组件、自由形式的光学器件和补偿透镜中每个都可以是可以拆除和/或由不同的应用专用和/或用户专用的部件所取代的模块。例如，在示例性实施例中，包括多个不同设计或配置的(例如六个设计)部件的工具箱，可以被提供用于更常规的视觉校正处方。
因为在从近眼显示器(near-eye display“NED”)移动到眼睛跟踪的唯一方案中移除显示器缓和对设计的约束，如在美国公开号2012/0162549中公开那样，模块化方法可以是可行的。眼睛照明和用于跟踪的眼睛图像可以使用窄带(通常在红外附近)波长来执行。这可以缓和对自由形式的光学器件设计内的表面的设计的约束，因为不仅系统可以忍受用于眼睛跟踪的图像内的空间畸变(正如所述的)，而且由于没有用于投射的显示(可见波长)，与像差有关的问题也可以在照明光束路径中得以缓和。另外，用于自由形式的光学器件内的全内反射和/或反射镀膜的条件可以更容易维持在眼睛跟踪的唯一系统中。类似地，用于将图像传输到摄像机的耦合光学器件(如在美国公开号2012/0162549中公开的那些器件)可以在能够忍受空间畸变和/或像差的注视跟踪系统中简化和/或移除。
设计模块化也可以增加照明配置和眼睛跟踪的算法方法的灵活性。以轴上模式观察眼睛的能力能够实现亮瞳孔跟踪。通过结合设计内的同轴闪烁源配置和轴外闪烁源配置，具有与摄像机的光学轴线同轴的照明的序列图像(“亮瞳孔”或浦肯野图像)和不具有与摄像机的光学轴线同轴的照明的序列图像(暗瞳孔图像)可以被减掉以使瞳孔隔离(甚至在FPGA或ASIC内)。亮瞳孔图像中的辐照度分布可以给出轴上眼睛如何与投射照明和图像采集有关的一些指示。可选地，暗瞳孔图像中对眼睛的闪烁可以用来继续进行角膜中心的计算。
移到模块化方案能够使外形因素具有灵活性，使得注视跟踪设备可以结合至佩戴式设备，如太阳镜、防护眼镜、口罩、头盔、耳机等等。设计中的这种灵活性扩大佩戴式眼睛跟踪系统可以在其中被实施的用例数量。于是，局限性在于视频压缩、传输和处理的要求。为了缓和向与移动设备相配的无线的或已连接的便携系统的过渡，深入到模块中的仔细算法分解可以从CPU转向集成到佩戴式设备的眼镜(temple arm)(或其他位置)的嵌入式处理单元且可以减少数据传输所需的带宽量。
一旦注视映射系统是真实移动的且是在环境上是鲁棒的，可能的用例范围明显增加。例如，参考施工监测期间的蓝图，仓库库存和专家-新手的运动训练可以使用对结构移动、眼睛控制和/或户外功能具有鲁棒性的移动系统得以促进。
另外或可选地，可以理解，本文的任何设备可以包括一个或多个方法来利用可用环境亮度并且将眼睛检测限制到窄波长范围或一组范围。对于眼睛跟踪，只有近红外(near-infrared,“IR”)光的窄带可以用于眼睛成像，但经过适当设计之后，可以大体上允许百分之百(100％)的可见光(减去材料接口处的损耗)被传输用于穿戴者以观察场景。也可以使用如镀膜、光栅、滤波和/或多光源的技术。镀膜可以包括金属和介电材料和/或可以在功能上是反射的或抗反射的，包括二色性方案。
注视跟踪系统在相对于给定用户的脸部的结构位置中的小的移动具有鲁棒性且允许无限制的头部移动，这一点通常是有用的。然而，在移动场景中，满足这两种情况可能是重要的。两种情况可以通过相对于观察平面的内空间(成像和/或跟踪一只或两只眼睛)和外空间(成像用户的周围或“场景”)的合适的标准化来完成。注视点可以由左眼和右眼注视向量的收敛确定。随后，信息可以通过移动设备作为场景摄像机视频上的叠加(overlay)转送给用户。
例如，出于新手训练的目的，用于户外三维(3D)注视点(point of regard，“POR”)而已优化的头盔式眼睛跟踪眼镜可以用于记录执行专门技能(如踢足球)的职业运动员(专家)的视觉行为。在此情况下，3D注视点可以叠加在场景图像上。POR视频和视数据可以被记录在已连接的记录设备上和/或可以无线地流到平板电脑或其他计算设备。随后，训练员可以能够创建新手训练程序，该程序使用专家的视觉行为证明用于技巧提升的最佳视觉模式。
通过监测眨眼行为和瞳孔尺寸，视数据检测睡意和疲劳。这些指标可以集成到用户界面(“UI”)以使用物体识别来警告不安全情况下的员工(如危险、地板潮湿、周边其他员工等)或记录员工工作行为以确保性能达到期望的标准和/或品质不被损害。
当注视点数据集成到具有光标控制的更详细的用户界面时，眼睛移动可以与利用手部、脚部和/或其他身体移动来指挥计算机和其他控制应用的其他输入设备一起可交换地使用。具有移动设备的配对眼睛控制开始应用，在应用中，使用结合了预定位标签的眼睛移动，例如，能够让用户具有更自然的体验，如在仓库库存的情况下。另外，它为各种应用提供基本的、可视的用户反馈的好处。
例如，考虑确定照片已拍摄的行为。查看作为菜单/控件的在策略上已定位的指示器(LED或其他光源)的能力生成简单的用户界面，在该用户界面中，例如，用户可以允许他们的注视存在于作为UI控件的LED指示器的图像上以告诉系统准备拍照。示例性方法可以包括：
○注视“拍照”LED，直到其从“红”变到“绿”；
○注视用户想要针对其精细拍照的图像的中心点，，如限定焦点；且
○拍摄围绕焦点为中心的有限视场照片，或
○在来自LED的周边视野中的适当反馈的情况下，先注视虚拟框架的左上角，再注视右下角。
根据示例性实施例，提供一种拍摄数字照片的方法，所述方法包括将佩戴式设备戴在用户头部上，佩戴式设备包括被定向以捕获用户的周围图像的场景摄像机；利用用户的眼睛执行预定行为以激活佩戴式设备的照片特征；注视在用户的周围内的区域的中心点，基于中心点，佩戴式设备确定用于摄像机成像场的焦点和有限视场；且激活摄像机以捕获围绕焦点为中心的有限视场的图像。
根据另一个实施例，提供一种拍摄数字照片的方法，所述方法包括将佩戴式设备戴在用户头部上，佩戴式设备包括被定向以捕获用户的周围图像的场景摄像机；注视佩戴式设备的预定位置以激活佩戴式设备的照片特征；注视在用户的周围内的区域的中心点，基于中心点，佩戴式设备确定用于摄像机成像场的焦点和有限视场；且激活摄像机以捕获围绕焦点为中心的有限视场的图像。
在示例性实施例中，注视佩戴式设备的预定位置以激活照片特征包括注视佩戴式设备上的“拍照”LED，直到佩戴式设备改变LED，如改变LED的颜色，用以指示照片特征是激活的。
根据又一个实施例，提供一种拍摄数字照片的方法，所述方法包括将佩戴式设备戴在用户头部上，佩戴式设备包括被定向以捕获用户的周围图像的场景摄像机；注视佩戴式设备的预定位置以激活佩戴式设备的照片特征；注视在用户的周围内的区域的虚拟框架的对角，基于根据已确定的角的中心点，佩戴式设备确定用于摄像机成像场的焦点和有限视场；且激活摄像机以捕获围绕焦点为中心的有限视场的图像。
根据再一个实施例，提供一种拍摄数字照片的设备，所述设备包括佩戴式设备，其经配置戴在用户头部上；在佩戴式设备上的内窥摄像机，其经配置当佩戴式设备由用户戴着时，获取眼睛的眼睛跟踪图像；在佩戴式设备上的外部摄像机，其经配置当佩戴式设备由用户戴着时，获取用户周围的图像；和一个或更多个处理器，其连接到内窥摄像机以确定用户何时利用用户的眼睛执行预定行为来激活佩戴式设备的照片特征，该一个或更多个处理器连接到外部摄像机以确定用户何时以预定方式注视在用户周围内的区域，该一个或更多个处理器基于预定方式确定用于外部摄像机成像场的焦点和有限视场，并激活外部摄像机以捕获围绕焦点为中心的有限视场的图像。
根据另一个实施例，提供一种用于眼睛跟踪的设备，所述设备包括佩戴式设备，其经配置戴在用户头部上；安装在佩戴式设备上的自由形式的波导，使得当佩戴式设备由用户戴着时，波导放置在用户眼睛前，波导包括形成于其中的一个或更多个记号；在佩戴式设备上的内窥摄像机连接到波导以当佩戴式设备由用户戴着时，获取眼睛的眼睛跟踪图像；和在佩戴式设备上的一个或更多个光源，其将光引入波导，使得光朝向眼睛反射离开一个或更多个记号，一个或更多个记号进一步配置为聚焦朝向眼睛通过波导而进入波导的外表面的光。
可选择地，设备可以包括在佩戴式设备上的周围环境光传感器；和一个或更多个处理器，其连接到周围环境光传感器以确定戴着佩戴式设备的用户周围的周围环境光的水平，该一个或更多个处理器连接到一个或更多个光源以在眼睛跟踪序列期间，当周围环境光的水平低于预定阈值时激活光源。
另外或可选地，设备可以包括安装在波导前、佩戴式设备上的补偿透镜，使得波导配置在补偿透镜和戴着佩戴式设备的用户的眼睛之间。可选地，补偿透镜是太阳镜片，和/或是永久带色的。在另一选择中，补偿透镜和波导中的至少一个包括其中的粒子，其经配置为穿过其中的光提供可变的不透明度或透明度，设备还包括电压源，其是选择性可激活的以引起粒子控制不透明度或透明度。
根据再一个实施例，提供一种用于眼睛跟踪的方法，所述方法包括将佩戴式设备戴在用户头部上，佩戴式设备包括安装于其上的自由形式的波导，使得波导放置在用户眼睛前，波导包括形成于其中的一个或更多个记号；确定何时在用户周围内的周围环境光条件降到低于预定阈值；当周围环境光条件低于预定阈值时，在使用在佩戴式设备上的内窥摄像机获取眼睛图像的眼睛跟踪序列期间，激活佩戴式设备上的一个或更多个光源，来自一个或更多个光源、穿过波导的光离开朝向眼睛反射离开一个或更多个记号；确定何时在用户周围内的周围环境光条件高于预定阈值；且当周围环境光条件高于预定阈值时，在关闭一个或更多个光源的情况下，使用内窥摄像机获取眼睛图像，使得周围环境光朝向眼睛穿过一个或更多个记号。
在示例性实施例中，根据穿过一个或更多个记号的周围环境光，一个或更多个记号对眼睛产生预定闪烁图案(pattern)，所述预定闪烁图案在眼睛图像中获取。另外或可选地，根据来自一个或更多个光源、反射离开一个或更多个记号的光，一个或更多个记号可以产生对眼睛的预定闪烁图案。
根据又一个实施例，提供一种产生定制的眼睛跟踪设备的工具箱，该工具箱包括佩戴式设备，其配置为戴在用户头部上；具有不同光学特性的多个自由形式的波导，每个波导分别可安装于佩戴式设备，使得当佩戴式设备由用户戴着时，波导放置在用户眼睛前；一个或更多个补偿透镜，每个透镜安装于佩戴式设备，使得已安装的波导配置在补偿透镜和戴着佩戴式设备的用户的眼睛之间；和具有不同特性的多个内窥摄像机模块，每个内窥摄像机模块分别可安装于佩戴式设备且连接到已安装的波导，从而当佩戴式设备由用户戴着时，获取眼睛的眼睛跟踪图像。
可选择地，工具箱还可以包括在佩戴式设备上的一个或更多个光源和/或在佩戴式设备上的外部摄像机，所述一个或更多个光源将光引入波导，使得光被引导朝向戴着佩戴式设备的用户的眼睛，所述外部摄像机配置为当佩戴式设备由用户戴着时，提供用户周围的图像。
结合附图根据下列描述的考虑，本发明的其他方面和特征会变得明显。
附图说明
根据以下详细描述，当结合附图阅读时，有助于更好地理解本发明。可以理解的是附图中所示的示例性装置不必要按比例示出，着重于而非强加于图示说明所说明的实施例的各方面和特征。
图1A和图1B分别是佩戴式注视跟踪设备的示例性实施例的立体图和正视图。
图2是包括波导和摄像机模块的眼睛成像模块的示例性实施例的立体图，其中所述波导和摄像机模块可以包括在图1A和图1B的佩戴式设备中。
图3是图2的眼睛成像模块的细节，其中示出该模块的摄像机。
图4是示出图2的眼睛成像模块的细节，该模块被结合到到图1A和图1B的佩戴式设备中。
图5是图1A和图1B的佩戴式设备的组件的示意图。
图6-图8是在图5中所示的佩戴式设备的示意图，该设备被配置为分别以包括照明模式、成像模式和观察模式的不同模式操作。
图9是佩戴式设备的可替代实施例的示意图，其中该佩戴式设备被配置成为户外眼睛跟踪而配置的不同模式操作。
图10和图11是图9佩戴式设备的示意图，该设备被配置为分别以包括周围环境照明模式和边缘照明模式的不同模式操作。
具体实施方式
转向附图，图1-图5示出佩戴式眼睛和/或注视跟踪设备或系统10的示例性实施例。在示例性实施例中，本文的设备、系统和方法可以提供模块化佩戴式注视跟踪设备，该佩戴式注视跟踪设备为移动使用在各种应用中而被优化，这些应用包括注视映射增加当前已配置的其他移动设备好处的那些应用。在另一个示例性实施例中，本文的设备、系统和方法可以优化和/或对户外或其他环境的照明条件具有足够的鲁棒性，从而增加应用的数量，在这些应用中，眼睛和/或注视跟踪的好处可以被应用。
通常地，如图1所示，设备10包括佩戴式设备12(如眼镜结构(如图所示)，或配置为戴在用户头部(未示出)上的口罩、耳机、头盔等)；安装在设备上的外部摄像机20，以成像用户周围；安装在设备上的内窥摄像机30，以成像一双或更多双用户的眼睛(图5中示出一只眼睛90)；自由形式的光学组件40和自由形式的补偿透镜50。另外，如图5所示，设备10可以包括一个或更多个光源44，如包含于光学组件40上的光源和/或安装在佩戴式设备12上其他位置处的光源。设备10还可以包括一个或更多个处理器、存储器等(未示出)，其连接到其他部件用以操作设备10和/或执行本文所述的各种功能。可以包含在设备10内的示例性部件，如佩戴式设备、摄像机、光源、处理器、通信接口等，已经公开于美国专利号6,541,081和7,488,294，和美国公开号2011/0211056和2013/0114850中，其全部公开成果以引用的方式明确地并入本文。
参考图2-图5，设备10的光学组件40可以包括多个部件，如波导或内窥自由形式的光学器件42、一个或更多个光源44和波长选择组件46，其如用于聚焦和/或滤波穿过其中的光。波导42可以如通过波长选择组件46光学地连接到包含于摄像机模块壳体48中的内窥摄像机30和/或(一个或多个)光源44，如图2和图3所示，例如，使得波导42可拆卸地或固定地附接到壳体48。
波导42可以是一体的光学设备，其被成型和/或以其他方式被配置为包围(fold)光学组件40的光路，如将来自(一个或多个)光源44的照明引向用户的眼睛90，和/或收集来自用户的眼睛90的光，从而使用内窥摄像机30获取图像，如本文在别处所述的。例如，波导42可以包括一个或更多个棱镜和/或在其中一体形成的其他光学特征，使得引入波导42的端部或边缘(如连接到内窥摄像机30的端部43)的光在波导42内传输，例如，该光反射离开波导中的一个或更多个表面朝向波导相对的端部，并从预定表面(如内表面42b)反射出，朝向用户的眼睛90，如用于照亮眼睛90。相反地，进入预定表面(如内表面42b)的来自眼睛90的光可以在波导42内传输返回朝向连接到内窥摄像机30的端部43，如用于捕获眼睛90的图像。
另外，波导42可以具有朝外表面42a，其与眼睛结构基本弯曲轮廓匹配，例如，该朝外表面42a对应于补偿透镜50的朝内表面50b，如图5示意示出的。因此，波导42和补偿透镜50一起可以允许如基于正常视觉或预定的校正处方，由用户的眼睛90通过其至用户的周围的大体非畸变的观察。波导42还可以定大小以至少部分地和/或完全地覆盖结构12中的眼睛开度，如补偿透镜50被安装在该结构12内。可选择地，波导42可以包括如在朝外表面42a上、在朝内表面42b上和/或包含于波导材料内的用于最佳性能的一个或更多个应用专用的镀膜。
可选择地，设备10的一个或更多个部件可以是可互换的，根据基于特定个体用户的需要，，如允许例如来自模块化工具箱的部件的不同尺寸、外型和/或其他配置进行互换。例如，第一波导42(连接到摄像机44)可以替换为例如对应于不同的用户处方的不同波导(未示出)。可选地，第一波导42可以从眼镜结构12中移除，并且放置入头盔、一对护目镜或其他佩戴式设备(未示出)中，如使得相同用户可以使用不同佩戴式设备并仍然适应眼睛和/或注视跟踪。可以设想集成于护目镜、口罩、太阳镜等中的多种设计方案。
在示例性实施例中，图5中示意所示的设备10的任意光学部件可以是模块。例如，波导42可以如使用在波导42和/或壳体48的连接端上的一个或更多个连接器(未示出)可拆卸地连接到壳体48。如图4所示，壳体48可以固定地或可拆卸地附接到结构12上，如在结构12的太阳穴件或耳部支撑件14上。壳体48可以是足够稳固的，且波导42足够坚硬，使得当壳体48固定至结构12时，波导42抵靠补偿透镜50固定或邻近补偿透镜50固定。可选地，波导42和结构12和/或补偿透镜50可以包括一个或更多个连接器(未示出)，从而相对于补偿透镜50固定波导42。
另外或可选地，根据需要，内窥摄像机30和/或波长选择组件46可以可拆卸地安装在壳体48内。如图所示，一个或更多个光源44可以通常与如安装在壳体48内的内窥摄像机30共面放置和/或位于其附近，和/或一个或更多个光源44可以安装在波导42的边缘处(如在一个端部上)，使得(一个或多个)光源可以生成进入波导42的光，波导可以将光引向用户的眼睛90。可选择地，壳体48还可以包括一个或更多个处理器，如多个FPGA、多个ASIC等，和/或其中的存储器部件，或这种部件可以安装在结构12的其他地方并电连接到壳体48和/或其中的部件。
根据需要，设备10可以以一种或更多种模式操作，如允许照明和/或眼睛90的成像。例如，如图6所示，在所示的照明模式中，一对光源44被安装成大体上与传感器(如内窥摄像机30的CMOS、CCD或其他成像芯片)共面。因此，由光线45a表示的发射光可以由光源44通过波长选择组件46发射进波导42，该波导42可以将光引向眼睛90，如光线45b表示。以此方式，光源44可以以期望的方式照亮眼睛90，如产生一个或更多个闪烁等。
另外，转向图7，在所示的眼睛成像模式中，从眼睛90(如镜面反射地和/或漫反射地)反射的、由光线47a表示的光由自由形式的波导42收集并将光引回至耦合光学器件46，该耦合光学器件46将光聚焦至内窥摄像机30上，如光线47b表示。
转向图8，配对的波导42和补偿透镜50可以允许来自场景，即用户周围的、由光线49表示的光传播到用户的眼睛90，如在眼睛90的入射瞳孔处具有最小失真。
例如，图1所示的设备10可以配置为选择性地以这些模式中的任意一种进行操作。根据需要，应用专用的硬件、软件模块和/或其他处理功能和连接性可以提供在设备10上以产生一类注视跟踪设备，如每个设备能以这些模式中任一种进行操作。应用专用的硬件和连接性可以在基本水平上运行以序列化如来自外部摄像机20和/或内窥摄像机30的数据流，并如无线地或通过有线连接(未示出)将其发送至处理单元，如发送至设备10上的(一个或多个)处理器和/或发送至远程电子设备(未示出)。其他光学特征可以包括DSP(如无畸变)、第一处理(first-in-process)算法模块和/或注视向量的全计算。如基于可用功率和/或带宽要求，这些的任何组合可以由设备实施。
在示例性实施例中，设备10可以能够具有三维(3D)注视点(POR)确定，且可以包括一个或更多个以下特征：
a)保存用户标定数据；
b)用于POR建模的虚拟平面注视映射算法；
c)用于标定从内窥摄像机30旋转和/或平移到外部摄像机20的算法；和/或
d)将注视映射数据无线地流到移动设备(如基于Windows的操作系统OS、基于linux的操作系统等)，如通过引用并入本文在别处的参考中所述的。
转向图9-图11，所示的眼睛和/或注视跟踪设备110的另一示例性实施例通常类似于本文在别处描述的其他实施例可以包括部件，如结构或其他佩戴式设备(未示出)，其带有一个或更多个部件，如一个或更多个内窥摄像机130(用于成像相应的眼睛90的图10和图11中所示的一个)、外部摄像机(未示出)和自由形式的光学组件140(如包括波导或内窥自由形式的光学器件142和一个或更多个光源144)，该示例性实施例通常类似于在别处描述的其他实施例。与以前的实施例不同，波导142包括一个或更多个特征，如形成于其中的多个带有记号的凹口或楔形物143，例如，从而生成闪烁，正如下面进一步所述，该一个或更多个特征可以增强用于在户外或其他明亮照明环境下的眼睛和/或注视跟踪的设备110的使用。具体地，正如下面进一步所述，如基于光照射“记号”的角度，“记号”143可以交替用作传输或反射。记号143可以使用各种方法(包括激光烧蚀)形成在波导1422中。
设备110可以以不止一种模式操作，如使用双模态照明方案来利用高亮度周围环境条件。例如，在明亮的周围环境光条件下，配对的波导142和补偿透镜150允许来自场景的、如由光线149a表示的光通过波导142和补偿透镜150传播到用户的眼睛90上，其中在眼睛90的入射瞳孔处具有最小失真。
更具体地，如图10所示，记号143允许周围环境光通过他们和波导142以期望的模式或配置照到眼睛90，并生成预定的闪烁图案，该光反射回波导142(如光线149b所示)并引到内窥摄像机130(如光线194c所示)。因此，对于周围环境或“场景”照明源(如太阳光)，记号以传输方式操作。
相反地，如图11所示，当周围环境光不充足时，一个或更多个边缘照明源144可以用来将光引入波导14，如光线145a所示，且记号143可以以反射方式操作以将光引向眼睛90，如光线145b所示。反射光可以反射回波导142并引到内窥摄像机130，如光线145c所示。设备110可以包括周围环境光传感器(未示出)，其可以例如通过设备10的一个或更多个处理器使用来调节到(一个或多个)光源144的光源电流，以实时地在室内应用和户外应用之间切换设备。因此，如果基于周围环境光传感器，处理器确定周围环境光充足，则(一个或多个)光源144可以关闭或保持闲置，而如果周围环境光不充足，则(一个或多个)光源144可以按照期望的眼睛跟踪方法的需要而被激活。
在多模态系统(如设备110)中，适当的波长控制可能是重要的。为促进这点，短通(short-pass)介电镀膜(未示出)可以提供在波导142和/或补偿透镜150上，如在其朝外表面142a、150a上。(一个或多个)这种镀膜可以通过来自场景的可见光，使得用户可以在白天(明亮)和夜晚(黑暗)条件期间充分观察场景。可以配置记号143，使得(一个或多个)光源144中的中心波长朝向用户的眼睛90优先折射、反射和/或衍射。
类似于图7中所示的设备10，设备110还可以以眼睛成像模式操作。从眼睛90反射(镜面反射地和漫反射地)的、由图7中的光线47a表示的光可以由波导140收集并引导回波长选择组件146，该波长选择组件146将光聚焦到内窥摄像机130上(如图10和图11所示)。在波长选择组件146中的长通滤波器或凹口滤波器可以用于降低由于可见波长中的外来的角巩膜反射产生的噪声。此外，偏振光源和/或偏振敏感部件也可以降低环境噪声。
可选择地，补偿透镜150(或本文任意其他实施例的补偿透镜)可以是太阳镜片，如着色的、滤波的和/或偏振的透镜，从而减少到达用户眼睛的光的量，这可以允许用户缓解眼皮和虹膜和/或以其他方式促进眼睛和/或注视跟踪。在补偿透镜150中的任意色彩可以是不变的或透镜可以是过渡镀膜(transition-coated)的。另外或可选地，补偿透镜150可以基本上永久地安装在结构中或可以是可拆卸的，以致不同补偿透镜在设备110中可以是可互换的。
另一种方法可以基于在图像内从(一个或多个)内窥摄像机130收集的、用于跟踪用户的(一只或两只)眼睛90的光水平对波导142和/或补偿透镜150的不透明度提供动态控制。例如，系统可以被提供，从而在来自环境的、到达用户的眼睛90的光的路径内电子地控制透镜142或150和/或其他(一个或多个)光学元件的不透明度(或相反的透明度)。在示例性实施例中，悬浮的细长状粒子可以提供在波导142和/或补偿透镜150内以提供悬浮粒子设备(SPD)，且在设备上可以提供电路以施加预定电压，从而使细长状粒子在方向上与块对齐或允许光传输。例如，使用聚合物分散液晶体和/或电浸润表面，可以提供其他电致变色的设备和/或方法。这种电致变色的方法可以独立于对光反应变色的方法而使用或与对光反应变色的方法结合使用以控制不透明度。这种特征可以包含于本文的任何实施例中。
在户外和/或刺眼光照环境下的主要挑战是在来自环境源的整体光照持续改变的时间段期间，大体上持续跟踪眼睛位置的能力。如本文在别处提到的，这可以通过在波长的范围内选择性地阻塞用于照明和/或跟踪用户的眼睛的环境光源来部分地得以缓和。另外或可选地，高动态范围传感器可以包含于内窥摄像机中。
附加方法可以包括动态地调节在设备110内、如由(一个或多个)光源144生成的照明，以补偿环境照明中的增加或减少。记录的、用于跟踪(一只或两只)眼睛90的内窥摄像机130的图像内的光水平可以用于监控并随后控制(一只或两只)眼睛90的照明。这可以包括选择性地照明左眼或右眼。也可以包括基于记录在摄像机图像的不同区域中的光强度，优先地增加区域或眼睛90的子集的照明，如类似于在通过引用并入本文别处的参考中公开的系统和方法。
进一步地，考虑瞳孔检测的多种方法是有用的，如果暴露了充足的瞳孔，可以实施边缘和/或点检测方法以定位瞳孔的轮廓。如果暴露了不充足的瞳孔，确定眼皮轮廓和/或虹膜边缘而不是瞳孔轮廓可以能够确定包含瞳孔中心的小区域。在此之后，可以实施算法以将瞳孔拟合成椭圆形并确定瞳孔中心，如星暴(Starburt)算法和随机抽样一致性(Ransac)算法。附加的可能性包括使用多个摄像机来提高特征捕获并降低处理。
一旦注视映射系统是真实移动的且是环境鲁棒的，可能的用例范围明显提高。例如，参考施工监测期间的蓝图的仓库库存和使用移动眼睛跟踪系统的专家-新手的运动训练可以通过结构移动、眼睛控制和/或户外功能的鲁棒性得以增强，如在本文别处所描述的。
应当认识到，本文的任何实施例示出的元件或部件对于特定实施例是示例性的，且可以用在本文公开的其他实施例上或与之结合使用。
尽管本发明易受到各种修改和替代形式的影响，但是它的特定示例已经示出在附图中且在本文中详细地描述。然而，应当了解，本发明不限于已公开的特定形式或方法，而相反的，本发明涵盖落入所附权利要求的范围内的所有修改、同等物和替代物。

Claims (9)

1.一种用于拍摄数字照片的方法，所述方法包括：
在佩戴式设备处，响应于用户的眼睛的预定行为，激活所述佩戴式设备的照片特征，所述佩戴式设备包括被定向以捕获所述用户的周围图像的场景摄像机，其中所述预定行为包括用户注视所述佩戴式设备上的“拍照”LED直到所述“拍照”LED变为不同的状态；
响应于所述用户注视在所述用户的周围内的区域中用户想要拍摄所述数字照片的图像的中心点，基于所述中心点，所述佩戴式设备确定用于所述摄像机成像场的焦点和有限视场；且
捕获围绕所述焦点为中心的所述有限视场的图像。
2.一种用于拍摄数字照片的方法，所述方法包括：
在佩戴式设备处，响应于用户注视所述佩戴式设备的预定位置，激活所述佩戴式设备的照片特征，所述佩戴式设备包括被定向以捕获所述用户的周围图像的场景摄像机；
响应于所述用户注视在所述用户的周围内的区域中用户想要拍摄所述数字照片的图像的中心点，基于所述中心点，所述佩戴式设备确定用于所述摄像机成像场的焦点和有限视场；且
激活所述摄像机以捕获围绕所述焦点为中心的所述有限视场的图像。
3.根据权利要求2所述的方法，其中注视所述佩戴式设备的预定位置以激活照片特征包括注视所述佩戴式设备上的“拍照”LED，直到所述佩戴式设备改变所述LED以指示所述照片特征是激活的。
4.根据权利要求3所述的方法，其中所述LED改变颜色以指示所述照片特征是激活的。
5.一种用于拍摄数字照片的方法，所述方法包括：
在佩戴式设备处，响应于用户注视所述佩戴式设备的预定位置，激活所述佩戴式设备的照片特征，所述佩戴式设备包括被定向以捕获所述用户的周围图像的场景摄像机；
响应于所述用户注视在所述用户的周围内的区域中用户想要拍摄所述数字照片的图像的虚拟框架的对角，基于所述对角，所述佩戴式设备确定用于所述摄像机成像场的焦点和有限视场；且
激活所述摄像机以捕获围绕所述焦点为中心的所述有限视场的图像。
6.根据权利要求5所述的方法，其中注视所述佩戴式设备的预定位置以激活照片特征包括注视所述佩戴式设备上的“拍照”LED，直到所述佩戴式设备改变LED以指示所述照片特征是激活的。
7.根据权利要求6所述的方法，其中所述LED改变颜色以指示所述照片特征是激活的。
8.一种用于拍摄数字照片的设备，所述设备包括：
佩戴式设备，其经配置戴在用户头部上；
在所述佩戴式设备上的内窥摄像机，所述内窥摄像机经配置成当所述佩戴式设备由所述用户佩戴时，获取眼睛的眼睛跟踪图像；
在所述佩戴式设备上的外部摄像机，所述外部摄像机经配置当所述佩戴式设备由所述用户佩戴时，获取所述用户的周围图像；和
一个或更多个处理器，其连接到所述内窥摄像机以确定所述用户何时利用所述用户的眼睛执行预定行为来激活所述佩戴式设备的照片特征，其中所述预定行为包括用户注视所述佩戴式设备上的“拍照”LED直到所述“拍照”LED变为不同的状态，所述一个或更多个处理器连接到所述外部摄像机以确定所述用户何时注视在所述用户的周围内的区域中用户想要拍摄所述数字照片的图像的中心点，所述一个或更多个处理器基于所述中心点确定所述外部摄像机成像场的焦点和有限视场，并激活所述外部摄像机以捕获围绕所述焦点为中心的所述有限视场的图像。
9.根据权利要求8所述的设备，其中所述一个或更多个处理器连接到所述“拍照”LED，使得当用户注视所述“拍照”LED时，所述一个或更多个处理器改变所述LED的颜色以指示所述照片特征是激活的。
CN201380068249.XA 2012-12-06 2013-12-06 眼睛跟踪佩戴式设备和使用方法 Active CN104903818B (zh)

Applications Claiming Priority (7)

Application Number Priority Date Filing Date Title
US201261734342P 2012-12-06 2012-12-06
US201261734354P 2012-12-06 2012-12-06
US201261734294P 2012-12-06 2012-12-06
US61/734,342 2012-12-06
US61/734,354 2012-12-06
US61/734,294 2012-12-06
PCT/US2013/073753 WO2014089542A1 (en) 2012-12-06 2013-12-06 Eye tracking wearable devices and methods for use

Publications (2)

Publication Number Publication Date
CN104903818A CN104903818A (zh) 2015-09-09
CN104903818B true CN104903818B (zh) 2018-12-14

Family

ID=50884065

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201380068249.XA Active CN104903818B (zh) 2012-12-06 2013-12-06 眼睛跟踪佩戴式设备和使用方法

Country Status (6)

Country Link
US (2) US10025379B2 (zh)
EP (1) EP2929413B1 (zh)
JP (1) JP6498606B2 (zh)
KR (1) KR102205374B1 (zh)
CN (1) CN104903818B (zh)
WO (1) WO2014089542A1 (zh)

Families Citing this family (177)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9158116B1 (en) 2014-04-25 2015-10-13 Osterhout Group, Inc. Temple and ear horn assembly for headworn computer
US9366867B2 (en) 2014-07-08 2016-06-14 Osterhout Group, Inc. Optical systems for see-through displays
US9715112B2 (en) 2014-01-21 2017-07-25 Osterhout Group, Inc. Suppression of stray light in head worn computing
US9400390B2 (en) 2014-01-24 2016-07-26 Osterhout Group, Inc. Peripheral lighting for head worn computing
EP2929413B1 (en) 2012-12-06 2020-06-03 Google LLC Eye tracking wearable devices and methods for use
KR102093198B1 (ko) * 2013-02-21 2020-03-25 삼성전자주식회사 시선 인식을 이용한 사용자 인터페이스 방법 및 장치
JP6629717B2 (ja) * 2013-04-25 2020-01-15 エシロール エンテルナショナル 装着者に適合化された頭部装着型電子光学装置を制御する方法
CN108209857B (zh) * 2013-09-03 2020-09-11 托比股份公司 便携式眼睛追踪设备
KR102094965B1 (ko) * 2013-12-30 2020-03-31 삼성디스플레이 주식회사 각성 안경, 차량용 미러 유닛 및 표시장치
US10248856B2 (en) 2014-01-14 2019-04-02 Toyota Motor Engineering & Manufacturing North America, Inc. Smart necklace with stereo vision and onboard processing
US9578307B2 (en) * 2014-01-14 2017-02-21 Toyota Motor Engineering & Manufacturing North America, Inc. Smart necklace with stereo vision and onboard processing
US9915545B2 (en) * 2014-01-14 2018-03-13 Toyota Motor Engineering & Manufacturing North America, Inc. Smart necklace with stereo vision and onboard processing
US10024679B2 (en) 2014-01-14 2018-07-17 Toyota Motor Engineering & Manufacturing North America, Inc. Smart necklace with stereo vision and onboard processing
US10360907B2 (en) 2014-01-14 2019-07-23 Toyota Motor Engineering & Manufacturing North America, Inc. Smart necklace with stereo vision and onboard processing
US10649220B2 (en) 2014-06-09 2020-05-12 Mentor Acquisition One, Llc Content presentation in head worn computing
US20150228119A1 (en) 2014-02-11 2015-08-13 Osterhout Group, Inc. Spatial location presentation in head worn computing
US9829707B2 (en) 2014-08-12 2017-11-28 Osterhout Group, Inc. Measuring content brightness in head worn computing
US10684687B2 (en) 2014-12-03 2020-06-16 Mentor Acquisition One, Llc See-through computer display systems
US10254856B2 (en) 2014-01-17 2019-04-09 Osterhout Group, Inc. External user interface for head worn computing
US9594246B2 (en) 2014-01-21 2017-03-14 Osterhout Group, Inc. See-through computer display systems
US11669163B2 (en) 2014-01-21 2023-06-06 Mentor Acquisition One, Llc Eye glint imaging in see-through computer display systems
US9753288B2 (en) 2014-01-21 2017-09-05 Osterhout Group, Inc. See-through computer display systems
US11892644B2 (en) 2014-01-21 2024-02-06 Mentor Acquisition One, Llc See-through computer display systems
US11487110B2 (en) 2014-01-21 2022-11-01 Mentor Acquisition One, Llc Eye imaging in head worn computing
US11737666B2 (en) 2014-01-21 2023-08-29 Mentor Acquisition One, Llc Eye imaging in head worn computing
US9846308B2 (en) 2014-01-24 2017-12-19 Osterhout Group, Inc. Haptic systems for head-worn computers
US20160018650A1 (en) 2014-01-24 2016-01-21 Osterhout Group, Inc. See-through computer display systems
GB2526515A (en) * 2014-03-25 2015-12-02 Jaguar Land Rover Ltd Image capture system
US10853589B2 (en) 2014-04-25 2020-12-01 Mentor Acquisition One, Llc Language translation with head-worn computing
US9651787B2 (en) 2014-04-25 2017-05-16 Osterhout Group, Inc. Speaker assembly for headworn computer
US20160137312A1 (en) 2014-05-06 2016-05-19 Osterhout Group, Inc. Unmanned aerial vehicle launch system
US10564714B2 (en) 2014-05-09 2020-02-18 Google Llc Systems and methods for biomechanically-based eye signals for interacting with real and virtual objects
JP2017527036A (ja) 2014-05-09 2017-09-14 グーグル インコーポレイテッド セキュアなモバイル通信で眼信号を用いるためのシステムおよび方法
US10663740B2 (en) 2014-06-09 2020-05-26 Mentor Acquisition One, Llc Content presentation in head worn computing
US9818114B2 (en) 2014-08-11 2017-11-14 Mastercard International Incorporated Systems and methods for performing payment card transactions using a wearable computing device
US10617342B2 (en) 2014-09-05 2020-04-14 Vision Service Plan Systems, apparatus, and methods for using a wearable device to monitor operator alertness
US10448867B2 (en) 2014-09-05 2019-10-22 Vision Service Plan Wearable gait monitoring apparatus, systems, and related methods
US11918375B2 (en) 2014-09-05 2024-03-05 Beijing Zitiao Network Technology Co., Ltd. Wearable environmental pollution monitor computer apparatus, systems, and related methods
US9922236B2 (en) 2014-09-17 2018-03-20 Toyota Motor Engineering & Manufacturing North America, Inc. Wearable eyeglasses for providing social and environmental awareness
US10024678B2 (en) 2014-09-17 2018-07-17 Toyota Motor Engineering & Manufacturing North America, Inc. Wearable clip for providing social and environmental awareness
US9568603B2 (en) * 2014-11-14 2017-02-14 Microsoft Technology Licensing, Llc Eyewear-mountable eye tracking device
US9704038B2 (en) 2015-01-07 2017-07-11 Microsoft Technology Licensing, Llc Eye tracking
US10215568B2 (en) 2015-01-30 2019-02-26 Vision Service Plan Systems and methods for tracking motion, performance, and other data for an individual such as a winter sports athlete
US10490102B2 (en) 2015-02-10 2019-11-26 Toyota Motor Engineering & Manufacturing North America, Inc. System and method for braille assistance
US10878775B2 (en) 2015-02-17 2020-12-29 Mentor Acquisition One, Llc See-through computer display systems
US9972216B2 (en) 2015-03-20 2018-05-15 Toyota Motor Engineering & Manufacturing North America, Inc. System and method for storing and playback of information for blind users
AU2016264599B2 (en) 2015-05-19 2021-05-13 Magic Leap, Inc. Dual composite light field device
CN108027509A (zh) * 2015-05-20 2018-05-11 奇跃公司 倾斜偏移虹膜成像
US9898865B2 (en) 2015-06-22 2018-02-20 Microsoft Technology Licensing, Llc System and method for spawning drawing surfaces
US9939644B2 (en) * 2015-06-25 2018-04-10 Intel Corporation Technologies for controlling vision correction of a wearable computing device
US10139966B2 (en) 2015-07-22 2018-11-27 Osterhout Group, Inc. External user interface for head worn computing
US11003246B2 (en) 2015-07-22 2021-05-11 Mentor Acquisition One, Llc External user interface for head worn computing
JP2017060078A (ja) * 2015-09-18 2017-03-23 カシオ計算機株式会社 画像録画システム、ユーザ装着装置、撮像装置、画像処理装置、画像録画方法、及びプログラム
US10618521B2 (en) * 2015-09-21 2020-04-14 Ford Global Technologies, Llc Wearable in-vehicle eye gaze detection
US11064881B2 (en) * 2015-11-13 2021-07-20 Hennepin Healthcare System, Inc Method for predicting convergence disorders caused by concussion or other neuropathology
US11144107B2 (en) 2015-12-01 2021-10-12 Amer Sports Digital Services Oy Apparatus and method for presenting thematic maps
US11137820B2 (en) 2015-12-01 2021-10-05 Amer Sports Digital Services Oy Apparatus and method for presenting thematic maps
US11215457B2 (en) 2015-12-01 2022-01-04 Amer Sports Digital Services Oy Thematic map based route optimization
US11210299B2 (en) 2015-12-01 2021-12-28 Amer Sports Digital Services Oy Apparatus and method for presenting thematic maps
US11541280B2 (en) 2015-12-21 2023-01-03 Suunto Oy Apparatus and exercising device
GB2545668B (en) 2015-12-21 2020-05-20 Suunto Oy Sensor based context management
US11587484B2 (en) 2015-12-21 2023-02-21 Suunto Oy Method for controlling a display
US11284807B2 (en) 2015-12-21 2022-03-29 Amer Sports Digital Services Oy Engaging exercising devices with a mobile device
US11838990B2 (en) 2015-12-21 2023-12-05 Suunto Oy Communicating sensor data in wireless communication systems
DE102016015066A1 (de) * 2015-12-21 2017-06-22 Suunto Oy Aktivitätsintensitätspegel-Bestimmung
DE102016015065A1 (de) 2015-12-21 2017-06-22 Suunto Oy Aktivitätsintensitätspegel-Bestimmungsfeld
US10433768B2 (en) 2015-12-21 2019-10-08 Amer Sports Digital Services Oy Activity intensity level determination
WO2017116662A1 (en) * 2015-12-28 2017-07-06 Artilux Corporation Eye gesture tracking
KR20180104051A (ko) * 2016-01-19 2018-09-19 매직 립, 인코포레이티드 리플렉션들을 활용하는 증강 현실 시스템들 및 방법들
US10850116B2 (en) 2016-12-30 2020-12-01 Mentor Acquisition One, Llc Head-worn therapy device
US10591728B2 (en) 2016-03-02 2020-03-17 Mentor Acquisition One, Llc Optical systems for head-worn computers
US10667981B2 (en) 2016-02-29 2020-06-02 Mentor Acquisition One, Llc Reading assistance system for visually impaired
US9826299B1 (en) 2016-08-22 2017-11-21 Osterhout Group, Inc. Speaker systems for head-worn computer systems
US9880441B1 (en) 2016-09-08 2018-01-30 Osterhout Group, Inc. Electrochromic systems for head-worn computer systems
EP3427185A4 (en) * 2016-03-07 2019-09-25 Magic Leap, Inc. BLUE POSITIONING FOR BIOMETRIC SAFETY
US10024680B2 (en) 2016-03-11 2018-07-17 Toyota Motor Engineering & Manufacturing North America, Inc. Step based guidance system
US10466491B2 (en) 2016-06-01 2019-11-05 Mentor Acquisition One, Llc Modular systems for head-worn computers
US10082866B2 (en) 2016-04-12 2018-09-25 International Business Machines Corporation Gaze point detection using dynamic facial reference points under varying lighting conditions
US9958275B2 (en) 2016-05-31 2018-05-01 Toyota Motor Engineering & Manufacturing North America, Inc. System and method for wearable smart device communications
US10561519B2 (en) 2016-07-20 2020-02-18 Toyota Motor Engineering & Manufacturing North America, Inc. Wearable computing device having a curved back to reduce pressure on vertebrae
EP3276327B1 (en) 2016-07-29 2019-10-02 Essilor International Method for virtual testing of at least one lens having a predetermined optical feature and associated device
WO2018023245A1 (zh) * 2016-07-31 2018-02-08 杨洁 一种自动拍照并传输的方法以及眼镜
WO2018023242A1 (zh) * 2016-07-31 2018-02-08 杨洁 一种自动拍照的方法以及眼镜
WO2018023246A1 (zh) * 2016-07-31 2018-02-08 杨洁 一种拍照时的信息推送方法以及眼镜
WO2018023243A1 (zh) * 2016-07-31 2018-02-08 杨洁 一种自动拍照的专利信息推送方法以及眼镜
WO2018023247A1 (zh) * 2016-07-31 2018-02-08 杨洁 一种自动拍照并传输技术的数据采集方法以及眼镜
KR102548199B1 (ko) * 2016-08-03 2023-06-28 삼성전자주식회사 전자 장치 및 전자 장치의 시선 추적 방법
US10268268B1 (en) * 2016-09-02 2019-04-23 Facebook Technologies, Llc Waveguide integrated eye tracking
JP2018061622A (ja) * 2016-10-11 2018-04-19 オプトス ピーエルシー 眼底観察装置
DE102017009171A1 (de) 2016-10-17 2018-04-19 Amer Sports Digital Services Oy Eingebettete rechenvorrichtung
US11703938B2 (en) 2016-10-17 2023-07-18 Suunto Oy Embedded computing device
US10432851B2 (en) 2016-10-28 2019-10-01 Toyota Motor Engineering & Manufacturing North America, Inc. Wearable computing device for detecting photography
US10032053B2 (en) 2016-11-07 2018-07-24 Rockwell Automation Technologies, Inc. Tag based location
USD827143S1 (en) 2016-11-07 2018-08-28 Toyota Motor Engineering & Manufacturing North America, Inc. Blind aid device
US10012505B2 (en) 2016-11-11 2018-07-03 Toyota Motor Engineering & Manufacturing North America, Inc. Wearable system for providing walking directions
US10521669B2 (en) 2016-11-14 2019-12-31 Toyota Motor Engineering & Manufacturing North America, Inc. System and method for providing guidance or feedback to a user
US10168531B1 (en) 2017-01-04 2019-01-01 Facebook Technologies, Llc Lightfield waveguide integrated eye tracking
US10485420B2 (en) * 2017-02-17 2019-11-26 Analog Devices Global Unlimited Company Eye gaze tracking
US20180255250A1 (en) * 2017-03-03 2018-09-06 Microsoft Technology Licensing, Llc Pulsed, gated infrared illuminated camera systems and processes for eye tracking in high ambient light environments
CN106842625B (zh) * 2017-03-03 2020-03-17 西南交通大学 一种基于特征共识性的目标追踪方法
JP2020512771A (ja) 2017-03-30 2020-04-23 マジック リープ， インコーポレイテッドＭａｇｉｃ Ｌｅａｐ，Ｉｎｃ． 非遮断型デュアルドライバイヤホン
US10977858B2 (en) 2017-03-30 2021-04-13 Magic Leap, Inc. Centralized rendering
CN110520824B (zh) 2017-04-14 2023-11-24 奇跃公司 多模式眼睛跟踪
US9910298B1 (en) 2017-04-17 2018-03-06 Vision Service Plan Systems and methods for a computerized temple for use with eyewear
US20180336772A1 (en) * 2017-05-19 2018-11-22 Hcl Technologies Limited System and method for alerting a user within a warehouse
US11079522B1 (en) 2017-05-31 2021-08-03 Magic Leap, Inc. Fiducial design
EP4123425A1 (en) * 2017-05-31 2023-01-25 Magic Leap, Inc. Eye tracking calibration techniques
US10810773B2 (en) * 2017-06-14 2020-10-20 Dell Products, L.P. Headset display control based upon a user's pupil state
WO2019011436A1 (en) * 2017-07-13 2019-01-17 Huawei Technologies Co., Ltd. BIMODAL HEADSET
US10578869B2 (en) 2017-07-24 2020-03-03 Mentor Acquisition One, Llc See-through computer display systems with adjustable zoom cameras
US11409105B2 (en) 2017-07-24 2022-08-09 Mentor Acquisition One, Llc See-through computer display systems
US10422995B2 (en) 2017-07-24 2019-09-24 Mentor Acquisition One, Llc See-through computer display systems with stray light management
US10969584B2 (en) 2017-08-04 2021-04-06 Mentor Acquisition One, Llc Image expansion optic for head-worn computer
WO2019079523A1 (en) 2017-10-17 2019-04-25 Magic Leap, Inc. SPACE AUDIO WITH MIXED REALITY
FI20175960A1 (en) * 2017-10-30 2019-05-01 Univ Of Eastern Finland Procedure and apparatus for gaze detection
US11181977B2 (en) * 2017-11-17 2021-11-23 Dolby Laboratories Licensing Corporation Slippage compensation in eye tracking
USD849822S1 (en) * 2017-12-29 2019-05-28 Aira Tech Corp. Smart glasses for interactive use cases
US11194161B2 (en) 2018-02-09 2021-12-07 Pupil Labs Gmbh Devices, systems and methods for predicting gaze-related parameters
US11556741B2 (en) 2018-02-09 2023-01-17 Pupil Labs Gmbh Devices, systems and methods for predicting gaze-related parameters using a neural network
US11393251B2 (en) 2018-02-09 2022-07-19 Pupil Labs Gmbh Devices, systems and methods for predicting gaze-related parameters
EP3753238A4 (en) 2018-02-15 2021-04-07 Magic Leap, Inc. VIRTUAL REFLECTION OF MIXED REALITY
WO2019161312A1 (en) 2018-02-15 2019-08-22 Magic Leap, Inc. Mixed reality musical instrument
WO2019161314A1 (en) 2018-02-15 2019-08-22 Magic Leap, Inc. Dual listener positions for mixed reality
US11675428B2 (en) * 2018-03-29 2023-06-13 Tobii Ab Determining a gaze direction using depth information
US10558895B2 (en) * 2018-03-30 2020-02-11 Tobii Ab Deep learning for three dimensional (3D) gaze prediction
US10281085B1 (en) * 2018-03-30 2019-05-07 Faspro Systems Co., Ltd. Head-mounted wireless photographic apparatus
WO2019190561A1 (en) * 2018-03-30 2019-10-03 Tobii Ab Deep learning for three dimensional (3d) gaze prediction
CN110557552A (zh) * 2018-05-31 2019-12-10 联想企业解决方案(新加坡)有限公司 便携式图像采集设备
US10667072B2 (en) 2018-06-12 2020-05-26 Magic Leap, Inc. Efficient rendering of virtual soundfields
EP3582077A1 (en) * 2018-06-13 2019-12-18 Tobii AB Eye tracking device and method for manufacturing an eye tracking device
WO2019241760A1 (en) 2018-06-14 2019-12-19 Magic Leap, Inc. Methods and systems for audio signal filtering
JP2021527360A (ja) 2018-06-14 2021-10-11 マジック リープ， インコーポレイテッドＭａｇｉｃ Ｌｅａｐ，Ｉｎｃ． 反響利得正規化
JP2021528001A (ja) 2018-06-18 2021-10-14 マジック リープ， インコーポレイテッドＭａｇｉｃ Ｌｅａｐ，Ｉｎｃ． 双方向オーディオ環境のための空間オーディオ
US11854566B2 (en) 2018-06-21 2023-12-26 Magic Leap, Inc. Wearable system speech processing
EP3827359B1 (en) 2018-07-24 2024-04-03 Magic Leap, Inc. Application sharing using scenegraphs
EP3826528A4 (en) * 2018-07-25 2022-07-27 Natus Medical Incorporated REAL TIME REMOVAL OF IR LED REFLECTIONS FROM AN IMAGE
US10722128B2 (en) 2018-08-01 2020-07-28 Vision Service Plan Heart rate detection system and method
EP3853654A1 (en) * 2018-09-21 2021-07-28 Dolby Laboratories Licensing Corporation Incorporating components inside optical stacks of head-mounted devices
US11094127B2 (en) 2018-09-25 2021-08-17 Magic Leap, Inc. Systems and methods for presenting perspective views of augmented reality virtual object
CN116320907A (zh) 2018-10-05 2023-06-23 奇跃公司 近场音频渲染
EP3861768A4 (en) 2018-10-05 2021-12-08 Magic Leap, Inc. INTERAURAL TIME DIFFERENCE CROSSFADER FOR BINAURAL AUDIO RESTITUTION
EP3864575A4 (en) 2018-10-09 2021-12-01 Magic Leap, Inc. VIRTUAL AND AUGMENTED REALITY SYSTEMS AND PROCESSES
CN113227935A (zh) 2018-10-24 2021-08-06 奇跃公司 异步asic
US10786033B2 (en) * 2018-10-29 2020-09-29 Robotarmy Corp. Racing helmet with visual and audible information exchange
TWI699671B (zh) * 2018-12-12 2020-07-21 國立臺灣大學 減低眼球追蹤運算的方法和其眼動追蹤裝置
JP2022516074A (ja) 2018-12-27 2022-02-24 マジック リープ， インコーポレイテッド 仮想および拡張現実のためのシステムおよび方法
US11537202B2 (en) 2019-01-16 2022-12-27 Pupil Labs Gmbh Methods for generating calibration data for head-wearable devices and eye tracking system
US11587563B2 (en) 2019-03-01 2023-02-21 Magic Leap, Inc. Determining input for speech processing engine
US10877268B2 (en) * 2019-04-16 2020-12-29 Facebook Technologies, Llc Active control of in-field light sources of a head mounted display
JP7284292B2 (ja) 2019-05-10 2023-05-30 トゥエンティ・トゥエンティ・セラピューティクス・エルエルシイ 眼内マイクロ表示装置のための自然な生理光学的ユーザインターフェース
US11676422B2 (en) 2019-06-05 2023-06-13 Pupil Labs Gmbh Devices, systems and methods for predicting gaze-related parameters
CN115176215A (zh) 2019-06-06 2022-10-11 奇跃公司 用于空间计算的逼真角色配置
US11301677B2 (en) * 2019-06-14 2022-04-12 Tobil AB Deep learning for three dimensional (3D) gaze prediction
EP3999940A4 (en) * 2019-07-16 2023-07-26 Magic Leap, Inc. EYE CENTER OF ROTATION DETERMINATION WITH ONE OR MORE EYE TRACKING CAMERAS
US11704874B2 (en) 2019-08-07 2023-07-18 Magic Leap, Inc. Spatial instructions and guides in mixed reality
US11328740B2 (en) 2019-08-07 2022-05-10 Magic Leap, Inc. Voice onset detection
JP2022553202A (ja) 2019-10-18 2022-12-22 マジック リープ， インコーポレイテッド 視覚的慣性オドメトリのための重力推定およびバンドル調整
US11304017B2 (en) 2019-10-25 2022-04-12 Magic Leap, Inc. Reverberation fingerprint estimation
WO2021113782A1 (en) 2019-12-04 2021-06-10 Magic Leap, Inc. Variable-pitch color emitting display
US11627430B2 (en) 2019-12-06 2023-04-11 Magic Leap, Inc. Environment acoustics persistence
EP4073689A4 (en) 2019-12-09 2022-12-14 Magic Leap, Inc. SYSTEMS AND PROCEDURES FOR THE OPERATION OF A USER IDENTIFICATION-BASED HEAD-MOUNTED DISPLAY
US11337023B2 (en) 2019-12-20 2022-05-17 Magic Leap, Inc. Physics-based audio and haptic synthesis
EP4104002A4 (en) 2020-02-14 2023-08-09 Magic Leap, Inc. 3D OBJECT ANNOTATION
US11778410B2 (en) 2020-02-14 2023-10-03 Magic Leap, Inc. Delayed audio following
EP4104000A4 (en) 2020-02-14 2023-07-12 Magic Leap, Inc. TOOL BRIDGE
EP4103999A4 (en) 2020-02-14 2023-08-02 Magic Leap, Inc. SESSION MANAGER
JP2023513746A (ja) 2020-02-14 2023-04-03 マジック リープ， インコーポレイテッド マルチアプリケーションオーディオレンダリング
US20220342224A1 (en) * 2020-02-19 2022-10-27 Pupil Labs Gmbh Eye tracking module and head-wearable device
CN117714967A (zh) 2020-03-02 2024-03-15 奇跃公司 沉浸式音频平台
US11917384B2 (en) 2020-03-27 2024-02-27 Magic Leap, Inc. Method of waking a device using spoken voice commands
CN116210021A (zh) 2020-05-29 2023-06-02 奇跃公司 确定角加速度
JP2023527561A (ja) 2020-05-29 2023-06-29 マジック リープ， インコーポレイテッド 表面の適切な衝突
CN114967904A (zh) * 2021-02-19 2022-08-30 北京京东方光电科技有限公司 视线定位方法、头戴显示设备、计算机设备及存储介质
US20230122300A1 (en) * 2021-10-14 2023-04-20 Microsoft Technology Licensing, Llc Eye-tracking waveguides
US11592899B1 (en) 2021-10-28 2023-02-28 Tectus Corporation Button activation within an eye-controlled user interface
US11619994B1 (en) 2022-01-14 2023-04-04 Tectus Corporation Control of an electronic contact lens using pitch-based eye gestures
US11874961B2 (en) 2022-05-09 2024-01-16 Tectus Corporation Managing display of an icon in an eye tracking augmented reality device

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011135248A (ja) * 2009-12-24 2011-07-07 Nec Corp 携帯端末装置及びその表示制御方法
EP2499961A1 (en) * 2011-03-18 2012-09-19 SensoMotoric Instruments GmbH Spectacle device with an adjustable field of view and method

Family Cites Families (113)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3863243A (en) 1972-01-19 1975-01-28 Max Skolnick Sleep inhibiting alarm
US3798599A (en) 1972-02-24 1974-03-19 H Kafafian Single input controller for a communication system
US4359724A (en) 1980-04-28 1982-11-16 Ronald R. Zimmerman Eyelid movement detector
EP0249996B1 (en) 1986-06-20 1992-03-18 Matsushita Electric Industrial Co., Ltd. Optical recording and reproducing apparatus
US4953111A (en) 1987-02-12 1990-08-28 Omron Tateisi Electronics Co. Doze detector
US4850691A (en) 1987-03-18 1989-07-25 University Of Illinois Method and apparatus for determining pupillary response parameters
US4815839A (en) 1987-08-03 1989-03-28 Waldorf Ronald A Infrared/video electronystagmographic apparatus
US5214456A (en) 1991-10-09 1993-05-25 Computed Anatomy Incorporated Mapping of corneal topography with display of pupil perimeter
JPH05191683A (ja) * 1992-01-14 1993-07-30 Canon Inc 撮影記録装置
US5345281A (en) 1992-12-17 1994-09-06 John Taboada Eye tracking system and method
US5517021A (en) 1993-01-19 1996-05-14 The Research Foundation State University Of New York Apparatus and method for eye tracking interface
TW247985B (en) * 1993-04-22 1995-05-21 Canon Kk Image-taking apparatus
JPH07146431A (ja) * 1993-11-25 1995-06-06 Canon Inc カメラ
US5402109A (en) 1993-04-29 1995-03-28 Mannik; Kallis H. Sleep prevention device for automobile drivers
US5481622A (en) 1994-03-01 1996-01-02 Rensselaer Polytechnic Institute Eye tracking apparatus and method employing grayscale threshold values
JPH07283974A (ja) * 1994-04-12 1995-10-27 Canon Inc 視線検出装置を備えたビデオカメラ
JPH086708A (ja) 1994-04-22 1996-01-12 Canon Inc 表示装置
CA2126142A1 (en) 1994-06-17 1995-12-18 David Alexander Kahn Visual communications apparatus
US5469143A (en) 1995-01-10 1995-11-21 Cooper; David E. Sleep awakening device for drivers of motor vehicles
US5566067A (en) 1995-03-23 1996-10-15 The President And Fellows Of Harvard College Eyelid vigilance detector system
US5689241A (en) 1995-04-24 1997-11-18 Clarke, Sr.; James Russell Sleep detection and driver alert apparatus
US5570698A (en) 1995-06-02 1996-11-05 Siemens Corporate Research, Inc. System for monitoring eyes for detecting sleep behavior
US5682144A (en) 1995-11-20 1997-10-28 Mannik; Kallis Hans Eye actuated sleep prevention devices and other eye controlled devices
US6003991A (en) 1996-02-17 1999-12-21 Erik Scott Viirre Eye examination apparatus and method for remote examination of a patient by a health professional
US5912721A (en) 1996-03-13 1999-06-15 Kabushiki Kaisha Toshiba Gaze detection apparatus and its method as well as information display apparatus
US5886683A (en) 1996-06-25 1999-03-23 Sun Microsystems, Inc. Method and apparatus for eyetrack-driven information retrieval
US5748113A (en) 1996-08-19 1998-05-05 Torch; William C. Method and apparatus for communication
US6542081B2 (en) 1996-08-19 2003-04-01 William C. Torch System and method for monitoring eye movement
US6163281A (en) 1996-08-19 2000-12-19 Torch; William C. System and method for communication using eye movement
US6246344B1 (en) 1996-08-19 2001-06-12 William C. Torch Method and apparatus for voluntary communication
US5867587A (en) 1997-05-19 1999-02-02 Northrop Grumman Corporation Impaired operator detection and warning system employing eyeblink analysis
WO1999018842A1 (en) 1997-10-16 1999-04-22 The Board Of Trustees Of The Leland Stanford Junior University Method for inferring mental states from eye movements
US6007202A (en) 1997-10-23 1999-12-28 Lasersight Technologies, Inc. Eye illumination system and method
DE19803158C1 (de) 1998-01-28 1999-05-06 Daimler Chrysler Ag Vorrichtung zur Vigilanzzustandsbestimmung
US6204828B1 (en) 1998-03-31 2001-03-20 International Business Machines Corporation Integrated gaze/manual cursor positioning system
US6867752B1 (en) 1998-08-31 2005-03-15 Semiconductor Energy Laboratory Co., Ltd. Portable information processing system
US6087941A (en) 1998-09-01 2000-07-11 Ferraz; Mark Warning device for alerting a person falling asleep
US6243076B1 (en) 1998-09-01 2001-06-05 Synthetic Environments, Inc. System and method for controlling host system interface with point-of-interest data
AUPP612998A0 (en) 1998-09-23 1998-10-15 Canon Kabushiki Kaisha Multiview multimedia generation system
US6526159B1 (en) 1998-12-31 2003-02-25 Intel Corporation Eye tracking for resource and power management
US6577329B1 (en) 1999-02-25 2003-06-10 International Business Machines Corporation Method and system for relevance feedback through gaze tracking and ticker interfaces
GB2348520B (en) 1999-03-31 2003-11-12 Ibm Assisting user selection of graphical user interface elements
US6116736A (en) 1999-04-23 2000-09-12 Neuroptics, Inc. Pupilometer with pupil irregularity detection capability
JP2001183735A (ja) * 1999-12-27 2001-07-06 Fuji Photo Film Co Ltd 撮像装置および方法
JP2001281520A (ja) * 2000-03-30 2001-10-10 Minolta Co Ltd 光学装置
US6456262B1 (en) 2000-05-09 2002-09-24 Intel Corporation Microdisplay with eye gaze detection
US6608615B1 (en) 2000-09-19 2003-08-19 Intel Corporation Passive gaze-driven browsing
AU2002215929A1 (en) 2000-10-07 2002-04-22 Physoptics Opto-Electronic Gmbh Device and method for determining the orientation of an eye
DE10103922A1 (de) 2001-01-30 2002-08-01 Physoptics Opto Electronic Gmb Interaktives Datensicht- und Bediensystem
US20030038754A1 (en) 2001-08-22 2003-02-27 Mikael Goldstein Method and apparatus for gaze responsive text presentation in RSVP display
AUPR872301A0 (en) 2001-11-08 2001-11-29 Sleep Diagnostics Pty Ltd Alertness monitor
US6712468B1 (en) 2001-12-12 2004-03-30 Gregory T. Edwards Techniques for facilitating use of eye tracking data
US6919907B2 (en) 2002-06-20 2005-07-19 International Business Machines Corporation Anticipatory image capture for stereoscopic remote viewing with foveal priority
US20040061680A1 (en) 2002-07-10 2004-04-01 John Taboada Method and apparatus for computer control
EP1553872B1 (en) * 2002-10-15 2010-01-13 Volvo Technology Corporation Method for interpreting a subjects head and eye activity
US7347551B2 (en) 2003-02-13 2008-03-25 Fergason Patent Properties, Llc Optical system for monitoring eye movement
US7881493B1 (en) 2003-04-11 2011-02-01 Eyetools, Inc. Methods and apparatuses for use of eye interpretation information
US9274598B2 (en) 2003-08-25 2016-03-01 International Business Machines Corporation System and method for selecting and activating a target object using a combination of eye gaze and key presses
US20050047629A1 (en) 2003-08-25 2005-03-03 International Business Machines Corporation System and method for selectively expanding or contracting a portion of a display using eye-gaze tracking
US7365738B2 (en) 2003-12-02 2008-04-29 International Business Machines Corporation Guides and indicators for eye movement monitoring systems
JP2005252732A (ja) * 2004-03-04 2005-09-15 Olympus Corp 撮像装置
US7561143B1 (en) 2004-03-19 2009-07-14 The University of the Arts Using gaze actions to interact with a display
GB2412431B (en) * 2004-03-25 2007-11-07 Hewlett Packard Development Co Self-calibration for an eye tracker
US7515054B2 (en) 2004-04-01 2009-04-07 Torch William C Biosensors, communicators, and controllers monitoring eye movement and methods for using them
ES2535364T3 (es) 2004-06-18 2015-05-08 Tobii Ab Control ocular de aparato informático
BRPI0609394A2 (pt) 2005-03-04 2010-03-30 Sleep Diagnostics Pty Ltd medição de prontidão (alerta)
JP2006345276A (ja) * 2005-06-09 2006-12-21 Fujifilm Holdings Corp 撮像装置
WO2007050029A2 (en) 2005-10-28 2007-05-03 Tobii Technology Ab Eye tracker with visual feedback
US7429108B2 (en) 2005-11-05 2008-09-30 Outland Research, Llc Gaze-responsive interface to enhance on-screen user reading tasks
US7760910B2 (en) 2005-12-12 2010-07-20 Eyetools, Inc. Evaluation of visual stimuli using existing viewing data
US8793620B2 (en) 2011-04-21 2014-07-29 Sony Computer Entertainment Inc. Gaze-assisted computer interface
JP2008288767A (ja) 2007-05-16 2008-11-27 Sony Corp 情報処理装置および方法、並びにプログラム
WO2009073584A1 (en) 2007-11-29 2009-06-11 Oculis Labs, Inc. Method and apparatus for display of secure visual content
US20100045596A1 (en) 2008-08-21 2010-02-25 Sony Ericsson Mobile Communications Ab Discreet feature highlighting
US7850306B2 (en) 2008-08-28 2010-12-14 Nokia Corporation Visual cognition aware display and visual data transmission architecture
US20100245765A1 (en) * 2008-10-28 2010-09-30 Dyer Holdings, Llc Video infrared ophthalmoscope
US8398239B2 (en) * 2009-03-02 2013-03-19 Honeywell International Inc. Wearable eye tracking system
JP2010213214A (ja) * 2009-03-12 2010-09-24 Brother Ind Ltd ヘッドマウントディスプレイ
EP2238889B1 (en) 2009-04-01 2011-10-12 Tobii Technology AB Adaptive camera and illuminator eyetracker
WO2010118292A1 (en) 2009-04-09 2010-10-14 Dynavox Systems, Llc Calibration free, motion tolerant eye-gaze direction detector with contextually aware computer interaction and communication methods
CN101943982B (zh) 2009-07-10 2012-12-12 北京大学 基于被跟踪的眼睛运动的图像操作
EP3338621B1 (en) 2009-07-16 2019-08-07 Tobii AB Eye detection unit using parallel data flow
JP5613025B2 (ja) * 2009-11-18 2014-10-22 パナソニック株式会社 視線検出装置、視線検出方法、眼電位計測装置、ウェアラブルカメラ、ヘッドマウントディスプレイ、電子めがねおよび眼科診断装置
US9507418B2 (en) 2010-01-21 2016-11-29 Tobii Ab Eye tracker based contextual action
US9182596B2 (en) 2010-02-28 2015-11-10 Microsoft Technology Licensing, Llc See-through near-eye display glasses with the optical assembly including absorptive polarizers or anti-reflective coatings to reduce stray light
US20130314303A1 (en) * 2010-02-28 2013-11-28 Osterhout Group, Inc. Ar glasses with user action control of and between internal and external applications with feedback
US8890946B2 (en) 2010-03-01 2014-11-18 Eyefluence, Inc. Systems and methods for spatially controlled scene illumination
US8593375B2 (en) 2010-07-23 2013-11-26 Gregory A Maltz Eye gaze user interface and method
US8531394B2 (en) * 2010-07-23 2013-09-10 Gregory A. Maltz Unitized, vision-controlled, wireless eyeglasses transceiver
US9213405B2 (en) 2010-12-16 2015-12-15 Microsoft Technology Licensing, Llc Comprehension and intent-based content for augmented reality displays
US8643680B2 (en) 2011-04-08 2014-02-04 Amazon Technologies, Inc. Gaze-based content display
US8885877B2 (en) 2011-05-20 2014-11-11 Eyefluence, Inc. Systems and methods for identifying gaze tracking scene reference locations
US8911087B2 (en) 2011-05-20 2014-12-16 Eyefluence, Inc. Systems and methods for measuring reactions of head, eyes, eyelids and pupils
ES2620762T3 (es) 2011-10-27 2017-06-29 Tobii Ab Gestión de potencia en un sistema de rastreo ocular
US8929589B2 (en) 2011-11-07 2015-01-06 Eyefluence, Inc. Systems and methods for high-resolution gaze tracking
KR101891786B1 (ko) 2011-11-29 2018-08-27 삼성전자주식회사 아이 트래킹 기반의 사용자 기능 운용 방법 및 이를 지원하는 단말기
US8955973B2 (en) 2012-01-06 2015-02-17 Google Inc. Method and system for input detection using structured light projection
US8913789B1 (en) * 2012-01-06 2014-12-16 Google Inc. Input methods and systems for eye positioning using plural glints
US9529426B2 (en) * 2012-02-08 2016-12-27 Microsoft Technology Licensing, Llc Head pose tracking using a depth camera
US9578318B2 (en) * 2012-03-14 2017-02-21 Microsoft Technology Licensing, Llc Imaging structure emitter calibration
US9171198B1 (en) * 2012-04-02 2015-10-27 Google Inc. Image capture technique
US9423870B2 (en) * 2012-05-08 2016-08-23 Google Inc. Input determination method
EP2847648A4 (en) 2012-05-09 2016-03-02 Intel Corp EYE PERSONALIZED SELECTIVE STRESSING OF PARTS OF AN INDICATION
DE102012105664A1 (de) 2012-06-28 2014-04-10 Oliver Hein Verfahren und Vorrichtung zur Kodierung von Augen- und Blickverlaufsdaten
US9189064B2 (en) 2012-09-05 2015-11-17 Apple Inc. Delay of display event based on user gaze
US20140092006A1 (en) 2012-09-28 2014-04-03 Joshua Boelter Device and method for modifying rendering based on viewer focus area from eye tracking
EP2929413B1 (en) 2012-12-06 2020-06-03 Google LLC Eye tracking wearable devices and methods for use
WO2014111924A1 (en) 2013-01-15 2014-07-24 Poow Innovation Ltd. Dynamic icons
US9829971B2 (en) 2013-01-21 2017-11-28 Facebook, Inc. Systems and methods of eye tracking control
KR102093198B1 (ko) 2013-02-21 2020-03-25 삼성전자주식회사 시선 인식을 이용한 사용자 인터페이스 방법 및 장치
KR102175853B1 (ko) 2013-02-22 2020-11-06 삼성전자주식회사 동작 제어 방법 및 그 전자 장치
US9619020B2 (en) 2013-03-01 2017-04-11 Tobii Ab Delay warp gaze interaction
JP6929644B2 (ja) 2013-12-31 2021-09-01 グーグル エルエルシーＧｏｏｇｌｅ ＬＬＣ 注視によるメディア選択及び編集のためのシステム並びに方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011135248A (ja) * 2009-12-24 2011-07-07 Nec Corp 携帯端末装置及びその表示制御方法
EP2499961A1 (en) * 2011-03-18 2012-09-19 SensoMotoric Instruments GmbH Spectacle device with an adjustable field of view and method

Also Published As

Publication number Publication date
KR102205374B1 (ko) 2021-01-21
JP2016510517A (ja) 2016-04-07
CN104903818A (zh) 2015-09-09
US20140218281A1 (en) 2014-08-07
EP2929413A4 (en) 2016-07-13
US20140184775A1 (en) 2014-07-03
WO2014089542A1 (en) 2014-06-12
EP2929413A1 (en) 2015-10-14
US10025379B2 (en) 2018-07-17
EP2929413B1 (en) 2020-06-03
KR20150116814A (ko) 2015-10-16
JP6498606B2 (ja) 2019-04-10

Similar Documents

Publication Publication Date Title
CN104903818B (zh) 眼睛跟踪佩戴式设备和使用方法
US11609425B2 (en) Augmented reality glasses with auto coregistration of invisible field on visible reality
CN104274151B (zh) 视线检测装置和视线检测方法
US7859562B2 (en) Visual aid display apparatus
CN103501406B (zh) 图像采集系统及图像采集方法
EP2651285B1 (en) Intuitive techniques and apparatus for ophthalmic imaging
CN107005653A (zh) 虚拟聚焦反馈
CN105393160A (zh) 基于眼睛注视的相机自动聚焦
JP6481084B2 (ja) 映像表示機能付き眼鏡
JP2003225207A (ja) 視線検出装置
CN106548115A (zh) 摄像头组件及具有其的移动设备
JPH0782539B2 (ja) 瞳孔画像撮影装置
JP3925222B2 (ja) 視線検出装置
TWI692706B (zh) 擴增實境面鏡
JP2009075610A (ja) 危険防止機能付きシースルー型表示装置、及びシースルー型表示装置を使用するときの危険防止方法
TWI740083B (zh) 低光源環境顯示結構
CN216962436U (zh) 红外血管成像装置
CA2247649C (en) Covert camera viewfinder or display having appearance of ordinary eyeglasses
US20240045211A1 (en) Increased Optical Performance of Head-Mounted Displays inside Laser Safety Eyewear
JP2005245791A (ja) 視線方向検出装置
JP2006126280A (ja) 透過式映像表示装置及び透過式映像表示装置注文システム
WO2016121049A1 (ja) 情報表示端末および情報表示方法

Legal Events

Date Code Title Description
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20181116

Address after: American California

Applicant after: Google limited liability company

Address before: Nevada

Applicant before: EYEFLUENCE INC

TA01 Transfer of patent application right
GR01 Patent grant
GR01 Patent grant