CN103492979B - 用于确定凝视方向的方法和设备 - Google Patents

用于确定凝视方向的方法和设备 Download PDF

Info

Publication number
CN103492979B
CN103492979B CN201280012540.0A CN201280012540A CN103492979B CN 103492979 B CN103492979 B CN 103492979B CN 201280012540 A CN201280012540 A CN 201280012540A CN 103492979 B CN103492979 B CN 103492979B
Authority
CN
China
Prior art keywords
light source
eyes
vision signal
equipment
display surface
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201280012540.0A
Other languages
English (en)
Other versions
CN103492979A (zh
Inventor
E.C.吉陶德
P.Y.巴斯考勒古
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ma Teqike Laboratory
Original Assignee
Ma Teqike Laboratory
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ma Teqike Laboratory filed Critical Ma Teqike Laboratory
Publication of CN103492979A publication Critical patent/CN103492979A/zh
Application granted granted Critical
Publication of CN103492979B publication Critical patent/CN103492979B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/02—Constructional features of telephone sets
    • H04M1/0202—Portable telephone sets, e.g. cordless phones, mobile phones or bar type handsets
    • H04M1/026—Details of the structure or mounting of specific components
    • H04M1/0264—Details of the structure or mounting of specific components for a camera module assembly
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F16—ENGINEERING ELEMENTS AND UNITS; GENERAL MEASURES FOR PRODUCING AND MAINTAINING EFFECTIVE FUNCTIONING OF MACHINES OR INSTALLATIONS; THERMAL INSULATION IN GENERAL
    • F16M—FRAMES, CASINGS OR BEDS OF ENGINES, MACHINES OR APPARATUS, NOT SPECIFIC TO ENGINES, MACHINES OR APPARATUS PROVIDED FOR ELSEWHERE; STANDS; SUPPORTS
    • F16M13/00—Other supports for positioning apparatus or articles; Means for steadying hand-held apparatus or articles
    • F16M13/04—Other supports for positioning apparatus or articles; Means for steadying hand-held apparatus or articles for supporting on, or holding steady relative to, a person, e.g. by chains, e.g. rifle butt or pistol grip supports, supports attached to the chest or head
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F16—ENGINEERING ELEMENTS AND UNITS; GENERAL MEASURES FOR PRODUCING AND MAINTAINING EFFECTIVE FUNCTIONING OF MACHINES OR INSTALLATIONS; THERMAL INSULATION IN GENERAL
    • F16M—FRAMES, CASINGS OR BEDS OF ENGINES, MACHINES OR APPARATUS, NOT SPECIFIC TO ENGINES, MACHINES OR APPARATUS PROVIDED FOR ELSEWHERE; STANDS; SUPPORTS
    • F16M13/00—Other supports for positioning apparatus or articles; Means for steadying hand-held apparatus or articles
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/19—Sensors therefor
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/113—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for determining or recording eye movement

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • General Physics & Mathematics (AREA)
  • Mechanical Engineering (AREA)
  • Health & Medical Sciences (AREA)
  • Signal Processing (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Ophthalmology & Optometry (AREA)
  • Multimedia (AREA)
  • Biophysics (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Optics & Photonics (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Eye Examination Apparatus (AREA)
  • Position Input By Displaying (AREA)
  • Studio Devices (AREA)
  • User Interface Of Digital Computer (AREA)
  • Telephone Set Structure (AREA)

Abstract

本发明的一个方面涉及一种用于在运动时支撑具有显示表面(21)的移动终端(20)、诸如移动电话或类似物体的设备(10)。本发明的特征在于，该设备包括：形成用于设备的手持部的支撑元件(11)；以及使之相对于支撑元件(11)可移动地安装的板(12)，所述板(12)形成拟在使用位置中接收移动终端的容纳部，其中显示表面(21)可以由用户进行观察。该设备包括与支撑元件(11)关联的多个参考光源(16a、16b、16c、16d)，多个参考光源可以朝向用户的眼睛发射光，并在与拟接收于容纳部中的移动终端的显示表面(21)共面的二维阵列中设置在容纳部的环境下。

Description

用于确定凝视方向的方法和设备
技术领域
本发明涉及与凝视(被称为“眼部追踪”)方向的测量和追踪相关联的技术领域，并且根据其各方面中的第一方面，更具体地涉及一种用于追踪用户在用户观察的显示表面上的凝视的方法，该显示表面特别地由诸如移动电话或触摸屏平板等移动终端的屏幕组成，虽然是可移动的，但允许它在被观察的显示表面上用户凝视所瞄准的位置处被确定。
背景技术
通过申请的非排他性示例，本发明可特别地提到对凝视与用户接口的相互作用的分析，这在例如旨在评估该接口内的关注区域或者旨在适应该接口的人体工程学特性的行为研究框架中进行。
在现有技术中，应区分眼部追踪系统的两大分支：
-非侵入式和非便携式的系统；
-侵入式和便携式的系统。
所有这些系统使用的基本技术原理均在于评估从光源的角膜反射和瞳孔的相对位置开始的凝视方向。
该原理在于将LED(发光二极管)设置为发射红外线波长的辐射的光源，正位于拟采集眼睛图像的摄像机物镜的旁边。该红外线LED在与摄像机物镜的轴线相同的方向上发射朝向眼睛的光。该光反射于眼角膜上：然后，所谓“Purkinje斑”的光斑出现于由摄像机捕获的眼角膜图像上。
非侵入式追踪系统是在受试者例如正在观看计算机屏幕时允许眼睛的移动被记录并由此允许追踪凝视的系统。
该类型的系统一般包括清晰度非常高的摄像头，该摄像头距离用户头部大约六十厘米设置在受试者的凝视轴线上。
由于该摄像头是高清晰度的，于是可以区分它所指向的用户面部。然后，通过图像处理和形状识别，可以辨认出眼睛的方位并放大图像，以准确地确定瞳孔相对于Purkinje斑的位置。该系统不与用户相互作用，并且用户不必戴上特种眼镜或头盔。
然而，该系统的主要缺陷在于，它依靠使用高清晰度摄像头，其成本超过具有标准分辨率的摄像头的价格的100倍以上。另外，在对凝视分析期间，用户无法使他/她的头部移动超出由拍摄眼睛的摄像头的视场角限定的三维极限。
此外，用户注视的屏幕必然要被固定，这构成了重要的限制，例如阻止该类型的系统适应移动终端的显示屏幕，移动终端就其性质而言诸如是要在移动时使用的移动电话或触摸屏平板。
侵入式眼部追踪系统允许在用户观看全景现场时该眼部追踪被记录，诸如是飞机的驾驶舱，例如抑或是车辆的仪表盘。
该类型的系统一般包括第一摄像机，第一摄像机距离用户头部大约十厘米设置在用户的凝视轴线上。该摄像机接近头部，因此它必须固定到一对特种眼镜或固定到头盔。
由于该摄像机直接拍摄眼睛面积，通过图像处理，可以准确地认出瞳孔相对于Purkinje斑的位置。
因此，该系统赋予用户以极大的移动自由度。用户可以因此到处移动，而同时给予摄像头分析他/她凝视的方向的可能性。另外，这样的系统允许使用所有类型的摄像头，例如与高清晰度摄像头相比具有降低的成本。
该类型的系统还包括被称为“现场摄像头”的第二摄像机，用于拍摄用户观察的现场。分别由第一摄像机和第二摄像机产生的这两个视频流被处理，以形成代表现场并包括光标的单个视频流，该光标允许各位置处于用户及时地在每个时刻引导他/她的凝视被追踪的现场中。这样的系统对本领域技术人员是熟知的，特别是通过文献US2010/0053555中给出的示例。
然而，该系统的一个缺陷归于以下事实，即：用来确定眼睛位置的第一摄像机以及允许用户观察的现场被拍摄的第二摄像机处于相同的参考系中，该参考系中关联到用户头部的参考系。而且，在移动性背景下，该系统并不是很适于追踪在可移动物体的表面上、更具体地在诸如移动电话等移动终端的显示屏幕上的凝视。实际上，例如当现场摄像头记录现场时，在该现场，用户在到处移动的同时处于观看移动电话屏幕的过程中，则所述正被注视和拍摄的物体在由现场摄像头记录现场所产生的视频图像流中变得可移动。然后，特别难以能够自动地确定用户在到处移动时观看的事物。
例如，如果用户在移动性背景下一直观看移动电话屏幕上的关注区域，则用户的凝视点不会根据所述关注区域而移动，但在由现场摄像头记录现场产生的视频图像流上，它根据被注视的关注区域图像的位置而到处移动，本身可在所产生的视频流内移动。
从而，在该移动性背景内，不可能容易地且尤其自动地确定的是用户会一直观看所述关注区域，这是不希望的，除非通过赋予系统以强大的图像处理和形状识别手段才能够准确地认出位于视频图像流内的所述关注区域，以从这推断出图像上的凝视点确实一直跟随着该关注区域，可在图像内移动。
发明内容
在这个背景下，本发明的目的是克服现有技术的缺陷并具体解决侵入式和便携式类型的已知眼部追踪系统所遇到的问题，以便能够在移动性背景内容易地且自动地确定相对于被注视物体、特别是移动电话的凝视方向。
根据本发明各方面中的第一方面，本发明因此涉及一种用于追踪用户在正由用户观察的移动终端的显示表面上凝视的方法，在于：在被观察的显示表面上确定用户的凝视位置，其中提供了位于用户的凝视轴线上的第一摄像机和指向眼睛且位于第一摄像机物镜附近的第一光源，以收集第一视频信号，第一视频信号至少包括瞳孔的图像和第一光源的角膜反射的图像；收集第二视频信号，第二视频信号包括正由用户观察的显示表面的图像；分析第一视频信号，以依据瞳孔中心相对于第一光源的角膜反射中心的位置在眼睛的参考系中测量凝视方向；以及依据在眼睛参考系中测量的凝视方向，在第二视频信号中显示代表被观察的显示表面上凝视位置的光标。
根据本发明，在不同于第一摄像机参考系的、与被观察显示表面参考系关联的参考系中捕获第二视频信号，将多个参考光源定位在捕获第二视频信号的参考系中，其指向眼睛并根据与被观察显示表面共面的二维阵列设置，使得由第一摄像机收集的第一视频信号还包括参考光源在眼睛上的角膜反射的图像，并且分析第一视频信号，以补充参考光源在眼睛上的角膜反射的中心位置，并且基于参考光源在眼睛上的角膜反射的中心位置并基于眼睛参考系中测量的凝视方向来确定被观察的显示表面的平面中的凝视位置。
有利地，在眼睛参考系中，基于参考光源在眼睛上的角膜反射的中心位置，相对于眼睛上的被观察表面的位置来确定凝视位置，并且在与眼睛参考系关联的坐标系和与由对应于被观察显示表面平面的多个参考光源形成的平面关联的坐标系之间使用转换关系，以便依据在眼睛参考系中确定的凝视位置来确定被观察显示表面的平面中的凝视位置。
根据一个实施方式，执行初始操作，以依据用户的眼睛在捕获第二视频信号的参考系中校准被观察表面的定位，在于：计算瞳孔在预限定测试图案的每个安装点上的中心位置，预限定测试图案定位在被观察表面的平面中，允许位于被观察表面的平面和眼睛的图像之间的对应点被限定。
可优选地，具体在黑暗环境中实施系统的情况下，提供指向眼睛、靠近第一摄像机物镜、设计为增强眼睛照明的第二光源。
可优选地，提供第二摄像机，其定位在被观察的显示表面的参考系中，用于捕获第二视频信号。
根据一个变型例，通过使用移动终端的视频输出来捕获第二视频信号。
根据本发明各方面中的另一方面，本发明还涉及一种用于在可移动状态下支撑具有显示表面的移动终端、特别是移动电话或类似物体的设备，以实施根据本发明的方法，其特征在于，该设备包括形成用于设备的手动夹持机构的支撑元件以及相对于支撑元件可移动地安装的托盘，托盘形成设计为在使用位置中接收移动终端的容纳部，其中显示表面能够由用户进行观察，该设备包括与支撑元件关联的多个参考光源，所述多个参考光源能够朝向用户发射光并根据与拟接收于容纳部中的移动终端的显示表面共面的二维阵列而设置在容纳部的环境中。
根据一个实施方式，该设备包括设计为支撑多个参考光源的第一支撑框架，第一支撑框架由多个臂构成，多个臂在它们中每个的各自第一端处安装在支撑元件上，并在它们各自第二端上安装了来自多个参考光源的一个相应光源。
有利地，此外，该设备可以包括被称为第二摄像机的摄像机，其附接至支撑元件并且能够朝向设计为接收移动终端的容纳部而取向，以便捕获被观察的显示表面的图像。
根据一个实施方式，该设备包括设计为支撑第二摄像机的第二支撑框架，其包括一臂，该臂通过第一端附接至支撑元件，并从该第一端延伸到第二端，第二端定位在设计为接收移动终端的容纳部上方，臂的该第二端配备有用于固定摄像机的装置，该装置能够保持摄像机在正确的方位中。
有利地，多个参考光源由四个发光二极管构造，当它们采用三个时是未对准的。
可优选地，发光二极管发射红外线波长范围内的辐射。
可优选地，托盘旋转地安装在支撑元件上、位于基本彼此呈直角的两个位置之间，以这样的方式分别限定用于拟接收于容纳部中的移动终端的显示表面的被称为肖像的位置和被称为景观的位置，并且在这些各自位置的每个之中提供用于锁定托盘的装置。
本发明的另一方面还涉及一种用于追踪用户在可移动状态下在移动终端的显示表面上凝视的系统，其特征在于，该系统包括：根据本发明的用于支撑所述移动终端的设备；附接至用户的装备的便携式单元，包括设计为调整至用户头部的支撑件和在用户的凝视轴线上安装到支撑件上并在其末端处承载摄像机(被称为第一摄像机)的臂；和第一光源，指向眼睛并位于第一摄像机的物镜附近；以及处理单元，处理单元包括能够接收第一视频信号的第一视频输入接口，由便携式装备的第一摄像机捕获的第一视频信号包括瞳孔的图像、指向眼睛的第一光源的角膜反射的图像和与配备用于支撑物体的设备的每个参考光源对应的角膜反射的图像，处理单元包括能够接收第二视频信号的第二视频输入接口，第二视频信号包括由用户观察的显示表面的图像，并且处理单元包括处理器模块，基于第一视频信号中参考光源的角膜反射中心的位置，并基于在眼睛的参考系中测量的凝视方向，处理器模块依据瞳孔中心相对于第一光源角膜反射中心的位置并依据在被观察显示表面的平面中对凝视位置的确定能够在眼睛的参考系中从第一视频信号测量凝视方向。
可优选地，在根据本发明的系统中实施的用于支撑移动终端的设备包括被称为第二摄像机的摄像机，用于提供第二视频信号，所述第二摄像机可以有利地附接至支撑元件并能够朝向设计为接收移动终端的容纳部而取向，用于捕获被观察的显示表面的图像，并且处理单元的第二视频输入接口连接到该第二摄像机的提供第二视频信号的视频输出。
根据一个变型例，处理单元的第二视频输入接口连接到移动终端的能够提供第二视频信号的视频输出。
有利地，处理单元包括能够提供第二视频信号的视频输出接口，在第二视频信号中，被观察的显示表面的图像在处理器模块确定的被观察的表面的平面中显示代表凝视位置的光标。
可优选地，该系统包括用于同步第一光源和参考光源的照明的模块，其中由便携式装备的第一摄像机捕获视频信号，所述同步模块包括能够接收来自便携式装备第一摄像机的第一视频信号的视频输入接口、设计为以同步方式控制第一光源和参考光源的照明和熄灭的供电装置以及用于处理视频信号的装置，该视频信号将所述供电装置构造为以两个图像之一相对于便携式装备第一摄像机所捕获图像的速率来控制第一光源和参考光源的照明。
有利地，安装在便携式装备的支撑件上的臂是伸缩臂，该伸缩臂配备有用于将第一摄像机维持在正确的方位中的抗旋转装置。
在一个实施方式中，伸缩臂包括两个关联的平行滑动杆，其中至少一个在臂的近端处具有滑动控制件。
可优选地，便携式装备的支撑件是具有两个支架的眼镜架，所述臂固定到眼镜架的支架之一上。
可优选地，安装在便携式装备的支撑件上的臂承载指向眼睛、靠近第一摄像机的物镜、设计为促进眼睛照明的第二光源。
附图说明
参考附图，在阅读通过非限制性示例给出的本发明一个特定实施方式的下文所呈现说明的基础上，本发明的其它特征和优点将变得显而易见，在图中：
-图1示出了根据本发明的眼部追踪系统的总体图；
-图2示意性地图示了用于在可移动状态下支撑用户所观察的物体的根据本发明设备的侧视图；
-图3图示了图2中设备的顶视图；
-图4示意性地图示了在根据本发明的眼部追踪系统的实施框架中设计为由用户承载的便携式装备的轮廓图；
-图5图示了图4中便携式装备的顶视图；
-图6图示了图2中设备的顶视图，校准测试图案设置在该设备上，和
-图7图示了当系统处于操作时由图4和5中所示便携式装备的摄像头捕获的眼睛图像。
具体实施方式
现在将要通过示例描述的系统被设计为确定受试人--下文中的用户--相对于物体被观察的显示表面的凝视方向的瞬时位置，该显示表面例如具体采用诸如移动电话或触摸屏平板等移动终端的显示屏幕的形式。本发明可应用于在真实可移动情况下由用户使用物体的背景之下。从而，在本发明的系统中，对在使用时通常由用户手持的物体而言，应规定为可相对于用户头部移动。
如之前已经说明的，侵入式和便携式类型的已知眼部追踪系统不适于记录在真实的移动性背景下用户正观看物体的现场，因为被注视和拍摄的物体在由现场摄像头记录现场所产生的视频中变得可移动。从而，虽然仍落入侵入式和便携式类型的眼部追踪系统的分支中，但本发明的系统提供对用户观察的现场的捕获，换句话说常常在移动电话的参考系中捕获移动电话的屏幕；并且定位在设计为反射于用户眼睛中的参考光源的该相同参考系内，此外这些光源相对于移动电话设置在与移动电话屏幕形成的平面相同的平面中。
因此，被观察的显示表面(屏幕)的图像将总是位于由现场摄像头产生的视频中的同一个地方，并且如下文中将看到的，参考光源的反射在计算之后将允许由瞳孔在眼睛图像中的位置推断而出的凝视位置关联到位于观察现场的参考系中的凝视位置。
为此，图1所示根据本发明的系统的实施方式示出了用于在可移动状态下支撑移动终端20的设备10，移动终端20具有设计为由用户注视的显示表面21。移动终端例如由移动电话组成，而显示表面由移动电话的屏幕组成。在图2和3中更精确图示的设备10包括支撑元件11，支撑元件11一方面设计为用作用于设备的基板，另一方面设计为用作用于设备的手动夹持机构。它采用单个散片的形式，构建为形成平面支撑的第一部分11a、从平面支撑部延伸并形成允许用户保持并操纵整个组件的手柄的第二部分11b以及第三部分11c，第三部分11c以倾斜方式从形成手柄的部分11b的一端延伸，并且托盘12安装到第三部分11c上。托盘12包括平面表面12a，平面表面12a例如装配有下端和上端止挡件12b和12c，从而界定出容纳部，该容纳部设计为特别当他/她正将设备保持在一只手中时将移动电话接收于使用位置中，即接收于使显示屏幕能够由用户进行观察的位置中。托盘12设计为在支撑元件11上可移动地安装，并且更精确地旋转安装在支撑元件的倾斜部分11c上。托盘12例如装配有锁紧螺钉13，允许托盘12在适当限定的位置中锁定到支撑元件11的倾斜部分11c上。螺钉13允许托盘12例如锁定在两个基本彼此呈直角的位置中，以这样的方式分别限定用于拟接收于容纳部中的移动电话的显示屏幕的被称为肖像的位置和被称为景观的位置。
此外，设备10包括被称为现场摄像头的摄像机14，其被提供在与移动电话相同的参考系中，用于捕获接收于容纳部中的移动电话的屏幕图像。为了实现这一点，现场摄像头14由轻型框架15保持在托盘12上方，托盘12形成用于移动电话的容纳部，配备设备的轻型框架15可优选地在形成手柄的部分11b的上部区域中附接至支撑元件11，以不干涉整个组件的夹持。在接收于设备10容纳部中的移动电话的参考系中，被设计为支撑现场摄像头14的支撑框架15包括例如臂，该臂将其第一端固定到支撑元件11并从该第一端朝向定位在形成容纳部的托盘上方的第二端延伸。臂的该第二端配备有用于固定现场摄像头14的装置(未示出)，允许现场摄像头14保持在正确的方位中。由于该布置，现场摄像头14被提供用于拍摄接收于设备10容纳部中的移动电话屏幕，现场摄像头14相对于移动电话固定在移动电话本身的参考系中。另外，在由现场摄像头14捕获屏幕所产生的视频中，包括在例如用户相对于被注视的屏幕移动他/她的头部又或者在他/她正观看屏幕的同时在空间中移动移动电话的移动性背景下，正被注视和拍摄的屏幕将保持固定。
根据一个变型实施方式，在移动终端配备有这样的常规上允许移动终端的屏幕被显示在外部显示媒介(例如，电视或计算机的屏幕)上的视频输出的情况下，来自用户所观察屏幕的视频信号可通过直接使用移动终端的视频输出而捕获。根据该变型实施方式，如上文中说明的，配备设备10的现场摄像头不是必须存在的。
而且，为了能够在运动中确定屏幕上用户凝视所瞄准的方位，设备包括多个参考光源16a、16b、16c、16d，参考光源因此定位在与接收于容纳部中的移动电话相同的参考系中，并且被提供以便发射朝向用户的拟反射于用户眼睛上的光。可优选地，参考光源16a、16b、16c、16d包括四个发射红外线波长的辐射的发光二极管(LED)。这四个红外线LED根据位于与接收于容纳部中的移动电话屏幕形成的平面相同的平面中的二维阵列更精确地设置在容纳部的环境中，此外在采用三个数目时展示出未对准的特征。由四个红外线LED16a至16d形成的平面设置为平行于由托盘12的平面表面12a(形成用于移动电话的容纳部)形成的平面，并且考虑到接收于容纳部中的物体厚度而略微地位于后一平面上方某一高度处，以这样的方式使四个LED定位在与由物体屏幕形成的平面相同的平面中。
四个参考红外线LED由轻型支撑框架17保持在托盘12周围，托盘12形成用于接收移动电话的容纳部，配备设备的轻型支撑框架17可优选地在支撑元件11的与配置用于支撑现场摄像头14的轻型框架15相同的面积中附接至支撑元件11。用于四个红外线LED的该支撑框架17例如包括四个臂，每个均具有附接红外线LED的自由端，以这样的方式使红外线LED朝向用户眼睛发射光；支撑框架17的每个臂的另一端附接至设备的支撑元件11。支撑框架的臂彼此相对布置，以这样的方式来满足用于上文中如此描述的红外线LED的几何定位约束。
图1所示根据本发明的系统的实施方式还示出了侵入式和便携式类型的设备30，用于辨认眼睛相对于反射于角膜上的所谓“Purkinje斑”的光斑的位置。设计为附接至用户的该装备在图4和5中更精确地加以描述。它包括设计为调整到用户头部的支撑件30。在此，支撑件30采用一对眼镜的框架的形式，其中矫正镜片被除去；并且包括两个支架31，其中至少一个至少在其前沿区域中足够宽，用于横向接收用于将微型摄像机33刚性固定到眼镜框架30的臂32。如以下部分将详细看到的，臂的长度可由使用蜗杆36的机构调整。
臂32包括具有细长基座34的板，其例如通过粘合剂结合到眼镜框架支架31而固定，并向前延伸细长基座34。两个平行管35a、35b通过任何手段、例如通过粘合剂带而固定到支撑板34，并用作具有两个滑动杆36a、36b的引导构件，其例如采用细管的形式。两个杆36a、36b的末端从管35a、35b突出，并通过装置36c使一个附接至另一个，例如通过具有插置支柱(interposedstrut)的夹紧环又或者通过穿过两管组成的组件的铆钉使一个附接至另一个。再次地在末端处，相同的装置36c或其它的装置33a可用于在固定的方位中基本上沿用户的凝视轴线将摄像机33固定到杆36a、36b。在近端处，杆36a、36b的端部也从外管35a、35b突出。因此，两个杆36a、36b组成的组件可以滑动，无需在管35a、35b中旋转。也可以提供单个杆，其具有非圆柱形横截面，以便保证没有旋转；但本实施方式具有的优点是，允许非常流畅的滑动且仅需非常常见和低成本的市售元件。
在其近端处，板34接收L形轴向引导件38，L形轴向引导件38包括与管35b和杆36b的轴线对准的平滑轴向通道。该通道接收蜗杆的螺杆40。端部止挡螺母39在轴向引导部分38附近被螺纹连接到螺杆40上并例如通过粘合剂结合被阻挡于螺杆40上，而调整指轮(adjustmentthumb-wheel)37则结合到螺钉的近端，其轴向移动因此被元件37、38和39的端部止挡配合限制，而通过操作调整指轮可以使其自由旋转。螺杆40接合于螺母41中，螺母41例如通过粘合剂结合而固定到杆10b的近端。
该装备的操作如下。在用户头部上调整眼镜框架，潜在地遵循如上文中提到的预调整。用户借助于指轮37执行对由摄像头33所捕获图像的清晰度的微调：
-在第一预限定方向上旋转指轮37使元件41更接近元件38。然而，元件41、36c、35a、35b和33刚性地固定在一起，由此使摄像头更接近用户的眼睛。
-在与第一预限定方向相反的方向上旋转指轮使元件41进一步远离元件38而移动。然而，元件41、36c、35a、35b和33刚性地固定在一起，由此使摄像头远离用户的眼睛而移动。
由于该布置，使摄像头33更接近或进一步远离用户的眼睛位置并由此调整焦距会容易地执行，并用一只手借助于指轮37的简单旋转，指轮37设置在臂32近端处靠近耳朵，如图4所示，换句话说位于相对于受试者头部固定的方位中，其中操纵指轮不会以不希望的方式危及设备整个组件的移动，因此它不需要保持。
此外，装备包括第一光源L1，第一光源L1指向眼睛并位于摄像机物镜附近。它例如直接固定到摄像头33主体上。该第一光源可优选地包括发射红外线波长的辐射的LED，它此后被称为“Purkinje”LED。在必要的情况下，可以添加红外线LED类型的第二光源L2，其以与光源L1相同的方式指向眼睛并设置在摄像机的物镜附近，以备系统具体使用于暗处的情况。
图1所示根据本发明的系统的实施方式还示出了处理单元50，其包括：第一视频输入接口51，用于接收由布置在用户上的便携式装备的摄像机33捕获的视频信号；和第二视频输入接口52，用于接收由现场摄像头14捕获的视频信号，连同音频输入接口53一起允许来自配备现场摄像头的麦克风的音频信号被接收。处理单元还至少包括一个视频输出接口54和一个音频输出接口55。
因此，当现场摄像头14捕获设置在支撑设备10上并由用户观察的移动电话屏幕的图像时，屏幕的图像使用连接到处理单元视频输入接口52的联接件(link)以视频信号的形式传送到处理单元50，并存储在处理单元的合适的存储装置中。根据上文中描述的没有现场摄像头的变型实施方式，处理单元50的视频输入接口52设计为连接到接收于设备10容纳部中的移动终端的视频输出，而音频输入接口53可以连接到分开的麦克风。在该变型例中，用户所观察的屏幕的视频记录因此经由来自移动终端的视频输出直接由移动终端本身提供。
此外，当布置在用户头部上的便携式装备的摄像机33捕获用户眼睛的图像时，用户眼睛的图像使用连接到处理单元视频输入接口51的联接件以视频信号的形式传送到处理单元50，并存储在处理单元的合适的存储装置中。
然而，在一个优选实施方式中，系统包括附加模块60，用于同步“Purkinje”LED和参考LED的照明，使便携式装备的摄像机33捕获视频信号。该模块插置于摄像机33和处理单元50之间；它包括用于接收由便携式装备摄像头33采集的视频信号的视频输入接口61以及视频输出接口62。它还包括用于供电至LED的装置63，其设计为以同步方式控制“Purkinje”LED和参考LED的照明和熄灭。
因此，根据该优选实施方式，当在用户头部上调整的便携式装备的摄像机33捕获用户眼睛的图像时，使用连接到同步模块的视频输入接口61的联接件以视频信号的形式将眼睛的图像传送到同步模块60，并存储在同步模块的合适的存储装置中用于处理。与同步模块处理视频信号并行，该视频信号使用将同步模块视频输出接口62连接到处理单元50视频输入接口51的联接件再传送到处理单元50，无需修改，就如同它已经接收在视频输入接口61处。
同步模块60的作用是：检测包含在所接收的视频信号中的同步信号，并依据该同步信号来控制“Purkinje”LED和参考LED的照明，以这样的方式同步化这些LED的照明来捕获图像。更具体地，四个参考LED16a至16d和“Purkinje”LEDL1由同步模块控制，以两个图像之一相对于便携式装备摄像头33所捕获的眼睛图像的速率以同步方式闪光。采用的术语“同步”所指事实是，当视频信号由便携式装备的摄像头33记录时，LED例如将在记录奇数个图像期间ON(开启)，而它们将在记录偶数个图像期间OFF(关闭)。实际上，LED针对两个图像之一ON的事实将仅允许LED的光反射在眼睛的生成图像中的有效位置被更好地区别开来。
更精确地，根据一个实施方式，同步模块使用电子元器件，以便从摄像头33的视频信号提取与该视频信号的偶数帧和奇数帧同步提示有关的第一信息，并基于第二信息的检测处理该信息，第二信息从与视频信号返回的偶数个和奇数个图像提示有关的视频信号中提取。应回顾，图像包括两个帧(奇数帧和偶数帧)，视频流包括一连串从1个到无穷个的图像，包括奇数个图像(1、3、5个等等)组和偶数个图像(2、4、6个等等)组。因此，当两个图像一个随着另一个时，一个是奇数，而另一个必然是偶数。
基于允许奇数个图像的奇数帧在视频信号中被辨认出的该信息，来自摄像头33的视频信号的这种处理可例如对应于由同步模块执行的计算，以使LED在奇数个图像的奇数帧被辨认出的时刻发光，这相当于照明具有奇数帧的使摄像头处于捕获过程中的现场。以这种方式，LED的照明持续时间严格等于单个帧的时间(即半个图像的时间)。由于LED的照明仅只在奇数帧的整个持续时间内被执行并开始于完整图像的形成，则应确定的是，照明必将在一个完整图像上发生，并将无法叠置到之后图像上。为此，同步模块实施处理手段，即：能够提取与该视频信号的偶数帧和奇数帧同步提示有关的第一件信息，能够处理该第一信息以获得与视频信号返回的偶数个和奇数个图像提示有关的第二件信息，并且能够在以这种方式获得的奇数帧和奇数个图像之间执行AND(与)逻辑类型的操作，从而确定用于照明/熄灭LED的命令将被发送至向LED供电的模块。
应注意，作为变型例，可以使用数字摄像头，允许用于偶数个和奇数个图像的同步信号直接恢复。实际上，这样的数字摄像头可有利地得到图像同步提示，没有必要从视频信号提取它。
同步模块及其操作原理在专利文献FR2937428中进行了描述，针对进一步的细节，读者可有益地参阅该专利文献。
一方面，操作如刚刚已经描述的系统需要校准用户眼睛(原则上每个用户具有不同的眼睛)的内在参数以及托盘12在现场摄像头14场内的定位参数。为此，如图6所示，所用的测试图案70定位在设备10的托盘12上。测试图案70采用板71的形式：五个校准LED72根据预限定的几何形状固定到其上，并朝向用户的眼睛发射光；便携式装备30已经在其上进行了初始调整。例如，四个LED设置在板71上以形成方形，而第五LED设置在方形的中心，在图6的顶视图上，后者被摄像头14掩盖。所用的校准LED72是在它们发光时对肉眼而言颜色可见的LED，可优选地是红色。
根据图6中的示例，板71具有两个孔73、74，当板71定位在托盘12上时，两个参考LED16a、16b穿过这两个孔，使得在校准操作期间，板71相对于托盘12正好居中并保持刚性地固定到托盘12。
五个校准LED72的照明借助于经由连接电缆75传送的具体电子命令而逐个执行，连接电缆75将所述板的校准LED连接到供电控制单元，用于未示出的校准LED。
更精确地，校准操作在于陆续地凝视五个闪光的校准LED。使用在校准操作期间捕获的眼睛图像，各种位置的眼睛和角膜反射点被存储，用于用户眼睛所注视的每个闪光的校准LED。在存储这些各种位置之后，计算眼睛的内在参数。从而，现在可以确定在眼睛的图像中由Purkinje斑和瞳孔中心的位置相关性确定的凝视方向与由四个参考LED16a至16d形成的平面之间的双射(bijection)。
在操作中，如之前已经说明的，用于在可移动状态下支撑正由用户注视的物体的设备10的四个参考LED16a至16d以及在用户头部上调整的便携式装备30的“Purkinje”LEDL1以两个图像之一相对于便携式装备30摄像头33所捕获的图像的速率以同步方式闪光。当LED16a至16d以及L1发光时，它们反射于用户的眼睛上，并由此允许所捕获的眼睛图像中的固定点凭借角膜反射而获得。因此，对于两个依次捕获的图像，两个图像之一包含发光LED的角膜反射的图像，而另一个图像则不包括。用于减去两个图像的具有通过由接收来自摄像头33的视频信号的处理单元50所实施的阈值化的处理的方法允许产生的图像被获得，如图7所示，其仅包含LED的角膜反射的图像。使用特殊算法，处理单元能够确定瞳孔的中心位置以及角膜反射在眼睛图像中的中心。从那里，从“Purkinje”LED在眼睛上反射而来的“Purkinje”LED在眼睛上的角膜反射位置P以及瞳孔的中心位置O允许凝视方向，换句话说，眼睛相对于被观察现场的凝视角度在眼睛的参考系中得以确定。从而，在计算之后，四个参考LED16a、16b、16c和16d分别在角膜反射R1、R2、R3和R4的图像中的位置以及因此测量的凝视方向将允许准确地确定设置在支撑设备10托盘12上的物体的被观察表面上的凝视位置。
实际上，在眼睛的参考系中，确定四个参考LED16a至16d在眼睛图像中的角膜反射的中心位置可以确定凝视相对于在眼睛表面上所观察的表面的位置。然后，通过改变参考系，可以从中推断出位于现场摄像头14参考系中的凝视位置，该参考系限定了对应于被观察表面的平面的由四个参考LED16a至16d形成的平面。在被观察表面的平面中由此确定的凝视位置得以利用，以便在现场视频中显示代表该凝视位置的光标。为此，处理单元对分别来自现场摄像头和来自便携式装备摄像机的视频信号施加在前同步，以便对这两个视频信号及时地调整相应的重要时刻。
由于本发明的手段，具体地由于在可移动状态下用于支撑物体的设备，被观察表面的图像将总是位于现场视频中的同一个地方，并且在计算之后，参考LED允许用户的凝视相对于被观察表面图像的位置得以确定。为此，移动电话用户接口上的关注区域图例如可更容易地创建，这是因为在真实的移动性背景下在该移动电话的整个给定使用周期内，如被注视和拍摄的用户接口将总是位于现场视频中的相同方位处，并且仅将凝视点相对于用户接口的图像可移动。

Claims (22)

1.一种用于追踪用户在由用户观察的移动终端(20)的显示表面(21)上的凝视的方法，包括：在被观察的显示表面上确定用户的凝视的位置，其中提供了位于用户的凝视的轴线上的第一摄像机(33)和指向眼睛且位于第一摄像机(33)的物镜附近的第一光源(L1)，以收集第一视频信号，所述第一视频信号至少包括瞳孔的图像和第一光源的角膜反射的图像；收集第二视频信号，所述第二视频信号包括显示表面(21)的图像；分析第一视频信号，以依据瞳孔的中心(O)相对于第一光源(L1)的角膜反射的中心(P)的位置在眼睛的参考系中测量凝视的方向；以及依据在眼睛的参考系中测量的凝视的方向，在第二视频信号中显示代表位于被观察的显示表面上的凝视的位置的光标，其特征在于，在与第一摄像机(33)的参考系不同的、与被观察的显示表面的参考系关联的参考系中捕获第二视频信号，将多个参考光源(16a、16b、16c、16d)定位在捕获第二视频信号的参考系中，所述多个参考光源指向眼睛并根据与被观察的显示表面共面的二维阵列设置，使得由第一摄像机(33)收集的第一视频信号还包括参考光源在眼睛上的角膜反射(R1、R2、R3、R4)的图像，并且分析第一视频信号，以补充参考光源在眼睛上的角膜反射的中心的位置，并且基于参考光源在眼睛上的角膜反射的中心的位置，并基于在眼睛的参考系中测量的凝视的方向，确定位于被观察的显示表面的平面中的凝视的位置。
2.根据权利要求1所述的方法，其特征在于，在眼睛的参考系中，基于参考光源在眼睛上的角膜反射的中心的位置，相对于眼睛上的被观察的表面的位置来确定凝视的位置，并且在与眼睛的参考系关联的坐标系和与对应于被观察的显示表面的平面、由多个参考光源形成的平面关联的坐标系之间使用转换关系，以便依据在眼睛的参考系中确定的凝视的位置，确定位于被观察的显示表面的平面中的凝视的位置。
3.根据权利要求1和2之一所述的方法，其特征在于，执行初始操作，以依据用户的眼睛在捕获第二视频信号的参考系中校准被观察的表面的定位，计算瞳孔在预限定的测试图案(70)的每个安装点(72)上的中心的位置，所述测试图案定位在被观察的表面的平面中，允许位于被观察的表面的平面和眼睛的图像之间的对应点被限定。
4.根据权利要求1或2所述的方法，其特征在于，提供靠近第一摄像机(33)的物镜指向眼睛的并设计为促进眼睛的照明的第二光源(L2)。
5.根据权利要求1或2所述的方法，其特征在于，提供第二摄像机(14)，所述第二摄像机定位在被观察的显示表面的参考系中，以便捕获第二视频信号。
6.根据权利要求1或2所述的方法，其特征在于，通过使用移动终端的视频输出来捕获第二视频信号。
7.一种用于在可移动状态下支撑具有显示表面(21)的移动终端(20)设备(10)，以实施根据前述权利要求中任一项所述的方法，其特征在于，所述设备包括形成用于设备的手动夹持机构的支撑元件(11)以及相对于支撑元件(11)可移动地安装的托盘(12)，托盘(12)形成设计为在使用位置中接收移动终端的容纳部，其中显示表面(21)能够由用户进行观察，所述设备包括与支撑元件(11)关联的多个参考光源(16a、16b、16c、16d)，所述多个参考光源能够朝向用户的眼睛发射光，并根据与拟接收于容纳部中的移动终端的显示表面(21)共面的二维阵列而设置在容纳部中。
8.根据权利要求7所述的设备，其特征在于，所述设备包括设计为用于保持多个参考光源(16a、16b、16c、16d)的第一支撑框架(17)，第一支撑框架由多个臂构成，所述多个臂在它们中每个的各自第一端处安装在支撑元件(11)上，并在它们各自第二端上安装了来自多个参考光源的一个相应光源。
9.根据权利要求7或8所述的设备，其特征在于，所述设备还包括第二摄像机(14)，所述第二摄像机附接至支撑元件(11)并且能够朝向设计为接收移动终端的容纳部而取向，以便捕获被观察的显示表面的图像。
10.根据权利要求9所述的设备，其特征在于，所述设备包括设计为支撑第二摄像机(14)的第二支撑框架(15)，所述第二支撑框架包括一臂，所述臂通过第一端附接至支撑元件(11)，并从所述第一端延伸到定位在设计为接收移动终端的容纳部上方的第二端，臂的所述第二端配备有用于固定摄像机(14)的装置，所述装置能够将摄像机保持在正确的方位中。
11.根据权利要求7或8所述的设备，其特征在于，所述多个参考光源(16a、16b、16c、16d)为四个发光二极管，当发光二极管采用三个时是未对准的。
12.根据权利要求11所述的设备，其特征在于，发光二极管发射红外线波长范围内的辐射。
13.根据权利要求7或8所述的设备，其特征在于，托盘(12)旋转地安装在支撑元件(11)上、位于彼此基本呈直角的至少两个位置之间，以这样的方式分别限定用于拟接收于容纳部中的移动终端的显示表面的被称为肖像的位置和被称为景观的位置，并且所述设备包括位于这些各自位置的每个之中用于托盘的锁定装置(13)。
14.一种用于在可移动状态下追踪用户在移动终端(20)的显示表面上的凝视的系统，其特征在于，所述系统包括：根据权利要求7至13中任一项所述的用于支撑所述移动终端的设备(10)；附接至用户的便携式装备，包括支撑件(30)和臂(32)，所述支撑件被设计为调整至用户的头部，所述臂在用户的凝视的轴线上安装在支撑件(30)上并在所述臂的末端处承载第一摄像机(33)；和第一光源(L1)，指向眼睛并位于第一摄像机(33)的物镜附近；以及处理单元(50)，所述处理单元包括能够接收第一视频信号的第一视频输入接口(51)，由便携式装备的第一摄像机(33)捕获的第一视频信号包括瞳孔的图像、指向眼睛的第一光源(L1)的角膜反射的图像和与配备用于支撑移动终端的设备(10)的每个参考光源(16a、16b、16c、16d)对应的角膜反射的图像，所述处理单元包括能够接收第二视频信号的第二视频输入接口(52)，第二视频信号包括由用户观察的显示表面的图像，并且所述处理单元包括处理器模块，基于第一视频信号中参考光源的角膜反射的中心的位置，并基于在眼睛的参考系中测量的凝视的方向，处理器模块依据瞳孔的中心相对于第一光源的角膜反射的中心的位置并依据在被观察的显示表面的平面中对凝视的位置的确定能够在眼睛的参考系中从第一视频信号测量凝视的方向。
15.根据权利要求14所述的系统，其特征在于，用于支撑移动终端的所述设备(10)包括用于提供第二视频信号的第二摄像机(14)，第二摄像机(14)附接至用于支撑移动终端的设备(10)的支撑元件(11)并能够朝向设计为接收移动终端的容纳部而取向，以便捕获被观察的显示表面的图像，并且处理单元(50)的第二视频输入接口(52)连接到第二摄像机(14)的视频输出。
16.根据权利要求14所述的系统，其特征在于，处理单元(50)的第二视频输入接口(52)连接到移动终端的能够提供第二视频信号的视频输出。
17.根据权利要求14至16中任一项所述的系统，其特征在于，处理单元包括能够提供第二视频信号的视频输出接口(54)，在第二视频信号中，被观察的显示表面的图像在处理器模块确定的被观察的表面的平面中显示代表凝视的位置的光标。
18.根据权利要求14至16中任一项所述的系统，其特征在于，所述系统包括用于同步第一光源(L1)和参考光源(16a、16b、16c、16d)的照明的模块(60)，其中由便携式装备的第一摄像机(33)捕获第一视频信号，所述用于同步的模块包括：能够接收来自便携式装备的第一摄像机(33)的第一视频信号的视频输入接口(61)、设计为以同步方式控制第一光源和参考光源的照明和熄灭的供电装置(63)、以及与所述供电装置一起构造的用于处理被接收的视频信号的装置，从而以两个图像之一相对于便携式装备的第一摄像机所捕获的图像的速率来控制第一光源和参考光源的照明。
19.根据权利要求14至16中任一项所述的系统，其特征在于，安装到便携式装备的支撑件(30)上的臂(32)是伸缩臂(35a、36a)，所述伸缩臂配备有用于将第一摄像机维持在正确的方位中的抗旋转装置(35a、35b、36a、36b)。
20.根据权利要求19所述的系统，其特征在于，伸缩臂包括关联的滑动平行杆(36a、36b)，关联的滑动平行杆中的至少一个在臂的近端处具有滑动控制件。
21.根据权利要求14至16中任一项所述的系统，其特征在于，便携式装备的支撑件(30)是具有两个支架的眼镜架，臂(32)固定到眼镜架的支架之一上。
22.根据权利要求14至16中任一项所述的系统，其特征在于，安装在便携式装备的支撑件(30)上的臂(32)承载第二光源(L2)，所述第二光源靠近第一摄像机(33)的物镜指向眼睛并设计为促进眼睛的照明。
CN201280012540.0A 2011-01-19 2012-01-10 用于确定凝视方向的方法和设备 Expired - Fee Related CN103492979B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
FR1150405 2011-01-19
FR1150405A FR2970576B1 (fr) 2011-01-19 2011-01-19 Procede de determination de la direction du regard et dispositif pour sa mise en oeuvre
PCT/FR2012/050065 WO2012098325A2 (fr) 2011-01-19 2012-01-10 Procede de determination de la direction du regard et dispositif pour sa mise en oeuvre

Publications (2)

Publication Number Publication Date
CN103492979A CN103492979A (zh) 2014-01-01
CN103492979B true CN103492979B (zh) 2016-04-20

Family

ID=45688888

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201280012540.0A Expired - Fee Related CN103492979B (zh) 2011-01-19 2012-01-10 用于确定凝视方向的方法和设备

Country Status (8)

Country Link
US (1) US9185196B2 (zh)
EP (1) EP2666071B1 (zh)
JP (1) JP5980231B2 (zh)
KR (1) KR101868655B1 (zh)
CN (1) CN103492979B (zh)
CA (1) CA2824921C (zh)
FR (1) FR2970576B1 (zh)
WO (1) WO2012098325A2 (zh)

Families Citing this family (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9160906B2 (en) * 2011-02-03 2015-10-13 Jason R. Bond Head-mounted face image capturing devices and systems
JP5689850B2 (ja) * 2012-05-25 2015-03-25 株式会社ソニー・コンピュータエンタテインメント 映像解析装置、映像解析方法、および注視点表示システム
US20140368432A1 (en) * 2013-06-17 2014-12-18 Tencent Technology (Shenzhen) Company Limited Wearable smart glasses as well as device and method for controlling the same
US9420950B2 (en) * 2013-09-17 2016-08-23 Pixart Imaging Inc. Retro-reflectivity array for enabling pupil tracking
EP3063606A4 (en) * 2013-10-30 2017-08-09 Technology Against ALS Communication and control system and method
EP2886041A1 (en) * 2013-12-17 2015-06-24 ESSILOR INTERNATIONAL (Compagnie Générale d'Optique) Method for calibrating a head-mounted eye tracking device
KR20230142657A (ko) * 2014-03-19 2023-10-11 인튜어티브 서지컬 오퍼레이션즈 인코포레이티드 눈 시선 추적을 사용하는 의료 디바이스, 시스템, 및 방법
US20160011657A1 (en) * 2014-07-14 2016-01-14 Futurewei Technologies, Inc. System and Method for Display Enhancement
WO2016013634A1 (ja) * 2014-07-24 2016-01-28 国立研究開発法人科学技術振興機構 画像位置合わせ装置、画像位置合わせ方法、および、画像位置合わせプログラム
CN106796655A (zh) * 2014-09-12 2017-05-31 眼锁有限责任公司 用于引导用户在虹膜识别系统中的视线的方法和设备
US9946339B2 (en) * 2014-10-08 2018-04-17 Microsoft Technology Licensing, Llc Gaze tracking through eyewear
WO2016064311A1 (en) * 2014-10-22 2016-04-28 Telefonaktiebolaget L M Ericsson (Publ) Method and device for providing a touch-based user interface
DE102015204283A1 (de) * 2015-03-10 2016-09-15 Robert Bosch Gmbh Verfahren und Vorrichtung zur Erfassung der Blickrichtung einer Person
CN107533634A (zh) * 2015-03-23 2018-01-02 控制辐射系统有限公司 眼睛跟踪系统
US10191561B2 (en) * 2015-06-15 2019-01-29 Facebook Technologies, Llc Tracking controllers of a virtual reality system
US9785234B2 (en) * 2015-12-26 2017-10-10 Intel Corporation Analysis of ambient light for gaze tracking
CN108697321B (zh) * 2015-12-31 2021-09-17 视译公司 用于在限定操作范围内进行视线跟踪的装置
WO2017122299A1 (ja) * 2016-01-13 2017-07-20 フォーブ インコーポレーテッド 表情認識システム、表情認識方法及び表情認識プログラム
CN109073888A (zh) * 2016-02-25 2018-12-21 柯尼卡美能达株式会社 屏幕以及平视显示装置
JP6597397B2 (ja) * 2016-02-29 2019-10-30 富士通株式会社 ポインティング支援装置、ポインティング支援方法およびポインティング支援プログラム
WO2018147834A1 (en) * 2017-02-07 2018-08-16 Carl Zeiss Vision International Gmbh Prescription determination
CN107422749B (zh) * 2017-07-06 2021-03-12 深圳Tcl数字技术有限公司 电视的方位调整方法、装置、电视及计算机可读存储介质
CN108732764B (zh) * 2018-06-06 2024-05-31 北京七鑫易维信息技术有限公司 一种智能眼镜、眼球轨迹的追踪方法、装置及存储介质
CN113934288A (zh) * 2020-06-29 2022-01-14 北京七鑫易维信息技术有限公司 针对移动平台的注视轨迹分析系统和方法
CN113473015B (zh) * 2021-06-08 2022-03-08 荣耀终端有限公司 一种云台控制方法及电子设备
US11806078B1 (en) 2022-05-01 2023-11-07 Globe Biomedical, Inc. Tear meniscus detection and evaluation system
WO2024096560A1 (ko) * 2022-11-02 2024-05-10 삼성전자 주식회사 웨어러블 전자 장치 및 그 동작 방법

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020013573A1 (en) * 1995-10-27 2002-01-31 William B. Telfair Apparatus and method for tracking and compensating for eye movements
US20050175218A1 (en) * 2003-11-14 2005-08-11 Roel Vertegaal Method and apparatus for calibration-free eye tracking using multiple glints or surface reflections
CN101067716A (zh) * 2007-05-29 2007-11-07 南京航空航天大学 具有视线跟踪功能的增强现实自然交互式头盔
US20100025444A1 (en) * 2008-07-31 2010-02-04 William Rodney Tipton Hands-Free Viewing Assemblies for Portable Media Players
US20100053555A1 (en) * 2008-08-27 2010-03-04 Locarna Systems, Inc. Method and apparatus for tracking eye movement
CN101866215A (zh) * 2010-04-20 2010-10-20 复旦大学 在视频监控中采用视线跟踪的人机交互装置和方法

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4836670A (en) * 1987-08-19 1989-06-06 Center For Innovative Technology Eye movement detector
JPH0694977A (ja) * 1992-09-14 1994-04-08 Nikon Corp 視線検出装置
JP3324295B2 (ja) * 1994-09-26 2002-09-17 日産自動車株式会社 車両用視線方向計測装置
US5583795A (en) * 1995-03-17 1996-12-10 The United States Of America As Represented By The Secretary Of The Army Apparatus for measuring eye gaze and fixation duration, and method therefor
FR2731896B1 (fr) * 1995-03-24 1997-08-29 Commissariat Energie Atomique Dispositif de mesure de la position du point de fixation d'un oeil sur une cible, procede d'eclairage de l'oeil et application a l'affichage d'images dont les images changent en fonction des mouvements de l'oeil
WO1997018547A1 (en) * 1995-11-16 1997-05-22 Ure Michael J Multi-touch input device, method and system that minimize the need for memorization
US6373961B1 (en) * 1996-03-26 2002-04-16 Eye Control Technologies, Inc. Eye controllable screen pointer
US6758563B2 (en) * 1999-12-30 2004-07-06 Nokia Corporation Eye-gaze tracking
JP2002143094A (ja) * 2000-11-07 2002-05-21 Nac Image Technology Inc 視線検出装置
US7401920B1 (en) * 2003-05-20 2008-07-22 Elbit Systems Ltd. Head mounted eye tracking and display system
EP1739642B1 (en) * 2004-03-26 2017-05-24 Atsushi Takahashi 3d entity digital magnifying glass system having 3d visual instruction function
JP2006050164A (ja) * 2004-08-03 2006-02-16 Olympus Corp 画像編集装置、画像編集プログラム、記録媒体
JP2009157634A (ja) * 2007-12-26 2009-07-16 Fuji Xerox Co Ltd 照射制御装置、照射制御プログラム、視線分析システム
FR2937428B1 (fr) * 2008-10-21 2011-01-21 Eric Guitteaud Dispositif et procede de synchronisation d'une onde lumineuse avec un signal electronique.
GB2467301B (en) * 2009-01-27 2012-11-14 Leslie Greenhalgh Laptop support

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020013573A1 (en) * 1995-10-27 2002-01-31 William B. Telfair Apparatus and method for tracking and compensating for eye movements
US20050175218A1 (en) * 2003-11-14 2005-08-11 Roel Vertegaal Method and apparatus for calibration-free eye tracking using multiple glints or surface reflections
CN101067716A (zh) * 2007-05-29 2007-11-07 南京航空航天大学 具有视线跟踪功能的增强现实自然交互式头盔
US20100025444A1 (en) * 2008-07-31 2010-02-04 William Rodney Tipton Hands-Free Viewing Assemblies for Portable Media Players
US20100053555A1 (en) * 2008-08-27 2010-03-04 Locarna Systems, Inc. Method and apparatus for tracking eye movement
CN101866215A (zh) * 2010-04-20 2010-10-20 复旦大学 在视频监控中采用视线跟踪的人机交互装置和方法

Also Published As

Publication number Publication date
JP5980231B2 (ja) 2016-08-31
US9185196B2 (en) 2015-11-10
FR2970576B1 (fr) 2013-02-08
FR2970576A1 (fr) 2012-07-20
EP2666071A2 (fr) 2013-11-27
US20130295994A1 (en) 2013-11-07
CA2824921C (fr) 2019-06-11
KR20140053828A (ko) 2014-05-08
CN103492979A (zh) 2014-01-01
EP2666071B1 (fr) 2020-12-02
WO2012098325A3 (fr) 2013-10-17
WO2012098325A2 (fr) 2012-07-26
KR101868655B1 (ko) 2018-06-18
JP2014504762A (ja) 2014-02-24
CA2824921A1 (fr) 2012-07-26

Similar Documents

Publication Publication Date Title
CN103492979B (zh) 用于确定凝视方向的方法和设备
US10165176B2 (en) Methods, systems, and computer readable media for leveraging user gaze in user monitoring subregion selection systems
US11543883B2 (en) Event camera system for pupil detection and eye tracking
US20140104392A1 (en) Generating image information
KR102471370B1 (ko) 정보 처리 장치, 정보 처리 방법 및 프로그램
US20220361737A1 (en) Fluorescence Imaging Scope With Dual Mode Focusing Structures
CN102884471A (zh) 一种个人通信设备的附加装置
CN102799878B (zh) 虹膜人脸融合采集装置
JP6700703B2 (ja) 静脈可視化装置
JP6554948B2 (ja) 表示装置、表示装置の制御方法、及び、プログラム
CN105279490A (zh) 一种人机交互式虹膜图像自动采集装置
CN105615826A (zh) 用于测量眼球运动的具有可见投影部件的可头戴设备
US10176375B2 (en) High speed pupil detection system and method
KR101739768B1 (ko) 스테레오 카메라와 협각 카메라를 이용한 원거리 시선 추적 시스템
KR101780669B1 (ko) 단일 카메라를 이용한 양안 촬영 장치
CN209044219U (zh) 一种基于眼球追踪技术的放大式眼镜
JP6355146B1 (ja) 医療安全システム
EP3263017A1 (en) Ocular fundus imaging system
CN101246220A (zh) 一种便携式跟踪装置及其位置姿态跟踪方法和系统
CN103677704B (zh) 显示装置和显示方法
US10345919B2 (en) Accessory between display and keyboard
CN114252998B (zh) 近眼显示装置
JP2010249907A (ja) 撮影装置および撮像方法
US20230252671A1 (en) Gaze Tracking
JP2012109732A (ja) 対象識別装置及び対象識別方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20160420