CN1279774A - 眼睛跟踪装置 - Google Patents

眼睛跟踪装置 Download PDF

Info

Publication number
CN1279774A
CN1279774A CN98811322A CN98811322A CN1279774A CN 1279774 A CN1279774 A CN 1279774A CN 98811322 A CN98811322 A CN 98811322A CN 98811322 A CN98811322 A CN 98811322A CN 1279774 A CN1279774 A CN 1279774A
Authority
CN
China
Prior art keywords
onlooker
video camera
lighting device
eyes
arbitrary
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN98811322A
Other languages
English (en)
Inventor
P·V·哈门
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dynamic Digital Depth Research Pty Ltd
Original Assignee
Dynamic Digital Depth Research Pty Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dynamic Digital Depth Research Pty Ltd filed Critical Dynamic Digital Depth Research Pty Ltd
Publication of CN1279774A publication Critical patent/CN1279774A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/02—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness
    • G01B11/03—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness by measuring coordinates of points
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/113—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for determining or recording eye movement
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/28—Systems for automatic generation of focusing signals
    • G02B7/287—Systems for automatic generation of focusing signals including a sight line detecting device
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/327—Calibration thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • H04N13/373—Image reproducers using viewer tracking for tracking forward-backward translational head movements, i.e. longitudinal movements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • H04N13/376—Image reproducers using viewer tracking for tracking left-right translational head movements, i.e. lateral movements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • H04N13/38—Image reproducers using viewer tracking for tracking vertical translational head movements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/398—Synchronisation thereof; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/302—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays
    • H04N13/32—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays using arrays of controllable light sources; using moving apertures or moving light sources

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Ophthalmology & Optometry (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Human Computer Interaction (AREA)
  • Optics & Photonics (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Eye Examination Apparatus (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明涉及一种对观者眼睛定位的跟踪系统,它包括照明装置(61);多个摄像机(60),和一个处理装置(55),其中至少观者的眼睛受照明装置(61)的照射,使得每个摄像机(60)能够捕获图象,而处理装置(55)则适合于对来自每个摄像机(61)的图象进行处理,从而检测出观者眼睛的位置。

Description

眼睛跟踪装置
发明领域
本发明涉及一种改进的眼睛跟踪装置，更具体地涉及在供自动立体镜观看系统上使用的眼睛跟踪装置。
背景技术
本申请人的原始三维自动立体镜显示单元包含一个眼睛跟踪单元，能使立体镜投影机对正确定位，由此使观察者能够观看三维视频而无需使用专门的眼镜。在澳大利亚专利申请第42929/96中所揭示的这一跟踪系统需要眼睛在x和y方向上位置的数据。即，在单个摄像机的设定距离下，从一已知基准点起眼睛的水平和垂直位置。
较早的开发工作基于观者将位于离屏幕相对固定的距离这一前提。然而，现在希望开发一种系统，它能够确定眼睛在x、y和z方向上的位置。即，从已知的基准点起的水平(横向)位置、垂直(高度)位置和水平(深度)位置。这种系统将使观察者能够相对于屏幕左右、上下、前后移动。然而，创建这样一种系统，需要附加的数据，以便获得深度或z信息。
本申请人研究了利用反馈焦点信息和超声波的许多不同系统。然而，在目前尚未发现，这些其它的方法在技术上或者在商业上是合乎实际的。
发明目的
因此，本发明的目的是提供一种眼睛跟踪系统，它能够提供观察者的眼睛在x、y和z方向上的位置。
还希望不需要观察者戴任何专门的头戴机构，且系统应可靠地跟踪观察者，而不管观察者佩戴了任何校正眼镜。较佳地，在瞬间眨眼或者观察者的一只或两只眼睛闭合期间或者当观者片刻向系统外观看期间，系统也应当正确地报告观察者眼睛的位置。理想地，还希望系统应当可靠地区分观察者的眼睛与其它面部特正，例如耳环或背景物体。
发明概要
考虑到以上目的，本发明的一个方面提供一种对观者的头和/或眼睛定位的跟踪系统，它包括照明装置；多个摄像机；和处理装置，这里，观者眼睛中至少有一只被照明装置照射，使得每个摄像机能够捕获图象，而所述处理装置适合于对来自每个摄像机的图象进行处理，从而检测出观者眼睛和/或头的位置。
于是对于需要对z方向以及x和y方向上进行跟踪的系统，较佳地，可以将两个摄像机定位在观察者头或者需要确定观察者坐标的自动立体镜显示系统的两侧。然后，处理装置就能够利用三角方法对观者的头和/或眼睛进行定位。为了获得更紧凑的跟踪系统，每个摄像机可以与一个相应的反射镜相关，理想情况是，后者相对于各个摄像机的光轴以135°定位。增加这种反射镜并不会对每个摄像机的性能产生不利影响，但的确允许获得更紧凑的系统。
理论上，照明装置能够由多个单独照明装置形成，每个单独照明装置可响应于观者的移动而移动。
将会明白，这种照明装置将符合于地方的安全条例。
在另一个方面，本发明提供一种对观者眼睛进行定位的跟踪塔，它包括：
照明装置，用于至少照射观者的眼睛；
垂直安装的摄像机，用于至少捕获来自观者眼睛的反射光；及
反射镜，将其定位在使垂直安装的摄像机在跟踪塔前能够捕获图象。
在又一个方面，本发明提供一种跟踪观者眼睛的方法，它包括：
将从照明装置发出的能被观者眼角膜加以反射的光透射在观者眼睛上；
由多个能够检测来自观者角膜的反射光的摄像机捕获观者的图象；
在处理装置中对来自每个摄像机的捕获图象进行处理，以确定观者眼睛的位置。
在再一个方面，本发明提供一种自动立体镜显示系统，它包括：
显示装置，用于显示观者所要观看的图象；
位于显示装置两侧的跟踪塔，每个跟踪塔包括：
至少照射观者眼睛的上部和下部照明装置；
垂直安装的摄像机，用于至少捕获来自观者眼睛的反射光；及
反射镜，对其定位使得垂直安装的摄像机能够捕获位于跟踪塔前的观者的图象；
位于显示装置下面的处理装置，用于接收每个摄像机所捕获的图象，以确定观者眼睛的位置，并将来自处理装置的输出传送到每个跟踪塔，由此响应于观者的移动而调节每个所述的摄像机；
并在这里利用来自处理装置的输出去显示在显示装置上观者所要观看图象的各自左眼和右眼图象。
附图简述
图1示出本发明的较佳陈列。
图2示出对应于本发明一较佳实施例的跟踪塔的例子。
图3示出本发明一实施例的跟踪塔(减去照明装置)和处理装置的典型部件的方框图。
图4a-4c示出本发明一实施例的标定系统的流程图。
图5a-5b示出较佳实施例中眼睛跟踪器和头跟踪器的操作流程图。
图6示出本发明一实施例要求的硬件方框图。
详细描述
为了使系统在标准的家庭的和工业环境光照条件下可靠地跟踪观察者的眼睛，须要确定观察者面部应当被照射的最佳方式，以便使来自观察者反射的唯一性达到最大而使出现可能会被误认为眼睛反射的其它反射则减至最小。
通过实验发现，照在观察者面部的局部光源从观察者眼睛角膜返回该光源的高水平反射。考虑到这些角膜反射，人们发现，这样一种反射的特征是足够地唯一，以致能够使它们与来自观察者面部以及还有观察者附近其它物体的其它反射可靠地区分。
为了防止给观者造成不舒适，需要采用非可见光的光源，而红外则是一种较佳的方案。
然而，如果观察者佩戴着校证的眼镜，则可以确定，来自角膜的反射通过眼镜可能检测不出，或者可能难以区分出照明光源从观察者眼镜的反射。
在这种情况下要注意，从眼镜外缘的反射是足够地唯一，以致能够使它们与来自观察者面部以及观察者附近其它物体的其它反射可靠地区分。
由于眼镜的一般形状是已知的，故可确定观察者眼镜的左、右、上和下边界，并从该矩形估计出观察者眼睛的x和y坐标。
如果相对于其一固定基准对观察者眼睛或眼镜外缘的x和y坐标加以定位，那么用局部红外光源照射观察者面部，并用对红外光敏感的视频摄像机对观者面部成象，将能够利用计算机图象处理技术来确定这些坐标。这是本发明的一个较佳实施例。
由于一般的眼睛和眼镜特征在各观察者之间通常是一致的，故计算机图象处理技术能够利用这些特征并采用它们来区分想要和不想要的反射。
如果还需要观察者与固定基准之间的距离z，那么，可将两个这样的配置已知的距离加以分开放置，而在较佳实施例中，则放置在观者面部或自动立体镜显示装置的两侧，并应用标准的三角技术来确定观察者与基准之间的z距离。
这种配置将能够在由所用视频摄像机透镜的特征所确定的体积以内对观察者的眼睛或眼镜进行跟踪。虽然能够采用广角透镜提供较大跟踪区，但是这也对观察者面部以外的物体成象，这将会导致把外来物体不正确地解释为眼睛，因此降低跟踪系统的可靠性。
为了增大眼睛跟踪的可靠性，要求视频摄像机应当采用窄角度的透镜，从而仅对观察者眼睛成象，消除其它外来物体。
然而，这样一种配置会产生不可接受的小体积，在其中能够成功地跟踪观察者的眼睛。
为了增大跟踪的体积，又不降低系统的可靠性，视频摄像机可以摇动和倾斜，以便能够跟随观察者移动。这是可以实现的，因为一旦确定了观察者眼睛的初始位置，就可采用如此获得的x和y坐标作为平行移动和倾斜控制系统的输入，保持观察者眼睛在视频摄像机的视场之内。如果失去观者眼睛的位置，那么在预定周期后，控制系统则将摄像机返回已知的原位位置。
另外，一旦观者眼睛被定位，则通过例如采用光焦度变焦能够改变视频摄像机的透镜的特性，以使图象尺寸随变化观察者的位置在z轴上变化而最佳化。
更详细地说，本发明的较佳实施例涉及采用两个水平安装的摄像机，配备有光焦度移动、倾斜、变焦和焦点。另外，对于功能的紧凑性，可以将摄像机垂直安装，并采用与水平方向成45°取向的反射镜，以获得正确的视场。将会明白，通常摄像机是水平安装的。如果受空间制约，要求摄像机垂直安装，则需要用反射镜来校正摄像机的光路。此外，摄像机不必以90°垂直安装，而是可以以便于特定应用的任何角度，只要对反射镜的取向进行调节，以提供摄像机的正确光路。这一反射镜可以是固定的，因此不能给出倾斜功能，或者可铰接以实现倾斜功能。通过三角法能够对从两个摄像机导出的独立数据进行处理以找出x、y和z深度数据。
较佳地，照明装置包括红外(IR)。为了使系统将在红外照明的安全要求内工作，需要在红外光谱内具有高灵敏度的摄像机。摄像机的功能要求是捕获来自观者眼角膜或者如果戴眼睛的话来自校正眼镜外缘的反射光。理论上，在摄像机的CCD元件的两个或三个象素上捕获反射的红外光。这以更大的观察范围插入摄像机的视场，以观察大约
Figure 9881132200121
的头宽。由x、y和z详细表示为眼睛跟踪是有效的区域的三维空间将被称作为注意区。为了实现对注意区的检查和扫描，需付摄像机进行水平摇动。
正如以前表示的，设备的安全使用是符合各个红外安全条例的一个主要设计要求。例如，在澳大利亚，红外照明水平必须低于1类红外照明标准要求。这一红外照明水平不仅是对主要观者，对于临时观察者也必须是安全的。即，红外照明水平对主要观者以及可能会在被照区内的任何人都必须是安全的。为了进一步降低向观察者或者系统附近的其它人暴露的红外平均水平，红外照明源可以是脉冲照明而不是永久照明。在较佳实施例中，将使红外源接通一个周期，在这期间CCD视频摄像机的快门是打开的。
作为降低向观察者暴露的红外辐射水平的一个进一步手段，可以改变照明源的接通时间。由于观察者与系统之间的距离是已知的，故能够根据观者与红外源之间的距离改变红外照明源接通的时间长度。由于要求照明低些，故观察者离照明源因其越向系统靠近而越近时，可以缩短接通时间，反之亦然。
如果CCD摄像机的快门速度根据观察者与摄像机之间的距离或者其它参数而改变，那么就可相应地改变红外源的接通时间。
摄像机最好配备有摇动机构，以便增大眼睛跟踪系统的水平视场。于是，为了适应摇动移动的要求，照明装置(61a和61b)理想地在摄像机的方向上共轴铰接，从而进一步有助于减小照明能量并满足红外照明的安全标准。应当理解，照明装置不一定要由上、下照明装置形成，也可以由单个照明装置或者其它具有等效功能的配置形成。在另一较佳实施例中，照明源位于靠近观者面部的地方，以便使入射在观察者面部的红外辐射达到最大，摄像机位于背后一定距离处。
正如从图1和2看到的，在较佳实施例中，本发明提供两个跟踪塔(54)，在屏幕(70)的两侧各一个；和一个处理装置(55)，位于屏幕(70)下方底座单元(72)中。跟踪塔(54)可以向屏幕中心倾斜，以保证屏幕(70)前的区域被照射。理想地，这一倾斜角度约为20°。较佳地，每个跟踪塔(54)包括一摇动的摄像机(60)，用以对观者眼睛进行跟踪。这种Dual Pan Eye跟踪装置可方便地由两个跟踪塔(54)和一个处理模块(55)构成。跟踪塔(54)可以包括一个支承框架(73)和具有固定件和枢轴的红外照明载体框架(74)。在较佳实施例中，每个跟踪塔包括一个上部照明装置(61a)和一个下部照明装置(61b)。上下照明装置(61a、61b)二者可以由一排红外LED形成，而所有发光二极管的作用都是向观者照明。理想地，该照明装置或者每一个均可移动的，通常还跟踪观者的头。可以根据处理装置(55)的反馈结果安排照明装置(61)的取向。即，可以采用处理装置(55)对自动立体镜显示装置的观者眼睛进行定位，也可以对照明装置(61)作调节，有助于观者眼睛的定位。照明装置(61)的这种移动具有在所有的时间将充足的光照射在观者上的优点，由此使得摄像机(60)和处理装置(55)能够检测观者的眼睛和/或头。此外，采用定向照明装置可改善系统满足红外安全条例的能力。可以向观者照射更强、更聚焦的“光束”，而无需使整个区域淹波在红外内。这可能是对任一临时观察者都特别有关的一个特征。
塔(54)也可以包括一个步进电机或直流电机(56)、一个反射镜(57)、一个位置反馈装置(58)(测量塔通过其旋转的角度)和一个电源(59)。图2示出这一较佳布局图。该图显示一垂直轴向摇动的部件，并带有正面镀银的45°反射镜。跟踪塔(54)中含有反射镜(57)允许实现更紧凑的单元，它对观者的妨碍较少，占地较小。反射镜(57)可以相对于摄像机(60)固定或者可移动。固定的反射镜减少为确定观者眼睛位置所需的处理能力。然而，可移动的反射镜具有使提供给观者移动的自由度增大的优点。即，可移动的反射镜将能够在比固定反射镜更大的区域内跟踪观者。
红外跟踪摄像机(60)可以这样安装，使步进电机(56)的轴在摄像机透镜的光学中心，即，将摄像机安排成绕其光学中心旋转。摄像机(60)随同反射镜单元(57)旋转，并保持对照明阵列(61a、61b)一相对的轴向位置。在设计中可以加入对准调节，允许作初始设定和标定调节。作为替代步进电机(56)的另一种方式，带有PID控制器的直流伺服电机能够为摄像机和红外照明阵列提供旋转驱动。
处理器单元(55)可以由每个摄像机(60)的复合视频图象处理器和CPU板组成。视频信号的处理理想地是在硬件和软件中进行的。眼睛位置的定位信息不断地在CPU中算出，并采用这一信息来驱动步进电机(56)从而摄像机摇动机构。眼睛之间参考中心的绝对位置信息(x、y和z坐标)也作为输出提供。
处理器单元(55)通过检查视频图象而对眼睛的位置定位。处理器检查来自视频摄像机的图象，以确定具有高亮度水平的图象区。由于观者面部被红外光照射着，那么，面部的自然反射的最高水平或亮度水平中的一个将是红外光源来自观者眼睛角膜的反射。处理器在以下基础上搜索这些反射，即有两只眼睛两只眼睛，它们分开约67mm，彼此之间大致位于同一水平线上。在眼睛已经被初始定位后，就采用这些属性来验证所识别的明亮特征事实上是眼睛，而非图象中其它类似物体。
对于这一较佳实施例，有两种标定顺序。第一种是完全设定标定。图4(a-c)的流程图详细描述了标定整个单元的一个实施例。标定框架位于整个单元前。这一框架由水平和垂直轴上的一系列红外LED(每个LED的绝对位置是已知的)组成，在较佳实施例中，LED以十字交叉的形式配置。从标定框架的LED到规定标定基准点的z距离是已知的。LED的操作由处理器单元(55)控制。
图4(a-c)详细示出这一较佳实施例的标定操作。将标定框架安装(1)在以从跟踪塔(54)起的标定高度和距离。通过经电缆插入到处理器单元(55)来给标定框架通电(2)。经由处理器单元(55)上的监视器端口提供数据。第一部分标定涉及跟踪塔的对准，于是开始塔的对准测试(3)。对塔1调节对准的例行程序是在通电时自动进行的(4、5和6)。它由移动塔的对准直至获得零结果为止组成。对塔2再次进行类似过程(7、8和9)直至获得零结果为止。这样完成对准标定。注意，图1和2并未示出对准机构。
下一步是摄像机的旋转调节。旋转调节对摄像机内的CCD元件可能并未严格地水平安装在摄像机支座上的事实作补偿以及对在较佳实施例中摄像机被安装成向内和向上地指向观察者的事实作补偿。摄像机旋转测试是在成功完成塔对准例行程序时自动开始的(10)。进行摄像机1的转动或旋转对准的例行程序(11、12和13)。它由使摄像机在其支座上旋转直至获得零结果为止组成。对摄像机2再次进行类似的例行程序直至获得零结果为止(14、15和16)。
下一步，在成功地完成摄像机的旋转标定时自动地开始水平标定(17)。这一标定的例行程序也是一个自动过程。对来自两个摄像机的经过处理的数据进行重复的例行程序(18、19、20和21)。将算出的每个水平标定LED的x、y和z位置存储起来。然后利用水平LED的绝对位置计算出系统的水平标定常数(22)。
以类似于水平标定(17)的方式进行垂直标定(23)。对来自两个摄像机的经过处理的数据进行重复的例行程序(24、25、26和27)。将算出的每个垂直标定LED的x、y和z位置存储起来。然后利用垂直LED的绝对位置计算出系统的垂直标定常数(28)。
最后标定步骤是将标定常数存储在非易失性存储器中(29)。
第二标定阶段是进行操作校验标定。这与步进电机驱动系统有关，这里针对位置反馈装置校验步进量并根据需要进行校正。这可以用带有PID控制的直流伺服电机自动地进行。
在另一个实施例中，照明装置与摄像机分离，这里它们不需要位于同一跟踪塔内。这使得照明源能够位于更靠近观者面部的地方，由此使照明装置具有更低的功率，缩小的光束宽度，这些特征在红外环境中有助于系统满足必需的健康和安全标准。这一实施例还允许摄像机位于远离观者的地方，如果需要的话超出观者的视线。这种摄像机也更有希望能够采用标准角度的透镜，因与需要采用广角度透镜的摄像机相反，该摄像机不需要位于观者和照明源附近。
本发明还可适合于当眨眼或在另一方向上向外看时临时损失眼睛反射的情况下，解决试图进行与眼睛跟踪相关的主要问题之一。为了解决这个问题，可对眼睛增加至少再一个参考点。此再一个参考点应仅当在肯定眼睛锁定(有效的眼睛识别)后才实现。可称该方法为与头相关跟踪的，并涉及到附加软件例行程序。在实现有效的眼睛识别后，系统盯住眼睛位置上方，以在前额位置附近寻找头的边缘。这是黑暗背景与较亮面部之间的一个过渡点。可以在面部的两侧建立一个点，而眼睛位置就以这些点作参考。如果眼睛锁定瞬间失去，则系统能够基于这些参考点继续计算出眼睛的位置。理论上，如果需要的话在建立眼睛锁定时能够连续地更新位置参考。
图5a和5b详细示出本发明这一较佳实施例的眼睛跟踪(带有头跟踪系统)的操作。系统通电时自动地初始化(30)。可考虑系统的操作是一个连续过程，输出观察者眼睛绝对的x、y和z位置的恒定数据流。这可以通过从摄像机1读出眼睛反射数据(31)以及从摄像机1读出头跟踪数据(32)来获得。在形状和尺度等方面，将眼睛反射数据与有效眼睛反射的已知特征进行比较，后者作为参数存储在程序中。如果这一比较并不表示已经对有效眼睛反射定位，那么，在经过预定时间周期后，摇动摄像机至原始位置。一旦建立了一组有效的眼睛反射，就可把所参考的头位置引入到眼睛位置，并将作为有效的头位置加以保持(34)。如果由于眼睛闭目或眨眼，而未返回下一有效的眼睛数据，那么就采用头位置来计算眼睛位置(35)。如果有效眼睛位置表示观察者在摄像机视场的水平极限附近，则将指令步进电机使摄像机摇动(37)，使图象中心定在视场中。虽然所描述的实施例主要希望当观察者在x轴上移动时对他们进行跟踪，如果有效眼睛位置表示观察者在视场的垂直极限附近，那么，附加于摄像机的倾斜机构，或45度反射镜则将也能够使在这一方向上的跟踪得以延伸。
对摄像机2采用针对摄像机1所描述的相同过程(31至38)。使用两个摄像机的有效和/或算出的眼睛反射(47)，能够计算出x、y和z方向上的眼睛位置。如果不能够提供有效或算出的眼睛反射，那么，不能计算有效输出，重复以前的x、y和z值直至有效数据更新系统为止。无效数据计数器(62)在摄像机1和摄像机2流程图中均有。如果摄像机数据继续寄存无效的话，那么，摄像机将摇动到原始位置。
即使观者戴眼镜，这种系统也可以适合于建立一个表示眼睛的稳定位置。从眼镜的反射是多次的，且可以快速移动而不稳定。一旦建立眼镜的位置，系统寻找从黑暗背景到眼镜水平面上方较亮面部的过渡。当观者移动，向下、或向右和向左看时参考点就作为一个滤波器起作用，拒绝无效数据，并当处理有效位置数据时更新参考数据。
考虑把限制红外光低于1类红外照明标准要求作为一个设计准则。对两种方法作明确表述，以保证本发明提供安全的工作环境。第一种方法涉及确定最低的红外照明，而能够获得准确且可重复的眼镜位置数据。这涉及将低亮度(红外)摄像机连同轴向安装的红外照明组合在一起。系统的准备条件假设观者将在z观察距离的三分之一处进入原始位置。使红外照明和快门速度对于这一观看距离达到最佳化。当观者向后移动(z增大)时，使快门速度动态地减小，而红外照明时间则增大。第二种方法涉及观者不是主要观者。采用与摄像机同轴铰接的红外照明，以及采用具有40°立体镜角的辐射圆锥的红外LED，任何其它的观察者均在红外照明的影响之外，因此，暴露于小于1类红外照明标准。
也使摄像机同步，以使红外照明的接通时间减至最短，并改善系统的准确度。
图6对这一较佳实施例详细示出操作的硬件方面的典型方框图。将来自摄像机的视频从模拟转换为数字信号(49)。利用瞬时反射检测(50)和阈值检测(51)，硬件对数字数据进行处理，以获得反射的x和y位置以及观察者头(高于被检测眼睛的水平面)的左和右边缘的x位置。利用高水平的滤波建立被检测反射相对于摄像机视场的x和y位置(52)。然后，将x和y直角坐标位置转换为极坐标位置(53)。即，将相对于摄像机视场的x和y位置转换为眼睛位置相对于摄像机光轴的角度的水平和垂直分量。有了来自两个摄像机的这一位置数据以及来自摄像机摇动位置的位置数据，就能够计算出眼睛在x、y和z空间中的绝对位置。这一数据可以各种不同的串行通信模式或本领域技术人员熟知的其它方法经由标称的数据流格式从系统输出。
本发明对申请人现有的自动立体镜显示系统特别有利，然而，对所有其它自动立体镜显示系统也是有利的。这里所揭示的跟踪系统允许给观者增加移动的自由度，而这在现有系统中是不能提供的。以前观者被限制在与显示装置保持相对固定的距离处，本发明提供的系统使观者能够在显示屏前后移动，而不会损失立体镜的效果。即，在x、y和z方向上跟踪观者眼睛的能力使得立体镜显示系统能够正确地投射左眼和右眼的图象，供观者相应的左眼和右眼观看。
虽然本发明的眼睛跟踪单元的主要优点是不需要观者与屏幕保持固定的距离，但本发明的较佳实施例还能够解决现有系统的其它问题，后者当有效眼睛数据不是有效的或者为观者戴有眼镜时，企图通过能够对此进行补偿来在x、y和z方向上跟踪观者的眼睛。然而，应当理解，对于专业人员而言显然能够作出改进和变化，这应当认为是在本发明的范围以内。

Claims (67)

1．一种对观者眼睛定位的跟踪系统，所述跟踪系统包括：
一照明装置；
多个摄像机；和
一处理装置(55)，
其特征在于：至少观者的眼睛被照明装置照射，使得每个摄像机能够捕获图象，而其中所述的处理装置适合于对来自每个摄像机的图象进行处理，从而检测出观者眼睛的位置。
2．如权利要求1所述的跟踪系统，其特征在于：在用于显示观者所要观看图象的显示装置的两侧至少有一个所述的摄像机。
3．如权利要求1或2所述的跟踪系统，其特征在于：所述处理装置采用三角方法来帮助对观者的眼睛定位。
4．如以上任一权利要求所述的跟踪系统，其特征在于：所述至少一个摄像机是垂直安装的，在这里，该垂直安装的或每个垂直安装的摄像机均与一块反射镜相关，后者被安排成使得摄像机能够捕获观者的图象。
5．如权利要求4所述的跟踪系统，其特征在于：所述反射镜相对于摄像机的透镜轴的取向为135°。
6．如以上任一权利要求所述的跟踪系统，其特征在于：所述照明装置可响应于观者的移动而移动。
7．如权利要求1至5之任一所述的跟踪系统，其特征在于：所述照明装置是固定的。
8．如以上任一权利要求所述的跟踪系统，其特征在于：所述照明装置包括多个分立的照明装置。
9．如以上任一权利要求所述的跟踪系统，其特征在于：每个摄像机可响应于观者的移动而移动。
10．如权利要求1至8之任一所述的跟踪系统，其特征在于：每个摄像机是固定的。
11．如以上任一权利要求所述的跟踪系统，其特征在于：每个摄像机包括光焦度变焦功能。
12．如以上任一权利要求所述的跟踪系统，其特征在于：所述摄像机包括随观者与跟踪系统之间距离变化而被打开的快门。
13．如以上任一权利要求所述的跟踪系统，其特征在于进一步包括适合于接通和关闭所述照明装置的照明控制装置。
14．如权利要求13所述的跟踪系统，其特征在于：所述照明控制装置周期性地接通和关闭所述照明装置，由此产生脉冲照明源。
15．如权利要求13所述的跟踪系统，其特征在于：所述照明控制装置监测所述摄像机，当所述摄像机的快门打开时接通所述照明装置。
16．如权利要求13至15之任一所述的跟踪系统，其特征在于：所述照明装置的接通时间作为观者与跟踪系统之间距离的函数加以确定。
17．如权利要求13至16之任一所述的跟踪系统，其特征在于：所述照明控制装置响应于摄像机的快门的开和闭的变化而改变照明装置接通和关闭的切换定时。
18．一种对观者眼睛进行定位的跟踪塔，其特征在于所述跟踪塔包括：
一照明装置，用于至少照射观者的眼睛；
一垂直安装的摄像机，用于至少捕获来自观者眼睛的反射光；及
一反射镜，将其定位在使垂直安装的摄像机在跟踪塔前能够捕获图象。
19．如权利要求18所述的跟踪塔，其特征在于：所述照明装置可响应于观者的移动而移动。
20．如权利要求18所述的跟踪塔，其特征在于：所述照明装置是固定的。
21．如权利要求18至20之任一所述的跟踪塔，其特征在于：所述照明装置包括一排红外LED。
22．如权利要求18至21之任一所述的跟踪塔，其特征在于：所述照明装置包括一个上部照明装置和一个下部照明装置。
23．如权利要求18至22之任一所述的跟踪塔，其特征在于：所述摄像机具有光焦度全景、倾斜、变焦和焦点。
24．如权利要求18至23之任一所述的跟踪塔，其特征在于：将所述摄像机安排成绕其光学中心旋转。
25．如权利要求18至22之任一所述的跟踪塔，其特征在于：所述摄像机是固定的。
26．如权利要求18至25之任一所述的跟踪塔，其特征在于：所述反射镜相对于摄像机透镜轴的取向为135°。
27．如权利要求18至26之任一所述的跟踪塔，其特征在于：所述反射镜能够响应于观者的移动而重新取向。
28．如权利要求18至27之任一所述的跟踪塔，其特征在于：所述摄像机包括随观者与跟踪系统之间距离变化而被打开的快门。
29．如权利要求18至28之任一所述的跟踪塔，其特征在于进一步包括适合于接通和关闭所述照明装置的照明控制装置。
30．如权利要求29所述的跟踪塔，其特征在于：所述照明控制装置周期性地接通和关闭所述照明装置，由此产生脉冲照明源。
31．如权利要求29所述的跟踪塔，其特征在于：所述照明控制装置监测所述摄像机并在所述摄像机的快门打开时接通所述照明装。
32．如权利要求29至31之任一所述的跟踪塔，其特征在于：所述照明装置的接通时间作为观者与跟踪系统之间距离的函数加以确定。
33．如权利要求29至32之一所述的跟踪塔，其特征在于：所述照明控制装置响应于摄像机的快门的打开和关闭的变化而改变照明装置接通和关闭的切换定时。
34．一种包括如权利要求18至33之任一所述的多个跟踪塔的系统，其特征在于进一步包括：
显示装置，用于显示观者要观看的图象；及
处理装置，用于接收来自每个摄像机的图象以及对图象进行处理以检测观者眼睛的位置。
35．如权利要求34所述的系统，其特征在于：所述处理装置进一步适合于检测来自所接收图象的至少再一个参考点。
36．如权利要求34所述的系统，其特征在于：至少再一次参考点包括至少以下之一：观者的前额、头顶、头侧或眼镜。
37．如权利要求34至36之任一所述的系统，其特征在于：将来自处理装置的输出反馈至每个跟踪塔，以便使每个摄像机能响应于观者的移动而加以调节。
38．如权利要求34至37之任一所述的系统，其特征在于：将处理装置的输出反馈给每个跟踪塔，以使能够响应于观者的移动而对每个反射镜和/或照明装置进行调节。
39．如权利要求34至38之任一所述的系统，其特征在于：在显示装置的两侧至少有一个跟踪塔，而处理装置则位于显示装置之下。
40．一种自动立体镜显示装置，其特征在于所述显示装置包括权利要求34至39之任一所述的系统。
41．一种跟踪观者眼睛的方法，其特征在于所述方法包括：
发射至少一个照明装置至观者眼睛并可被观者眼角膜加以反射的投射光；
由多个能够检测观者角膜的反射光的摄像机捕获观者的图象；
在处理装置中对来自每个摄像机的捕获图象进行处理，以确定观者眼睛的位置。
42．一种如权利要求41所述的跟踪观者眼睛的方法，其特征在于包括：
对捕获图象的进一步处理，以确定至少再一个参考点。
43．如权利要求42所述的方法，其特征在于：所述的进一步处理包括确定至少以下之一，前额、头顶、头的两侧或眼镜。
44．如权利要求41至43之任一所述的方法，其特征在于进一步包括：
将处理装置的输出输入到多个摄像机的控制装置中，并响应于观者眼睛的位置而使多个摄像机的位置重新取向。
45．如权利要求41至44之任一所述的方法，其特征在于进一步包括：
将处理装置的输出输入到至少一个照明装置的控制装置中，并响应于观者眼睛的位置使至少一个照明装置的位置重新取向。
46．如权利要求41至45之任一所述的方法，其特征在于进一步包括：
将至少一个反射镜定位在所述多个摄像机中至少一个的光路中，由此帮助所述多个摄像机中至少一个捕获观者的图象。
47．如权利要求46所述的方法，其特征在于进一步包括：
将处理装置的输出输入到至少一个反射镜的控制装置中，并响应于观者眼睛的位置使至少一个反射镜的位置重新取向。
48．如权利要求41至47之任一所述的方法，其特征在于：所述观者戴着眼镜，并首先对捕获的图象作处理，以确定观者眼镜的位置，由此帮助对观者眼睛的定位。
49．如权利要求41至48之任一所述的方法，其特征在于进一步包括：
根据观者与跟踪系统之间的距离，调节摄像机快门打开的时间。
50．如权利要求41至48之任一所述的方法，其特征在于进一步包括接通和关闭所述照明装置。
51．如权利要求50所述的方法，其特征在于：周期性地接通和关闭所述照明装置，由此产生脉冲照明源。
52．如权利要求50所述的方法，其特征在于进一步包括：
监测所述摄像机，并当所述摄像机的快门打开时接通所述照明装置。
53．如权利要求50至52之任一所述的方法，其特征在于进一步包括：
根据观者与照明装置的距离，调节照明装置的接通时间。
54．如权利要求50至53之任一所述的方法，其特征在于进一步包括
响应于摄像机快门的打开和关闭的变化改变照明装置接通和关闭的切换定时。
55．如权利要求41至55之任一所述的方法，其特征在于进一步包括：
将处理台的输出与以前的结果进行比较，以确定对观者眼睛所确定的位置是否含有误差结果。
56．如权利要求41至55之任一所述的方法，其特征在于进一步包括：
将处理台的输出与预定属性行比较，以确定对观者眼睛所确定的位置是否含有误差结果。
57．如权利要求42至56之任一所述的方法，其特征在于：当所述处理台不能对观者眼睛定位时，利用所述的至少再一个参考点来确定观者眼睛的位置。
58．如权利要求55至57之任一所述的方法，其特征在于：当对处理台输出的比较表示已经出现误差结果时，利用所述的至少再一个参考点来确定观者眼睛的位置。
59．如权利要求41至55之任一所述的方法，其特征在于：所述的处理包括利用三角方法帮助对观者眼睛的定位。
60．一种自动立体镜显示系统，其特征在于所述显示系统包括：
显示装置，用于显示观者所要观看的图象；
位于显示装置两侧的跟踪塔，每个跟踪塔包括：
至少照射观者眼睛的上部和下部照明装置；
垂直安装的摄像机；用于至少捕获来自观者眼睛的反射光；及
反射镜，对其定位使得垂直安装的摄像机能够捕获跟踪塔前的观者的图象；
处理装置，用于接收每个摄像机所捕获的图象，确定观者眼睛的位置，和将来自处理装置的输出传送到每个跟踪塔，由此响应于观者的移动而调节每个所述摄像机；
这里，利用来自处理装置的输出在显示装置上显示观者所要观看图象的各自左眼和右眼的图象。
61．如权利要求60所述的显示系统，其特征在于：所述处理装置位于显示装置下方。
62．如权利要求60或61所述的显示系统，其特征在于：响应于观者的移动，利用处理装置的输出来调节每个照明装置的取向。
63．如权利要求60至62之任一所述的显示系统，其特征在于：每个照明装置包括一排红外LED。
64．如权利要求60至63之任一所述的显示系统，其特征在于：响应于观者的移动，利用处理装置的输出来调节每个摄像机的取向。
65．如权利要求60至64之任一所述的显示系统，其特征在于：将每个摄像机安排成绕其光学中心旋转。
66．如权利要求59至64之任一所述的显示系统，其特征在于：响应于观者的移动，利用处理装置的输出来调节每个反射镜的取向。
67．如权利要求60至66之任一所述的显示系统，其特征在于：所述处理装置利用三角方法帮助对观者眼睛的定位。
CN98811322A 1997-11-21 1998-11-20 眼睛跟踪装置 Pending CN1279774A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
AUPP0480 1997-11-21
AUPP0480A AUPP048097A0 (en) 1997-11-21 1997-11-21 Eye tracking apparatus

Publications (1)

Publication Number Publication Date
CN1279774A true CN1279774A (zh) 2001-01-10

Family

ID=3804760

Family Applications (1)

Application Number Title Priority Date Filing Date
CN98811322A Pending CN1279774A (zh) 1997-11-21 1998-11-20 眼睛跟踪装置

Country Status (9)

Country Link
US (1) US6459446B1 (zh)
EP (1) EP1032862A1 (zh)
JP (1) JP2001524764A (zh)
KR (1) KR20010031932A (zh)
CN (1) CN1279774A (zh)
AU (1) AUPP048097A0 (zh)
CA (1) CA2305460A1 (zh)
ID (1) ID25546A (zh)
WO (1) WO1999027412A1 (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN100338628C (zh) * 2003-07-01 2007-09-19 松下电器产业株式会社 眼睛图像拍摄装置
CN100421614C (zh) * 2002-11-21 2008-10-01 托比伊科技公司 用于检测和跟踪眼睛及其注视方向的方法和装置
CN101998133A (zh) * 2009-08-25 2011-03-30 索尼公司 显示装置和控制方法
CN101820521B (zh) * 2009-01-14 2013-03-27 索尼公司 信息处理装置和信息处理方法
CN107305629A (zh) * 2016-04-21 2017-10-31 王溯 目光识别装置及方法
CN107405068A (zh) * 2015-03-10 2017-11-28 罗伯特·博世有限公司 用于检测人的视野方向的方法和设备
CN108113640A (zh) * 2016-11-28 2018-06-05 沈阳新松机器人自动化股份有限公司 一种瞳孔自动定位与跟踪设备

Families Citing this family (77)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7907793B1 (en) 2001-05-04 2011-03-15 Legend Films Inc. Image sequence depth enhancement system and method
US8396328B2 (en) 2001-05-04 2013-03-12 Legend3D, Inc. Minimal artifact image sequence depth enhancement system and method
US7116324B2 (en) * 1998-05-27 2006-10-03 In-Three, Inc. Method for minimizing visual artifacts converting two-dimensional motion pictures into three-dimensional motion pictures
US20050231505A1 (en) * 1998-05-27 2005-10-20 Kaye Michael C Method for creating artifact free three-dimensional images converted from two-dimensional images
US7116323B2 (en) * 1998-05-27 2006-10-03 In-Three, Inc. Method of hidden surface reconstruction for creating accurate three-dimensional images converted from two-dimensional images
CA2376044C (en) 2000-04-25 2010-06-29 Alcon Universal Ltd. Eye tracker control system and method
US8401336B2 (en) * 2001-05-04 2013-03-19 Legend3D, Inc. System and method for rapid image sequence depth enhancement with augmented computer-generated elements
US9286941B2 (en) 2001-05-04 2016-03-15 Legend3D, Inc. Image sequence enhancement and motion picture project management system
US7904826B2 (en) * 2002-03-29 2011-03-08 Microsoft Corporation Peek around user interface
DE10250569A1 (de) 2002-10-28 2004-05-13 Carl Zeiss Meditec Ag Ophthalmologisches Gerät und Verfahren zur Gerätepositionierung
DE10254369A1 (de) * 2002-11-21 2004-06-03 Carl Zeiss Meditec Ag Ophthalmologisches Gerät mit Eye-Tracker-Einheit
US20040136589A1 (en) * 2003-01-15 2004-07-15 Breslow Norman King Method and apparatus for modifying two-dimensional images
AU2003901528A0 (en) * 2003-03-31 2003-05-01 Seeing Machines Pty Ltd Eye tracking system and method
CA2426512A1 (en) * 2003-04-22 2004-10-22 Garth Shoemaker Positioning and manipulating detail-in-context lenses in 2d and 3d data through the application of eye tracking or position tracking
US7872635B2 (en) 2003-05-15 2011-01-18 Optimetrics, Inc. Foveated display eye-tracking system and method
TWI225622B (en) * 2003-10-24 2004-12-21 Sunplus Technology Co Ltd Method for detecting the sub-pixel motion for optic navigation device
US7731360B2 (en) * 2003-11-07 2010-06-08 Neuro Kinetics Portable video oculography system
US20060050384A1 (en) * 2004-09-08 2006-03-09 Eastman Kodak Company System for displaying images in auto-stereoscopic format
US20060149426A1 (en) * 2005-01-04 2006-07-06 Unkrich Mark A Detecting an eye of a user and determining location and blinking state of the user
RU2322771C2 (ru) * 2005-04-25 2008-04-20 Святослав Иванович АРСЕНИЧ Стереопроекционная система
SE0602545L (en) 2006-11-29 2008-05-30 Tobii Technology Ab Eye tracking illumination
KR100936880B1 (ko) * 2007-09-07 2010-01-14 아이리텍 잉크 홍채 이미지 저장방법 및 복원 방법
US20090096987A1 (en) * 2007-10-10 2009-04-16 Ming Lai Eye Measurement Apparatus and a Method of Using Same
US9655515B2 (en) * 2008-04-08 2017-05-23 Neuro Kinetics Method of precision eye-tracking through use of iris edge based landmarks in eye geometry
US20090273562A1 (en) * 2008-05-02 2009-11-05 International Business Machines Corporation Enhancing computer screen security using customized control of displayed content area
US8585609B2 (en) * 2008-10-09 2013-11-19 Neuro Kinetics, Inc. Quantitative, non-invasive, clinical diagnosis of traumatic brain injury using simulated distance visual stimulus device for neurologic testing
US9039631B2 (en) 2008-10-09 2015-05-26 Neuro Kinetics Quantitative, non-invasive, clinical diagnosis of traumatic brain injury using VOG device for neurologic testing
US10398309B2 (en) 2008-10-09 2019-09-03 Neuro Kinetics, Inc. Noninvasive rapid screening of mild traumatic brain injury using combination of subject's objective oculomotor, vestibular and reaction time analytic variables
IT1394616B1 (it) * 2008-11-21 2012-07-05 Fond Stella Maris Dispositivo e procedimento per la misurazione del punto di mira visiva di un soggetto
US9047256B2 (en) 2009-12-30 2015-06-02 Iheartmedia Management Services, Inc. System and method for monitoring audience in response to signage
US9373123B2 (en) 2009-12-30 2016-06-21 Iheartmedia Management Services, Inc. Wearable advertising ratings methods and systems
CN101795420B (zh) * 2010-04-07 2012-12-26 昆山龙腾光电有限公司 立体图像显示系统及其控制方法
US8539560B2 (en) 2010-06-24 2013-09-17 International Business Machines Corporation Content protection using automatically selectable display surfaces
CN101916112B (zh) * 2010-08-25 2014-04-23 颜小洋 室内场景内智能车模型的定位和控制系统及方法
US8831273B2 (en) 2010-09-10 2014-09-09 Reald Inc. Methods and systems for pre-processing two-dimensional image files to be converted to three-dimensional image files
US9485497B2 (en) 2010-09-10 2016-11-01 Reald Inc. Systems and methods for converting two-dimensional images into three-dimensional images
US8730232B2 (en) 2011-02-01 2014-05-20 Legend3D, Inc. Director-style based 2D to 3D movie conversion system and method
US9288476B2 (en) 2011-02-17 2016-03-15 Legend3D, Inc. System and method for real-time depth modification of stereo images of a virtual reality environment
US9407904B2 (en) 2013-05-01 2016-08-02 Legend3D, Inc. Method for creating 3D virtual reality from 2D images
US9113130B2 (en) 2012-02-06 2015-08-18 Legend3D, Inc. Multi-stage production pipeline system
US9282321B2 (en) 2011-02-17 2016-03-08 Legend3D, Inc. 3D model multi-reviewer system
US9241147B2 (en) 2013-05-01 2016-01-19 Legend3D, Inc. External depth map transformation method for conversion of two-dimensional images to stereoscopic images
WO2013038355A1 (en) * 2011-09-16 2013-03-21 Koninklijke Philips Electronics N.V. Live 3d x-ray viewing
US9503713B2 (en) 2011-11-02 2016-11-22 Intuitive Surgical Operations, Inc. Method and system for stereo gaze tracking
US8929589B2 (en) * 2011-11-07 2015-01-06 Eyefluence, Inc. Systems and methods for high-resolution gaze tracking
US9268024B1 (en) 2012-01-06 2016-02-23 Google Inc. Expectation maximization to determine position of ambient glints
US20130181892A1 (en) * 2012-01-13 2013-07-18 Nokia Corporation Image Adjusting
US9314157B2 (en) * 2012-03-22 2016-04-19 The Curators Of The University Of Missouri Device to measure pupillary light reflex in infants and toddlers
US9423870B2 (en) 2012-05-08 2016-08-23 Google Inc. Input determination method
US8808179B1 (en) 2012-08-06 2014-08-19 James Z. Cinberg Method and associated apparatus for detecting minor traumatic brain injury
JP2014045466A (ja) * 2012-08-29 2014-03-13 Lenovo Singapore Pte Ltd 立体映像表示システム、立体映像データの設定方法および観察位置の変更方法
US20140085198A1 (en) * 2012-09-26 2014-03-27 Grinbath, Llc Correlating Pupil Position to Gaze Location Within a Scene
US9612656B2 (en) 2012-11-27 2017-04-04 Facebook, Inc. Systems and methods of eye tracking control on mobile device
US9007365B2 (en) 2012-11-27 2015-04-14 Legend3D, Inc. Line depth augmentation system and method for conversion of 2D images to 3D images
US9547937B2 (en) 2012-11-30 2017-01-17 Legend3D, Inc. Three-dimensional annotation system and method
US9265458B2 (en) 2012-12-04 2016-02-23 Sync-Think, Inc. Application of smooth pursuit cognitive testing paradigms to clinical drug development
SE536990C2 (sv) * 2013-01-22 2014-11-25 Crunchfish Ab Förbättrad spårning av ett objekt för styrning av ett beröringsfritt användargränssnitt
US9380976B2 (en) 2013-03-11 2016-07-05 Sync-Think, Inc. Optical neuroinformatics
US9007404B2 (en) 2013-03-15 2015-04-14 Legend3D, Inc. Tilt-based look around effect image enhancement method
US9438878B2 (en) 2013-05-01 2016-09-06 Legend3D, Inc. Method of converting 2D video to 3D video using 3D object models
KR101456650B1 (ko) * 2013-05-14 2014-11-03 주식회사 레드로버 직교식 입체 카메라의 광축 정렬 방법 및 직교식 입체 카메라
JP2016532396A (ja) * 2013-09-03 2016-10-13 シーイング マシーンズ リミテッド 低電力眼追跡システムおよび眼追跡方法
KR20150032019A (ko) * 2013-09-17 2015-03-25 한국전자통신연구원 시선 추적 기반의 사용자 인터페이스 방법 및 그 장치
WO2015069477A1 (en) * 2013-11-08 2015-05-14 The Curators Of The University Of Missouri Device to measure pupillary light reflex in infants and toddlers
US9946339B2 (en) 2014-10-08 2018-04-17 Microsoft Technology Licensing, Llc Gaze tracking through eyewear
DE102014222752A1 (de) * 2014-11-07 2016-05-12 Bayerische Motoren Werke Aktiengesellschaft Bedienung über Kopfrichtung als Ersatz zur Blickrichtung
US20160143527A1 (en) * 2014-11-20 2016-05-26 Gn Otometrics A/S Head mountable device for measuring eye movement having visible projection means
EP3259734A4 (en) 2015-02-20 2019-02-20 Seeing Machines Limited GLARE REDUCTION
WO2016154711A1 (en) * 2015-03-31 2016-10-06 Cae Inc. Multifactor eye position identification in a display system
US20160292919A1 (en) 2015-03-31 2016-10-06 Cae Inc. Modular Infrastructure For An Interactive Computer Program
US9754506B2 (en) 2015-03-31 2017-09-05 Cae Inc. Interactive computer program with virtualized participant
US9609307B1 (en) 2015-09-17 2017-03-28 Legend3D, Inc. Method of converting 2D video to 3D video using machine learning
CN108432245B (zh) * 2015-12-29 2021-03-02 皇家飞利浦有限公司 自动立体显示设备和显示方法
ES2922136T3 (es) * 2017-02-27 2022-09-08 Tobii Ab Determinación de la apertura ocular con un dispositivo de seguimiento ocular
KR102450236B1 (ko) 2017-09-06 2022-10-04 삼성전자주식회사 전자 장치, 그 제어 방법 및 컴퓨터 판독가능 기록 매체
US11759106B1 (en) 2019-08-07 2023-09-19 Verily Life Sciences Llc Visual reconstruction of eye position for alignment feedback in retinal imaging
JP7427413B2 (ja) * 2019-10-21 2024-02-05 Ｔｉａｎｍａ Ｊａｐａｎ株式会社 立体視表示システム

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH01259349A (ja) 1988-04-11 1989-10-17 Nippon Telegr & Teleph Corp <Ntt> 眼球位置検出装置
JP2520936B2 (ja) 1988-04-11 1996-07-31 富士写真フイルム株式会社 Ｃｒｔ画像焼付け方法
JPH01259348A (ja) 1988-04-11 1989-10-17 Nippon Telegr & Teleph Corp <Ntt> ３次元画像表示装置
JPH02164335A (ja) * 1988-12-16 1990-06-25 Konan Camera Kenkyusho:Kk 眼球運動解析装置
US5231674A (en) * 1989-06-09 1993-07-27 Lc Technologies, Inc. Eye tracking method and apparatus
US5311220A (en) * 1992-06-10 1994-05-10 Dimension Technologies, Inc. Autostereoscopic display
US5349379A (en) * 1992-09-09 1994-09-20 Dimension Technologies Inc. Autostereoscopic display illumination system allowing viewing zones to follow the observer's head
WO1994010805A1 (en) * 1992-11-05 1994-05-11 Perceptual Images Three dimensional imaging system using shutter and back to back lenticular screen
US5365370A (en) * 1993-06-10 1994-11-15 Hudgins J Stephen Three dimensional viewing illusion with 2D display
AUPN003894A0 (en) * 1994-12-13 1995-01-12 Xenotech Research Pty Ltd Head tracking system for stereoscopic display apparatus
GB2306826A (en) * 1995-10-18 1997-05-07 Sharp Kk Display, method of calibrating an observer tracking display and observer tracking autostereoscopic 3D display
GB2317771A (en) * 1996-09-27 1998-04-01 Sharp Kk Observer tracking directional display
AU739910B2 (en) * 1997-03-27 2001-10-25 Litton Systems, Incorporated Autostereoscopic projection system
GB2324428A (en) * 1997-04-17 1998-10-21 Sharp Kk Image tracking; observer tracking stereoscopic display
DE19836681B4 (de) * 1997-09-19 2008-03-27 Carl Zeiss Ag Stereoskopisches Aufnahme- und Wiedergabesystem
US5953156A (en) * 1998-05-13 1999-09-14 The United States Of America As Represented By The Secretary Of The Army Autostereoscopic viewing system and its method of use
US6175431B1 (en) * 1999-07-09 2001-01-16 Digilens, Inc. Projection systems based on reconfigurable holographic optics
AU4976099A (en) * 1998-10-16 2000-05-08 Digilens Inc. Autostereoscopic display based on electrically switchable holograms

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN100421614C (zh) * 2002-11-21 2008-10-01 托比伊科技公司 用于检测和跟踪眼睛及其注视方向的方法和装置
CN100338628C (zh) * 2003-07-01 2007-09-19 松下电器产业株式会社 眼睛图像拍摄装置
CN101820521B (zh) * 2009-01-14 2013-03-27 索尼公司 信息处理装置和信息处理方法
CN101998133A (zh) * 2009-08-25 2011-03-30 索尼公司 显示装置和控制方法
CN101998133B (zh) * 2009-08-25 2013-07-03 索尼公司 显示装置和控制方法
CN107405068A (zh) * 2015-03-10 2017-11-28 罗伯特·博世有限公司 用于检测人的视野方向的方法和设备
CN107305629A (zh) * 2016-04-21 2017-10-31 王溯 目光识别装置及方法
CN108113640A (zh) * 2016-11-28 2018-06-05 沈阳新松机器人自动化股份有限公司 一种瞳孔自动定位与跟踪设备

Also Published As

Publication number Publication date
JP2001524764A (ja) 2001-12-04
WO1999027412A1 (en) 1999-06-03
KR20010031932A (ko) 2001-04-16
US6459446B1 (en) 2002-10-01
AUPP048097A0 (en) 1997-12-18
ID25546A (id) 2000-10-12
EP1032862A1 (en) 2000-09-06
CA2305460A1 (en) 1999-06-03
US20020075384A1 (en) 2002-06-20

Similar Documents

Publication Publication Date Title
CN1279774A (zh) 眼睛跟踪装置
US20120154536A1 (en) Method and apparatus for automatically acquiring facial, ocular, and iris images from moving subjects at long-range
CN106797422B (zh) 视线检测用的装置
US6320610B1 (en) Compact imaging device incorporating rotatably mounted cameras
ES2739036T3 (es) Cámara de análisis de vídeo de resolución dual sacádica
US9336439B2 (en) System and method for the long range acquisition of iris images from stationary and mobile subjects
CN104992141B (zh) 基于双虹膜、立体人脸和声纹识别的智能生物特征监控总成及监控方法
US10488917B2 (en) Gaze-tracking system and method of tracking user&#39;s gaze using reflective element
US20030152251A1 (en) Method and apparartus for picking up object being authenticated
CN1910504A (zh) 用于确定眼镜的中心数据的设备和方法
CN110567371B (zh) 用于3d信息采集的光照控制系统
CN108429885A (zh) 一种激光器与摄像机的联动控制方法、装置及系统
CN101051349A (zh) 采用主动视觉反馈的多目虹膜采集设备
CN109766820A (zh) 一种眼球追踪装置、头戴式设备和眼部图像获取方法
CN106019589A (zh) 一种自动调整光学系统的近眼显示装置
CN103688218B (zh) 获取生物统计特征的设备和方法
KR20220073756A (ko) 동공의 움직임을 추적하기 위한 소형 망막 스캐닝 장치 및 이에 따른 애플리케이션
CN106054386A (zh) 一种自适应近眼显示装置
US11882354B2 (en) System for acquisiting iris image for enlarging iris acquisition range
CN1039275C (zh) 视点检测器及视点检测方法及其应用
CN1126582A (zh) 具有视点检测功能的电子设备
KR102469273B1 (ko) 시선 추적 장치 및 시선 추적 방법
CN111126145B (zh) 一种避免光源像影响的虹膜3d信息获取系统
KR20150059591A (ko) 카메라의 촬영 방향 및 화각 제어 시스템 및 그 방법
JPH08161498A (ja) 物体認識装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C02 Deemed withdrawal of patent application after publication (patent law 2001)
WD01 Invention patent application deemed withdrawn after publication