CN103648366B - 用于远程测量光学焦点的系统和方法 - Google Patents

用于远程测量光学焦点的系统和方法 Download PDF

Info

Publication number
CN103648366B
CN103648366B CN201280034929.5A CN201280034929A CN103648366B CN 103648366 B CN103648366 B CN 103648366B CN 201280034929 A CN201280034929 A CN 201280034929A CN 103648366 B CN103648366 B CN 103648366B
Authority
CN
China
Prior art keywords
pattern
focal plane
luminous pattern
camera
light
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201280034929.5A
Other languages
English (en)
Other versions
CN103648366A (zh
Inventor
F.J.德布鲁伊恩
R.维鲁特史
H.A.W.施梅茨
T.格里蒂
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips Electronics NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips Electronics NV filed Critical Koninklijke Philips Electronics NV
Publication of CN103648366A publication Critical patent/CN103648366A/zh
Application granted granted Critical
Publication of CN103648366B publication Critical patent/CN103648366B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013Eye tracking input arrangements
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/14Arrangements specially adapted for eye photography

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Medical Informatics (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biophysics (AREA)
  • Ophthalmology & Optometry (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Eye Examination Apparatus (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Automatic Focus Adjustment (AREA)

Abstract

一种系统和方法测量远处光学成像系统(EYE)的光学焦点,尤其是远处人类受试者的视觉适应。投影仪(P)将光(P1,A1)的发光图案投影到远处光学成像系统(EYE)之前的已知焦平面(FPL1)处的焦点(A2)中,并且所述图案(A3)在远处光学成像系统(EYE)的传感器表面(例如眼睛的视网膜)上的反射的图像由具有至少部分地与投影设备(P)的光轴(AXP)重合或者位于靠近该光轴的地方的光轴(AXCAM)的照相机(CAM)记录。确定传感器表面(视网膜)上反射的发光图案(A3)的清晰度。

Description

用于远程测量光学焦点的系统和方法
技术领域
本发明涉及远程测量远处光学成像系统的光学焦点,该远处光学成像系统包括透镜和传感器表面,其中提供发光图案并且其中记录光学成像系统的透镜的图像,并且其中根据发光图案在传感器表面上的反射的图像确定远处成像系统的光学焦点。
背景技术
存在如上面所描述的测量系统和方法,并且它们特别地用于远程测量远处(人类)眼睛的视觉适应。
US3,639,041公开了测量眼睛的眼底的深度剖面,其中第一和第二交替激励的光源将孔径成像在光盘的部分上。眼睛的屈光度通过让眼睛看着固定点而保持近似恒定。检测器被提供用于感测由于第一和第二光源而引起的孔径图像的重叠的程度。
DE1,299,907公开了眼睛屈光的主观和同时的客观确定,其中借助于倾斜半透明镜的辐射分布出现在眼睛之前,其中对于客观检查,物镜经由半透明镜将固定眼底显示在固定像平面上,并且图片壁将来源于两个不同的光谱区域的用于客观测试的测试图像与用于主观测试的测试图片一起显示。
US3,524,702公开了一种用于客观地测试包括透镜和光敏表面的光学系统的装置。该装置包括用于产生光束的辐射能量源、适于由光束照射的分划板和投影透镜,它们都设置在测试光学系统的光路中。光束适于穿过分划板、投影透镜和测试光学系统,并且将分划板图像投影到光敏表面上。该装置进一步包括物镜、焦平面和分束器,它们都处于与提到的第一光路相交的光路中。从光敏表面反射的光束从分束器反射并且穿过物镜以在焦平面上成像。用于折射校正测试光学系统的构件被包括在内。
在临床实践中,视觉适应的客观测量对于不能经受主观验光测试的患者(例如非常年幼的婴儿)而言是必要的,所述主观验光测试需要来自个体的判断和响应。于是,其目的是测量眼睛的屈光状况(典型地近视或远视)以便确定验光眼镜的强度。除了临床应用之外,在人类视觉研究中,适应的连续测量也用来获得眼睛的动态行为和生理学方面的见识。
以客观的方式测量屈光状况的最古老的方式是直接观察运动光源在视网膜上的投影,这被称为视网膜检影法。光源的视网膜投影造成视网膜上的回射,其运动指示屈光状况。
早在1619年,Scheiner介绍了一种用通过靠近眼睛放置的穿孔板的光照代替运动的光的方法。板中的孔基本上创建包括一组离散的光线的发光图案,这些光线在适当适应的情况下会聚在视网膜(即眼睛的传感器表面)上的单点上。多个视网膜投影的出现再次为近视或远视的指示。该Scheiner原理仍然形成现代自动屈光计或者自动验光仪的基础。
Warshawsky使用Scheiner原理构建了一种机械自动验光仪,如“High-resolutionoptometerforthecontinuousmeasurementofaccommodation”,JournaloftheOpticalSocietyofAmerica,vol54,nr.3pp375-379,March1964中所描述的。Campbell等人在“High-speedinfraredoptometer”JournaloftheOpticalSocietyofAmerica,vol49,nr.3,March1959中并且Okayama等人在“Eye-trackinginfraredoptometer”,OphthalmicandPhysiologicalOptics,Vol.10,July1990中描述了类似的方法和系统。
大多数现代自动验光仪继续基于Scheiner原理。然而,所有的已知设备都具有以下缺点:系统和方法是突兀的。许多系统和方法要求用户直视测量设备,这是相当突兀的,并且没有模仿自然行为。例如,尽管Okuyama的自动验光仪提供了自然目标的视图,但是眼睛邻近半透明镜的阻挡以及对于腮托的需要没有创建自然的观看体验。
众所周知的是,许多人在置于非自然位置且显然受到观察时感觉不舒适,并且这可能影响诸如心率和血压之类的现象,这些现象可能对视觉有影响。除了可能地将被观察的对象置于压力下的明显缺点之外,也存在获得这样的结果的缺点,这些结果没有实际地反映正常情形下的眼睛适应,而是受试者置于压力下时的眼睛适应。
发明内容
本发明的目的是提供远程地且不突兀地测量视觉适应。
本发明的系统包括:光投影设备,其用于投影光的发光图案,使得该图案聚焦于远处光学成像系统的透镜之前的已知焦平面处;以及照相机,其具有在光投影设备与已知焦平面之间至少部分地与光投影设备的光轴重合的光轴,用于记录所述发光图案在远处光学成像系统的传感器表面上的反射的图像;以及图像处理单元,其用于确定所述传感器表面上反射的记录的发光图案的清晰度,以用于测量远处光学成像系统的焦距。
本发明基于生成可见或不可见(例如红外)光的投影设备以及其光轴至少在投影设备的光学平面处取向沿着或者靠近投影设备的轴的一个或多个照相机的使用。当投影仪和照相机的焦平面与从投影设备来看置于投影仪的焦平面之外的远处光学成像系统的焦平面重合时,投影的图案在照相机(即测量系统的记录设备)上看起来是清晰的。可以使用单个图案。图像处理优选地用来优选地作为自动化系统的一部分增强和分析捕获的图像。
在优选的实施例中,投影设备被布置成在不同的焦平面处同时生成超过一个图案或者其已知方面根据焦平面的位置而变化的连续图案。不同距离处同时投影的不同图案或者其已知方面根据焦平面的位置而变化的连续图案的使用基于无论哪个图案看起来是清晰的或者测量的连续图案的方面而允许即时检测多个焦距。
在优选的实施例中,所述系统包括光投影设备与焦平面之间的用于投影设备和照相机的公共透镜。这降低了测量系统的复杂度。
在本说明书中使用措词“照相机”的情况下,任何成像设备都在措词“照相机”下被捕获。
形成图案的光可以是可见光,但是优选地为IR光以便不干扰观看者。
在优选的实施例中,为了不干扰并且仍然使用可见光的图案,将可见光图案隐藏在投影的光中。
在许多情况下,远处光学成像系统将是人类的眼睛,并且本发明对于这样的应用特别有用;然而,它也可以是诸如猫、狗或马之类的动物的眼睛或者甚至照相机的透镜。远程测量适应的优点允许测量动物的视觉适应,这对于已知的方法和系统是不可能的,如果不是非常困难的话。它也可以用来跟踪照相机的操作。测量系统可以是注意用户界面、安全监视系统或者监测系统的一部分。
本发明的方法的特征在于,光的发光图案通过光投影设备聚焦地投影到远处光学成像系统的透镜之前的已知焦平面处,并且所述发光图案在远处光学成像系统的传感器表面上的反射的图像由具有在光投影设备与已知焦平面之间至少部分地与光投影设备的光轴重合的光轴的照相机记录,并且确定传感器表面上反射的记录的发光图案的清晰度以用于测量远处光学成像系统的焦距。
附图说明
这些和其他目的和有利方面根据将使用下面的图描述的示例性实施例将变得清楚明白。
图1图示出Scheiner原理,其是所有已知屈光计的原理。
图2图示出一种已知的设置。
图3图示出自动反射或者回射的捕获。
图4图示出本发明的系统和方法。
图5A、图5B和图5C示出了用于依照本发明的设备和方法的可能的设置。
图6图示出当图案被扫掠一定范围时,在照相机的图像传感器上所捕获的视网膜上的图案的反射。
图7A-7C图示出依照本发明的系统的实施例。
图8图示出所述系统可以用来区分眼睛是否聚焦于无穷远。
图9图示出焦平面的旋转。
图10图示出本发明的系统和方法的另一实施例。
这些图未按比例绘制。通常,相同的部件在这些图中用相同的附图标记表示。
具体实施方式
图1图示出Scheiner原理,其是所有已知屈光计的原理。
具有焦点F的外部透镜置于具有双针孔的掩模Ma之前。只有在正确适应的情况下,两个光斑在视网膜上合并以构成一个单一的、更明亮的光斑(在(c)处指示)。
图2图示出由Okuyama提出的视力计。
二向色镜M1和M2置于左眼L和右眼R之前,使用了左和右视力计O1和O2。信号被发送至控制单元C,该控制单元可以将结果发送至笔式记录仪P、监视器M和/或TV。
显然,尽管Okuyama的自动屈光计提供了自然目标的视图,但是眼睛邻近半透明镜的阻挡以及对于腮托的需要没有创建自然的观看体验。
本发明具有提供从大的距离远程地检测基于透镜的成像系统的聚焦距离的可能性的目的。
为此目的,本发明的系统包括:光投影设备,其用于投影一个或多个光图案;以及用于在一个或多个已知焦平面处提供所述一个或多个图案的构件;以及照相机,其具有至少部分地与投影设备的光轴重合的光轴,用于测量所述一个或多个光图案在透镜的像平面上的反射的图像;以及图像处理器,其用于分析所述一个或多个反射的图案的清晰度。
由于本发明也对(人类)眼睛起作用,它提供了发生对其适应的焦距,从而揭示出到瞬时注意对象的距离。
与用于测量视觉适应的现有系统形成对照的是,本发明完全不突兀,从而在不必通过观看路径中的半透明光学器件或者眼睛外围的元件阻挡视图的情况下测量适应。
与用于测量视觉适应的现有系统形成对照的是,所提出的系统可以以小的形状因子构造,典型地具有微型射束器或者网络摄像头的尺寸。
所述光学器件的简单构造以及正确聚焦的潜在地简单的检测实现了低成本的实现方式。
图像处理单元已知的图案的使用使得焦点检测内在地对于运动是鲁棒的,因为聚焦的特定图案总是会由眼睛中继回到同轴照相机的帧中的或多或少相同的位置。这简单地归因于同轴几何结构。这使得系统对于运动模糊也是鲁棒的。
如实施例中所描述的多个图案的使用也应当允许同时检测多个人类受试者的单独的视觉适应。
图3图示出回射的原理。红眼效应(即视网膜反射)相对独立于凝视方向;受试者不必看着照相机或者相邻闪光灯的方向。光源创建明亮的视网膜投影。由于受试者倾向于聚焦于照相机和闪光灯,因而光有效地集中在视网膜上,使得光源在视网膜上的光斑用作从眼睛向外投影到光源的次级光源。基于费马原理,光源以及光源在视网膜图像上的像的共轭点落在彼此之上,而不管光的方向如何,使得光源在视网膜上的反射的图像和光源处于相同点。结果,眼睛具有自然的回射属性。
图4图示出本发明的系统和方法。
投影仪P和照相机CAM共享相同的光轴,即AXCAM和AXP通过使用分束器BSP而重合,该分束器可以是半透明镜。投影仪投影图案,使得图案P1的每个点A1被投影在点A2处,从而该图案的点集合在焦平面FPL1处形成该图案的清晰图像。投影仪和照相机分别设有透镜L1和L2。
如果将屏幕置于投影仪的焦平面处,那么照相机将能够捕获投影A2,该投影在照相机的焦平面与投影仪的焦平面重合的情况下将仅仅表现为传感器上的单个点A5。然而,不存在屏幕。在不存在物理投影屏幕的情况下,在点A2碰巧位于远程成像系统(在这个案例中为眼睛)的焦平面中,即在焦平面FPL2上的条件下,远程成像系统(在这个案例中为眼睛EYE)将点A2聚焦在视网膜上的点A3处并且经由点A4将该点中继回到照相机中的点A5上。在图4中,远程眼睛聚焦在空间B2中的点上,该空间因此位于眼睛的瞬时焦平面FPL2中(应当指出的是,眼睛的实际焦平面将是具有一定曲率的焦面)。这样做时,眼睛的焦平面与照相机和投影仪的焦平面FPL1重合。结果,其在眼睛的视网膜上形成清晰的图像。在实践中,整个投影的图案将被中继回焦点,因为这三个成像系统中的每一个的景深倾向于将重合焦点区域散布到围绕两个焦平面的3D体积中。当然,当所述两个光轴之间的角度变得更大时,重合焦点体积减小。
焦点检测基于以下事实:投影的图案,或者投影的图案的至少一个方面(例如取向)为图像处理单元所知。为了检测预定平面处聚焦的发生,远程成像系统(眼睛)将图案的片段中继回到照相机,就好像只有该片段被投影到相同距离处的物理屏幕上。简而言之,仅在眼睛的焦平面与投影仪和照相机的焦平面重合的情况下,照相机才会记录图案在视网膜上的清晰回射。图4示出没有东西介于眼睛EYE与眼睛焦平面FPL2之间。视觉适应测量从一定距离处进行。接受调查研究的人不必直视测量设备或者让半透明镜置于眼睛之前,也不必使用腮托。所述方法完全不突兀,并且如果使用了IR光,甚至可以在这个人未意识到观察的情况下使用。使用仍然不被察觉或者至少对于观看者不分散注意力的可见光的实例在下文中给出。在本实例中,眼睛聚焦于点B1;B1的像在视网膜上的点B2处,视网膜是远处光学成像系统(为人眼)的传感器表面。
基于公共焦平面的焦点检测的新原理可以用于焦点估计或者焦点测量或者一系列预定焦距内的焦点跟踪。使用焦点检测作为基础,存在各种不同的用于根据一系列焦距估计或者测量焦点的方法。
使用单个投影的发光图案,本发明的一个实施例基于投影仪和照相机的公共焦距的组合调节。使用所述新的焦点检测原理,调节投影仪和照相机的公共焦平面,直到从眼睛最佳地检测到投影图案,即图案在视网膜上的反射最清晰。这样找到的公共焦距的值揭示出眼睛的焦距。使用多个图案的投影,下文中给出本发明的各个不同的实施例,其都基于多个图案的投影,每个图案聚焦于另一个距离处。只要这些图案处于照相机的景深内,那么特定图案的检测将揭示焦点处于关联的距离处。
照相机CAM具有图像传感器IS。图像传感器IS的信号被发送至图像处理单元IP以便测量图像的清晰度。
图5A、图5B和图5C示出了用于依照本发明的设备的可能的设置。
在图5A中,投影仪和照相机中的每一个具有单独的透镜,在图5B中,投影仪和照相机共享公共透镜。这减少了系统的元件数量。在图5C中,照相机和投影仪的位置与图5B相比交换了位置。这是一个优选的实施例。让照相机通过分束器直视是更佳的。当然,在图5A中,照相机和投影仪也可以交换位置。
图5A-5C也示出了由照相机拍摄的在眼睛视网膜处反射的图案的图像。当眼睛的焦平面FLP2与投影仪和照相机的焦平面重合时,看到相对清晰的图像,该图像随着眼睛的焦平面与投影仪和照相机的焦平面不同而变得逐渐模糊。观察到的这些图像由同轴照相机在外部成像系统(在附图中由眼睛指示)的稳态聚焦期间改变其焦点时拍摄。通过一定范围扫掠投影仪和照相机的焦平面并且同时记录图像、以及使用图像处理、确定图像的清晰度,在投影仪和照相机的特定焦平面处提供最大的清晰度。眼睛的焦平面与这样找到的焦平面相应。
图案可以以红外(IR)光提供。
在优选的实施例中,图案也可以在每个交替视频帧中提供,使得照相机交替地采集背景图像和具有发光图案的投影的图像。减去背景图像只留下发光图案在视网膜上的反射,从而显著地增强图案的反射的可检测性。
在优选的实施例中,也可以给予图案时间频率,例如70Hz。优选地,该频率不与例如其他可见或红外光源使用的频率相应。于是,可以通过使用滤频器将照相机调谐到该频率,所述滤频器过滤掉不在投影仪频率周围的频率范围内的IR信号。在这样的优选实施例中,背景信号被过滤掉。
图6图示出当图案被扫掠一定范围时,在照相机的图像传感器上所捕获的图案在视网膜上的反射。
图7A-7C图示出本发明的系统和方法的实施例。该实施例与前一实施例之间的区别在于,使用微透镜阵列形成多个焦平面FPLi至FPLj。这些实施例的系统包括置于投影仪的路径中以创建光场的微透镜阵列MAR,该光场包含不同的图案,其每一个聚焦于不同的距离处。使用这种技术,有可能创建一堆离散聚焦的图案,或者其已知方面根据距离而变化的连续图案。这样的图案可以是光栅图案;图案的取向于是可以用作图案的已知方面。通过分析照相机上的图像,可以找到眼睛的焦平面。不同距离处的同时投影也允许在系统的范围内估计多个受试者之间的个别的视觉适应。这对于已知的系统是不可能的。在图7A中,微透镜阵列置于投影仪光路中,相似的效果通过将微透镜阵列置于照相机的光路中获得,在这种情况下,代替全光投影仪的是,使用全光照相机。这种布置示意性地在图7C中示出。在优选的实施例中,如图7B中示意性地示出的,微透镜阵列置于照相机和投影仪二者之前。后一布置提供了投影仪与照相机像素之间的1:1关系,这是有利的。
代替微透镜阵列的是,投影仪可以包含投影仪透镜之后不同距离处的一堆不同的幻灯片,其每一个具有不同的图案。
该图案掩模也可以是生成在不同的距离处具有不同的特性的光场的衍射元件。全息图可以用于这个目的。
在多个距离处生成一个图案(或者多个图案)也可以以时间顺序的方式执行,只要照相机使用同步图像捕获。
也可能的是使用超过一个投影仪,其在不同的距离处投影静态图案,使用镜使投影仪的光轴彼此一致。
给定适当的图案,该图案的模糊可以立刻标识其投影离焦的方向。这可以用来机械地控制投影仪(和照相机)的焦点以便保持中继的图案聚焦。控制系统然后自动地揭示未知系统的焦距,即眼睛的焦平面。缺点在于,它可能调节到一个单一未知照相机或者单一人类受试者;这与同时多图案投影的使用形成对照。这里,描述了用于跟踪眼睛的适应的系统和方法,应当注意的是,照相机以与眼睛类似的方式起作用,并且系统因此也可以用来跟踪照相机的焦点。
系统也能够检测何时眼睛聚焦于无穷远。即使在这样的情况下投影仪的焦平面和眼睛的焦平面不能重合,但是当眼睛聚焦于无穷远时,照相机的传感器上的图案将清晰地成像。图8图示出这样的情形。当聚焦于无穷远时,投影仪发射的平行光线由眼睛聚焦在视网膜上,并且从视网膜反射的光线形成平行光线,这些光线聚焦在照相机的传感器上。因此,系统能够确立眼睛是否聚焦于无穷远。
在其中图案在各个不同的焦平面处形成的情况下,一个图案可以为无穷远保留。用于测量清晰度的方法是已知的。一种测量清晰度的方式是例如测量图案中的线的展度,和/或反射的图案中的最大值与最小值之间的比值。当图案聚焦,即清晰时,图案中的线的展度表现为最小,并且所述比值表现为最大。
此外,如早先所提到的,当两个光轴,即眼睛的光轴与投影仪和照相机的光轴之间的角度变得更大时,重合焦点体积减小。可以通过旋转投影仪的以及如果必要的话,照相机的焦平面来补偿这种旋转。图9图示出投影仪的焦平面的旋转。这通过首先由TheodorScheimpflug提出的、称为Scheimpflug配置(参见例如1904年5月的英国专利no.1196)的像平面相对于透镜平面的旋转来实现。这种以其发明者命名的倾斜透镜几何结构使得焦平面获得相对于透镜平面的旋转。延伸的焦平面将与延伸的透镜平面以及延伸的像平面相交于同一条线。可替换地,可以使用若干对投影仪和照相机,其直视被观察的眼睛并且分析各个不同的反射的图案。
在图10的本发明的实例中,投影仪由照相机阵列Cam1、Cam2等等包围,其中在该实例中投影仪。使用照相机的一定区域,可以在阵列的中心确立光场。使用由照相机阵列提供的图像,可以重构各种不同的景深处的图像。这允许根据由照相机阵列拍摄的图像获得深度信息。该方法的优点在于,不必事先知道深度信息。眼睛的位置可以通过分析照相机阵列的图像而获得。
所有实施例中的系统和方法可以用来跟踪生命体征:
当人类继续聚焦于固定距离处时,已知这种稳态视觉适应随着周期性呼吸以及随着心跳而变化。因此,适应的检测也可以提供这些生命体征。本发明的系统可以以不突兀的方式且从一定距离做到这点这一事实提供了可能性,尚不可能。例如,当要测量正经历耐力测试的人的心率和周期性呼吸时,这可以在不必用导线烦扰这个人的情况下进行。
另一方面,给定外部测量的至关重要的信号,原则上可以对于它们在聚焦距离上诱导的调制校正视觉适应的测量。
使用的照相机可以是光场照相机,即能够提供可以用来形成聚焦于景深范围的图像的图像数据的照相机。存在各种不同的将常规照相机转化成具有合成孔径的光场照相机的方法。光场照相机的优点在于,在单次曝光中,它整体地捕获完整的光线场,根据该光线场,有可能基于单个捕获的帧追溯性地调节焦点或聚焦范围。因此,捕获的光场即时提供了一只或多只远程眼睛的焦距的估计或测量。这样的照相机可以使用传感器之前的微透镜阵列通过在透镜与传感器之间的光路中使用编码孔径或者调制图案构造(斑纹摄影)。
存在各种不同的在不牺牲曝光的情况下延伸照相机的景深的方法。这些方法在照相机仅仅用于检测特定图案并且不用于捕获规则图像捕获时尤其令人感兴趣。一种已知的方法是使用焦点扫掠成像。
在本发明的实施例中,焦点检测结合凝视检测使用。
通过结合凝视检测和焦点检测,消除无意的注视和有意的凝视设备方向的歧义变得可能。在这种情况下,系统是要基于凝视,可能地结合来自按钮的另一个触发或者根据口头命令的解释进行控制的特定设备的一部分。
特别地,通过选择要置于设备本身处的投影的焦平面,有可能除了凝视之外还检测有意的聚焦。在检测凝视的情况下,不检测适当的聚焦可以被认为无意的注视并且作为开始控制所述设备的触发器而被忽视。
由于凝视检测已经基于照相机和同轴(红外)光照的使用,因而可以以很少的额外成本有效地集成凝视检测和焦点检测。
焦点检测或估计结合凝视估计使用。
凝视估计的结合允许检测3D空间中的凝视点。与(全息)3D显示器的结合可以允许实现独特的功能。
本发明的系统和方法可以用于或者用在若干应用中。
人类视觉适应的远程估计可以用于感测注意力,用于利用数字标牌的上下文,可能地结合凝视检测测量视觉注意力。关于聚焦距离的知识可能有助于消除“看见”和“注视”的歧义。
同样可能的是,结合凝视检测,其可以用作在其被观看时仅仅对口头命令或者姿势响应的注意用户界面。
视觉适应的远程测量也可以用在儿童的视觉缺陷的检测中以便监视视觉系统的正确发育。
无穷远处的适应的检测可以揭示司机是否对道路表现出足够的专注。
作为用于残疾人的凝视控制的用户界面的一部分,它可以例如在鼠标控制中提供鲁棒性。
与光学系统结合,它可以提供一种使光学系统自动地适于眼睛的屈光状况的方式。由于所述方法不突兀地工作并且允许小的形状因子,因而本申请可以超越传统的眼科学并且是用于消费市场的光学产品的一部分。
在安全系统中,人类视觉焦点的检测可以用来检测不需要的注意力。也可以检测不需要的照相机焦点检测。如上所述,系统也可以用来测量照相机的焦距。
不突兀的性质使得所述原理特别适合于具有不协作的受试者(例如幼儿,但是也有(野生)动物)的应用。
本发明也涉及一种包括程序代码构件的计算机程序,在无论哪个实施例中,当所述程序在计算机上运行时,该程序代码构件都用于执行本发明的方法。本发明也涉及计算机程序产品,其包括存储在计算机可读介质上的用于执行本发明方法的程序代码构件。
照相机是用于记录图像的任何设备。
它可以是也用于诸如通信之类的其他目的或者附接到、集成于这种通信设备中或者与这种通信设备协作的设备的一部分。
又一实施例在于使用不同波长(例如三个不同的波长)的发光图案,一个波长在可见光范围的任一端以及处于可见光范围的中心部分,例如红-绿-蓝。在三个波长下测量焦距提供了关于眼睛的像差的信息。对于每个波长,可以测量焦距,并且这可以同时进行。这给出不仅仅所述视觉适应的而且针对三个不同波长下的视觉适应(即像差)的即时且远程测量。
同样地,可以利用隐藏的发光图案,即人眼几乎不可见的图案。一种方式是将IR光用于发光图案。
另一种方式是以人眼不能看见的方式将图案嵌入到它本身对于人眼不分散注意力的投影的图像中。
投影仪可以将简单白光区域加图案投影到一帧中并且将白光区域减所述图案投影到下一帧中。
在一帧中,投影仪投影(小于最大强度的)白光加图案,在下一帧中,投影仪投影白光减该图案。如果帧频率高于人眼可感知的频率,那么人眼将不会感知到该图案,而是仅仅感知到白光灯,因为人类将平均掉这两个投影之间的差异,只留下观察者看见的简单白色区域。白光灯不吸引观看者的注意力,并且因而不干扰测量。然而,通过将照相机对于两帧拍摄的两幅图像相减,嵌入的发光图案的反射在照相机记录的图像中是可感知的。投影仪中的对于人眼隐藏的图案可以对于不同的颜色是不同的,这也可以用来隐藏甚至更多的图案。序列可以例如为:
I.白色减蓝色图案加绿色图案(在不同结构的图案中)
II.白色减绿色图案加红色图案
III.白色加蓝色图案减红色图案。
这些图案本身不必相同,而是可以不同。
如果帧频率高于近似50Hz,那么眼睛将感知到白色灯。然而,照相机可以通过从I中减去II并且取“绿色信号”而提取出绿色图案的反射。同样地,它可以通过蓝色和红色图案的帧的适当减法而提取出反射。
另一种使得图案不可见的方式是例如通过使用双色(例如A-B)的棋盘图案,所述双色的和对于人眼是白色的。在一个帧中,棋盘图案为A-B,在下一帧中,为B-A。再一次地,人眼将感知到不表现出图案的白色光,但是照相机可以通过帧的适当减法或测量提取出A和B图案的反射。
又一种方式是使用包括三个或更多不同颜色的部分的图案(例如具有颜色A-B-C的蜂窝图案)。通过使用三个或更多帧的重复循环(A-B-C;C-A-B;B-C-A;A-B-C等等),其中作为所有部分处的循环的平均,人眼看见白色光,任何潜在的图案对于人眼不可见。
然而,可以分析记录照相机的信号以便提取关于所述三种或更多颜色的反射的图案的信息。颜色的数量可以扩展到四种或者更多以便提取出关于像差的更详细的信息。
该方法可以用来以各种不同的方式提供关于例如人眼的操作的信息。例如:通过测量观看者的一只眼睛或两只眼睛的反应,其中眼睛跟随在观看者的视场内运动的对象,有可能得到关于以下所述的信息:
所述眼睛可以聚焦的距离的范围。
在大多数情况下,可以简单地向某个人询问该信息。然而,也存在这样的情况,其中由于这个人不能沟通和/或某个人只是出于身体或心理健康的原因而不能经受住正常过程中所需的测试,因而这是不可能。甚至只是提供对于眼睛的参数的合理估计将导致显著的优势,因为获得任何测试的良好结果的时间和努力(以及因而患者必须经受测试的时间)除别的以外由测试的起点决定。因此,以不突兀的方式为更精确的测量提供良好的起点可以大大地有益于患者。
通过对于双眼进行测量,可以检测和测量眼睛之间的差异,这可以给出屈光参差性(anisometry)的量的指示。本发明可以例如用来通过在儿童例如玩玩具或者看运动对象的同时检测眼睛之间的差异而提供早期弱视的指示。
简言之,本发明可以概括如下:
一种系统和方法测量远处光学成像系统的光学焦点,尤其是远处人类受试者的视觉适应。将光的发光图案聚焦地投影到远处光学成像系统之前的已知焦平面处,并且所述图案在远处光学成像系统的传感器表面(例如眼睛的视网膜)上的反射的图像由具有至少部分地与投影设备的光轴重合或者位于靠近该光轴的地方的光轴的照相机记录。确定传感器表面上反射的发光图案的清晰度。

Claims (17)

1.一种用于远程测量远处光学成像系统的光学焦点的测量系统,该远处光学成像系统包括透镜和传感器表面,其中该测量系统包括:
光投影设备(P),其用于投影光的发光图案,使得该图案聚焦于远处光学成像系统的透镜之前的已知焦平面(FPL1)处,
照相机(CAM),其具有在光投影设备(P)与已知焦平面(FPL1)之间至少部分地与光投影设备(P)的光轴(AXP)重合的光轴(AXCAM),用于记录所述发光图案在远处光学成像系统的传感器表面上的反射的图像,以及
图像处理单元(IP),其用于确定所述传感器表面上反射的记录的发光图案的清晰度,以用于测量远处光学成像系统的焦距。
2.如权利要求1所述的系统,其中光投影设备(P)被布置成在不同的焦平面处同时生成超过一个发光图案或者其已知方面根据焦平面的位置而变化的连续发光图案。
3.如权利要求2所述的系统,其中光投影设备(P)包括用于创建光场的微透镜阵列(MAR),该光场包括不同焦平面处的所述超过一个发光图案,或者其已知方面根据焦平面的位置而变化的连续发光图案。
4.如权利要求2所述的系统,其中光投影设备(P)包括投影仪透镜之后不同距离处的一堆不同的幻灯片,这些幻灯片用于在不同的焦平面处同时创建所述超过一个发光图案。
5.如权利要求2所述的系统,其中光投影设备(P)包括生成在不同的距离处具有不同的特性的光场的衍射元件,该衍射元件用于在不同的焦平面处同时生成超过一个发光图案或者其已知方面根据焦平面的位置而变化的连续发光图案。
6.如权利要求5所述的系统,其中该系统包括置于照相机(CAM)和光投影设备(P)二者之前的公共微透镜阵列。
7.如权利要求2-6中任何一项所述的系统,其中照相机(CAM)为光场照相机。
8.如权利要求1-6中任何一项所述的系统,其中光投影设备(P)投影IR光。
9.如权利要求1-6中任何一项所述的系统,其中光投影设备(P)被布置成以时间频率投影超过一个发光图案,并且其中每个发光图案具有不同的时间频率。
10.如权利要求1-6中任何一项所述的系统,其中光投影设备(P)被布置成投影不同波长的图案。
11.如权利要求2-6中任何一项所述的系统,其中光投影设备(P)投影人眼不可见的波长的所述一个或多个发光图案。
12.一种用于远程测量远处光学成像系统的光学焦点的方法,该远处光学成像系统包括透镜和传感器表面,该方法包括步骤:
通过光投影设备将光的发光图案聚焦地投影到远处光学成像系统的透镜之前的已知焦平面处,
通过照相机记录所述发光图案在远处光学成像系统的传感器表面上的反射的图像,该照相机具有在光投影设备与已知焦平面之间至少部分地与投影设备的光轴重合的光轴,以及
分析传感器表面上反射的记录的发光图案的清晰度,以用于测量远处光学成像系统的焦距。
13.如权利要求12所述的方法,其中在不同的焦平面处同时投影超过一个发光图案,或者投影其已知方面根据焦平面的位置而变化的连续发光图案。
14.如权利要求12或13所述的方法,其中IR光图案被投影。
15.如权利要求12或13所述的方法,其中投影超过一个发光图案,并且每个发光图案以不同的时间频率投影。
16.如权利要求12或13所述的方法,其中不同波长的发光图案被投影。
17.如权利要求12或13所述的方法,其中测量视觉适应,远处光学系统为眼睛,并且传感器表面为眼睛的视网膜。
CN201280034929.5A 2011-07-14 2012-07-03 用于远程测量光学焦点的系统和方法 Active CN103648366B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201161507676P 2011-07-14 2011-07-14
US61/507676 2011-07-14
US61/507,676 2011-07-14
PCT/IB2012/053369 WO2013008129A1 (en) 2011-07-14 2012-07-03 System and method for remote measurement of optical focus

Publications (2)

Publication Number Publication Date
CN103648366A CN103648366A (zh) 2014-03-19
CN103648366B true CN103648366B (zh) 2016-05-18

Family

ID=46682860

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201280034929.5A Active CN103648366B (zh) 2011-07-14 2012-07-03 用于远程测量光学焦点的系统和方法

Country Status (7)

Country Link
US (1) US8934005B2 (zh)
EP (1) EP2731490B1 (zh)
JP (1) JP5571864B1 (zh)
CN (1) CN103648366B (zh)
IN (1) IN2014CN00418A (zh)
RU (1) RU2612500C2 (zh)
WO (1) WO2013008129A1 (zh)

Families Citing this family (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2997518B1 (fr) * 2012-10-30 2014-12-05 Centre Nat Rech Scient Systeme d'imagerie holographique auto-reference
US10271038B2 (en) * 2013-01-15 2019-04-23 Disney Enterprise, Inc. Camera with plenoptic lens
US10107747B2 (en) * 2013-05-31 2018-10-23 Ecole Polytechnique Federale De Lausanne (Epfl) Method, system and computer program for determining a reflectance distribution function of an object
US9480397B2 (en) 2013-09-24 2016-11-01 Sony Interactive Entertainment Inc. Gaze tracking variations using visible lights or dots
US9781360B2 (en) 2013-09-24 2017-10-03 Sony Interactive Entertainment Inc. Gaze tracking variations using selective illumination
EP3048949B1 (en) 2013-09-24 2019-11-20 Sony Interactive Entertainment Inc. Gaze tracking variations using dynamic lighting position
EP3074924A4 (en) * 2013-10-08 2017-11-22 Princeton Identity, Inc. Iris biometric recognition module and access control assembly
JP6227996B2 (ja) * 2013-12-18 2017-11-08 浜松ホトニクス株式会社 計測装置及び計測方法
US10425814B2 (en) 2014-09-24 2019-09-24 Princeton Identity, Inc. Control of wireless communication device capability in a mobile device with a biometric key
EP3227816A4 (en) 2014-12-03 2018-07-04 Princeton Identity, Inc. System and method for mobile device biometric add-on
US10043281B2 (en) 2015-06-14 2018-08-07 Sony Interactive Entertainment Inc. Apparatus and method for estimating eye gaze location
EP3112922A1 (en) * 2015-06-30 2017-01-04 Thomson Licensing A gaze tracking device and a head mounted device embedding said gaze tracking device
WO2017019725A1 (en) * 2015-07-28 2017-02-02 Wenasont Dynamics Llc System and method for light and image projection
JP2017079883A (ja) * 2015-10-23 2017-05-18 富士通株式会社 視線検出システム、視線検出方法、および視線検出プログラム
JP2019506694A (ja) 2016-01-12 2019-03-07 プリンストン・アイデンティティー・インコーポレーテッド 生体測定分析のシステムおよび方法
WO2017167587A1 (en) 2016-03-29 2017-10-05 Koninklijke Philips N.V. Unobtrusive fundus imaging
US10373008B2 (en) 2016-03-31 2019-08-06 Princeton Identity, Inc. Systems and methods of biometric analysis with adaptive trigger
WO2017173228A1 (en) 2016-03-31 2017-10-05 Princeton Identity, Inc. Biometric enrollment systems and methods
CN107788947A (zh) * 2016-09-07 2018-03-13 爱博诺德(北京)医疗科技有限公司 眼科检查设备和方法
CN106526576B (zh) * 2016-11-30 2019-02-15 上海卫星工程研究所 卫星遥感仪器地面成像试验光轴对准方法
US10607096B2 (en) 2017-04-04 2020-03-31 Princeton Identity, Inc. Z-dimension user feedback biometric system
US10624791B2 (en) 2017-06-10 2020-04-21 Manjinder Saini Artificial vision intraocular implant device
US11547608B2 (en) * 2017-06-10 2023-01-10 Manjinder Saini Comprehensive intraocular vision advancement
JP2020529073A (ja) 2017-07-26 2020-10-01 プリンストン・アイデンティティー・インコーポレーテッド 生体セキュリティシステムおよび方法
CN107645659B (zh) * 2017-08-11 2024-06-28 江西盛泰精密光学有限公司 摄像头模组光学景深测试装置
US10474916B2 (en) 2017-11-20 2019-11-12 Ashok Krishnan Training of vehicles to improve autonomous capabilities
AU2018267553B2 (en) * 2017-11-20 2019-08-22 Ashok Krishnan Systems and methods to train vehicles
US10868945B2 (en) * 2019-04-08 2020-12-15 Omnivision Technologies, Inc. Light-field camera and method using wafer-level integration process
CN112535453B (zh) * 2020-11-03 2023-11-03 张妍婷 一种正视化诱导控制方法及装置
EP4226205A4 (en) * 2020-12-06 2024-07-31 Lumus Ltd OPTICAL SYSTEM INCLUDING SELECTIVE LIGHTING
FI130194B (en) * 2020-12-21 2023-04-13 Optomed Oyj Focus measurement arrangement and method for eye examination and eye examination apparatus and method
WO2022217094A1 (en) * 2021-04-09 2022-10-13 Manjinder Saini Comprehensive intraocular vision advancement

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE1136847B (de) * 1960-09-08 1962-09-20 Rodenstock Optik G Verbesserung an Geraeten zur Bestimmung des Refraktionszustandes des Auges
DE1299907B (de) * 1967-02-14 1969-07-24 Zapletal Fritz Einrichtung zur subjektiven und gleichzeitigen objektiven Bestimmung der Refraktion des Auges
US3524702A (en) * 1968-09-06 1970-08-18 John G Bellows Apparatus for objectively and automatically refracting the eye
US3639041A (en) * 1970-09-21 1972-02-01 Stanford Research Inst System and method for scanning the depth of the optic fundus
CN1291281A (zh) * 1997-11-21 2001-04-11 自控技术公司 使用波前分析的光学系统的客观测量和校正
JP3323559B2 (ja) * 1992-08-25 2002-09-09 キヤノン株式会社 眼屈折測定装置

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5793208A (en) * 1980-12-01 1982-06-10 Nippon Kogaku Kk <Nikon> Optical system of distance measuring apparatus
US5523809A (en) * 1992-08-25 1996-06-04 Canon Kabushiki Kaisha Eye refraction measuring apparatus including optical path separating member light beam separating member, and/or light diameter changing means
JP2803594B2 (ja) * 1995-04-27 1998-09-24 株式会社ニコン 眼底観察装置の合焦検出装置
JP2000037349A (ja) * 1998-07-22 2000-02-08 Hamamatsu Photonics Kk 眼の焦点距離測定装置
JP4010254B2 (ja) * 2003-02-06 2007-11-21 ソニー株式会社 画像記録再生装置、画像撮影装置及び色収差補正方法
JP4630126B2 (ja) * 2005-05-16 2011-02-09 株式会社トプコン 眼光学特性測定装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE1136847B (de) * 1960-09-08 1962-09-20 Rodenstock Optik G Verbesserung an Geraeten zur Bestimmung des Refraktionszustandes des Auges
DE1299907B (de) * 1967-02-14 1969-07-24 Zapletal Fritz Einrichtung zur subjektiven und gleichzeitigen objektiven Bestimmung der Refraktion des Auges
US3524702A (en) * 1968-09-06 1970-08-18 John G Bellows Apparatus for objectively and automatically refracting the eye
US3639041A (en) * 1970-09-21 1972-02-01 Stanford Research Inst System and method for scanning the depth of the optic fundus
JP3323559B2 (ja) * 1992-08-25 2002-09-09 キヤノン株式会社 眼屈折測定装置
CN1291281A (zh) * 1997-11-21 2001-04-11 自控技术公司 使用波前分析的光学系统的客观测量和校正

Also Published As

Publication number Publication date
JP2014519943A (ja) 2014-08-21
WO2013008129A1 (en) 2013-01-17
US20140168401A1 (en) 2014-06-19
EP2731490A1 (en) 2014-05-21
IN2014CN00418A (zh) 2015-04-03
JP5571864B1 (ja) 2014-08-13
RU2014105469A (ru) 2015-08-20
US8934005B2 (en) 2015-01-13
EP2731490B1 (en) 2015-01-21
RU2612500C2 (ru) 2017-03-09
CN103648366A (zh) 2014-03-19

Similar Documents

Publication Publication Date Title
CN103648366B (zh) 用于远程测量光学焦点的系统和方法
US10416763B2 (en) Eye tracking and user reaction detection
US7427135B2 (en) Adaptive photoscreening system
US10149615B2 (en) Fundus imaging apparatus that determines a state of alignment
US8403480B2 (en) Adaptive photoscreening system
JP5297486B2 (ja) 眼及びその凝視方向を検知し、追跡する装置
CN109788901A (zh) 光场处理器系统
US20090079937A1 (en) Adaptive Photoscreening System
CN106102560B (zh) 眼科装置、方法及系统
CN106061367A (zh) 眼底成像系统、装置和方法
KR20110086004A (ko) 안구 촬영 장치 및 방법
JP6964250B2 (ja) 眼球撮影装置および眼球撮影方法
JP6269377B2 (ja) 診断支援装置および診断支援方法
CN109964230A (zh) 用于眼睛度量采集的方法和设备
WO2002003853A1 (fr) Dispositif de mesure de la pupille
EP4042931A1 (en) Eye accommodation control
JP2023522141A (ja) 神経学的スクリーニング方法および装置
JPH07174541A (ja) 瞳孔面積測定装置
Babcock Eye tracking observers during color image evaluation tasks
RU2604938C2 (ru) Бесконтактный пупиллометр для скрининг-диагностики функционального состояния организма и способ его использования
KR102570392B1 (ko) 굴절이상을 측정하는 방법 및 장치
US20240251177A1 (en) Multi-tiled plenoptic system for the detection and correction of ocular defects and for improved foveated rendering
EP4432895A1 (en) Vision screening systems and methods

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant