CN110199517A - 在单个对准处具有自动剪辑的宽视野眼底相机 - Google Patents

在单个对准处具有自动剪辑的宽视野眼底相机 Download PDF

Info

Publication number
CN110199517A
CN110199517A CN201780051227.0A CN201780051227A CN110199517A CN 110199517 A CN110199517 A CN 110199517A CN 201780051227 A CN201780051227 A CN 201780051227A CN 110199517 A CN110199517 A CN 110199517A
Authority
CN
China
Prior art keywords
visual field
image
illumination beam
wide visual
width
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201780051227.0A
Other languages
English (en)
Other versions
CN110199517B (zh
Inventor
保罗·安德鲁·耶茨
赖明�
伊大维
A·马丁内斯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Red Microvision Co Ltd
Original Assignee
Red Microvision Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Red Microvision Co Ltd filed Critical Red Microvision Co Ltd
Publication of CN110199517A publication Critical patent/CN110199517A/zh
Application granted granted Critical
Publication of CN110199517B publication Critical patent/CN110199517B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/14Arrangements specially adapted for eye photography
    • A61B3/15Arrangements specially adapted for eye photography with means for aligning, spacing or blocking spurious reflection ; with means for relaxing
    • A61B3/156Arrangements specially adapted for eye photography with means for aligning, spacing or blocking spurious reflection ; with means for relaxing for blocking
    • A61B3/158Arrangements specially adapted for eye photography with means for aligning, spacing or blocking spurious reflection ; with means for relaxing for blocking of corneal reflection
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00Apparatus for testing the eyes; Instruments for examining the eyes
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/0008Apparatus for testing the eyes; Instruments for examining the eyes provided with illuminating means
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/12Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for looking at the eye fundus, e.g. ophthalmoscopes
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/14Arrangements specially adapted for eye photography
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/14Arrangements specially adapted for eye photography
    • A61B3/15Arrangements specially adapted for eye photography with means for aligning, spacing or blocking spurious reflection ; with means for relaxing
    • A61B3/152Arrangements specially adapted for eye photography with means for aligning, spacing or blocking spurious reflection ; with means for relaxing for aligning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/50Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/73Deblurring; Sharpening
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20172Image enhancement details

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Ophthalmology & Optometry (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Eye Examination Apparatus (AREA)

Abstract

本发明公开了一种宽视野眼底相机,以实施多个照射光束投射器并且在各种视角处捕捉多幅视网膜图像,以便于进行宽视野视网膜检查。所述宽视野眼底相机设想到了超宽视野透镜,所述超宽视野透镜能够在单个对准处提供对整个视网膜的边缘到边缘成像。所述宽视野眼底相机设想到了所述多个照射光束投射器的配置,以同时地提供对视网膜和浦肯野反射的可视化,以便于确定与眼睛的恰当相机对准。所述宽视野眼底相机还设想到以可编程的方式来控制多个照射光束投射器,以进一步评估每个照射光束投射器与眼睛的对准并且捕捉所述多幅视网膜图像。所述宽视野眼底相机还设想到了具有快速自动聚焦和快速连续图像捕捉的消费者图像记录设备,以使所述设备易于使用并且快速响应。所述宽视野眼底相机还设想到窄狭缝光束照射和宽狭缝光束照射,以增强自动聚焦、通过较低透明度的晶状体的成像,以及由于来自相机和除视网膜之外的眼表面的反射和散射光引起的雾的减少。所述宽视野相机设想到了实时算法以减少所述视网膜图像中的所述反射和散射雾。所述宽视野相机进一步设想到所述多幅视网膜图像的自动剪辑图,而得到单个宽视野FOV视网膜剪辑图,并且自动去除来自所述视网膜剪辑的反射和散射雾。所述宽视野相机进一步设想到自动地识别相机与眼睛的对准并且标准化对准流程以简化反射和散射光雾,以促进对所述视网膜图像的去雾和自动剪辑。

Description

在单个对准处具有自动剪辑的宽视野眼底相机
相关申请的交叉引用
本申请主张要求Yates等人于2016年6月21日提交的题为“Wide Field FundusCamera with Montage at a Single Alignment”的申请号为62/352944的美国临时专利申请的优先权,在此通过引用将其全部内容并入本文。
技术领域
本主题涉及用于拍摄对象视网膜的宽视野眼底相机。
背景技术
视网膜图像被广泛用于诊断人视网膜的各种疾病。例如,各种视网膜相机已经被用于例行筛查和检测成人中最常见的三种眼病:糖尿病眼病,青光眼以及年龄相关性黄斑变性。对这些疾病的早期检测能够延迟并且防止随后的视力丧失。用于执行这些筛查检查的常规视网膜相机通常具有中心45度至60度的视野(FOV),其代表视网膜的整个表面区域的不到10%。
相比之下,宽视野视网膜图像,指的是大于60度的视野,通常用于诊断早产儿视网膜病变(ROP),即,早产儿的视网膜疾病。在晚期阶段,ROP能够导致视网膜脱落以及永久性视力丧失,但是常常能通过早期例行筛查和检测来处置。常规地,ROP通常经由使用间接检眼镜的手动医师检查来诊断。检查医师利用间接检眼镜检查,并且依赖于巩膜凹陷在八个主要位置(12、1:30、3:00、4:30、6:00、7:30、9:00和10:30)将视网膜周边可视化为锯齿缘。鉴于与ROP相关的病理主要发生在视网膜周边,视网膜的最小120度的FOV是正确诊断所必需的。对ROP常规筛查和诊断需要高技能的眼科医生进行该检查,并且正确地记录他的/她的视网膜检查结果。这是耗时的过程,并且缺乏可靠的文档,大多数眼科医生仍然执行草图绘制来表示他们的视网膜发现。
能够利用来自Clarity Medical Systems(普莱森顿,加利福尼亚,美利坚合众国)的眼底相机来获得数字格式的宽视野视网膜图像。在一种方案中,宽视野眼底相机采用如在US 5822036(Massie等人)中所示的照射环,其位于容纳照射光源、成像光学器件以及相机传感器的手持件壳体的顶端处。所述照射环由一束光纤形成,并且投射明亮的照射通过整个瞳孔。所述设备在视野上提供均匀照射,以产生具有120度的视网膜FOV的视网膜图像。当晶状体透明度较低并且当来自晶状体表面的浦肯野(Purkinje)反射图像在视野内变得可见时,使用这样的配置可能在图像中缺乏清晰度。这样的配置的使用可以适合用于具有高度透明的晶状体的新生婴儿和婴儿,但是可能不太适合用于具有较低透明度的晶状体的患者,特别是成人。
此外,针对ROP检测进行充分的视网膜检查需要对整个视网膜进行边对边缘观察,即,覆盖180度的FOV。整个视网膜占据了眼球半球。180度的FOV是指包含该整个眼球半球的视野。130度FOV设备将需要+/-25度的倾斜才能到达视网膜边缘。利用这种130度FOV设备对整个视网膜进行成像将必须需要6至8幅单独的图像,其中相机被放置在相对于眼睛的中心轴的多个倾斜位置处,以对视网膜的整个边缘进行成像。利用130度FOV设备进行足够的视网膜检查是耗时的,并且即使对于训练有素的眼科医生而言,设备与眼睛的正确倾斜对准以用于对视网膜周边的边缘到边缘成像而检测ROP仍然是困难的。
发明内容
由于各种临床状况,新生婴儿和婴儿可能具有较低透明度的晶状体。在照射光束路径与成像光束路径重叠的任何地方,由于角膜内部的光散射或较低透明度的晶状体,可能出现图像雾(haze)。该图像雾还可能来自角膜(即,浦肯野I和II)和晶状体表面(即,浦肯野III和TV)的浦肯野反射图像。我们将图像雾称为除了视网膜之外的任何眼睛或相机表面的散射或反射光,其中,该散射或反射光能够到达视网膜相机的记录传感器。
可以通过将照射光束路径与晶状体内部的图像光束路径分开的光学技术来改善图像雾。这种配置能够在常规的视网膜相机中找到,但是限制于45度至60度的视野并且在照射光束路径上具有各种掩模以在整个晶状体中创建图像窗口。然而,对于更宽视野眼底相机来说,这样的配置仍然是挑战。
眼底相机的另一高度期望的特征将是快速并且可靠的自动对焦。与常规的桌面眼底相机不同,用于ROP筛查的宽视野眼底相机通常是手持式设备,并且因此,相机的快速响应可以改善设备的可用性。通常,在常规的桌面眼底相机中发现的自动聚焦比在消费者图像记录设备中发现的自动聚焦慢得多。先前已经尝试将具有快速自动聚焦的消费者图像记录设备实施到手持式眼底相机中。
在Yates等人的题为“Hand-Held Portable Fundus Camera for ScreeningPhotography”的美国专利申请公布US 2012/0229617中公开了如何将消费者图像记录设备实施到手持式眼底相机中以利用内置到消费者相机中的自动聚焦机制。另一问题是可靠性,因为在消费者图像记录设备中的自动聚焦可能依赖于良好照射和高对比度特征来执行,而视网膜图像可能缺乏这样的良好照射和高对比度特征。在Yates等人的题为“Intuitive Techniques and Apparatus for Ophthalmic Imaging”的美国专利申请公布US 2013/0335704中公开了如何投射衍射地修改的激光束,以在视网膜上创建良好照射和高对比度特征来增强自动聚焦。引起了对于如何利用非相干光实施该概念以及如何改善通过较低透明度的晶状体的性能的另外的挑战。
对于具有宽视野的宽视野眼底相机而言,通过较低透明度的晶状体的自动聚焦和成像仍然是具有挑战性的问题。将间接检眼镜检测成数字格式并且调整消费者图像记录设备以及其快速自动聚焦尚未针对宽视野眼底相机实施。
根据本主题的范例设想到了一种用于实施多个照射光束投射器的宽视野眼底相机,其中的每个照射光束投射器模仿间接检眼镜的照射条件。因此,根据本主题的范例设想到在各种视角处拍摄多幅视网膜图像以模仿间接检眼镜的观察条件。根据本主题的范例进一步设想到实施具有图像记录设备的宽视野眼底相机,其能够实现自动聚焦、自动曝光、实时显示和高清晰度图像的无线传输。根据本主题的范例进一步设想到以一定角度投射窄缝光束以增强通过较低透明度的晶状体的自动聚焦。根据本主题的范例还进一步设想到将宽缝光束实施到多个照射光束投射器中的每个照射光束投射器中,以通过较低透明度的晶状体更好地成像。根据本主题的范例设想到将所述多个照射光束投射器定位在围绕中心视轴的轴对称位置中。根据本主题的另外的范例设想到使用分光器或反光镜将所述多个照射光束投射器耦合到中心视轴。根据本主题的范例进一步设想到实施照射光束投射器,所述照射光束投射器能够同时地照射视网膜并且在宽视野FOV内提供浦肯野反射,以促进对视网膜和浦肯野反射的同时可视化,从而确定相机与眼睛的对准。根据本主题的另外的范例设想到了多个轴对称照射光束投射器,以照射视网膜并且在宽视野FOV内提供浦肯野反射,从而促进相机与眼睛的轴向居中。根据本主题的范例进一步设想到了实施图像处理以将多幅视网膜图像缝合成均匀曝光的单幅场图像。
为了在单个对准处实现对整个视网膜的边缘到边缘观察,高度期望180度的超宽FOV透镜。根据本主题的范例设想到实施具有160度FOV或更宽的接触透镜(contact lens)系统(即,具有接触眼睛的表面的透镜)。接触透镜系统包括一个或多个非球面表面。术语“超宽FOV”指的是160度的FOV或更宽的FOV。
对于超宽FOV成像,来自角膜的反射(即,浦肯野I和II)和散射雾变得不可避免。根据本主题的范例设想到将所有浦肯野反射放置成散射雾的簇并且允许利用数字掩模去除所述浦肯野反射和散射雾。根据本主题的另外的范例设想到通过以下中的一项或多项来将浦肯野反射放入到散射雾的簇中:调节照射投射器光束与视轴的角度,调节照射投射器光束形状,或者调节照射投射器光束光斑尺寸)。根据本主题的另外的范例设想到通过以下中的一项或多项来将浦肯野反射放入到散射雾的簇中:调节所述广角或超广角FOV透镜非球面表面曲率或透镜孔径。
视网膜图像中的图像雾与室外照片中的漫反射大气雾从根本上不同。视网膜图像雾是定向的,是由被用于检查眼睛的入射照射的散射而产生的,取决于哪个眼睛表面(角膜、晶状体、虹膜)被这种光照射而具有不同的散射特性,具有不同的偏振特性,取决于散射表面的位置而具有不同的空间特性,并且具有与大气雾不同的谱特性。尽管先前已经考虑了从摄影图像中去除大气雾的一般问题(例如,US 12/697575),这些模型假设相比于拍摄图像的相机的创建散射光的照射源(例如,太阳)与被拍摄的物体之间的正交关系。这样的雾条件的数学模型生成用于从室外图像中去除雾的独特解决方案,所述室外图像未被优化用于减少或消除视网膜图像雾。估计视网膜图像的雾图需要考虑生成该图像雾的眼睛的散射表面和照射源的特性。
根据本主题的另外的范例设想到通过识别反射和散射雾分量的特性来数字去除反射和散射雾,以将其与图像的视网膜图像区分开。根据本主题的范例设想到使用一个或多个区别特征(包括由所述照射光束投射器产生的所述反射和散射雾的谱、位置、形状、大小、锐度、均匀性、细节、方向和分布图案)来确定截面图像的反射和散射雾分量,与视网膜分量相反。另外的范例设想到了对由所述照射光束投射器提供的来自定向光源的预期的雾图案的光学建模,以进一步辅助识别反射和散射雾。另外的范例设想到了自动识别在所捕捉的视网膜图像中的浦肯野反射,以评估相机与眼睛的对准,以允许预测预期的反射和散射雾,从而进一步促进反射和散射雾的去除。
去除反射和散射雾能够促进摄影师对视网膜细节的可视化,以确定视网膜病变的存在,确定相对于眼睛的中心视轴的相机居中和倾斜,并且在视网膜图像的捕捉之前由相机确定视网膜焦点。在PCT/US2015/049950中,Yates等人设想到在采集连续图像之后去除反射和散射雾。根据本主题的范例设想到实时去除反射和散射雾,以在视网膜图像捕捉之前允许视网膜相机定位和视网膜图像合成。我们将实时称为在小于200毫秒内去除反射和散射雾,以允许以大于每秒五帧的速率在图像显示器上显示去雾的视网膜图像。根据本主题的范例设想到在截面视网膜图像捕捉之前、在宽视野相机与眼睛对准期间以大于或等于每秒30帧的帧速率在图像显示器上显示去雾的视网膜图像。
去除散射雾能够促进浦肯野反射的可视化。浦肯野反射能够被用于确定相机相对于眼睛的中心轴的对准。除了离散的浦肯野反射之外,根据本主题的范例设想到去除反射和散射雾,以使所述离散浦肯野反射的可视化最大化,从而改善对相机与眼睛的对准的评估。
去除所捕捉的视网膜图像上的反射和散射雾能够促进创建具有增强的图像清晰度的宽视野全FOV图像,以允许检查视网膜病变。根据本主题的范例设想到在视网膜图像捕捉之后对截面视网膜图像进行反射和散射雾去除。根据本主题的范例设想到使用数字掩模来去除具有突出的浦肯野反射和散射雾的截面图像的部分。根据本主题的另外的范例设想到通过基于反射和散射雾的已知特性和参考视网膜透射图来估计和细化透射图而对截面图像进行去雾。根据本主题的另外的范例设想到通过使用浦肯野反射的图案确定相机与眼睛的中心轴的对准来对截面图像进行去雾。一旦确定了相机对准,就使用针对角膜、虹膜的参考雾模型以及针对该特定对准的透镜反射和散射雾来计算估计的雾图。然后,能够将去除了反射和散射雾的截面图像组装成全FOV的单幅图像。根据本主题的另外的范例设想到在组装的全FOV单幅图像上去除残余的反射和去除散射雾。
通常,剪辑(montage)图像是由个体分量图像构成的,以创建更宽的全景图。先前已经针对视网膜图像考虑了该问题。然而,所提出的算法必须考虑在个体地采集的视网膜图像中固有的旋转、平移、倾斜和放大差异。一般的全景图拼接算法不适合于给定任务,因为很少有高对比度视网膜特征以便能够容易地确定图像之间的重叠以及剪辑算法中所使用的自动控制点生成。这需要许多技术,包括视网膜脉管系统的骨架化或者搜索图像之间的最佳谱频率重叠。还需要确定重叠以显示的两幅或更多幅视网膜图像的哪个部分。最后,通常需要混合重叠的图像以创建无缝边界并且创建单幅无缝全景图像的印象。当能够对每幅图像的特性和每幅图像之间的关系做出很少的假设时,给定必须优化的参数的数量,该问题的复杂性经常导致计算的剪辑图中的分量图像之间的不对准、对于最终图像的图像之间的可见接缝以及“拼贴状”外观、整个图像中的大对比度变化,以及非常慢的处理速度。10幅图像的单幅剪辑图可能需要30分钟到若干小时才能生成。
根据本主题的范例设想到自动地并且即时地将截面图像组装成单幅剪辑图。我们自动地提到不需要用户干预来根据截面图像生成全FOV剪辑图。根据本主题的范例设想到在少于5秒内生成全FOV剪辑图,以允许用户查看所捕捉的宽视野视网膜图像,从而快速地确定视网膜病变的存在以及捕捉额外视网膜图像的需要。根据本主题的范例设想到了这样的剪辑算法,其使用关于截面图像的结构的一个或多个简化假设来快速地生成单个、无缝、曝光良好的全FOV剪辑图。这些简化假设包括针对这些截面图像的定型空间位置、图像曝光、焦点、倾斜、镜面反射、照射图案和雾图案中的一项或多项。这些简化假设允许以下中的一项或多项:自动确定截面图像重叠、自动生成用于计算剪辑图的控制点、基于每幅截面图像中的特性曝光自动确定在重叠区域中显示哪幅截面图像、能够基于特性雾图案自动数字掩盖浦肯野反射和散射雾、在截面图像重叠处生成无缝混合、基于理解被用于相对于眼睛的中心轴拍摄每幅截面图像的照射光束投射器的结构和位置来调节整幅剪辑图的曝光。根据本主题的范例设想到利用多个照射光束投射器高速拍摄截面图像,以便使每幅截面图像之间的眼睛移动最小化。如果眼睛在每幅截面图像之间不移动,则能够假设所有截面图像彼此自动地对准,而不需要在生成全宽视野FOV剪辑图像时移动每幅截面图像的位置。
本发明设想到使用超宽视野透镜来覆盖180度FOV。本发明还设想到获得居中的和轴上的对准以使雾斑点位置标准化并且对反射和散射雾图案进行定型。本发明进一步设想到对视网膜图像的实时去雾,以使得能够更好地判断宽视野相机与眼睛的恰当对准以及恰当的视网膜聚焦。本发明进一步设想到在单个对准处快速地捕捉所期望的FOV的多幅截面图像。本发明进一步设想到捕捉多幅截面图像以在单个对准处覆盖180度的FOV。本发明进一步设想到对截面视网膜图像进行去雾,以增强视网膜细节的可视化。本发明还进一步设想到采用自动剪辑算法来将连续图像自动缝合成利用超宽视野透镜限定的全视网膜FOV的单幅剪辑图。
在PCT/US2015/049950中,Yates等人设想到了一种剪辑算法,其中,假设在个体截面图像中视网膜照射和雾的对称性,由于宽视野眼底相机与眼睛的中心轴的中心对准,允许剪辑图像的简化构造。根据本主题的另外的范例设想到使用宽视野眼底相机相对于眼睛的计算的对准来自动改变假定的对称性以及截面图像之间的关系。以这种方式,自动剪辑算法能够自动并且快速地调节眼睛与宽视野眼底相机之间的任何中心未对准,这可能产生截面图像中的反射和散射雾以及视网膜照射图案的不对称。即使对于宽视野眼底相机相对于眼睛处于非中心对准的截面图像,这种调节也将允许自动和即时的剪辑图生成以生成完整的单个宽视野FOV。在根据本主题的另外的范例中,来自每幅截面图像的不对称区域可以被用于生成宽视野FOV剪辑图。在根据本主题的另外的范例中,可以生成不对称数字掩模以掩蔽所述截面图像中的不对称雾,从而根据被用于生成宽视野FOV剪辑图的每幅截面图像产生所述不对称区域。
因此,本发明设想到实现根据在宽视野眼底相机与眼睛的任何单个对准处拍摄的连续截面图像的足够FOV的自动剪辑,以改善可用性并且改善视网膜细节的可视化,从而实现对ROP和其他视网膜病的远程筛查。
更具体地,根据本主题的范例公开了一种宽视野眼底相机,包括:
非球面透镜,其具有对称的视轴并且被设置为形成视网膜图像,其中,所述非球面透镜是宽视野或超宽视野物镜的元件;
图像记录设备,其被配置为提供自动聚焦和自动曝光中的一项或多项并且与所述非球面透镜对准以捕捉所述视网膜图像;
第一源,其被配置为提供多个照射光束投射器,所述多个照射光束投射器围绕所述视轴来定位并且以一定角度朝向所述非球面透镜投射,其中,两个或更多个照射光束相对于视轴以轴对称配置来布置以提供居中和轴上对准引导;
第二源,其被配置为提供窄照射光束投射器,所述窄照射光束投射器以一定角度投射并且远离瞳孔中心,以在视网膜上提供明亮的特征,从而增强通过较低透明度的晶状体的自动聚焦;
交叉偏振光学器件,其被包括在照射光束的所述第一源和第二源与所述图像记录设备之间,以阻止所述照射光束的镜面反射并且减少反射和散射光雾;
实时去雾算法,其被实施为用于去除来自视网膜图像中的反射和散射光,以促进对相机与眼睛的恰当对准以及视网膜图像聚焦的改善的判断;
电子控制电路,其被配置为提供控制所述多个照射光束投射器的系统,并且以可编程的方式促进对多幅视网膜图像的捕捉;以及
自动剪辑算法,其被配置为处理所述捕捉的多幅视网膜图像以掩蔽掉模糊区域,去除反射和散射雾,并且将所捕捉的多幅图像缝合成宽视野或超宽视野合成图像。
因此,本主题的第一方面能够包括提供宽视野眼底相机,所述宽视野眼底相机在各种视角处实施多个照射光束投射器和多幅视网膜图像,以模仿利用间接检眼镜的视网膜检查。本主题的第二方面能够包括使用具有快速自动聚焦的消费者图像记录设备,从而使宽视野眼底成像设备快速响应并且易于使用。本主题的第三方面能够包括使用具有高速连续图像捕捉(每秒多于五幅捕捉的图像)的消费者图像记录设备,从而促进从所述多个照射光束投射器捕捉多幅截面图像,以在眼睛移动之前提供全FOV。本主题的第四方面能够包括提供窄狭缝光束照射和宽狭缝光束照射,以增强通过较低透明度的晶状体和反射雾的自动聚焦和成像。本主题的第五方面能够包括使用超宽视野透镜来实现对整个视网膜的边缘到边缘检测。本主题的第六方面能够包括使用多个照射光束来形成针对中心和轴上对准的引导。本主题的第六方面能够包括使用实时去雾来形成针对中心和轴上对准的引导。本主题的第七方面能够包括使用对所捕捉的截面视网膜图像的实时去雾和自动剪辑来形成全FOV宽视野或超宽视野视网膜图像。
本发明的第一方面涉及一种宽视野眼底相机,其包括:物镜,其具有视轴并且被设置为形成视网膜图像;图像记录设备,其被设置为捕捉所述宽视野的所述视网膜图像;多个照射光束投射器,其围绕所述视轴来定位,并且每个照射光束投射器被配置为以一定角度朝向所述物镜投射照射光束;交叉偏振机构,其被配置在所述图像记录设备与所述多个照射光束投射器之间,以阻止所述照射光束的镜面反射;图像显示器,其被操作性耦合到图像记录设备,以显示来自所述图像记录设备的所述视网膜图像;电子控制器,其被操作性耦合到所述多个照射光束投射器,以按照预定顺序向所述多个照射光束投射器中的每个照射光束投射器提供电力以提供照射,从而获得多幅视网膜图像中的每幅视网膜图像;以及至少一个计算处理器,其被编程为运行实时去雾算法以执行反射和散射光雾的实时去除;以及至少一个计算处理器,其被编程为允许自动剪辑算法以产生所述多幅视网膜图像的自动剪辑图,而得到所述宽视野的单幅图像。
所述相机还可以包括计算处理器,所述计算处理器被编程为运行去雾算法以进一步从所述剪辑图像中去除反射和散射雾。
在一些实施例中,物镜是具有60度至160度的FOV的宽视野非球面透镜。物镜可以是具有160度或更宽的FOV的超宽视野物镜。物镜可以是超宽视野物镜系统,其包括接触透镜、半月形透镜和非球面透镜。
在一些实施例中,所述多个照射光束投射器被光学地耦合到多个反射镜或分光器,以沿着视轴引导来自所述投射器的光。
在一些实施例中,所述图像记录设备是被配置为提供自动聚焦、自动曝光选择和连续图像捕捉的相机。
在一些实施例中,所述实时去雾算法通过所述雾的位置来识别所述视网膜图像中的反射和散射雾。
在一些实施例中,所述实时去雾算法通过所述雾的谱内容来识别所述视网膜图像中的反射和散射光雾。所述实时去雾算法可以识别与眼睛的相机对准,并且确定针对该相机对准的预期的反射和散射雾图案,以促进识别和去除所述反射和散射雾。
在一些实施例中,所述自动剪辑算法识别与眼睛的相机对准,并且将所述多个所述视网膜图像相机组合成针对所述相机对准的单个全FOV剪辑图。
在一些实施例中,所述多个照射光束投射器包括4个投射器,所述4个投射器被定位为在沿着视轴定位的在眼睛上的12、3、6和9点钟位置处提供四个反射斑点。
在一些实施例中,所述照射光束中的两个照射光束沿着视轴被定位在12点钟和6点钟位置处,并且所述照射光束中的两个照射光束沿着视轴被定位在3点钟和9点钟位置处。在一些实施例中,所述多个照射光束投射器包括8个投射器,所述8个投射器被定位为在沿着视轴定位的在眼睛上的12、1:30、3、4:30、6、7:30、9和10:30点钟位置处提供八个反射斑点簇。在一些实施例中,8个投射器中的4个投射器形成提供红外照射的第一子集,并且8个投射器中的4个投射器形成提供白光照射的第二子集,第一子集和第二子集中的每个子集围绕视轴对称地设置。
交叉偏振机构可以与眼睛的偏振轴对准,以减少来自眼睛的反射和散射光雾。
在一些实施例中,所述照射光束投射器被配置为提供同时的视网膜照射和可见的眼睛浦肯野反射,以评估相机与视网膜的对准。
在一些实施例中,所述实时去雾算法包括用于对来自宽视野眼底相机的图像进行去雾的处理器可访问指令,所述处理器可访问指令当被运行时执行以下动作,所述动作包括:计算由所述照射光束投射器产生的来自所述宽视野眼底相机的浦肯野反射的位置;使用来自所述宽视野眼底相机的所述图像内的所述浦肯野反射的位置,来计算与由所述宽视野眼底相机成像的眼睛的中心轴的宽视野眼底相机对准;使用参考眼角膜以及针对处于与参考模型眼睛的中心轴的所述相机对准的所述照射光束投射器的透镜反射和散射雾模型,来计算针对所述宽视野眼底图像的估计的雾图;使用估计的雾图来计算用于从所述宽视野眼底图像中去除反射和散射雾的数字掩模;通过去除所述宽视野眼底图像中的由所述数字掩模覆盖的部分,根据所述宽视野眼底图像来计算经处理的掩蔽的宽视野眼底图像;利用针对所述宽视野眼底图像的估计的雾图来计算透射图;使用参考视网膜宽视野眼底图像来细化针对所述宽视野眼底图像的透射图;使用经细化的透射图,根据所述掩蔽的宽视野眼底图像来恢复视网膜图像,从而对掩蔽的宽视野眼底图像进行去雾并且产生去雾的掩蔽的宽视野视网膜图像。
在一些实施例中,所述实时去雾算法包括用于对来自宽视野眼底相机的图像进行去雾的处理器可访问指令,所述处理器可访问指令当被运行时执行以下动作,所述动作包括:使用所述反射和散射雾的空间分布和大小以及参考谱中的至少一项来计算估计的雾图;利用针对所述宽视野眼底图像的估计的雾图来计算透射图;根据参考视网膜宽视野眼底图像利用估计的视网膜透射来细化透射图;使用所计算的透射图,根据所述宽视野眼底图像来恢复视网膜图像,从而对宽视野眼底图像进行去雾并且产生去雾的宽视野视网膜图像。
在一些实施例中,自动剪辑算法包括处理器可访问指令,所述处理器可访问指令用于将来自宽视野眼底相机的截面图像剪辑成单幅FOV宽视野眼底图像,所述处理器可访问指令当被运行时执行以下动作,所述动作包括:计算由所述照射光束投射器产生的来自所述宽视野眼底相机的浦肯野反射的位置;使用来自所述宽视野眼底相机的所述截面图像中的所述浦肯野反射的位置,来计算与由所述宽视野眼底相机进行成像的眼睛的中心轴的宽视野眼底相机对准;计算每幅所述截面图像中的要被包括在所述剪辑图像中的区域,并且创建针对每幅所述截面图像的截面图像数字掩模,以去除通过所述宽视野眼底相机对准而确定的散射雾和浦肯野反射;通过去除每幅所述截面图像中的由每个所述截面图像数字掩模覆盖的区域,根据所述宽视野眼底相机截面图像来计算掩蔽的截面图像;使用截面图像曝光、宽视野眼底相机对准、截面图像雾度、截面图像焦点、截面图像空间频率以及截面图像锐度中的一项或多项来计算每幅所述截面图像的重叠区域的混合,以保持所述剪辑图像精细结构细节,同时均衡所述剪辑图像曝光以创建无缝剪辑图;通过使用所述宽视野眼底相机对准来计算针对所述剪辑图像的图像投影,以使剪辑图像失真最小化。
本发明的另一方面涉及一种宽视野眼底相机,其包括:物镜,其具有视轴并且被设置为形成视网膜图像;图像记录设备,其被设置为捕捉所述宽视野的所述视网膜图像;多个八个照射光束投射器,其围绕所述视轴对称地定位,并且每个照射光束投射器被配置为以一定角度朝向所述物镜投射照射光束;交叉偏振机构,其被配置在所述图像记录设备与所述多个照射光束投射器之间以阻止所述照射光束的镜面反射;图像显示器,其被操作性耦合到所述图像记录设备,以显示来自所述图像记录设备的所述视网膜图像;电子控制器,其被操作性耦合到所述多个八个照射光束投射器,以按照预定顺序向所述多个照射光束投射器中的每个照射光束投射器提供电力,从而所述照射光束投射器中的两个照射光束投射器照射用于每幅连续图像,其中所述照射光束投射器围绕所述视轴彼此成180度定位;以及至少一个计算处理器,其被编程为运行实时去雾算法以执行对反射和散射光雾的实时去除;至少一个计算处理器,其被编程为执行自动剪辑算法,以产生所述两幅或四幅连续视网膜图像的自动剪辑图,而得到所述宽视野的单幅图像,并且至少一个计算处理器被编程为执行去雾算法以进一步从所述自动剪辑图像中去除残余的反射和散射光雾,以创建无雾剪辑图像。
在一些实施例中,所述相机被配置为使用所述电子控制器来采集两幅连续图像,所述电子控制器对以关于视轴对称的方式定位的两个所述照射光束投射器供电,其中在12点钟和6点钟处的照射光束投射器被供电以用于第一连续图像,并且在3点钟和9点钟处的照射光束投射器被供电以用于第二连续图像。在一些实施例中,使用所述电子控制器来采集两幅连续图像,所述电子控制器对以关于视轴对称的方式定位的两个所述照射光束投射器供电,其中在10:30点钟和4:30点钟处的照射光束投射器被供电以用于第一连续图像,并且在1:30点钟和7:30点钟处的照射光束投射器被供电以用于第二连续图像。在一些实施例中,使用所述电子控制器来采集四幅连续图像,所述电子控制器对以关于视轴对称的方式定位的两个所述照射光束投射器供电,其中在12点钟和6点钟处的照射光束投射器被供电以用于第一连续图像,在3点钟和9点钟处的照射光束投射器被供电以用于第二连续图像,在10:30点钟和4:30点钟处的照射光束投射器被供电以用于第三连续图像,并且在1:30点钟和7:30点钟处的照射光束投射器被供电以用于第四连续图像。
所述物镜可以是具有60度至160度的FOV的宽视野非球面透镜。在一些实施例中,所述物镜是具有160度或更宽的FOV的超宽视野物镜。
在一些实施例中,所述物镜是超宽视野物镜系统,其包括接触透镜、半月形透镜和非球面透镜。
本发明的又一方面涉及一种操作宽视野眼底相机的方法,包括以下步骤:提供物镜,所述物镜具有视轴并且被设置为对具有眼底的视网膜成像,所述视轴与所述视网膜第一对准;提供图像记录设备,所述图像记录设备被设置为捕捉所述视网膜图像;提供多个照射光束投射器,所述多个照射光束投射器围绕所述视轴定位并且相对于所述视轴以预定角度投射;提供的交叉偏振机构,所述交叉偏振机构被配置在所述图像记录设备与所述多个照射光束投射器之间,以阻止所述照射光束的镜面反射;提供图像显示器,所述图像显示器被配置为显示来自所述图像记录设备的所述视网膜图像;提供计算处理器,所述计算处理器与所述图像记录设备和所述图像显示器相耦合,以实现实时图像处理和显示;提供实时去雾算法,所述实时去雾算法被包括在所述计算处理器中,以执行对反射和散射光雾的实时去除;提供电子控制器,所述电子控制器以可编程方式对所述多个照射光束投射器供电,在第一对准处捕捉多幅眼底图像,每幅图像是在对应照射状态下利用所述多个照射光束投射器捕捉的,所述照射状态中的至少两种照射状态彼此不同;并且提供自动剪辑算法,所述自动剪辑算法被包括在所述计算处理器中,以执行对所述多幅视网膜图像的自动剪辑,而得到所述宽视野的单幅剪辑图像。
在一些情况下,所述多个眼底图像包括两幅图像,所述两幅图像中的每幅图像是使用仅来自所述多个照射光束投射器的对应的两个轴对称地设置的照射光束投射器的照射而生成的。
在一些情况下,所述多幅眼底图像包括四幅图像,所述四幅图像中的每幅图像是使用仅来自所述多个照射光束投射器的对应的两个轴对称地设置的照射光束投射器的照射而生成的。
在一些情况下,所述多幅眼底图像包括四幅图像,所述四幅图像中的每幅图像是使用来自所述多个照射光束投射器中的对应的一个照射光束投射器的照射而生成的。
在一些情况下,所述多个眼底图像可以包括八幅图像,所述八幅图像中的每幅图像是使用来自所述多个照射光束投射器中的对应的一个照射光束投射器的照射而生成的。
所述方法还可以包括被包括在所述计算处理器中的去雾算法,以进一步从所述剪辑图像中去除反射和散射光雾。
本发明的又一方面涉及一种计算机可读存储介质,其包括针对宽视野眼底相机的去雾算法的指令,所述指令包括用于对来自宽视野眼底相机的图像进行去雾的处理器可访问指令,所述指令当被运行时执行以下动作,所述动作包括:计算由所述照射光束投射器产生的来自所述宽视野眼底相机的浦肯野反射的位置;使用来自所述宽视野眼底相机的所述图像内的所述浦肯野反射的位置,计算与由所述宽视野眼底相机成像的眼睛的中心轴的宽视野眼底相机对准;使用参考眼角膜以及针对处于与参考模型眼睛的所述中心轴的所述相机对准的所述照射光束投射器的透镜反射和散射雾模型,来计算针对所述宽视野眼底图像的估计的雾图;使用估计的雾图来计算用于从所述宽视野眼底图像中去除反射和散射雾的数字掩模;通过去除所述宽视野眼底图像中的由所述数字掩模覆盖的部分,根据所述宽视野眼底图像来计算经处理的掩蔽的宽视野眼底图像;利用针对所述宽视野眼底图像的估计的雾图来计算透射图;使用参考视网膜宽视野眼底图像来细化针对所述宽视野眼底图像的透射图;并且使用经细化的透射图根据所述掩蔽的宽视野眼底图像中来恢复视网膜图像,以对掩蔽的宽视野眼底图像进行去雾并且产生经去雾的掩蔽的宽视野视网膜图像。
本发明的又一方面涉及一种计算机可读存储介质,其包括用于宽视野眼底相机的去雾算法的指令,所述指令包括用于对来自宽视野眼底相机的图像去雾的处理器可访问指令,所述指令当被运行时执行以下动作,所述动作包括:使用所述反射和散射雾的空间分布和大小以及参考谱中的至少一项来计算估计的雾图;利用针对所述宽视野眼底图像的估计的雾图来计算透射图;根据参考视网膜宽视野眼底图像利用估计的视网膜透射来细化透射图;并且使用所计算的透射图根据所述宽视野眼底图像来恢复视网膜图像,以对宽视野眼底图像去雾并且产生经去雾的宽视野视网膜图像。
本发明的又一方面涉及一种计算机可读存储介质,其包括用于宽视野眼底相机的自动剪辑算法的指令,所述指令包括处理器可访问指令,所述指令用于将来自宽视野眼底相机的截面图像剪辑成单幅FOV宽视野眼底图像,所述指令当被运行时执行以下动作,所述动作包括:计算由所述照射光束投射器产生的来自所述宽视野眼底相机的浦肯野反射计算的位置;使用来自所述宽视野眼底相机的所述截面图像中的所述浦肯野反射的位置,来计算与由所述宽视野眼底相机成像的眼睛的中心轴的宽视野眼底相机对准;计算每幅所述截面图像中的要被包括在所述剪辑图像中的区域;并且创建通过宽视野眼底相机对准而确定的针对每幅所述截面图像的截面图像数字掩模,以去除散射雾和浦肯野反射;通过去除每幅所述截面图像中的由每个所述截面图像数字掩模覆盖的区域,根据所述宽视野眼底相机截面图像计算掩蔽的截面图像;计算将所述掩蔽的截面图像拼接成单幅图像;并且使用截面图像曝光、宽视野眼底相机对准、截面图像雾度、截面图像焦点、截面图像空间频率以及截面图像清晰度中的一项或多项来计算每幅所述截面图像的重叠区域的混合,以保留所述剪辑图像精细结构细节,同时均衡所述剪辑图像曝光以创建无缝剪辑;通过使用所述宽视野眼底相机对准来计算针对所述剪辑图像的图像投影以使剪辑图像失真最小化;并且计算所述单幅FOV宽视野眼底图像。
在以下附图、详细说明和权利要求中,本发明的这些和其他方面将变得更加明显。
附图说明
图1图示了用于ROP筛查的通用可用相机和相关技术。
图2示出了使用多个照射光束投射器和窄光束投射器实施的宽视野眼底相机的例示性范例。
图3示出了宽视野眼底相机的例示性范例,其中多个照射光束投射器中的一个照射光束投射器被开启以拍摄多幅视网膜图像中的一幅视网膜图像。
图3B示出了使用超宽FOV透镜从图3修改的超宽视野眼底相机的例示性范例。图3中的宽视野FOV透镜已经被包括半月形透镜、接触透镜和物镜的超宽FOV透镜所替代,从而允许对视网膜的大于160度的FOV的可视化。
图4示出了宽视野眼底相机的例示性范例,其中窄光束投射器被开启以促进通过较低透明度的晶状体和反射雾的自动聚焦。
图5示出了宽视野眼底相机的例示性范例,其中多个狭缝光束投射器中的一个狭缝光束投射器被开启以改善通过较低透明度的晶状体和反射雾的图像拍摄。
图6示出了集成多个照射投射器、成像光学器件、消费者图像记录设备以及宽视野眼底相机的接触透镜的手持件的例示性范例。
图7示出了将Olympus Air A01消费者图像记录设备放置在模型眼睛上的示例性手持件,并且由宽视野眼底相机拍摄的所得到的视网膜图像被无线地投射到平板电脑上。
图8示出了平板显示器的例示性范例,其展示了由四个独立的投射器光束形成的视网膜图像的实时实况视图显示,其可以允许用户与眼睛的恰当的对准。另外,示出了用户控制以设置实时照射水平、照片闪光照射水平、独立投射器光束照射控制的模式以及每个投射器光束的独立手动控制。
图9示出了由四个独立的投射器光束中的每个独立的投射器光束形成的单独的视网膜图像的例示性范例。可以使用图像处理方法消除来自每个投射器光束的透镜反射雾,并且将视网膜图像的清晰方面缝合在一起以形成最终的无缝剪辑,其被调节以实现跨最终剪辑图像的均匀曝光。
图10示出了由电子控制器和图像记录设备在四个不同时间点处形成的实况视图显示的例示性范例。在每个时间点处,可以照射单个独立的投射器光束,其中四个独立的投射器光束中的每个投射器光束顺序地照射,如四个面板中所示的。所述显示器将向用户实时地显示为旋转照射光束,其可以允许用户在最终图像采集之前评估每个照射投射器光束与眼睛的对准。
图11示出了被用于捕捉婴儿视网膜的超宽视野FOV的超宽视野眼底相机的一个实施例的照片图像的例示性范例。被定位在所述视轴周围的12、3、6和9点钟处的四个照射光束投射器被开启。浦肯野反射和散射雾是显而易见的。在图11a中,尚未执行雾去除。在图11b中,已经使用实时去雾的一个实施例来部分地去除反射和散射雾,以增强对视网膜细节的可视化。
图12示出了利用超宽视野眼底相机拍摄的婴儿视网膜的两幅连续照片图像的例示性范例,其中图12a使相对于视轴在3和9点钟处定位的照射光束被开启。在图12b中,相对于视轴在12点钟和6点钟处定位的照射光束被开启。浦肯野反射以及反射和散射光雾在图12a和图12b两者中都是明显的,基于相机与眼睛的对准以及哪些照射光束投射器被开启而具有不同的雾图案。
图13示出了根据利用超宽视野眼底相机拍摄的婴儿视网膜的连续照片图像而生成的自动剪辑图的例示性范例。图13a示出了利用根据图12a和图12b的两幅图像的实时去雾和自动剪辑而生成的单个FOV剪辑图的例示性图像。在图13a中,与图12a或图12b相比,已经部分地去除了浦肯野反射以及反射和散射雾以产生单幅FOV剪辑图,其具有视网膜细节的增强的可视化。在图13b中,已经对单个FOV执行额外的去雾算法以去除残余雾以进一步增强超宽FOV视网膜细节的可视化。
图14a示出了需要以谱方式去雾的视网膜图像的例示性范例。
图14b示出了从视网膜图像分离的蓝色通道的例示性范例。其是根据图14a生成的。
图14c示出了用于谱雾掩模创建的从视网膜图像分离的高斯模糊的蓝色通道的示例性示例。其是根据图14b生成的。
图14d示出了根据模糊的蓝色通道图像的最大强度像素生成的偏置图像的例示性范例。其是根据图14c生成的。
图14e示出了经由视网膜图像的蓝色通道谱分析而生成的透射掩模的例示性范例。其是使用图14c和图14d来生成的。
图14f示出了经由谱分析去雾的视网膜图像的例示性范例。其是根据图14a、图14c、图14d和图14e生成的。
图15a示出了经由单光束照射器展示定型照射的视网膜图像的例示性范例。
图15b示出了经由图15a的蓝色通道隔离而产生的定型雾图案的例示性范例。其能够被用作在相同的相机对准和照射条件下对视网膜进行成像所得到的预期雾图案的模型。
图15c示出了被用于检测浦肯野反射的图像阈值处理操作的结果的例示性范例。其是根据图15b生成的。
图16a示出了经由4个光束照射器以最佳相机对准和对称照射而拍摄的视网膜图像的例示性范例。
图16b示出了利用不正确的相机对准而拍摄的视网膜图像的例示性范例,经由倾斜的P4浦肯野反射来展示并且由4个光束照射器来照射。其是从与图16a相同的眼睛拍摄的。
图16c示出了经由高斯差和阈值处理从P1反射中检测和隔离的P4反射的例示性范例。
图17示出了用于经由谱分析对视网膜图像进行去雾的范例流程的流程图。
图18示出了用于执行自动剪辑图像剪辑的范例流程的流程图。
图19示出了通过使用在浦肯野反射位置检测之后计算的相机对准信息来增强视网膜图像谱去雾的范例流程的流程图,以便经由参考光学光散射模型来计算/检索估计的雾和透射掩模。
图20示出了宽视野眼底相机的例示性范例,其具有使用分光器或反光镜被光学地耦合到中心视轴的照射光束投射器。
图21示出了剪辑的例示性范例,其中宽视野眼底相机相对于眼睛处于非中心对准。
图22示出了假定具有与视网膜照射的对称性以及由于宽视野相机与眼睛的中心轴的中心对准的雾的剪辑图的例示性范例。
图23示出了能够被用于动态地生成针对不对称地照射的视网膜图像的剪辑掩模的算法的例示性范例。
具体实施方式
图1示出了被包含在具有手持式成像相机601的滚动推车上的眼底相机。所述推车上的计算机连接到所述手持式成像相机内部的相机传感器。所述推车上的卤素照射经由光缆连接到所述手持件。B所述手持件的接触透镜602在扩张和眼睑窥镜放置C后被定位在新生儿的角膜上,D光纤照射603通过透镜模块604被引导到成像透镜606侧面的手持件605的前方以创建环形照射611。E整个视网膜的代表性区域被分为针对早产儿视网膜病变筛查(ROP)的区域I、II和III。直接环形照射可以覆盖120度的视野,允许黄斑居中的图像到达视网膜的区域II,但是需要在多达9个位置重新定位所述手持件,以将区域III中的整个周边视网膜完全成像到Ora Serrata607。F环形照射可以在一些患者608中产生“甜甜圈”,其中照射在外围和中央下降。G如果视网膜的周边照射不足,则视网膜的一些周边细节,诸如与ROP相关联的分界线(609——白色箭头)可能不太明显。H在成人患者中,环形照射的人类晶状体反射(浦肯野III和IV反射)可能是突出的,这是由于新生儿期610之后人类晶状体的屈光力的变化而发生的。
图2示出了具有多个照射光束投射器30a-30n和窄光束投射器40的宽视野眼底相机100的例示性范例。宽视野眼底相机100主要包括物镜10、图像记录设备20、多个照射光束投射器30a-30n、窄光束投射器40、第一偏振器13以及第二偏振器组31a-31n。宽视野眼底相机100还包括接触透镜12、聚焦透镜17、电子控制器50以及图像显示器60。
物镜10可以是非球面透镜并且位于宽视野眼底相机100的第一端处。物镜10限定对称视轴11以及宽视野眼底相机100的工作平面6。通过照射孔8出射的多条照射光束32a-32n在工作平面6处预聚焦。当对象眼睛1与宽视野眼底相机100对准以进行眼底观察时,对象瞳孔3将要在工作平面6处定位,并且照射光束32a-32n被投射到对象瞳孔3中以照射对象视网膜2从而进行对准和拍摄。在恰当对准时,物镜10在其后聚焦平面5附近产生第一视网膜图像,并且然后将第一视网膜图像重新成像到图像记录设备20中。照射孔8位于后聚焦平面5处,以便限定对象视网膜2上的照射区域。
在恰当对准时,物镜10还向光学光阑14的平面上形成对象瞳孔3的图像,因此在对象瞳孔3上限定了小的虚拟观察窗口,以供相机20仔细查看视网膜2。因此,照射光束32a-32n分别被聚焦在对象瞳孔3处,并且焦斑被预先定位在虚拟观察窗口的外部。因此,在该虚拟观察窗外部散射的照射光束32a-32n的任何散射光将基本上被阻挡进入图像记录设备20。
在例示性范例中,宽视野眼底相机100可以在对象视网膜2上提供120度或更宽的静态视野。在该例示性范例中,物镜10具有大约120D的光学功率和大约18mm的直径。因此,物镜10具有相对于对象角膜7的小于8mm的后焦距以及大约4毫米的小工作距离。物镜10可以是非球面透镜,使得具有相对轻重量并且产生在对象视网膜2上的最佳图像质量。
接触透镜12可以位于非球面物镜10的前方并且与对象角膜7直接接触。接触透镜12可以具有或者可以不具有光学能力。图2示出了接触透镜12如何与非球面物镜10相结合以产生视网膜2的第一视网膜图像。在例示性范例中,所述接触透镜具有约10mm的直径以适配婴儿的小眼球1。
市售的非球面透镜用于视网膜观察,具有间接检眼镜或裂隙灯显微镜。例如,能够在Ocular ORMR-2x(Ocular Instruments,贝尔维尤,华盛顿,美利坚合众国)中找到与接触透镜集成的非球面透镜。
图像记录设备20位于宽视野眼底相机100的第二端处,并且通过物镜10观察并且拍摄眼底图像。同样地,该图像记录设备20是能够执行自动聚焦和自动曝光控制的例示性范例。在例示性范例中的图像记录设备20可以包括消费者图像记录设备,所述消费者图像记录设备包括自动聚焦、自动曝光、实时显示和图像存储和传送的高级特征,并且其是紧凑、轻便并且易于使用的。图像记录设备20可以具有内置功能,以容易地将其记录的图像传送到本地计算机或者用于互联网连接和远程医疗网络的另一处理器。作为例示性范例的图像记录设备20可以具有超过两百万像素的分辨率并且具有8mm或更大的入射瞳孔以接收通过光学光阑14的所有光。图像记录设备20可以具有定制设置的特征并且能够保存工作参数以方便操作。图像记录设备20可以具有单独的显示器60以易于观看,从而提供期望的视角、显示尺寸和显示距离。
在例示性范例中的图像记录设备20是智能透镜类型的消费者相机,诸如SonyQX100(Sony公司,日本)。在该例示性范例中,图像记录设备20经由Wi-Fi被耦合到显示器60,并且显示器60可以是诸如iPhone或iPad的无线设备。同样地,该图像记录设备20可以具有高灵敏度和高分辨率操作。
多个照射光束投射器30a-30n可以包括两个或更多个照射光束投射器30a-30n。投射器30a-30n中的每个投射器以一定角度朝向物镜10投射照射光束32a-32n。在例示性范例中,每个照射光束32a-32n具有小聚散度并且具有覆盖照射孔8的光束尺寸。这样,每个照射光束32a-32n将模仿间接检眼镜的照射并且照射对象视网膜2上的图像的一部分。在例示性范例中,多个照射光束投射器30a-30n产生四条照射光束32a-32n,其中每条照射光束都照射对象视网膜2上的视野的象限。
宽视野眼底相机100可以在散瞳状态下操作,并且白光照射能够被用于对准和拍摄对象视网膜2。在例示性范例中,多个照射光束投射器30a-30n中的每个照射光束投射器包括高亮度、高功率白光LED以及投影透镜以产生白光照射光束32a-32n。白光LED可以包括暖白光源,其色温约为3000开氏度。为了辐射安全,每条照射光束32a-32n限于投射数毫瓦的照射功率。
当期望另一种照射条件时,照射光束投射器30a-30n能够包括一个或多个高功率、高亮度红外LED。此外,照射光束投射器30a-30n能够包括能够投射有限谱范围(诸如红色、绿色或蓝色光)的照射的一个或多个高功率、高亮度LED。
可以设定照射光束32a-32n的投射角度,以便使角膜和晶状体反射移动远离中心观察区域。另一方面,照射光束32a-32n的投射角度被限制为宽视野眼底相机100意图使用的最小瞳孔尺寸。为了筛查ROP,最小瞳孔尺寸被设定为约5mm,并且照射光束32a-32n的投射角被设定为约10度至15度。
窄光束投射器40用于投射窄照射光束42并且在视网膜2上形成明亮的照射特征,以便于图像记录设备20的自动聚焦。通常,消费者图像记录设备20需要相对高的照射水平以及相对高的对比度目标特征,以获得可靠并且有效的自动对焦。图示了在视网膜2的中心上或附近的明亮并且窄的狭缝光束照射。在一个图示的范例中,狭缝光束的尺寸在视网膜2上长约3mm并且宽1mm。
窄照射光束42相对于视轴11以一定角度投射。在例示性范例中,窄缝光束42被聚焦在虚拟图像窗口外部并且与整个晶状体4的图像光束路径没有重叠。
第一偏振器13和第二偏振器组31a-31n可以形成交叉偏振条件,以阻止照射光束32a-32n的镜面反射回到图像记录设备20中。针对第一偏振器13的预定取向,每个第二偏振器31a-31n可以被旋转地调节以形成交叉偏振的精确条件。物镜10和接触透镜12的表面处的镜面反射特别强,并且有必要移除。来自第一角膜表面(即,第一浦肯野反射)、晶状体的第一表面(即,第三浦肯野反射)和晶状体的第二表面(即,第四浦肯野反射)的镜面反射能够是图像雾的主要来源。反射雾降低需要高消光比的交叉偏振。偏振器31a-31n和13可以是选择性薄膜偏振器,并且在整个可见光和红外光谱中具有300或更高的消光比。
接触透镜12可以用作宽视野眼底相机100的光学窗口以与对象角膜7接合。接触透镜12被图示为在其凸表面上具有抗反射涂层。由于照射光束32a-32n和窄照射光束42在接触透镜12上小并且明亮,因此需要努力使来自其与空气接合的凸表面的镜面反射最小化并且将其去除。
在一个例示性范例中,聚焦透镜17是焦距为约60mm至80mm的消色差透镜,并且位于远离物镜10的后聚焦平面5的一个焦距处。在一个例示性范例中,准直透镜17用于将由物镜10形成的第一视网膜图像重新成像为距离,并且因此图像记录设备20被操作用于在远距离处聚焦。这样,能够连续地调节相机20的焦距以匹配期望的视野,并且因此,所选择的视网膜图像区域能够填充相机显示器60。结果,相机以及其显示器的像素分辨率能够被优化。聚焦透镜17和物镜10可以形成光学无焦中继,以将来自对象瞳孔3的出射光束中继到图像记录设备20。所述光学无焦中继具有缩放因子m,其等于聚焦透镜17与物镜10之间的焦距。在例示性范例中,聚焦透镜17具有60mm的焦距比,并且所述光学无焦中继具有约7.5的缩放因子m。
光学光阑14可以位于图像记录设备20的前方,并且经由物镜10与宽视野眼底相机100的工作平面6共轭。光学光阑14具有与在对象瞳孔3上的预定虚拟观察窗口相对应的孔径。例如,针对7.5的缩放因子以及对象瞳孔3上1.3mm的虚拟观察窗,光学光阑14因此是10mm。在操作中,对象瞳孔3与工作平面6对准,并且光学光阑14阻挡从对象瞳孔3上的虚拟观察窗口外部散射的任何光。光学光阑14的孔径也可以被限于图像记录设备20的有效孔径。
电子控制器50与图像记录设备20相耦合并且为照射投射器30a-30n和窄光束投射器40供电。在例示性范例中,电子控制器50在对准期间以低功率水平对照射投射器30a-30n供电,并且然后,将其升高到高功率水平以拍摄对象视网膜2。能够以可编程的方式来控制每个照射投射器30a-30n的功率水平。这样,照射投射器30a-30n能够与图像记录设备20同步,以获取具有各种开关配置和时间序列的多幅视网膜图像。
显示器60可以与图像记录设备20相耦合并且显示图像记录设备20的实时图像。在例示性范例中,显示器60是高清晰度监视器并且被无线地耦合到图像记录设备20。例如,图像记录设备20可以是Sony QX100(Sony公司,日本)并且显示器可以是iPad(Apple,库比蒂诺,加利福尼亚,美利坚合众国),并且两个设备之间的数据传输可以通过内置到设备中的Wi-Fi。
由图像记录设备20捕捉的图像可以被存储在相机20中,在显示器60处被监视,并且被传送到本地计算机或其他联网的计算机。因此,可以通过网络来查看由图像记录设备20捕捉的图像,并且视网膜疾病能够由视网膜专业人员在本地或远程位置诊断。
数字控制器50可以被用于独立地控制每个照射光束投射器30a-30n。在例示性范例中,存在由数字控制器控制的四个独立LED光束投射器。所述控制器可以通过其USB端口被连接到平板电脑,并且可以在平板显示器上提供到图像记录设备20和数字控制器50的用户接口。
在图8中,例示性范例展示了用户能够如何控制四个独立光束投射器30a-30n中的每个光束投射器并且经由照射图案选择器804来开启或关闭每个光束投射器。独立光束投射器30a-30n也可以是可串行编程的,并且用户能够经由照射模式选择器805来控制图案、计时和光束照射强度。可以针对视网膜的实时实况视图成像以及经由照射水平调节器806的闪光摄影来控制针对每个独立光束投射器30a-30n的功率水平。针对闪光摄影,可以将照射光束投射器30a-30n临时调节到比在实况视图成像模式中更高的强度,以达到最终照片采集或自动聚焦的目的。每个独立光束投射器30a-30n的快速顺序连续照射控制可以允许由每个独立光束投射器提供的视网膜视图在视网膜800、801、802、803的单独实况视图图像中同时地显示。例如,四个独立照射光束投射器30a-30n中的一个独立照射光束投射器能够被单独地开启,并且由四个独立光束中的每个光束得到的视网膜图像然后在相同显示器800、801、802、803上的四个单独面板中示出。在例示性范例中,每个独立光束投射器30a-30n可以被开启小于100ms,一次一个地串联地开启每个光束投射器30a-30n,允许在不到400毫秒的时间内采集由四个独立光束投射器中的每个光束投射器提供的视图。该计时可以防止实况视图中的滞后并且允许用户将相机与眼睛对准以优化由每个独立光束投射器30a-30n提供的照射。
在图10中的单独图示的范例中,可以提供视网膜的单幅实况视图图像,并且每个独立光束投射器30a-30n能够被开启并且然后关闭一段离散的时间。所述光束投射器开启顺时针旋转或者以另一种编程方式旋转,一次一个或多个投射器光束,以允许用户看到每个光束投射器提供的照射,用于在最终视网膜图像采集之前评估相机与眼睛的对准。例如,四个独立光束投射器30a-30n中的一个光束投射器1000可以被开启250ms并且然后被关闭。然后,下一个独立光束投射器1001被开启250毫秒并且然后被关闭。然后,将下一个独立光束投射器1002被开启250毫秒,并且然后被关闭。然后,将下一个独立光束投射器1003被开启持续250毫秒。可以重复该光束照射控制序列,直到采集了最终的视网膜图像。图10中所示的四个面板1000、1001、1002、1003提供了在四个不同时间点处看到的范例显示,并且将对于用户而言看上去为实时的旋转光束。由于照射光束在物镜10和人透镜4中的散射,每个独立光束投射器30a-30n可以重建视网膜1000、1001、1002、1003的取景的清晰象限以及透镜雾和反射区域1004、1005、1006、1007。
可以使用一种方法来处理由每条独立投射器光束30a-30n提供的多个视网膜图像并且将其缝合成单幅眼底图像。该方法的例示性范例是被耦合到存储器电路的处理器电路,所述存储器电路包括使所述处理器电路接收对应于多幅视网膜图像的成像信息并且提供合成图像的指令,包括将多幅视网膜图像一起缝合成单幅剪辑图像。请参考图9。在例示性范例中,针对四个独立光束投射器30a-30n采集多幅视网膜图像,一次一个地依次地被开启,其中,单独采集的视网膜图像示为900、901、902和903。来自人眼晶体的镜面反射的图像雾在每幅图像中是明显的,并且由906、907、908和909来指示。使用所述方法的没有人眼晶体雾900、901、902、903的每幅图像的部分能够被缝合在一起以形成最终剪辑图像905。可以在形成最终剪辑图的单独图像上执行混合以消除接缝并且甚至使跨最终剪辑图的曝光均衡。对于例示性范例,通过其对比度水平和独立照射投影光束所基于的特征位置两者以及投影光束与眼睛具有的角度,被用于处理所述多个视网膜图像的方法还可以识别人眼晶体雾(906、907、908、909)。在执行最终剪辑之前,可以通过所述图像处理方法来掩蔽该雾。
图3示出了宽视野眼底相机200的例示性范例,其具有被开启的照射光束投射器230n,以用于拍摄多幅视网膜图像中的一幅。照射光束投射器230n将照射光束232n以相对于视轴11的角度投射到物镜10上,模仿间接检眼镜的照射配置。然后,照射光束232n被聚焦在工作平面6上并且被引导到对象瞳孔3中。该照射光束232n穿过对象瞳孔3并且转变成照射光束233n以照射对象视网膜2。
因为照射光束232n以一定角度被投射并且由孔8和9成形,所以照射光束232n因此能够被聚焦到对象瞳孔3中并且远离瞳孔中心。在所图示的条件下,照射光束路径不与晶状体4内部的图像光束路径重叠,并且从晶状体4散射的散射光不被图像记录设备20捕捉。以这种方式,可以显著减少由较低透明度的晶状体内部的照射光束的透镜散射而导致的图像雾。
同样地,因为照射光束232n以一定角度被投射并且由孔8和9成形,所以照射光束233n在对象视网膜2上是不对称的。可以经由这样的照射配置来照射超过视野的象限。在该照射条件下,由图像记录设备20捕捉的图像可以仅示出一部分而并不示出被照射的全视野。因此,可能需要多幅图像来捕捉对象视网膜2以具有完整视野。在例示性范例中,使用四个照射光束投射器230,并且可以按时间顺序捕捉四幅视网膜图像,以提供对象视网膜2的120度视野。
图3B示出了从图3修改的超宽视野眼底相机200B的例示性范例。在接触透镜12与物镜10之间插入半月形透镜12',以形成包括接触透镜12、半月形透镜12'和物镜10的超宽视野物镜。优选地,接触透镜12是利用低屈光度的塑料接触元件形成的,并且半月形透镜12'是具有高得多的屈光度的玻璃透镜。物镜10能够是非球面透镜,并且能够在前表面和后表面两者上都是非球面的,以校正针对超宽视野的光学像差。
在照射光束的优选对称配置中,4个或8个照射光束投射器230被用于提供相对于仪器轴11的轴对称照射。在优选操作流程中,当仪器轴11与眼睛光轴对准时,能够使用两个或四个照射光束232a-232n以在视网膜上产生中心对称照射光束233a-233n。一旦实现了这样的轴上对准,来自接触透镜表面和眼表面的反射斑点以及来自角膜7和晶状体4的散射雾对称地分布在视网膜图像上(例如,照片图像1100a)。因此,反射斑点和散射雾能够被用于引导眼底相机200B的居中和轴对准朝向相对于图像中心的对称分布。
图4示出了宽视野眼底相机300的例示性范例,使窄光束投射器340开启以便于通过较低透明度的晶状体4和反射雾进行自动聚焦。窄光束投射器340用于投射窄照射光束342并且在对象视网膜2上形成明亮的照射特征。消费者图像记录设备20可能需要相对高的照射水平和相对高的对比度目标特征以获得可靠的并且有效的自动聚焦。具体地,在对象视网膜2的中心上或附近的明亮并且窄的狭缝光束照射可以有利于这样的自动聚焦。在一个图示的范例中,狭缝光束的尺寸在对象视网膜2上长约3mm并且宽1mm。
窄缝光束342能够相对于视轴11以一定角度投射。在例示性范例中,窄缝光束342被聚焦在虚拟图像窗口外部,并且与整个晶状体4上的图像光束路径没有重叠。这样,通过来自晶状体4的散射光,图像记录设备20上的狭缝光束图像不会被模糊,并且因此,窄缝光束342用于促进通过较低透明度晶状体4的自动聚焦。
图5示出了宽视野眼底相机400的一个例示性范例,其具有一个狭缝光束投射器430n,其被开启以改善通过较低透明度的晶状体4和反射雾的图像拍摄。狭缝光束投射器430n朝向物镜10投射狭缝光束432n,其中,狭缝光束432n在照射的入射平面中具有窄尺寸,并且具有垂直于入射平面的全尺寸。如在图5中所示的,这样的狭缝光束432n转变成在对象视网膜2上的狭缝照射光束433n。同样地,这样的狭缝光束432n被限制远离视轴11,并且因此可以与晶状体4内部的图像光束路径具有更好的空隙。因此,能够避免在晶状体4内部的照射光束路径与图像光束路径之间的重叠区域,并且因此,可以显著改善由于在较低透明度的晶状体4内部的光散射而引起的图像雾。
在例示性范例中,图5的狭缝光束432n可以提供在窄尺寸上大约60度和在长度尺寸上、即在垂直于页面的入射平面的尺寸上120度的视网膜狭缝图像。在一个例示性范例中,如果以彼此分开60度的旋转角度拍摄这样的视网膜狭缝图像,则这样的视网膜狭缝图像中的三幅视网膜狭缝图像可以覆盖对象视网膜2的完整图像。在例示性范例中,三个狭缝光束投射器430a-430n围绕对称视轴11彼此成120度定位,并且每个狭缝光束投射器投影狭缝光束432n,其窄尺寸被定向在其自身的入射平面中。在这种情况下,可以拍摄三幅视网膜图像以形成对象视网膜2的完整全视野。类似地,在另一例示性范例中,如果狭缝光束窄尺寸是大约40度,则可以使用五个狭缝光束投射器430a-430n,并且可以拍摄五幅狭缝光束图像以利用物镜10覆盖对象视网膜2的整个视野。
图6示出了手持件500的例示性范例,该手持件500集成了用于多个照射投射器的中央壳体570、用于物镜的前壳体571、图像记录设备520以及所述宽视野眼底相机的接触透镜512。在该图示的范例中,图像记录设备520是Sony QX100,并且其经由机械耦合器560被固定到中央壳体570。接触透镜512可以被安装在接触透镜支架572上,接触透镜支架572被附接到前壳体571。这样,接触透镜512可以与支架572一起被移除,以便于消毒。
在一个例示性范例中,手持件500可以具有细长形状,其直径为约60mm并且长度为200mm。在另一例示性范例中,为了筛查ROP,手持件500的前端的直径约为10mm。
图7示出了手持件500的例示性范例,该手持件500集成了用于多个照射投射器的中央壳体570、用于物镜的前壳体571、图像记录设备520以及所述宽视野眼底相机的接触透镜512。在该图示的范例中,图像记录设备520是Olympus Air A01(Olympus公司,日本),并且其经由机械耦合器560被固定到中央壳体570。在一个例示性范例中,来自图像记录设备520的图像可以通过Wi-Fi发送到平板显示器,在该例示的范例中是三星Galaxy Note 501。
图8示出了用于电子控制器的一个图示的范例的平板显示器。在该范例中,四个独立的照射光束投射器由电子控制器来控制。所述电子控制器可以连续地一次一个地开启每个照射光束投射器,并且图像记录设备520可以利用每个照射光束来捕捉图像。801示出了第一照射投射器光束被开启而所有其他光束被关闭,802示出了第二照射投射器光束被开启而所有其他光束被关闭,803示出了第三照射投射器光束被开启而所有其他光束被关闭,800示出了第四照射投射器光束被开启而所有其他光束被关闭。例如,开启和关闭所述四个独立光束中的每个光束的总时间可以小于400毫秒,每条光束100毫秒。所述过程可以允许实时显示由每条独立光束形成的视网膜图像将看起来如何评估每个独立光束投射器与眼睛的对准。每个独立光束投射器的连续照射控制的模式可以由用户控制,并且可以通过选择四种可能模式804中的一种模式来编程。每个独立光束投射器可以通过单独的用户控件805来手动地和独立地开启和关闭。当由图像记录设备806来捕捉最终照片时,针对每条独立照明投影光束的功率水平可以由用户针对实时实况检查和闪光摄影水平来控制。
图9示出了由独立照射投射器光束拍摄的多幅图像的图像拼接方法的一个可能的图示范例。在该范例中,拍摄四幅视网膜图像,每幅视网膜图像使四个独立光束投射器中的一个光束投射器被开启。901示出了第一照射投射器光束被开启而所有其他光束被关闭,902示出了第二照射投射器光束被开启而所有其他光束被关闭,903示出了第三照射投射器光束被开启而所有其他光束被关闭,900示出了第四照射投射器光束被开启而所有其他光束关闭。每个独立光束投射器可以从眼睛4的人眼晶体和物镜10创建镜面白色反射和雾906、907、908、909,但是也照射视网膜的象限而没有透镜雾900、901、902、903。所述图像处理方法可以去除每幅照射投射器光束图像中的存在来自人眼晶体906、907、908、909的透镜雾的区域,并且接连每幅照射投射器光束图像的部分而没有透镜雾900、901、902、903。可以对缝合的图片执行混合以无缝地混合每幅照射投射器光束图像的曝光水平的差异。最终剪辑图905可以从剪辑图像中消除透镜雾906、907、908、909。所述图像处理方法可以包括被耦合到存储器电路的处理器电路,所述存储器电路包括使所述处理器电路接收与多幅视网膜图像相对应的成像信息并且提供包括将所述多幅视网膜图像缝合在一起形成单幅剪辑图像的合成图像的指令。其还可以包括被耦合到存储器电路的处理器电路,所述存储器电路包括使所述处理器电路接收与多幅视网膜图像相对应的成像信息并且从所述多幅视网膜图像中的每幅视网膜图像中去除人工反射斑点和透镜雾的指令。
图11示出了利用使用根据图3B的超宽FOV透镜的宽视野眼底相机拍摄的婴儿眼睛1100a的超宽FOV图像的例示性范例。图11a示出了围绕中心视轴11定位在12、3、6和9点钟处的四个照射光束投射器230n、230a,其照射视网膜2以提供视网膜1100a的超宽FOV图像。使用实时去雾算法的例示性范例来处理视网膜1100a的超宽FOV图像,以生成视网膜1100b的去雾超宽FOV图像。使用四条照射光束230n、230a,并且四个反射斑点簇1102-1105相对于视网膜图像1101a的中心是对称的。反射雾图案也相对于视网膜图像1101a的中心是基本上对称的。每个反射斑点簇可以包括来自接触透镜12、角膜7(浦肯野I和II)和晶状体4(浦肯野III和IV)的两个或更多个反射斑点1102a以及来自角膜组织和透镜1106a的散射雾点。在照片图像1100a中所示的对准中,四个反射斑点簇1102-1105位于12、3、6和9点钟位置处,因为所述四个照射光束投射器相对于宽视野眼底相机200B的仪器轴11被定向在x和y位置处。在对准过程期间,这些反射斑点的位置和移动能够被用作指示器以引导仪器对准从而获得图3B中的宽视野眼底相机与眼睛11的中心轴的对准。
图11b示出了在使用实时去雾的例示性范例进一步处理所述照片图像1100a以生成去雾图像1100b之后的如在1100a中所示的相同照片图像1100b。与照片图像1100a相比,照片图像1100b展示了更多的视网膜细节,以使得能够更好地判断宽视野眼底相机200B与宽视野眼底相机传感器20上的视网膜2的焦点的对准。
实时去雾是在与图3B的眼底相机200B相关联的处理器电路中实施的计算机功能,从而以实时的方式来减少图像雾,在一个例示性范例中,在小于200毫秒内生成去雾图像。所述处理器电路能够是高速计算处理器,例如,高速笔记本电脑。所述计算处理器与相机耦合以实现实时图像处理和显示。在一个例示性范例中可以通过以下操作来实现实时去雾:使用所述反射和散射雾的空间分布和大小以及参考谱中的至少一项来计算估计的雾图,利用针对所述宽视野眼底图像的估计的雾图来计算透射图,根据参考视网膜宽视野眼底图像,利用估计的视网膜透射来细化透射图以产生去雾的视网膜图像。
在一个例示性范例中,包括超广角眼底相机透镜(10、12'、12)和照射光束投射器230n、230a的设计的元件的选择允许同时可视化浦肯野反射1102a-1105a和视网膜图像(即,视神经1107a)细节。在该例示性范例中,这是通过针对所述照射光束投射器的12度投影角度来实现的,使用160度的视野超宽视野透镜,其具有非球面曲率和视野足以可视化FOV内的所述浦肯野反射,以及具有一定景深的宽视野眼底相机透镜20,足以在所述超宽FOV图像内同时可视化浦肯野反射和视网膜。浦肯野反射1102a-1105a和视网膜图像(即,视神经1107a)细节能够被用于引导所述宽视野眼底相机200B与视网膜2的对准。所述宽视野眼底图像的实时去雾能够揭示额外的视网膜细节1106b,增强诸如视神经1107b的视网膜结构的外观,并且增强浦肯野反射1102b-1105b的外观,以促进宽视野眼底相机200B与视网膜2的对准。
图12示出了由婴儿眼睛的超宽视野眼底相机200B捕捉的两幅连续照片图像1200a和1200b的例示性范例。图12a示出了由所述宽视野眼底相机200B使用位于围绕中心视轴11的3点钟和9点钟处的两个照射光束投射器230n捕捉的视网膜图像1200a。图12b示出了由所述宽视野眼底相机200B使用位于围绕中心视轴11的12点钟和6点钟处的两个照射光束投射器230n捕捉的视网膜图像1200b。
在照片图像1200a中,反射斑点簇1203a和1205a与视网膜图像1201a水平对齐到中心,并且反射雾图案与图像中心基本上对称。在照片图像1200b中,反射斑点簇1202b和1204b与视网膜图像1201b垂直地对齐到中心,并且反射雾图案与图像中心基本上对称。
对称雾图案1206a和对称反射斑点簇1203a、1205a、1202b、1204b以及视网膜细节(诸如视野中的视神经1207a)的位置为宽视野眼底相机200B与视网膜2的对准提供视觉判断。能够使用这些反射斑点簇1203a、1205a、1202b、1204b的位置以及视网膜细节(诸如宽视野视网膜图像1200a、1200b中的视神经1207a)的位置来计算通过x、y和z轴上的对准误差测量的相机相对于眼睛的中心视轴的未对准以及倾斜度。利用宽视野眼底相200B与眼睛的中心轴的正确对准,标准化对称雾图案1200a和对称反射斑点簇1203a、1205a、1202b、1204b的存在使得能够使用标准化数字掩模来有效地去除图像雾。
顺序照片图像1200a和1200b是利用图2的电子控制器50拍摄的。顺序照片图像1200a和1200b在一个例示性范例中优选在几分之一秒内拍摄的以避免眼睛移动。在另一优选实施例中,顺序照片图像被视为四幅或更多幅截面图像,每幅截面图像具有由照射光束投射器230n生成以照射视网膜的一对轴对称(例如,1203a、1205a)照射光束。在另一优选实施例中,利用照射光束投射器230n拍摄顺序照片图像,其中,所述照射光束是狭缝光束。
图13a示出了利用来自图12的两幅截面视网膜图像1200a和1200b的实时去雾和自动剪辑而生成的例示性自动剪辑图像1300a,并且图13b示出了与自动剪辑图像1301a相比具有进一步图像增强的最终剪辑图像1301b。结果,使用宽视野相机200B上的超宽视野透镜(例如,接触透镜12、插入的半月形透镜12'和图3B的非球面透镜10的组合)能获得具有全超宽FOV的单幅剪辑图1301b。
为了获得自动剪辑图像1301a,对截面视网膜图像1200a和1200b执行实时去雾,包括:生成估计的雾图,对所述截面视网膜图像中的定型雾和浦肯野反射的数字掩蔽,通过使用参考无雾宽视野视网膜图像细化透射图并且使用所述透射图对所掩蔽的截面图像进行去雾从所述掩蔽的截面图像去除额外的雾。然后,使用自动剪辑算法通过使用自动生成的控制点对准截面图像,并且然后混合所述去雾的掩蔽截面图像的重叠区域,来对去雾的掩蔽截面图像进行剪辑。这产生无缝的全FOV剪辑图像1300a,与分量截面图像1200a和1200b相比,其具有降低的雾以及对浦肯野反射的去除。
为了获得最终剪辑图1301b,在初始剪辑图1301a上执行进一步的去雾以去除残余雾并且增强视网膜图像对比度。在优选实施例中,用于去雾算法的指令是计算处理器可访问的并且所述指令当被执行时进一步从剪辑图像1301a中去除残余雾并且创建无雾剪辑图像1301b。
即时自动剪辑和无雾图像是图3B的超宽视野眼底相机200B的高度期望的特征。已经表明,具有水平光斑1200a和垂直光斑1200b的连续照片图像能够在几分之一秒内拍摄,以避免眼睛移动并且简化用于即时自动剪辑的自动剪辑过程(例如,在不到400毫秒内)。还已经表明,去雾算法能够进一步去除来自剪辑图1301a的残余雾并且数字地和自动地创建无雾的全FOV剪辑图像1301b。
因此,在单个对准位置处拍摄1301b这样的超宽FOV图像。因此,能够经由使用所述浦肯野反射1203a、1201a、1202b、1204b的标准化对准流程和所述视网膜结构(诸如视神经1107a)的可视化以及基于宽视野眼底相机与眼睛的中心轴对准的简化的自动剪辑算法来获得这样的单个对准剪辑。结果,能够在一次连续图像采集内获取这样单个对准180度超宽视野剪辑图,以便显著减少对视网膜边缘到边缘进行完全成像所需的图像采集的数量。
图14a示出了在利用去雾算法处理之前的截面视网膜图像的例示性范例。在优选实施例中,根据在针对图17的流程图中描述的去雾算法来处理14a的图像,使用由照射光束投射器产生的雾的谱特征来生成估计的雾图。在去雾算法的优选实施例的范例过程中,蓝色通道(图14a)被用作估计的雾掩模,其通过来自主要由红光和绿光组成的视网膜的谱反射而成为可能。在从蓝色通道(图14c)生成的雾掩模上使用模糊处理以去除可能包含视网膜细节的高频信息(使得细节不会被去雾算法中的以下步骤进一步掩蔽)。选择模糊的蓝色通道中最亮的像素并且将其用于通过创建灰度RGB掩模来创建偏置掩模(图14d),其中所有通道值等于模糊的蓝色通道中的最亮值(图14c)。将所述模糊的蓝色通道除以该偏差使雾图标准化。然后,按比例缩小和反转该图,以便产生透射掩模(图14e),其中,每个像素值与原始输入图像中的对应像素的信噪比成比例。为了将该透射掩模应用于源图像,首先从输入图像中减去偏置掩模,并且然后将该差除以透射掩模。最后,将偏置掩模再次被加回该商值,将所得到的图像中的任何负值替换为其绝对值,并且然后,对图像进行钳位,使得所有颜色都不比纯黑更暗或者比纯白更亮。所得到的去雾图像图14f通过从图14a的原始宽视野视网膜图像中去除反射和散射雾来改善视网膜细节的清晰度。
创建偏置掩模背后的基本原理源于假设图像中的雾是由漫射的环境白光源产生的。如果采用蓝色通道来估计雾掩模,那么能够将蓝色通道中最亮值视为生成雾的环境光源的亮度的估计。此外,如果像素位置具有低透射值(接近零),那么输入图像的对应像素中的任何通道值在其值接近偏置值的情况下将变得衰减,并且不接近偏置的任何通道值都将被显著放大(作为减去偏差并且然后除以透射值的结果)。这导致可能较少强调环境光的反射的信道值,并且更加强调可能承载信息的信道值。
图15a示出了截面视网膜图像的例示性范例,其展示了由单个光束照射器得到的定型照射,其中相机处于近中心对准。1500a标志视网膜曝光良好的区域,1501a标志漫射性雾笼罩的斑点,1502a位于P1浦肯野反射的中间,并且1503a位于边缘,其将视网膜的曝光良好的部分与漫射雾笼罩的区域隔开。知道照射哪个照射光束投射器允许通过简单参考在图15a中所示的针对给定宽视野透镜和给定宽视野FOV的定型雾图案来估计视网膜上的所得到的雾图案。另外,在另一例示性范例中,该图案的特征还能够由截面视网膜图像的蓝色通道分量来表征,如在图15b中所示的。
图15c展示了使用对图15a中的图像的阈值处理来自动地识别浦肯野P1反射1502c的例示性范例。在备选实施例中,所述浦肯野反射能够通过宽视野FOV图像中的形状和谱频率来识别。浦肯野反射将在宽视野FOV内移动,取决于相机与中心视轴的对准。对所述浦肯野反射的自动检测允许计算宽视野眼底相机与眼睛对准的中心。所述宽视野眼底相机与眼睛对准的知识能够通知去雾和自动剪辑算法以增强从宽视野视网膜图像中去除反射和散射雾,并且执行对具有改善的视网膜细节清晰度的截面图像的自动剪辑。
图16a示出了在与4个光束照射器的中心对准处拍摄的宽视野FOV视网膜图像的例示性范例。1600a标志视神经,1601a标志最顶层的浦肯野P1反射,而1602a标志最顶层的浦肯野P4反射。
图16b示出了在与4个光束照射器的偏斜对准处拍摄的宽视野FOV视网膜图像的例示性范例。其示出了与图16a中看到的相同的视网膜。在1600b处的神经由于未对准而具有更少的细节,尽管其在宽视野FOV内的位置相对于1600a似乎没有肉眼可见的相当大的改变。在1602b处看到明显的变化,其中,最顶部的浦肯野P4反射1602b已经从最顶部的浦肯野P1反射1601b移动了大的距离。浦肯野P4反射1602b与视网膜具有高对比度并且容易被自动地检测,如在图16c中在1602c处所示的。图16c示出了在1602c处的自动化的浦肯野P4检测的例示性范例。在该例示性范例中,阈值处理被用于消除浦肯野反射之外的所有反射,并且高斯差异被用于进一步将浦肯野P4反射1602b与浦肯野P1反射1601b区分开。能够计算起始于1601b处并且延伸到1602c的矢量,因为在1601b处的P1反射是静态的并且能够针对各种光学配置进行定型。这样的矢量能够被用于计算相机与视网膜的倾斜未对准的幅度和方向。如果通过检测一对以上的浦肯野P1和P4反射而使用多于一个这样的矢量,则能够计算未对准的旋转角度。
计算相机对准使得在各种对准处的定型和模型反射和雾图案成为可能,而不是仅仅针对在图15中所示的中心视图。这产生了增强在图14中所描述的谱去雾过程的机会。蓝色通道雾掩模能够通过由光学模型产生的估计的雾掩模来改善,所述光学模型通过考虑照明器图案并且自动检测的相机对准来操作。
图17示出了谱去雾算法的例示性范例。其如在先前对图14的描述中所描述的那样工作。
图18示出了无缝地剪辑在中心对准中拍摄的一组连续视网膜图像的算法的例示性范例。该流程图表示由1807处的时间条并行发生的多个事件序列。图表中位于同一水平线上的所有事件框(并且因此相同的t值)同时地发生。这仅对于跨t值1、2和3的在剪辑算法之前的图像捕捉序列是关键的。
该过程中的连续截面图像是利用闪光照射光束投射器的设定图案以高速拍摄的。相机对位于图像文件数据中的图像采集参数内部的每幅图像的顺序进行编码。步骤1800从每幅图像读取该数据以确定图像的序列号,该序列号被用于生成基于预期的照射光束投射器闪光图案定型的静态混合掩模(1801)。在1802处,该掩模被用于隔离每幅图像的曝光良好的区域。每幅图像在1803中被谱去雾,并且在1804中经由直方图和亮度分析进行光照校正。1804确保了每个区域在混合在一起之前将具有相同的最终曝光,从而能够在最终图像中容易地识别四个源区域。最后,在1805处,每幅图像在接缝处被混合。最终图像增强发生在1806处,利用通过使整个FOV在单幅图像中而获得的全局统计结果。这产生了最终的静态剪辑图像。
图19示出了使用光学模型和计算的相机对准信息来产生估计的雾和透射掩模的算法的例示性范例,所述估计的雾和透射掩模被用于细化由谱去雾算法(诸如在图14和图17中的一个示例的谱去雾算法)生成的单独的一组雾和透射掩模。在1900处,所述算法接收相机图像,从所述相机图像读取图像采集参数以获知在采集时闪烁的照射光束投射器图案。这被用于选择一组定型的期望的浦肯野P1位置。浦肯野P4反射在1901处通过诸如在1602c中所展示的算法来识别。然后将其位置与定型的浦肯野P1位置进行比较,以便诸如通过在图16的细节中所描述的过程来导出相机位置信息。在已知对准信息和照射器信息的情况下,使用光学模型在1903处计算第一组估计的雾和透射掩模,并且然后,在1904处,对输入图像的谱分析被用于生成第二组雾和透射掩模。存在许多可能的实施例来实施1905以获得备选细化雾掩模。一个可能的实施例是计算两组掩模的逐点最小值。这将低估存在的雾的量,从而对最终图像产生更温和的影响,但是失去视网膜图像细节的可能性最小。备选实施例是对掩模进行平均,使得所得到的雾掩模与其同意的像素处的这两个输入掩模相匹配,并且产生其不同意的像素的中间估计。在1906处,将掩模应用于所述图像以产生最终的去雾图像输出。
图20示出了宽视野眼底相机2000的例示性范例,其具有开启的照射光束投射器2030n,用于拍摄多幅截面视网膜图像中的一幅截面视网膜图像。在优选实施例中的照射光束投射器2030n和2030a使用分光器或反光镜2040被光学地耦合到中心视轴11。在备选实施例中的照射光束投射器2030n和2030a可以被光学地耦合到多个反射镜或分光器,以沿着中心视轴11引导来自所述投射器的光。从照射光束投射器2030n投射的照射光束2032n被聚焦在工作平面6上。然后,照射光束2032n穿过对象瞳孔3并且转变成照射光束2033n以照射对象视网膜2。
照射光束2032能够相对于中心视轴11以一定角度投射。在所图示的范例中,照射光束路径不与整个晶状体4上的图像光束路径重叠。以这种方式,图像记录设备20不捕捉从晶状体4散射的光。因此,可以显著减少来自散射光的图像噪声。
图21示出了剪辑图的例示性范例,其中,宽视野眼底相机相对于眼睛处于非中心对准。使用宽视野眼底相机相对于眼睛的计算的对准,能够调节反射和散射雾以及视网膜照射的不对称性。图21b、图21d和图21f的图像图示了动态掩模可能如何分别表示图21a、图21c和图21e的视网膜图像。黑色区域2101、2103和2105将是要排除的区域,而白色区域2102、2104和2106将是要包括在剪辑图中的区域。结果,能够获得具有利用超宽视野透镜限定的全FOV的单幅剪辑图21g,同时显著降低图像的噪声。
图22示出了由于宽视野相机与眼睛的中心轴的中心对准而具有视网膜照射和雾的假定对称性的剪辑图的例示性范例。因此,静态掩模可以被用于排除对称的视网膜雾,有利于图22a和图22b的截面图像。当被剪辑时,结果可能类似于图22e的最终图像,其具有利用超宽视野透镜定义的全FOV。
图23示出了能够被用于生成动态剪辑掩模的算法的例示性范例,该动态剪辑掩模用于对非对称照射的视网膜图像进行剪辑。其包含在图19中所描述的增强去雾算法的所有步骤,因为从该过程生成的细化的雾和透射图对于确定在输出图像中的各个像素位置处源像素值的位置是有用的。所述动态剪辑算法应用增强的去雾处理步骤,以便针对每个输入图像生成雾掩模。然后,这些掩模被用于对每幅源图像中的每个像素的可见性进行评分。最后,通过在所有源图像中选择具有最高可见性评分的对应像素,输出图像中的每个像素从一幅源图像中的对应像素获得其值。
以上详细描述包括对附图的参考,附图形成详细描述的一部分。附图通过图示的方式示出了可以实施本发明的具体实施例。这些实施例在本文中也被称为“范例”。这些范例可以包括除了所示出或描述的元件之外的元件。然而,本发明人还考虑了仅提供所示出或描述的那些元件的示例。此外,本发明人还考虑使用关于特定范例(或者其一个或多个方面)所示出或描述的那些元件(或者其一个或多个方面)的任何组合或置换的范例,或者关于在本文中所示或所描述的其他范例(或者其一个或多个方面)。如果本文档与通过引用并入的任何文档之间的使用不一致,则以本文档中的用法为准。
在该文件中,术语“一”或“一个”在专利文献中是常见的,包括一个或多于一个,独立于“至少一个”或“一个或多个”的任何其他实例或用法。在本文件中,除非另有说明,否则术语“或”被用于表示非排他性的,或者“A或B”包括“A但不是B”、“B但不是A”以及“A和B”。在本文中,术语“包含(including)”和“其中(in which)”用作相应术语“包括(comprising)”和“其中(wherein)”的普通英语等同物。此外,在以下权利要求中,术语“包含”和“包括”是开放式的,即,包括除了在该术语之后列出的元素之外的元素的系统、设备、物品、组合物、制剂或过程仍然被认为是落在权利要求的范围之内。此外,在以下权利要求中,术语“第一”、“第二”和“第三”等仅用作标记,而并不旨在对其对象施加数字要求。
如本文所定义的,“计算机可读存储介质”被定义为可以保留和存储指令以供指令执行设备使用的有形设备。计算机可读存储介质可以是例如电子存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或前述的任何合适的组合。计算机可读存储介质的更具体范例的非详尽列表包括以下内容:便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器。
这里所描述的方法示例可以至少部分地是机器或计算机实现的。一些示例可以包括编码有指令的计算机可读介质或机器可读介质,所述指令可操作以配置电子设备以执行如以上范例中所描述的方法。这种方法的实现可以包括代码,诸如微代码、汇编语言代码、更高级语言代码等。这样的代码能够包括用于执行各种方法的计算机可读指令。代码可以形成计算机程序产品的一部分。此外,在范例中,代码可以有形地存储在一个或多个易失性、非暂时性或非易失性有形计算机可读介质上,例如在执行期间或在其他时间。这些有形计算机可读介质的范例可以包括但不限于硬盘、可移动磁盘、可移动光盘(例如,压缩盘和数字视频盘)、磁带、存储卡或棒、随机存取存储器(RAM)、只读存储器(ROM)等。
以上描述旨在是说明性的而非限制性的。例如,上述范例(或者其一个或多个方面)可以彼此组合使用。在阅读以上描述后,例如本领域普通技术人员可以使用其他实施例。提供摘要以符合37C.F.R.§1.72(b),允许读者快速确定技术公开的性质。提交时的理解是,其不会被用于解释或限制权利要求的范围或含义。同样地,在以上详细描述中,各种特征可以组合在一起以简化本公开。这不应当被解释为意图无人认领的公开特征对于任何权利要求是必不可少的。相反,发明主题可以在于少于特定公开实施例的所有特征。因此,以下权利要求作为示例或实施例被并入到具体实施方式中,其中,每个权利要求自身作为单独的实施例,并且可以预期这些实施例可以各种组合或置换彼此组合。本发明的范围应当参考所附权利要求以及这些权利要求所赋予的等同物的全部范围来确定。

Claims (37)

1.一种宽视野眼底相机,包括:
物镜,其具有视轴并且被设置为形成视网膜图像;
图像记录设备,其被设置为捕捉所述宽视野的所述视网膜图像;
多个照射光束投射器,其围绕所述视轴定位,并且每个照射光束投射器被配置为以一定角度朝向所述物镜投射照射光束;
交叉偏振机构,其被配置在所述图像记录设备与所述多个照射光束投射器之间,以阻止所述照射光束的镜面反射;
图像显示器,其被操作性耦合到所述图像记录设备,以显示来自所述图像记录设备的所述视网膜图像;
电子控制器,其被操作性耦合到所述多个照射光束投射器,以按照预定顺序向所述多个照射光束投射器中的每个照射光束投射器提供电力,从而提供照射以获得多幅视网膜图像中的每幅视网膜图像;以及
至少一个计算处理器,其被编程为运行实时去雾算法以执行对反射和散射光雾的实时去除;以及
至少一个计算处理器,其被编程为运行自动剪辑算法以产生所述多幅视网膜图像的自动剪辑图,而得到所述宽视野的单幅图像。
2.根据权利要求1所述的宽视野眼底相机,还包括:
计算处理器,其被编程为运行去雾算法以进一步从所述剪辑图像中去除反射和散射光雾。
3.根据权利要求1所述的宽视野眼底相机,其中,所述物镜是具有60度至160度的FOV的宽视野非球面透镜。
4.根据权利要求1所述的宽视野眼底相机,其中,所述物镜是具有160度或更宽的FOV的超宽视野物镜。
5.根据权利要求1所述的宽视野眼底相机,其中,所述多个照射光束投射器被光学地耦合到多个反射镜或分光器,以沿着所述视轴引导来自所述投射器的光。
6.根据权利要求1所述的宽视野眼底相机,其中,所述物镜是超宽视野物镜系统,所述超宽视野物镜系统包括接触透镜、半月形透镜和非球面透镜。
7.根据权利要求1所述的宽视野眼底相机,其中,所述图像记录设备是被配置为提供自动聚焦、自动曝光选择和连续图像捕捉的相机。
8.根据权利要求1所述的宽视野眼底相机,其中,所述实时去雾算法通过所述雾的位置来识别所述视网膜图像中的反射和散射光雾。
9.根据权利要求1所述的宽视野眼底相机,其中,所述实时去雾算法通过所述雾的谱内容来识别所述视网膜图像中的反射和散射光雾。
10.根据权利要求1所述的宽视野眼底相机,其中,所述实时去雾算法识别与眼睛的相机对准,并且确定针对所述相机对准的预期的反射和散射雾图案,以便于识别和去除所述反射和散射雾。
11.根据权利要求1所述的宽视野眼底相机,其中,所述自动剪辑算法识别与眼睛的相机对准,并且将所述多幅视网膜图像相机组合成针对所述相机对准的单幅完整FOV剪辑图。
12.根据权利要求1所述的宽视野眼底相机,其中,所述多个照射光束投射器包括4个投射器,所述4个投射器被定位为在沿着所述视轴定位的在眼睛上的12点钟、3点钟、6点钟和9点钟位置处提供四个反射斑点。
13.根据权利要求1所述的宽视野眼底相机,其中,所述照射光束中的两条照射光束位于沿着所述视轴的12点钟和6点钟位置处,并且所述照射光束中的两条照射光束位于沿着所述视轴的3点钟和9点钟位置处。
14.根据权利要求1所述的宽视野眼底相机,其中,所述多个照射光束投射器包括8个投射器,所述8个投射器被定位为在沿着所述视轴定位的在眼睛上的12点钟、1:30点钟、3点钟、4:30点钟、6点钟、7:30点钟、9点钟和10:30点钟位置处提供八个反射斑点簇。
15.根据权利要求14所述的宽视野眼底相机,其中,所述8个投射器中的4个投射器形成提供红外照射的第一子集,并且所述8个投射器中的4个投射器形成提供白光照射的第二子集,所述第一子集和所述第二子集中的每个子集都是围绕视轴对称设置的。
16.根据权利要求1所述的宽视野眼底相机,其中,所述交叉偏振机构与眼睛的偏振轴对齐,以减少来自所述眼睛的反射和散射光雾。
17.根据权利要求1所述的宽视野眼底相机,其中,所述照射光束投射器被配置为提供同时的视网膜照射和可见的眼睛浦肯野反射,以评估与所述视网膜的相机对准。
18.根据权利要求1所述的宽视野眼底相机,其中,所述实时去雾算法包括用于对来自宽视野眼底相机的图像进行去雾的处理器可访问指令,所述处理器可访问指令当被运行时执行以下动作,所述动作包括:
计算由所述照射光束投射器产生的来自所述宽视野眼底相机的浦肯野反射的位置;
使用来自所述宽视野眼底相机的所述图像内的所述浦肯野反射的位置,来计算与由所述宽视野眼底相机成像的眼睛的中心轴的宽视野眼底相机对准;
使用参考眼角膜以及针对处于与参考模型眼睛的所述中心轴的所述相机对准的所述照射光束投射器的透镜反射和散射雾模型,来计算针对所述宽视野眼底图像的估计的雾图;
使用估计的雾图来计算用于从所述宽视野眼底图像中去除反射和散射雾的数字掩模;
通过去除所述宽视野眼底图像中的由所述数字掩模覆盖的部分,根据所述宽视野眼底图像来计算经处理的掩蔽的宽视野眼底图像;
利用针对所述宽视野眼底图像的估计的雾图来计算透射图;
使用参考视网膜宽视野眼底图像来细化针对所述宽视野眼底图像的透射图;
使用经细化的透射图,根据所述掩蔽的宽视野眼底图像来恢复视网膜图像,从而对所述掩蔽的宽视野眼底图像进行去雾并且产生经去雾的掩蔽的宽视野视网膜图像。
19.根据权利要求1所述的宽视野眼底相机,其中,所述实时去雾算法包括用于对来自宽视野眼底相机的图像进行去雾的处理器可访问指令,所述处理器可访问指令当被运行时执行以下动作,所述动作包括:
使用所述反射和散射雾的空间分布和大小以及参考谱中的至少一项来计算估计的雾图;
利用针对所述宽视野眼底图像的估计的雾图来计算透射图;
根据参考视网膜宽视野眼底图像利用估计的视网膜透射来细化透射图;
使用计算的透射图,根据所述宽视野眼底图像来恢复视网膜图像,从而对所述宽视野眼底图像进行去雾并且产生经去雾的宽视野视网膜图像。
20.根据权利要求1所述的宽视野眼底相机,其中,所述自动剪辑算法包括用于将来自宽视野眼底相机的截面图像剪辑成单幅FOV宽视野眼底图像的处理器可访问指令,所述处理器可访问指令当被运行时执行以下动作,所述动作包括:
计算由所述照射光束投射器产生的来自所述宽视野眼底相机的浦肯野反射的位置;
使用来自所述宽视野眼底相机的所述截面图像内的所述浦肯野反射的位置,来计算与由所述宽视野眼底相机成像的眼睛的中心轴的宽视野眼底相机对准;
计算每幅所述截面图像中的要被包括在所述剪辑图像中的区域,并且创建针对每幅所述截面图像的截面图像数字掩模,以去除通过所述宽视野眼底相机对准而确定的散射雾和浦肯野反射;
通过去除每幅所述截面图像中的由每个所述截面图像数字掩模覆盖的区域,根据所述宽视野眼底相机截面图像来计算掩蔽的截面图像;
使用截面图像曝光、宽视野眼底相机对准、截面图像雾度、截面图像焦点、截面图像空间频率以及截面图像锐度中的一项或多项来计算每幅所述截面图像的重叠区域的混合,以保持所述剪辑图像精细结构细节,同时均衡所述剪辑图像曝光以创建无缝剪辑图;
通过使用所述宽视野眼底相机对准来计算针对所述剪辑图像的图像投影,以使剪辑图像失真最小化。
21.一种宽视野眼底相机,包括:
物镜,其具有视轴并且被设置为形成视网膜图像;
图像记录设备,其被设置为捕捉所述宽视野的所述视网膜图像;
多个八个照射光束投射器,其围绕所述视轴对称地定位,并且每个照射光束投射器被配置为以一定角度朝向所述物镜投射照射光束;
交叉偏振机构,其被配置在所述图像记录设备与所述多个照射光束投射器之间,以阻止所述照射光束的镜面反射;
图像显示器,其被操作性耦合到所述图像记录设备,以显示来自所述图像记录设备的所述视网膜图像;
电子控制器,其被操作性耦合到所述多个八个照射光束投射器,以按照预定顺序向所述多个照射光束投射器中的每个照射光束投射器提供电力,从而所述照射光束投射器中的两个照射光束投射器照射用于每幅连续图像,其中,所述照射光束投射器是围绕所述视轴彼此成180度定位的;以及
至少一个计算处理器,其被编程为运行实时去雾算法以执行对反射和散射光雾的实时去除;
至少一个计算处理器,其被编程为运行自动剪辑算法以产生两幅或四幅连续视网膜图像的自动剪辑图,而得到所述宽视野的单幅图像;
至少一个计算处理器,其被编程为运行去雾算法以进一步从所述自动剪辑图像中去除残余的反射和散射光雾以创建无雾剪辑图像。
22.根据权利要求21所述的宽视野眼底相机,其中,使用所述电子控制器采集两幅连续图像,所述电子控制器对以关于所述视轴对称的方式定位的两个所述照射光束投射器供电,其中,在12点钟和6点钟处的照射光束投射器被供电以用于第一连续图像,并且在3点钟和9点钟处的照射光束投射器被供电以用于第二连续图像。
23.根据权利要求21所述的宽视野眼底相机,其中,使用所述电子控制器采集两幅连续图像,所述电子控制器对以关于所述视轴对称的方式定位的两个所述照射光束投射器供电,其中,在10:30点钟和4:30点钟处的照射光束投射器被供电以用于第一连续图像,并且在1:30点钟和7:30点钟处的照射光束投射器被供电以用于第二连续图像。
24.根据权利要求21所述的宽视野眼底相机,其中,使用所述电子控制器采集四幅连续图像,所述电子控制器对以关于所述视轴对称的方式定位的两个所述照射光束投射器供电,其中,在12点钟和6点钟处的照射光束投射器被供电以用于第一连续图像,在3点钟和9点钟处的照射光束投射器被供电以用于第二连续图像,在10:30点钟和4:30点钟处的照射光束投射器被供电以用于第三连续图像,并且在1:30点钟和7:30点钟处的照射光束投射器被供电以用于第四连续图像。
25.根据权利要求21所述的宽视野眼底相机,其中,所述物镜是具有60度至160度的FOV的宽视野非球面透镜。
26.根据权利要求21所述的宽视野眼底相机,其中,所述物镜是具有160度或更宽的FOV的超宽视野物镜。
27.根据权利要求21所述的宽视野眼底相机,其中,所述物镜是超宽视野物镜系统,所述超宽视野物镜系统包括接触透镜、半月形透镜和非球面透镜。
28.一种操作宽视野眼底相机的方法,包括以下步骤:
提供物镜,所述物镜具有视轴并且被设置为对具有眼底的视网膜进行成像,所述视轴处于与所述视网膜的第一对准;
提供图像记录设备,所述图像记录设备被设置为捕捉所述视网膜图像;
提供多个照射光束投射器,所述多个照射光束投射器围绕所述视轴来定位并且相对于所述视轴以预定角度来投射;
提供交叉偏振机构,所述交叉偏振机构被配置在所述图像记录设备与所述多个照射光束投射器之间,以阻止所述照射光束的镜面反射;
提供图像显示器,所述图像显示器被配置为显示来自所述图像记录设备的所述视网膜图像;
提供计算处理器,所述计算处理器与所述图像记录设备和所述图像显示器相耦合,以实现实时图像处理和显示;
提供实时去雾算法,所述实时去雾算法被包括在所述计算处理器中,以执行对反射和散射光雾的实时去除;
提供电子控制器,所述电子控制器以可编程的方式对所述多个照射光束投射器供电;
捕捉处于第一对准的多幅眼底图像,每幅图像是在对应照射状态下利用所述多个照射光束投射器捕捉的,所述照射状态中的至少两种照射状态是彼此不同的;并且
提供自动剪辑算法,所述自动剪辑算法被包括在所述计算处理器中,以执行对所述多幅视网膜图像的自动剪辑,得到所述宽视野的单幅剪辑图像。
29.根据权利要求28所述的方法,其中,所述多幅眼底图像包括两幅图像,所述两幅图像中的每幅图像是使用仅来自所述多个照射光束投射器的对应的两个以轴对称方式设置的照射光束投射器的照射而生成的。
30.根据权利要求28所述的方法,其中,所述多幅眼底图像包括四幅图像,所述四幅图像中的每幅图像是使用仅来自所述多个照射光束投射器的对应的两个以轴对称方式设置的照射光束投射器的照射而生成的。
31.根据权利要求28所述的方法,其中,所述多幅眼底图像包括四幅图像,所述四幅图像中的每幅图像是使用来自所述多个照射光束投射器中的对应的一个照射光束投射器的照射而生成的。
32.根据权利要求28所述的方法,其中,所述多幅眼底图像包括八幅图像,所述八幅图像中的每幅图像是使用来自所述多个照射光束投射器中的对应的一个照射光束投射器的照射而生成的。
33.根据权利要求28所述的方法,还包括以下步骤:
去雾算法,其被包括在所述计算处理器中,以进一步从所述剪辑图像中去除反射和散射光雾。
34.一种计算机可读存储介质,包括用于针对宽视野眼底相机的去雾算法的指令,所述指令包括用于对来自宽视野眼底相机的图像进行去雾的处理器可访问指令,所述处理器可访问指令当被运行时执行以下动作,所述动作包括:
计算由所述照射光束投射器产生的来自所述宽视野眼底相机的浦肯野反射的位置;
使用来自所述宽视野眼底相机的所述图像内的所述浦肯野反射的位置,来计算与由所述宽视野眼底相机成像的眼睛的中心轴的宽视野眼底相机对准;
使用参考眼角膜以及针对处于与参考模型眼睛的所述中心轴的所述相机对准的所述照射光束投射器的透镜反射和散射雾模型,来计算针对所述宽视野眼底图像的估计的雾图;
使用估计的雾图来计算用于从所述宽视野眼底图像中去除反射和散射雾的数字掩模;
通过去除所述宽视野眼底图像中的由所述数字掩模覆盖的部分,根据所述宽视野眼底图像来计算经处理的掩蔽的宽视野眼底图像;
利用针对所述宽视野眼底图像的估计的雾图来计算透射图;
使用参考视网膜宽视野眼底图像来细化针对所述宽视野眼底图像的透射图;
使用经细化的透射图,根据所述掩蔽的宽视野眼底图像来恢复视网膜图像,从而对所述掩蔽的宽视野眼底图像进行去雾并且产生经去雾的掩蔽的宽视野视网膜图像。
35.一种计算机可读存储介质,包括用于针对宽视野眼底相机的去雾算法的指令,所述指令包括用于对来自宽视野眼底相机的图像进行去雾的处理器可访问指令,所述处理器可访问指令当被运行时执行以下动作,所述动作包括:
使用所述反射和散射雾的空间分布和大小以及参考谱中的至少一项来计算估计的雾图;
利用针对所述宽视野眼底图像的估计的雾图来计算透射图;
根据参考视网膜宽视野眼底图像利用估计的视网膜透射来细化透射图;
使用计算的透射图,根据所述宽视野眼底图像来恢复视网膜图像,从而对所述宽视野眼底图像进行去雾并且产生经去雾的宽视野视网膜图像。
36.一种计算机可读存储介质,包括针对宽视野眼底相机的自动剪辑算法的指令,所述指令包括用于将来自宽视野眼底相机的截面图像剪辑成单幅FOV宽视野眼底图像的处理器可访问指令,所述处理器可访问指令当被运行时执行以下动作,所述动作包括:
计算由照射光束投射器产生的来自所述宽视野眼底相机的浦肯野反射的位置;
使用来自所述宽视野眼底相机的所述截面图像内的所述浦肯野反射的位置,来计算与由所述宽视野眼底相机成像的眼睛的中心轴的宽视野眼底相机对准;
计算每幅所述截面图像中的要被包括在所述剪辑图像中的区域,并且创建针对每幅所述截面图像的截面图像数字掩模,以去除通过所述宽视野眼底相机对准而确定的散射雾和浦肯野反射;
通过去除每幅所述截面图像中的由每个所述截面图像数字掩模覆盖的区域,根据所述宽视野眼底相机截面图像来计算掩蔽的截面图像;
计算所述掩蔽的截面图像成为单幅图像的缝合;
使用截面图像曝光、宽视野眼底相机对准、截面图像雾度、截面图像焦点、截面图像空间频率以及截面图像锐度中的一项或多项,来计算每幅所述掩蔽的截面图像的重叠区域的混合,以保持所述剪辑图像精细结构细节,同时均衡所述剪辑图像曝光以创建无缝剪辑图;
通过使用所述宽视野眼底相机对准来计算针对所述剪辑图像的图像投影,以使剪辑图像失真最小化;并且
计算所述单幅FOV宽视野眼底图像。
37.一种计算机可读存储介质,包括针对宽视野眼底相机的自动剪辑算法的指令,所述指令包括用于将来自宽视野眼底相机的截面图像剪辑成单幅FOV宽视野眼底图像的处理器可访问指令,所述处理器可访问指令当被运行时执行以下动作,所述动作包括:
计算由所述照射光束投射器产生的来自所述宽视野眼底相机的浦肯野反射的位置;
使用来自所述宽视野眼底相机的所述截面图像内的所述浦肯野反射的位置,来计算与由所述宽视野眼底相机成像的眼睛的中心轴的宽视野眼底相机对准;
使用参考眼角膜以及针对处于与参考模型眼睛的所述中心轴的所述相机对准的所述照射光束投射器的透镜反射和散射雾模型,来计算针对所述宽视野眼底图像的估计的雾图以及透射图;
使用对所述宽视野眼底图像中的由所述照射光束投射器的所述照射的谱分析,直接根据所述宽视野眼底图像来计算雾和透射图;
利用针对所述相机对准的来自所述参考模型眼睛的估计的透射掩模,对通过对所述宽视野眼底图像的谱分析而生成的所述透射图进行细化;
计算评分函数,以使用经细化的透射图对每幅截面视网膜图像中的每个像素的可见性进行评级;
针对输出图像中的每个像素,在所述截面视网膜图像中选择具有最高可见性评分的对应像素值。
CN201780051227.0A 2016-06-21 2017-06-21 在单个对准处具有自动剪辑的宽视野眼底相机 Active CN110199517B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201662352944P 2016-06-21 2016-06-21
US62/352,944 2016-06-21
PCT/US2017/038560 WO2017223208A1 (en) 2016-06-21 2017-06-21 Wide field fundus camera with auto-montage at a single alignment

Publications (2)

Publication Number Publication Date
CN110199517A true CN110199517A (zh) 2019-09-03
CN110199517B CN110199517B (zh) 2021-07-20

Family

ID=60784904

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780051227.0A Active CN110199517B (zh) 2016-06-21 2017-06-21 在单个对准处具有自动剪辑的宽视野眼底相机

Country Status (4)

Country Link
US (2) US10925486B2 (zh)
EP (1) EP3473003B1 (zh)
CN (1) CN110199517B (zh)
WO (1) WO2017223208A1 (zh)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9237847B2 (en) 2014-02-11 2016-01-19 Welch Allyn, Inc. Ophthalmoscope device
US11045088B2 (en) 2015-02-27 2021-06-29 Welch Allyn, Inc. Through focus retinal image capturing
US10772495B2 (en) 2015-11-02 2020-09-15 Welch Allyn, Inc. Retinal image capturing
WO2017223208A1 (en) * 2016-06-21 2017-12-28 Retivue, Llc Wide field fundus camera with auto-montage at a single alignment
US11096574B2 (en) * 2018-05-24 2021-08-24 Welch Allyn, Inc. Retinal image capturing
CN110870759A (zh) * 2018-08-31 2020-03-10 福州依影健康科技有限公司 用于远程眼底筛查的质量控制方法和系统、及存储设备
WO2020112996A1 (en) * 2018-11-28 2020-06-04 Broadspot Imaging Corp System for ultra-wide field imaging of the posterior segment
US11652981B2 (en) * 2019-03-04 2023-05-16 Nikon Corporation Resolution test chart and artificial eye for assessing fundus imaging systems
US10878548B2 (en) * 2019-03-28 2020-12-29 Advanced New Technologies Co., Ltd. Specular reflection reduction using polarized light sources
WO2021074963A1 (ja) * 2019-10-15 2021-04-22 株式会社ニコン 画像処理方法、画像処理装置、プログラム
US20220000363A1 (en) * 2020-07-02 2022-01-06 Tesseract Health, Inc. Wide field of view eye imaging and/or measuring apparatus
FI129612B (en) * 2020-07-17 2022-05-31 Aalto Univ Foundation Sr Device and method for obtaining ERG signals
CN116369840B (zh) * 2023-06-05 2023-08-01 广东麦特维逊医学研究发展有限公司 一种无亮斑投影照明系统及其工作方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4247176A (en) * 1977-08-09 1981-01-27 Canon Kabushiki Kaisha Optical system for eye fundus inspection apparatus
US20040156554A1 (en) * 2002-10-15 2004-08-12 Mcintyre David J. System and method for simulating visual defects
CN1685272A (zh) * 2002-09-24 2005-10-19 西健尔 图像显示装置和投影光学系统
US20100061601A1 (en) * 2008-04-25 2010-03-11 Michael Abramoff Optimal registration of multiple deformed images using a physical model of the imaging distortion
CN102202558A (zh) * 2008-10-16 2011-09-28 史提芬·维杜纳 对眼睛成像的装置及方法
US20120229617A1 (en) * 2009-09-04 2012-09-13 University Of Virginia Patent Foundation Hand-held portable fundus camera for screening photography
WO2016040935A1 (en) * 2014-09-14 2016-03-17 Lai, Ming Wide field fundus camera

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4023189A (en) 1974-03-29 1977-05-10 Varian Associates Wide angle fundus illumination and photography apparatus
US3944342A (en) 1974-04-30 1976-03-16 Codman & Shurtleff, Inc. Photographic apparatus for slit lamp
US5822036A (en) 1996-07-24 1998-10-13 Research Development Foundation Eye imaging unit having a circular light guide
US6019472A (en) 1997-05-12 2000-02-01 Koester; Charles J. Contact lens element for examination or treatment of ocular tissues
AU2002305387B2 (en) 2001-05-04 2008-04-03 Legend Films, Llc Image sequence enhancement system and method
US7290882B2 (en) 2004-02-05 2007-11-06 Ocutronics, Llc Hand held device and methods for examining a patient's retina
US7448753B1 (en) 2005-07-19 2008-11-11 Chinnock Randal B Portable Digital Medical Camera for Capturing Images of the Retina or the External Auditory Canal, and Methods of Use
JP2007029726A (ja) 2005-07-22 2007-02-08 Carl Zeiss Meditec Ag リング・ライト眼底カメラ
US20130057828A1 (en) 2009-08-31 2013-03-07 Marc De Smet Handheld portable fundus imaging system and method
CA2776223A1 (en) * 2009-09-30 2011-04-07 Lions Eye Institute Limited Imager, module for an imager, imaging system and method
WO2011069137A1 (en) 2009-12-04 2011-06-09 Lumetrics, Inc. Portable fundus camera
US8340461B2 (en) 2010-02-01 2012-12-25 Microsoft Corporation Single image haze removal using dark channel priors
ES2655703T3 (es) 2010-12-13 2018-02-21 University Of Virginia Patent Foundation Técnicas intuitivas y aparato para la obtención de imágenes oftalmológicas
US9288458B1 (en) 2015-01-31 2016-03-15 Hrl Laboratories, Llc Fast digital image de-hazing methods for real-time video processing
WO2017223208A1 (en) * 2016-06-21 2017-12-28 Retivue, Llc Wide field fundus camera with auto-montage at a single alignment

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4247176A (en) * 1977-08-09 1981-01-27 Canon Kabushiki Kaisha Optical system for eye fundus inspection apparatus
CN1685272A (zh) * 2002-09-24 2005-10-19 西健尔 图像显示装置和投影光学系统
US20040156554A1 (en) * 2002-10-15 2004-08-12 Mcintyre David J. System and method for simulating visual defects
US20100061601A1 (en) * 2008-04-25 2010-03-11 Michael Abramoff Optimal registration of multiple deformed images using a physical model of the imaging distortion
CN102202558A (zh) * 2008-10-16 2011-09-28 史提芬·维杜纳 对眼睛成像的装置及方法
US20120229617A1 (en) * 2009-09-04 2012-09-13 University Of Virginia Patent Foundation Hand-held portable fundus camera for screening photography
WO2016040935A1 (en) * 2014-09-14 2016-03-17 Lai, Ming Wide field fundus camera

Also Published As

Publication number Publication date
US20190159673A1 (en) 2019-05-30
WO2017223208A1 (en) 2017-12-28
EP3473003B1 (en) 2023-06-07
EP3473003A1 (en) 2019-04-24
US20210353144A1 (en) 2021-11-18
EP3473003A4 (en) 2020-09-02
US11986244B2 (en) 2024-05-21
US10925486B2 (en) 2021-02-23
CN110199517B (zh) 2021-07-20

Similar Documents

Publication Publication Date Title
CN110199517A (zh) 在单个对准处具有自动剪辑的宽视野眼底相机
US11744460B2 (en) Wide field fundus camera
US11013406B2 (en) Removal of non-retinal opthalmic reflections in retinal imaging
CN105792729B (zh) 用于对睑板腺进行成像以供睑板腺分析的眼睑照明系统和方法
JP7075178B2 (ja) 広視野の網膜イメージャおよびその動作方法
ES2601886T3 (es) Aparato y método para obtener imágenes de un ojo
US10226174B2 (en) Ocular fundus imaging systems, devices and methods
US9814385B2 (en) Ophthalmoscope
US20190269323A1 (en) Ocular Fundus Imaging Systems Devices and Methods
KR20110086004A (ko) 안구 촬영 장치 및 방법
WO2011038457A1 (en) Imager, module for an imager, imaging system and method
CN112512402A (zh) 裂隙灯显微镜以及眼科系统
JP2023120308A (ja) 画像処理方法、画像処理装置、及び画像処理プログラム
JP2004024470A (ja) 眼科撮影装置
US20160089027A1 (en) Method for photographically observing and/or documenting the fundus of an eye, and fundus camera
JP5808576B2 (ja) 眼科撮影装置
WO2000021432A9 (en) Methods and apparatus for digital ocular imaging
JP2005261447A (ja) 眼科撮影装置
US20240341597A1 (en) Wide Field Fundus Camera with Auto Montage at A Single Alignment
Hurtes Evolution of ophthalmic photography
JP2015231570A (ja) 眼科撮影装置
JP2002209855A (ja) 眼底カメラ

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant