CN111093470A - 用于视网膜成像的焦点堆叠 - Google Patents
用于视网膜成像的焦点堆叠 Download PDFInfo
- Publication number
- CN111093470A CN111093470A CN201880056822.8A CN201880056822A CN111093470A CN 111093470 A CN111093470 A CN 111093470A CN 201880056822 A CN201880056822 A CN 201880056822A CN 111093470 A CN111093470 A CN 111093470A
- Authority
- CN
- China
- Prior art keywords
- images
- sequence
- eye
- image
- light
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003384 imaging method Methods 0.000 title claims abstract description 24
- 230000002207 retinal effect Effects 0.000 title description 29
- 210000001747 pupil Anatomy 0.000 claims abstract description 41
- 238000012545 processing Methods 0.000 claims abstract description 39
- 238000005286 illumination Methods 0.000 claims abstract description 32
- 238000000034 method Methods 0.000 claims abstract description 31
- 239000002131 composite material Substances 0.000 claims abstract description 18
- 230000004044 response Effects 0.000 claims abstract description 8
- 230000008859 change Effects 0.000 claims abstract description 4
- 210000001525 retina Anatomy 0.000 claims description 53
- 230000010354 integration Effects 0.000 claims description 17
- 238000004458 analytical method Methods 0.000 claims description 5
- 210000004087 cornea Anatomy 0.000 claims description 5
- 238000001514 detection method Methods 0.000 claims description 4
- 238000003708 edge detection Methods 0.000 claims description 4
- 230000003247 decreasing effect Effects 0.000 claims description 3
- 230000000903 blocking effect Effects 0.000 claims 1
- 230000000916 dilatatory effect Effects 0.000 claims 1
- 230000004439 pupillary reactions Effects 0.000 claims 1
- 230000004256 retinal image Effects 0.000 description 10
- 230000004313 glare Effects 0.000 description 7
- 230000003287 optical effect Effects 0.000 description 7
- 230000008901 benefit Effects 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 239000000872 buffer Substances 0.000 description 4
- 238000006243 chemical reaction Methods 0.000 description 3
- 230000001627 detrimental effect Effects 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 238000003745 diagnosis Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 238000012216 screening Methods 0.000 description 2
- 238000004566 IR spectroscopy Methods 0.000 description 1
- 206010027646 Miosis Diseases 0.000 description 1
- 208000017442 Retinal disease Diseases 0.000 description 1
- 230000003213 activating effect Effects 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 210000003484 anatomy Anatomy 0.000 description 1
- 238000000149 argon plasma sintering Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000004397 blinking Effects 0.000 description 1
- 238000000576 coating method Methods 0.000 description 1
- 230000002950 deficient Effects 0.000 description 1
- 206010016256 fatigue Diseases 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000003116 impacting effect Effects 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000003547 miosis Effects 0.000 description 1
- 238000002156 mixing Methods 0.000 description 1
- 239000012788 optical film Substances 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000010344 pupil dilation Effects 0.000 description 1
- 238000002834 transmittance Methods 0.000 description 1
- 210000003462 vein Anatomy 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
- A61B3/0016—Operational features thereof
- A61B3/0025—Operational features thereof characterised by electronic signal processing, e.g. eye models
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
- A61B3/0008—Apparatus for testing the eyes; Instruments for examining the eyes provided with illuminating means
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
- A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
- A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
- A61B3/11—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for measuring interpupillary distance or diameter of pupils
- A61B3/112—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for measuring interpupillary distance or diameter of pupils for measuring diameter of pupils
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
- A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
- A61B3/12—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for looking at the eye fundus, e.g. ophthalmoscopes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/73—Deblurring; Sharpening
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10141—Special mode during image acquisition
- G06T2207/10152—Varying illumination
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20216—Image averaging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30041—Eye; Retina; Ophthalmic
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Surgery (AREA)
- Public Health (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Medical Informatics (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Animal Behavior & Ethology (AREA)
- General Health & Medical Sciences (AREA)
- Ophthalmology & Optometry (AREA)
- Veterinary Medicine (AREA)
- Signal Processing (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Eye Examination Apparatus (AREA)
- Image Input (AREA)
- Image Processing (AREA)
- Studio Devices (AREA)
- Image Analysis (AREA)
Abstract
一种对眼睛内部成像的方法,包括用来自光源的一个或多个光束照射眼睛内部,并且所述照射被配置为触发眼睛的瞳孔的改变。在瞳孔的宽度响应于所述照射而改变的预期的时间帧期间,图像传感器捕获由眼睛内部反射的光的图像序列。处理装置将图像序列中的图像组合以形成具有比图像序列中的图像中的每个的景深大的景深的合成图像。图像中的每个的景深与捕获图像中的每个时的瞳孔的宽度对应。
Description
相关申请的交叉引用
本申请要求于2017年8月29日提交的美国申请第62/551,708号的权益,通过引用将该美国申请的内容合并于此。
技术领域
本公开总体上涉及成像技术,尤其涉及视网膜成像。
背景技术
视网膜成像是用于许多视网膜疾病的筛查、现场诊断和进展监视的基本眼睛检查的一部分。高保真度视网膜图像对于准确筛查、诊断和监视非常重要。通过瞳孔对眼睛的后内表面(例如,视网膜)的明亮照明提高了图像保真度,同时经常产生光学像差或图像伪影,诸如透镜眩光。透镜眩光是由于各种内部边界处的折射率改变、内部反射、瑕疵或其他原因,光从透镜系统的内部组件散射开的现象。这种散射光在视网膜图像中显示为透镜眩光,这对图像质量有害。照明越亮,透镜眩光越明显,这不利于提高图像保真度的目标。由于与瞳孔未对准而产生的虹膜反射或角膜反射,可能会出现其他图像伪影。
附图说明
参考以下附图描述了本发明的非限制性和非穷举性实施例,其中,除非另外指明,否则贯穿各个视图,相同的附图标记指代相同的部分。并非必须标记元素的所有实例,以免在适当的地方使附图混乱。附图不一定按比例绘制,而是将重点放在说明所描述的原理上。
图1示出根据本公开实施例的用于对眼睛中的视网膜成像的系统。
图2是根据本公开实施例的包括集成图像信号处理器的视网膜相机的功能框图。
图3是示出根据本公开实施例的由包括集成图像信号处理器的视网膜相机进行的图像处理的框流程图。
图4示出根据本公开实施例的用光柱照射眼睛。
图5示出根据本公开实施例的视网膜的聚焦堆叠图像。
图6示出根据本公开实施例的对眼睛中的视网膜成像的方法。
图7描绘根据本公开实施例的眼睛照明模式。
具体实施方式
本文描述了用于视网膜成像的焦点堆叠的装置和方法的实施例。在以下描述中,阐述了许多具体细节以提供对实施例的透彻理解。然而,相关领域的技术人员将认识到,本文描述的技术可以在没有一个或多个具体细节的情况下,或用其他方法、组件、材料等来实施。在其他情况下,未详细示出或描述公知的结构、材料或操作以避免使某些方面模糊不清。
在整个说明书中提及“一个实施例”或“实施例”是指结合该实施例描述的特定特征、结构或特性包括在本发明的至少一个实施例中。因此,在整个说明书中各处出现的短语“在一个实施例中”或“在实施例中”不一定都指的是同一实施例。此外,在一个或多个实施例中,可以以任何合适的方式组合特定特征、结构或特性。
瞳孔放大是视网膜成像的不利部分。即使在患者的瞳孔完全放大之后(本身就是一个耗时过程),对视网膜成像所需的明亮闪光也会迫使患者眨眼,并且闪光通常会使患者感到非常不舒服。此外,由增大的瞳孔直径提供的大光圈(aperture),虽然有利于使进入眼睛以进行成像的光最大化,但是具有使景深非常浅的缺点。因此,一次只能对一小部分视网膜成像。相反,很难在收缩的(小)瞳孔的情况下对视网膜成像:只有小量的光传播到视网膜(并从视网膜反射),并且光源和眼睛的小不对准会导致角膜反射。本公开通过聚焦堆叠来补救视网膜成像的这些次优方面。
眼睛的瞳孔是一种相对快速的光学控制系统(例如,生物力学光圈),其至少部分地基于照明的改变来调节其直径。因此,虹膜的入射照明可以缓慢斜升(而不是用闪光冲击虹膜),同时在每个“f-stop(光圈值)”(系统的聚焦长度与入口瞳孔直径之比)处对虹膜进行成像-以利用称为“聚焦堆叠”或“焦点堆叠”的技术。聚焦堆叠产生具有较大景深(即,场景中的在图像中看起来可接受地焦点对准的最近和最远对象之间的距离)的图像。受益于本公开的本领域普通技术人员将理解,瞳孔大小也会根据所观看的场景而改变。因此,在一些实施例中,可以将场景用作刺激,而可以使用红外光谱(单个或多个频带)对视网膜进行照射和成像。在一些实施例中,可以仅用红外光照射眼睛,或者可以用红外和可见光的组合照射眼睛。
在聚焦堆叠中,包含相同被摄体的若干个图像(每个图像都具有被摄体的焦点对准部分)被组合,从而使整个被摄体处于焦点对准。受益于本公开的本领域普通技术人员应理解,组合图像在此可以包括堆叠(即,组合在不同焦距处摄取的多个图像以给出具有比任何一个单独的源图像都大的景深的所得图像)、拼接(即,将具有重叠视场的多个摄影图像组合以生成分割的全景图像或高分辨率图像)、混合(即,将背景图像和给出部分透明度的外观的前景图像组合)、其组合或其他类型的图像组合。在一个实施例中,堆叠可包括堆叠的图像帧的像素到像素对准。在另一个或相同实施例中,堆叠包括每个被堆叠的图像帧与另一个被堆叠的图像帧重叠图像帧面积的至少25%。在此,可以用图像传感器捕获虹膜的若干个图像,并且可以将图像的焦点对准部分进行组合以创建具有较大景深的虹膜的合成图像。
本文公开的技术的附加新颖方面是,点照明(而不是发射环形环的光源)可用于对未放大(例如,未由医生以化学方式放大)的瞳孔成像。这使得即使在瞳孔收缩时也可以照射视网膜。而且,本文公开的视网膜相机系统具有比传统眼底相机高得多的帧率(>240帧/秒),并且可以允许在非常短的连拍(burst)时间内在若干个不同的“f-stop”进行成像。由于捕获时间短,因此在该时间帧内运动的概率降低。一系列图像中较少的运动生成更高质量的合成图像。此外,可以改变点照明源的强度或发射时间以补偿瞳孔缩小(例如,随着瞳孔变得更小,光源发射更多或更明亮的光,因此更多的光从眼睛内部反射到相机中)。
应当理解,通过采用本文公开的系统和方法,可以将原本笨重的视网膜成像系统减缩成较小的设备。较小的设备允许更多的人能够获得医疗护理,因为至少降低了与设备的运输、递送和维护相关的成本。
图1是示出根据本公开的实施例的视网膜成像系统100的图。视网膜成像系统100的所示实施例包括光圈135、视网膜相机110、处理装置117、用户接口115、显示器120、光源(包括发光二极管137A和137B)以及包括透镜125和分束器130的光学中继系统。应当理解,根据本公开的教导,视网膜成像系统100可以用于对眼睛内部的其他部分(除了视网膜之外)进行成像。
在所描绘的实施例中,光圈135物理地定位在从视网膜到视网膜相机110(其包括图像传感器)的光的光路中,并且作为光阑进行操作以阻挡要不是这样的话会到达视网膜相机110的许多离轴有害反射。然而,在其他实施例中,光圈135可以定位在其他位置,并且可以将附加的光圈135添加到系统。例如,可能存在与视网膜共轭并且不允许来自其他地方的光的光圈135。在所示实施例中,视网膜图像穿过光圈135传递到视网膜相机110。在一个实施例中,光圈135涂覆有一个或多个光学膜(例如,二向色性涂层)以使波长低于900nm的光基本上通过(即,作为低通滤波器进行操作),而基本上反射高于900nm的光,以利于使用红外(IR)凝视跟踪。在一个实施例中,横向地布置虹膜相机(未示出)以辅助IR凝视跟踪。虹膜相机可以操作成通过跟踪眼睛101的虹膜和/或瞳孔或对其成像来跟踪眼睛101的总体运动,诸如眨眼和凝视跟踪。
分束器130定位成将视网膜图像的光的一部分传递到视网膜相机110,而将从显示器120输出的显示光反射到眼睛101。显示光可以包括固定目标或其他视觉刺激,以在成像期间辅助视网膜对准。换句话说,显示器120联接到处理装置117,以在光束(例如,来自二极管137A/137B的光束)照射视网膜时显示定位成供眼睛观看(关注)的图像。另外,如图所示,可以将其他中间光学器件(例如,透镜125)布置在图像传感器和光圈135之间。
在一些实施例中,分束器130更具有透射性而不是反射性。在一个实施例中,分束器130是大约90%的透射性和10%的反射性的。可以实现其他反射率/透射率比。在整个系统100中提供透镜125,以提供光路中的图像和光聚焦。用户接口115提供开始连拍图像捕获的机制。在一个实施例中,用户接口115是按钮,但是也可以包括触摸屏等,以将成像系统100的各种状况/状态传达给系统的用户。
如图所示,具有多个发光二极管(LED)(例如LED 137A和137B)的光源被定位为用一个或多个光束照射眼睛101的视网膜。在所描绘的实施例中,LED 137A和137B位于眼睛101附近,使得来自二极管的光不传播穿过系统中的其他光学器件到达眼睛101。但是,根据本公开的教导,光源可以布置在系统100中的任何地方。在所描绘的实施例中,多个LED中的单独的LED(例如137A和137B)位于相对于眼睛100的不同位置,以通过在不同时间激活单独的LED来在视网膜129的不同位置上照耀光束。例如,LED 137A可以接通并照射视网膜129的一个部分,然后可以关断LED 137A并且可以接通LED 137B以照射视网膜129的不同部分。替代地或另外地,单个LED可以能够移动以将光聚焦在不同位置。
图像传感器(例如,包括在视网膜相机110中,其可以具有至少每秒200帧的帧率)被定位成接收从视网膜129反射的光,并输出包括视网膜的图像的图像序列(例如,一次一个、成组或一次全部)。光圈135定位在眼睛101和视网膜相机110之间,并且被成形为阻挡从眼睛101的角膜反射的光中的至少一些到达图像传感器。这可以防止不希望的图像噪声,因为反射可能导致使得图像传感器中的图像像素饱和的亮度值。处理装置117联接到图像传感器(例如,物理上包括在视网膜相机110中或有线连接到视网膜相机110),以从图像传感器接收图像序列。图像序列可以包括10个或更多个图像,但是可以包括更多图像,诸如40或50个图像,以提供过采样数据集。处理装置117包括逻辑,该逻辑在由处理装置运行时使处理装置执行各种操作。例如,处理装置117可以将图像序列中的单独的图像进行组合以形成合成图像,并且合成图像可以具有比图像序列中的单独的图像的景深大的景深。
在不同或相同的实施例中,处理装置117也可以联接至光源,以改变从光源输出并指向视网膜129的照明水平。当从光源输出的照明水平改变时,处理装置117可以指示图像传感器捕获图像序列。因此,图像序列中的单独的图像具有不同的景深,因为随着照明水平改变,眼睛101的瞳孔的直径也改变,这为光学系统创建不同的光圈大小。换句话说,作为瞳孔宽度随照明水平的改变而增大或减小的结果,图像序列中的单独的图像具有不同的景深。因此,瞳孔充当系统100中的光圈。
在另一个或相同的实施例中,处理装置117还包括用于从图像序列中去除第一组图像(例如,较差质量图像)的逻辑。该第一组图像不包括在用于形成合成图像的单独的图像中。在一些实施例中,第一组图像可包括具有大于第一阈值亮度值的亮度值(例如,图像中所有像素或像素组的平均亮度值)的过曝光图像,或具有小于第二阈值亮度值的亮度值的欠曝光图像。在一些示例中,由于其他原因,诸如图像太模糊(例如,由于图像传感器在捕获期间移动)、图像不包含视网膜的图像(例如,由于被摄体在图像捕获期间移动)等,可能无法清楚地解析(resolve)第一组中的图像。可以经由手动选择或通过自动选择来去除图像(例如,使用高通/低通滤波器来去除具有太高或太低亮度值的图像,和/或使用机器学习算法来去除不包括视网膜的图像等)。一旦选择了高质量图像,并去除了低质量图像,就可以使用聚焦堆叠方法(诸如边缘检测、特征检测或傅立叶分析)来组合高质量图像。
图2是根据本公开实施例的包括集成图像信号处理器220(例如,图1的处理装置117的一个实施例)的视网膜相机200的功能框图。视网膜相机200是图1的视网膜相机110的一种可能的实施方式。视网膜相机200的所示实施例包括二维图像传感器阵列205、数据转换电路210、存储器缓冲器215、集成图像信号处理器(ISP)220和输出端口225。
在操作期间,二维图像数据(例如,视网膜图像)由传感器阵列205获取,并由数据转换电路210从模拟域转换至数字域。可以以高帧率(例如每秒24、48、60、240、1000帧)获取图像数据并存储到存储器缓冲器215中。ISP 220对缓冲的视网膜图像帧进行操作,以识别可用或缺陷区域、标注图像帧中的感兴趣区域和/或将可用区域组合成高质量的合成视网膜图像。因此,在一个实施例中,上述某些图像处理任务可以从图1的处理装置117移交
(off-board)到ISP 220。ISP 220可以被认为是图1的处理装置117的逻辑子组件。
图3是示出根据本公开实施例的图2的视网膜相机200进行的图像处理的框流程图,该图像处理利用了具有集成的ISP 220来获取高质量的合成视网膜图像的益处。如图所示,传感器阵列205以高帧率获取视网膜(例如,图1的视网膜129)的图像帧305A-350C,通过数据转换电路210将其转换至数字域中,并缓冲到存储器缓冲器215中。图像分析器310由ISP 220运行,以分析缓冲的视网膜图像305(一种预处理),以确定图像帧305A-305C中的哪些部分具有足够的质量而哪些部分由于不可接受的图像伪影而具有不足的质量。例如,图像分析器310可以分析图像帧305A-305C的模糊部分、没有可用的足够对比度、被洗掉和/或包括不可接受的角膜或虹膜反射或透镜炫光的部分。被认为不可接受的图像部分被标示为不可接受(例如,被标记或标注),而被视为可接受的图像部分被标示为可接受。然后,图像帧彼此配准(例如,像素到像素对准)、通过图像配准/裁剪模块315裁剪为共同视场、然后通过堆叠模块320组合为单个合成视网膜图像325。堆叠模块320可以组合图像以产生具有大景深的高动态范围图像。在其他实施例中,简单地组合图像帧305,而不进行单独的图像帧的分析和/或标注。
图4示出根据本公开实施例的用光束453照射眼睛401。如图所示,LED或其他照明源可以将光束453照耀到眼睛401的瞳孔451中。在所示实施例中,光束不是环形的;整个光束充满光子以在眼睛401的视网膜上生成点(例如任何形状的被照射点)。换句话说,光束453照射视网膜上的点状区域,并且整个点状区域接收来自光源的光子。在一些实施例中,光束453从LED发射并且基本上被准直,具有小于人类瞳孔的宽度的第一宽度。在一些实施例中,使用激光器、光圈或透镜光学器件中的至少一个形成基本上准直的光束。在一些实施例中,视网膜上的点状点可以优于环形照明,以在捕获图像时减少来自眼睛周围不同点的眩光。这可以导致图像序列中较少的过曝光或洗掉的图像。
在所描绘的实施例中,瞳孔451在大小上逐渐缩小,因为光束453在强度上作为时间的函数增加。通过改变从光源输出的照明水平,瞳孔451的宽度也改变。然后,随着从光源输出的照明水平改变,图像传感器可以捕获图像序列,并且响应于瞳孔的宽度改变,图像序列中的图像具有不同的景深。应当理解,尽管光的强度可以随着时间变得更明亮(更高的强度)(并且因此使瞳孔收缩),但是在其他实施例中,光可以随着时间而逐渐地变暗(减小强度)(并且因此使瞳孔扩大)。受益于本公开的本领域普通技术人员将认识到,许多不同的光强度改变序列可以产生具有不同焦点的图像,这些图像可以被组合以形成合成图像。例如,来自光源的光可以变亮,然后变暗,然后再次变亮。或者相反,光可能会变暗,然后变亮,然后再次变暗。
图5示出根据本公开实施例的视网膜或眼睛内部的另一部分的聚焦堆叠图像。如图所示,用图像传感器捕获视网膜的四个图像帧(505A-505D)。长线代表视网膜中/上的完全解析的静脉和其他解剖结构;短虚线代表图像的焦点未对准或洗掉的部分。如图所示,图像帧505A的左下角被完全解析,但是图像的其余部分没有被完全解析。类似地,图像帧505B的中间部分(从帧的左上角延伸到右下角)焦点对准并且被完全解析,但是图像帧505B的其余部分没有。图像帧505C的右上角焦点对准,但是图像的其余部分没有焦点对准。最后,图像帧505D焦点未对准并且不包含有用信息。因此,图像帧505D被去除,并且不被发送到堆叠模块520以用于合成图像525。其余的图像帧505A-505C被发送到堆叠模块520,以被组合成具有大景深的单个高分辨率合成图像525。在一个实施例中,可使用边缘检测、特征检测或傅立叶分析来组合图像。
图6示出根据本公开实施例的对眼睛中的视网膜成像的方法600。受益于本公开的本领域普通技术人员将理解,方法600中的框可以以任何顺序甚至并行地发生。此外,根据本公开的教导,可以将框添加到方法600或从方法600去除。方法600可以用于对眼睛内部的其他部分成像,包括但不限于视网膜。例如,可以使用本文公开的该技术和系统对眼睛的在视网膜的前面或后面的部分进行成像。
框601示出用来自光源的光束照射视网膜。如上所述,光束可以具有小于人眼瞳孔的宽度的宽度。应当理解,由于所公开的设备和方法可以使用未放大的瞳孔作为光圈,因此可以不放大眼睛。此外,这消除了使患者眼睛放大的麻烦且不舒适的步骤。
在一些实施例中,用光束照射视网膜包括使用从多个LED或多个激光二极管发射的基本上准直的光束。此外,视网膜的被照射部分可包括视网膜上的一个或多个点状区域,其中整个一个或多个点状区域都接收来自光源的光子。换句话说,这些实施例中的照明可以不是环形的。
在一些实施例中,可能有必要用布置在眼睛和图像传感器之间的光圈来阻挡从眼睛的角膜反射的光中的至少一些到达图像传感器。这允许更多的捕获的图像具有足够高的质量以形成合成图像。光圈还可以阻挡来自眼睛的角膜以外的部分的不希望的反射。
框603示出用图像传感器捕获从视网膜反射的光的图像序列。这可以与改变从光源输出的照明水平同时地发生。改变照明水平会改变瞳孔直径,并允许捕获具有不同景深的多个图像。
框605描绘将图像序列从图像传感器输出到处理装置,其中图像序列包括视网膜的图像。图像可以通过有线或无线方式传输(例如,通过互联网或局域网)。该处理装置可以是图像传感器或相机的一部分,或者可以包括在另一个分立的硬件中。处理装置也可以用软件和/或硬件来实现,并且包含在单个设备中或跨多个设备分布(例如,在多个服务器上)。
框607示出用处理装置组合图像序列中的图像以形成具有比图像序列中的图像中的每个的景深大的景深的合成图像。应当理解,每个图像的景深与捕获每个图像时瞳孔的宽度对应。如上所述,在组合图像之前,处理装置可以从用于形成合成图像的图像中去除可能具有图像伪影、眩光、过曝光/欠曝光的第一组图像。在去除不良质量的图像之后,处理装置可以使用焦点堆叠技术来组合图像,其中,使用边缘检测、特征检测或傅立叶分析中的至少一个来识别图像的焦点对准部分。
图7描绘根据本公开实施例的眼睛照明模式(pattern)。如图所示,在图像获取窗口701(也称为积分时间,标记为L1、L2、L3等)期间,光源(例如,图1的发光二极管137A/137B)可以通过改变光的强度、LED的接通时间(例如,照射眼睛的长度)或同时改变两者来改变眼睛接收的照明水平。例如,在LED输出模式703中,光的强度随着每个连续的获取窗口增加。因此,当瞳孔响应于光而缩小时,由于更多的光将从视网膜反射,因此系统仍可以捕获图像。类似地,在LED输出模式703中,光源输出光的时间随着每个连续的获取窗口而增加。因此,当瞳孔响应于光而缩小时,由于更多的光将从视网膜反射,因此系统仍可以捕获图像。如图所示,在一些实施例中,光源的接通时间比图像传感器的积分时间(例如,光电二极管产生图像电荷的时间)短,而在其他实施例中,图像传感器的积分时间为比光源的接通时间少。在一些实施例中,光源可以保持接通持续多个积分时间段,并且在每个积分时间段之间逐渐改变输出的强度。因此,光源的总接通时间大于捕获图像序列的总积分时间。替代地,例如,光源可以仅在积分时间段期间接通并且持续少于每个积分时间段的50%。在其他实施例中,光源可以仅接通持续少于每个积分时间段的40%、30%、20%或10%。因此,在一些实施例中,捕获图像序列的总积分时间大于光源照射视网膜时的总接通时间。
在一些实施例中,积分时间或捕获窗口可以很长并且跨越多个照明事件。替代地,积分时间可以相对短,以每秒几百帧从图像传感器中的光电二极管读取电荷以防止图像饱和。
应当理解,根据本公开的教导,存在光强度、持续时间和积分时间的多种模式(太多以至于不能用于说明),并且本文公开的系统和方法可以采用任何模式。
就计算机软件和硬件描述了上面解释的过程。所描述的技术可以构成实现在有形或非暂时性机器(例如,计算机)可读存储介质内的机器可运行指令,该机器可运行指令在被机器运行时将使机器执行所描述的操作。另外,过程可以在诸如专用集成电路(“ASIC”)的硬件或其他方面内实现。
有形机器可读存储介质包括以能够由机器(例如,计算机、网络设备、个人数字助理、制造工具、具有一组一个或多个处理器的任何设备等)访问的非暂时性形式提供(即存储)信息的任何机构。例如,机器可读存储介质包括可记录/不可记录介质(例如,只读存储器(ROM)、随机存取存储器(RAM)、磁盘存储介质、光学存储介质、闪存设备等)。
包括摘要中描述的内容的本发明的所示实施例的以上描述并非旨在穷举或将本发明限制为所公开的精确形式。尽管本文出于说明性目的描述了本发明的特定实施例和示例,但是相关领域的技术人员将认识到,在本发明的范围内可以进行各种修改。
可以根据以上详细描述对本发明进行这些修改。在所附权利要求中使用的术语不应被解释为将本发明限制为说明书中公开的特定实施例。而是,本发明的范围将完全由所附权利要求确定,所附权利要求将根据权利要求解释的既定原则来解释。
Claims (24)
1.一种对眼睛内部成像的方法,包括:
用来自光源的一个或多个光束照射眼睛内部,其中,所述照射被配置为触发眼睛的瞳孔的改变;
在瞳孔的宽度响应于所述照射而改变的预期的时间帧期间,用图像传感器捕获由眼睛内部反射的光的图像序列;以及
用处理装置组合所述图像序列中的图像以形成合成图像,所述合成图像具有比所述图像序列中的图像中的每个的景深大的景深,其中,所述图像中的每个的景深与在捕获所述图像中的每个时的瞳孔的宽度对应。
2.根据权利要求1所述的方法,其中,照射眼睛内部包括:用所述处理装置改变从所述光源输出的照明水平,并且其中,捕获所述图像序列包括:随着从所述光源输出的照明水平改变捕获所述图像序列,其中,瞳孔的宽度响应于改变所述照明水平而改变。
3.根据权利要求1所述的方法,还包括:用所述处理装置从所述图像序列去除第一组图像,其中,所述第一组图像不用于形成所述合成图像。
4.根据权利要求3所述的方法,其中,所述第一组图像包括以下中的至少一个:
具有大于第一阈值亮度值的亮度值的过曝光图像;以及
具有小于第二阈值亮度值的亮度值的欠曝光图像。
5.根据权利要求1所述的方法,还包括:用布置在眼睛和所述图像传感器之间的光圈来阻挡从眼睛的角膜反射的光中的至少一些到达所述图像传感器。
6.根据权利要求1所述的方法,其中,所述图像传感器以每秒至少200帧的帧率捕获所述图像序列,并且其中,所述图像序列包括至少10个图像。
7.根据权利要求1所述的方法,其中,组合所述图像包括:所述处理装置使用焦点堆叠算法,其中,使用边缘检测、特征检测或傅立叶分析中的至少一个来识别所述图像的焦点对准部分,并且其中,所述图像的焦点对准部分被组合以形成所述合成图像。
8.根据权利要求1所述的方法,其中,用所述一个或多个光束照射眼睛内部包括:使用从所述光源中包括的发光二极管或激光二极管中的至少一个发射的基本上准直的光束。
9.根据权利要求8所述的方法,其中,用所述一个或多个光束照射眼睛内部包括:照射视网膜上的一个或多个点,其中,使用光圈或透镜光学器件中的至少一个形成所述基本上准直的光束。
10.根据权利要求1所述的方法,其中,在捕获所述图像序列时不通过化学方式放大瞳孔,其中,所述光源包括多个发光二极管或多个激光二极管。
11.一种用于对眼睛中的视网膜成像的系统,包括:
光源,定位成用一个或多个光束照射视网膜;
图像传感器,定位成接收从视网膜反射的光,并随着眼睛的瞳孔的宽度改变捕获包括视网膜的图像的图像序列;
光圈,成形和定位成阻挡从眼睛的角膜反射的至少一些光到达所述图像传感器;以及
处理装置,通信地联接到所述图像传感器以接收所述图像序列,其中,所述处理装置包括逻辑,该逻辑在由所述处理装置运行时使所述处理装置执行操作,所述操作包括:
组合所述图像序列中的图像以形成合成图像,所述合成图像具有大于所述图像序列中的图像中的每个的景深的景深,其中,所述图像中的每个的景深与在捕获所述图像中的每个时的瞳孔的宽度对应。
12.根据权利要求11所述的系统,其中,所述处理装置还联接到所述光源,并且其中,所述处理装置还包括逻辑,所述逻辑在由所述处理装置运行时使所述处理装置执行操作,所述操作包括:
改变从所述光源输出并指向视网膜的照明水平;以及
随着从所述光源输出的照明水平改变,用所述图像传感器捕获所述图像序列,其中,所述图像序列中的图像中的每个具有不同的景深。
13.根据权利要求12所述的系统,其中,所述图像的不同景深是响应于眼睛中瞳孔的宽度因改变来自所述光源的照明水平而在大小上增大或减小的,并且其中,改变所述照明水平包括改变以下中的至少一个:所述光源的接通时间、从所述光源输出的所述一个或多个光束的强度、配置为引起瞳孔响应的所述一个或多个光束的模式或所述一个或多个光束的颜色分布。
14.根据权利要求11所述的系统,其中,所述处理装置还包括逻辑,所述逻辑在由所述处理装置运行时使所述处理装置执行操作,所述操作包括:
在组合所述图像序列中的图像之前,从所述图像序列中去除第一组图像。
15.根据权利要求14所述的系统,其中,所述第一组图像包括以下中的至少一个:
具有大于第一阈值亮度值的亮度值的过曝光图像;或
具有小于第二阈值亮度值的亮度值的欠曝光图像。
16.根据权利要求11所述的系统,其中,所述光源包括多个发光二极管(LED),并且其中,所述多个LED中的LED中的每个分别位于相对于眼睛的不同位置,所述LED中的每个在视网膜的不同位置上照耀光束。
17.根据权利要求16所述的系统,其中,从每个所述LED发射的光束基本上被准直,并且具有小于瞳孔的宽度的第一宽度,并且其中,所述光束使用第二光圈或透镜光学器件中的至少一个而被准直。
18.根据权利要求17所述的系统,其中,所述光束照射视网膜上的点。
19.根据权利要求11所述的系统,其中,所述图像传感器以每秒至少200帧的帧率捕获所述图像序列,并且其中,所述图像序列包括至少10个图像。
20.根据权利要求11所述的系统,还包括:
显示器,联接到所述处理装置以在所述一个或多个光束照射视网膜时显示定位为供眼睛观看的图像;
中间光学器件,布置在所述图像传感器和所述光圈之间,其中,所述中间光学器件包括透镜或分束器中的至少一个。
21.根据权利要求20所述的系统,其中,所述光源发射红外光,并且其中,所述图像序列中的图像中的每个响应于眼睛中的瞳孔的宽度因改变显示器上的图像而在大小上增大或减小从而具有不同的景深。
22.根据权利要求11所述的系统,其中,在捕获图像中的每个期间,所述光源的接通时间小于所述图像传感器的积分时间,或者其中,在捕获图像中的每个期间,所述图像传感器的积分时间小于所述光源的接通时间。
23.根据权利要求22所述的系统,其中,所述光源的接通时间小于所述积分时间的50%。
24.根据权利要求11所述的系统,其中,所述图像传感器捕获所述图像序列的总积分时间大于所述光源在照射视网膜时的总接通时间。
Applications Claiming Priority (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201762551708P | 2017-08-29 | 2017-08-29 | |
US62/551,708 | 2017-08-29 | ||
US16/046,265 | 2018-07-26 | ||
US16/046,265 US11160449B2 (en) | 2017-08-29 | 2018-07-26 | Focus stacking for retinal imaging |
PCT/US2018/047605 WO2019046076A1 (en) | 2017-08-29 | 2018-08-22 | STACK OF RETINAL IMAGING FOCUS |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111093470A true CN111093470A (zh) | 2020-05-01 |
CN111093470B CN111093470B (zh) | 2022-12-06 |
Family
ID=65436306
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201880056822.8A Active CN111093470B (zh) | 2017-08-29 | 2018-08-22 | 用于视网膜成像的焦点堆叠 |
Country Status (5)
Country | Link |
---|---|
US (3) | US11160449B2 (zh) |
EP (1) | EP3675710B1 (zh) |
JP (1) | JP6849856B2 (zh) |
CN (1) | CN111093470B (zh) |
WO (1) | WO2019046076A1 (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112220448A (zh) * | 2020-10-14 | 2021-01-15 | 上海鹰瞳医疗科技有限公司 | 眼底相机及眼底图像合成方法 |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DK3709258T3 (da) * | 2019-03-12 | 2023-07-10 | L & T Tech Services Limited | Generering af sammensat billede ud fra talrige billeder taget for objekt |
EP4003141A4 (en) * | 2019-07-23 | 2022-08-31 | Broadspot Imaging Corporation | CAROUSEL GUIDANCE FOR OPTICAL IMAGING DEVICES |
US11288782B2 (en) * | 2019-09-23 | 2022-03-29 | Samsung Electronics Co., Ltd. | Electronic device for performing video HDR processing based on image data obtained by plurality of image sensors |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101172035A (zh) * | 2006-10-31 | 2008-05-07 | 株式会社拓普康 | 眼科摄影装置 |
US20160249804A1 (en) * | 2015-02-27 | 2016-09-01 | Welch Allyn, Inc. | Through Focus Retinal Image Capturing |
US20170082858A1 (en) * | 2015-09-23 | 2017-03-23 | Magic Leap, Inc. | Eye imaging with an off-axis imager |
US20170098117A1 (en) * | 2012-02-22 | 2017-04-06 | Sri International | Method and apparatus for robustly collecting facial, ocular, and iris images |
WO2017123702A1 (en) * | 2016-01-12 | 2017-07-20 | Princeton Identity, Inc. | Systems and methods biometric analysis |
Family Cites Families (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH09294719A (ja) * | 1996-05-07 | 1997-11-18 | Menicon Co Ltd | 視力測定用遮眼具 |
JP2005507727A (ja) | 2001-10-16 | 2005-03-24 | ザ スキーペンズ アイ リサーチ インスティテュート インコーポレイテッド | 網膜造影デジタル処理デバイス |
JP4545418B2 (ja) * | 2003-11-06 | 2010-09-15 | 株式会社トプコン | 眼底カメラ |
US7290882B2 (en) | 2004-02-05 | 2007-11-06 | Ocutronics, Llc | Hand held device and methods for examining a patient's retina |
JP2009294719A (ja) | 2008-06-02 | 2009-12-17 | Autonetworks Technologies Ltd | 道路標示認識装置 |
FI20096190A (fi) | 2009-11-17 | 2011-05-18 | Optomed Oy | Tutkimuslaite |
JP5566196B2 (ja) * | 2010-06-14 | 2014-08-06 | キヤノン株式会社 | 画像処理装置及びその制御方法 |
JP2012213555A (ja) * | 2011-04-01 | 2012-11-08 | Topcon Corp | 眼底撮影装置 |
JP2013144579A (ja) | 2012-01-13 | 2013-07-25 | Fuji Xerox Co Ltd | 媒体搬送装置、後処理装置および画像形成装置 |
US20130285885A1 (en) | 2012-04-25 | 2013-10-31 | Andreas G. Nowatzyk | Head-mounted light-field display |
CA2941306C (en) | 2014-03-03 | 2020-04-28 | Eyeway Vision Ltd. | Eye projection system |
WO2017079333A1 (en) | 2015-11-04 | 2017-05-11 | Magic Leap, Inc. | Light field display metrology |
-
2018
- 2018-07-26 US US16/046,265 patent/US11160449B2/en active Active
- 2018-08-22 WO PCT/US2018/047605 patent/WO2019046076A1/en unknown
- 2018-08-22 EP EP18851279.2A patent/EP3675710B1/en active Active
- 2018-08-22 JP JP2020506329A patent/JP6849856B2/ja active Active
- 2018-08-22 CN CN201880056822.8A patent/CN111093470B/zh active Active
-
2021
- 2021-09-29 US US17/489,670 patent/US11766170B2/en active Active
-
2023
- 2023-08-03 US US18/230,073 patent/US20230389789A1/en active Pending
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101172035A (zh) * | 2006-10-31 | 2008-05-07 | 株式会社拓普康 | 眼科摄影装置 |
US20170098117A1 (en) * | 2012-02-22 | 2017-04-06 | Sri International | Method and apparatus for robustly collecting facial, ocular, and iris images |
US20160249804A1 (en) * | 2015-02-27 | 2016-09-01 | Welch Allyn, Inc. | Through Focus Retinal Image Capturing |
US20170082858A1 (en) * | 2015-09-23 | 2017-03-23 | Magic Leap, Inc. | Eye imaging with an off-axis imager |
WO2017123702A1 (en) * | 2016-01-12 | 2017-07-20 | Princeton Identity, Inc. | Systems and methods biometric analysis |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112220448A (zh) * | 2020-10-14 | 2021-01-15 | 上海鹰瞳医疗科技有限公司 | 眼底相机及眼底图像合成方法 |
CN112220448B (zh) * | 2020-10-14 | 2022-04-22 | 北京鹰瞳科技发展股份有限公司 | 眼底相机及眼底图像合成方法 |
Also Published As
Publication number | Publication date |
---|---|
WO2019046076A1 (en) | 2019-03-07 |
US20190059715A1 (en) | 2019-02-28 |
US20220087521A1 (en) | 2022-03-24 |
JP2020532346A (ja) | 2020-11-12 |
US20230389789A1 (en) | 2023-12-07 |
EP3675710A1 (en) | 2020-07-08 |
CN111093470B (zh) | 2022-12-06 |
JP6849856B2 (ja) | 2021-03-31 |
EP3675710B1 (en) | 2023-05-31 |
US11766170B2 (en) | 2023-09-26 |
US11160449B2 (en) | 2021-11-02 |
EP3675710A4 (en) | 2021-05-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111093470B (zh) | 用于视网膜成像的焦点堆叠 | |
CN111225598B (zh) | 视网膜突发成像期间的闪光优化 | |
DK3051490T3 (en) | Ophthalmological device, method of imaging and program | |
CN110022756A (zh) | 离焦视网膜图像捕获 | |
JP2014079392A (ja) | 眼科撮影装置 | |
US20210145276A1 (en) | Non-mydriatic, non-contact system and method for performing widefield fundus photographic imaging of the eye | |
CN111511267B (zh) | 使用在图像路径中的照明的眼部成像 | |
JP2014073205A (ja) | 眼底撮影装置 | |
JP2014233484A (ja) | 眼科撮影装置及びその画像生成方法 | |
JP2015146961A (ja) | 眼科装置及び眼科装置の制御方法 | |
US20160089027A1 (en) | Method for photographically observing and/or documenting the fundus of an eye, and fundus camera | |
JP6739183B2 (ja) | 眼科装置 | |
JP2005261447A (ja) | 眼科撮影装置 | |
WO2020064778A2 (en) | Low cost fundus imager with integrated pupil camera for alignment aid | |
JP6957842B2 (ja) | 眼底撮影装置 | |
US12029486B2 (en) | Low cost fundus imager with integrated pupil camera for alignment aid | |
JP6691596B2 (ja) | 眼科撮影装置 | |
Vienola et al. | Parallel line scanning ophthalmoscope for retinal imaging | |
JP2016083240A (ja) | 眼科装置 | |
JP6836212B2 (ja) | 眼科撮影装置 | |
JP2024093185A (ja) | 眼科装置、眼科装置の制御方法、眼科撮影方法、プログラム、及び記録媒体 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |