CN111511267A - 使用在图像路径中的照明的眼部成像 - Google Patents

使用在图像路径中的照明的眼部成像 Download PDF

Info

Publication number
CN111511267A
CN111511267A CN201880083008.5A CN201880083008A CN111511267A CN 111511267 A CN111511267 A CN 111511267A CN 201880083008 A CN201880083008 A CN 201880083008A CN 111511267 A CN111511267 A CN 111511267A
Authority
CN
China
Prior art keywords
image
eye
images
arms
imaging
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201880083008.5A
Other languages
English (en)
Other versions
CN111511267B (zh
Inventor
R.克雷默
E.格利克
H.吴
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Verily Life Sciences LLC
Original Assignee
Verily Life Sciences LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Verily Life Sciences LLC filed Critical Verily Life Sciences LLC
Publication of CN111511267A publication Critical patent/CN111511267A/zh
Application granted granted Critical
Publication of CN111511267B publication Critical patent/CN111511267B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/365—Control or image processing arrangements for digital or video microscopes
    • G02B21/367—Control or image processing arrangements for digital or video microscopes providing an output produced by processing a plurality of individual source images, e.g. image tiling, montage, composite images, depth sectioning, image comparison
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/12—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for looking at the eye fundus, e.g. ophthalmoscopes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/14—Arrangements specially adapted for eye photography
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/10—Beam splitting or combining systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/51—Housings
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H04N23/676—Bracketing for image capture at varying focusing conditions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/74—Circuitry for compensating brightness variation in the scene by influencing the scene brightness using illuminating means

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Signal Processing (AREA)
  • Optics & Photonics (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Ophthalmology & Optometry (AREA)
  • Analytical Chemistry (AREA)
  • Chemical & Material Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Eye Examination Apparatus (AREA)
  • Stroboscope Apparatuses (AREA)
  • Lenses (AREA)

Abstract

一种用于对眼睛的内部成像的装置包括光敏传感器和外壳结构，该外壳结构具有限定成像区域的开口，以放置眼睛用于由光敏传感器成像。在多个图像的捕获期间，一个或多个光发射器(LE)设置在光敏传感器和眼睛之间的图像路径中。控制器耦合到多个LE和光敏传感器。控制器实现逻辑，当由控制器执行时，该逻辑使得装置执行操作，包括：用一个或多个LE照亮成像区域；以及在用来自一个或多个LE的光照亮眼睛的同时，用光敏传感器捕获眼睛的内部的多个图像。

Description

使用在图像路径中的照明的眼部成像
相关申请的交叉引用
本申请要求于2017年12月22日提交的第62/609,956号美国申请的权益，该申请的内容通过引用结合于此。
技术领域
本公开一般涉及成像技术，并且具体地，涉及视网膜成像。
背景技术
视网膜成像是用于多种视网膜疾病的筛查、现场诊断和进展监控的基本眼睛检查的一部分。高保真度视网膜图像对于准确的筛查、诊断和监控非常重要。通过瞳孔对眼睛的后内表面(即视网膜)进行明亮的照明改善了图像保真度，同时也经常产生光学像差(aberration)或图像伪影(artifact)，诸如透镜眩光(flare)。透镜眩光是由于内部反射、各种内部边界处的折射率改变、缺陷或其他原因导致光从透镜系统的内部组件散射出去的现象。这种散射光在视网膜图像中表现为透镜眩光，这对图像质量是有害的。照明越明亮，透镜眩光越明显，这有损于提高图像保真度的目标。由于瞳孔错位引起的虹膜(iris)反射或角膜(corneal)反射，可能会产生其他图像伪影。
附图说明
参考以下附图描述本发明的非限制性和非穷尽性实施例，其中除非另有说明，否则在各个视图中相同的附图标记指代相同的部件。并非必须标记元素的所有实例，以免在有些情况下混淆附图。附图不一定是按比例绘制的，重点在于示出所描述的原理。
图1A-1B示出了根据本公开的实施例的用于对眼睛的内部成像的装置。
图2A-2D示出了根据本公开的实施例的可以包括在图1A-1B的装置中的动态照明器。
图3是根据本公开的实施例的包括集成图像信号处理器的视网膜相机的功能框图。
图4是示出根据本公开的实施例的包括集成图像信号处理器的视网膜相机的图像处理的框流程图。
图5示出了根据本公开的实施例的虹膜的焦点堆叠(focus stacking)图像。
图6示出了根据本公开的实施例的对眼睛的内部成像的方法的流程图。
具体实施方式
本文描述了用于使用在图像路径中的照明源进行眼部成像的装置和方法的实施例。在以下描述中，阐述了很多具体细节以提供对实施例的透彻理解。然而，相关领域的技术人员将认识到，可以在没有一个或多个具体细节的情况下，或者用其他方法、组件、材料等来实践本文描述的技术。在其他情况下，没有详细示出或描述众所周知的结构、材料或操作，以避免模糊某些方面。
在整个说明书中提及“一个实施例”或“实施例”意味着结合该实施例描述的特定特征、结构或特性包括在本发明的至少一个实施例中。因此，在本说明书各处的短语“在一个实施例中”或“在实施例中”的出现不一定都指同一实施例。此外，在一个或多个实施例中，特定特征、结构或特性可以以任何合适的方式组合。
明亮的照明是双刃剑。其提高了视网膜图像的保真度，同时也产生了光学像差(例如，角膜反射/眩光)。一些相机可以具有环状照明源/环形光发射器。这些相机可以具有相对于环形光源的直径来说直径足够小的照明光圈(aperture)，使得角膜反射的大部分(如果不是全部的话)被阻挡。传统相机可以为每个患者拍摄单个静态图像。因此，角膜反射是不可接受的，因为其破坏了患者的视网膜图像。为了解决这个问题，本文所呈现的公开的实施例提供了视网膜图像的焦点堆叠(focal stacking)。然而，即使当使用多图像堆叠技术来创建合成高保真图像时，空间上静止的照明源可能也需要非常小的光圈。因此，本公开的实施例包括用于弥补这些缺陷的动态照明器(其设置在图像路径中并且可以是静止的或可移动的)的设计。此外，通过将动态照明器放置在图像路径(例如，光从眼睛或成像区域传播(travel)到相机的路径)中，有可能为具有偏移的(shifted)位置的眼睛获得令人满意的图像。并且通过使用焦点堆叠，可以在形成合成图像之前移除出现在眼睛的图像中的由动态照明器的存在导致的图像伪影。这些伪影源于来自角膜、透镜元件和内眼散射的反射。
图1A-图1B示出了根据本公开的实施例的用于对眼睛内部成像的装置。更具体地，图1A描绘了该装置，而图1B示出了装置100中使用的透镜光学器件150的详细视图。视网膜成像系统100的图示实施例包括动态照明器105(其具有设置在其中/其上的一个或多个光发射器(light emitter，LE))、视网膜相机110、控制器115、用户界面117、显示器120以及包括透镜125和分束器(beam splitter)130的光学中继系统。如图所示，整个装置可以设置在外壳(housing)结构(例如，塑料或金属结构/壳体)中或包括外壳结构，该外壳结构具有限定成像区域的开口，以放置眼睛用于由相机110成像。
在所描绘的实施例中，视网膜相机110包括光敏传感器(例如，CMOS图像传感器、CCD图像传感器等)。一个或多个LE(例如，可见光或红外光发射二极管、激光二极管、闪光灯等)设置在动态照明器105(照明系统的一部分)上，动态照明器105在视网膜的多个图像的捕获期间位于视网膜相机110和眼睛之间的图像路径中。控制器115(例如，通用或专用处理器、分布式系统、微控制器等)耦合到多个LE和视网膜相机110中的光敏传感器，并且控制器115实现当由控制器115执行时使装置100执行一系列操作的逻辑。例如，装置100可以用一个或多个LE照亮眼睛101，并且在用来自一个或多个LE的光照亮眼睛101的同时，(用光敏传感器)捕获眼睛的内部(例如，视网膜)的多个图像。
在一些实施例中，控制器115还可以(例如，在硬件、软件或两者的组合中)实现使装置组合多个图像中的至少一些图像以形成眼睛的内部的合成图像的逻辑。在一个实施例中，组合可以包括焦点堆叠(即，组合在不同焦距拍摄的多个图像，以给出比任何独立源图像具有更大景深(depth of field)的结果图像)、图像拼接(即，组合具有重叠视场的多个摄影图像，以产生分段全景或高分辨率图像)、图像混合(即，组合给出部分透明的外观的前景图像和背景图像)或其任何组合中的至少一种。受益于本公开的本领域普通技术人员将理解，除了本文描述的技术之外，还可以使用其他技术。在一个实施例中，从图像路径内的多个位置用一个或多个LE照亮眼睛101。这可以通过使多个静止的LE位于图像路径中的不同位置来实现，或者通过在图像捕获期间将一个或多个LE移动到不同位置来实现。可以理解，图像路径可以包括从眼睛的内部反射的、具有入射到光敏传感器上或指向光敏传感器的路径的光，并且这些光中的一些可以被动态照明器105吸收。在一些实施例中，动态照明器可以包括电路板，电路板上安装有发光二极管。在一些实施例中，保持光发射器的结构(例如，照明系统)的至少一部分是基本透明的(例如，玻璃、亚克力等)，或者能够变成透明或基本透明(例如，可以变成透明的基于液晶的设备)。透明的另一种形式是将所述结构放置在失焦的位置，这样该结构就不会显示在多个图像中。
动态照明器105的至少一部分物理上位于眼睛101的光路中。如图2A-图2D所示，用于形成视网膜图像的光穿过或绕过动态照明器到达视网膜相机210。然而，一些图像光可能被动态照明器105吸收，因为动态照明器105设置在图像路径中。除了减少由于来自角膜的有害反射造成的图像伪影之外，使用来自动态照明器105的多个照明位置还用于增加系统100的眼盒(eyebox)。该眼盒是空间中眼睛101可以被定位和成像的区域。增加眼盒的一个策略采用来自成像光圈的中间(或来自其他部分)的光，并且通过干扰(obtrude)对称光圈的一部分，就有可能产生这种光。在一些实施例中，包括在动态照明器105中的全部分立光源都设置在从眼睛101延伸到视网膜相机110的成像路径的周界(perimeter)内，而在其他实施例中，一些光源(光发射器)设置在成像路径外。在一些(移动的)实施例中，光源可以移入和移出成像路径，并且可以在两个照明位置捕获图像。
所描绘的实施例包括分束器130(或偏振分束器)，该分束器130被定位为使视网膜图像的光的一部分通过以到达视网膜相机110，同时将从显示器120输出的显示光反射到眼睛101。显示光可以包括固定目标或其他视觉刺激，以在成像期间协助视网膜对准。在一些实施例中，分束器130的透射性(transmissive)大于反射性(reflective)。在一个实施例中，分束器130为大约90％透射且10％反射。也可以实现其他反射/透射比。在系统100各处提供透镜125，以在光路中提供图像和光聚焦。然而，正如将由图1B示出的，在图1A中描绘的透镜仅是更复杂的透镜系统的草图图示。用户界面117提供了开始连续图像捕获(burstimage capture)的机制。在一个实施例中，用户界面117是按钮、触摸屏、鼠标等。在预捕获期间也可以基于满足择优公式(merit based formula)来使用自动捕获。
图1B描绘了根据本公开的实施例的在装置100中使用的透镜光学器件150的详细视图。可以理解，“透镜光学器件150”还可以包括除透镜之外的光学器件，诸如光圈、分束器等。所描绘的实施例包括六个分立透镜(其中的一些可以具有多个组件)。下图说明了从动态照明器105发射的光的光线图，以及光如何传播到眼睛101中。
设置在动态照明器105和眼睛101之间的是光圈161和第一透镜163，第一透镜163包括两个凸表面。如图所示，光圈161设置在动态照明器105和第一透镜163之间，以阻挡否则会引起不希望的反射的光。透镜159具有两个凸表面和两个分立部分，并且位于透镜157和动态照明器105之间。如图所示，透镜157具有与透镜159相似的特征，并且设置在透镜155和透镜159之间。透镜155设置在透镜157和153之间，并且具有凹表面(面对视网膜相机110)和凸表面(面对动态照明器105)。透镜153设置在透镜151和透镜155之间。本领域的普通技术人员将会理解，根据本公开的教导，本文描述的透镜和其他光学组件仅表示组装系统100的透镜光学器件的多种方式中的一种。
如放大的下图所示，取决于眼睛在眼盒中的位置以及基于所使用的LE，取决于LE的位置，图像中可能会出现不同的伪影和不同的照明轮廓(profile)。通过将LE放置在成像光圈中，有可能实现在Y方向(例如，页面的顶部和底部之间的方向)上较高的焦点，这对于在Y方向上的移位的眼睛位置可能是需要的。
图2A-图2D示出了根据本公开的实施例的可以包括在图1A-图1B的装置中的动态照明器。本领域的普通技术人员将会理解，尽管本文示出了动态照明器205的四个实施例，但是这些示例并不是穷尽性的；根据本公开的教导，许多其他形状和配置是可能的。此外，可以使用任何数量的设计来优化给定光学系统的调制传递函数(modular transferfunction，MTF)。
图2A描绘了可以驻留在图1A中描绘的设备中的图像路径中的动态照明器205的实施例。如图所示，动态照明器205位于眼睛201(包括瞳孔203)的前方，并且具有从中心点向外延伸的臂207。在臂207的远端(与中心点或旋转轴相对)是LE 209。可以理解，对于图像获取过程的至少一部分，臂207是在图像路径中的(例如，在图像捕获期间，臂207可以自旋(spin)到图像路径中)。
在操作中，中心枢转点可以耦合到马达(例如，电动马达)，马达可以用于相对于眼睛将臂207自旋或旋转(rotate)(并因此使LE 209围绕枢转点自旋或旋转)到各种位置(例如，位置1-7)。LE 209可以在多个位置选通(strobe)，其中的一些位置可以在眼睛和相机之间的图像路径内。独立/离散闪光可以对应于利用相机的独立/离散图像的图像捕获。可以理解，闪光(照明事件)的数量可以与捕获的图像的数量相同、闪光的数量可以比捕获的图像的数量多、或者闪光的数量可以比捕获的图像的数量少。此外，当臂207自旋时，枢轴点可以是静止的或移动的。可以理解，根据本公开的教导，可以同时采用多于一个的动态照明器205，并且臂207可以包括多于一个的LE 209。
图2B描绘了设置在眼睛201(包括瞳孔203)前方的动态照明器205的另一实施例。如图所示，动态照明器205基本上是环状的(即，环形的)，并且臂207朝向环的中心延伸。LE209位于臂的远端(靠近环的中心)。如图所示，动态照明器205可以旋转，使得LE 209移动到不同的位置(例如，位置1-8)。如图所示，LE 209(例如，LED)固定在臂207的端部和中间，臂207附接到绕成像路径轴自旋的环。当臂(例如，臂207)扫过成像路径时，在臂处于第一位置的情况下捕获一帧。臂/环继续自旋到下一个位置，在那里捕获另一帧。这种情况一直持续到捕获到所有八个帧，使得最终堆叠的图像能够被均匀地照亮，同时移除了臂在独立帧中的任何影响。类似于图1A中的设备，这种旋转可以使用耦合到控制器的电动马达来实现。相机(或光敏传感器)可以在八个位置中的每一个位置处捕获图像。尽管这里描绘了八个位置，受益于本公开的本领域普通技术人员将会理解，可以在臂207处于任何数量的位置时捕获图像。尽管所描绘的实施例仅具有一个带有两个LE 209的臂207，但是在其他实施例中，可以存在朝向环的中心延伸或者从环向外延伸的多个臂(带有一个或多个LE)。根据本公开的教导，臂可以是对称的或者可以具有不同的形状和长度。
图2C描绘了静止的动态照明器205。如图所示，臂207(这里基本上是半圆形的)中的一些向环的中心延伸，并且臂207中的一些远离环的中心延伸。如图所示，臂207每个具有单个LE 209。此外，对于朝向环的中心延伸的臂207和远离环的中心延伸的臂207两者，臂207均围绕环以基本上π/2弧度定位。像动态照明器205的其他实施例一样，在所描绘的实施例中，静止的动态照明器至少部分地设置在从视网膜到相机的光的图像路径中。在所描绘的实施例中，通光(clear)光圈(图像光穿过的地方)允许LE 209被放置在成像光圈的内部和周围两者。一个好处是光圈在本质上是对称的，因此可以不对称地干扰光圈的部分，而不会干扰图像。
图2D描绘了动态照明器205的另一静止的(例如，臂207和LE 209在图像路径中的固定位置)实施例。在所描绘的实施例中，臂207朝向图像路径的中心延伸，以在图像路径中形成十字形结构(由十字形结构创建的四个象限是用于图像光穿过的空的空间或透明材料)。在其他实施例中，可以理解，可以存在任何数量(诸如2、3、5等)的交叉臂。如图所示，多个LE 209沿着臂207并围绕图像路径的外围设置。在所描绘的实施例中，LE 209可以按顺序(例如，从最靠近左上角的LE 209开始向下移动到右下角，一次一个，等等)点亮(fire)。可替换地或附加地，可以同时点亮LE 209中的一些或全部。受益于本公开的本领域普通技术人员将理解，可以采用多种LE照明模式。
图3是根据本公开的实施例的包括集成图像信号处理器的视网膜相机300的功能框图。视网膜相机300是视网膜相机110的一种可能的实现方式。视网膜相机300的图示实施例包括二维传感器阵列305、数据转换电路310、存储器缓冲器315、集成图像信号处理器(image signal processor，ISP)320和输出端口325。
在操作期间，二维图像数据(例如，视网膜图像)由传感器阵列305获取，并由数据转换电路310从模拟域转换到数字域。可以以高帧率(例如，每秒24、48、60、240、1000帧)获取图像数据，并将图像数据存储到存储器缓冲器315中。ISP 320对缓冲的视网膜图像帧进行操作，以识别可用或缺陷区域，注释图像帧中的感兴趣区域，和/或将可用区域组合成高质量合成视网膜图像。因此，在一个实施例中，上面描述的图像处理任务中的一些可以从控制器315卸载到ISP 320。ISP 320可以被认为是控制器315的逻辑子组件。
图4是示出根据本公开的实施例的包括集成图像信号处理器(例如，图3的ISP320)的视网膜相机(例如，图3的视网膜相机300)的图像处理的框流程图。如图所示，视网膜的图像帧405A-C由传感器阵列(例如，图3的传感器阵列305)以高帧率获取，由数据转换电路(例如，图3的数据转换电路310)转换到数字域，并缓冲到存储器缓冲器(例如，图3的存储器缓冲器315)中。图像分析器410由ISP执行，以分析缓冲的视网膜图像405(一种预处理)，从而确定图像帧的哪些部分质量足够，以及哪些由于不可接受的图像伪影而质量不足。例如，图像分析器410可以分析图像帧405中的模糊部分、不具有可使用所需的足够对比度的部分、洗去(wash out)的部分和/或包括不可接受的角膜或虹膜反射或者透镜眩光的部分。将被认为不可接受的图像部分标示(例如，标记或注释)为不可接受，而将被认为可接受的图像部分标示为可接受。然后，图像帧被图像配准/裁剪模块415彼此配准(例如，像素到像素对准)，裁剪到公共视场，并且然后被堆叠模块420组合为单个合成视网膜图像425。堆叠模块420可以组合图像以生成高动态范围图像。在其他实施例中，图像帧405被简单地组合，而无需对独立图像帧的分析和/或注释。根据本公开的教导，结合图3和图4讨论的所有图像处理步骤和硬件可以被认为是“控制器”的一部分。
图5示出了根据本公开的实施例的虹膜的焦点堆叠图像。如图所示，用图像传感器捕获视网膜的四个图像帧(505A-505D)。长线表示视网膜中/上的完全分辨的静脉和其他解剖结构；短虚线表示图像的失焦或洗去的部分。如图所示，图像帧505A的左下角是完全分辨的，但是图像的其余部分不是。类似地，图像帧505B的中间部分(从帧的左上角延伸到右下角)是聚焦的并且完全分辨的，但是图像帧505B的其余部分不是。图像帧505的右上角是聚焦的，但图像的其余部分不是。最后，图像帧505D失焦并且不包含有用的信息。因此，图像帧505D被移除，并且不被发送到堆叠模块520以用于合成图像525。剩余的图像帧505A-505C被发送到堆叠模块520，以组合为具有大景深的单个高分辨率合成图像525。在一个实施例中，可以使用边缘检测、特征检测或傅立叶分析来组合图像。
图6示出了根据本公开的实施例的对眼睛的内部成像的方法600的流程图。可以理解，方法600中的框(例如，框601-605)可以以任何顺序甚至并行发生。此外，根据本公开的教导，可以在方法600中添加或移除框。
框601示出了在系列图像的捕获期间，用设置在光敏传感器和眼睛之间的图像路径中的一个或多个光发射器(LE)照亮眼睛。在一些实施例中，这可以包括从图像路径中的多个位置照亮眼睛。例如，在多个图像的捕获期间，可以用设置在图像路径中的动态照明器的一个或多个臂上设置的一个或多个LE照亮眼睛。在一些实施例中，一个或多个臂相对于眼睛旋转，并且当一个或多个臂旋转时，眼睛由位于多个位置的一个或多个LE照亮。相反，可以从图像路径中的固定位置照亮眼睛。
框603示出了当眼睛由来自一个或多个LE的光照亮时，用光敏传感器捕获眼睛的内部的多个图像。在一个实施例中，相机可以在LE开启时以相同的速率捕获图像。可替代地，LE可以在图像捕获期间持续照亮眼睛。
框605公开了使用控制器组合多个图像中的至少一些图像，以形成眼睛的内部的合成图像。在一些实施例中，这可以包括焦点堆叠、图像拼接、图像混合或其任何组合中的至少一种。
在一个实施例中，可以从合成图像中排除多个图像中的一个或多个图像。排除的一个或多个图像可以包括失焦图像、图像伪影、图像中的反射或图像中除眼睛之外的对象(例如，动态照明器)中的至少一个。可以理解，可以使用多种技术来滤除差质量图像。例如，第一组低质量图像可以包括具有大于第一阈值亮度值的亮度值(例如，图像中所有像素或像素组的平均亮度值)的曝光过度图像，或者具有小于第二阈值亮度值的亮度值的曝光不足图像。在一些实施例中，由于其他原因，诸如图像太模糊(例如，因为图像传感器在捕获期间移动)、图像不包含视网膜的图像(例如，因为对象在图像捕获期间移动)等，可能没有清晰地分辨第一组中的图像。可以经由手动选择或通过自动选择(例如，使用高通/低通滤波器来移除亮度值太高或太低的图像，和/或使用机器学习算法来移除不包括视网膜的图像等)来移除图像。
用计算机软件和硬件描述了上面解释的过程。所描述的技术可以构成具体体现在有形或非暂时性机器(例如，计算机)可读存储介质中的机器可执行指令，当由机器执行时，该指令将使机器执行所描述的操作。此外，这些过程可以在硬件(诸如专用集成电路(application specific integrated circuit，ASIC)或其他)中实施。
有形机器可读存储介质包括以由机器或控制器(例如，计算机、网络设备、个人数字助理、制造工具、具有一组一个或多个处理器的任何设备、由固件/软件配置的通用处理器、可编程门阵列或专用集成电路等)可访问的非暂时性形式提供(即，存储)信息的任何机制。例如，机器可读存储介质包括可记录/不可记录介质(例如，只读存储器(read onlymemory，ROM)、随机存取存储器(random access memory，RAM)、磁盘存储介质、光存储介质、闪存设备等)。
包括摘要中描述的内容的本发明的示例性实施例的上述描述并不旨在穷举或将本发明限制于所公开的精确形式。虽然本文出于说明的目的描述了本发明的具体实施例和示例，但是如相关领域的技术人员将认识到的，在本发明的范围内各种修改是可能的。
根据以上详细描述，可以对本发明做出这些修改。所附权利要求中使用的术语不应被解释为将本发明限制于说明书中公开的特定实施例。相反，本发明的范围将完全由所附权利要求来确定，将根据权利要求解读的既定原则来解释这些权利要求。

Claims (26)

1.一种用于对眼睛的内部成像的装置，包括：
光敏传感器；
外壳结构，所述外壳结构具有限定成像区域的开口，以放置眼睛用于由所述光敏传感器成像；
一个或多个光发射器LE，所述一个或多个光发射器LE能够输出光，并且设置在所述光敏传感器和所述成像区域之间的图像路径中；以及
控制器，所述控制器耦合到一个或多个LE和所述光敏传感器，其中所述控制器实现逻辑，当由所述控制器执行时，所述逻辑使得所述装置执行操作，包括：
用所述一个或多个LE照亮所述成像区域；以及
在用来自所述一个或多个LE的光照亮眼睛的同时，用所述光敏传感器捕获眼睛的内部的多个图像。
2.根据权利要求1所述的装置，其中，所述控制器还实现逻辑，当由所述控制器执行时，所述逻辑使得所述装置执行操作，包括：
组合所述多个图像中的至少两个图像以形成眼睛的内部的合成图像，其中所述组合包括焦点堆叠、图像拼接、图像混合或其任何组合中的至少一种。
3.根据权利要求2所述的装置，其中，所述控制器还实现逻辑，当由所述控制器执行时，所述逻辑使得所述装置执行操作，包括：
从所述合成图像中排除所述多个图像中的一个或多个图像，其中所述一个或多个图像包括失焦图像、图像伪影、图像中的反射或图像中除眼睛以外的对象中的至少一个。
4.根据权利要求1所述的装置，其中，所述控制器还实现逻辑，当由所述控制器执行时，所述逻辑使得所述装置执行操作，包括：
从所述图像路径中的多个不同位置用所述一个或多个LE顺序地照亮所述成像区域。
5.根据权利要求4所述的装置，其中，所述一个或多个LE设置在一个或多个臂上，并且其中，在所述多个图像的捕获期间，所述一个或多个臂设置在所述图像路径中。
6.根据权利要求5所述的装置，其中，所述一个或多个LE设置在单个臂上，并且其中，所述控制器还实现逻辑，当由所述控制器执行时，所述逻辑使得所述装置执行操作，包括：
旋转所述单个臂；以及
当所述单个臂旋转时，用所述一个或多个LE照亮所述成像区域。
7.根据权利要求6所述的装置，其中，所述单个臂附接到环上，并且朝向环的中心延伸，并且其中，旋转所述单个臂包括围绕枢轴点旋转所述环；或者
其中所述单个臂围绕附接点旋转，并且其中所述一个或多个LE设置在所述单个臂的相对于所述附接点的远端处。
8.根据权利要求6所述的装置，其中所述一个或多个臂设置在所述图像路径中的固定位置。
9.根据权利要求8所述的装置，其中所述一个或多个臂是多个臂，并且设置在环状结构上，并且其中所述一个或多个臂中的至少一个朝着环的中心延伸，并且所述一个或多个臂中的至少一个远离环的中心延伸。
10.根据权利要求1所述的装置，其中，所述照明系统的至少部分是透明的，或者能够变得透明。
11.一种对眼睛的内部成像的方法，包括：
在多个图像的捕获期间，用设置在光敏传感器和眼睛之间的图像路径中的一个或多个光发射器LE照亮眼睛；以及
在用来自一个或多个LE的光照亮眼睛的同时，用光敏传感器捕获眼睛的内部的多个图像；以及
使用控制器组合所述多个图像中的至少两个图像，以形成眼睛的内部的合成图像。
12.根据权利要求11所述的方法，其中组合所述多个图像中的至少两个图像以形成合成图像包括焦点堆叠、图像拼接、图像混合或其任何组合中的至少一种。
13.根据权利要求12所述的方法，还包括从所述合成图像中排除所述多个图像中的一个或多个图像，其中所述一个或多个图像包括失焦图像、图像伪影、图像中的反射或图像中除眼睛以外的对象中的至少一个。
14.根据权利要求11所述的方法，还包括通过以下中至少一个从所述合成图像中移除由在所述图像路径中保持所述一个或多个光发射器的结构引起的图像伪影：
排除包括所述图像伪影的图像的部分，使其不包括在所述合成图像中；或者
将所述图像路径中的所述结构放置在所述多个图像的焦点之外。
15.根据权利要求11所述的方法，其中用一个或多个LE照亮眼睛包括从所述图像路径中的多个不同位置顺序地照亮眼睛。
16.根据权利要求15所述的方法，其中从多个位置照亮眼睛包括：在所述多个图像的捕获期间用设置在位于所述图像路径中的一个或多个臂上的一个或多个LE照亮眼睛。
17.根据权利要求16所述的方法，还包括
旋转所述一个或多个臂；
当所述一个或多个臂旋转时，用所述一个或多个LE照亮眼睛。
18.根据权利要求17所述的方法，其中旋转所述一个或多个臂包括以下中的至少一个：
围绕枢轴点旋转环，其中所述一个或多个臂朝向所述环的中心延伸；或者
围绕附接点旋转所述一个或多个臂，并且其中所述一个或多个LE设置在靠近所述一个或多个臂的相对于所述附接点的远端处。
19.根据权利要求16所述的方法，其中照亮眼睛包括从所述图像路径中的固定位置照亮眼睛。
20.根据权利要求1所述的方法，其中从眼睛反射的具有入射到所述光敏传感器上的路径的光的至少一些被包括所述LE的结构吸收。
21.一种用于对眼睛的内部成像的系统，包括：
外壳结构，所述外壳结构具有限定成像区域的开口，以放置眼睛用于成像；
照明系统，可配置为从所选的一个方向照亮所述成像区域；以及
光敏传感器，耦合以捕获眼睛的内部的多个图像，其中所述照明系统至少部分地设置在所述光敏传感器和所述成像区域之间的图像路径中。
22.根据权利要求21所述的系统，其中，所述照明系统包括用照明事件顺序地照亮所述成像区域的一个或多个光发射器LE。
23.根据权利要求22所述的系统，其中：
存在比所述多个图像中的图像多的所述照明事件；
存在比所述多个图像中的图像少的所述照明事件；或者
存在与所述多个图像中的图像相同数量的所述照明事件。
24.根据权利要求22所述的系统，其中捕获所述多个图像中的每个图像是离散事件，并且每个照明事件是离散事件，并且其中所述照明系统从至少两个方向照亮所述成像区域。
25.根据权利要求21所述的系统，其中，所述照明系统的至少部分是透明的，或者能够变得透明。
26.根据权利要求21所述的系统，其中，所述照明系统的至少部分在所述图像路径中并且失焦，以防止所述照明系统的所述至少部分被成像。
CN201880083008.5A 2017-12-22 2018-12-19 使用在图像路径中的照明的眼部成像 Active CN111511267B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201762609956P 2017-12-22 2017-12-22
US62/609,956 2017-12-22
US16/191,938 US10708473B2 (en) 2017-12-22 2018-11-15 Ocular imaging with illumination in image path
US16/191,938 2018-11-15
PCT/US2018/066594 WO2019126382A1 (en) 2017-12-22 2018-12-19 Ocular imaging with illumination in image path

Publications (2)

Publication Number Publication Date
CN111511267A true CN111511267A (zh) 2020-08-07
CN111511267B CN111511267B (zh) 2023-05-30

Family

ID=66950903

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880083008.5A Active CN111511267B (zh) 2017-12-22 2018-12-19 使用在图像路径中的照明的眼部成像

Country Status (4)

Country Link
US (1) US10708473B2 (zh)
JP (1) JP7114710B2 (zh)
CN (1) CN111511267B (zh)
WO (1) WO2019126382A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11389060B2 (en) * 2018-10-31 2022-07-19 Verily Life Sciences Llc Dynamic eye fixation for retinal imaging
US11571124B2 (en) 2019-03-26 2023-02-07 Verily Life Sciences Llc Retinal imaging system with user-controlled fixation target for retinal alignment

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105852798A (zh) * 2014-09-14 2016-08-17 苏州六六视觉科技股份有限公司 广域眼底相机

Family Cites Families (38)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4834528A (en) 1986-08-15 1989-05-30 Cornell Research Foundation, Inc. Infrared photoretinoscope
US5303709A (en) 1991-12-16 1994-04-19 Dreher Andreas W Retinal eye disease diagnostic system
JP4769365B2 (ja) 2001-03-29 2011-09-07 キヤノン株式会社 眼科装置、及びそのオートアライメント方法
AU2003903157A0 (en) 2003-06-20 2003-07-03 The Lions Eye Institute of Western Australia Incorporated The Ophthalmic camera and ophthalmic camera adaptor
EP1602321A1 (en) 2004-06-02 2005-12-07 SensoMotoric Instruments GmbH Method and apparatus for image-based eye tracking for retinal diagnostic or surgery device
EP1850731A2 (en) * 2004-08-12 2007-11-07 Elop Electro-Optical Industries Ltd. Integrated retinal imager and method
US7458685B2 (en) 2005-08-03 2008-12-02 Carestream Health, Inc. Automated fundus imaging system
JP5006585B2 (ja) 2006-06-20 2012-08-22 興和株式会社 手持ち式眼底撮像装置
US7878653B2 (en) 2007-11-08 2011-02-01 Nidek Co., Ltd. Fundus camera
JP5305409B2 (ja) * 2008-02-15 2013-10-02 国立大学法人 奈良先端科学技術大学院大学 白内障検査装置、白内障検査方法、および白内障判定プログラム
US7854510B2 (en) * 2008-10-16 2010-12-21 Steven Roger Verdooner Apparatus and method for imaging the eye
US8514277B2 (en) * 2008-11-05 2013-08-20 Dyer Holdings, Llc Video infrared retinal image scanner
US20130057828A1 (en) 2009-08-31 2013-03-07 Marc De Smet Handheld portable fundus imaging system and method
WO2011038457A1 (en) * 2009-09-30 2011-04-07 Lions Eye Institute Limited Imager, module for an imager, imaging system and method
WO2011047214A2 (en) 2009-10-14 2011-04-21 Optimum Technologies, Inc. Portable retinal camera and image acquisition method
AU2011232625B2 (en) * 2010-03-23 2014-01-16 Neurovision Imaging, Inc. Apparatus and method for imaging an eye
DE102010045364A1 (de) * 2010-09-14 2012-03-15 Carl Zeiss Meditec Ag Verfahren und Vorrichtung zur Erzeugung hochwertiger Fundusaufnahmen
US8408464B2 (en) 2011-02-03 2013-04-02 Metrologic Instruments, Inc. Auto-exposure method using continuous video frames under controlled illumination
JP5772065B2 (ja) 2011-03-01 2015-09-02 株式会社ニデック 眼底撮影装置
US20130329189A1 (en) 2011-03-02 2013-12-12 Kowa Company Ltd. Ophthalmologic photography apparatus
US20130194548A1 (en) 2011-04-07 2013-08-01 Raytheon Company Portable retinal imaging device
US8684529B2 (en) 2011-04-28 2014-04-01 Carl Zeiss Meditec, Inc. Systems and methods for improved visual field testing
US20130010259A1 (en) 2011-07-05 2013-01-10 Escalon Digital Vision, Inc. Region based vision tracking system for imaging of the eye for use in optical coherence tomography
PT2583618T (pt) 2011-10-22 2018-01-24 Alcon Pharmaceuticals Ltd Aparelho para monitorizar um ou mais parâmetros do olho
JP2013165818A (ja) 2012-02-15 2013-08-29 Canon Inc 眼科装置および眼科制御方法並びにプログラム
JP2014161439A (ja) 2013-02-22 2014-09-08 Sony Corp 眼底情報取得装置および方法、並びにプログラム
US20140268040A1 (en) * 2013-03-14 2014-09-18 Physical Sciences, Inc. Multimodal Ocular Imager
WO2014149879A1 (en) 2013-03-15 2014-09-25 Amo Wavefront Sciences, Llc Wavefront interactive refraction display
FI126928B (en) 2013-06-20 2017-08-15 Icare Finland Oy OPTOMETRIC INSTRUMENT WITH MEASURES TO DIRECT THE INSTRUMENT AND PROCEDURE TO PERFORM THIS
WO2015116981A1 (en) 2014-01-30 2015-08-06 Duke University Systems and methods for eye tracking for motion corrected ophthalmic optical coherenece tomography
US9211064B2 (en) 2014-02-11 2015-12-15 Welch Allyn, Inc. Fundus imaging system
AU2015221416B2 (en) * 2014-02-20 2019-03-14 Ingeneus Pty Ltd Ophthalmic device, method and system
EP3185747A1 (en) * 2014-08-31 2017-07-05 Berestka, John Systems and methods for analyzing the eye
US9662014B2 (en) 2015-04-17 2017-05-30 Massachusetts Institute Of Technology Methods and apparatus for visual cues for eye alignment
US10092181B2 (en) 2015-04-29 2018-10-09 University Of Rochester Method of imaging multiple retinal structures
US20160366317A1 (en) * 2015-06-12 2016-12-15 Delta ID Inc. Apparatuses and methods for image based biometric recognition
US10157312B2 (en) * 2015-10-08 2018-12-18 Microsoft Technology Licensing, Llc Iris recognition
JP2017099717A (ja) 2015-12-02 2017-06-08 株式会社ニデック 眼科撮影装置

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105852798A (zh) * 2014-09-14 2016-08-17 苏州六六视觉科技股份有限公司 广域眼底相机

Also Published As

Publication number Publication date
JP7114710B2 (ja) 2022-08-08
WO2019126382A1 (en) 2019-06-27
JP2021506353A (ja) 2021-02-22
US20190199893A1 (en) 2019-06-27
US10708473B2 (en) 2020-07-07
CN111511267B (zh) 2023-05-30

Similar Documents

Publication Publication Date Title
US11766170B2 (en) Focus stacking for retinal imaging
US11045083B2 (en) Flash optimization during retinal burst imaging
US11828927B2 (en) Accelerating digital microscopy scans using empty/dirty area detection
US10607389B2 (en) Microscopic imaging system and method with three-dimensional refractive index tomography
CN111511267B (zh) 使用在图像路径中的照明的眼部成像
JP7441588B2 (ja) スリット走査型眼底撮像装置の改良
JP7478727B2 (ja) アライメント支援のための一体化瞳カメラを有する低コスト眼底撮像器
US11153463B2 (en) Region of interest table
JP2024093185A (ja) 眼科装置、眼科装置の制御方法、眼科撮影方法、プログラム、及び記録媒体

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant