CN111148460B - 视网膜位置跟踪 - Google Patents
视网膜位置跟踪 Download PDFInfo
- Publication number
- CN111148460B CN111148460B CN201780095439.9A CN201780095439A CN111148460B CN 111148460 B CN111148460 B CN 111148460B CN 201780095439 A CN201780095439 A CN 201780095439A CN 111148460 B CN111148460 B CN 111148460B
- Authority
- CN
- China
- Prior art keywords
- pixel
- image
- value
- images
- registered
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
- A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
- A61B3/102—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for optical coherence tomography [OCT]
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
- A61B3/0016—Operational features thereof
- A61B3/0025—Operational features thereof characterised by electronic signal processing, e.g. eye models
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
- A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
- A61B3/12—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for looking at the eye fundus, e.g. ophthalmoscopes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
- G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10101—Optical tomography; Optical coherence tomography [OCT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30041—Eye; Retina; Ophthalmic
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Public Health (AREA)
- Surgery (AREA)
- Veterinary Medicine (AREA)
- General Health & Medical Sciences (AREA)
- Animal Behavior & Ethology (AREA)
- Biophysics (AREA)
- Ophthalmology & Optometry (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Medical Informatics (AREA)
- Molecular Biology (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
- Medicines Containing Antibodies Or Antigens For Use As Internal Diagnostic Agents (AREA)
- Eye Examination Apparatus (AREA)
Abstract
提供了一种处理由眼科设备采集的视网膜的图像序列以生成视网膜位置跟踪信息的方法,视网膜位置跟踪信息指示在采集图像序列期间视网膜的运动。该方法包括:(i)接收(S10)视网膜的一个或更多个图像;(ii)计算(S20)参考图像和基于一个或更多个接收的图像的图像之间的互相关,以获取该图像和参考图像之间的偏移;以及重复过程(i)和(ii),以获取基于相应的一个或更多个接收的图像的图像的相应偏移作为视网膜位置跟踪信息。该方法还包括在重复过程(i)和(ii)的时候,通过确定两个或更多个接收图像中对应定位的像素区域之间的相似性度量,并基于所确定的相似性度量,突出相对于参考图像中其他特征在参考图像中代表成像视网膜的结构的特征,来修改参考图像。
Description
技术领域
本发明总体上涉及图像处理领域,并且更具体地涉及处理由眼科设备采集的视网膜的图像,该眼科设备具有成像部分以生成视网膜位置跟踪信息,该视网膜位置跟踪信息指示在图像采集期间视网膜的运动。
背景
具有成像部分(诸如扫描激光检眼镜(SLO))的眼科设备通常用于光学相干断层扫描(OCT)和其他种类的眼科工作,该眼科设备可以使用该成像部分来生成用于跟踪眼运动的视网膜图像的流。成像部分通常以高帧率并且在相对低水平的红外(IR)照明下采集图像。因此,采集的图像往往动态范围低,并且展现了差的信噪比。此外,小的眼运动可以影响图像照明,使得从一个图像帧到另一个图像帧会发生视网膜特征变化和分裂。这些因素使得在眼运动跟踪期间或在图像的后处理中难以获得令人满意的位置置信度、可重复性、准确性和稳定性。
概述
本发明人设计了一种处理由具有成像部分的眼科设备采集的视网膜的图像序列以生成视网膜位置跟踪信息的方法,视网膜位置跟踪信息指示在采集图像序列期间视网膜的运动。该方法包括:(i)接收视网膜的一个或更多个图像;(ii)计算在参考图像和基于接收的图像中的一个或更多个的图像之间的互相关,以获取该图像和参考图像之间的偏移;以及重复过程(i)和(ii),以获取对于基于相应的一个或更多个接收的图像的该图像的相应偏移作为视网膜位置跟踪信息。该方法还包括在重复过程(i)和(ii)的时候,通过确定接收的图像中的两个或更多个中的像素的对应地定位的区域之间的相似性度量,并基于所确定的相似性度量相对于参考图像中其他特征来突出在该参考图像中代表成像视网膜的结构的特征,从而修改参考图像。
本发明人还设计了携带计算机程序指令的非暂态计算机可读存储介质和信号,当该计算机程序指令由处理器执行时,使处理器执行上述方法。
本发明人还设计了一种图像处理装置,该图像处理装置被配置成处理由眼科设备采集的视网膜的图像序列,以生成指示在采集图像序列期间视网膜的运动的视网膜位置跟踪信息,该图像处理装置包括处理器和存储计算机程序指令的存储器,计算机程序指令在由处理器执行时,使处理器执行上述方法。
本发明人还设计了一种眼科设备,该眼科设备包括光学相干断层扫描(OCT)成像模块和跟踪图像采集模块,该光学相干断层扫描(OCT)成像模块被配置成通过扫描穿过视网膜的光束并处理来自视网膜的该光束的反射,采集眼睛的视网膜的OCT图像,该跟踪图像采集模块被配置成采集视网膜的图像序列,以用于在OCT成像模块采集OCT图像的同时跟踪视网膜的运动。眼科设备还包括控制器,该控制器包括上述图像处理装置,该图像处理装置被配置成处理图像序列以生成视网膜位置跟踪信息,该视网膜位置跟踪信息指示在采集OCT图像期间视网膜的运动。控制器被配置成使用视网膜位置跟踪信息来控制OCT成像模块,以便在采集OCT图像期间使光束稳定。
附图简述
现在将参考附图仅通过示例方式来详细解释本发明的实施例,其中:
图1是根据本发明的实施例的眼科设备的示意图;
图2是眼科设备的控制器的图像处理装置在可编程信号处理硬件中的实现的示意图;
图3是示出图像处理装置处理由眼科设备采集的视网膜的图像序列以生成在本发明的第一实施例中的视网膜位置跟踪信息的过程的流程图;
图4是示出了修改了在图3的过程中使用的参考图像以相对于参考图像中的其他特征突出了在其中表示成像视网膜的结构的特征的过程的流程图;
图5是示出两个接收的图像相对于彼此配准的过程的流程图;
图6是表示一对图像的互相关结果的相关面的示意图;
图7是示出在图4的过程S200中如何处理累加器阵列的一个方面的示意图;
图8是示出在图4的过程S200的变型中如何处理累加器阵列的一个方面的示意图;
图9显示了表示本文描述的累加器阵列的图像,其示出了累加器阵列随着由实施例的图像处理装置处理的图像帧的数量从1增加到15而如何变化;
图10示出了与固定的(不变的)参考帧相比,当根据实施例相对于参考图像跟踪时锁存器(latch)强度的改善;和
图11是示出了修改在图3的过程中使用的参考图像以相对于本发明的第二实施例中的参考图像中的其他特征来突出在其中表示成像视网膜的结构的特征的过程的流程图。
实施例的详细描述
图1是根据本发明的实施例的眼科设备100的示意图。
眼科设备100包括光学相干断层扫描(OCT)成像模块110,该光学相干断层扫描成像模块110可操作以通过在视网膜上扫描由超发光二极管(SLD)或其他光源生成的OCT样本光束来采集眼睛的视网膜的OCT图像(该超发光二极管或其他光源可在近红外或红外光谱的任何部分中操作),并且处理来自视网膜的样本光束的反射。眼科设备100还包括跟踪图像采集模块120,跟踪图像采集模块120被配置成:在OCT成像模块110采集OCT图像时,获取表示视网膜的图像序列的任何合适格式的图像数据,以用于跟踪视网膜的运动。如在本实施例中,跟踪图像采集模块120可以包括扫描激光检眼镜(SLO)。跟踪图像采集模块120可以被配置成以高帧率(通常为50至100Hz)采集跟踪图像(例如,作为红外(IR)SLO图像)。因此,所采集的图像实际上可以形成视网膜的扫描区域的实时电影。
眼科设备100还具有控制器130,该控制器130包括图像处理装置140,该图像处理装置140被配置成处理图像序列以生成视网膜位置跟踪信息,该视网膜位置跟踪信息指示在采集OCT图像期间视网膜的运动,如下文更详细描述的。该实施例的图像处理算法的优点是它从低照度、低分辨率和低信噪比图像中获取可靠的视网膜位置跟踪信息的能力,这些图像通常是在为了患者的舒适以及能够避免分散患者所保持的固定注视而使用IR照明时采集的。在至少一些实施例中,该算法的另一个优点是其相对于无效跟踪特征来突出有效跟踪特征的可能性,无效跟踪特征(诸如反射以及眼睑和睫毛等)可能不与视网膜位置相对应地移动(对这些无效特征的跟踪不会提供关于视网膜如何移动的准确、一致的信息,并且可能使跟踪算法偏离真实的视网膜运动)。该算法包括使用图像间帧信息(inter-imageframe information),图像间帧信息被自动识别为在多个图像帧之间是共同且一致的但不一定在相同的位置,并且在衰减参考图像中不共同的信息的同时在参考图像中被突出。该算法的噪声特性和伪像容限特性是特别重要的,因为对于快速帧率SLO图像的设计约束(例如,对于使用IR照明的需要和激光功率约束)倾向于意味着跟踪数据相对于诊断SLO图像通常将具有相对低的质量和差的信噪比。另一个问题在于,小的眼运动会以这样的方式影响图像照明,即帧与帧之间的特征变化会使得难以获取可靠的视网膜位置跟踪信息。如下面将更详细描述的,实施例的图像处理方法包括使用帧到帧信息,该帧到帧信息被自动识别为在多于一个帧之间是共同的且有效的,并且在参考帧中相对于对帧不是共同的信息而被突出。
控制器130被配置成使用由图像处理装置140生成的视网膜位置跟踪信息来控制OCT成像模块110,以便在采集OCT图像期间使OCT样本光束稳定(换句话说,至少部分地补偿由视网膜位置跟踪信息指示的视网膜的运动),并且因此提高OCT图像中的清晰度和细节。作为非限制性示例,在申请号为PCT/BG2013/052556(公布为WO2014/053824A1)的国际专利申请中更详细地描述了包括这种OCT成像模块和跟踪图像采集模块的组合SLO-OCT成像系统,其内容通过引用以其整体并入本文。
然而,应当注意,由图像处理装置140获取的视网膜位置跟踪信息不需要用于控制OCT成像模块110或其他种类的成像设备或其一部分来补偿眼运动,而是例如可以用于采集的图像序列的后处理。应当注意,视网膜位置跟踪信息不仅可以用于眼科成像设备,还可以用于其他种类的眼科设备(诸如,用于激光眼科手术和其他类型的眼科介入手术中的眼科设备),以补偿和/或跟踪眼运动。
图2是在可编程信号处理硬件中图像处理装置140的示例性实现的示意图。眼科设备100的控制器130可以以相同的方式实现。
图2所示的信号处理装置200包括输入/输出(I/O)部分210,用于接收来自跟踪图像采集模块120的图像。信号处理装置200还包括处理器220、工作存储器230(例如随机存取存储器)和存储计算机可读指令的指令储存器240,计算机可读指令在由处理器220执行时使处理器220执行下文描述的处理操作,以处理所采集的视网膜图像的序列,以生成视网膜位置跟踪信息。指令储存器240可以包括预加载有计算机可读指令的ROM(例如,电可擦除可编程只读存储器(EEPROM)或闪存的形式)。可选地,指令储存器240可以包括RAM或类似类型的存储器,并且计算机可读指令可以从计算机程序产品(诸如计算机可读存储介质250,诸如CD-ROM等)或者携带计算机可读指令的计算机可读信号260被输入到指令储存器240。
图3是示出图像处理装置140处理由眼科设备100采集的视网膜的图像序列以生成视网膜位置跟踪信息的过程的流程图。
在过程S10中,图像处理装置140接收视网膜的一个或更多个图像。如在本实施例中,图像处理装置140可以在过程S10中接收视网膜的单个图像,或者可以可选地在过程S10中接收视网膜的两个或更多个图像。
在过程S20中,图像处理装置140使用任何公知的互相关算法来计算接收的图像和参考图像之间的互相关,以获取接收的图像和参考图像之间的偏移。仅当计算的互相关满足预定条件时(例如,当互相关峰值超过阈值时),才可以获取接收的图像和参考图像之间的偏移。如在本实施例中,所获取的偏移可以包括接收图像和参考图像之间的平移偏移(在x方向上的Δx,和在y方向上的Δy),以及旋转(角度)偏移(Δθ)。因此,偏移定义了用于将一个图像映射到另一个图像上的变换,使得例如成像视网膜的脉管系统和/或其他特征在两个图像的叠加中重叠。可以根据计算的互相关面中的峰值的定位来确定平移Δx、Δy的程度,并且可以根据第二图像从零旋转开始以固定增量的旋转并确定哪个增量提供最高的互相关峰值来计算角度偏移Δθ。
尽管在本实施例中获取的偏移包括在接收的图像和参考图像之间的平移偏移和旋转偏移二者,但是在其他实施例中,获取的偏移可以是在接收的图像和参考图像之间的平移偏移(在x方向和y方向中的一个或两个方向上)或者是旋转偏移,这取决于在成像期间预期发生的视网膜和眼科设备的相对运动的类型(多种类型)。
在过程S20中,图像处理装置可以更广泛地计算在参考图像和基于接收的图像中的一个或更多个的图像之间的互相关(换句话说,在参考图像和该接收的图像中的图像之间的互相关(如上所述),或者在参考图像和源自一个或更多个接收的图像的图像之间的互相关),以获取在所述图像和参考图像之间的偏移。例如,可以通过使接收的图像之中的两个或更多个图像(例如,序列中的两个或更多个连续接收的图像)求平均或者以其他方式处理接收的图像中的两个或更多个图像,获得与参考图像互相关的图像。
在过程S30中,图像处理装置140确定是否有更多的视网膜图像待处理。如果有一个或更多个额外的图像待处理,则过程循环回到过程S10,否则过程终止。通过重复执行过程S10和S20,图像处理装置140获取对于序列中图像的各个偏移作为视网膜位置跟踪信息。在帧被处理时如下所述的置信度值F已经上升并且随后保持不变的情况下,该过程可以可选地锁定(从而锁定参考帧)。这将表明,在特定情况下(其中几乎没有发生变化),没有需要进行的改进。
当过程S10和S20重复进行时,图像处理装置140通过确定在两个或更多个接收的图像中的像素的对应定位且相同形状的区域的内容之间的相似性度量,并且基于所确定的相似性度量,相对于参考图像中的其他特征来突出参考图像中的表示成像视网膜的结构的至少一些特征。因此,参考图像适应于正在处理的图像的变化条件,这可以实现跟踪中的高度鲁棒性,因为参考图像中的信噪比(或用于跟踪的“有用信息”与用于跟踪的“无用信息”的比率的其他指标)提高了,并且可以减少图像之间可变照明的不利影响。如将在下面解释的,参考图像表示来自多个图像帧的选择的信息的累积,其中参考图像中的一些点相对于其他点被突出,这取决于本文描述的图像的分析。
作为非限制性示例,现在将参考图4至图10描述本实施例的图像处理装置140修改参考图像的过程。
首先参考图4,在过程S100中,图像处理装置140接收来自跟踪图像采集模块120的基于接收的图像中的一个或更多个图像的第一图像和基于接收的图像中的另一个或更多个图像的第二图像,并且相对于彼此配准第一图像和第二图像。注意,可以在第二图像之前或之后采集和/或存储第一图像。举例来说,可以通过对接收的图像中的两个或更多个图像求平均来获得第一图像,并且可以通过对两个或更多个其他接收的图像求平均来获得第二图像。然而,在本实施例中,图像处理装置接收来自跟踪图像采集模块120的接收的图像中的第一图像和第二图像(如在本实施例中,它们可以在采集图像的序列中彼此相邻),并且相对于彼此配准第一图像和第二图像。图像处理装置140可以计算在第一图像和第二图像之间的互相关,并且基于计算的互相关,共同配准(co-register)这两个图像。如图7所示,图像处理装置140因此生成与第一图像2-1共同配准的配准的第二图像2-2。然而,应当注意,通过相对于参考图像配准这些图像中的每一个图像,接收的图像可以可选地彼此配准,使得第一图像和第二图像相对于参考图像并且因此相对于彼此配准。
还应当注意,尽管在本实施例中由图像处理装置140处理的视网膜图像是直接从跟踪图像采集模块120获得的,但是可替代地,图像处理装置140可以对来自跟踪图像采集模块120的、已经被预处理的图像执行本文描述的图像处理操作,例如以第9,454,817号美国专利中描述的方式突出有助于建立与参考图像的共同对准(co-alignment)的图像特征,该专利的内容通过引用以其整体并入本文。在所描述的预处理方法中,图像信息可以被认为存在于空间频率的范围内,并且因此被划分为四类,即:(i)大尺度信息;(ii)与粗糙(主要是脉络膜)特征相关的中等尺度信息;(iii)与细微(主要是脉管)特征相关的中等尺度信息;和(iv)小尺度(纹理)信息。本算法中使用的信息主要来自于由脉管系统和脉络膜层组成的中等尺度信息。该信息的提取包括(通过2D卷积)将图像帧与“匹配的”内核进行比较。简单地说,这个匹配的内核可以被认为有一个“形状”,它等同于被提取的“形状”。为了扩大提取的信息的范围,可以在“细微”和“粗糙”之间的范围内调整内核形状。这些内核也可以被旋转,并且在旋转中的每个可替代步骤处重复卷积,将对于每个卷积的最大值作为在预处理图像帧中分配的值。在第9,454,817号美国专利中提供了预处理算法的进一步细节,该专利的内容通过引用以其整体并入本文。
尽管图像处理装置140可以进行无区别地(即,非选择性地)共同配准每对视网膜图像,但是图像处理装置140优选地仅在计算的两个图像之间的互相关满足规定条件时进行对图像的共同配准。该规定条件可以是例如互相关的峰值超过预定阈值。作为另一种选择,如在本实施例中,规定条件可以是提供平移偏移值和旋转偏移值正确的可能性的度量的置信度的值F超过预定阈值(FTh)。在这种情况下,可以设置阈值FTh,使得真-阴性(true-negative)出现(即,以高置信度报告值但实际上不正确的情况)的次数接近于零。现在将参考图5更详细地描述本实施例的图像处理装置140在过程S100中配准第一图像和第二图像的过程。
在过程S110中,图像处理装置140计算图像序列中的一对相邻图像之间的互相关。如图6所示,计算的互相关值定义了具有峰值的相关面。
在过程S120中,图像处理装置140基于计算出的互相关来计算置信度值F。可以通过相关面的参数化来获得置信度值F,例如如美国专利9,454,817中所述,其内容通过引用以其整体并入本文。
在过程S130中,图像处理装置140确定计算的置信度值F是否超过阈值FTh。在过程S130中确定计算出的置信度值F的大小不超过阈值FTh的情况下,图像处理装置140针对序列中的下一个相邻的成对图像中的第一图像和第二图像(或者更普遍地,基于相应的一个或更多个不同的接收图像的第一图像和第二图像)重复过程S110和S120。因此,包括过程S110至S130的循环被重复,直到计算的置信度值F超过阈值FTh为止。
在过程S140中,图像处理装置140将其计算的互相关值产生超过阈值FTh的置信度值F的图像中的第一图像与图像中的第二图像进行配准,以生成如图7所示的与第一图像2-1配准的经配准的第二图像2-2。
应当注意,以上参考图5描述的图像配准的过程可以附加地或可替代地由图像处理装置140使用,以选择性地将所获取的偏移输出到控制器130,以用于控制OCT成像模块110在OCT图像采集期间使视网膜上的扫描定位稳定,使得只有与F>FTh的置信度值相关联的偏移可以用于使扫描定位稳定。
再次参考图4,在过程S200中,图像处理装置140处理像素的阵列(在此称为“像素的累加器阵列”),其像素值最初可以全部例如设置为零。如图7所示,累加器阵列8中的每个像素(例如,以“10”示出的第(i,j)个像素)与第一图像2-1中对应定位的像素(在该示例中,标记为4-1的第(i,j)个像素)和配准的第二图像2-2中对应定位的像素(在该示例中,标记为4-2的第(i,j)个像素)相关联。
更具体地,图像处理装置140通过以下过程处理累加器矩阵8:针对第一图像2-1中的每个像素和配准的第二图像2-2中的对应定位的像素来确定围绕第一图像2-1中的像素的像素区域(例如,在像素4-1的情况下是6-1)和围绕配准的第二图像2-2中的对应像素的相同形状的像素区域(例如,在像素4-2的情况下是6-2)之间的相似性度量是否超过预定的相似性水平,并且仅当相似性度量超过预定的相似性水平时,改变(在该示例中,递增)在累加器阵列8中的与第一图像2-1中的所述像素4-1且与配准的第二图像2-2中的所述对应定位的像素4-2相关联的像素10的值。尽管本实施例中的像素区域6-1和6-2在本实施例中是3×3个像素的阵列,但是像素区域的形状和尺寸不限于此,并且可以替代地采用不同尺寸的阵列(例如,9×9个像素),这些阵列不需要是正方形的。
图像处理装置140可以以多种不同方式中的一种方式来确定对应像素区域(例如,如图7中的6-1和6-2所示)之间的相似性程度。例如,如在本实施例中,图像处理装置140可以使用像素区域6-1和6-2中的像素的值来确定在第一共同配准图像2-1和第二共同配准图像2-2中对应定位的像素4-1和4-2处的在x方向和在y方向上的像素值梯度(指定像素值随像素定位的变化率的像素值梯度)之间的相似性,并且,只有当(i)对于两个区域在x方向上的梯度在第一预定容限内相同,并且(ii)对于两个区域在y方向上的梯度在第二预定容限(其可以与第一预定容限相同或不同)内相同,累加器阵列8中与第一图像2-1中的像素4-1相关联并且与配准的第二图像2-2中对应定位的像素4-2相关联的像素10的值才递增。相似性度量可以附加地或可替代地基于序列中的共同配准的成对图像2-1、2-2中的对应定位的像素区域6-1、6-2的以下条件中的至少一个条件:(i)在平均像素值之间的相似性,和(ii)像素值直方图之间的相似性。
在像素值直方图的情况下,图像处理装置140可以(例如,通过将像素可以取的可能值的范围划分成预定数量的仓(例如,20个仓),并且根据在像素区域6-1和6-2中的每个像素区域中的像素值来确定对于这些仓中的每一个仓的相应累积计数)生成该区域中的像素值的像素值直方图,并且仅在直方图之间的相似性大于预定的相似性水平时,才增加累加器阵列8中的与第一图像2-1中的像素4-1且与配准的第二图像2-2中对应定位的像素4-2相关联的像素10的值。直方图之间的相似性可以例如由任何合适的距离函数(诸如海灵格(Hellinger)距离、曼哈顿距离、欧几里德距离、切比雪夫距离等)来确定。这种基于直方图的相似性测试可以提供对参考图像中的视网膜特征最有效的突出,然而上述其他相似性测试可能具有对实现处理资源要求较低的优点,并且因此可能在计算负荷是一个问题的情况下是优选的。
在过程S200的变型中,图像处理装置140还可以针对第一图像2-1中的每个像素(例如,4-1)和配准的第二图像2-2中对应定位的像素(例如,4-2),确定第一图像2-1中围绕像素4-1的像素区域6-1中的像素值的加权平均值与配准的第二图像2-2中围绕对应定位的像素4-2的像素区域6-2中的像素值的加权平均值之间的差是否小于预定阈值。在过程S200的这个变型中,仅当相似性度量超过预定的相似性水平并且加权平均值之间的差小于预定阈值时,图像处理装置140才改变(例如,递增)累加器阵列8中与第一图像2-1中的像素4-1相关联并且与配准的第二图像2-2中的对应像素4-2相关联的像素10的值。在该变型中,在第一图像2-1中围绕像素4-1的像素区域6-1中的像素值的加权平均值以及在配准的第二图像2-2中围绕对应定位的像素4-2的像素区域6-2中的像素值的加权平均值都是使用结构化元素(如图8中的“12”所示)来计算的,该结构化元素包括将要应用于如在像素区域6-1和6-2中提供的像素排列中的各个像素的像素值权重w,其中,相对于第一图像2-1中围绕像素4-1的像素区域6-1和配准的第二图像2-2中围绕对应定位的像素4-2的像素区域6-2,结构化元素12以多个不同取向中的公共取向来设置,使得针对公共取向计算的在第一图像2-1中围绕像素4-1的像素区域6-1中的像素值的加权平均值比针对其他取向计算的在第一图像2-1中围绕像素4-1的像素区域6-1中的像素值的加权平均值更高。换句话说,相对于第一图像2-1中围绕像素4-1的像素区域6-1,结构化元素的取向在多个不同的取向(例如10个不同的取向)之间变化,以便识别在第一像素区域6-1中产生像素值的最大加权平均值的取向,然后结构化元素的相同取向被用于确定在配准的第二图像2-2中围绕对应定位的像素4-2的像素区域6-2中的像素值的加权平均值。在过程S200的该变型中使用的附加的“结构化”相似性测试可以用于有效地增强累加器阵列8中的像素定位,该像素定位是视网膜特征的特征形状(通常是脉管系统或脉络膜特征,或者是取决于照明光源的波长的病理结构)的一部分,其中不是视网膜的一部分的静态特征(例如眼睑或睫毛的边缘)被衰减。
在图3的过程S20中处理的参考图像可以由像素的累加器阵列来定义。可替代地,可以通过处理累加器阵列来获得参考图像。例如,如在本实施例中,可以通过生成累加器阵列的二值化版本来获得参考图像。因此,在(可选的)过程S300中,图像处理装置140通过在累加器阵列8中对应定位的像素10具有超过二值化阈值的像素值时将二值参考图像的每个像素的值设置为第一像素值(例如“1”),并且在累加器阵列中对应定位的像素具有不超过二值化阈值的像素值时将二值参考图像的每个像素的值设置为不同于第一值的第二值(例如,“0”),生成二值参考图像。在过程S20中,二值参考图像可以加速与接收的图像的互相关的计算。
在可替代的实施例中,图像处理装置140可以通过在累加器阵列8中对应定位的像素具有超过第二阈值的像素值时将参考图像的每个像素的值设置为累加器阵列8中对应定位的像素的值,并且在累加器阵列8中对应定位的像素具有不超过第二阈值的像素值时将参考图像的每个像素的值设置为第一值(例如,零),生成参考(灰度)图像。在这种情况下,可以对累加器阵列8进行处理,使得其中每个像素10的值是所有已处理像素阵列中对应定位的像素的值的累积(例如总和),并且第二阈值通常小于已处理像素阵列的数量并且随像素阵列的数量而增加。
在过程S400中,图像处理装置140确定序列中是否还有至少两个图像待处理。如果有,则如图4所示重复过程S100至S400,否则过程终止。
在本实施例中,当累加器阵列8中的一些像素的值随着过程S200的重复执行而增加时,二值化阈值随着过程S200的重复次数而增加。例如,二值化阈值可以是过程S200的重复次数的一半(或另一预定分数)。
图9显示了图像序列,每个图像表示累加器阵列的内容,并且图9示出了累加器阵列随着由实施例的图像处理装置处理的图像帧的数量从1增加到15而如何变化。在处理累加器阵列期间,可以容易地看到特征(在这个示例中主要是脉管系统,但是也可以是其他特征)的累积和增强。
图10示出了与固定的(不变的)参考帧相比,当根据实施例相对于参考图像跟踪时锁存器强度的改善。在图10中,上点集示出了在跟踪的前31帧内在相对于演进的(evolving)参考图像帧跟踪时获得的置信度值的变化,而下点集示出了在相对于固定的参考图像帧跟踪时获得的置信度值的变化。与不变的参考图像相比,可以观察到在演进的参考图像的情况下的置信度的明显改善。
在上述实施例中,在确定改变或保持累加器阵列中对应定位的像素不变之后,不存储在过程S200中围绕共同配准的图像中对应定位的像素的像素区域的每次比较的结果,这具有在处理视网膜图像序列时需要存储相对少量数据的优点。然而,在另一个实施例中,共同配准的图像的这些比较的结果可以存储在相应的像素阵列中,并且这些像素阵列中的所有像素或仅预定数量的最近像素可以存储在图像处理装置140中。现在将参考图11更详细地描述这种可替代的第二实施例。
图11中的过程S100与第一实施例的图4中的过程S100相同,因此在此不再重复其描述。
在过程S210中,图像处理装置140生成像素的阵列,阵列中的每个像素与第一图像2-1中对应定位的像素(例如,图7中的像素4-1)和配准的第二图像2-2中对应定位的像素4-2相关联。
在过程S220中,图像处理装置140通过针对第一图像2-1中的每个像素和配准的第二图像2-2中的对应定位的像素确定围绕第一图像2-1中的像素4-1的像素区域(例如,图7中的区域6-1)和围绕配准的第二图像2-2中的对应定位的像素4-2的(相同形状的)像素区域6-2之间的相似性度量是否超过预定的相似性水平,处理像素阵列。在该过程中确定的相似性度量与图4中的过程S200中的相似性度量相似,因此将不再详细描述。仅当相似性度量超过预定的相似性水平时,图像处理装置140才改变(例如,如在本示例中那样,递增)在阵列中与第一图像2-1中的像素4-1以及与配准的第二图像2-2中的对应定位的像素4-2相关联的像素的值。
类似于过程S200的上述变型,本实施例的图像处理装置140可以在过程S220中针对第一图像2-1中的每个像素(例如,4-1)和配准的第二图像2-2中的对应定位的像素4-2确定第一图像2-1中围绕像素4-1的像素区域6-1中的像素值的加权平均值与配准的第二图像2-2中围绕对应定位的像素4-2的像素区域6-2中的像素值的加权平均值之间的差是否小于预定阈值,并且仅当相似性度量超过预定的相似性水平并且该差小于预定阈值时,才改变(例如,递增)在阵列中与第一图像2-1中的所述像素4-1相关联并且与配准的第二图像2-2中的所述对应定位的像素4-2相关联的像素值。在第一图像2-1中围绕像素4-1的像素区域6-1中的像素值的加权平均值以及在配准的第二图像2-2中围绕对应定位的像素4-2的像素区域6-2中的像素值的加权平均值都是使用如上参考图8所述的结构化元素12来计算的。
在过程S230中,对于所处理的像素阵列中其值已经递增的每个像素,图像处理装置140改变累加器阵列8中对应定位的像素10的值。如在本实施例中,图像处理装置140可以将累加器阵列8中对应定位的像素10的值递增与所处理的阵列的增量相同的量(例如,1),或者可替换地递增不同的量。
在过程S300中,图像处理装置140生成如实施例的过程S300中的二值参考图像,并且类似地确定(在过程S400中)在图像序列中是否还有至少两个图像待处理。如果不是,则处理终止,如图11所示。另一方面,如果图像处理装置140在过程S400中确定在图像序列中还有至少两个图像待处理,则处理进行到过程S500,其中图像处理装置确定是否已经如上所述生成并处理了预定数量的N个(例如10个)像素阵列。如果已经生成和处理了少于N个这样的阵列,则处理循环回到过程S100,如图11所示。另一方面,如果图像处理装置在过程S500中确定已经生成并处理了N个像素阵列,则图像处理装置140在过程S600中撤销基于N个存储阵列中最早处理的一个存储阵列执行的对累加器阵列8的改变(并且可选地在过程S600中删除N个存储阵列中最早处理的一个存储阵列),并且处理随后循环回到过程S100。因此,图像处理设备140仅存储N个最近处理的像素阵列,并且累加器阵列8表示仅这些N个最近处理的阵列的组合结果。
在第二实施例中的过程S300的修改中,图像处理装置140可以通过在累加器阵列8中对应定位的像素具有超过第二阈值的像素值时将参考图像的每个像素的值设置为累加器阵列8中对应定位的像素的值,并且在累加器阵列8中对应定位的像素具有不超过第二阈值的像素值时将参考图像的每个像素的值设置为第一值(例如,零),生成参考(灰度)图像。
在上述第二实施例中,累加器阵列因此被处理,使得其中的每个像素的值是N个最近处理的像素阵列中对应定位的像素的值的累积(例如总和),其中在过程S300中使用的二值化阈值(或者在过程S300的上述修改中使用的第二阈值)是固定的数字。
在上述第二实施例的修改中,当在序列中还有至少两个的图像待处理时,可以省略过程S500和S600,并且处理可以从过程S400直接循环回到过程S100,并且可以处理累加器阵列8,使得其中的每个像素的值是所有已处理的像素阵列中对应定位的像素的值的累积(例如总和)。在该修改中,二值化阈值(或在过程S300的上述修改中使用的第二阈值)通常将小于已处理的像素阵列的数量,并随其增加。例如,二值化阈值(或第二阈值)可以是已处理的像素阵列数量的50%(或另一预定分数)。然而,该阈值可以仅随着已处理的像素阵列的数量而增加,直到已经处理了预定数量的像素阵列为止,然后在累加器阵列随后被处理时保持固定,使得其中的每个像素的值是预定数量的最近处理的像素阵列中对应定位的像素的值的累积(例如总和),如上所述。
[修改和变型]
可以对上述实施例进行许多修改和变化。
在上述实施例中,参考图像由像素的累加器阵列定义或基于像素的累加器阵列定义。然而,图像处理装置140不需要利用这种像素值阵列来修改参考图像。在实施例的变型中,图像处理装置可以基于像素值阵列的存储集合来生成和修改用于获取偏移的二值参考图像,其中每个阵列包含在上述过程S220中执行的操作的结果。更具体地,在变型中,通过以下过程生成和修改二值参考图像:
(a)将基于接收的图像中的一个或更多个图像的第一图像2-1与基于接收的图像中的另一个或更多个图像的第二图像配准,以生成与第一图像2-1配准的配准的第二图像2-2;
(b)生成像素阵列,阵列中的每个像素与第一图像2-1中对应定位的像素4-1和配准的第二图像2-2中对应定位的像素4-2相关联;
(c)通过以下过程处理像素阵列:针对第一图像2-1中的每个像素4-1和配准的第二图像2-2中的对应定位的像素4-2确定围绕第一图像2-1中的像素4-1的像素区域6-1和围绕配准的第二图像2-2中的对应像素4-2的像素区域6-2之间的相似性度量是否超过预定的相似性水平,并且仅当相似性度量超过预定的相似性水平时,改变(例如递增)该阵列中与第一图像2-1中的所述像素4-1相关联并且与配准的第二图像2-2中所述对应定位的像素4-2相关联的像素的值(相似性度量可以如上述实施例及其变型中所描述地确定);
对第一图像和第二图像中的不同图像重复过程(a)至(c),以生成多个像素阵列;
通过以下过程生成二值参考图像:当多个像素阵列中对应定位的像素具有其累积值(例如总和)超过二值化阈值的像素值时,将二值参考图像的每个像素设置为第一像素值(例如“1”),并且当多个像素阵列中对应定位的像素具有其累积值不超过二值化阈值的像素值时,将二值参考图像的每个像素的值设置为与第一像素值不同的第二像素值(例如“0”);和
通过以下过程修改二值参考图像:重复过程(a)至(c)至少一次,并且当多个像素阵列中对应定位的像素具有其累积值(例如总和)超过第二二值化阈值的像素值时,将二值参考图像的每个像素设置为第一像素值,并且当多个像素阵列中对应定位的像素具有其累积值不超过第二二值化阈值的像素值时,将二值参考图像的每个像素的值设置为第二像素值。
在变型中,通过以下过程可以修改二值参考图像:当所处理的像素阵列之中预定数量的最近处理的像素阵列中的对应定位的像素具有其累积值(例如总和)超过第二二值化阈值的像素值时,将二值参考图像的每个像素设置为第一像素值,并且当所处理的像素阵列之中预定数量的最近处理的像素阵列中对应定位的像素具有其累积值不超过第二二值化阈值的像素值时,将二值参考图像的每个像素的值设置为第二像素值;第二二值化阈值是固定数。可替代地,可以通过以下过程修改二值参考图像:当所有所处理的像素阵列中对应定位的像素具有其累积值超过第二二值化阈值的像素值时,将二值参考图像的每个像素设置为第一像素值,并且当所有所处理的像素阵列中对应定位的像素具有其累积值不超过第二二值化阈值的像素值时,将二值参考图像的每个像素的值设置为第二像素值;第二二值化阈值小于所处理的像素阵列的数量,并且伴随所处理的像素阵列的数量增加。
在另一个变型中,与二值参考图像不同,通过以下过程生成和修改灰度参考图像:
(a)将基于接收的图像中一个或更多个图像的第一图像2-1与基于接收的图像中另一个或更多个图像的第二图像配准,以生成与第一图像2-1配准的配准的第二图像2-2;
(b)生成像素阵列,阵列中的每个像素与第一图像2-1中对应定位的像素4-1和配准的第二图像2-2中对应定位的像素4-2相关联;
(c)通过以下过程处理像素阵列:针对第一图像2-1中的每个像素4-1和配准的第二图像2-2中的对应定位的像素4-2确定围绕第一图像2-1中的像素4-1的像素区域6-1和围绕配准的第二图像2-2中的对应像素4-2的像素区域6-2之间的相似性度量是否超过预定的相似性水平,并且仅当相似性度量超过预定的相似性水平时,改变该阵列中与第一图像2-1中的所述像素4-1相关联并且与配准的第二图像2-2中所述对应定位的像素4-2相关联的像素的值;
(d)对第一图像和第二图像中的不同图像重复过程(a)至(c),以生成多个像素阵列;
(e)通过以下方式生成参考图像:当多个像素阵列中对应定位的像素的像素值的累积(例如总和)超过阈值时,将参考图像的每个像素设置为所述累积,并且当所述累积不超过阈值时,将参考图像的每个像素的值设置为第一像素值;
(f)通过以下方式修改参考图像:重复过程(a)至(c)至少一次,并且当多个像素阵列中对应定位的像素的像素值的累积(例如总和)超过第二阈值时,将参考图像的每个像素设置为所述累积,并且当多个像素阵列中对应定位的像素具有其累积(例如总和)不超过第二阈值的像素值时,将参考图像的每个像素的值设置为第一像素值。
在这个变型中,通过以下过程可以修改灰度参考图像:当所处理的像素阵列之中预定数量的最近处理的像素阵列中的对应定位的像素具有其累积(例如总和)超过第二阈值的像素值时,将参考图像的每个像素设置为多个像素阵列中对应定位的像素的像素值的累积(例如总和),并且当所处理的像素阵列之中预定数量的最近处理的像素阵列中对应定位的像素具有其累积(例如总和)不超过第二阈值的像素值时,将参考图像的每个像素的值设置为第一像素值;第二阈值是固定数。可替代地,通过以下过程可以修改灰度参考图像:当所有所处理的像素阵列之中对应定位的像素具有其累积(例如总和)超过第二阈值的像素值时,将参考图像的每个像素设置为多个像素阵列中对应定位的像素的像素值的累积(例如总和),并且当所有所处理的像素阵列之中对应定位的像素具有其累积(例如总和)不超过第二阈值的像素值时,将参考图像的每个像素的值设置为第一像素值(诸如零);第二阈值小于所处理的像素阵列的数量,并且伴随所处理的像素阵列的数量增加。
在下文的一个或更多个实施例中可实现本公开的各方面:
1)一种处理由眼科设备(100)采集的视网膜的图像序列以生成视网膜位置跟踪信息的方法,所述视网膜位置跟踪信息指示在所述图像序列的采集期间所述视网膜的运动,所述方法包括:
(i)接收(S10)所述视网膜的一个或更多个图像;
(ii)计算(S20)参考图像和基于一个或更多个接收的图像的图像之间的互相关,以获取在所述图像和所述参考图像之间的偏移;和
重复过程(i)和(ii)以获取对于基于相应的一个或更多个接收的图像的所述图像的相应偏移作为所述视网膜位置跟踪信息;和
在重复过程(i)和(ii)的时候,通过以下方式修改所述参考图像:确定所述接收的图像中的两个或更多个中的对应定位的像素区域(6-1,6-2)之间的相似性度量,并基于所确定的相似性度量,相对于所述参考图像中其他特征突出在所述参考图像中表示被成像的视网膜的结构的特征。
2)根据1)所述的方法,其中,所述参考图像由像素的累加器阵列(8)定义或基于所述像素的累加器阵列(8),并且通过以下方式处理所述像素的累加器阵列(8)来修改所述参考图像:
(a)将基于所述接收的图像中的一个或更多个图像的第一图像(2-1)与基于所述接收的图像中的另一个或更多个图像的第二图像配准,以生成与所述第一图像(2-1)配准的配准的第二图像(2-2),所述累加器阵列(8)中的每个像素(10)与所述第一图像(2-1)中对应定位的像素(4-1)以及所述配准的第二图像(2-2)中对应定位的像素(4-2)相关联;
(b)通过以下方式处理所述累加器阵列(8):针对所述第一图像(2-1)中的每个像素(4-1)和所述配准的第二图像(2-2)中的对应定位的像素(4-2)确定围绕所述第一图像(2-1)中的所述像素(4-1)的像素区域(6-1)和围绕所述配准的第二图像(2-2)中的所述对应定位的像素(4-2)的像素区域(6-2)之间的相似性度量是否超过预定的相似性水平,并且仅当所述相似性度量超过所述预定的相似性水平时,改变所述累加器阵列(8)中与所述第一图像(2-1)中的所述像素(4-1)相关联并且与所述配准的第二图像(2-2)中所述对应定位的像素(4-2)相关联的像素(10)的值;以及
对所述第一图像和所述第二图像中的不同图像重复过程(a)和(b)。
3)根据2)所述的方法,其中,在过程(b)中处理所述累加器阵列(8)还包括:
针对所述第一图像(2-1)中的每个像素(4-1)和所述配准的第二图像(2-2)中的对应定位的像素(4-2)确定在所述第一图像(2-1)中围绕所述像素(4-1)的像素区域(6-1)中的像素值的加权平均值与所述配准的第二图像(2-2)中围绕所述对应定位的像素(4-2)的像素区域(6-2)中的像素值的加权平均值之间的差是否小于预定阈值,并且仅当所述相似性度量超过所述预定的相似性水平并且所述差小于所述预定阈值时,改变所述累加器阵列(8)中与所述第一图像(2-1)中的所述像素(4-1)相关联并且与所述配准的第二图像(2-2)中的所述对应定位的像素(4-2)相关联的像素(10)的值,
其中,在所述第一图像(2-1)中围绕所述像素(4-1)的所述像素区域(6-1)中的像素值的加权平均值以及在所述配准的第二图像(2-2)中围绕所述对应定位的像素(4-2)的所述像素区域(6-2)中的像素值的加权平均值都使用结构化元素(12)来计算,所述结构化元素(12)包括像素值权重,相对于所述第一图像(2-1)中围绕所述像素(4-1)的所述像素区域(6-1)和所述配准的第二图像(2-2)中围绕所述对应定位的像素(4-2)的所述像素区域(6-2),所述结构化元素(12)以多个不同取向中的公共取向设置,使得针对所述公共取向计算的所述第一图像(2-1)中围绕所述像素(4-1)的所述像素区域(6-1)中的像素值的加权平均值高于针对其他取向计算的所述第一图像(2-1)中围绕所述像素(4-1)的所述像素区域(6-1)中的像素值的加权平均值。
4)根据2)所述的方法,其中,通过以下方式处理所述累加器阵列(8):
(a)将基于所述接收的图像中的一个或更多个图像的第一图像(2-1)与基于所述接收的图像中的另一个或更多个图像的第二图像配准,以生成与所述第一图像(2-1)配准的配准的第二图像(2-2),所述累加器阵列(8)中的每个像素(10)与所述第一图像(2-1)中对应定位的像素(4-1)以及所述配准的第二图像(2-2)中对应定位的像素(4-2)相关联;
(b1)生成像素阵列,所述像素阵列中的每个像素与所述第一图像(2-1)中对应定位的像素(4-1)以及所述配准的第二图像(2-2)中对应定位的像素(4-2)相关联;
(b2)通过以下方式处理所述像素阵列:针对所述第一图像(2-1)中的每个像素(4-1)和所述配准的第二图像(2-2)中的对应定位的像素(4-2)确定围绕所述第一图像(2-1)中的所述像素(4-1)的所述像素区域(6-1)和围绕所述配准的第二图像(2-2)中的所述对应定位的像素(4-2)的所述像素区域(6-2)之间的相似性度量是否超过所述预定的相似性水平,并且仅当所述相似性度量超过所述预定的相似性水平时,改变所述像素阵列中与所述第一图像(2-1)中的所述像素(4-1)相关联并且与所述配准的第二图像(2-2)中所述对应定位的像素(4-2)相关联的像素的值;
(b3)对于所处理的像素阵列中其值已经改变的每个像素,改变所述累加器阵列(8)中对应定位的像素(10)的值;以及
对所述第一图像和所述第二图像中的不同图像重复过程(a)和过程(b1)至(b3)。
5)根据4)所述的方法,其中,在过程(b2)中处理所述像素阵列还包括:
针对所述第一图像(2-1)中的每个像素(4-1)和所述配准的第二图像(2-2)中的对应定位的像素(4-2)确定在所述第一图像(2-1)中围绕所述像素(4-1)的像素区域(6-1)中的像素值的加权平均值与所述配准的第二图像(2-2)中围绕所述对应定位的像素(4-2)的像素区域(6-2)中的像素值的加权平均值之间的差是否小于预定阈值,并且仅当所述相似性度量超过所述预定的相似性水平并且所述差小于所述预定阈值时,改变所述像素阵列中与所述第一图像(2-1)中的所述像素(4-1)相关联并且与所述配准的第二图像(2-2)中的所述对应定位的像素(4-2)相关联的像素的值,
其中,在所述第一图像(2-1)中围绕所述像素(4-1)的所述像素区域(6-1)中的像素值的加权平均值以及在所述配准的第二图像(2-2)中围绕所述对应定位的像素(4-2)的所述像素区域(6-2)中的像素值的加权平均值都使用结构化元素(12)来计算,所述结构化元素(12)包括像素值权重,相对于所述第一图像(2-1)中围绕所述像素(4-1)的所述像素区域(6-1)和所述配准的第二图像(2-2)中围绕所述对应定位的像素(4-2)的所述像素区域(6-2),所述结构化元素(12)以多个不同取向中的公共取向来设置,使得针对所述公共取向计算的所述第一图像(2-1)中围绕所述像素(4-1)的所述像素区域(6-1)中的像素值的加权平均值高于针对其他取向计算的所述第一图像(2-1)中围绕所述像素(4-1)的所述像素区域(6-1)中的像素值的加权平均值。
6)根据2)至5)中的任一项所述的方法,其中,所述参考图像通过以下方式生成:
在所述累加器阵列(8)中的对应定位的像素具有超过第二阈值的像素值时将所述参考图像的每个像素的值设置为所述累加器阵列(8)中所述对应定位的像素的值;以及
在所述累加器阵列(8)中对应定位的像素具有不超过所述第二阈值的像素值时将所述参考图像的每个像素的值设置为第一值。
7)根据2)至5)中任一项所述的方法,其中,所述参考图像是通过以下方式生成的二值参考图像:
在所述累加器阵列(8)中对应定位的像素(10)具有超过第二阈值的像素值时将所述二值参考图像的每个像素的值设置为第一像素值;以及
在所述累加器阵列(8)中对应定位的像素(10)具有不超过所述第二阈值的像素值时将所述二值参考图像的每个像素的值设置为第二像素值。
8)根据从属于4)或从属于5)的6)、或者根据从属于4)或从属于5)的7)所述的方法,其中,所述累加器阵列(8)被处理,使得其中的每个像素(10)的值是所处理的像素阵列之中预定数量的最近处理的像素阵列中对应定位的像素的值的累积,并且其中所述第二阈值是固定数。
9)根据从属于4)或从属于5)的6)、或者根据从属于4)或从属于5)的7)所述的方法,其中,所述累加器阵列(8)被处理,使得其中的每个像素(10)的值是所有所处理的像素阵列之中对应定位的像素的值的累积,并且所述第二阈值伴随所述处理的像素阵列的数量而增加。
10)根据1)所述的方法,其中,所述参考图像是二值参考图像,并且所述参考图像通过以下方式被生成和修改:
(a)将基于所述接收的图像中的一个或更多个图像的第一图像(2-1)与基于所述接收的图像中的另一个或更多个图像的第二图像配准,以生成与所述第一图像(2-1)配准的配准的第二图像(2-2);
(b)生成像素阵列,所述像素阵列中的每个像素与所述第一图像(2-1)中对应定位的像素(4-1)以及所述配准的第二图像(2-2)中对应定位的像素(4-2)相关联;
(c)通过以下方式处理所述像素阵列:针对所述第一图像(2-1)中的每个像素(4-1)和所述配准的第二图像(2-2)中的对应定位的像素(4-2)确定围绕所述第一图像(2-1)中的所述像素(4-1)的像素区域(6-1)和围绕所述配准的第二图像(2-2)中的所述对应定位的像素(4-2)的像素区域(6-2)之间的相似性度量是否超过预定的相似性水平,并且仅当所述相似性度量超过所述预定的相似性水平时,改变所述像素阵列中与所述第一图像(2-1)中的所述像素(4-1)相关联并且与所述配准的第二图像(2-2)中所述对应定位的像素(4-2)相关联的像素的值;
(d)对所述第一图像和所述第二图像中的不同图像重复过程(a)至(c),以生成多个像素阵列;
(e)通过以下方式生成所述二值参考图像:当所述多个像素阵列中对应定位的像素具有其累积超过二值化阈值的像素值时,将所述二值参考图像的每个像素设置为第一像素值,并且当所述多个像素阵列中对应定位的像素具有其累积不超过所述二值化阈值的像素值时,将所述二值参考图像的每个像素的值设置为第二像素值;
(f)通过以下方式修改所述二值参考图像:重复过程(a)至(c)至少一次,并且当所述多个像素阵列中对应定位的像素具有其累积超过第二二值化阈值的像素值时,将所述二值参考图像的每个像素设置为所述第一像素值,并且当所述多个像素阵列中对应定位的像素具有其累积不超过所述第二二值化阈值的像素值时,将所述二值参考图像的每个像素的值设置为所述第二像素值。
11)根据10)所述的方法,其中,通过以下方式修改所述二值参考图像:当所处理的像素阵列之中预定数量的最近处理的像素阵列中的对应定位的像素具有其累积超过所述第二二值化阈值的像素值时,将所述二值参考图像的每个像素设置为所述第一像素值,并且当所述处理的像素阵列之中所述预定数量的最近处理的像素阵列中对应定位的像素具有其累积不超过所述第二二值化阈值的像素值时,将所述二值参考图像的每个像素的值设置为所述第二像素值;所述第二二值化阈值是固定数。
12)根据10)所述的方法,其中,通过以下方式修改所述二值参考图像:当所有所处理的像素阵列中对应定位的像素具有其累积超过所述第二二值化阈值的像素值时,将所述二值参考图像的每个像素设置为所述第一像素值,并且当所有所述处理的像素阵列中对应定位的像素具有其累积不超过所述第二二值化阈值的像素值时,将所述二值参考图像的每个像素的值设置为所述第二像素值;所述第二二值化阈值伴随所述处理的像素阵列的数量增加。
13)根据1)所述的方法,其中,所述参考图像通过以下方式被生成和修改:
(a)将基于所述接收的图像中的一个或更多个图像的第一图像(2-1)与基于所述接收的图像中的另一个或更多个图像的第二图像配准,以生成与所述第一图像(2-1)配准的配准的第二图像(2-2);
(b)生成像素阵列,所述像素阵列中的每个像素与所述第一图像(2-1)中对应定位的像素(4-1)以及所述配准的第二图像(2-2)中对应定位的像素(4-2)相关联;
(c)通过以下方式处理所述像素阵列:针对所述第一图像(2-1)中的每个像素(4-1)和所述配准的第二图像(2-2)中的对应定位的像素(4-2)确定围绕所述第一图像(2-1)中的所述像素(4-1)的所述像素区域(6-1)和围绕所述配准的第二图像(2-2)中的所述对应定位的像素(4-2)的所述像素区域(6-2)之间的相似性度量是否超过所述预定的相似性水平,并且仅当所述相似性度量超过所述预定的相似性水平时,改变所述像素阵列中与所述第一图像(2-1)中的所述像素(4-1)相关联并且与所述配准的第二图像(2-2)中所述对应定位的像素(4-2)相关联的像素的值;
(d)对所述第一图像和所述第二图像中的不同图像重复过程(a)至(c),以生成多个像素阵列;
(e)通过以下方式生成所述参考图像:当所述多个像素阵列中对应定位的像素的像素值的累积超过阈值时,将所述参考图像的每个像素设置为所述累积,并且当所述累积不超过所述阈值时,将所述参考图像的每个像素的值设置为第一像素值;
(f)通过以下方式修改所述参考图像:重复过程(a)至(c)至少一次,并且当所述多个像素阵列中对应定位的像素的像素值的累积超过第二阈值时,将所述参考图像的每个像素设置为所述累积,并且当所述多个像素阵列中对应定位的像素具有其累积不超过所述第二阈值的像素值时,将所述参考图像的每个像素的值设置为所述第一像素值。
14)根据13)所述的方法,其中,通过以下方式修改所述参考图像:当所处理的像素阵列之中预定数量的最近处理的像素阵列中所述对应定位的像素具有其累积超过所述第二阈值的像素值时,将所述参考图像的每个像素设置为所述多个像素阵列中对应定位的像素的像素值的累积,并且当所述处理的像素阵列之中所述预定数量的最近处理的像素阵列中对应定位的像素具有其累积不超过所述第二阈值的像素值时,将所述参考图像的每个像素的值设置为所述第一像素值;所述第二阈值是固定数。
15)根据13)所述的方法,其中,通过以下方式修改所述参考图像:当所有所处理的像素阵列中所述对应定位的像素具有其累积超过所述第二阈值的像素值时,将所述参考图像的每个像素设置为所述多个像素阵列中对应定位的像素的像素值的累积,并且当所有所述处理的像素阵列中对应定位的像素具有其累积不超过所述第二阈值的像素值时,将所述参考图像的每个像素的值设置为所述第一像素值;所述第二阈值伴随所述处理的像素阵列的数量增加。
16)根据2)至15)中的任一项所述的方法,其中,过程(a)包括:
(a1)计算所述图像序列中的一对图像之间的互相关,其中所计算的互相关的值定义了具有峰值的相关面;
(a2)基于所述计算的互相关,计算置信度值;
(a3)确定所计算的置信度值是否超过置信度阈值;
(a4)在所述计算的置信度值的大小被确定为不超过所述置信度阈值的情况下,对所述图像序列中的一个或更多个后续图像中的第一图像和第二图像重复过程(a1)至(a3),直到所述计算的置信度值超过所述置信度阈值;以及
将其计算的互相关值产生超过所述置信度阈值的置信度值的所述图像之中的第一图像与所述图像之中的第二图像进行配准,以生成与所述第一图像(2-1)配准的配准的第二图像(2-2)。
17)根据1)至16)中的任一项所述的方法,其中,所述偏移是在所述参考图像和基于所接收的一个或更多个图像的所述图像之间的平移偏移和旋转偏移中的至少一个。
18)根据1)至17)中的任一项所述的方法,其中,所述相似性度量基于以下各项之中的至少一项:
在所述图像序列中的两个或更多个图像中的对应定位的像素区域(6-1,6-2)的:
(i)像素值梯度之间的相似性;
(ii)平均像素值之间的相似性;和
(iii)像素值直方图之间的相似性。
19)一种存储计算机程序指令的非暂态计算机可读存储介质(250),所述计算机程序指令在由处理器(220)执行时使所述处理器(220)执行如1)至18)中任一项所述的方法。
20)一种携带计算机程序指令的信号(260),所述计算机程序指令在由处理器(220)执行时,使所述处理器(220)执行如1)至18)中任一项所述的方法。
21)一种图像处理装置(200),其被配置成处理由眼科设备(100)采集的视网膜的图像序列,以生成指示在所述图像序列的采集期间所述视网膜的运动的视网膜位置跟踪信息,所述图像处理装置(200)包括处理器(220)和存储计算机程序指令的存储器(240),所述计算机程序指令在由所述处理器(220)执行时,使所述处理器(220)执行如1)至18)中任一项所述的方法。
22)一种眼科设备(100),包括:
光学相干断层扫描OCT成像模块(110),所述光学相干断层扫描OCT成像模块(110)被配置成通过扫描穿过眼睛的视网膜的光束并处理来自所述视网膜的所述光束的反射,采集所述视网膜的OCT图像;
跟踪图像采集模块(120),所述跟踪图像采集模块(120)被配置成:采集所述视网膜的图像序列,以用于在所述OCT成像模块(110)采集所述OCT图像的同时跟踪所述视网膜的运动;以及
控制器(130),所述控制器(130)包括根据21)所述的图像处理装置(140;200),所述图像处理装置(140;200)被配置成处理所述图像序列以生成指示在所述OCT图像的采集期间所述视网膜的运动的视网膜位置跟踪信息,所述控制器(130)被配置成使用所述视网膜位置跟踪信息来控制所述OCT成像模块(110),以便在所述OCT图像的采集期间使所述光束稳定。
Claims (36)
1.一种处理由眼科设备(100)采集的视网膜的图像序列以生成视网膜位置跟踪信息的方法,所述视网膜位置跟踪信息指示在所述图像序列的采集期间所述视网膜的运动,所述方法包括:
(i)接收(S10)所述视网膜的一个或更多个图像;
(ii)计算(S20)参考图像和基于一个或更多个接收的图像的图像之间的互相关,以获取在所述图像和所述参考图像之间的偏移;和
重复过程(i)和(ii)以获取对于基于相应的一个或更多个接收的图像的所述图像的相应偏移作为所述视网膜位置跟踪信息;和
在重复过程(i)和(ii)的时候,通过以下方式修改所述参考图像:确定所述接收的图像中的两个或更多个中的对应定位的像素区域(6-1,6-2)之间的相似性度量,并基于所确定的相似性度量,相对于所述参考图像中除表示被成像的视网膜的结构的特征之外的其他特征突出在所述参考图像中所述表示被成像的视网膜的结构的特征。
2.根据权利要求1所述的方法,其中,所述参考图像由像素的累加器阵列(8)定义或基于所述像素的累加器阵列(8)定义,并且通过以下方式处理所述像素的累加器阵列(8)来修改所述参考图像:
(a)将基于所述接收的图像中的一个或更多个图像的第一图像(2-1)与基于所述接收的图像中的另一个或更多个图像的第二图像配准,以生成与所述第一图像(2-1)配准的配准的第二图像(2-2),所述累加器阵列(8)中的每个像素(10)与所述第一图像(2-1)中对应定位的像素(4-1)以及所述配准的第二图像(2-2)中对应定位的像素(4-2)相关联;
(b)通过以下方式处理所述累加器阵列(8):针对所述第一图像(2-1)中的每个像素(4-1)和所述配准的第二图像(2-2)中的对应定位的像素(4-2)确定围绕所述第一图像(2-1)中的所述像素(4-1)的像素区域(6-1)和围绕所述配准的第二图像(2-2)中的所述对应定位的像素(4-2)的像素区域(6-2)之间的相似性度量是否超过预定的相似性水平,并且仅当所述相似性度量超过所述预定的相似性水平时,改变所述累加器阵列(8)中与所述第一图像(2-1)中的所述像素(4-1)相关联并且与所述配准的第二图像(2-2)中所述对应定位的像素(4-2)相关联的像素(10)的值;以及
对所述第一图像和所述第二图像中的不同图像重复过程(a)和(b)。
3.根据权利要求2所述的方法,其中,在过程(b)中处理所述累加器阵列(8)还包括:
针对所述第一图像(2-1)中的每个像素(4-1)和所述配准的第二图像(2-2)中的对应定位的像素(4-2)确定在所述第一图像(2-1)中围绕所述像素(4-1)的像素区域(6-1)中的像素值的加权平均值与所述配准的第二图像(2-2)中围绕所述对应定位的像素(4-2)的像素区域(6-2)中的像素值的加权平均值之间的差是否小于预定阈值,并且仅当所述相似性度量超过所述预定的相似性水平并且所述差小于所述预定阈值时,改变所述累加器阵列(8)中与所述第一图像(2-1)中的所述像素(4-1)相关联并且与所述配准的第二图像(2-2)中的所述对应定位的像素(4-2)相关联的像素(10)的值,
其中,在所述第一图像(2-1)中围绕所述像素(4-1)的所述像素区域(6-1)中的像素值的加权平均值以及在所述配准的第二图像(2-2)中围绕所述对应定位的像素(4-2)的所述像素区域(6-2)中的像素值的加权平均值都使用结构化元素(12)来计算,所述结构化元素(12)包括像素值权重,相对于所述第一图像(2-1)中围绕所述像素(4-1)的所述像素区域(6-1)和所述配准的第二图像(2-2)中围绕所述对应定位的像素(4-2)的所述像素区域(6-2),所述结构化元素(12)以多个不同取向中的公共取向设置,使得针对所述公共取向计算的所述第一图像(2-1)中围绕所述像素(4-1)的所述像素区域(6-1)中的像素值的加权平均值高于针对其他取向计算的所述第一图像(2-1)中围绕所述像素(4-1)的所述像素区域(6-1)中的像素值的加权平均值。
4.根据权利要求2所述的方法,其中,通过以下方式处理所述累加器阵列(8):
(a)将基于所述接收的图像中的一个或更多个图像的第一图像(2-1)与基于所述接收的图像中的另一个或更多个图像的第二图像配准,以生成与所述第一图像(2-1)配准的配准的第二图像(2-2),所述累加器阵列(8)中的每个像素(10)与所述第一图像(2-1)中对应定位的像素(4-1)以及所述配准的第二图像(2-2)中对应定位的像素(4-2)相关联;
(b1)生成像素阵列,所述像素阵列中的每个像素与所述第一图像(2-1)中对应定位的像素(4-1)以及所述配准的第二图像(2-2)中对应定位的像素(4-2)相关联;
(b2)通过以下方式处理所述像素阵列:针对所述第一图像(2-1)中的每个像素(4-1)和所述配准的第二图像(2-2)中的对应定位的像素(4-2)确定围绕所述第一图像(2-1)中的所述像素(4-1)的所述像素区域(6-1)和围绕所述配准的第二图像(2-2)中的所述对应定位的像素(4-2)的所述像素区域(6-2)之间的相似性度量是否超过所述预定的相似性水平,并且仅当所述相似性度量超过所述预定的相似性水平时,改变所述像素阵列中与所述第一图像(2-1)中的所述像素(4-1)相关联并且与所述配准的第二图像(2-2)中所述对应定位的像素(4-2)相关联的像素的值;
(b3)对于所处理的像素阵列中其值已经改变的每个像素,改变所述累加器阵列(8)中对应定位的像素(10)的值;以及
对所述第一图像和所述第二图像中的不同图像重复过程(a)和过程(b1)至(b3)。
5.根据权利要求4所述的方法,其中,在过程(b2)中处理所述像素阵列还包括:
针对所述第一图像(2-1)中的每个像素(4-1)和所述配准的第二图像(2-2)中的对应定位的像素(4-2)确定在所述第一图像(2-1)中围绕所述像素(4-1)的像素区域(6-1)中的像素值的加权平均值与所述配准的第二图像(2-2)中围绕所述对应定位的像素(4-2)的像素区域(6-2)中的像素值的加权平均值之间的差是否小于预定阈值,并且仅当所述相似性度量超过所述预定的相似性水平并且所述差小于所述预定阈值时,改变所述像素阵列中与所述第一图像(2-1)中的所述像素(4-1)相关联并且与所述配准的第二图像(2-2)中的所述对应定位的像素(4-2)相关联的像素的值,
其中,在所述第一图像(2-1)中围绕所述像素(4-1)的所述像素区域(6-1)中的像素值的加权平均值以及在所述配准的第二图像(2-2)中围绕所述对应定位的像素(4-2)的所述像素区域(6-2)中的像素值的加权平均值都使用结构化元素(12)来计算,所述结构化元素(12)包括像素值权重,相对于所述第一图像(2-1)中围绕所述像素(4-1)的所述像素区域(6-1)和所述配准的第二图像(2-2)中围绕所述对应定位的像素(4-2)的所述像素区域(6-2),所述结构化元素(12)以多个不同取向中的公共取向来设置,使得针对所述公共取向计算的所述第一图像(2-1)中围绕所述像素(4-1)的所述像素区域(6-1)中的像素值的加权平均值高于针对其他取向计算的所述第一图像(2-1)中围绕所述像素(4-1)的所述像素区域(6-1)中的像素值的加权平均值。
6.根据权利要求2至5中的任一项所述的方法,其中,所述参考图像通过以下方式生成:
在所述累加器阵列(8)中的对应定位的像素具有超过第二阈值的像素值时将所述参考图像的每个像素的值设置为所述累加器阵列(8)中所述对应定位的像素的值;以及
在所述累加器阵列(8)中对应定位的像素具有不超过所述第二阈值的像素值时将所述参考图像的每个像素的值设置为第一值。
7.根据权利要求2至5中任一项所述的方法,其中,所述参考图像是通过以下方式生成的二值参考图像:
在所述累加器阵列(8)中对应定位的像素(10)具有超过第二阈值的像素值时将所述二值参考图像的每个像素的值设置为第一像素值;以及
在所述累加器阵列(8)中对应定位的像素(10)具有不超过所述第二阈值的像素值时将所述二值参考图像的每个像素的值设置为第二像素值。
8.根据从属于权利要求4或从属于权利要求5的权利要求6、或者根据从属于权利要求4或从属于权利要求5的权利要求7所述的方法,其中,所述累加器阵列(8)被处理,使得其中的每个像素(10)的值是所处理的像素阵列之中预定数量的最近处理的像素阵列中对应定位的像素的值的累积,并且其中所述第二阈值是固定数。
9.根据从属于权利要求4或从属于权利要求5的权利要求6、或者根据从属于权利要求4或从属于权利要求5的权利要求7所述的方法,其中,所述累加器阵列(8)被处理,使得其中的每个像素(10)的值是所有所处理的像素阵列之中对应定位的像素的值的累积,并且所述第二阈值伴随所述处理的像素阵列的数量而增加。
10.根据权利要求1所述的方法,其中,所述参考图像是二值参考图像,并且所述参考图像通过以下方式被生成和修改:
(a)将基于所述接收的图像中的一个或更多个图像的第一图像(2-1)与基于所述接收的图像中的另一个或更多个图像的第二图像配准,以生成与所述第一图像(2-1)配准的配准的第二图像(2-2);
(b)生成像素阵列,所述像素阵列中的每个像素与所述第一图像(2-1)中对应定位的像素(4-1)以及所述配准的第二图像(2-2)中对应定位的像素(4-2)相关联;
(c)通过以下方式处理所述像素阵列:针对所述第一图像(2-1)中的每个像素(4-1)和所述配准的第二图像(2-2)中的对应定位的像素(4-2)确定围绕所述第一图像(2-1)中的所述像素(4-1)的像素区域(6-1)和围绕所述配准的第二图像(2-2)中的所述对应定位的像素(4-2)的像素区域(6-2)之间的相似性度量是否超过预定的相似性水平,并且仅当所述相似性度量超过所述预定的相似性水平时,改变所述像素阵列中与所述第一图像(2-1)中的所述像素(4-1)相关联并且与所述配准的第二图像(2-2)中所述对应定位的像素(4-2)相关联的像素的值;
(d)对所述第一图像和所述第二图像中的不同图像重复过程(a)至(c),以生成多个像素阵列;
(e)通过以下方式生成所述二值参考图像:当所述多个像素阵列中对应定位的像素具有其累积超过二值化阈值的像素值时,将所述二值参考图像的每个像素设置为第一像素值,并且当所述多个像素阵列中对应定位的像素具有其累积不超过所述二值化阈值的像素值时,将所述二值参考图像的每个像素的值设置为第二像素值;
(f)通过以下方式修改所述二值参考图像:重复过程(a)至(c)至少一次,并且当所述多个像素阵列中对应定位的像素具有其累积超过第二二值化阈值的像素值时,将所述二值参考图像的每个像素设置为所述第一像素值,并且当所述多个像素阵列中对应定位的像素具有其累积不超过所述第二二值化阈值的像素值时,将所述二值参考图像的每个像素的值设置为所述第二像素值。
11.根据权利要求10所述的方法,其中,通过以下方式修改所述二值参考图像:当所处理的像素阵列之中预定数量的最近处理的像素阵列中的对应定位的像素具有其累积超过所述第二二值化阈值的像素值时,将所述二值参考图像的每个像素设置为所述第一像素值,并且当所述处理的像素阵列之中所述预定数量的最近处理的像素阵列中对应定位的像素具有其累积不超过所述第二二值化阈值的像素值时,将所述二值参考图像的每个像素的值设置为所述第二像素值;所述第二二值化阈值是固定数。
12.根据权利要求10所述的方法,其中,通过以下方式修改所述二值参考图像:当所有所处理的像素阵列中对应定位的像素具有其累积超过所述第二二值化阈值的像素值时,将所述二值参考图像的每个像素设置为所述第一像素值,并且当所有所述处理的像素阵列中对应定位的像素具有其累积不超过所述第二二值化阈值的像素值时,将所述二值参考图像的每个像素的值设置为所述第二像素值;所述第二二值化阈值伴随所述处理的像素阵列的数量增加。
13.根据权利要求1所述的方法,其中,所述参考图像通过以下方式被生成和修改:
(a)将基于所述接收的图像中的一个或更多个图像的第一图像(2-1)与基于所述接收的图像中的另一个或更多个图像的第二图像配准,以生成与所述第一图像(2-1)配准的配准的第二图像(2-2);
(b)生成像素阵列,所述像素阵列中的每个像素与所述第一图像(2-1)中对应定位的像素(4-1)以及所述配准的第二图像(2-2)中对应定位的像素(4-2)相关联;
(c)通过以下方式处理所述像素阵列:针对所述第一图像(2-1)中的每个像素(4-1)和所述配准的第二图像(2-2)中的对应定位的像素(4-2)确定围绕所述第一图像(2-1)中的所述像素(4-1)的所述像素区域(6-1)和围绕所述配准的第二图像(2-2)中的所述对应定位的像素(4-2)的所述像素区域(6-2)之间的相似性度量是否超过预定的相似性水平,并且仅当所述相似性度量超过所述预定的相似性水平时,改变所述像素阵列中与所述第一图像(2-1)中的所述像素(4-1)相关联并且与所述配准的第二图像(2-2)中所述对应定位的像素(4-2)相关联的像素的值;
(d)对所述第一图像和所述第二图像中的不同图像重复过程(a)至(c),以生成多个像素阵列;
(e)通过以下方式生成所述参考图像:当所述多个像素阵列中对应定位的像素的像素值的累积超过阈值时,将所述参考图像的每个像素设置为所述累积,并且当所述累积不超过所述阈值时,将所述参考图像的每个像素的值设置为第一像素值;
(f)通过以下方式修改所述参考图像:重复过程(a)至(c)至少一次,并且当所述多个像素阵列中对应定位的像素的像素值的累积超过第二阈值时,将所述参考图像的每个像素设置为所述累积,并且当所述多个像素阵列中对应定位的像素具有其累积不超过所述第二阈值的像素值时,将所述参考图像的每个像素的值设置为所述第一像素值。
14.根据权利要求13所述的方法,其中,通过以下方式修改所述参考图像:当所处理的像素阵列之中预定数量的最近处理的像素阵列中所述对应定位的像素具有其累积超过所述第二阈值的像素值时,将所述参考图像的每个像素设置为所述多个像素阵列中对应定位的像素的像素值的累积,并且当所述处理的像素阵列之中所述预定数量的最近处理的像素阵列中对应定位的像素具有其累积不超过所述第二阈值的像素值时,将所述参考图像的每个像素的值设置为所述第一像素值;所述第二阈值是固定数。
15.根据权利要求13所述的方法,其中,通过以下方式修改所述参考图像:当所有所处理的像素阵列中所述对应定位的像素具有其累积超过所述第二阈值的像素值时,将所述参考图像的每个像素设置为所述多个像素阵列中对应定位的像素的像素值的累积,并且当所有所述处理的像素阵列中对应定位的像素具有其累积不超过所述第二阈值的像素值时,将所述参考图像的每个像素的值设置为所述第一像素值;所述第二阈值伴随所述处理的像素阵列的数量增加。
16.根据权利要求2至5、10至15中的任一项所述的方法,其中,过程(a)包括:
(a1)计算所述图像序列中的一对图像之间的互相关,其中所计算的互相关的值定义了具有峰值的相关面;
(a2)基于所述计算的互相关,计算置信度值;
(a3)确定所计算的置信度值是否超过置信度阈值;
(a4)在所述计算的置信度值的大小被确定为不超过所述置信度阈值的情况下,对所述图像序列中的一个或更多个后续图像中的第一图像和第二图像重复过程(a1)至(a3),直到所述计算的置信度值超过所述置信度阈值;以及
将其计算的互相关值产生超过所述置信度阈值的置信度值的所述图像之中的第一图像与所述图像之中的第二图像进行配准,以生成与所述第一图像(2-1)配准的配准的第二图像(2-2)。
17.根据权利要求6所述的方法,其中,过程(a)包括:
(a1)计算所述图像序列中的一对图像之间的互相关,其中所计算的互相关的值定义了具有峰值的相关面;
(a2)基于所述计算的互相关,计算置信度值;
(a3)确定所计算的置信度值是否超过置信度阈值;
(a4)在所述计算的置信度值的大小被确定为不超过所述置信度阈值的情况下,对所述图像序列中的一个或更多个后续图像中的第一图像和第二图像重复过程(a1)至(a3),直到所述计算的置信度值超过所述置信度阈值;以及
将其计算的互相关值产生超过所述置信度阈值的置信度值的所述图像之中的第一图像与所述图像之中的第二图像进行配准,以生成与所述第一图像(2-1)配准的配准的第二图像(2-2)。
18.根据权利要求7所述的方法,其中,过程(a)包括:
(a1)计算所述图像序列中的一对图像之间的互相关,其中所计算的互相关的值定义了具有峰值的相关面;
(a2)基于所述计算的互相关,计算置信度值;
(a3)确定所计算的置信度值是否超过置信度阈值;
(a4)在所述计算的置信度值的大小被确定为不超过所述置信度阈值的情况下,对所述图像序列中的一个或更多个后续图像中的第一图像和第二图像重复过程(a1)至(a3),直到所述计算的置信度值超过所述置信度阈值;以及
将其计算的互相关值产生超过所述置信度阈值的置信度值的所述图像之中的第一图像与所述图像之中的第二图像进行配准,以生成与所述第一图像(2-1)配准的配准的第二图像(2-2)。
19.根据权利要求8所述的方法,其中,过程(a)包括:
(a1)计算所述图像序列中的一对图像之间的互相关,其中所计算的互相关的值定义了具有峰值的相关面;
(a2)基于所述计算的互相关,计算置信度值;
(a3)确定所计算的置信度值是否超过置信度阈值;
(a4)在所述计算的置信度值的大小被确定为不超过所述置信度阈值的情况下,对所述图像序列中的一个或更多个后续图像中的第一图像和第二图像重复过程(a1)至(a3),直到所述计算的置信度值超过所述置信度阈值;以及
将其计算的互相关值产生超过所述置信度阈值的置信度值的所述图像之中的第一图像与所述图像之中的第二图像进行配准,以生成与所述第一图像(2-1)配准的配准的第二图像(2-2)。
20.根据权利要求9所述的方法,其中,过程(a)包括:
(a1)计算所述图像序列中的一对图像之间的互相关,其中所计算的互相关的值定义了具有峰值的相关面;
(a2)基于所述计算的互相关,计算置信度值;
(a3)确定所计算的置信度值是否超过置信度阈值;
(a4)在所述计算的置信度值的大小被确定为不超过所述置信度阈值的情况下,对所述图像序列中的一个或更多个后续图像中的第一图像和第二图像重复过程(a1)至(a3),直到所述计算的置信度值超过所述置信度阈值;以及
将其计算的互相关值产生超过所述置信度阈值的置信度值的所述图像之中的第一图像与所述图像之中的第二图像进行配准,以生成与所述第一图像(2-1)配准的配准的第二图像(2-2)。
21.根据权利要求1至5、10至15、17至20中的任一项所述的方法,其中,所述偏移是在所述参考图像和基于所接收的一个或更多个图像的所述图像之间的平移偏移和旋转偏移中的至少一个。
22.根据权利要求6所述的方法,其中,所述偏移是在所述参考图像和基于所接收的一个或更多个图像的所述图像之间的平移偏移和旋转偏移中的至少一个。
23.根据权利要求7所述的方法,其中,所述偏移是在所述参考图像和基于所接收的一个或更多个图像的所述图像之间的平移偏移和旋转偏移中的至少一个。
24.根据权利要求8所述的方法,其中,所述偏移是在所述参考图像和基于所接收的一个或更多个图像的所述图像之间的平移偏移和旋转偏移中的至少一个。
25.根据权利要求9所述的方法,其中,所述偏移是在所述参考图像和基于所接收的一个或更多个图像的所述图像之间的平移偏移和旋转偏移中的至少一个。
26.根据权利要求16所述的方法,其中,所述偏移是在所述参考图像和基于所接收的一个或更多个图像的所述图像之间的平移偏移和旋转偏移中的至少一个。
27.根据权利要求1至5、10至15、17至20、22至26中的任一项所述的方法,其中,所述相似性度量基于以下各项之中的至少一项:
在所述图像序列中的两个或更多个图像中的对应定位的像素区域(6-1,6-2)的:
(i)像素值梯度之间的相似性;
(ii)平均像素值之间的相似性;和
(iii)像素值直方图之间的相似性。
28.根据权利要求6所述的方法,其中,所述相似性度量基于以下各项之中的至少一项:
在所述图像序列中的两个或更多个图像中的对应定位的像素区域(6-1,6-2)的:
(i)像素值梯度之间的相似性;
(ii)平均像素值之间的相似性;和
(iii)像素值直方图之间的相似性。
29.根据权利要求7所述的方法,其中,所述相似性度量基于以下各项之中的至少一项:
在所述图像序列中的两个或更多个图像中的对应定位的像素区域(6-1,6-2)的:
(i)像素值梯度之间的相似性;
(ii)平均像素值之间的相似性;和
(iii)像素值直方图之间的相似性。
30.根据权利要求8所述的方法,其中,所述相似性度量基于以下各项之中的至少一项:
在所述图像序列中的两个或更多个图像中的对应定位的像素区域(6-1,6-2)的:
(i)像素值梯度之间的相似性;
(ii)平均像素值之间的相似性;和
(iii)像素值直方图之间的相似性。
31.根据权利要求9所述的方法,其中,所述相似性度量基于以下各项之中的至少一项:
在所述图像序列中的两个或更多个图像中的对应定位的像素区域(6-1,6-2)的:
(i)像素值梯度之间的相似性;
(ii)平均像素值之间的相似性;和
(iii)像素值直方图之间的相似性。
32.根据权利要求16所述的方法,其中,所述相似性度量基于以下各项之中的至少一项:
在所述图像序列中的两个或更多个图像中的对应定位的像素区域(6-1,6-2)的:
(i)像素值梯度之间的相似性;
(ii)平均像素值之间的相似性;和
(iii)像素值直方图之间的相似性。
33.根据权利要求21所述的方法,其中,所述相似性度量基于以下各项之中的至少一项:
在所述图像序列中的两个或更多个图像中的对应定位的像素区域(6-1,6-2)的:
(i)像素值梯度之间的相似性;
(ii)平均像素值之间的相似性;和
(iii)像素值直方图之间的相似性。
34.一种存储计算机程序指令的非暂态计算机可读存储介质(250),所述计算机程序指令在由处理器(220)执行时使所述处理器(220)执行如权利要求1至33中任一项所述的方法。
35.一种图像处理装置(200),其被配置成处理由眼科设备(100)采集的视网膜的图像序列,以生成指示在所述图像序列的采集期间所述视网膜的运动的视网膜位置跟踪信息,所述图像处理装置(200)包括处理器(220)和存储计算机程序指令的存储器(240),所述计算机程序指令在由所述处理器(220)执行时,使所述处理器(220)执行如权利要求1至33中任一项所述的方法。
36.一种眼科设备(100),包括:
光学相干断层扫描OCT成像模块(110),所述光学相干断层扫描OCT成像模块(110)被配置成通过扫描穿过眼睛的视网膜的光束并处理来自所述视网膜的所述光束的反射,采集所述视网膜的OCT图像;
跟踪图像采集模块(120),所述跟踪图像采集模块(120)被配置成:采集所述视网膜的图像序列,以用于在所述OCT成像模块(110)采集所述OCT图像的同时跟踪所述视网膜的运动;以及
控制器(130),所述控制器(130)包括根据权利要求35所述的图像处理装置(140;200),所述图像处理装置(140;200)被配置成处理所述图像序列以生成指示在所述OCT图像的采集期间所述视网膜的运动的视网膜位置跟踪信息,所述控制器(130)被配置成使用所述视网膜位置跟踪信息来控制所述OCT成像模块(110),以便在所述OCT图像的采集期间使所述光束稳定。
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/EP2017/070580 WO2019034231A1 (en) | 2017-08-14 | 2017-08-14 | TRACKING RETINAL POSITION |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111148460A CN111148460A (zh) | 2020-05-12 |
CN111148460B true CN111148460B (zh) | 2022-05-03 |
Family
ID=59738297
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201780095439.9A Active CN111148460B (zh) | 2017-08-14 | 2017-08-14 | 视网膜位置跟踪 |
Country Status (7)
Country | Link |
---|---|
US (1) | US11547293B2 (zh) |
EP (1) | EP3668369B1 (zh) |
JP (1) | JP7044279B2 (zh) |
CN (1) | CN111148460B (zh) |
DK (1) | DK3668369T3 (zh) |
ES (1) | ES2868675T3 (zh) |
WO (1) | WO2019034231A1 (zh) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111238477B (zh) * | 2019-03-25 | 2023-07-14 | 武汉珈鹰智能科技有限公司 | 一种烟囱内无人机的定位方法及装置 |
DK3719748T3 (da) * | 2019-04-04 | 2021-10-04 | Optos Plc | Medicinsk afbildningsindretning |
US20220142473A1 (en) * | 2019-07-26 | 2022-05-12 | North Inc. | Method and system for automatic pupil detection |
CN112801871B (zh) * | 2021-01-29 | 2024-04-05 | 中汽创智科技有限公司 | 一种基于切比雪夫距离判别的图像自适应融合方法 |
CN114373216B (zh) * | 2021-12-07 | 2024-07-02 | 图湃(北京)医疗科技有限公司 | 用于眼前节octa的眼动追踪方法、装置、设备和存储介质 |
Family Cites Families (44)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5196929A (en) * | 1989-07-05 | 1993-03-23 | Olympus Optical Co., Ltd. | Display system of camera having tracking apparatus |
US6095989A (en) | 1993-07-20 | 2000-08-01 | Hay; Sam H. | Optical recognition methods for locating eyes |
GB9323065D0 (en) | 1993-11-09 | 1994-01-05 | Besca Ltd | A wide field retinal scanning ophthalmoscope |
US5832110A (en) * | 1996-05-28 | 1998-11-03 | Ricoh Company, Ltd. | Image registration using projection histogram matching |
US6042232A (en) * | 1999-01-21 | 2000-03-28 | Leica Microsystems Inc. | Automatic optometer evaluation method using data over a wide range of focusing positions |
JP3874985B2 (ja) * | 2000-02-18 | 2007-01-31 | 富士通株式会社 | 画像演算装置 |
DE10297574B4 (de) * | 2001-12-21 | 2009-09-10 | Sensomotoric Instruments Gmbh | Verfahren und Vorrichtung zur Augenerfassung |
DE10228634A1 (de) | 2002-06-26 | 2004-01-22 | Osram Opto Semiconductors Gmbh | Oberflächenmontierbare Miniatur-Lumineszenz-und/oder Photo-Diode und Verfahren zu deren Herstellung |
US20040105074A1 (en) * | 2002-08-02 | 2004-06-03 | Peter Soliz | Digital stereo image analyzer for automated analyses of human retinopathy |
JP4101645B2 (ja) | 2002-12-26 | 2008-06-18 | 松下電器産業株式会社 | 動きベクトル検出装置,動きベクトル検出方法,プログラム,および記録媒体 |
EP1602321A1 (en) | 2004-06-02 | 2005-12-07 | SensoMotoric Instruments GmbH | Method and apparatus for image-based eye tracking for retinal diagnostic or surgery device |
US7522779B2 (en) * | 2004-06-30 | 2009-04-21 | Accuray, Inc. | Image enhancement method and system for fiducial-less tracking of treatment targets |
US7426318B2 (en) | 2004-06-30 | 2008-09-16 | Accuray, Inc. | Motion field generation for non-rigid image registration |
FR2883985B1 (fr) | 2005-03-30 | 2007-12-07 | Varioptic Sa | Procede et dispositif de commande d'une lentille a focale variable |
US7805009B2 (en) * | 2005-04-06 | 2010-09-28 | Carl Zeiss Meditec, Inc. | Method and apparatus for measuring motion of a subject using a series of partial images from an imaging system |
GB2440163A (en) | 2006-07-15 | 2008-01-23 | Optos Plc | Scanning ophthalmoscope with reduced shear distortion |
JP4971872B2 (ja) | 2007-05-23 | 2012-07-11 | 株式会社トプコン | 眼底観察装置及びそれを制御するプログラム |
WO2009153789A1 (en) * | 2008-06-18 | 2009-12-23 | Surgix Ltd. | A method and system for stitching multiple images into a panoramic image |
US8322853B2 (en) | 2009-10-02 | 2012-12-04 | Optos Plc | Diagnostic method and apparatus for predicting potential preserved visual acuity |
CN103096785B (zh) | 2010-03-12 | 2015-09-30 | 佳能株式会社 | 眼科设备及其控制方法 |
JP5818409B2 (ja) | 2010-06-17 | 2015-11-18 | キヤノン株式会社 | 眼底撮像装置及びその制御方法 |
GB201020530D0 (en) * | 2010-12-03 | 2011-01-19 | Optos Plc | Method of identifying anomalies in images |
JP5635898B2 (ja) | 2010-12-17 | 2014-12-03 | キヤノン株式会社 | 眼底撮像装置及びその制御方法 |
JP5901124B2 (ja) | 2011-03-10 | 2016-04-06 | キヤノン株式会社 | 撮像装置およびその制御方法 |
US20130010259A1 (en) | 2011-07-05 | 2013-01-10 | Escalon Digital Vision, Inc. | Region based vision tracking system for imaging of the eye for use in optical coherence tomography |
JP6057567B2 (ja) | 2011-07-14 | 2017-01-11 | キヤノン株式会社 | 撮像制御装置、眼科撮像装置、撮像制御方法及びプログラム |
JP5913999B2 (ja) | 2012-01-16 | 2016-05-11 | キヤノン株式会社 | 眼科撮像装置およびその制御方法 |
JP5997457B2 (ja) | 2012-02-21 | 2016-09-28 | キヤノン株式会社 | 撮像装置及び撮像装置の制御方法 |
JP6025349B2 (ja) | 2012-03-08 | 2016-11-16 | キヤノン株式会社 | 画像処理装置、光干渉断層撮像装置、画像処理方法および光干渉断層撮像方法 |
JP5941761B2 (ja) | 2012-06-11 | 2016-06-29 | 株式会社トプコン | 眼科撮影装置及び眼科画像処理装置 |
JP6062688B2 (ja) * | 2012-08-30 | 2017-01-18 | キヤノン株式会社 | 眼科装置、眼科装置の制御方法、およびプログラム |
JP5799920B2 (ja) | 2012-09-07 | 2015-10-28 | 株式会社デンソー | 車両用ヘッドアップディスプレイ装置 |
GB201217538D0 (en) | 2012-10-01 | 2012-11-14 | Optos Plc | Improvements in or relating to scanning laser ophthalmoscopes |
GB201302887D0 (en) | 2013-02-19 | 2013-04-03 | Optos Plc | Improvements in or relating to image processing |
JP6139186B2 (ja) | 2013-03-11 | 2017-05-31 | 東芝メディカルシステムズ株式会社 | 超音波診断装置、画像処理装置及び画像処理プログラム |
US9370301B2 (en) * | 2013-04-03 | 2016-06-21 | Kabushiki Kaisha Topcon | Ophthalmologic apparatus |
US20150016051A1 (en) | 2013-07-15 | 2015-01-15 | Toshiba Global Commerce Solutions Holdings Corporation | Display assembly having graduated magnetic fastening characteristics |
JP6305250B2 (ja) * | 2014-04-04 | 2018-04-04 | 株式会社東芝 | 画像処理装置、治療システム及び画像処理方法 |
JP6415086B2 (ja) | 2014-04-16 | 2018-10-31 | キヤノン株式会社 | 画像処理装置、画像処理方法、及びプログラム |
JP2016112267A (ja) * | 2014-12-16 | 2016-06-23 | キヤノン株式会社 | 眼科装置、画像生成方法およびプログラム |
AU2014280958B2 (en) | 2014-12-24 | 2017-08-31 | Canon Kabushiki Kaisha | Registration across frame boundaries in AO-SLO capture |
US9875541B2 (en) * | 2016-01-14 | 2018-01-23 | Canon Kabushiki Kaisha | Enhanced algorithm for the detection of eye motion from fundus images |
US9795294B1 (en) * | 2016-07-01 | 2017-10-24 | Canon Kabushiki Kaisha | System and method for eye tracking during retinal imaging |
JP7126818B2 (ja) * | 2017-11-24 | 2022-08-29 | 株式会社トプコン | 眼科情報処理装置、眼科システム、眼科情報処理装置の作動方法、及びプログラム |
-
2017
- 2017-08-14 CN CN201780095439.9A patent/CN111148460B/zh active Active
- 2017-08-14 WO PCT/EP2017/070580 patent/WO2019034231A1/en unknown
- 2017-08-14 US US16/637,052 patent/US11547293B2/en active Active
- 2017-08-14 JP JP2020508479A patent/JP7044279B2/ja active Active
- 2017-08-14 ES ES17758453T patent/ES2868675T3/es active Active
- 2017-08-14 DK DK17758453.9T patent/DK3668369T3/da active
- 2017-08-14 EP EP17758453.9A patent/EP3668369B1/en active Active
Also Published As
Publication number | Publication date |
---|---|
US11547293B2 (en) | 2023-01-10 |
JP2020530632A (ja) | 2020-10-22 |
US20200237209A1 (en) | 2020-07-30 |
CN111148460A (zh) | 2020-05-12 |
EP3668369B1 (en) | 2021-03-31 |
WO2019034231A1 (en) | 2019-02-21 |
JP7044279B2 (ja) | 2022-03-30 |
EP3668369A1 (en) | 2020-06-24 |
DK3668369T3 (da) | 2021-05-03 |
ES2868675T3 (es) | 2021-10-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111148460B (zh) | 视网膜位置跟踪 | |
Köhler et al. | Automatic no-reference quality assessment for retinal fundus images using vessel segmentation | |
US20190201106A1 (en) | Identification and tracking of a predefined object in a set of images from a medical image scanner during a surgical procedure | |
US9619874B2 (en) | Image processing apparatus and image processing method | |
US8428318B2 (en) | Motion compensated image averaging | |
US9569846B2 (en) | Ophthalmic reference image selection | |
US20110137157A1 (en) | Image processing apparatus and image processing method | |
US10176614B2 (en) | Image processing device, image processing method, and program | |
US9089280B2 (en) | Image processing apparatus, image processing method, and program storage medium | |
EP2818099B1 (en) | Cycloduction measurement device, cycloduction measurement method, and cycloduction measurement program | |
EP3449465B1 (en) | Retinal image processing | |
WO2002061444A2 (en) | Registration reliability measure | |
EP3449464B1 (en) | Retinal image processing | |
US10846892B2 (en) | Image processing apparatus, image processing method, and storage medium | |
US10916012B2 (en) | Image processing apparatus and image processing method | |
JP2014014725A (ja) | 画像処理装置、画像処理方法、及びプログラム | |
Odstrcilik et al. | Blood vessel segmentation in video-sequences from the human retina | |
JP2018089304A (ja) | 画像処理装置、画像処理方法およびプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |