CN111629652A - 改善oct中基于lso的跟踪的后处理方法 - Google Patents
改善oct中基于lso的跟踪的后处理方法 Download PDFInfo
- Publication number
- CN111629652A CN111629652A CN201980009358.1A CN201980009358A CN111629652A CN 111629652 A CN111629652 A CN 111629652A CN 201980009358 A CN201980009358 A CN 201980009358A CN 111629652 A CN111629652 A CN 111629652A
- Authority
- CN
- China
- Prior art keywords
- oct
- motion tracking
- scan
- tracking data
- motion
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims description 69
- 238000012805 post-processing Methods 0.000 title description 36
- 230000033001 locomotion Effects 0.000 claims abstract description 257
- 238000012014 optical coherence tomography Methods 0.000 claims description 330
- 238000012937 correction Methods 0.000 claims description 31
- 238000006073 displacement reaction Methods 0.000 claims description 28
- 230000009466 transformation Effects 0.000 claims description 28
- 230000001788 irregular Effects 0.000 claims description 10
- 238000002583 angiography Methods 0.000 claims description 9
- 238000012545 processing Methods 0.000 claims description 7
- 230000005484 gravity Effects 0.000 claims 1
- 230000000694 effects Effects 0.000 abstract description 8
- 238000004422 calculation algorithm Methods 0.000 description 37
- 230000000875 corresponding effect Effects 0.000 description 14
- 239000000523 sample Substances 0.000 description 9
- 230000008569 process Effects 0.000 description 8
- 238000004891 communication Methods 0.000 description 7
- 230000003287 optical effect Effects 0.000 description 7
- 210000001525 retina Anatomy 0.000 description 7
- 238000000844 transformation Methods 0.000 description 7
- 238000003384 imaging method Methods 0.000 description 6
- 238000005286 illumination Methods 0.000 description 5
- 238000013459 approach Methods 0.000 description 4
- 239000000835 fiber Substances 0.000 description 4
- 230000006872 improvement Effects 0.000 description 4
- 238000013442 quality metrics Methods 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 210000004204 blood vessel Anatomy 0.000 description 3
- 238000001514 detection method Methods 0.000 description 3
- 230000000670 limiting effect Effects 0.000 description 3
- 239000013307 optical fiber Substances 0.000 description 3
- 230000004256 retinal image Effects 0.000 description 3
- 230000011218 segmentation Effects 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000004424 eye movement Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 230000002829 reductive effect Effects 0.000 description 2
- 230000003595 spectral effect Effects 0.000 description 2
- 238000013519 translation Methods 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 210000003477 cochlea Anatomy 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 230000001934 delay Effects 0.000 description 1
- 230000001747 exhibiting effect Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 210000003205 muscle Anatomy 0.000 description 1
- 230000036961 partial effect Effects 0.000 description 1
- 210000001747 pupil Anatomy 0.000 description 1
- 238000011002 quantification Methods 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 210000003491 skin Anatomy 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 208000011580 syndromic disease Diseases 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- 230000002792 vascular Effects 0.000 description 1
- 210000001835 viscera Anatomy 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
- A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
- A61B3/102—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for optical coherence tomography [OCT]
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
- A61B3/0016—Operational features thereof
- A61B3/0025—Operational features thereof characterised by electronic signal processing, e.g. eye models
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
- A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
- A61B3/13—Ophthalmic microscopes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10101—Optical tomography; Optical coherence tomography [OCT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30041—Eye; Retina; Ophthalmic
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Medical Informatics (AREA)
- Animal Behavior & Ethology (AREA)
- Ophthalmology & Optometry (AREA)
- Veterinary Medicine (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Public Health (AREA)
- Molecular Biology (AREA)
- Surgery (AREA)
- Biophysics (AREA)
- General Health & Medical Sciences (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Signal Processing (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Investigating Or Analysing Materials By Optical Means (AREA)
- Eye Examination Apparatus (AREA)
Abstract
在获取OCT扫描之后,通过识别与每个所获取的OCT扫描同时(或在时间上最接近)收集的运动跟踪数据,重新应用误差补偿。在应用新的运动跟踪数据之前,从OCT扫描中去除任何先前应用的运动跟踪信息的影响,这可以提供更高分辨率的运动跟踪。
Description
技术领域
本发明总体上涉及光学相干断层成像(OCT)和OCT血管造影术(OCTA)的领域。更具体地,本发明涉及减少由运动跟踪误差引起的伪影,特别是如在正面图像(enface image)中所显现的。
背景技术
光学相干断层成像(OCT)系统可包括用于跟踪被检查的对象的运动的图像相机和用于扫描对象的OCT扫描仪。图像相机可以用于向OCT扫描仪提供运动跟踪信息,OCT扫描仪可以使用运动信息来引导和/或校正扫描操作。因此运动跟踪中的误差可对OCT扫描的质量具有直接影响。
已经提出了在OCT数据的获取期间(例如,OCT扫描)和作为后处理技术两者校正OCT扫描中的运动的工作。已经提出了基于LSO的跟踪算法,该算法使用与OCT数据同时获取的LSO图像来引导OCT扫描仪的位置,以便获取OCT帧并且决定是否需要重新扫描特定OCT帧(参见例如美国专利8857988)。其他算法可以依赖于获取若干重复的OCT数据集。美国专利9706915描述了一种方法,在该方法中,在数量减少的位置中完成OCT数据的第一获取,使得该数据可以被认为是基本上静止的,并且可以将在更多数据位置情况下的第二获取配准到该OCT数据下。然而,获取静止数据是极其困难的,因为眼睛移动可能非常快且不可预测的。其他方法使用两个正交三维数据集的获取使用图像配准算法来在OCT数据集本身上回顾性地校正运动。另外的方法依赖于OCT图像中的血管的分割以及正则化算法来校正运动(参见例如Lang A等,“Combined registration and motion correction of longitudinalretinal OCT data”,Proceedings of SPIE--The International Society for OpticalEngineering 2016;9784:97840X)。然而,来自这些方法的结果可能取决于在算法的各个步骤中使用的分割方法的性能。
虽然大部分成功,但是校正OCT图像中的运动的当前方法具有若干限制,包括:(1)在不同方向的若干获取中获取重复的OCT数据是耗时的并且可能需要在基本上静止的位置中获取数据;(2)在多个方向获取重复数据以校正运动的结果也可能会以损失或模糊精细细节为代价;以及(3)中间分割步骤的使用可能导致失败情况。
本发明的一个目的是提供一种用于OCT和OCTA图像中的改进运动校正的方法/设备/系统。
本发明的另一目的是提供与所使用的运动跟踪算法无关的运动校正。
发明内容
在使用用于运动跟踪的成像相机(例如,线扫描检眼镜,LSO)、以及使用用于OCT扫描引导的跟踪信息的OCT扫描仪的OCT或OCTA、系统或方法中,满足了以上目的。本发明克服针对OCT系统的运动校正中的主要限制,OCT系统使用LSO跟踪数据(或其他类型的运动跟踪数据)引导OCT获取。本发明使用在获取过程中收集的信息回顾性地应用于已经获取的数据,因此它在获取过程中不经受受限的执行时间限制并且同时可以使用“实时”运动跟踪变换而不是“近实时”运动跟踪变换,来校正运动。即,在获取了所有与OCT和运动跟踪关联的数据之后,可以通过使已经被命令到OCT相机(例如,OCT光电检测器)(例如,由OCT相机使用的)的运动跟踪变换对每个帧的效果(例如,OCT扫描获取)反转(例如,消除)、并且将校正的(例如,更紧密匹配的)观察的跟踪变换的效果应用于每个帧,来校正在运动跟踪期间出现的任何误差。
本发明可以校正整个OCT或OCT血管造影(OCTA)体积中的运动误差,而不需要重复获取体积(以稀疏方式或通过两个正交方向)。
本发明可以在用于光学相干断层成像数据中的运动校正的方法或者系统中实现。该方法或系统可包括收集运动跟踪数据,其中每个收集的运动跟踪数据具有相应的运动跟踪时间戳或其他顺序指示符,允许确定两个(或两个以上)事件何时相对于彼此(诸如在相对于彼此的时间上或在绝对时间上)发生。例如,如果运动跟踪数据包括多个依次捕获的眼底图像中的眼底图像,则运动跟踪指示符可以指示在依次捕获的眼底图像中其眼底图像被捕获的顺序。应当理解,如果不是所有捕获的眼底图像都提供有用的运动跟踪数据,则这样的顺序中可能存在间隙。在收集运动跟踪数据的同时,OCT扫描仪可获取多个OCT扫描,其中每个获取的OCT扫描可具有相应的OCT扫描时间戳或其他顺序指示符,可以允许比较收集运动跟踪数据的时间与获取OCT扫描的时间之间的相对时间差。例如,OCT扫描顺序指示符可以指示获取有用的OCT扫描的顺序。应当理解,如果一些OCT扫描作为坏品而被丢弃时,则这种顺序中可能存在间隙。在这种情况下,OCT系统可能需要返回并且在时间允许时(例如,中断当前扫描并返回到样本上丢失的位置)再次尝试。因此,OCT扫描顺序指示符可能不对应于样本上的位置的顺序扫描。然后,可以基于它们相应的OCT时间戳和运动跟踪时间戳,将获取的OCT扫描与收集的运动跟踪数据进行匹配。例如,获取的OCT扫描可以与具有最紧密匹配的时间戳的收集的运动跟踪数据相匹配。然后,可以基于它们收集的匹配的运动跟踪数据来校正获取的OCT扫描中的位移误差,并且可以显示或存储经位移校正的OCT扫描以供将来分析。
应注意,通常,通过先前收集的运动跟踪数据来指导OCT扫描获取,但收集的匹配的运动跟踪数据可能与用于OCT扫描获取的运动跟踪数据不相同。因此,基于它们收集的匹配的运动跟踪数据,向已获取的OCT扫描应用运动校正可能会导致其对应的A-扫描从其原始规则位置不规则地偏移。因此,基于它们匹配的运动跟踪数据对获取的OCT扫描中的位移误差进行校正,可包括用于补偿A-扫描的这种不规则偏移的步骤。例如,基于它们匹配的运动校正数据,可以被确定OCT扫描中的A-扫描的校正位置,并且这些校正位置可以构成不规则点位置的点云。然后点云可以被转换成均匀坐标网格,A-扫描在该网格内的规则排序位置处。
例如,通过基于点云内的非规则点位置处的A-扫描来在规则排序位置处内插新A-扫描,点云可以被转换为均匀坐标网格。这样做的方法可包括基于点云内的3个A-扫描的集合内插新A-扫描,3个A-扫描的位置限定围绕规则排序位置的最小面积的三角形。
可替换地,通过对点云进行三角划分,可以在规则排序位置处内插新A-扫描,使得点云中的每个A-扫描位置对应于三角形集合中的顶点。然后坐标网格内的每个规则排序位置可以与点云中的对应的3个位置的集合相关联。以这种方式,每个对应的3个位置的集合可限定三角形的顶点,该三角形的顶点包括坐标网格内的相关联的规则排序位置。然后可以生成查找表(LUT),该查找表具有针对坐标网格内的每一排序位置的条目。LUT中的每个条目可以包括点云中的排序位置的对应的3个位置的集合、以及基于排序位置相对于其关联的三角形的重心坐标的权重。然后可以基于LUT内插新A-扫描。
在运动跟踪数据包括多个单独的运动跟踪数据,并且每个单独的运动跟踪数据包括图像和基于图像的第一分辨率的第一跟踪变换的情况下,本发明还可以包括:对于每个单独的运动跟踪数据,创建大于第一跟踪变换的第二分辨率的第二跟踪变换。然后可以基于它们匹配的运动跟踪数据的相应的第二跟踪变换,来校正获取的OCT扫描中的位移误差。
在实施方式中,每个OCT扫描可以与相应运动跟踪数据相关联,并且每个OCT扫描基于其相关联的运动跟踪数据应用第一运动补偿。在这种情况下,基于它们匹配的运动跟踪数据校正获取的OCT扫描中的位移误差的步骤可包括:基于它们相应匹配的收集的运动跟踪数据对获取的OCT扫描应用第二运动补偿。再次,应注意,OCT扫描的匹配的收集的运动跟踪数据可以不同于相应的相关联的运动跟踪数据。此外,基于其相关联的运动跟踪数据将第一运动补偿应用于OCT扫描可包括:使用相关联的运动跟踪数据引导OCT扫描的获取。
此外,每个运动跟踪数据可包括图像和基于图像的第一跟踪变换,并且每个OCT扫描还可以与其相关联的运动跟踪数据的图像相关联。在这种情况下,基于它们相应匹配的收集的运动跟踪数据对获取的OCT扫描应用第二运动补偿的步骤可包括:对相关联的运动跟踪数据的图像去关联;对匹配的收集的运动跟踪数据的图像相关联;以及基于匹配的收集的运动跟踪数据的图像,生成第二运动补偿。
此外,可以基于其相关联的运动跟踪数据的图像生成第一运动补偿,并且其相关联的运动跟踪数据的图像的分辨率可以小于其匹配的收集的运动跟踪数据的图像的分辨率。例如,如果需要,可对其匹配的收集的运动跟踪数据的图像进行上采样,以实现比其相关联的运动跟踪数据的图像更高的分辨率。
在实施方式中,每个获取的OCT扫描可与运动跟踪时间戳最接近获取的OCT扫描的OCT时间戳的收集的运动跟踪数据相匹配。另外,LSO可以用于收集运动跟踪数据。如上所述,本方法或系统可以实现OCTA。例如,获取的OCT扫描可以提供OCT血管造影数据。
如果每个运动跟踪数据具有运动跟踪顺序指示符而不是运动跟踪时间戳,并且每个OCT扫描具有OCT扫描顺序指示符而不是OCT扫描时间戳,则可以基于其相应的OCT扫描顺序指示符和运动跟踪序列指示符,有区别地进行将获取的OCT扫描与收集的运动跟踪数据相匹配的步骤。在该方法中,每个OCT扫描已经具有与收集的运动跟踪数据的现有关联。例如,每个OCT扫描可以与原始用于引导其扫描获取(例如,与初步运动跟踪数据相关联)的运动跟踪数据相关联。对于要校正其位移误差的目标OCT扫描,识别其相关联的初步运动跟踪数据。然后,从所识别的初步运动跟踪数据开始,可根据它们的运动跟踪顺序指示符沿着收集的运动跟踪数据移位达预定义偏移,以达到目标运动跟踪数据。该预定义偏移可以是“一个”位置偏移。然后目标OCT扫描与目标运动跟踪数据匹配。可替换地,如果运动跟踪数据是运动跟踪时间戳,那么偏移可基于所识别的初步运动跟踪数据的运动跟踪时间戳与目标OCT扫描的OCT扫描时间戳之间的差。
通过结合附图参考以下描述和权利要求,其他目的和实现以及对本发明的更全面的理解将变得清楚和明白。
本文中公开的实施方式仅是实例,并且本公开的范围不限于此。根据本发明的实施方式在所附权利要求中公开,涉及一种方法、存储装置、系统、装置和/或计算机程序产品,其中,在一个权利要求类别中提及的任何特征(例如,方法)也可以在另一权利要求类别(例如,系统)中阐述。仅由于形式的原因而选择返回所附权利要求中的依赖或引用。然而,也可以要求由返回任何先前的权利要求的故意引用所导致的任何主题,从而权利要求及其特征的任何组合被公开并且可以要求保护,而不管所附权利要求中选择的依赖性。
附图说明
在附图中,其中,相同的参考符号/字符指代相同的部分:
图1示出了简化的OCT系统,该简化的OCT系统结合了基于线扫描检眼镜(LSO)和OCT扫描仪的眼睛跟踪,线扫描检眼镜LSO和OCT扫描仪为了便于讨论而用虚线象征性地分开。
图2示出了典型的光学相干断层成像(OCT)系统的操作示图,该系统可包括线扫描检眼镜(LSO)和OCT扫描仪。
图3示出了通过具有典型运动校正的OCT扫描得到的正面OCTA图像(左图像A)和根据本发明的经校正的正面OCTA图像(右图像B)。
图4示出了根据本发明的后处理技术中的一些主要步骤。
图5提供了在输入位置(fi,sj)处的原始A-扫描移动到校正位置(f′i,s′j)的可视化解释,这些校正位置可以构成位置的不规则点云。
图6A显示了示例性情况,在该情况中,在本发明的后处理算法之前计算跟踪质量度量(基于通常在破裂的或锯齿状的血管中看到的线之间的偏差)。
图6B显示了根据本发明的将快速后处理技术应用于图6A的实例之后的结果,例如,使用在获取期间生成的观察的变换执行后处理算法之后。
图6C显示了根据本发明的将精细后处理技术应用于图6A的实例之后的结果,例如,在使用观察的LSO图像的新配准、或上采样至与OCT图像相同(或相似量级)的分辨率的观察的LSO图像的新配准执行后处理算法之后。
图7显示了在应用本发明的快速后处理和精细后处理技术之前和之后的一系列示例性表层血管造影片。
图8示出了用于光学相干断层成像(OCT)或OCTA系统中的运动校正的示例性方法。
图9示出了例如用于实现图1的单个处理器150、153、154和165或它们的任意组合的适于本发明的示例性计算机设备(或计算机系统)。
具体实施方式
应注意,在使用运动跟踪以引导获取OCT扫描(例如,B-扫描或帧)的光学相干断层成像(OCT)系统中,使用在当前OCT扫描获取步骤之前收集的传感器数据(例如,图像数据),生成用于引导当前OCT扫描获取步骤的运动跟踪信息。通常,尽可能“接近实时地”获取运动跟踪信息,但是在生成运动跟踪信息与基于生成的运动跟踪信息获取OCT扫描之间存在固有延迟。因此,用于引导OCT扫描的运动信息不是“实时”信息,并且可能没有考虑当前位移误差。用于减缓此困难的方法是将运动跟踪信息的生成加速为“接近实时”,尽可能接近实时。这通常需要对用于运动跟踪的传感器数据(例如,图像数据)进行下采样,但是这导致较低分辨率的运动跟踪信息,这本身可能会引入误差。使用高分辨率传感器数据和复杂的运动跟踪算法将是有益的,但这两种方法都将向OCT扫描的获取引入延迟。
本发明通过应用后处理解决这些困难。首先,可以收集(存储)所有(或大量)捕获的传感器数据(例如,图像)、生成的运动跟踪信息和获取的OCT扫描。然后可以通过识别(即,匹配)与每个获取的OCT扫描同时(或在时间上接近)收集的传感器数据,而将误差补偿应用于已经获取的OCT扫描。每个OCT扫描将已基于其相关联的传感器数据接收第一运动补偿。可以从每个获取的OCT扫描中去除此第一运动补偿的效果,并且OCT扫描可以与其匹配的传感器数据相关联。然后可以使用其匹配的传感器数据来生成第二运动补偿,并且然后可以将此第二运动补偿应用于获取的OCT扫描。应注意,由于在已经获取OCT扫描之后生成该第二运动补偿,因此第二运动补偿可使用更高分辨率的传感器数据和/或更复杂的运动跟踪算法,而不影响OCT扫描获取顺序。因此,假设存储了用于OCT扫描的足够的原始传感器数据,该过程还可应用于先前获取的OCT扫描库。
本发明可以应用于使用跟踪信息来引导OCT扫描的任何OCT系统,但是为了简单起见,下面讨论的具体实例可涉及具有眼底成像器(具体是线扫描检眼镜LSO)的OCT系统以及OCTA系统,诸如用于检查眼睛的OCT系统。除非另有说明,否则术语“OCT扫描”可以指代OCTB-扫描或“快速扫描”。然而,应当理解,当人们将位移误差校正应用于B-扫描或将运动补偿应用于B-扫描的获取时,由于B-扫描由多个A-扫描组成,因此人们固有地将位移误差校正或运动补偿应用于A-扫描。
图1示出了简化的OCT系统11,该简化的OCT系统结合了基于线扫描检眼镜(LSO)和OCT扫描仪的眼睛跟踪,线扫描检眼镜和OCT扫描仪为了便于讨论而用虚线象征性地分开。然而,应当理解,与扫描仪122相比,虚线的OCT扫描仪侧结合了更多集成到OCT系统的部件,并且LSO和OCT可以共用多个部件。在本实例中,来自LSO光源101的光可由透镜102(例如,柱面透镜,其将光聚焦成线而不是点)和分束器103路由到扫描反射镜104。柱面透镜102和扫描透镜105可以在视网膜图像平面106处产生照射线,并且目镜107和眼睛100的光学系统可以将该照射线重新成像到视网膜110上。当扫描镜104旋转时,照射线可以扫过视网膜110。来自视网膜的反射光近似地反转LSO照射光的路径,例如,反射光被LSO扫描反射镜104去扫描,使得视网膜的照射部分是静止的并且由成像透镜108成像到LSO线性相机109上。LSO线性相机可将反射的LSO光转换为表示单线部分图像(例如,线图像)的数据流140,该数据流可由一个或多个处理器150处理以形成全帧图像。处理器150可生成用于OCT扫描仪侧的眼睛跟踪信息(沿着数据路径142传送)、和用于在显示器154上观察的视网膜的全帧图像(例如,眼底图像)(沿着数据路径141传送)。
在OCT扫描仪侧,经由光纤耦合器171沿着光纤167传送来自光源161的光,以照射样本(例如,眼底110)。光源161可以是例如在谱域OCT(SD-OCT)的情况下具有短时间相干长度的宽带光源、或者在扫频源OCT(SS-OCT)的情况下波长可调的激光源。扫描仪122扫描来自源161的光,使得在待成像的区域或体积上(例如,横向地)扫描光束。从样本(例如,眼睛100)返回的后向散射光被扫描仪122去扫描,并且通常被收集到用于路由用于照射的光的同一光纤167中。从相同的OCT光源161获得的参照光行进了一段分离的路径,在这种情况下涉及光纤173和具有可调节光学延迟的回射器175。如本领域中所知,也能够使用透射参照路径,并且可调节的延迟可以置于样本或干涉仪的参考臂中。收集的样本光通常在光纤耦合器171中结合参照光以在检测器163(或相机的收集器)中形成光干涉。虽然单个光纤端口被示出为接近检测器163,但是本领域中的技术人员将认识到,干涉仪的各种设计能够用于干扰信号的平衡或不平衡检测。将来自检测器163的输出提供给一个或多个处理器165,处理器可以确定反向散射光的深度分布。应理解,处理器165(或其功能)可并入到处理器150中,反之亦然。在轴向或深度方向(z方向)上的各数据线称为A-扫描。可以通过组合一系列A-扫描(例如,横向地)来获得截面成像或B-扫描。产生B-扫描的各种方式是已知的,包括但不限于,沿水平或x方向、沿垂直或y方向、沿x和y的对角线或以圆形或螺旋样式。例如,相邻B-扫描的集合可以构成OCT数据的体积或块。通常,定义一个B-扫描的A-扫描集合的方向可以被称为快速扫描方向,并且获得多个相邻B-扫描以限定体积的方向可以被称为慢扫描方向。OCT扫描仪侧可以使用时域或频域方法(谱域、扫频源等,参见例如美国专利号5321501和美国公开号2007/0291277,通过引用将其全部内容结合于此)。如本领域的技术人员已知,在干涉仪内的样本和参考臂可以由体光学、光纤光学或混合体光学系统构成并且可以具有不同的架构,例如,Michelson、Mach-Zehnder或基于共同路径的设计。如本文中所使用的光束可被解释为任何精心引导的光路径。在时域系统中,参考臂可具有可调节的光学延迟以产生干扰。平衡检测系统通常可以用于时域OCT(TD-OCT)和SS-OCT系统,而光谱仪通常可以用在SD-OCT系统的检测端口处。本发明可以应用于使用运动跟踪并且能够生成用于结构OCT和/或用于OCTA血管造影分析的数据的任何类型的OCT系统,包括光斑扫描、多光斑扫描、分场和全场成像系统。本文中描述的技术可以适用于任何身体部位,例如眼睛(前房和后房两者)、皮肤、大脑、肌肉、耳蜗和内脏器官(如果与内窥镜或导管探头结合)。OCT扫描仪122可以在扫描控制器154的控制下以二维方式扫描OCT光束(来自OCT光源161)的角度。扫描透镜123可以使OCT光束聚焦在视网膜图像106上。分束器124可以将OCT和LSO射束路径合并,使得两个路径可以更容易地被引导通过眼睛100(例如,人眼)的瞳孔。(在直接成像应用中可以不需要合并射束路径,其中,物体本身位于视网膜图像106的位置)。如果OCT和LSO使用不同波长的光,则分束器124可以被实施为二向色镜。OCT光束可以通过目镜107和眼睛100的光学系统重新聚焦到视网膜110上。
在本实例中,LSO可用于跟踪眼睛的运动。以这种方式,可以调整发送到扫描仪的定位命令,使得扫描光束到达对象上的期望位置(例如,视网膜110上的特定位置)。因此,期望以低延迟提供关于对象的运动的信息,使得可以针对每个A-扫描正确地定位OCT扫描光束。运动跟踪的各种方法是已知的,但大多将当前捕获图像与参考图像相比较。例如,处理器150可构建用作参考图像的全帧图像。这可以是按顺序捕获的第一良好图像。可以对预定义数量的易识别特性特征(例如,大血管、血管交叉、高对比度区域等)进行识别、映射和分类。当捕获/构建每个新的全帧图像(例如,眼底图像)时,处理器150尝试提取相同的特性特征并且相对于参考图像的位置来比较这些特性特征的位置。如果该操作失败,则可以丢弃当前的眼底图像。如果当前图像和参考图像被成功对准,则可通过确定对准两个图像的特性特征所需的平移位移和旋转位移来构建运动变换。运动变换(或位移信息)可被传递到校正处理器153,校正处理器可将运动变换与指定应在何处获取OCT扫描的位置集合(例如,检流计表)143相结合。这可以成为命令的扫描指令的一部分,扫描控制器154可以使用该命令的扫描指令来控制扫描仪122将OCT光束引导至眼睛上的期望位置。
图2示出了典型的光学相干断层成像(OCT)系统11的操作示图,该OCT系统可以包括线扫描检眼镜(LSO)和OCT扫描仪,诸如图1中所示。LSO可以获取眼底图像以追踪眼睛随时间的运动。如上所述,LSO可以与OCT扫描仪同时工作。LSO图像(例如,全眼底图像或部分眼底图像)Img_1至Img_n的连续流可以与“参考”图像(未示出)一起用作跟踪算法(例如,T_1至T_n)的输入,可以将当前图像与“参考”图像进行比较以检测相对位移。将该位移信息(M_1至M_n)传递到OCT,位移信息可以被封装在运动或位移变换中,该OCT使用该位移信息生成/获取每个LSO图像的一个或多个OCT扫描(Scn_1至Scn_n)。每个获取的OCT扫描与LSO图像相关联,由该LSO图像生成用于获取OCT扫描的位移信息。例如,通过使用从LSO图像Img_1生成的(初步)位移信息M_1来获取一个或多个OCT扫描Scn_1,因此一个或多个OCT扫描Scn_1与(初步)LSO图像Img_1相关联。应注意,尽管OCT通常依次扫过对象(例如,扫描可以是跨样本从上到下扫描的B-扫描的顺序),Scn_1至Scn_n的OCT扫描可能不对应于跨对象的连续扫描。例如,如果在获取scn_1的一个或多个OCT扫描时OCT扫描在第一扫描位置处失败,则OCT将在稍后的时间返回至该失败的扫描位置。可能发生的是,在OCT返回并成功扫描先前失败的扫描位置时,该成功扫描可能是Scn_2的一部分或某个稍后的扫描捕获顺序。因此,单个扫描的OCT扫描可以在多个OCT扫描捕获顺序(Scn_1至Scn_n)之间混合。
可以检测到从LSO图像(例如,Img_1至Img_n)提取的运动信息(例如,M_1至M_n),并且将运动信息接近实时地传递到OCT扫描仪,OCT扫描仪可以使用接收到的(初步)运动信息来对生成的(例如,获取的)OCT扫描(例如,Scn_1至Scn_n)应用运动校正。然而,由于不能绝对实时地生成和传递该信息,因此在传递到OCT扫描仪的检测的运动与在收集扫描时新检测到的运动之间,存在可能的小运动的固有限制。例如,LSO图像Img_1可传递到跟踪算法,跟踪算法提取运动信息M_1。可以将该运动信息M_1传递到OCT扫描仪,该OCT扫描仪使用该信息来引导OCT扫描(Scn_1)的获取,并且将获取的OCT扫描(Scn_1)(至少初步地)与对应于接收到的运动校正信息(M_1)的SLO图像(Img_1)相关联。然而,在生成/获取OCT扫描Scn_1时,可能已经拍摄了另一LSO图像(例如,Img_2),与Scn_1相比,该LSO图像的运动信息(例如,M_2)可能更接近当前。这种限制以及以对接近实时执行的需要所强加的跟踪算法的精度也存在限制的事实构成一种折衷:更快的算法速度导致跟踪更接近实时,并且因此使所提取的运动信息与相应的OCT扫描生成之间产生更少的可能的移动,但是更快的运动跟踪通常使用更低精度的跟踪算法。
本发明可利用运动跟踪顺序指示符来跟踪运动跟踪数据,运动跟踪数据可包括LSO图像和/或其提取的运动/位移信息或变换。本发明还可以利用OCT扫描顺序指示符跟踪OCT扫描。例如,运动跟踪顺序指示符可以是识别依次成功捕获的LSO图像的标识符Img_1到Img_n,和/或可以是指示何时成功捕获LSO图像的时间戳。类似地,OCT扫描顺序指示符可以是识别成功的OCT扫描顺序的标识符Scn_1至Scn_2、和/或可以是指示何时成功获取OCT扫描的时间戳。本发明的目的是将每个OCT扫描顺序(Scn_1至Scn_n)与在获取OCT扫描顺序时基本相同的时间捕获的LSO图像(Img_1至Img_2)相匹配,并且基于匹配的LSO图像更新OCT扫描顺序的位移校正。如下所述,这可以通过使用时间戳来实现。例如,Scn_2的时间戳可以比Img_2的时间戳更接近Img_3或Img_4的时间戳。
这也可以通过使用图2所示的顺序标识符来实现。例如,如果希望识别基本上与给定OCT扫描同时捕获的LSO图像,则可以首先确定给定OCT扫描所属的(例如,Scn_1)OCT扫描顺序(Scn_1至Scn_n),然后识别其相关联的(初步)LSO图像(例如,Img_1),其提取的运动信息(初步)用于获取给定的OCT扫描(Scn_1)。然后,可以从相关联的(初步)LSO图像(Img_1)依次向前(或向后)移动期望的偏移,例如,向前移动一个LSO图像标识符(例如,从Img_1移动到Img_2),并且将给定的OCT扫描与被标识为Img_2的LSO相关联。
当检查正面OCT图像的质量时,对于结构,尤其是在OCT血管造影(OCTA)片中的结构而言,可以看到此方法的益处。图3示出如上所述利用典型的运动校正的OCT扫描得到的正面OCTA图像(左图像A)和根据本发明的校正的正面OCTA图像(右图像B)。左图像A是呈现血管锯齿状伪影(它们中的一些由箭头指示)的示例性表层OCTA片。右图像B示出了由于应用本发明使得血管锯齿状减少。
尽管LSO跟踪算法可以消除所生成的OCTA片中最严重的血管破裂的存在,但是它们仍可产生较小幅度的血管破裂和锯齿状血管。这些伪影可由以下4个限制引起:(1)每个获取的OCT帧的位置(例如,OCT扫描)对应于在较早时间获取的LSO图像(例如,命令的LSO图像,其是由跟踪算法用来引导OCT帧获取的LSO图像)的配准,而不是所观察的LSO图像(其是与获取的OCT帧同时(或在时间上更接近)获取的LSO图像)。尽管在跟踪算法中在命令的LSO图像和观察的LSO图像之间可允许限量的移动(通常设置为小于30微米),但是超过该限量的移动(其可能发生在X轴和Y轴方向上)可能在正面图像中引起血管破裂和锯齿。(2)不正确或不精确的配准:尽管跟踪算法可产生相对令人满意的结果,但LSO图像通常经下采样以使算法能够在获取期间足够快地执行。这个事实可能导致用于引导OCT获取的不正确或不精确的计算变换,OCT图像的分辨率通常高于跟踪算法中使用的LSO图像的分辨率。前两个限制(例如,前两个限制因素)可以来自于以下事实,即,应用于给定OCT帧获取的变换(例如,运动跟踪/补偿变换)可能不完全对应于可以在获取OCT帧时测量的实际变换。由于需要通过时间上更早出现的LSO图像引导OCT扫描仪,因此在获取期间难以解决该问题,但是可以利用下文提出的后处理步骤来减轻该问题。(3)LSO相机与OCT相机之间的校准中出现的可能的未对准:由于可以通过从OCT图像观察到的变换引导OCT相机,因此两者之间可能的未对准可能导致血管破裂和锯齿。(4)在LSO图像中观察到的关于OCT图像的失真:由于通过从OCT图像观察到的变换引导OCT相机,因此在稳定的固定位置处的两个成像系统之间的失真的差异可能引起血管破裂和锯齿。可以例如通过考虑系统的更好校准、并且限制与获取的LSO图像的中央定位的偏离幅度以便在获取期间接受OCT帧,来减轻(3)和(4)这最后两个限制。本发明还具有优于运动校正技术的优点,这些运动校正技术需要对同一OCT体积进行重复获取(在第一遍在限定的位置处或在两个正交获取处),由于本发明不需要获取重复体积,所以产生获取时间和处理上的优势。
为了减轻这些伪影,本发明使用在获取跟踪的数据之后执行的后处理解决方案。本发明可以实现和/或有益于以下应用:
-无伪影的OCT数据表示,这些伪影与命令OCT扫描仪的变换和获取OCT数据时观察到的实际变换之间的差异相关。
-由于在获取期间对跟踪算法施加的速度限制,减少了与不准确的LSO配准有关的伪影。
-高清晰度(HD)B-扫描中的图像质量的可能的改进。
-用于OCT立方体配准的算法的可能改进
-OCT和OCTA正面图像的增加的可重复性和再现性及它们可能的量化(例如,厚度图、血管密度图等)。
-来自重叠图像(诸如,打算剪辑的那些图像)的匹配特征的准确性的可能改进,以及合成的剪辑图像中伪影的可能减少。
-更高分辨率血管正面图像的改进(例如,分辨率优于10μm的放大血管)。
图4示出了根据本发明的后处理技术中的一些关键步骤。输入块B1接收每个获取的OCT帧的跟踪信息、以及与每个OCT帧相关联的LSO图像。取决于其预期用途,后处理技术还可以接收OCT结构立方体和/或OCT血管造影立方体(例如,块B3)作为输入。输入块B1和B3都可以馈送到主跟踪和后处理算法块B2,其可以实现本发明的各种特征。主跟踪后处理算法块B2可具有3个子块,包括坐标位置的校正子块SB1、查找表(LUT)索引和加权的生成子块SB2、以及OCT数据的内插子块SB3,它们中的每一个将在下文详细讨论。
通常,OCT数据(例如,B-扫描的集合)线性并行地布置以限定A扫描的规则网格,其中每个A-扫描对应于网格上的点。即,OCT应用(例如,算法或例程)可预期OCT数据布置在均匀的坐标网格中,获取的A-扫描在该网格内正确地排序。然而,子块SB1(坐标位置的校正)可能在将更紧密匹配的运动变换应用于OCT帧(例如,基于被观察/确定为在时间上更接近于OCT帧获取而拍摄的LSO图像来应用运动变换)时,使A-扫描位置的这种规则网格布置失真。即,由于从块B1接收的、与在较早时间获取的LSO图像的配准相对应的每个获取的OCT帧(例如,OCT扫描)的位置,并且由于不正确的或不精确的配准(参见以上关于前两个限制或限制因素的讨论),每个获取的OCT帧在X-Y平面内的该预期位置可能不同于其实际的、更精确的位置。子块SB1的目标是将网格中的坐标的每一预期位置变换到经校正位置,即使这会导致经校正位置的点云不规则。执行该步骤的输入是针对每个获取的OCT帧的跟踪变换的集合、以及(另外地)在跟踪期间收集的与每个OCT帧相关联的LSO图像(来自块B1)。在此呈现了用于确定经校正的实际位置的几种方法。
由于每个OCT帧(例如,OCT扫描)与用于命令OCT相机的特定(例如,运动)变换Tc相关联,例如,引导OCT扫描的获取( 其参数分别指示相对于跟踪算法中的参考LSO图像,针对LSO图像所有计算的X中的平移、Y中的平移、旋转角度、X中的旋转中心和Y中的旋转中心),单独地针对每个OCT帧进行校正。预期每个帧覆盖在特定慢速B-扫描位置(sj)处在快速B-扫描方向(F=[f1,…,fi,…,fN])上的一组坐标,其中N指示每个快速B-扫描的A-扫描的数目,所有坐标相对于OCT扫描的中心以微米为单位。这些坐标可以通过反转(例如,撤消)原始命令的变换Tc的效果并且应用观察的(即,在时间上相匹配)变换的效果来进行校正。这种观察的变换可以不同的方式考虑或计算,其涉及两个不同的后处理场景,例如,一个快速的和一个精细的,如下:
快速后处理:观察的变换To可以直接从在OCT帧/扫描的获取期间计算的实际变换中取得,将每个OCT帧与从其匹配的观察的LSO图像(例如,与OCT帧同时收集的LSO图像或在与OCT帧最紧密匹配时间收集的LSO图像)生成的变换配对。这种配对帮助减轻由上述第一限制引起的伪影。
精细后处理:由于很可能在OCT帧/扫描的获取期间计算的实际变换是基于下采样的LSO图像(例如,低分辨率变换),该方法为(例如,每个)匹配的LSO图像生成新观察的变换。可以通过使用起初使用的相同的跟踪算法(或者如果需要,使用不同的算法)以更精确的方式配准观察的(即,匹配的)LSO图像,但是增加用于跟踪的LSO图像的分辨率(例如,以全初始分辨率或者通过将LSO图像上采样到期望的分辨率)来计算新观察的变换To,其中用于跟踪的LSO图像的分辨率可能在原始OCT扫描获取期间被下采样。该过程进一步减轻由在这个章节中概述的第二限制引起的伪影(例如,不精确的配准),但是代价是增加了后处理算法的执行时间,因为需要针对每个先前获取的OCT帧计算新的配准。
在针对特定OCT帧考虑观察的变换To之后,可以在一系列数学运算中校正该OCT帧(fi,sj)的一对预期坐标位置。可以使用其相关联的命令的变换Tc和观察的变换To针对同一OCT帧的所有预期坐标位置重复这些数学运算,并且考虑其具体相关联的变换逐帧重复这些数学运算。虽然输入位置(fi,sj)遵循具有由收集的A-扫描之间的分隔限定的恒定间隔的网格,但是校正的位置(f′i,s′j)可以不遵循这种网格,而是可以以点云的形式出现。
图5提供了在输入位置(fi,sj)处的原始A-扫描移动至校正位置(f′i,s′j)的可视化解释,这些校正位置可以构成位置的不规则点云。即,坐标校正将A-扫描位置从点网格移动到点云。以下是提供坐标校正的示例性方法。
由于由LSO图像的配准计算这些变换并且在LSO坐标系中定义这些变换的参数,因此第一步是将OCT帧(以微米为单位)的位置平移到LSO坐标系。考虑到LSO获取是在垂直线上而OCT获取是在水平线上的典型情况,该过程典型地对应于以下操作(尽管其可以针对不同的扫描模式而变化):
LSOx=-sj
LSOy=-fi
然后,可以反转命令的变换Tc的效果。如果假设没有变换被传递到用于OCT扫描获取的OCT相机(例如,跟踪被关闭),则该操作相当于重新计算OCT帧中的坐标位置:
然后可以应用观察的转换To的效果。如果观察的变换被传递至OCT相机以用于OCT扫描获取,则此操作相当于计算OCT帧中的坐标位置:
剩余的步骤是将这些坐标转换回OCT坐标系,获得针对帧中的该位置的校正坐标:
fi′=-LSO″y
s′j=-LSO″x
一旦针对帧中的每个坐标以及OCT立方体中的所有帧重复该过程(考虑针对每个帧的适当变换),结果是针对立方体中的每个A-扫描的校正位置的点云,如图5所示。
A-扫描位置的这种不规则点云可能使可预期A-扫描以规则网格图案布置的某些过程的功能复杂化。因此,需要由不规则点云生成A-扫描的规则网格图案布置。这样做的一种方法是使用A-扫描的点云在规则网格点位置处内插A-扫描。已发现使用查找表(LUT)可促进生成这些内插的A-扫描。子块SB2(LUT索引和权重的生成)解决了这种LUT的生成。
如图5中所示,子块SB1可导致不一定遵循矩形网格的A-扫描位置的点云。为了适当地显示网格布置中的OCT数据,可以从A-扫描的点云中将值内插(例如,内插A-扫描)到网格位置。该过程可以针对整个OCT结构和流动立方体(例如,体积)进行。使用点云数据对立方体中的每个C-扫描(例如,一层相邻的B-扫描)进行内插可能是极其耗时的过程。然而,由于每个单独的A-扫描在点云中具有单个位置,因此通过生成点云中对应于网格中的特定位置的索引的查找表(LUT)以及用于云中的每个索引的内插的给定权重,可以更快地完成该步骤。
该过程可以通过对点云进行三角划分来实现,因此点云中的每个位置均对应于三角形集合中的顶点。生成这种三角划分的一种方式是遵循狄洛尼(Delaunay)三角划分过程,如本领域已知的(可以在网站en.wikipedia.org/wiki/Delaunay_trigulation上找到狄洛尼(Delaunay)三角划分的讨论)。本示例使用狄洛尼(Delaunay)三角划分的OpenCV库实现。OpenCV是可免费用于学术和商业目的的开源计算机视觉类库。可以在网站opencv.org找到关于OpenCV的更多信息。OpenCV提供狄洛尼(Delaunay)三角划分的快速且稳健的实现。结果是从点云生成的三角形集合,该三角形的顶点和边缘可以容易地定位。该实现还提供界面以便容易地定位包含点云内的特定任意点的所得三角形。这样,通过限定期望从A-扫描的点云内插A-扫描的矩形网格(立方体的正面位置),矩形网格的每个位置(表示为点p=(fp,sp))可以与点云中的3个位置( 和)相关联,包括网格中位置的三角形的顶点。然后索引LUT将具有网格中的每个位置的条目,并且每个条目将具有针对在网格中相关联的其相应点云位置的3个索引:
可通过考虑网格位置相对于其相关联的三角形的重心坐标,来生成与LUT中的条目相关联的3个索引中的每一个索引的权重。如本领域中已知的,重心坐标系是这样的坐标系,其中单形(三角形、四面形等)的点的位置被指定为放置在其顶点处的通常质量不等的质心或重心。可以在网站codeplea.com/triangular-interpolation中找到对该过程的更全面的解释。因此,对于网格中的点p:
权重可被计算为:
因此利用由子块SB2生成的LUT,子块SB3(OCT数据的内插)使用LUT以网格图案内插A-扫描值。LUT提供索引和权重,其中每个表条目对应于网格中的位置(p)并且与点云中的3个位置以及它们各自的权重相关。使用LUT,可从原始结构(OCT)或血管造影(OCTA)立方体内插A-扫描数据以限定校正的立方体。原始立方体Ai(z)中的每个原始A-扫描与点云vi中的位置(校正的位置)相关联,因此校正的立方体中的每个内插A-扫描与网格中的位置p相关联,那么A′p(z)可以被构造为:
图6A显示了一个示例性情况,在该情况中,在本发明的后处理算法之前计算跟踪质量度量(基于通常在破裂的或锯齿状的血管中看到的线之间的偏差)。报告执行时间和跨线的质量度量的平均值。如可观察到的,后处理算法使用在跟踪期间已经计算的观察的变换,改进了锯齿状伪影。
图6B显示了根据本发明的将快速后处理技术应用于图6A的实例之后的结果,例如,使用在获取期间生成的观察的变换执行后处理算法之后。
图6C显示了根据本发明的将精细后处理技术应用于图6A的实例之后的结果,例如,在使用观察的LSO图像的新配准、或上采样至与OCT图像相同(或相似量级)的分辨率的观察的LSO图像的新配准执行后处理算法之后。报告执行时间和跨线的质量度量的平均值。如可观察的,后处理算法使用较高分辨率的LSO图像进行新配准的计算进一步改进图像的外观,但代价是执行时间为(1.14秒对61.64秒)。
图7显示了在应用本发明的快速后处理和精细后处理技术之前和之后的一系列示例性表层血管造影片。在后处理算法之前(左列图像)、在快速后处理之后(中间列图像)以及使用上采样至与OCT图像相同的分辨率的观察的LSO图像的新配准的精细后处理(右列图像)之后,产生每行图像。因为差异可能是微小的,所以白色箭头指示原始图像中的伪影的一些位置(在后处理之前)及其在后处理结果中的对应位置。
图8示出了光学相干断层成像(OCT)或OCTA系统中的运动校正的示例性方法。尽管本公开描述并且示出了图8的方法的具体步骤以特定顺序发生,但是本公开考虑图8的方法的任何合适的步骤以任何合适的顺序发生。该方法可以开始于收集运动跟踪数据,其中,每个收集的运动跟踪数据具有顺序指示符,诸如相应的运动跟踪时间戳(步骤S1)。在步骤S2中,与步骤S1的运动跟踪数据同时收集多个OCT扫描。每个OCT扫描具有顺序指示符,诸如,相应的OCT时间戳。即,可以同时执行步骤S1和S2。如上所述,每个OCT扫描可以使用来自步骤S1的运动跟踪数据的单独的运动跟踪数据。即,步骤S1可使用LSO和计算设备按顺序在一个运动跟踪数据之后收集另一运动跟踪数据。例如,如图1和图2所示,当LSO捕获LSO图像时,处理(例如,与参考图像比较)LSO图像以提取运动跟踪信息,该运动跟踪信息可被封装在(运动)变换内(例如,运动跟踪数据),然后该运动跟踪信息可被传递到OCT扫描仪以引导OCT扫描(例如,OCT帧)的获取。因此,运动跟踪数据的收集和OCT扫描并行地(例如,同时地)发生。在步骤S3中,基于它们相应的OCT时间戳和运动跟踪时间戳,将单独获取的OCT扫描与单独收集的运动跟踪数据进行匹配。如上文所解释,用以引导(例如,命令)单个OCT扫描的运动跟踪数据表示在获取OCT扫描之前生成的运动信息,并且可能不表示OCT获取时的真实运动跟踪信息。通过将时间戳(或其他顺序指示符)进行匹配以将OCT获取与收集的运动跟踪数据更紧密地匹配,可以将更准确的运动跟踪信息与每个OCT获取相关联/相关。在步骤S4中,基于OCT获取与收集的运动跟踪数据匹配的运动跟踪信息,针对运动误差,校正已经获取的OCT扫描,该匹配的运动跟踪信息可能与用于获取OCT扫描的运动跟踪信息不相同。如将理解的,这是第二运动校正步骤,第一运动校正步骤是用于获取每个OCT扫描的运动校正。如以上所解释的,该运动跟踪校正可以包括反转(例如,去除其影响)先前应用运动校正(例如,在OCT获取时使用的运动校正)和诸如通过以上所描述的快速后处理技术和/或精细后处理技术应用新的运动校正。
图9示出了例如用于实现图1的单个处理器150、153、154和165或它们的任意组合的适于本发明的示例性计算机设备(或计算机系统)。在一些实施方式中,一个或多个计算机系统可以执行图8的该方法的一个或多个步骤。计算机系统可以采取任何合适的物理形式。例如,计算机系统可以是嵌入式计算机系统、片上系统(SOC)、单板计算机系统(SBC)(诸如,模块计算机(COM)或模块系统(SOM))、台式计算机系统、膝上型或笔记本计算机系统、计算机系统网格、移动电话、个人数字助理(PDA)、服务器、平板计算机系统、或这些中的两个或两个以上的组合。在适当的情况下,计算机系统可驻留在云中,云可包括一个或多个网络中的一个或多个云组件。
在一些实施方式中,图9的计算机系统包括处理器202、存储器204、存储装置206、输入/输出(I/O)接口208、通信接口210和总线212。计算机系统还可任选地包括显示器214(例如,图1的显示器151),诸如,计算机监视器或屏幕。处理器202包括用于执行诸如组成计算机程序的指令的硬件。例如,处理器202可以是中央处理单元(CPU)或通用计算图形处理单元(GPGPU)。存储器204可包括主存储器,主存储器用于存储使处理器202在处理期间执行或保持临时数据的指令。例如,存储器204可包括随机存取存储器(RAM),诸如,动态RAM(DRAM)或静态RAM(SRAM)。在一些实施方式中,存储装置206可以包括用于数据或指令的长期或大容量存储装置。例如,存储装置206可以包括硬盘驱动器(HDD或SSD)、闪存、ROM、EPROM或其他类型的非易失性存储器。I/O接口208可以包括用于与I/O设备进行通信的一个或多个接口,该I/O设备使得能够与人(用户)进行通信。通信接口210可以提供用于与其他系统或网络通信的网络接口。例如,通信接口210可包括与网络上的另一计算机系统通信的网络接口控制器(NIC)和/或无线NIC。通信接口210还可以包括蓝牙接口或其他类型的基于分组的通信。总线212可以在计算系统的上述组件之间提供通信链路。
虽然已经结合若干具体实施方式描述了本发明,但对于本领域的技术人员显而易见的是,鉴于前面的描述,许多另外的替代、修改和变化将是显而易见的。因此,本文描述的本发明旨在涵盖可能落入所附权利要求书的精神和范围内的所有此类替代方案、修改、应用和变化。
Claims (21)
1.一种用于光学相干断层成像(OCT)系统中的运动校正的方法,所述方法包括:
收集运动跟踪数据,每个收集的运动跟踪数据具有相应的运动跟踪顺序指示符;
在收集所述运动跟踪数据同时获取多个OCT扫描,每个获取的OCT扫描具有相应的OCT扫描顺序指示符;
基于所述获取的OCT扫描的相应的OCT扫描顺序指示符与所述收集的运动跟踪数据的相应的运动跟踪顺序指示符,将所述获取的OCT扫描与所述收集的运动跟踪数据相匹配;
基于匹配的运动跟踪数据,校正所述获取的OCT扫描中的位移误差;以及
存储或显示经位移校正的OCT扫描。
2.根据权利要求1所述的方法,其中,所述获取的OCT扫描中的每一个包括在不同位置处的多个A-扫描,并且基于匹配的运动跟踪数据,校正所述获取的OCT扫描中的运动误差包括:
基于匹配的运动校正数据,确定所述OCT扫描中的所述A-扫描的校正位置,所述A-扫描的校正位置构成非规则点位置的点云;
将所述点云转换成均匀坐标网格,使所述A-扫描在所述网格内的规则排序位置处。
3.根据权利要求2的所述方法,其中,将所述点云转换成均匀坐标网格包括:基于所述点云内的所述非规则点位置处的所述A-扫描,在所述规则排序位置处内插新A-扫描。
4.根据权利要求3所述的方法,其中,在所述规则排序位置处内插新A-扫描包括:基于所述点云内的3个A-扫描的集合内插所述新A-扫描,所述3个A-扫描的位置限定围绕所述规则排序位置的最小面积的三角形。
5.根据权利要求3所述的方法,其中,在所述规则排序位置处内插新A-扫描包括:
对所述点云进行三角划分使得所述点云中的每个A-扫描位置对应于三角形集合中的顶点;
将所述坐标网格内的每个规则排序位置与所述点云中对应的3个位置的集合相关联,每个对应的3个位置的集合限定三角形的顶点,所述三角形的顶点包括所述坐标网格内的相关联的所述规则排序位置;
生成查找表(LUT),所述查找表具有针对所述坐标网格内的每个排序位置的条目,其中每个条目包括所述点云中的排序位置的对应的3个位置的集合以及基于所述排序位置相对于其关联的三角形的重心坐标的权重;以及
基于所述LUT内插所述新A-扫描。
6.根据权利要求1至5中任一项所述的方法,其中,所述运动跟踪数据由多个单独的运动跟踪数据组成,每个单独的运动跟踪数据包括图像和基于所述图像的第一分辨率的第一跟踪变换,所述方法还包括:
对于每个单独的运动跟踪数据,创建大于所述第一跟踪变换的第二分辨率的第二跟踪变换;以及
基于匹配的运动跟踪数据的相应第二跟踪变换,来校正所述获取的OCT扫描中的位移误差。
7.根据权利要求1至6中任一项所述的方法,其中:
每个OCT扫描与相应的运动跟踪数据相关联,并且包括基于相关联的运动跟踪数据对第一位移补偿的应用;并且
基于匹配的运动跟踪数据,校正所述获取的OCT扫描中的位移误差的步骤包括:
基于相应的匹配的收集的运动跟踪数据,向所述获取的OCT扫描应用第二位移补偿。
8.根据权利要求7所述的方法,其中,OCT扫描的所述匹配的收集的运动跟踪数据不同于相应的相关联的运动跟踪数据。
9.根据权利要求7所述的方法,基于相关联的运动跟踪数据向所述OCT扫描应用第一运动补偿包括:使用所述相关联的运动跟踪数据引导所述OCT扫描的获取。
10.根据权利要求9所述的方法,其中:
每个运动跟踪数据包括图像和基于所述图像的第一跟踪变换,并且每个OCT扫描进一步与相关联的运动跟踪数据的图像相关联;并且
基于相应的匹配的收集的运动跟踪数据向所述获取的OCT扫描应用第二运动补偿的步骤包括:
对相关联的运动跟踪数据的图像进行去关联;
对匹配的收集的运动跟踪数据的图像进行关联;以及
基于匹配的收集的运动跟踪数据的图像,生成所述第二运动补偿。
11.根据权利要求1至10中任一项所述的方法,其中:
每个获取的OCT扫描与所述收集的运动跟踪数据中的初步运动跟踪数据相关联;并且
基于相应的OCT扫描顺序指示符和运动跟踪顺序指示符,将所述获取的OCT扫描与所述收集的运动跟踪数据相匹配的步骤包括:
a)对于位移误差待校正的目标OCT扫描,识别所述目标OCT扫描的相关联的初步运动跟踪数据;
b)从识别的所述初步运动跟踪数据开始,根据所述运动跟踪顺序指示符沿着所述收集的运动跟踪数据移位预定义偏移以达到目标运动跟踪数据;以及
c)将所述目标OCT扫描与所述目标运动跟踪数据相匹配。
12.根据权利要求11的所述方法,其中,每个运动跟踪顺序指示符是运动跟踪时间戳并且每个OCT扫描顺序指示符是OCT扫描时间戳。
13.根据权利要求12所述的方法,其中,所述偏移是基于识别的所述初步运动跟踪数据的所述运动跟踪时间戳与所述目标OCT扫描的所述OCT扫描时间戳之间的差定义的。
14.根据权利要求12所述的方法,其中,每个OCT扫描与所述收集的运动跟踪数据相匹配,所述收集的运动跟踪数据的所述运动跟踪时间戳最接近所述OCT扫描时间戳。
15.根据权利要求1至14中任一项所述的方法,其中,使用线扫描检眼镜(LSO)实现收集所述运动跟踪数据的步骤。
16.根据权利要求1至15中任一项所述的方法,其中,所述获取的OCT扫描提供OCT血管造影数据。
17.一种光学相干断层成像(OCT)系统,包括:
线扫描检眼镜(LSO),收集运动跟踪数据,每个收集的运动跟踪数据具有相应的运动跟踪顺序指示符;
OCT扫描仪,在收集所述运动跟踪数据同时获取多个OCT扫描,每个OCT扫描具有相应的OCT扫描顺序指示符;
数据处理设备,基于相应的所述OCT扫描顺序指示符和相应的所述运动跟踪顺序指示符,将所述获取的OCT扫描与所述收集的运动跟踪数据相匹配,并且基于匹配的运动跟踪数据,校正所述获取的OCT扫描中的位移误差;以及
显示器,显示经位移校正的OCT扫描。
18.根据权利要求17所述的系统,其中,所述获取的OCT扫描中的每一个包括在不同位置处的多个A-扫描,并且其中所述数据处理设备基于匹配的运动跟踪数据通过以下各项校正所述获取的OCT扫描中的位移误差:
基于匹配的运动校正数据确定所述OCT扫描中的所述A-扫描的校正位置,所述A-扫描的校正位置构成非规则点位置的点云;并且
将所述点云转换成均匀坐标网格,使所述A-扫描在网格内的规则排序位置处。
19.根据权利要求17或18所述的系统,其中:
所述运动跟踪数据由多个单独的运动跟踪数据组成,并且每个单独的运动跟踪数据包括图像和基于所述图像的第一分辨率的第一跟踪变换;并且
所述数据处理设备针对每个单独的运动跟踪数据创建大于所述第一跟踪变换的第二分辨率的第二跟踪变换,并且基于匹配的运动跟踪数据的相应第二跟踪变换,校正所述获取的OCT扫描中的运动误差。
20.根据权利要求17至19中任一项所述的系统,其中,每个运动跟踪顺序指示符是运动跟踪时间戳并且每个OCT扫描顺序指示符是OCT扫描时间戳,并且每个OCT扫描与所述运动跟踪时间戳最接近扫描时间戳的所述收集的运动跟踪数据相匹配。
21.根据权利要求17至20中任一项所述的系统,其中,所述OCT系统是OCT血管造影系统。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201862659538P | 2018-04-18 | 2018-04-18 | |
US62/659,538 | 2018-04-18 | ||
PCT/EP2019/059716 WO2019201881A1 (en) | 2018-04-18 | 2019-04-15 | Post-processing method to improve lso-based tracking in oct |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111629652A true CN111629652A (zh) | 2020-09-04 |
CN111629652B CN111629652B (zh) | 2024-06-11 |
Family
ID=66240120
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201980009358.1A Active CN111629652B (zh) | 2018-04-18 | 2019-04-15 | 改善oct中基于lso的跟踪的后处理方法 |
Country Status (5)
Country | Link |
---|---|
US (1) | US11998272B2 (zh) |
EP (1) | EP3781014B1 (zh) |
JP (1) | JP7344881B2 (zh) |
CN (1) | CN111629652B (zh) |
WO (1) | WO2019201881A1 (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112684817A (zh) * | 2020-12-17 | 2021-04-20 | 中国工程物理研究院应用电子学研究所 | 一种提高光电跟踪系统跟踪精度的方法 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20060228011A1 (en) * | 2005-04-06 | 2006-10-12 | Everett Matthew J | Method and apparatus for measuring motion of a subject using a series of partial images from an imaging system |
JP2011188946A (ja) * | 2010-03-12 | 2011-09-29 | Canon Inc | 眼科装置及びその制御方法 |
JP2011212213A (ja) * | 2010-03-31 | 2011-10-27 | Nidek Co Ltd | 眼科装置 |
US20120249956A1 (en) * | 2011-03-30 | 2012-10-04 | Carl Zeiss Meditec, Inc. | Systems and methods for efficiently obtaining measurements of the human eye using tracking |
US20130176532A1 (en) * | 2011-07-07 | 2013-07-11 | Carl Zeiss Meditec, Inc. | Data acquisition methods for reduced motion artifacts and applications in oct angiography |
JP2013202298A (ja) * | 2012-03-29 | 2013-10-07 | Topcon Corp | 画像表示装置、画像表示方法、及びプログラム |
US20150294147A1 (en) * | 2013-05-29 | 2015-10-15 | Wavelight Gmbh | Apparatus for optical coherence tomography of an eye and method for optical coherence tomography of an eye |
Family Cites Families (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE2645416A1 (de) | 1976-10-08 | 1978-04-13 | Philips Patentverwaltung | Verfahren und anordnung zur ermittlung der verteilung der absorption eines koerpers |
WO1992019930A1 (en) | 1991-04-29 | 1992-11-12 | Massachusetts Institute Of Technology | Method and apparatus for optical imaging and measurement |
US7365856B2 (en) | 2005-01-21 | 2008-04-29 | Carl Zeiss Meditec, Inc. | Method of motion correction in optical coherence tomography imaging |
US7768652B2 (en) | 2006-03-16 | 2010-08-03 | Carl Zeiss Meditec, Inc. | Methods for mapping tissue with optical coherence tomography data |
US20070291277A1 (en) | 2006-06-20 | 2007-12-20 | Everett Matthew J | Spectral domain optical coherence tomography system |
US8938280B2 (en) | 2006-12-19 | 2015-01-20 | Koninklijke Philips N.V. | Motion correction in a PET/MRI hybrid imaging system |
US8004688B2 (en) | 2008-11-26 | 2011-08-23 | Zygo Corporation | Scan error correction in low coherence scanning interferometry |
PL2563206T3 (pl) | 2010-04-29 | 2018-12-31 | Massachusetts Institute Of Technology | Sposób i urządzenie do korekcji ruchu i poprawy jakości obrazu w optycznej tomografii koherencyjnej |
WO2013137148A1 (ja) | 2012-03-12 | 2013-09-19 | 株式会社トプコン | 光画像計測装置、画像表示装置、および画像表示方法 |
JP2016047076A (ja) | 2014-08-27 | 2016-04-07 | Necソリューションイノベータ株式会社 | 画像処理装置、眼底撮影システム、画像処理方法、及びプログラム |
-
2019
- 2019-04-15 WO PCT/EP2019/059716 patent/WO2019201881A1/en unknown
- 2019-04-15 CN CN201980009358.1A patent/CN111629652B/zh active Active
- 2019-04-15 US US16/967,679 patent/US11998272B2/en active Active
- 2019-04-15 EP EP19718663.8A patent/EP3781014B1/en active Active
- 2019-04-15 JP JP2020539795A patent/JP7344881B2/ja active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20060228011A1 (en) * | 2005-04-06 | 2006-10-12 | Everett Matthew J | Method and apparatus for measuring motion of a subject using a series of partial images from an imaging system |
JP2011188946A (ja) * | 2010-03-12 | 2011-09-29 | Canon Inc | 眼科装置及びその制御方法 |
JP2011212213A (ja) * | 2010-03-31 | 2011-10-27 | Nidek Co Ltd | 眼科装置 |
US20120249956A1 (en) * | 2011-03-30 | 2012-10-04 | Carl Zeiss Meditec, Inc. | Systems and methods for efficiently obtaining measurements of the human eye using tracking |
US20130176532A1 (en) * | 2011-07-07 | 2013-07-11 | Carl Zeiss Meditec, Inc. | Data acquisition methods for reduced motion artifacts and applications in oct angiography |
JP2013202298A (ja) * | 2012-03-29 | 2013-10-07 | Topcon Corp | 画像表示装置、画像表示方法、及びプログラム |
US20150294147A1 (en) * | 2013-05-29 | 2015-10-15 | Wavelight Gmbh | Apparatus for optical coherence tomography of an eye and method for optical coherence tomography of an eye |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112684817A (zh) * | 2020-12-17 | 2021-04-20 | 中国工程物理研究院应用电子学研究所 | 一种提高光电跟踪系统跟踪精度的方法 |
CN112684817B (zh) * | 2020-12-17 | 2023-01-03 | 中国工程物理研究院应用电子学研究所 | 一种提高光电跟踪系统跟踪精度的方法 |
Also Published As
Publication number | Publication date |
---|---|
WO2019201881A1 (en) | 2019-10-24 |
EP3781014A1 (en) | 2021-02-24 |
JP7344881B2 (ja) | 2023-09-14 |
CN111629652B (zh) | 2024-06-11 |
JP2021518771A (ja) | 2021-08-05 |
US11998272B2 (en) | 2024-06-04 |
EP3781014B1 (en) | 2023-09-27 |
US20210030269A1 (en) | 2021-02-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN102970919B (zh) | 光学相干断层图像摄像设备及其方法 | |
US8857988B2 (en) | Data acquisition methods for reduced motion artifacts and applications in OCT angiography | |
US10022047B2 (en) | Ophthalmic apparatus | |
US8970849B2 (en) | Tomography apparatus and tomogram correction processing method | |
JP6702764B2 (ja) | 光干渉断層データの処理方法、該方法を実行するためのプログラム、及び処理装置 | |
US20130010259A1 (en) | Region based vision tracking system for imaging of the eye for use in optical coherence tomography | |
JP6471593B2 (ja) | Oct信号処理装置、およびoct信号処理プログラム | |
CN105011900A (zh) | 用于生成宽视场光学相干体层析图的方法和装置 | |
US20200226755A1 (en) | Image processing apparatus, ophthalmic imaging apparatus, image processing method, and computer-readable medium | |
JP5948757B2 (ja) | 眼底撮影装置 | |
US10080492B2 (en) | Method and system for motion artefacts removal in optical coherence tomography | |
US12048481B2 (en) | Ocular image data processing | |
CN111629652B (zh) | 改善oct中基于lso的跟踪的后处理方法 | |
WO2016136926A1 (ja) | 断層像撮影装置 | |
US11690516B2 (en) | Optical coherence tomography (OCT) apparatus and OCT method for axial tracking and flattening | |
WO2014096835A1 (en) | Improvements in and relating to ophthalmoscopes | |
JP6305502B2 (ja) | 眼科装置及び眼科装置の作動方法 | |
JP5726229B2 (ja) | 眼科装置及び眼科方法 | |
JP5891001B2 (ja) | 断層撮影装置及び断層像の補正処理方法 | |
JP5746741B2 (ja) | 画像生成装置、画像生成システム及び画像生成方法 | |
JP5395888B2 (ja) | 画像生成装置、画像生成システム及び画像生成方法 | |
JP2020037010A (ja) | 眼科装置、表示制御方法およびプログラム | |
JP2016077455A (ja) | 眼科装置、画像生成方法およびプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |