CN115515474A - 在存在伪像时使用参考界标实时追踪ir眼底图像 - Google Patents

Abstract

一种用于眼科运动追踪的系统和方法。从参考图像中选择锚点和多个辅助点。然后搜索一系列图像中的单个实况图像以匹配锚点和辅助点。首先，找到锚点，然后将单个辅助点的搜索限制在由所寻找的辅助点相对于锚点的已知距离和/或方向限定的搜索窗口内。

Description

在存在伪像时使用参考界标实时追踪IR眼底图像

技术领域

本发明整体针对运动追踪。更具体地，它针对眼睛的前段和后段的眼科运动追踪。

背景技术

眼底成像，如可以通过使用眼底相机获得的，通常提供通过眼瞳看到的眼底的正平面视图。眼底成像可以使用不同频率的光，如白色、红色、蓝色、绿色、红外(IR)等来对组织进行成像，或者可以使用选择的频率来激发某些组织中的荧光分子(例如，自发荧光)或激发注入患者体内的荧光染料(例如荧光素血管造影)。下面提供了对不同眼底成像技术的更详细讨论。

OCT是一种非侵入性成像技术，它使用光波产生视网膜组织的横剖面图像。例如，OCT允许人们查看视网膜的独特组织层。通常，OCT系统是干涉成像系统，其通过检测从样本反射的光和参考光束的干涉来确定样本沿OCT光束的散射轮廓，从而创建样本的三维(3D)表示。深度方向(例如，z轴或轴向方向)中的每个散射轮廓可以单独重建为轴向扫描或A-扫描。横剖面、二维(2D)图像(B-扫描)以及扩展的3D体积(C扫描或立方体扫描)可以从在OCT光束扫描/移动通过样本上的一组横向(例如x轴和y轴)位置时获取的多个A-扫描构建。OCT还允许构建组织体积的选定部分(例如，视网膜的目标组织板(子体积)或目标组织层)的平面正视图(例如，正面(en face))2D图像。OCTA是OCT的扩展，它可以识别(例如，以图像格式呈现)组织层中血流的存在或缺乏。OCTA可以通过识别同一视网膜区域的多个OCT图像中随时间变化的差异(例如，对比度差异)来识别血流，并将满足预限定标准的差异指定为血流。下面提供了对OCT和OCTA的更深入讨论。

眼底图像(例如红外(IR)眼底图像)的实时和高效追踪在自动视网膜OCT图像采集中很重要。由于图像采集过程中的不自主眼睛运动，尤其是在OCT和OCTA-扫描之间，视网膜追踪尤为重要。

IR图像可以用于追踪视网膜的运动。然而，IR图像质量不足和各种伪影的存在会影响自动实时处理，从而降低成功率和可靠性。IR图像的质量会随时间发生显着变化，具体取决于注视、焦点、渐晕效果、眼睑、条纹和中央反射伪影。因此，需要一种能够使用IR图像实时稳健地追踪视网膜的方法。图1提供了具有各种伪影的示例性IR眼底图像，包括条纹伪影11、中央反射伪影13和眼睑15(例如，被视为暗影)。

当前的追踪系统使用具有一组从图像中提取的界标的参考图像。然后，追踪算法使用从参考图像中提取的界标通过在每个实况图像中搜索界标来追踪实况图像。参考图像和实况图像之间的界标匹配是独立确定的。因此，由于图像中存在诸如条纹和中央反射伪影之类的伪影，匹配成为难题。通常，在界标检测之前需要复杂的图像处理算法来增强图像。如果需要在高分辨率图像上执行追踪算法以进行更准确的追踪，则追踪算法的实时性能将受到使用这些附加算法的影响。

总之，现有技术的追踪系统使用具有一组从参考图像中提取的界标的参考眼底图像。然后，追踪算法，使用从参考图像中提取的界标通过独立搜索每个实况图像中的每个界标追踪一系列实况图像。参考图像和实况图像之间的界标匹配是独立确定的。因此，由于图像中存在伪影(例如条纹和中央反射伪影)，匹配界标成为难题。在界标检测之前，需要复杂的图像处理算法来增强IR图像。这些复杂算法的添加可能会阻碍它们在实时应用中的使用，特别是如果需要对高分辨率(例如，大)图像执行追踪算法用于更准确的追踪。

本发明的目的是提供一种用于眼科运动追踪的更有效的系统/方法。

本发明的另一目的是提供使用高分辨率图像的实时眼科运动追踪。

发明内容

上述目的在用于眼动追踪的方法/系统中得到满足。与现有技术的追踪系统不同，本系统不独立地搜索匹配的界标。相反，本发明识别参考(锚)点/模板(例如，界标)，并匹配相对于参考点的位置的附加界标。然后可以在相对于从参考图像获取的参考(锚)点或模板的实况IR图像中检测界标。

可以将参考点选择为易于识别和预期出现在随后的实况图像中的显著解剖/物理特征(例如，视神经乳头(ONH)、病变或特定血管模式，如果对眼睛的后段进行成像)。可替代地，例如，如果不存在显著且一致的解剖特征(如，如果对眼睛的前段进行成像)，则可以基于系列图像的当前状态从候选参考点池/组中选择参考锚点。随着一系列实况图像的质量发生变化，或出现不同的显著特征，参考锚点会相应地进行修改/更改。因此，在该替代实施例中，参考锚点可以根据被捕获/收集的图像随时间改变。

应当理解，参考点或模板可以包括一个或多个特性特征(像素标识符)，它们共同限定(例如，识别)所使用的特定界标(例如，ONH、病变或特定血管图案)作为参考物理界标。参考IR图像和实况IR图像中的参考点和选定界标之间的距离在两个图像中保持不变(或它们的相对距离保持不变)。因此，通过搜索距参考点规定/特定距离的小区域(例如，预限定/注视尺寸的绑定区域或窗口)，实况IR图像中的界标检测成为更简单的问题。由于参考点和界标位置之间的距离恒定，界标检测的稳健性得到改善/促进。随着初始界标被匹配，对附加界标的搜索可能进一步限于相对于已经匹配的界标的特定方向/方位/角度(例如，除了特定距离之外)。

在当前界标检测之前不需要复杂的图像处理算法来增强IR图像，从而提高了本方法的速度，特别是在处理高分辨率图像时。也就是说，保证了追踪算法在高分辨率图像上的实时性能，以实现更准确的追踪。

总之，本发明可以开始于使用例如深度学习或基于知识的计算机视觉方法检测作为所选参考IR图像(或其他成像模态)中的参考/锚点的显著点(例如，ONH位置或诸如病变的其他点)。从参考IR图像中提取与参考点中心偏移的附加模板/点，以增加IR图像中的模板和相应界标的数目。可选地，多个参考/锚点对于通常目的是可行的。例如，可以捕获眼睛的多个图像，包括参考图像和一个或多个实况图像。然后可以在参考图像中限定多个参考锚点，同时在参考图像中限定一个或多个辅助点。然后，在选择实况图像内，识别与多个参考锚点(全部或部分)匹配的多个初始匹配点，并且基于(例如，使用)所识别的多个参考锚点，根据粗配准将选择实况图像变换为参考图像。在提供该粗配准之后，可以基于(例如，在搜索区域内/FOV/基于窗口的范围内限定)所选择辅助点相对于多个所匹配参考锚点的位置，搜索在区域内的所选辅助点的匹配。然后可以基于它们的匹配点来校正参考图像和选择的实况图像之间的追踪误差。当追踪期间参考图像和实况图像之间存在显著几何变换以及用于更复杂的追踪系统时，这种方法可能会有所帮助。例如，如果两个图像之间存在较大的旋转(或仿射/投影关系)，则两个以上锚点可以首先粗略地配准两个图像，以便更准确地搜索其他界标。然后，追踪算法使用以参考点为中心的模板和从参考IR图像中提取的附加模板，来追踪实况IR图像(或相应的其他成像模式)。假设从参考IR图像中提取了一组模板，它们在实况IR图像中的对应位置(作为一组界标)可以通过在远离实况IR图像中参考点的小区域中的模板匹配来确定。全部或部分匹配可以用于计算IR参考图像和实况IR图像之间的变换(x和y移动、旋转、仿射、投影、和/或非线性变换)。以这种方式，相对于参考界标，检测界标(例如，匹配模板或匹配点)。这导致实时操作(例如，处理仅限于图像的小区域)和稳健的追踪(例如，由于参考界标和界标之间的距离已知，误报被消除，并提供额外的检查用于验证候选匹配的有效性)。

与现有技术相比，本方法的优点在于，在实时图像中的特定区域/窗口中搜索和检测界标，其位置和/或尺寸相对于参考界标被限定(界标被独立地跟踪)。因此，可以实现对高分辨率IR图像进行最少预处理的实时追踪，并且在追踪过程中不需要复杂的图像处理技术。由于追踪是相对于参考点限定的，本发明对图像伪影(例如条纹伪影、中央反射伪影、眼睑等)的存在也不太敏感。

本发明可以进一步扩展到移动眼底图像(例如，IR图像)追踪区域/窗口，该区域/窗口具有至少部分重叠OCT的扫描FOV的给定FOV。IR FOV可以四处移动(同时保持与OCTFOV的重叠)，直到达到包括最大数目(或足够数目)易于/稳健地识别的解剖特征(例如ONH、病变或特定血管)用于保持稳健的追踪的位置。然后可以使用该追踪信息向OCT系统提供运动补偿以进行OCT扫描。

因此，当眼睛稳定(没有运动或最小运动)时，参考图像可以用于对准和触发自动捕获(例如，来自OCT系统)，并且稳健地追踪视网膜图像序列。

本发明提供了各种度量来量化追踪图像的质量，以及不良追踪图像的可能原因。因此，本发明可以从历史数据中提取用于识别影响追踪的各种特征问题的各种统计数据。例如，本发明可以分析用于追踪和确定图像是否具有系统运动、随机运动或良好注视的特征的图像序列。然后使用本发明的眼科系统可以通知系统操作者或患者影响追踪的可能问题，并提供建议的解决方案。

通过结合附图参考以下描述和权利要求，其他目的和成就以及对本发明的更全面理解将变得显而易见和理解。

为了便于理解本发明，本文可以引用或提及若干公开物。本文引用或提及的所有公开物均通过引用整体并入本文。

本文所公开的实施例仅是示例，本公开的范围不限于它们。在一个权利要求类别中提及的任何实施例特征，例如系统，也可以在另一权利要求类别中要求保护，例如方法。仅出于形式原因选择所附权利要求中的依赖关系或引用。然而，也可以要求保护由有意回溯到任何先前权利要求而产生的任何主题，从而公开权利要求及其特征的任何组合并且可以要求保护，而不管在所附权利要求中选择的从属关系如何。

附图说明

在附图中，相同的参考符号/字符表示相同的部件：

图1提供了具有各种伪影的示例性红外(IR)眼底图像，包括条纹伪影11、中央反射伪影13和眼睑15(例如，被视为暗影)。

图2和图3示出了追踪帧的示例(每个帧都包括示例性参考图像和示例性实况图像)，其中在实况IR图像中追踪参考点和一组界标(来自参考图像)。

图4说明了在实况IR图像23中存在眼睑31和中央反射33的情况下的本追踪系统。

图5示出本发明的两个附加示例。

图6示出针对不同采集模式和运动级别的配准误差和眼睛运动的测试结果统计数据。

图7提供了示例性眼前段图像，该图像具有在同一采集中瞳孔尺寸、虹膜图案、眼睑和眼睑运动的变化(及时)以及眼睑区域缺乏对比度。

图8和图9说明了实况图像中参考点和一组界标的追踪。

图10说明了根据本发明实施例的追踪算法的示例。

图11提供了图10的实施例的追踪测试结果。

图12说明了使用ONH来确定给定OCT FOV(采集/扫描窗口)的最佳追踪FOV(追踪窗口)的位置。

图13说明了本发明的第二实施方式，用于在不使用OHN或其他预限定生理界标的情况下确定最佳追踪FOV位置。

图14A、图14B、图14C和图14D提供了用于识别相对于OCT FOV的最佳追踪FOV的本方法的附加示例。

图15说明了场景1，其中来自先前就诊的患者注视的视网膜的参考图像是可用的。

图16说明了场景2，其中视网膜图像质量算法在初始对准期间(由操作者或自动)检测参考图像。

图17说明了场景3，其中来自先前访问的参考图像和视网膜图像质量算法不可用。

图18说明了场景3的替代解决方案。

图19A示出小(顶部)和正常(底部)瞳孔采集模式的两个示例。

图19B示出来自45个图像序列的总共29,529个图像的配准误差、眼睛运动和关键点数目的统计数据。

图20A说明了当前图像(白色边框)相对于参考图像(灰色边框)的运动，具有相对于参考图像的眼睛运动参数为Δx、Δy和旋转φ。

图20B示出了来自三个不同患者的示例，一个良好注视，另一个具有系统性眼睛运动，第三个具有随机眼睛运动。

图21提供了表格，示出15名患者的眼睛运动统计数据。

图22说明了用于对眼底成像的狭缝扫描眼科系统的示例。

图23说明了用于收集适合与本发明一起使用的眼睛的3D图像数据的通用频域光学相干断层成像系统。

图24示出了人眼的正常视网膜的示例性OCT B扫描图像，并说明性地识别了各种典型的视网膜层和边界。

图25示出了正面脉管系统图像的示例。

图26示出了脉管系统(OCTA)图像的示例性B扫描。

图27说明了多层感知器(MLP)神经网络的示例。

图28示出由输入层、隐藏层和输出层组成的简化神经网络。

图29说明了示例卷积神经网络架构。

图30说明了示例U-Net架构。

图31说明了示例计算机系统(或计算设备或计算机)。

具体实施方式

本发明提供一种改进的眼追踪系统，如用于眼底相机、光学相干断层扫描(OCT)系统和OCT血管造影系统。此处使用追踪一系列实况图像中的任何眼睛的红外(IR)相机来描述本发明，但应该理解的是，本发明可以使用其他成像模态(例如，彩色图像、荧光图像、OCT扫描等)。

本追踪系统/方法可以通过首先识别/检测(例如，显著的)参考点(例如，可以在图像中一致(例如，可靠和/或容易和/或快速)识别的显著物理特征)开始。例如，参考点(或参考模板)可以对应于视神经乳头(ONH)(及其参考位置)或另一个显著/一致的点/特征，如病变。可以使用深度学习或其他基于知识的计算机视觉方法从参考IR图像中选择参考点。

可替代地或另外地，可以在图像流中识别一系列候选点，并且可以选择一组图像内最一致的候选点作为一系列实况图像的参考锚点。以这种方式，在一系列实况图像中使用的锚点/模板可以随着实况图像流的质量变化以及不同的候选点变得更加显著/一致而变化。

本追踪算法使用以从参考IR图像中提取的参考点为中心的模板追踪实况IR图像。提取从参考点中心偏移的附加模板以增加在IR图像中模板和相应界标的数目。这些模板可以用于将不同IR图像中的相同位置检测为一组界标，这些界标可以用于参考图像和实况IR图像之间的配准，从而实时追踪一系列IR图像。通过偏移参考位置生成一组模板的优点是不需要血管增强或复杂的图像特征检测算法。如果需要在高分辨率图像上执行追踪算法以进行更准确的追踪，则追踪算法的实时性能将受到使用这些附加算法的影响。假设从参考IR图像中提取了一组模板，它们在实况IR图像中的对应位置(作为一组界标)可以在实况IR图像中通过模板匹配(例如，归一化互相关)在远离参考点的小边界区域中确定。可选地，如果没有与一组初始模板进行匹配，则可以搜索更多模板。一旦找到了对应的匹配，就可以使用所有匹配或匹配的子集来计算IR参考图像和实况IR图像之间的变换(x和y移动和旋转)。可选地，如果匹配的数目不大于阈值(例如，识别的界标的一半)，则丢弃当前的实况图像并且不对追踪误差进行校正。假设找到足够的匹配，则变换确定实况IR图像和参考图像之间的运动量。从理论上讲，可以使用IR参考和实况图像中的两个对应界标(参考点和具有高置信度的界标)来计算变换。但是，将使用两个以上的界标进行追踪，以确保更稳健的追踪。

图2、图3和图4示出了追踪帧的示例(每个帧都包括示例性参考图像和示例性实况图像)，其中在实况IR图像中追踪参考点和一组界标(来自示例性参考图像)。在图2、图3和图4的每一个中，每个追踪帧中的顶部图像(分别为21A、21B和21C)是示例性参考IR图像，底部图像(分别是23A、23B和23C)是示例性实况IR图像。虚点方框是ONH模板，白方框是IR参考图像和实况图像中的相应的模板。可以为每个实况IR图像自适应地选择模板。例如，图2和图3示出相同的参考图像21A/21B和相同的锚点25，但图2中的附加界标27A与图3中的附加界标27B不同。在这种情况下，基于他们的检测置信度在每个IR实况图像中动态地选择界标。

图4说明了在实况IR图像23中存在眼睑31和中央反射33的情况下的本追踪系统。请注意，在这种情况下，追踪不依赖于血管的存在(与图2和图3的示例相反)，因此避免了将眼睑与血管混淆。

图5示出本发明的两个附加示例。上排图像示出本发明应用于正常瞳孔采集，下排图像示出本发明应用于小瞳孔采集。在这两种情况下，界标都是相对于ONH位置(例如，参考锚点)进行检测的。在该示例中，通过参考图像(RI)和运动图像(MI)之间的配准来计算追踪参数(xy平移和旋转)。本方法需要从参考图像RI的特征丰富的区域提取的ONH 41位置和一组RI界标(例如，辅助点)43。出于示例性目的，界标43之一被示出在限制区域或搜索窗口42及其到ONH 41的相对距离45内。可以使用具有U-Net架构的神经网络系统来检测参考图像RI中的ONH 41。下面提供了对神经网络(包括U-Net架构)的通常讨论。可使用从参考图像RI提取的ONH模板41通过模板匹配来检测运动(例如，实况)图像MI中的ONH 41'。每个参考界标模板43及其到ONH 41的相对距离45(以及可选地其相对方向)用于在运动图像MI中搜索距ONH 41'具有相同/相似距离45'的对应界标43'(例如，在限制区域或窗口42'内)。对应高置信度的一组界标用于计算追踪参数。

在示例性实施方式中，使用具有诱导眼睛运动的正常和小瞳孔采集模式，使用CLARUS 500(ZEISS,Dublin,CA)以50Hz帧速率，收集红外(IR)图像(11.52x9.36mm，像素大小为15μm/像素)。使用3种不同的运动水平扫描每只眼睛，如下所示：良好注视、系统和随机的眼睛运动。已配准的图像显示在单个图像中以可视化配准(参见图5)。配准的移动和参考界标之间的平均距离误差被计算为配准误差。报告了每个采集模式和每个运动水平的配准误差和眼睛运动的统计数据。从15只眼睛中收集了大约500张图像。

图6示出使用所有眼睛的针对不同采集模式和运动水平的配准误差和眼睛运动的结果统计数据。正常和小瞳孔采集模式的配准误差的平均值和标准偏差相似，这表明追踪算法在两种模式下具有相似的性能。报告的配准误差是有助于设计OCT扫描模式的重要信息。使用配备Intel i7 CPU、2.6GHz和32GB RAM的计算系统，测量单个图像的追踪时间平均为13毫秒。因此，本发明提供了一种使用具有良好追踪性能的IR图像的实时视网膜追踪方法，这是OCT图像采集系统的重要组成部分。

尽管上述示例被描述为应用于眼睛的后段(例如，眼底)，但是应当理解，本发明也可以应用于眼睛的其他部分，如眼睛的前段。前段图像的实时和高效追踪在自动OCT血管造影图像采集中非常重要。由于图像采集过程中不自主的眼睛运动，尤其是在OCTA-扫描中，前段追踪至关重要。前段LSO图像可以用于追踪眼睛的前段的运动。可以假设眼睛运动是具有可以用于控制OCT光束的运动参数(例如平移和旋转)的刚性运动。

眼睛前部的局部运动和缺乏对比度(如瞳孔尺寸/形状变化、一致的眼睫和眼睑运动、在追踪过程中挤压或扩大的虹膜图案(由于瞳孔尺寸/形状变化))会影响自动实时-时间处理，从而降低追踪的成功率和可靠性。此外，图像中解剖特征的外观可能会随着时间的推移而显着变化，具体取决于对象的注视(例如，凝视角度)。图7提供了示例性前段图像，在同一采集中瞳孔尺寸、虹膜图案、眼睑和眼睫运动以及眼睑区域缺乏对比度的变化(及时)。因此，需要一种可以使用LSO或其他成像方式实时稳健地追踪眼睛前段的方法。

先前的前段追踪系统使用具有一组从图像中提取的界标的参考图像。然后，追踪算法通过独立搜索每个实况图像中的界标，使用从参考图像中提取的界标追踪一系列实况图像。也就是说，参考图像和实况图像之间的匹配界标是独立确定的。假设刚性(或仿射)变换，两幅图像之间的界标独立匹配由于局部运动和缺乏对比度而成为难题。通常需要复杂的界标匹配算法来计算刚性变换。如果需要高分辨率图像来进行更准确的追踪，这种先前方法的实时追踪性能通常会受到影响。

上述追踪实施例(例如，参见图2至图6)提供了两个图像之间的有效界标匹配检测，但是一些实施方式可能具有限制。上述实施例中的一些假设参考图像和实况图像包含明显或独特的解剖特征，如ONH，由于解剖特征的独特性，其是稳健地检测的。在这种方法中，相对于实况图像中的参考(锚)点(例如ONH、病变或特定血管模式)检测界标。参考图像和实况图像中的参考点与选定界标之间的距离(或相对距离)在两个图像中保持不变。因此，通过搜索距离参考(锚点)点已知距离(并且可选地，方向)的小区域，实况图像中的界标检测成为一个更简单的问题。由于参考点和界标位置之间的距离恒定，保证了界标检测的稳健性。

相比之下，本实施例提供了优于上述实施例的一些优点。与在上述实施例中类似的，从从参考图像中提取的候选界标中选择参考(例如锚点)，但是所选择的参考锚点不一定是眼睛的明显或独特的解剖/物理特征(例如，ONH、瞳孔、虹膜边界或中心)。尽管锚点可能不是独特的解剖/物理特征，但参考图像和实况图像中参考锚点与选择的辅助界标之间的距离在两个图像中保持不变。因此，通过搜索距参考锚点已知距离的小区域，实况图像中的界标检测成为更简单的问题。由于参考锚点和界标辅助点之间的距离恒定，保证了界标检测的稳健性。可以通过对子集的详尽搜索来选择最佳匹配界标的子集以计算刚性变换。类似的方法也可以应用于使用IR图像(上述实施例)的视网膜追踪，其中独特的解剖界标在图像/扫描区域中或检测器的视场(例如外围)内是不可见的(或找不到的)。

本实施例与上述实施例中的一些实施例相比的不同之处在于，参考(锚)点是从从参考图像中提取的一组界标候选中选择的。可以基于例如在后续图像中(例如，在图像流中)可追踪参考点来选择/挑选参考点，以确保对该点的一致且稳健的检测。基本上，时间图像信息(例如，一系列图像随时间的变化)被合并到参考点选择方法中。例如，可以检查一系列图像(例如，以注视或可变间隔选择)中的所有图像或选择图像以确定当前界标是否仍然是用作参考锚界标的最佳界标。随着不同的候选界标变得更易于追踪(例如，更容易、更快速、唯一和/或始终可检测)，它会替换先前的参考点并成为新的参考锚点。然后可以相对于新的参考锚点重新参考所有其他界标点。

本实施例对于眼睛(视场)的扫描(或图像)区域不包含明显或独特的解剖特征(例如，ONH)或解剖特征不一定用于被选为参考点(例如，瞳孔由于其尺寸/形状在追踪期间发生变化，例如随时间变化)的情况特别有用。因此，在本实施例中，不要求选择作为参考点的解剖特征的唯一性。

本实施例可以首先从从参考图像或一系列连续实况图像中提取的一组候选界标中检测参考(锚)点。例如，参考界标候选可以在具有良好纹理特性的区域内，如朝向虹膜外边缘的虹膜区域。熵过滤器可以突出具有良好纹理特性的区域，然后是附加的图像处理和分析技术，以生成包含要被选为参考点候选的界标候选的掩模。可以选择位于具有高对比度和纹理区域的参考点作为参考(锚)点，该参考点可在后续实况图像中进行追踪。深度学习(例如，神经网络)方法/系统可以用于识别具有高对比度和良好纹理特性的图像区域。

本实施例使用以从参考图像提取的参考(锚)点为中心的模板来追踪实况图像。生成以界标候选为中心的从参考图像中提取的附加模板。这些模板可以用于在实况图像中检测与一组界标相同的位置，这些界标可以用于参考图像和实况图像之间的配准，从而随着时间的推移追踪图像序列。假设从参考图像中提取了一组模板，它们在实况图像中的对应位置(作为一组界标)可以通过模板匹配(例如，归一化互相关)在实况图像中在距离参考点的小区域中确定。一旦找到所有对应的匹配，就可以使用匹配的子集来计算参考图像和实况图像之间的变换(x和y移动和旋转)。

变换确定了实况图像和参考图像之间的运动量。可以使用参考图像和实况图像中的两个对应界标来计算变换。但是，可以使用两个以上的界标进行追踪，以确保追踪的稳健性。

匹配界标的子集可以通过穷举搜索来确定。例如，在每次迭代中，可以从参考图像和实况图像中选择两对对应的界标。然后可以使用两对来计算刚性变换。确定每个变换后的参考图像界标(使用刚性变换)与实况图像界标之间的误差。与小于预限定阈值的误差相关联的界标可以被选为内点。可以对所有(或大多数)可行的两对(例如，组合)重复此过程。然后可以选择创建最大内点数的变换作为用于追踪的刚性变换。

图8和图9说明了参考点和实况图像中一组界标的追踪。左栏中的图像是参考图像，右栏中的图像是实况图像。选择的参考点在每个参考图像上都用带圆圈的十字标记。如所见，参考锚点的选择随着实况图像流的不同部分变化(例如，形状或质量)而随时间变化。在图8和图9的示例中可以看到瞳孔尺寸和形状、眼睑运动和低对比度的变化。

总之，运动伪影对光学相干断层扫描血管造影(OCTA)提出了挑战。虽然存在纠正视网膜OCTA中这些伪影的运动追踪解决方案，但眼睛的前段(AS)的运动追踪问题尚未解决。这目前是使用AS-OCTA诊断角膜、虹膜和巩膜疾病的障碍。本实施例已被证明用于眼睛的前段的运动追踪。

在特定实施例中，使用具有内部注视的远心附加透镜组件，以实现具有良好患者对准和注视(fx)的CIRRUS^TM 6000 AngioPlex(ZEISS,Dublin,CA)的前段成像。使用CIRRUS6000上的附加透镜，从15名受试者的25只眼睛中采集了宽场(20x14mm)线扫描检眼镜(LSO)图像集，总共6973张图像(4798张中央注视和2175张周边注视)。然后使用一种算法使用参考图像和来自同一集合的其他(运动)图像之间的基于实时界标的刚性配准，追踪这些图像集中的运动。

图10说明了根据本发明实施例的追踪算法的示例。在本示例中，在运动图像中找到锚点和选择的界标，并用于计算平移和旋转值以进行配准。图10底部的重叠图像用于视觉验证。本实施例首先在具有高纹理值的参考图像的区域中检测锚点。然后通过搜索以参考图像锚点位置为中心的模板(图像区域)，在运动图像中定位该锚点。接下来，通过在与参考图像中的锚点相同距离处搜索界标模板，在运动图像中找到来自参考图像的界标。最后，使用具有最高置信度值的界标对计算平移和旋转。配准误差是两幅图像中对应界标之间的平均距离。该值是在视觉确认界标匹配和成功配准后计算的。

图11提供了追踪测试结果。配准误差和旋转角度直方图中的插图示出各自的分布参数。平移向量绘制在中心，每500μm幅度具有同心环。插图示出平移幅度的分布参数。

如上所述，IR眼底图像的实时和高效追踪在自动视网膜OCT图像采集中非常重要。假设追踪和OCT采集视场(FOV)位于同一视网膜区域，当患者注视不直或偏离中心时，视网膜追踪变得更具挑战性。也就是说，追踪和OCT(采集)FOV通常位于视网膜上的同一区域。这样，运动追踪信息可以用于例如在OCT扫描操作期间校正OCT定位。然而，进行OCT扫描的位置(例如，OCT采集FOV或OCT FOV)可能不在具有足够特性物理特征/结构的位置以稳健的方式追踪运动的视网膜上。当前优选的方法在追踪和OCT采集之前识别/确定最佳追踪FOV位置。

有多个挑战使高效追踪变得复杂。例如，IR图像可能不包含足够的分布式视网膜特征(例如血管等)来追踪注视何时偏离中心。另一个复杂性是眼睛周边区域的眼睛曲率较大。此外，眼睛运动会在当前图像中相对于参考图像产生更多的非线性失真，这可能导致不准确的追踪。由于两个图像之间的非线性关系，当前图像相对于参考图像之间的变换可能不是刚性变换。

一种可行的解决方案是将追踪FOV放置在可以稳健地检测到的明确限定的视网膜界标和特征(例如，ONH和大血管周围)的位置。这种方法的一个问题是由于旋转锚点的位置位于追踪FOV中而不是OCT采集FOV中，追踪FOV和OCT采集FOV之间的大距离会引入旋转角度误差。

为了克服上述挑战，可以使追踪FOV(例如，在IR图像中)与OCT采集FOV至少部分重叠以进行偏心注视，或者可以将其放置在尽可能靠近OCT采集FOV的位置。

本文提出了一种用于患者注视的追踪FOV的最佳和动态定位的方法。在本方法中，追踪算法(如上文所述，或其他合适的追踪算法)用于通过使用一组度量(如追踪误差、界标(关键点)以及界标的数目)最大化追踪性能，来优化追踪FOV的位置分布。最大化追踪性能的追踪位置(FOV的中心)被选择/指定/识别为用于给定患者注视的期望位置。

本质上，本发明动态地寻找最佳追踪FOV(对于给定的患者注视)，该FOV能够对偏心注视(例如，眼睛外围区域的注视)的OCT扫描进行良好追踪。在本方法中，追踪区域可以放置在视网膜上与OCT扫描区域不同的位置。识别视网膜上相对于OCT FOV的最佳区域并将其用于视网膜追踪。因此，可以为每只眼睛动态地找到追踪FOV。例如，可以基于对一系列对准图像的追踪性能来确定最佳追踪FOV。

图12说明了使用ONH来确定给定OCT FOV(采集/扫描窗口)的最佳追踪FOV(追踪窗口)的位置。在本示例中，IR预览图像(或IR预览图像内的部分/窗口)通常具有宽FOV(例如，90度FOV)用于患者对准，也可以用于限定追踪FOV。这些图像连同IR追踪算法可以用于确定相对于OCT FOV的最佳追踪位置。虚线框方框61限定OCT FOV，虚线框方框63A和63B指示移动(重新定位)的移动非最佳追踪FOV，直到识别出最佳追踪FOV(实心黑色框方框65)。非最佳追踪FOV 63A/63B在距OCT FOV中心一定距离内向ONH移动(例如，由白色实线67指示)。参考IR预览图像中的最佳追踪FOV(实心黑色线框方框65)实现了对同一追踪FOV中剩余IR预览图像的稳健追踪。

本文提供了本发明的两个实施例(或实施方式)。第一实施例使用参考点。此实施方式依赖于视网膜上可检测的参考点。例如，参考点可以是视神经乳头(ONH)的中心。实施方式可以总结如下：

1)收集一系列宽(例如，90度)FOV IR预览图像(例如用于患者对准)，或其他合适的眼底图像。

2)使用/指定收集的图像之一作为参考图像。

3)检测参考图像中的ONH中心。

4)在参考图像中OCT FOV中心裁剪追踪FOV，并将裁剪后的FOV用作追踪参考图像(例如，当前非最佳追踪FOV 63A/63B)。

5)使用追踪参考图像追踪集合中的剩余IR预览图像。

6)更新目标函数。如本领域已知的，数学优化问题中的目标函数是实值函数，其值将在一组可行备选方案上被最小化或最大化。在本例中，目标函数值使用例如所有剩余IR预览图像的追踪输出(例如追踪误差、界标分布、界标数目等)来更新。

7)通过沿朝向ONH中心的连接线(在追踪和OCTFOV中心之间)裁剪追踪FOV，例如线67，更新追踪参考图像。连接线的替代方案可以是从追踪FOV中心到OCT FOV中心的非线性动态路径。可以为每个扫描/眼睛确定非线性动态路径。

8)重复步骤5)到8)，直到目标函数最小化以达到OCT FOV和最佳追踪FOV之间的最大允许距离(例如，约束优化)。

图13示出了本发明的第二实施方式，用于在不使用OHN或其他预限定生理界标的情况下确定最佳追踪FOV位置。与图12相似的所有元件都具有相似的附图标记并在上面进行了描述。该方法在OCT FOV 61周围搜索最佳追踪FOV 65。参考IR预览图像中追踪FOV的最佳位置(实心黑色线框方框)能够在相同的追踪FOV中对剩余IR预览图像进行稳健的追踪。图14A、图14B、图14C和图14D提供了用于相对于OCT FOV识别最佳追踪FOV的本方法的附加示例。

第二推荐的解决方案/实施例不使用参考点。这种方法可以总结如下：

1)收集一系列宽FOV IR预览图像(例如，用于患者对准)。

2)使用其中的一张图像作为参考图像。

3)在参考图像中裁剪OCT FOV中心的追踪FOV，并将裁剪后的FOV作为追踪参考图像。

4)相对于追踪参考图像追踪集合中剩余IR预览图像。

5)使用例如所有剩余IR预览图像的追踪输出(如追踪误差、界标分布、界标数目等)来更新目标函数值。

6)通过将追踪FOV裁剪到IR预览参考图像中具有丰富解剖特征(例如血管和病变)的区域来更新追踪参考图像。图像显著性方法可以用于更新追踪FOV位置。

7)重复步骤4)到7)直到目标函数最小化为OCT和追踪FOV之间的最大允许距离(约束优化)。

上述视网膜追踪方法也可以用于自动捕获(例如，OCT扫描和/或眼底图像)。这将与使用瞳孔追踪进行自动对准和捕获的现有技术方法形成对比，但是发明人不知道使用视网膜追踪进行对准和自动捕获的现有技术方法。

自动的患者对准和图像捕获创造了积极有效的操作者和患者体验。在操作者进行初始校准后，系统可以进行自动追踪和OCT采集。眼底图像可以用于对准视网膜上的扫描区域。然而，自动捕获可能是挑战，因为：对准过程中的眼睛运动；眨眼和部分眨眼；和对准稳定性，可能导致仪器快速失准，如由于眼睛运动、聚焦、操作者错误等。

视网膜追踪算法可以用于锁定眼底图像并追踪传入的运动图像。视网膜追踪算法需要参考图像来计算参考图像和运动图像之间的几何变换。用于自动对准和自动捕获的追踪算法可以用于不同的场景。

例如，在第一场景中，(场景1)是如果有来自先前医生办公室就诊的患者注视的视网膜的参考图像可用的情况。在这种情况下，当眼睛稳定(没有运动或最小运动)时，参考图像可以用于对准和触发自动捕获，并且可以稳健地追踪一系列视网膜图像。在第二场景中，(场景2)可能是视网膜图像质量算法在初始对准期间(由操作者或自动)检测到参考图像的情况。在这种情况下，图像质量算法检测到的参考图像可以以与场景1类似的方式用于对准和触发自动捕获。第三场景(场景3)可能是如果来自先前访问的参考图像和视网膜图像质量算法不可用的情况。在这种情况下，该算法可以追踪从先前序列中的最后图像开始的图像序列作为参考图像。该算法可以重复这个过程，直到连续且稳健地追踪连续的图像序列，这可以触发自动捕获。

在本实施例中，描述了使用视网膜追踪系统的上述三个场景中描述的方法的自动对准和自动捕获方法。基本思想是使用追踪算法来评估眼底图像(例如，确定眼底图像是否是给定注视的优质视网膜图像)和对准期间相对于注视位置的眼睛运动。如果眼睛运动在注视位置最小，则会触发自动捕获。此外，追踪输出(例如，相对于注视位置的xy平移和旋转)也可以用于通过移动硬件组件(例如下巴托或头托、目镜等)在机动化系统中进行自动对准。

如上所述，IR预览图像(90度的FOV)通常用于患者对准。这些图像与诸如上述的IR追踪算法或其他已知的IR追踪算法一起可以用于确定图像是否可使用参考图像连续且稳健地追踪。以下是适用于上述三种不同场景的一些实施例。

图15说明了场景1，其中来自先前就诊的患者注视的视网膜参考图像是可用的。在这种场景下，对准和自动捕获是简单的问题，因为参考图像对于给定的注视是已知的。图15示出使用参考图像追踪每个运动图像。虚点线框帧是不可追踪的图像，并且虚线框帧是可追踪的图像。追踪的质量决定了图像是否处于正确的注视状态并具有良好的质量。可以使用诸如追踪误差、界标分布、界标数目、xy平移和运动图像相对于参考图像的旋转等的追踪输出来测量追踪的质量(如上所述)。通过移动诸如下巴托或头托、目镜等硬件组件，该追踪输出还可以用于机动化系统中的自动对准。

如果预限定数目N的连续运动图像是稳健地追踪的(例如，具有预限定的置信度或质量度量)，则可以触发自动捕获。这表明患者的眼睛运动很小并且注视是正确的。追踪输出还可以用于指导操作者或患者(以图形方式或使用声音/语言/文本)以实现更好的对准。

图16说明了场景2，其中视网膜图像质量算法在初始对准期间(由操作者或自动)检测参考图像。在这种场景下，在对准过程中，使用合适的IR图像质量算法从运动图像序列中检测参考图像。操作者执行初始对准以使视网膜进入期望的视场和注视。然后，IR图像质量算法确定一系列运动图像的质量。然后从一组参考图像候选中选择参考图像。基于图像质量得分选择最佳参考图像。一旦选择了参考图像，就可以触发自动捕获或自动对准，如上文参考场景1所述。

在场景3中，来自先前访问的参考图像和视网膜图像质量算法不可用。在这种场景下，该算法从前一个序列中的最后一个图像开始追踪一系列图像，作为参考图像(实心白帧)。图17示出了该算法重复此过程，直到连续且稳健地追踪图像的连续序列(虚线框帧)，这可以触发自动捕获。在这种方法中，操作者可以进行初始对准以使视网膜进入期望的视场和注视。

序列中的图像数目取决于追踪性能。例如，如果无法进行追踪，则可以使用来自前一个序列中最后的图像的新参考图像开始新序列。

图18说明了场景3的替代解决方案。这种方法可以从连续且稳健地追踪的图像的连续序列中选择参考图像。一旦选择了参考图像，就可以像场景1的方法一样触发自动捕获或自动对准。

上述成像追踪应用程序可以用于提取各种统计数据以识别影响追踪的各种特征问题。例如，可以分析用于追踪的图像序列以确定图像是否具有系统运动、随机运动或良好注视的特征。然后使用本发明的眼科系统可以通知系统操作者或患者影响追踪的可能问题，并提供建议的解决方案。

OCT中各种类型的伪影可能会影响眼科疾病的诊断。偏心伪影和运动伪影属于重要伪影。偏心伪影是由于注视误差造成的，导致特定疾病类型的地形图上的分析网格发生位移。偏心伪影主要发生在注意力不集中、视力差或注视偏心的受试者身上。尽管要求患者注视，但仍会发生不自主的眼睛运动，在对准和采集时，不同方向的强度不同。

运动伪影是由于眼球扫视、头部位置变化或呼吸运动引起的。运动伪影可以通过眼睛追踪系统来克服。然而，眼睛追踪系统通常无法处理扫视运动或注意力不集中或视力不佳的患者。在这些情况下，扫描无法完全完成到最后。

为了改善患者的注视并减少分心(特别是对于更长的扫描时间)，特别是对于注意力不集中或视力不佳的患者，对准和采集期间的眼动分析可能是一种有用的工具，可以通知操作者和患者更仔细的注意需要更好的注视或眼动控制。例如，可以为操作者提供视觉通知，为患者提供声音通知，这可能导致更成功的扫描。操作者可以根据运动分析输出调整硬件组件。可以将患者引导至注视目标，直到扫描完成。

在本实施例中，描述了一种用于眼动分析的方法。基本思想是使用视网膜追踪输出进行实时分析或采集后分析，以生成一组消息，包括声音消息，这些消息可以在对准和采集期间通知操作者和患者注视状态和眼动。在采集后提供运动分析结果可以帮助操作者了解扫描质量差的原因，以便操作者可以采取适当的措施，从而可能导致成功的扫描。

眼动分析有助于以下方面：

1)自对准：患者可以从设备接收到指令进行对准。

2)自动采集：在采集过程中可以通知患者注视变化或大运动。注视在同一位置对于小扫描视场很重要。

3)当注视目标不可用时，消息(例如以声音的形式)可以使患者保持注视。

4)眼动分析结果可以用于后处理算法以解决残余运动。

在概念验证应用程序中测试了上述使用红外反射(IR)图像进行偏心注视的实时视网膜追踪方法。如上所述，OCT采集系统依靠稳健和实时视网膜追踪方法来捕获可靠的OCT图像以进行可视化和进一步分析。由于图像中缺乏足够丰富的解剖特征，通过偏心注视来追踪视网膜可能是挑战。目前提出的稳健和实时视网膜追踪算法找到至少具有高对比度的解剖特征作为参考点(RP)，以提高追踪性能。

在本示例中，如上所述，参考图像和运动图像之间的基于实时关键点(KP)的配准计算xy平移和旋转作为追踪参数。本追踪方法依赖于唯一的RP和从参考图像中提取的一组参考图像KP。使用快速图像显著性方法稳健地检测参考图像中RP的位置。可以使用本领域已知的任何合适的显著性方法。显著性示例可以在以下位置找到：(1)X.Hou和L.Zhang，“Saliency Detection:A Spectral Residual Approach”，CVPR，2007年；(2)C.Guo，Q.Ma，和L.Zhang，“Spatio-temporal saliency detection using phase spectrum ofquaternion fourier transform”，CVPR，2008；以及(2)B.Schauerte，B.Kühn，K.Kroschel，R.Stiefelhagen，“Multimodal Saliency-based Attention for Object-based SceneAnalysis”，IROS，2011年。

图19A示出小(顶部)和正常(底部)瞳孔采集模式的两个示例。RP(+)通过使用快速图像显著性算法检测。相对于RP位置检测关键点(白色圆圈)。使用从参考图像中提取的RP模板通过模板匹配来检测运动图像中的RP位置。每个参考KP模板及其到RP的相对距离用于搜索与运动图像RP位置距离相同的对应运动KP，如虚线箭头所示。

在本示例实施方式中，追踪参数是从具有高置信度的KP对应的子集计算的。原型软件用于从CLARUS 500(ZEISS,Dublin,CA)收集IR图像序列(11.52x9.36 mm，像素尺寸为15μm/像素和50Hz帧速率)。配准的图像显示为单个图像以可视化配准(例如，图19A中最右边的图像)。计算每个运动图像的配准运动和参考KP之间的平均距离误差作为配准误差。

报告了配准误差、KP数目和眼动的统计数据。图19B示出来自45个图像序列的总共29,529个图像的配准误差、眼动和关键点数目的统计数据。从十名受试者/患者的一只或两只眼睛收集了45个序列，每个序列平均有650张图像。患者的注视偏离中心。15.3±2.7μm的平均配准误差表明在A-扫描间距大于15μm的OCT域中进行准确追踪是可行的。使用Inteli7-8850H CPU、2.6GHz、32GB RAM测量追踪的执行时间平均为15ms。因此，本实施方式证明了本追踪算法的稳健性，该算法基于使用IR眼底图像的实时视网膜追踪方法。该工具可能是任何OCT图像采集系统的重要组成部分。

大多数基于眼动跟踪的分析旨在识别和分析个体在执行特定任务时的视觉注意力模式，如阅读、搜索、扫描图像、驾驶等。眼睛的前段(如瞳孔和虹膜)用于眼动分析。本方法对线扫描检眼镜(LSO)或红外反射(IR)眼底图像的每一帧使用视网膜追踪输出(眼动参数)。在一段时间内记录的眼动参数(x，y，例如平移和旋转)可以用于统计分析，其中可能包括眼动参数的统计矩分析。可以使用时间序列分析(例如卡尔曼滤波和粒子滤波)来预测未来的眼动。本系统还可以使用统计和时间序列分析生成消息以通知操作者和患者。

在本发明中，可以在采集期间和/或之后使用眼动分析。使用LSO或IR图像的视网膜追踪算法可以用于计算眼动参数，例如x和y平移和旋转。运动参数是相对于参考图像计算的，参考图像是通过初始注视或使用任何上述方法捕获的。图20A说明了当前图像(白色边框)相对于参考图像(灰色边框)的运动，相对于参考图像的眼动参数为Δx、Δy和旋转φ。当前图像被配准到参考图像，然后对两个图像进行平均。

对于每个眼底图像，记录眼动参数，可以用于一段时间内的统计分析。统计分析的示例包括眼动参数的统计矩分析。时间序列分析可以用于未来的眼动预测。预测算法包括卡尔曼滤波和粒子滤波。可以使用统计和时间序列分析生成信息性消息，以通知操作者和患者采取行动。

在对准和采集期间具有运动分析的实施例中，用于眼动预测(下一个位置和速度)的时间序列分析可以警告患者他/她是否正在偏离初始注视位置。

在采集后进行运动分析的实施例中，可以在当前采集终止之后应用统计分析(不管采集是成功还是失败)。统计分析的一个示例包括从初始注视位置的总注视偏移(xy运动的平均值)和眼动的分布(标准偏差)，作为采集期间眼动严重程度的量度。

图20B示出来自三个不同患者的示例，一个良好注视，另一个具有系统性眼动，第三个具有随机眼动。眼动计算可以应用于相对于具有初始注视的参考图像的IR图像。

图21提供了表格，示出15名患者的眼动统计数据。平均值表示距初始注视位置的整体注视偏移。标准偏差表示采集中眼动的度量。与具有良好注视的扫描相比，包含系统或随机眼动的扫描显示出显着更大的平均偏差和标准偏差，这可以用作针对注视不良的指示符。对于本研究，显着更大的平均偏差或标准偏差可分别限定为116和90微米。眼睛和注视点分析可以通过提供信息消息来减少OCT图像采集中的运动，从而突出其作为操作者或患者反馈的用途，这对于任何后续数据处理都很重要。

下文提供了对适用于本发明的各种硬件和架构的描述。

眼底成像系统

用于眼底成像的两类成像系统是泛光照明成像系统(或泛光照明成像器)和扫描照明成像系统(或扫描成像器)。泛光照明成像器同时用光泛光样本的感兴趣的整个视场(FOV)，例如通过使用闪光灯，并用全帧相机(例如，具有足够大小的二维(2D)光传感器阵列以整体捕获所需FOV的相机)捕获样本(例如眼底)的全帧图像。例如，泛光照明眼底成像器将用光照射眼睛的眼底，并在相机的单个图像捕获序列中捕获眼底的全帧图像。扫描成像器提供在对象(例如眼睛)上扫描的扫描光束，并且当扫描束在对象上扫描时，扫描光束在不同的扫描位置成像，从而产生一系列可以重建的图像片段，例如，蒙太奇，以创建所需FOV的合成图像。扫描光束可以是点、线或二维区域，如狭缝或宽线。眼底成像器的示例在美国专利8967806和8998411中提供。

图22说明了用于对眼底F进行成像的狭缝扫描眼科系统SLO-1的示例，眼底F是眼睛E的与眼睛晶状体(或晶状体)CL相对的内表面，并且可以包括视网膜、视盘、黄斑、中央凹和后极。在本示例中，成像系统处于所谓的“扫描-去扫描”配置中，其中扫描线光束SB穿过眼睛E的光学组件(包括角膜Crn、虹膜Irs、瞳孔Ppl和晶状体CL)扫描眼底F。在泛光眼底成像器的情况下，不需要扫描仪，并且一次将光应用于整个期望的视场(FOV)。其他扫描配置在本领域中是已知的，并且具体的扫描配置对本发明来说不是关键的。如所描绘的，成像系统包括一个或多个光源LtSrc，优选地，多色LED系统或激光系统，其中光学扩展量已被适当地调整。可选的狭缝Slt(可调节的或静态的)位于光源LtSrc的前面并且可以用于调节扫描线光束SB的宽度。此外，狭缝Slt在成像期间可以保持静止，或者可以调整到不同的宽度以允许不同的共焦水平和不同的应用，无论是用于特定扫描还是在用于抑制反射的扫描期间。可选的物镜ObjL可以放置在狭缝Slt的前面。物镜ObjL可以是任何一种现有技术的透镜，包括但不限于折射、衍射、反射或混合透镜/系统。来自狭缝Slt的光通过瞳孔分离镜SM并被导向扫描仪LnScn。期望使扫描平面和瞳孔平面尽可能靠近，以减少系统中的渐晕。可以包括可选的光学器件DL以控制两个组件的图像之间的光学距离。瞳孔分离镜SM可以将来自光源LtSrc的照明光束传递到扫描仪LnScn，并且将来自扫描仪LnScn的检测光束(例如，从眼睛E返回的反射光)反射向相机Cmr。瞳孔分离镜SM的任务是分离照明和检测光束并帮助抑制系统反射。扫描仪LnScn可以是旋转振镜扫描仪或其他类型的扫描仪(例如，压电或音圈、微机电系统(MEMS)扫描仪、电光偏转器和/或旋转多边形扫描仪)。根据是在扫描仪LnScn之前还是之后进行瞳孔分离，可以将扫描分为两个步骤，其中一个扫描仪在照明路径中，且单独的扫描仪在检测路径中。在美国专利第9,456,746号中详细描述了特定的瞳孔分离布置，该专利通过引用的方式整体并入本文。

从扫描仪LnScn，照明光束穿过一个或多个光学器件，在这种情况下是扫描透镜SL和眼科镜或目镜OL，其允许眼睛E的瞳孔成像到系统的图像瞳孔。通常，扫描透镜SL以多个扫描角(入射角)中的任何一个接收来自扫描仪LnScn的扫描照明光束，并产生具有基本上平坦的表面焦平面(例如，准直光路)的扫描线光束SB。然后眼科透镜OL可以将扫描线光束SB聚焦到要成像的物体上。在本示例中，眼科透镜OL将扫描线光束SB聚焦到眼睛E的眼底F(或视网膜)上以对眼底成像。以这种方式，扫描线光束SB产生横穿眼底F的横贯扫描线。这些光学器件的一种可能配置是开普勒型望远镜，其中选择两个透镜之间的距离以产生近似远心的中间眼底图像(4-f配置)。眼科透镜OL可以是单个透镜、消色差透镜或不同透镜的布置。如本领域技术人员所知，所有透镜可以是折射的、衍射的、反射的或混合的。眼科透镜OL、扫描透镜SL的焦距以及瞳孔分离镜SM和扫描仪LnScn的大小和/或形式可以根据期望的视场(FOV)不同而不同，并因此可以设想一种布置，在该布置中根据视场，例如通过使用翻转光学元件、机动化轮或可拆卸光学元件，可以将多个组件切换进和切换出光束路径。由于视场变化导致瞳孔上的光束大小不同，因此也可以结合FOV的变化来改变瞳孔分离。例如，45°到60°的视场是眼底相机的典型或标准FOV。更高的视场，例如60°-120或更大的宽视场FOV，也可能是可行的。对于宽线眼底成像仪(BLFI)与其他成像模式(例如光学相干断层扫描(OCT))的组合，可能需要宽视场FOV。视场的上限可以由可达的工作距离结合人眼周围的生理条件来确定。由于典型的人类视网膜具有140°水平和80°至100°竖直的FOV，因此可能需要具有不对称的视场以获得系统上可能的最高FOV。

扫描线光束SB穿过眼睛E的瞳孔Ppl并指向视网膜或眼底表面F。扫描仪LnScn1调整光在视网膜或眼底F上的位置，使得眼睛E上的横向范围位置被照亮。反射或散射光(或在荧光成像的情况下发射的光)沿与照明相似的路径被引导回来，以在到相机Cmr的检测路径上限定收集光束CB。

在本示例性狭缝扫描眼科系统SLO-1的“扫描-去扫描”配置中，从眼睛E返回的光在其到达瞳孔分离镜SM的途中被扫描仪LnScn“去扫描”。即，扫描仪LnScn扫描来自瞳孔分离镜SM的照明光束以限定穿过眼睛E的扫描照明光束SB，但由于扫描仪LnScn也在同一扫描位置接收来自眼睛E的返回光，扫描仪LnScn具有去扫描返回光的效果(例如，取消扫描动作)以限定从扫描仪LnScn到瞳孔分离镜SM的非扫描(例如，稳定或静止)收集光束，瞳孔分离镜SM将收集光束折叠到相机Cmr。在瞳孔分离镜SM处，反射光(或在荧光成像的情况下发射的光)与照射光分离到指向相机Cmr的检测路径上，该相机Cmr可以是具有用于捕获图像的光传感器的数码相机。成像(例如，物镜)透镜ImgL可以定位在检测路径中以将眼底成像到相机Cmr。与用于物镜ObjL的情况一样，成像透镜ImgL可以是本领域已知的任何类型的透镜(例如，折射、衍射、反射或混合透镜)。PCT公开No.WO2016/124644中描述了额外的操作细节，特别是减少图像中的伪影的方法，其内容通过引用整体并入本文。相机Cmr捕获接收到的图像，例如，它创建图像文件，该图像文件可以由一个或多个(电子)处理器或计算设备(例如，图31的计算机系统)进一步处理。因此，收集光束(从扫描线光束SB的所有扫描位置返回)由相机Cmr收集，并且全帧图像Img可以由单独捕获的收集光束的合成构建，如通过蒙太奇。然而，也可以考虑其他扫描配置，包括照明光束在眼睛E上扫描，并且收集光束在相机的光传感器阵列上扫描的配置。PCT公开WO2012/059236和美国专利公开No.2015/0131050(通过引用并入本文)描述了狭缝扫描检眼镜的若干实施例，包括其中返回光扫过相机的光传感器阵列并且返回光不扫过相机的光传感器阵列的各种设计。

在本示例中，相机Cmr连接到处理器(例如，处理模块)Proc和显示器(例如，显示模块、计算机屏幕、电子屏幕等)Dspl，两者都可以是图像系统它本身的一部分，或者可以是单独的、专用的处理和/或显示单元的一部分，例如计算机系统，其中数据通过电缆或包括无线网络的计算机网络从相机Cmr传递到计算机系统。显示器和处理器可以是一个多合一的单元。显示器可以是常规的电子显示器/屏幕或触摸屏类型，并且可以包括用于向仪器操作者或用户显示信息和从仪器操作者或用户接收信息的用户接口。用户可以使用本领域已知的任何类型的用户输入设备与显示器交互，包括但不限于鼠标、旋钮、按钮、指针和触摸屏。

在进行成像时，可能需要患者的凝视保持固定。实现这一点的方法是提供一种可以引导患者凝视的注视目标。注视目标可以在仪器内部或外部，具体取决于要对眼睛的哪个区域进行成像。图22示出内部注视目标的一个实施例。除了用于成像的主要光源LtSrc之外，可以定位第二可选光源FxLtSrc，例如一个或多个LED，以便使用透镜FxL、扫描元件FxScn和反射器/镜子FxM将光图案成像到视网膜。注视扫描仪FxScn可以移动光图案的位置，并且反射器FxM将光图案从注视扫描仪FxScn引导到眼睛E的眼底F。优选地，注视扫描仪FxScn的位置使其位于系统的瞳孔平面，因此视网膜/眼底上的光图案可以根据期望的注视位置移动。

狭缝扫描检眼镜系统能够在不同的成像模式下工作，具体取决于所采用的光源和波长选择过滤元件。当使用一系列彩色LED(红色、蓝色和绿色)对眼睛进行成像时，可以实现真彩色反射成像(类似于临床医生使用手持式或裂隙灯检眼镜检查眼睛时观察到的成像)。每种颜色的图像可以在每个扫描位置打开每个LED时逐步建立，或者可以单独拍摄每个颜色的图像。三色、彩色图像可以组合显示真彩色图像，也可以单独显示以突出视网膜的不同特征。红色通道最能突出脉络膜，绿色通道突出视网膜，蓝色通道突出前段视网膜层。此外，特定频率的光(例如，单个彩色LED或激光)可以用于激发眼睛中的不同荧光团(例如，自发荧光)，并且可以通过滤除激发波长来检测产生的荧光。

眼底成像系统还可以提供红外反射图像，例如通过使用红外激光(或其他红外光源)。红外(IR)模式的优势在于眼睛对IR波长不敏感。这可以允许用户在不干扰眼睛的情况下连续拍摄图像(例如，在预览/对准模式中)以在仪器对准期间帮助用户。此外，IR波长增加了穿透组织的能力，并可提供改善的脉络膜结构可视化。此外，荧光素血管造影(FA)和吲哚菁绿(ICG)血管造影成像可以通过在将荧光染料注入受试者血流后收集图像来完成。例如，在FA(和/或ICG)中，可以在将光反应染料(例如荧光染料)注入到受试者的血流中后捕获一系列延时图像。值得注意的是，必须小心，因为荧光染料可能会导致部分人群出现危及生命的过敏反应。使用选择的特定光频率来激发染料，捕获高对比度、灰度图像。当染料流过眼睛时，眼睛的各个部分会发出明亮的光(例如，荧光)，从而可以辨别染料的进程，从而辨别通过眼睛的血流。

光学相干断层成像系统

通常，光学相干断层扫描(OCT)使用低相干光来产生生物组织的二维(2D)和三维(3D)内部视图。OCT能够对视网膜结构进行体内成像。OCT血管造影(OCTA)产生血流信息，例如来自视网膜内的血管流。美国专利第6,741,359和9,706,915号中提供了OCT系统的示例，以及OCTA系统的示例可在美国专利第9,700,206和9,759,544号中找到，所有这些通过引用全部并入本文。本文提供了示例性OCT/OCTA系统。

图23说明了用于收集适合与本发明一起使用的眼睛的3D图像数据的通用频域光学相干断层扫描(FD-OCT)系统。FD-OCT系统OCT_1包括光源LtSrc1。典型的光源包括但不限于具有短时相干长度的宽带光源或扫频激光源。来自光源LtSrc1的光束通常通过光纤Fbr1路由，以照亮样本，例如眼睛E；典型的样本是人眼中的组织。光源LrSrc1例如可以是在光谱域OCT(SD-OCT)的情况下具有短时相干长度的宽带光源或在扫频源OCT(SS-OCT)的情况下是波长可调激光源。可以扫描光，通常在光纤Fbr1的输出和样本E之间使用扫描仪Scnr1，使得光束(虚线Bm)在样本的待成像区域上横向扫描。来自扫描仪Scnr1的光束可以通过扫描透镜SL和眼科透镜OL并聚焦在被成像的样本E上。扫描透镜SL可以以多个入射角接收来自扫描仪Scnr1的光束并产生基本准直的光，然后眼科透镜OL可以聚焦到样本上。本示例说明需要在两个横向方向(例如，在笛卡尔平面上的x和y方向)扫描以扫描所需视场(FOV)的扫描光束。这方面的示例是点场OCT，它使用点场光束扫描样本。因此，扫描仪Scnr1被说明性地示出为包括两个子扫描仪：第一子扫描仪Xscn，用于在第一方向(例如，水平x方向)上扫描样本上的点场光束；第二子扫描仪Yscn用于在横穿第二方向(例如，竖直y方向)上扫描样本上的点场光束。如果扫描光束是线场光束(例如，线场OCT)，其可以一次对样本的整个线部分进行采样，则可能只需要一个扫描仪来扫描样本上的线场光束以跨越期望的FOV。如果扫描光束是全场光束(例如，全场OCT)，则可能不需要扫描仪，并且可以一次将全场光束应用于整个期望的FOV。

无论使用何种光束，从样本散射的光(例如样本光)都会被收集。在本示例中，从样本返回的散射光被收集到用于引导光以进行照明的同一光纤Fbr1中。来自同一光源LtSrc1的参考光通过单独的路径行进，在这种情况下涉及光纤Fbr2和具有可调节光学延迟的后向反射器RR1。本领域技术人员将认识到，也可以使用透射参考路径，并且可以将可调节延迟放置在干涉仪的样本臂或参考臂中。收集的样本光与参考光结合，例如在光纤耦合器Cplr1中，以在OCT光检测器Dtctr1(例如光电检测器阵列、数码相机等)中形成光干涉。虽然示出单个光纤端口通向检测器Dtctr1，但本领域技术人员将认识到干涉仪的各种设计可以用于干涉信号的平衡或非平衡检测。检测器Dtctr1的输出被提供给处理器(例如，内部或外部计算设备)Cmp1，该处理器将观察到的干涉转换为样本的深度信息。深度信息可以存储在与处理器Cmp1相关联的存储器中和/或显示在显示器(例如，计算机/电子显示器/屏幕)Scn1上。处理和存储功能可以定位在OCT仪器内，或者可以将功能卸载到(例如，在其上执行)外部处理器(例如，外部计算设备)，收集的数据可以传输到该处理器。图31示出计算设备(或计算机系统)的示例。该单元可以专用于数据处理或执行其他常用且不专用于OCT设备的任务。处理器(计算设备)Cmp1可以包括例如现场可编程门阵列(FPGA)、数字信号处理器(DSP)、专用集成电路(ASIC)、图形处理单元(GPU)、系统片上(SoC)、中央处理单元(CPU)、通用图形处理单元(GPGPU)或其组合，它们可以通过一个或多个主机处理器和/或一个或多个外部计算设备以串行和/或并行方式执行部分或全部处理步骤。

干涉仪中的样本臂和参考臂可以由体光学、光纤或混合体光学系统组成，并且可以具有不同的架构，如Michelson、Mach-Zehnder或技术人员已知的基于共路径的设计。如本文所用的光束应解释为任何仔细定向的光路径。代替机械扫描光束，光场可以照亮视网膜的一维或二维区域以生成OCT数据(例如，参见美国专利第9332902号；D.Hillmann等人，“Holoscopy–Holographic Optical Coherence Tomography,”Optics Express,36(13):2390 2011；Y.Nakamura等人，“High-Speed Three Dimensional Human Retinal Imagingby Line Field Spectral Domain Optical Coherence Tomography”，Optics Express，15(12):7103 2007；Blazkiewicz等人，“Signal-To-Noise Ratio Study of Full-FieldFourier-Domain Optical Coherence Tomography”，Applied Optics，44(36):7722(2005))。在时域系统中，参考臂需要具有可调节的光延迟才能产生干涉。平衡检测系统通常用于TD-OCT和SS-OCT系统，而光谱仪用于SD-OCT系统的检测端口。这里描述的本发明可以应用于任何类型的OCT系统。本发明的各个方面可以应用于任何类型的OCT系统或其他类型的眼科诊断系统和/或多个眼科诊断系统，包括但不限于眼底成像系统、视场测试装置和扫描激光旋光仪。

在傅立叶域光学相干断层扫描(FD-OCT)中，每次测量都是实值光谱干涉图(Sj(k))。实值光谱数据通常经过几个后处理步骤，包括背景减法、色散校正等。处理后的干涉图的傅里叶变换导致复值OCT信号输出Aj(z)＝|Aj|eiφ。这个复值OCT信号的绝对值|Aj|揭示了不同路径长度的散射强度轮廓，因此散射是样本中深度(z方向)的函数。类似地，相位φj也可以从复值OCT信号中提取。作为深度函数的散射轮廓称为轴向扫描(A-扫描)。在样本中相邻位置测量的一组A-扫描产生样本的横剖面图像(断层图或B-扫描)。在样本上不同横向位置收集的B-扫描集合构成数据体或立方体。对于特定的数据量，术语快轴是指沿单个B-扫描的扫描方向，而慢轴是指沿其收集多个B-扫描的轴。术语“集群扫描”可指在相同(或基本相同)位置(或区域)重复采集生成的单个数据单元或数据块，用于分析运动对比度，可用于识别血流。群集扫描可以由在样本上大致相同的位置通过相对较短时间间隔收集的多个A-扫描或B-扫描组成。由于集群扫描中的扫描属于同一区域，因此静态结构在集群扫描内从扫描到扫描保持相对不变，而符合预限定标准的扫描之间的运动对比可被识别为血流。

在本领域中已知产生B-扫描的多种方式，包括但不限于：沿水平或x方向、沿竖直或y方向、沿x和y的对角线、或以圆形或螺旋形图案。B-扫描可以是x-z维度，但可以是包括z维度的任何横剖面图像。图24示出人眼正常视网膜的示例OCT B-扫描图像。视网膜的OCTB-扫描提供了视网膜组织结构的视图。出于说明目的，图24识别了各种规范的视网膜层和层边界。已识别的视网膜边界层包括(从上到下)：内界膜(ILM)层1、视网膜神经纤维层(RNFL或NFL)层2、神经节细胞层(GCL)层3、内网状层(IPL)层4、内核层(INL)层5、外网状层(OPL)层6、外核层(ONL)层7、光感知器的外节(OS)和内节(IS)之间的结(由参考符号层8指示)、外部或外界膜(ELM或OLM)层9、视网膜色素上皮(RPE)层10和布鲁赫膜(BM)层11。

在OCT血管造影或功能性OCT中，分析算法可应用于在不同时间(例如，集群扫描)在样本上相同或大致相同的样本位置收集的OCT数据，以分析运动或流动(参见例如美国专利第2005/0171438、2012/0307014、2010/0027857、2012/0277579号的公开和美国第6,549,801号专利，所有这些都以引用的方式整体并入本文)。OCT系统可以使用多种OCT血管造影处理算法(例如，运动对比度算法)中的任何一种来识别血流。例如，运动对比度算法可以应用于从图像数据导出的强度信息(基于强度的算法)、来自图像数据的相位信息(基于相位的算法)或复数图像数据(基于复数的算法)。正面图像是3D OCT数据的2D投影(例如，通过平均每个单独A扫描的强度，以便每个A-扫描限定2D投影中的像素)。类似地，正面脉管系统图像是显示运动对比度信号的图像，其中对应于深度的数据维度(例如，沿A-扫描的z方向)显示为单个代表值(例如，2D投影中的像素图像)，通常通过对数据的全部或孤立部分进行求和或积分(参见例如美国第7,301,644号专利，其全部内容以引用的方式并入本文)。提供血管造影成像功能的OCT系统可称为OCT血管造影(OCTA)系统。

图25示出了正面脉管系统图像的示例。在使用本领域已知的任何运动对比度技术处理数据以突出运动对比度之后，可以将与距视网膜内界膜(ILM)表面的给定组织深度相对应的像素范围相加，以生成脉管系统的正面(例如，正视图)图像。图26示出了脉管系统(OCTA)图像的示例性B扫描。如图所示，结构信息可能没有明确限定，因为血流可能穿过多个视网膜层，使得它们比结构OCT B-扫描更不明确，如图24所示。尽管如此，OCTA为视网膜和脉络膜的微血管成像提供了一种非侵入性技术，这对于诊断和/或监测各种病理可能至关重要。例如，OCTA可以用于通过识别微动脉瘤、新生血管复合物和量化中心凹无血管区和非灌注区来识别糖尿病性视网膜病变。此外，OCTA已被证明与荧光血管造影(FA)非常一致，这是一种更常规但更隐蔽的技术，需要注射染料来观察视网膜中的血管流动。此外，在干性年龄相关性黄斑变性中，OCTA已被用于监测脉络膜毛细血管流量的普遍减少。同样在湿性年龄相关性黄斑变性中，OCTA可以提供脉络膜新生血管膜的定性和定量分析。OCTA还被用于研究血管闭塞，例如评估未灌注区域以及浅表和深部神经丛的完整性。

神经网络

如上所述，本发明可以使用神经网络(NN)机器学习(ML)模型。为了完整起见，本文提供了对神经网络的通常性讨论。本发明可以单独地或组合地使用任何下述神经网络架构。神经网络或神经网是互连神经元的(节点)网络，其中每个神经元代表网络中的节点。神经元组可以分层布置，一个层的输出在多层感知器(MLP)布置中前馈到下一层。MLP可以理解为将一组输入数据映射到一组输出数据上的前馈神经网络模型。

图25说明了多层感知器(MLP)神经网络的示例。它的结构可能包括多个隐藏(例如，内部)层HL1到HLn，它们将输入层InL(接收一组输入(或矢量输入)in_1到in_3)映射到输出层OutL，输出层产生一组输出(或矢量输出)，例如out_1和out_2。每个层可以具有任何给定数目的节点，这些节点在本文中示例性地显示为每个层内的圆圈。在本例中，第一隐藏层HL1有两个节点，而隐藏层HL2、HL3和HLn各有三个节点。通常，MLP越深(例如，MLP中隐藏层的数目越多)，其学习能力就越大。输入层InL接收矢量输入(图示为由in_1、in_2和in_3组成的三维向量)，并且可以将接收到的矢量输入应用到隐藏层序列中的第一隐藏层HL1。输出层OutL从多层模型中的最后一个隐藏层(例如HLn)接收输出，处理其输入，并产生矢量输出结果(示例性地显示为由out_1和out_2组成的二维矢量)。

通常，每个神经元(或节点)产生单个输出，该输出被前馈到紧随其后的层中的神经元。但是隐藏层中的每个神经元都可以接收多个输入，这些输入要么来自输入层，要么来自紧邻的前一隐藏层中神经元的输出。通常，每个节点都可以对其输入应用函数来为该节点生成输出。隐藏层(例如学习层)中的节点可以将相同的函数应用于它们各自的输入以产生它们各自的输出。然而，一些节点，例如输入层InL中的节点仅接收一个输入并且可能是被动的，这意味着它们只是将其单个输入的值中继到其输出，例如，它们提供其输入的副本到它们的输出，如输入层InL的节点内的虚点箭头所示。

出于说明目的，图28示出由输入层InL'、隐藏层HL1'和输出层OutL'组成的简化神经网络。输入层InL'示出为具有两个输入节点i1和i2，它们分别接收输入Input_1和Input_2(例如，层InL'的输入节点接收二维输入矢量)。输入层InL'前馈到具有两个节点h1和h2的隐藏层HL1'，该隐藏层又前馈到两个节点o1和o2的输出层OutL'。神经元之间的互连或链路(图示为实线箭头)具有w1到w8的权重。通常，除了输入层，节点(神经元)可以接收其紧接前一层节点的输出作为输入。每个节点可以通过将其每个输入乘以每个输入的相应互连权重、将其输入的乘积相加、添加(或乘以)由可能与该特定节点相关联的另一个权重或偏差限定的常数(例如,节点权重w9,w10,w11,w12分别对应节点h1,h2,o1,o2)，然后对结果应用非线性函数或对数函数来计算其输出。非线性函数可以称为激活函数或传递函数。多个激活函数在本领域中是已知的，并且特定激活函数的选择对于本讨论不是关键的。然而，需要注意的是，ML模型的操作或神经网络的行为取决于权重值，可以学习这些权重值，以便神经网络为给定输入提供期望的输出。

在训练或学习阶段，神经网络学习(例如，经训练以确定)适当的权重值以实现给定输入的期望输出。在训练神经网络之前，可以为每个权重单独分配初始(例如，随机和可选的非零)值，例如随机数种子。分配初始权重的各种方法在本领域中是已知的。然后经训练(优化)权重，以便对于给定的训练矢量输入，神经网络产生接近期望(预定)训练矢量输出的输出。例如，可以通过称为反向传播的技术在数千个迭代循环中逐步调整权重。在反向传播的每个循环中，训练输入(例如，矢量输入或训练输入图像/样本)通过神经网络前馈以确定其实际输出(例如，矢量输出)。然后基于实际神经元输出和该神经元的目标训练输出(例如，对应于当前训练输入图像/样本的训练输出图像/样本)计算每个输出神经元或输出节点的误差。然后输出通过神经网络反向传播(从输出层返回到输入层的方向中)，基于每个权重对总体误差的影响程度更新权重，从而使神经网络的输出更接近期望的训练输出。然后重复这个循环，直到神经网络的实际输出在给定训练输入的期望训练输出的可接受误差范围内。可以理解，每个训练输入可能需要多次反向传播迭代才能达到期望的误差范围。通常，历元(epoch)是指所有训练样本的一次反向传播迭代(例如，一次前向传播和一次反向传播)，因此训练神经网络可能需要许多历元。通常来说，训练集越大，经训练的ML模型的性能就越好，因此可以使用各种数据增强方法来增加训练集的大小。例如，当训练集包括对应的训练输入图像和训练输出图像对时，可以将训练图像划分为多个对应的图像片段(或补丁)。来自训练输入图像和训练输出图像的对应补丁可以被配对以从一个输入/输出图像对限定多个训练补丁对，这扩大了训练集。然而，在大型训练集上进行训练对计算资源提出了很高的要求，例如存储器和数据处理资源。可以通过将大型训练集划分为多个小批量来减少计算需求，其中小批量大小限定了一次前向/反向传递中的训练样本数目。在这种情况下，一个历元可以包括多个小批量。另一问题是NN可能会过度拟合训练集，从而降低其从特定输入泛化到不同输入的能力。过度拟合的问题可以通过创建神经网络集合或通过在训练期间随机丢弃神经网络中的节点来减轻，这有效地从神经网络中去除丢弃的节点。本领域中已知各种丢弃(dropout)调节方法，如逆丢弃。

请注意，经训练的NN机器模型的操作不是操作/分析步骤的直接算法。事实上，当经训练的NN机器模型接收到输入时，该输入并没有进行常规意义上的分析。相反，无论输入的主题或性质如何(例如，限定实况图像/扫描的矢量或限定某些其他实体的矢量，例如人口统计描述或活动记录)，输入都将受到相同的经训练的神经网络的预限定架构构造(例如，相同的节点/层布置、经训练的权重和偏置值、预限定的卷积/反卷积操作、激活函数、池化操作等)，并且可能不清楚经训练的网络的架构构造如何产生它的输出。此外，经训练的权重和偏置的值不是确定性的，并且取决于许多因素，例如神经网络用于训练的时间量(例如，训练中的历元数目)、在训练开始之前权重的随机起始值、训练NN的机器的计算机架构、训练样本的选择、训练样本在多个小批量中的分布、激活函数的选择、修正权重的误差函数的选择，以及即使训练在一台机器上中断(例如，具有第一计算机架构)并在另一台机器上完成(例如，具有不同的计算机架构)。关键是，经训练的ML模型达到某些输出的原因尚不清楚，目前正在进行大量研究，试图确定ML模型的输出所基于的因素。因此，神经网络对实时数据的处理不能简化为简单的步骤算法。相反，它的操作取决于它的训练架构、训练样本集、训练序列以及ML模型训练中的各种情况。

总之，NN机器学习模型的构建可以包括学习(或训练)阶段和分类(或操作)阶段。在学习阶段，神经网络可以针对特定目的进行训练，并且可以提供一组训练示例，包括训练(样本)输入和训练(样本)输出，并且可选地包括一组验证示例来测试训练的进展。在这个学习过程中，与神经网络中的节点和节点互连相关的各种权重被增量调整，以减少神经网络的实际输出和期望的训练输出之间的误差。以这种方式，可以使多层前馈神经网络(如上面讨论的)能够将任何可测量函数逼近到任何期望的准确度。学习阶段的结果是已经学习(例如，经训练)的(神经网络)机器学习(ML)模型。在操作阶段，可以将一组测试输入(或实时输入)提交给学习(经训练)的ML模型，该模型可以应用它所学到的知识来基于测试输入产生输出预测。

与图27和图28的常规神经网络一样，卷积神经网络(CNN)也由具有可学习权重和偏置的神经元组成。每个神经元接收输入，执行操作(例如，点积)，并且可选地后续进行非线性。然而，CNN可能会在一端(例如，输入端)接收原始图像像素，并在另一端(例如，输出端)提供分类(或类别)分数。由于CNN期望图像作为输入，因此它们针对体积(例如，图像的像素高度和宽度，以及图像的深度，例如，颜色深度，例如由三种颜色红色、绿色和蓝色限定的RGB深度)进行了优化。例如，CNN的层可以针对3维布置的神经元进行优化。CNN层中的神经元也可以连接到前一层的小区域，而不是连接到全连接NN中的所有神经元。CNN的最终输出层可以将完整图像缩减为沿深度维度布置的单个向量(分类)。

图29提供了示例卷积神经网络架构。卷积神经网络可以限定为两个以上层的序列(例如，层1到层N)，其中层可以包括(图像)卷积步骤、(结果的)加权和步骤，以及非线性函数步骤。可以通过应用滤波器(或核(kernel))对其输入数据执行卷积，例如在输入数据的移动窗口上，生成特征图。每个层和一个层的组件可以具有不同的预限定滤波器(来自滤波器组)、权重(或加权参数)和/或函数参数。在本示例中，输入数据是具有给定像素高度和宽度的图像，其可以是图像的原始像素值。在本示例中，输入图像被示为具有三个颜色通道RGB(红色、绿色和蓝色)的深度。可选地，输入图像可以进行各种预处理，并且可以输入预处理结果来代替或补充原始输入图像。图像预处理的一些示例可能包括：视网膜血管图分割、颜色空间转换、自适应直方图均衡化、连接分量生成等。在层内，可以在给定权重和在输入体积中连接权重的小区域之间计算点积。配置CNN的许多方式在本领域中是已知的，但是作为示例，层可以配置为应用元素激活函数，例如在零处的最大(0，x)阈值。可以执行池化功能(例如，沿x-y方向)以对体积进行下采样。全连接层可以用于确定分类输出并产生一维输出向量，该矢量已被发现对于图像识别和分类有用。然而，对于图像分割，CNN需要对每个像素进行分类。由于每个CNN层都倾向于降低输入图像的分辨率，因此需要另一阶段将图像上采样回其原始分辨率。这可以通过应用转置卷积(或反卷积)阶段TC来实现，该阶段通常不使用任何预限定的插值方法，而是具有可学习的参数。

卷积神经网络已成功应用于许多计算机视觉问题。如上所述，训练CNN通常需要大量的训练数据集。U-Net架构基于CNN，通常可以在比常规CNN更小的训练数据集上被训练。

图30说明了示例U-Net架构。本示例性U-Net包括接收任何给定大小的输入U-in(例如，输入图像或图像补丁)的输入模块(或输入层或阶段)。出于说明目的，任何阶段或层的图像大小都在表示图像的方框中表示，例如，输入模块包含数字“128×128”以表示输入图像U-in由128×128组成像素。输入图像可以是眼底图像、OCT/OCTA正面、B扫描图像等。然而，应当理解，输入可以是任何大小或尺寸。例如，输入图像可以是RGB彩色图像、单色图像、体积图像等。输入图像经过一系列处理层，每个处理层都以示例性大小进行说明，但这些大小仅用于说明目的，将取决于，例如，图像的大小、卷积滤波器和/或池化阶段。本架构包括收缩路径(此处图示地由四个编码模块组成)，然后是扩展路径(此处图示地由四个解码模块组成)，以及相应模块/阶段之间的复制和裁剪链路(例如，CC1到CC4)，即复制收缩路径中一个编码模块的输出并将该输出级联到扩展路径中的对应解码模块的上转换输入(例如，附加到它的背面)。这导致了典型的U形特征，该架构的名字就是由此而来。可选地，例如出于计算考虑，“瓶颈”模块/级(BN)可以定位在收缩路径和扩展路径之间。瓶颈BN可由两个卷积层组成(具有批量归一化和可选丢弃)。

收缩路径类似于编码器，通常通过使用特征图来捕获上下文(或特征)信息。在本示例中，收缩路径中的每个编码模块可以包括两个以上卷积层，由星号符号“*”说明性地指示，并且其后面可以是最大池化层(例如，下采样层)。例如，输入图像U-in被说明性地显示为经历两个卷积层，每个卷积层具有32个特征图。可以理解，每个卷积核都会产生一个特征图(例如，具有给定核的卷积操作的输出是通常称为“特征图”的图像)。例如，输入U-in经历第一卷积，该卷积应用32个卷积核(未显示)以产生由32个相应特征图组成的输出。然而，正如本领域已知的，由卷积操作产生的特征图的数目可以被调整(向上或向下)。例如，可以通过平均特征图组、丢弃一些特征图或其他已知的特征图减少方法来减少特征图的数目。在本示例中，第一卷积之后是第二卷积，第二卷积的输出限制为32个特征图。设想特征图的另一种方法可能是将卷积层的输出视为3D图像，3D图像的2D维度由列出的X-Y平面像素维度(例如，128×128像素)给出，其深度由特征图的数量给出(例如，32个平面图像深度)。按照这个类比，第二卷积的输出(例如，收缩路径中的第一编码模块的输出)可以描述为128×128×32的图像。然后第二卷积的输出进行池化操作，这会减少每个特征图的2D维度(例如，X和Y维度可以分别减少一半)。池化操作可以体现在下采样操作中，如向下箭头所示。几种池化方法，如最大池化，在本领域中是已知的，并且具体的池化方法对本发明来说不是关键的。每次池化时，特征图的数量可能会翻倍，从第一编码模块(或块)中的32个特征图开始，第二编码模块中的64个，依此类推。因此，收缩路径形成了由多个编码模块(或阶段或块)组成的卷积网络。作为典型的卷积网络，每个编码模块可以提供至少一个卷积阶段，然后是激活函数(例如，校正线性单元(ReLU)或sigmoid层)，未示出，以及最大池操作。通常，激活函数将非线性引入层(例如，帮助避免过拟合问题)，接收层的结果，并确定是否“激活”输出(例如，确定给定节点的值是否满足将输出转发到下一层/节点的预限定标准)。综上所述，收缩路径通常会减少空间信息，同时增加特征信息。

扩展路径类似于解码器，除其他外，可以为收缩路径的结果提供定位和空间信息，尽管在收缩阶段执行了下采样和任何最大池化。扩展路径包括多个解码模块，其中每个解码模块将其当前的上转换输入与相应编码模块的输出级联。以这种方式，特征和空间信息通过一系列上卷积(例如，上采样或转置卷积或解卷积)和与来自收缩路径的高分辨率特征的级联(例如，经由CC1到CC4)在扩展路径中组合。因此，解卷积层的输出与来自收缩路径的相应(可选裁剪)特征图相级联，然后是两个卷积层和激活函数(可选批量归一化)。

扩展路径中最后扩展模块的输出可以馈送到另一处理/训练块或层，如分类器块，它可以与U-Net架构一起被训练。可替代地或另外，最后一个上采样块的输出(在扩展路径的末端)可以在产生其输出U-out之前提交给另一卷积(例如，输出卷积)操作，如虚点箭头所示。可以选择输出卷积的核大小以将最后一个上采样块的维度减小到期望大小。例如，神经网络可能在到达输出卷积之前每个像素具有多个特征，这可以提供1×1卷积操作以将这些多个特征在逐像素级别上组合成每个像素的单个输出值。

计算设备/系统

图31说明了示例计算机系统(或计算设备或计算机设备)。在一些实施例中，一个或多个计算机系统可以提供本文描述或图示的功能和/或执行本文描述或图示的一种或多种方法的一个或多个步骤。计算机系统可以采用任何合适的物理形式。例如，计算机系统可以是嵌入式计算机系统、片上系统(SOC)、单板计算机系统(SBC)(如，计算机模块(COM)或系统上模块(SOM))、台式计算机系统、膝上型计算机或笔记本计算机系统、计算机系统网格、移动电话、个人数字助理(PDA)、服务器、平板计算机系统、增强/虚拟现实设备，或其中两种以上的组合。在适当的情况下，计算机系统可以驻留在云中，该云可以包括一个或多个网络中的一个或多个云组件。

在一些实施例中，计算机系统可以包括处理器Cpnt1、存储器Cpnt2、储存装置Cpnt3、输入/输出(I/O)接口Cpnt4、通信接口Cpnt5和总线Cpnt6。计算机系统还可以可选地包括显示器Cpnt7，如计算机监视器或屏幕。

处理器Cpnt1包括用于执行指令的硬件，如构成计算机程序的那些硬件。例如，处理器Cpnt1可以是中央处理单元(CPU)或通用图形处理单元(GPGPU)。处理器Cpnt1可以从内部寄存器、内部高速缓存、存储器Cpnt2或储存装置Cpnt3检索(或获取)指令，解码并执行指令，并将一个或多个结果写入内部寄存器、内部高速缓存、存储器Cpnt2、或储存装置Cpnt3。在特定实施例中，处理器Cpnt1可以包括用于数据、指令或地址的一个或多个内部高速缓存。处理器Cpnt1可以包括一个或多个指令高速缓存、一个或多个数据高速缓存，例如用于保存数据表。指令高速缓存中的指令可以是存储器Cpnt2或储存装置Cpnt3中指令的副本，并且指令高速缓存可以加速处理器Cpnt1对这些指令的检索。处理器Cpnt1可以包括任何合适数目的内部寄存器，并且可以包括一个或多个算术逻辑单元(ALU)。处理器Cpnt1可以是多核处理器；或包括一个或多个处理器Cpnt1。尽管本公开描述和说明了特定处理器，但本公开考虑了任何合适的处理器。

存储器Cpnt2可以包括用于存储指令的主存储器，以供处理器Cpnt1在处理期间执行或保存临时数据。例如，计算机系统可以将指令或数据(例如，数据表)从储存装置Cpnt3或从另一源(例如另一计算机系统)加载到存储器Cpnt2。处理器Cpnt1可以将指令和数据从存储器Cpnt2加载到一个或多个内部寄存器或内部高速缓存中。为了执行指令，处理器Cpnt1可以从内部寄存器或内部高速缓存中检索和解码指令。在指令执行期间或之后，处理器Cpnt1可以将一个或多个结果(可以是中间或最终结果)写入内部寄存器、内部高速缓存、存储器Cpnt2或储存装置Cpnt3。总线Cpnt6可以包括一个或多个存储器总线(其可以各自包括地址总线和数据总线)并且可以将处理器Cpnt1耦接到存储器Cpnt2和/或储存装置Cpnt3。可选地，一个或多个存储器管理单元(MMU)促进处理器Cpnt1和存储器Cpnt2之间的数据传输。存储器Cpnt2(可以是快速易失性存储器)可以包括随机存取存储器(RAM)，如动态RAM(DRAM)或静态RAM(SRAM)。储存装置Cpnt3可能包括用于数据或指令的长期或大容量存储。储存装置Cpnt3可以在计算机系统的内部或外部，并且包括磁盘驱动器(例如，硬盘驱动器、HDD或固态驱动器、SSD)、闪存、ROM、EPROM、光盘、磁光盘、磁带、通用串行总线(USB)可访问驱动器和其他类型的非易失性存储器中的一项或多项。

I/O接口Cpnt4可以是软件、硬件或两者的组合，并且包括用于与I/O设备通信的一个或多个接口(例如，串行或并行通信端口)，这可以实现与人(例如，用户)。例如，I/O设备可以包括键盘、小键盘、麦克风、监视器、鼠标、打印机、扫描仪、扬声器、相机、触控笔、平板电脑、触摸屏、轨迹球、摄像相机、其他合适的I/O设备或其中两种以上的组合。

通信接口Cpnt5可以提供用于与其他系统或网络通信的网络接口。通信接口Cpnt5可以包括蓝牙接口或其他类型的基于分组的通信。例如，通信接口Cpnt5可以包括网络接口控制器(NIC)和/或无线NIC或用于与无线网络通信的无线适配器。通信接口Cpnt5可以提供与WI-FI网络、自组织网络、个人域网(PAN)、无线PAN(例如，蓝牙WPAN)、局域网(LAN)、广域网(WAN)、城域网(MAN)、蜂窝电话网络(例如，全球移动通信系统(GSM)网络)、互联网，或其中两种以上的组合的通信。

总线Cpnt6可以提供计算系统的上述组件之间的通信链路。例如，总线Cpnt6可以包括加速图形端口(AGP)或其他图形总线、增强型工业标准体系结构(EISA)总线、前端总线(FSB)、超传输(HT)互连、工业标准体系结构(ISA)总线、InfiniBand总线、低引脚数(LPC)总线、存储器总线、微通道架构(MCA)总线、外围组件互连(PCI)总线、PCI-快捷(PCIe)总线、串行高级技术附件(SATA)总线、视频电子标准协会本地(VLB)总线或其他合适的总线或其中两种以上的组合。

尽管本公开描述和说明了具有特定布置中的特定数目的特定组件的特定计算机系统，但是本公开设想了具有任意合适布置中的任何合适数目的任何合适组件的任何合适计算机系统。

在此，一种或多种计算机可读非瞬态存储介质可以包括一个或多个基于半导体的或其他集成电路(IC)(例如，现场可编程门阵列(FPGA)或专用IC(ASIC))、硬盘驱动器(HDD)、混合硬盘驱动器(HHD)、光盘、光盘驱动器(ODD)、磁光盘、磁光驱动器、软盘、软盘驱动器(FDD)、磁带、固态驱动器(SSD)、RAM驱动器、安全数字卡或驱动器、任何其他合适的计算机可读非瞬态存储介质，或其中两种以上的任何合适组合，在适当的情况下。在适当的情况下，计算机可读非暂时性存储介质可以是易失性、非易失性或易失性和非易失性的组合。

尽管已经结合几个具体实施例描述了本发明，但是对于本领域技术人员显而易见的是，根据前述描述，许多进一步的替代、修改和变化将是显而易见的。因此，在此描述的本发明意在包括可能落入所附权利要求的精神和范围内的所有这样的替代、修改、应用和变化。

Claims (25)

1.一种眼睛追踪方法，包括：

捕获眼睛的多个图像，所述多个图像包括参考图像和一个或多个实况图像；

在所述参考图像中限定参考锚点；

在所述参考图像中限定一个或多个辅助点；

在选择的实况图像中：

a)识别与所述参考锚点匹配的初始匹配点；

b)基于选择的辅助点相对于所述参考锚点的位置，在区域内搜索所述选择的辅助点的匹配；

基于它们的匹配点校正所述参考图像和所述选择的实况图像之间的追踪误差。

2.根据权利要求1所述的方法，其中：

在所述参考图像中限定多个所述辅助点；

对选择的辅助点的匹配进行搜索是在所述选择的实况图像中对辅助点的匹配的进行搜索的一部分；

响应于在所述选择的实况图像中匹配的所述辅助点的数目不大于预限定最小值，不针对追踪误差校正所述选择的实况图像。

3.根据权利要求2所述的方法，其中，所述预限定最小值大于多个所述辅助点的一半。

4.根据权利要求1至3中任一项所述的方法，其中，所述参考图像和所述实况图像是红外图像。

5.根据权利要求1至4中任一项所述的方法，其中，捕获的所述多个图像是所述眼睛的视网膜的图像。

6.根据权利要求1至5中任一项所述的方法，进一步包括：

识别所述参考图像中的显著物理特征；

其中，所述参考锚点是基于所述显著物理特征限定的。

7.根据权利要求6所述的方法，其中：

所述参考锚点是参考锚模板的一部分，所述模板由多个标识符组成，所述多个标识符共同限定了所述显著物理特征；以及

识别所述初始匹配点是识别与所述参考锚模板匹配的初始匹配模板的一部分。

8.根据权利要求7所述的方法，其中：

所述一个或多个辅助点是相应的一个或多个辅助模板的一部分，所述模板由多个标识符组成，所述多个标识符共同限定所述参考图像中的相应的辅助物理特征；以及

对所述选择的辅助点的匹配进行搜索是基于选择的辅助模板相对于所述参考锚模板的偏移位置在区域内搜索对应于所述选择的辅助模板的匹配的一部分。

9.根据权利要求8所述的方法，其中，所述参考图像和所述一个或多个实况图像中的所述显著物理特征通过使用神经网络来识别。

10.根据权利要求9所述的方法，其中，所述显著物理特征是预限定的视网膜结构。

11.根据权利要求10所述的方法，其中，所述显著物理特征是视盘(或视神经乳头，ONH)、病变或特定血管图案。

12.根据权利要求6所述的方法，其中，所述显著物理特征是视神经乳头、瞳孔、虹膜边界或所述眼睛的中心。

13.根据权利要求1至12中任一项所述的方法，进一步包括：

识别所述参考图像中的多个候选锚点；

在所述选择的实况图像中对所述多个候选锚点的匹配进行搜索；

将在所述选择的实况图像中最佳匹配的候选锚点指定为所述参考锚点。

14.根据权利要求13所述的方法，其中，所述最佳匹配的候选锚点是所述选择的实况图像中匹配具有最高置信度的候选。

15.根据权利要求13所述的方法，其中，所述最佳匹配的候选锚点是最快找到匹配的候选。

16.根据权利要求13至15中任一项所述的方法，进一步包括：

在所述多个实况图像中对所述多个候选锚点的匹配进行搜索；

将在多个选择的实况图像中最佳匹配的候选锚点指定为所述参考锚点。

17.根据权利要求16所述的方法，其中，所述最佳匹配的候选锚点是在连续选择的实况图像的系列中最常找到匹配的候选锚点。

18.根据权利要求17所述的方法，其中，所述系列是预限定数量的实况图像。

19.根据权利要求13至18中任一项所述的方法，其中，所述候选锚点基于所述候选锚点在所述参考图像中的显著度来识别。

20.根据权利要求13至19中任一项所述的方法，其中，未被指定为所述参考锚点的候选锚点被指定为所述辅助点。

21.根据权利要求1所述的方法，进一步包括：

在所述参考图像中限定多个所述参考锚点；

在所述选择的实况图像中：

a)识别与多个所述参考锚点匹配的多个初始匹配点，并基于识别的多个参考锚点将所述实况图像变换为所述参考图像作为粗配准；

b)基于选择的辅助点相对于多个所述参考锚点的位置，在区域内对所述选择的辅助点的匹配进行搜索。

22.根据权利要求1所述的方法，进一步包括：

使用OCT系统限定所述眼睛上的OCT采集视场(FOV)；

其中：

所述参考锚点被限定在能在所述参考图像内移动的追踪FOV内；

所述追踪FOV围绕所述参考图像移动到确定为追踪图像的最佳位置，同时还至少部分地与所述OCT FOV重叠。

23.根据权利要求22所述的方法，其中，所述最佳位置基于追踪算法输出，所述追踪算法输出包括追踪误差、界标分布和界标数目中的一项或多项。

24.一种眼睛追踪方法，包括：

捕获眼睛的视网膜的多个图像，所述多个图像包括参考图像和一个或多个实况图像；

识别所述参考图像中的显著物理特征；

基于所述显著物理特征限定参考锚模板；

基于所述参考图像中的其他物理特征限定一个或多个辅助模板；

存储所述辅助模板相对于所述参考锚模板的位置；

在每个实况图像中：

a)识别与所述参考锚模板匹配的初始匹配区域，所述初始匹配区域限定对应的实况锚模板，所述实况锚模板的位置与所述参考锚模板的位置匹配；

b)对所述一个或多个辅助模板的匹配进行搜索，每个找到的匹配限定所述实况图像中的另一相对应的模板，其中，对每个辅助模板的所述搜索限于绑定区域，所述绑定区域相对于所述实况锚模板的位置是基于所述辅助模板相对于所述参考锚模板的存储位置；以及

基于所述参考图像和选择的实况图像的两个以上相对应的模板，校正在所述参考图像和所述选择的实况图像之间的追踪误差。

25.根据权利要求24所述的方法，其中，在所述参考图像和每个实况图像中的所述显著物理特征通过使用神经网络来识别。

Images