CN116745807A - 实时检测眼科图像中的伪影 - Google Patents

Abstract

本披露内容的某些方面提供了一种用于在眼科手术期间实时处理来自术中诊断设备的图像数据的系统。该系统包括捕获具有第一尺寸的灰度图像的图像捕获元件和将该灰度图像从该第一尺寸缩放到第二尺寸的图像处理元件。该系统还包括两阶段分类模型，该两阶段分类模型包括：特征提取阶段，该特征提取阶段用于对经缩放的灰度图像进行处理并基于该经缩放的灰度图像来生成特征向量；以及分类阶段，该分类阶段用于对该特征向量进行处理并生成输出向量。该图像处理元件进一步被配置成基于该输出向量来确定所获得的灰度图像的图像质量以显示给操作者，并且所获得的灰度图像的图像质量指示所获得的灰度图像包括伪影的概率。

Description

实时检测眼科图像中的伪影

相关申请的交叉引用

本申请要求于2021年1月8日提交的名称为“Real-Time Detection ofMultilabel Image Artifacts in an Ophthalmic Instrument Using a ConvolutionalNeural Network/Deep Neural Network Model[使用卷积神经网络/深度神经网络模型实时检测眼科器械中的多标记图像伪影]”的美国临时申请号63/135,125以及于2021年4月21日提交的名称为“Real-Time Detection of Artifacts in Ophthalmic Images[实时检测眼科图像中的伪影]”的美国申请号17/236,908的权益和优先权，这些申请的全部内容通过引用并入本文。

背景技术

本披露内容的各方面涉及用于检测在如白内障手术等外科手术期间使用的图像数据中的伪影的系统和方法，从而改善患者的手术结局。

白内障手术通常涉及用人工晶状体(IOL)替换患者眼睛的天然晶状体。在白内障手术期间，医疗从业者可以利用各种基于图像的测量系统来实时分析患者的眼睛并协助进行白内障手术——如以确保用于白内障干预的IOL的正确选择、放置和取向。然而，患者眼睛的成像数据中存在的伪影可能会导致医疗从业者不知道的或未注意到的测量误差，并且可能因此降低这种手术的疗效并导致不良的患者结局。通常，这样的结局需要附加手术干预。

因此，需要用于在如白内障手术等手术期间执行图像数据处理和分析的改进技术，从而使患者的手术结局得到改善。

发明内容

某些实施例提供了一种用于在眼科手术期间实时处理来自术中诊断设备的图像数据的系统。该系统包括图像捕获元件，该图像捕获元件被配置成从术中诊断设备捕获患者眼睛的灰度图像，该灰度图像具有第一尺寸。该系统进一步包括图像处理元件，该图像处理元件被配置成从图像捕获元件获得灰度图像，将灰度图像从第一尺寸缩放到第二尺寸，并且对经缩放的灰度图像进行预处理以为分类做准备。该系统还包括两阶段分类模型，该两阶段分类模型包括特征提取阶段和分类阶段，该特征提取阶段被配置成对经缩放的灰度图像进行处理并基于经缩放的灰度图像来生成特征向量，该分类阶段被配置成对该特征向量进行处理并基于该特征向量生成输出向量。该图像处理元件进一步被配置成基于该输出向量来确定所获得的灰度图像的图像质量以显示给操作者，并且所获得的灰度图像的图像质量指示所获得的灰度图像包括伪影的概率。

另一实施例提供了一种在眼科手术期间实时处理从术中诊断设备获得的图像数据的方法。该方法包括：从术中诊断设备捕获患者眼睛的灰度图像，该灰度图像具有第一尺寸；从图像捕获元件获得该灰度图像；以及对该灰度图像进行预处理以为由两阶段机器学习模型进行的分类做准备。该方法进一步包括：利用两阶段机器学习模型的特征提取阶段基于经预处理的灰度图像来生成特征向量；以及利用两阶段机器学习模型的分类阶段基于特征向量来生成输出向量。该方法还包括基于该输出向量来确定所获得的灰度图像的图像质量以显示给操作者。所获得的灰度图像的图像质量指示所获得的灰度图像包括干扰由术中诊断设备进行的测量的伪影的概率。

另一实施例提供了一种训练两阶段机器学习模型的方法，该两阶段机器学习模型识别在眼科手术期间从术中像差仪获得的图像中的伪影。该方法包括：获得图像；利用两阶段机器学习模型的特征提取阶段为每个图像生成特征向量；基于堆叠所生成的特征向量来生成特征矩阵；以及基于该特征矩阵来训练分类阶段。经训练的分类阶段为经处理的图像生成指示该图像包括伪影的概率的输出。

其他实施例提供了以下各项：被配置成执行上述方法以及本文描述的方法的处理系统；包括指令的非暂态计算机可读介质，这些指令当由处理系统的一个或多个处理器执行时使该处理系统执行上述方法以及本文描述的方法；体现在计算机可读存储介质上的计算机程序产品，该计算机程序产品包括用于执行上述方法以及本文进一步描述的方法的代码；以及处理系统，该处理系统包括用于执行上述方法以及本文进一步描述的方法的装置。

以下描述和相关附图详细阐述了一个或多个实施例的某些说明性特征。

附图说明

附图描绘了一个或多个实施例的某些方面，因此不应视为限制本披露内容的范围。

图1描绘了根据某些实施例的用于在手术、诊断或其他程序期间捕获患者眼睛的数字图像的成像系统的框图。

图2A描绘了根据某些实施例的用于利用由图1的系统实施的机器学习模型来处理单个图像的数据流。

图2B描绘了根据某些实施例的利用不同的机器学习模型来处理多个图像的一组数据流。

图3A描绘了根据某些实施例的作为由图1的系统实施的机器学习模型的特征提取阶段的卷积神经网络(CNN)的架构。

图3B描绘了根据某些实施例的针对图2A和图2B的机器学习模型的第一阶段(即，特征提取阶段)应用的CNN的架构的代表性视图。

图3C描绘了根据某些实施例的图1的系统的机器学习模型的第二阶段(即，分类阶段)的架构，该第二阶段基于通过第一阶段为捕获的数字图像的各个图像生成的特征向量来生成输出向量。

图4A至图4G描绘了根据某些实施例的可能存在于图像数据集中和/或由图1的系统的一个或多个相机捕获的图像。

图5描绘了根据某些实施例的用于使用机器学习模型来识别包括不利于图像处理和分析的一个或多个伪影的数字图像的方法。

图6描绘了根据某些实施例的用于训练机器学习模型以识别包括不利于图像处理和分析的一个或多个伪影的数字图像的方法。

图7是根据某些实施例的执行或体现本文描述的各方面的处理系统的实施例的图。

图8A至图8O是根据某些实施例的用于经由图形用户界面向用户提供患者眼睛的数字图像以及任何检测到的伪影的细节的显示概念。

为了便于理解，在可能的情况下，使用相同的附图标记来表示附图中共有的相同元件。设想到了，一个实施例的元件和特征可以有益地结合在其他实施例中，而无需进一步叙述。

具体实施方式

本披露内容的各方面提供了用于在医疗程序期间执行图像数据处理和分析的装置、方法、处理系统和计算机可读介质。在本文描述的各种示例中，医疗程序涉及人眼(如白内障手术)，并且图像可以由诊断设备(如术中像差仪)提供。

术中像差测量通常是允许外科医生在手术室中进行屈光测量以帮助确定人工晶状体(IOL)焦度选择和放置的过程。在一些情况下，术中像差测量系统可以测量“波前”，其描述了光波通过患者眼睛的传播。特别地，术中像差仪可以被配置成识别由患者眼睛的不规则性引起的光波像差(畸变)，该不规则性导致光波以不规则的方式会聚到视网膜上。白内障就是这样一种导致眼睛运作欠佳的不规则性。用例如IOL替代患者的天然晶状体需要极高的精度以产生最佳的患者结局。虽然如术中像差仪等工具原则上对此非常有效，但在实践中，各种常见情况会降低其有效性并危及手术干预。例如，由像差仪产生和/或处理的图像数据中的任何视觉伪影(如照明闪烁、运动伪影、眼睛流体中的漂浮物或气泡、眼中水分过多或干燥、光学设备上的碎片等)都可能导致屈光测量误差，这进而导致选择和放置误差以及不良的患者结局。此外，这样的视觉伪影可能很容易被忙于同时管理复杂程序、复杂工具和患者的从业者忽略。

为了解决传统系统的缺点并实现更可靠的屈光测量、更精确的手术干预和更好的患者结局，本文描述的实施例实施了分析图像数据并识别可能降低屈光测量质量的伪影的机器学习模型(人工智能)。

除了识别这样的伪影，本文描述的实施例还可以通过例如过滤包括所识别的伪影的图像数据(例如，图像数据帧)来主动防止屈光测量误差。通过过滤这样的数据，可以有益地防止测量设备做出不准确的测量和基于那些测量的不准确的确定。

进一步地，本文描述的实施例可以基于机器学习模型的实时分析主动地向医疗从业者指示例如由像差仪处理的实时图像数据中的伪影的概率。在各种实施例中，本文描述的系统可以被配置成生成图形用户界面元素以指示检测到的伪影、基于检测到的伪影的测量误差的可能性等。以这种方式，本文描述的实施例减轻了从业者的这项任务负担，并使得从业者能够基于更准确和完整的信息执行更精确的程序，从而产生更好的患者结局。基于这样的图形用户界面元素和类似的指示，从业者可以调整系统(例如，调整像差仪的相机角度或患者眼睛的位置，清洁成像传感器或部件，重新定位在程序期间使用的工具，等等)，以便提高图像数据的质量，从而提高屈光测量的质量和准确度。

值得注意的是，在许多情况下，本文描述的系统和方法可以识别不容易(或根本不能)被使用这些系统的医疗从业者识别的伪影。例如，微小的、分散的、间歇的、短暂的或类似的伪影可能足以引起屈光测量误差，但即使是训练有素的人类从业者也可能不会注意到这些伪影。因此，本文描述的系统和方法提供了对无法识别、指示和减轻这样的伪影存在的现有技术的技术改进。

本文描述的实施例可以利用多阶段机器学习模型来识别例如术中像差仪所使用的图像数据中的伪影。在一个示例中，两阶段机器学习模型包括被配置成从图像数据中提取特征的第一阶段或前端阶段。例如，这些特征可以以特征向量的形式创建。两阶段机器学习模型进一步包括被配置成执行分类的第二阶段或后端阶段。在一些情况下，分类阶段可以被配置成基于图像的特征向量来生成指示由第一阶段处理的图像包括任何(多个)伪影的一个或多个概率的输出向量。结合起来，特征提取(即，第一)阶段和分类(即，第二)阶段可以检测经处理的图像数据中的一个或多个伪影。

有益地，多阶段模型架构(例如，两阶段架构)允许对每个阶段单独进行模块化训练和实施。以这种方式，可以实施不同的(和改进的)分类阶段，而不需要重新训练或重新设计特征提取阶段。这种模块化进而改善(减少)了训练时间和资源使用，使得整个模型可以容易地和频繁地发展，这进而改善了本文描述的术中像差测量系统，并最终改善了手术质量和患者结局。

尽管本文中的图像分析和分类系统、方法和技术是关于用术中像差仪在术中执行的一个或多个程序来描述的，但是在某些实施例中，本文描述的图像分析和分类系统、方法和技术也可以在术前和/或术后使用。例如，本文描述的图像分析和分类系统、方法和技术可以在术前程序期间使用，以获得在为外科手术做准备时用于准备手术计划的测量结果和图像。类似地，本文描述的图像分析和分类系统、方法和技术可以在术后使用，例如，以检查和/或验证手术的结果。此外，本文描述的图像分析和分类系统、方法和技术可以在术前、术中、和/或术后与其他光学成像设备(例如，除了像差仪之外的设备)一起使用。

示例术中成像系统

图1描绘了用于在手术、诊断或其他程序期间捕获患者眼睛110的数字图像的示例成像系统(本文中称为系统或成像系统)100的框图。系统100包括显微镜102、像差仪104、控制器106、用户界面108和患者眼睛的表示。

显微镜102可以包括一个或多个光学特征、查看特征、照明特征和/或控制特征。光学特征可以包括一个或多个透镜，用于在本文描述的任何程序期间聚焦由通过显微镜102查看的目标物体(如患者的眼睛)反射的光。因此，显微镜102使得操作者(例如，医疗从业者，如外科医生、护士、助手、专家等)能够以比用肉眼查看所允许的更大的放大率或利用添加的特征(如识别或标记特征等)来查看患者的眼睛(或其一部分)。可以包括目镜或计算机化接口中的一者或多者的查看特征可以包括至少一个光学通道，该至少一个光学通道具有设置在其中的至少一个光学透镜。查看特征可以是单眼或双眼的，并且使得操作者能够以增加的放大率查看目标物体。光学特征和/或查看特征的一个或多个方面可以根据操作者的需要或以自动方式在光学特征的聚焦、查看特征、患者眼睛的定位等方面进行调整。在一些实施例中，光学特征和查看特征包括显微镜102的光路。

照明特征可以包括光源，该光源被配置成提供可见光和/或将可见光投射到显微镜102的光路中。照明特征可以根据操作者的需要或以自动方式在定位、聚焦或以其他方式引导可见光方面进行调整。

控制特征可以使得操作者能够手动启动和/或调整显微镜102的其他特征。例如，控制特征可以包括使得能够调整照明特征的部件(例如，用于打开/关闭照明特征和/或调整光照水平、焦点等的控件)。类似地，控制特征可以包括使得能够调整光学特征的部件(例如，使得能够自动或手动聚焦光学特征或移动光学特征以查看不同目标或目标的部分或改变目标的放大率)。例如，控制特征可以包括旋钮和使得能够调整光学特征的类似部件(例如，用于在水平和/或竖直方向上移动光学部件、用于增加和/或减小放大率等的控件)。进一步地，控制特征可以包括使得能够调整查看特征的部件，如聚焦元件、过滤元件等。在一些实施例中，用于查看特征的控制特征可手动和/或自动调整。

在一些实施例中，显微镜102与一个或多个诊断设备结合使用或被一个或多个诊断设备替代。操作者可以在任何医疗或诊断程序期间使用显微镜102来放大患者的眼睛(或其一部分)，以便在该程序期间具有更好的可视性。另外，操作者可以使用显微镜102(或其他诊断设备)来获得患者眼睛110的一个或多个单维和/或多维图像和/或其他测量结果。显微镜102可以包括三维立体数字显微镜(例如，3D可视化系统(瑞士爱尔康公司(Alcon Inc.,Switzerland)))。一个或多个诊断设备可以是用于获得和处理眼科解剖学结构的单维和/或多维的基于相机的(或类似的)图像和/或测量结果的多个设备中的任何设备，如光学相干断层扫描(OCT)设备、旋转相机(例如，Scheimpflug相机)、磁共振成像(MRI)设备、角膜曲率计、检眼计、光学生物计等。

像差仪104可以包括产生光束的光源，该光束经由组合镜或分束器引导到患者眼睛110中。引导到患者眼睛110中的光束从患者眼睛110并且经由组合镜或分束器反射回像差仪104中。反射的光束在被衍射之前被像差仪104进一步反射和折射，并形成由像差仪104捕获的图像。例如，像差仪104可以包括至少一个相机、光检测器和/或被配置成捕获、记录和/或以其他方式检测患者眼睛的图像并将其转换成计算机可读格式的类似传感器。在一些方面，该至少一个相机不是像差仪104的一部分，而是基于从像差仪104接收到的信息生成患者眼睛的图像的独立部件，如下文进一步描述的。

像差仪104(或其他波前传感器或诊断设备)可以位于显微镜102与患者眼睛110之间。例如，像差仪104可以包括用于反射光的光学设备，如组合镜或分束器。光学设备可以选择性地将电磁光谱的部分(例如，电磁光谱的红外光部分)反射到像差仪104中以进行处理、分析和/或测量，同时允许电磁光谱的其他部分(例如，电磁光谱的可见光部分)穿过光学设备并进入到显微镜102中以供操作者查看。可替代地，尽管图1中未示出，系统100可以包括位于像差仪104和显微镜102中的每一个与患者眼睛110之间的光学设备，使得光被引导到像差仪104或显微镜102中的任一者中，而不会穿过一个进入到另一个中。

在一些实施例中，系统100可以包括一个或多个相机和/或成像系统(图1中未示出)，其被配置成捕获患者眼睛110的不同视图和/或视角的图像。在一些实例中，一个或多个相机系统各自位于相对于患者眼睛110、显微镜102和/或像差仪104的不同位置。在一些实例中，不同的相机系统可以使用一个或多个不同的光源(例如，发光二极管(LED)、激光器等)，这些光源在不同的波长下(例如，在可见光谱、红外光谱等中)工作。

在一些实例中，一个或多个相机可以向控制器106提供多种类型或视图的图像。每种类型的图像或图像视图可以捕获患者眼睛110的不同信息和/或方面。例如，多个图像视图或类型可以包括由具有(电磁光谱的)可见光谱中的波长的光照射的宽视场视图、由840纳米(nm)波长的LED光照射的焦点视图、以及由740nm波长的光照射的干涉图视图。

显微镜102和像差仪104的组合使得能够在计划和执行各种程序期间查看和测量患者眼睛110。显微镜102和像差仪104可以各自聚焦在例如出现在患者眼睛110的表面上的点处，使得像差仪104的视场至少部分地与显微镜102的视场重叠，并且使得患者眼睛110在该程序期间保持位于视场的重叠部分内。在一些实例中，显微镜102和像差仪104聚焦在基本相同的点处，使得每个相应视场的中心位于患者眼睛110的大致相同的点处。因此，当像差仪104(和/或一个或多个相机)生成患者眼睛110的图像时，操作者可以通过显微镜102查看患者眼睛110。

更具体地，一个或多个相机(或者是像差仪104的一部分或像差仪104的外部部分)可以将来自像差仪104的信息转换成计算机可读格式。控制器106可以从相机获得图像，并且可以测量和分析由一个或多个相机捕获的图像(即，来自像差仪104的被转换成计算机可读格式的信息)。控制器106可以量化捕获的图像的特性，并因此量化在该程序期间检查的患者眼睛110的屈光特性。

不同的图像视图可以捕获患者眼睛110的不同方面。在一些实施例中，宽视场可以为操作者提供患者眼睛110前面的完整视图，并且可以使得患者眼睛110能够在每个其他视图类型的视场中居中。患者眼睛110的这种宽视场图像可能包括一个或多个伪影，该一个或多个伪影可以指示操作者或系统100可能需要知道的一种或多种状况。例如，宽视场图像可能包括由例如光学元件或组合镜/分束器上的碎片引起的伪影，或由于该程序期间使用的器械(例如，眼睑窥镜器械)过于靠近患者眼睛110的角膜而引起的伪影。

当一个或多个光源产生的光从患者眼睛110的角膜反射时，焦点视图提供对该光的图像捕获。这样的图像可以使得能够计算系统100距患者眼睛110的距离(例如，相机和/或像差仪104距患者眼睛的距离)。由于患者眼睛110的一个或多个部分中的流体或水合作用的变化，焦点视图图像可能呈现出伪影。例如，当来自一个或多个光源的光由于患者眼睛110的前角膜表面上的泪膜变干而扩散或“破裂”时，焦点视图图像可能包括伪影。在一些实例中，流体汇集(来自自然产生或补充的眼泪)导致来自光源的光在某一方向上传播或拉长，从而导致“腿状”伪影。此外，由焦点视图图像捕获(例如，由模拟相机捕获)的偶数帧与奇数帧之间的过度运动可能会造成光反射的交错伪影。

干涉图视图可以使得能够捕获图像流，该图像流在被处理时向操作者提供包括实时屈光数据的眼睛像差数据。干涉图视图图像可能包括由图像中捕获的气泡的存在、照明闪烁(其可以对应于来自患者眼睛110的光的反射增加)、患者眼睛110中的漂浮碎片以及正常莫尔斑点图案顶部的一般畸变引起的伪影。

由像差仪104或成像设备捕获的任何图像类型和/或图像可能包括任何一个或多个以上识别的伪影，或者没有伪影。

控制器106可以通过应用一个或多个机器学习模型来识别图像是否包括一个或多个伪影，例如关于图2A和图2B所描述的。(多个)机器学习模型通常可以包括用于基于由控制器106接收的数据来生成预测特征的特征提取阶段，以及用于预测接收到的数据中是否存在各种伪影(例如，图像数据伪影)的分类阶段。特征提取阶段和分类阶段中的一者或两者可以基于先前捕获的图像(例如，来自先前程序的图像)的储存库来进行训练和优化。储存库可以包括根据图像是否包括一个或多个伪影来进行手动分类(例如，标记)的图像，并且如果图像确实包括至少一个伪影，则根据图像中存在哪种(哪些)类型的伪影来进行分类(例如，标记)。机器学习模型的阶段可以用多个先前标记的图像来训练，以提高识别图像中的伪影的能力。下文参考图2A至图3C提供了关于机器学习模型的进一步细节。

在该程序期间，由系统100的像差仪104和/或相机生成的(多个)图像112被显示给操作者。在一些实施例中，用户界面108可以显示图像112以供操作者查看和/或操纵。在一些实例中，用户界面108还可以在控制器106使用一个或多个机器学习模型进行分析和处理之后向操作者呈现关于图像112的信息。

用户界面108可以呈现一个或多个图像质量指示符(如质量条形图)以及显示在用户界面108上的图像的值。例如，用户界面108可以向操作者指示特定图像或图像系列包含第一伪影(例如，闪烁)的概率为4％，包含第二伪影(例如，气泡)的概率为94％，包含第三伪影(例如，碎片)的概率为1％，并且没有伪影的概率为1％。因此，系统100使得操作者能够快速且有意义地监测由系统100捕获的图像数据的质量，这有益地改善了正在执行的程序的质量和最终的患者结局。

由系统100或中央处理系统提供的用户界面108可以通过在特定图像包括一个或多个伪影时降低该图像的质量值来识别该特定图像何时包括或不包括各种类型的伪影(如上所述)。操作者可以使用质量条形图或质量值以及对应的信息来确定是否要从测量等处理中排除图像，并向系统100的控制器或中央处理系统提供是否要从处理中排除图像的这种确定。在一些实施例中，控制器106可以基于质量值自动确定何时从测量处理中排除图像。例如，当所显示的图像还指示其包含至少一个伪影的概率高时，操作者或控制器106的自动处理可以基于此来确定该图像应该从测量生成中排除。另一方面，当所显示的图像指示包含任何伪影的概率低时，则操作者和/或控制器106的自动处理可以确定应该基于该图像来生成测量结果。下文提供了关于质量条形图和值的进一步细节。

因此，系统100可以在外科手术中用于捕获患者眼睛110的图像112，并经由机器学习模型评估图像112的质量，然后确定图像112是否包括一个或多个伪影。

注意，虽然作为示例本文描述的各个方面是关于眼睛或类似的手术和程序进行讨论的，但是本文描述的技术可以应用于其他医学成像环境，如x射线图像、磁共振成像(MRI)扫描、计算机断层摄影(CT)扫描等。

用于在医疗程序期间对图像进行分类的示例数据流

图2A描绘了用于利用由图1的系统100实施的机器学习模型203来处理单个输入图像202的数据流200。

简而言之，数据流200包括从像差仪104接收图像112。图像112可以由预处理模块201进行预处理以生成输入图像202，以供机器学习模型203进行处理。在该示例中，机器学习模型203包括两个阶段：生成特征向量206的第一阶段204和生成至少一个输出向量的第二阶段208，该至少一个输出向量例如表示输入图像202包括对应伪影类型的一个或多个伪影概率210、212和214。机器学习模型203可以处理每个输入图像202，以对输入图像202以及因此对应的图像112是包括一个或多个伪影还是没有伪影进行分类。

在一些实施例中，数据流200可以发生在图1的控制器106或类似的处理部件中或者由其执行。在一些实施例中，数据流200发生在单独的计算系统(未示出)中或者由其执行，该单独的计算系统可以包括一个或多个计算设备。在一些实例中，单独的计算系统可以将机器学习模型应用于来自多个系统100的图像。例如，眼科实践可以包括在手术、诊断或其他程序期间使用的多个系统100。这些系统100中的每一个都可以与单独的计算系统通信，该单独的计算系统可以将机器学习模型应用于为系统100中的每一个捕获的患者眼睛的图像。在一些实施例中，单独的计算系统可以是本地分布的，可以是基于云的，或者可以是其组合。

在一些实例中，由机器学习模型203或类似的机器学习模型生成的伪影概率210、212和214可以指示根据数据流200处理的图像112包括一个或多个伪影的概率。

在一些实例中，预处理模块201被配置成对图像112进行预处理，以供机器学习模型203进行处理。具体地，预处理模块201可以接收图像112，并在准备输入图像202时识别图像112中的感兴趣区域和/或转换图像112的一个或多个方面。感兴趣区域可以基于对特定地理区域(如图像112的中心区域)的识别来生成。在一些实施例中，预处理模块201可以使用智能来识别感兴趣区域(例如，图像分析的一个或多个方面)。此外，预处理模块201可以对图像112进行缩放和/或转换像素格式，例如将(由像差仪104生成的)图像112的像素格式转换成与机器学习模型203兼容的格式。此外，预处理模块201可以调整图像112的多个通道。

图像112可以由以上介绍的相机之一(例如，基于来自像差仪104的信息)捕获。可以捕获具有第一颜色配置文件和/或尺寸的图像112。例如，图像112可以是尺寸为640×480像素的彩色图像。当图像是彩色图像时，图像112可以包括三个数据通道，如红色通道、绿色通道和蓝色通道，每个通道具有对应的颜色数据。因此，预处理模块201可以对图像112进行预处理以调整图像112的尺寸，并确保图像112包括预期数量的通道。例如，机器学习模型203可以具有480×480像素乘3个通道(例如，彩色图像的红色通道、绿色通道和蓝色通道)的输入图像参数尺寸(以像素为单位的高度(H)×以像素为单位的宽度(W)×通道数量(C))。

因此，对于作为尺寸为640×480像素的彩色图像的图像112，预处理模块201可以将图像112的尺寸调整为480×480像素(例如，通过裁剪感兴趣的中心区域)，并维持颜色通道以生成作为尺寸为480×480像素的彩色图像的输入图像202。可替代地，机器学习模型203可以具有任何其他值的输入参数像素尺寸和通道要求，如通过下文进一步详细讨论的第一阶段204所建立的。在一些实例中，彩色图像可以包括彩色图像的颜色模型或颜色空间中不同颜色分量的不同数量的通道。例如，彩色图像可以利用青色、品红色、黄色、黑色(CMYK)颜色模型或亮度/色度分量颜色空间(例如，Y-Cb-Cr)等中的一个或多个，这可以改变用于对应图像的通道数量。

当图像112是灰度图像(如所示出的)时，图像112可以仅包括单通道数据。因此，预处理模块201可以跨三个通道(例如，代替红色、绿色和蓝色通道)复制该单通道数据。单通道的这种复制可以包括对单通道进行条带复制以创建三个通道。此外，预处理模块201可以根据需要调整图像112的尺寸，如以上所讨论的。因此，无论图像112的通道尺寸和数量如何，预处理模块201都可以对图像112进行处理，以生成机器学习模型203所期望的格式的输入图像202。在一些方面，机器学习模型203的第一阶段204不需要多个通道，或者可能需要多于三个通道。在这种情况下，预处理模块201可以对图像112进行处理，以创建或删减适合于第一阶段204的通道数量。

机器学习模型203可以确定由机器学习模型203处理的每个输入图像202是否包括任何伪影。例如，机器学习模型203可以确定干涉图类型的输入图像202是否包括由照明闪烁、(患者眼睛110中的)漂浮碎片、(患者眼睛110中的)气泡或以上介绍的另一种畸变中的一者或多者引起的一个或多个伪影。机器学习模型203可以生成一个或多个输出向量，该一个或多个输出向量表示经处理的图像包括一种或多种伪影类型的一个或多个伪影的一个或多个概率。在机器学习模型203能够确定输入图像202是否包括多个伪影的实施例中，机器学习模型203可以为每个伪影生成单独的输出向量。例如，机器学习模型203可以生成输出向量以包括指示输入图像202包括至少一个闪烁伪影的概率的伪影概率210、指示输入图像202包括至少一个碎片伪影的概率的伪影概率212、以及指示输入图像202包括至少一个气泡伪影的概率的伪影概率214。更具体地，在某些实施例中，机器学习模型203可以输出单个长度为3的向量(即，具有三个元素)。输出向量的三个元素可以对应于三种伪影概率(例如，伪影概率210、伪影概率212和伪影概率214，如以上所介绍的)。因此，输出向量的每个元素可以基于对应的概率值将图像分类为包含0个或至少一个对应伪影的发生率。

如以上所介绍的，机器学习模型203可以包括基于输入图像202生成特征向量206的第一阶段204以及生成伪影概率210、212和214的第二阶段208。第一阶段204可以包括特征提取阶段，并且可以被配置成生成输入图像202的表示。例如，通过第一阶段204生成的特征向量可以表示输入图像202的一个或多个特性。在如本文所述的图像处理中，特征可以对应于图像的各个方面和形成图像的像素。

机器学习模型203的第二阶段208可以对通过第一阶段204生成的特征向量进行处理，以生成伪影概率210、212和214。第二阶段208可以对应于或包括分类阶段。分类阶段可以采用通过第一阶段204生成的特征向量，并且识别经处理的图像包括哪个(哪些)伪影(如果有的话)。

在示例用例中，系统100可以捕获图像尺寸为640×480像素且具有单通道的图像112(例如，因为它是灰度图像)。图像112可以包括一个或多个气泡伪影。控制器106(或其他处理部件)可以采用预处理模块201来裁剪图像112以具有480×480像素的第二图像尺寸，并且跨三个通道复制单通道图像112以创建输入图像202。控制器106然后可以利用机器学习模型203来处理经裁剪和经复制的输入图像202，以生成伪影概率210、212和214。在具有一个或多个气泡伪影的捕获的图像112中，机器学习模型203可以生成指示图像112包括闪烁伪影的概率为1％的伪影概率210，生成指示图像112包括漂浮物伪影的概率为24％的伪影概率212，并且生成指示图像112包括气泡伪影的概率为75％的伪影概率214。因此，伪影概率指示图像112包括闪烁伪影和漂浮物伪影的概率低(分别为0.01和0.24)而包括气泡伪影的概率高(0.75)。

在一些实例中，处理部件可以使用由机器学习模型203生成的伪影概率来生成例如以上经由用户界面介绍的质量条形图或质量值。例如，基于以上识别的伪影概率210、212和214，处理部件可以生成质量值以显示给操作者。例如，处理部件可以基于方程1生成质量条形图和/或值，其中，artifact_n_probability是在通过第二阶段208为对应的伪影类型生成的输出向量中生成的概率：

质量值＝1.0–artifact_n_probability(方程1)

因此，对于伪影概率210、212和214指示图像112指示图像112包括闪烁伪影的概率为0.01、图像112包括漂浮物伪影的概率为0.24以及图像112包括气泡伪影的概率为0.75的以上示例，图像112的质量条形图、质量值或其他指示符可以被转换成百分比：

·对于闪烁伪影，1.0-0.01＝0.99或99％；

·对于漂浮物伪影，1.0-0.24＝0.76或76％；并且

·对于气泡伪影，1.0-0.75＝0.25或25％。

在一些实例中，控制器106为由机器学习模型203生成的输出向量(即，为由输出向量表示的伪影概率)生成质量信息以供显示。可替代地或另外地，控制器106可以基于这些值与阈值的比较来生成质量信息以供显示。例如，当图像112的质量低于阈值或高于阈值(如50％)(使得质量值小于0.5且概率大于0.5)时，控制器106可以仅生成质量值数据以供操作者检查。在一些实施例中，用于生成质量值数据的阈值可以落入25％-50％的范围内(例如，25％、30％、40％、45％或50％，或其间的任何值)，或者落入50％-75％的范围内(例如，50％、55％、60％、65％、70％或75％，或其间的任何值)。阈值也可以基于一项或多项历史数据(例如，基于观察到的趋势的变量)来建立和/或调整，可由操作者选择，等等。另外地或可替代地，阈值可以由操作者或设施建立。在一些实施例中，控制器106为所有图像生成质量值数据以供操作者检查，但基于一个或多个阈值范围应用标记以与图像一起显示。

参考图8A至图8O，这样的阈值范围也可以用于确定图像112的一个或多个标记(例如，“良好”、“不良”、“边缘”等)。因此，每个图像可以基于不同范围的图像质量值来进行显示或与标记相关联。例如，0％-50％的图像质量可以对应于“不良图像”标记，51％-70％对应于“边缘图像”标记，并且71％-100％对应于“良好图像”标记，或者0％-65％对应于“不良图像”标记，66％-85％对应于“边缘图像”标记，并且86％-100％对应于“良好图像”标记，等等。

因此，控制器106可以将操作者的检查限制为仅满足阈值质量水平的图像112(即，更有可能包括一个或多个伪影)。在一些实施例中，控制器106可以向操作者提供一个或多个图像未满足质量水平阈值的简化或通用警告或提示，并向操作者提供查看关于未满足阈值质量水平的各个图像和/或导致未满足阈值质量水平的(多个)对应伪影的更多细节的选项。

类似地，控制器106可以提示操作者图像112是否应该用于生成测量数据。在一些实例中，控制器106将向操作者提供建议，以限制对图像112的进一步处理，从而防止或排除对质量值低于阈值质量水平的图像112的处理被用于生成测量数据。可替代地，控制器106将基于图像112的质量值自动排除将图像112处理成测量数据，而无需操作者输入。此外，控制器106可以向操作者提供一个或多个建议，以补救导致未满足图像的质量阈值水平的伪影。例如，控制器可以指示操作者重新定位相机、清洁设备等中的一者或多者。

此外，如以上所介绍的，控制器106可以生成用户界面108来识别图像112中任何伪影的位置。在一些实例中，控制器106可以实施附加的机器学习模型(未示出)来识别图像112中包括的伪影的位置。通过在用户界面108上识别伪影在图像112中的位置，控制器106使得操作者能够更容易和快速地确定是否要使用图像112来生成术中测量数据。

在一些实施例中，当控制器106识别出图像112的质量低于期望阈值时(即，确定图像112包括将图像质量降低到阈值以下的一个或多个伪影)，控制器106可以显示向操作者指示因为质量太低而未使用图像112生成测量结果的消息。如本文所述，这种确定可以自动进行，而无需操作者输入。可替代地或另外地，当控制器106确定图像112的质量足够高时，则控制器106可以允许对图像112进行处理以生成测量结果，并且在该程序期间经由用户界面向操作者实时提供具有图像112和质量值的那些测量结果。

上述机器学习模型203可以处理第一类型(例如，干涉图类型)的图像。虽然机器学习模型203的各方面可以对任何图像类型(例如，第一阶段或特征提取阶段204)通用，但是因为不同的图像类型可能包括当在图像112中被捕获时具有不同特性的不同伪影，所以第二阶段或分类阶段208可以针对不同的图像类型(例如，不同的层配置)采用不同的设计或架构。因此，机器学习模型的特征提取阶段(即，第一阶段204)和不同分类阶段(即，第二阶段208和附加阶段)的多个或不同组合可以用于确定不同类型的图像112是否包括不同类型的伪影，如下文关于图2B进一步描述的。

用于使用机器学习模型在医疗程序期间对图像进行分类的示例数据流

图2B描绘了分别利用不同的机器学习模型203、217和227处理多个图像112a、112b和112c的一组数据流250a-250c。机器学习模型217和227中的每一个都具有与图2A的机器学习模型203类似的结构。单独的数据流250a-250c可以指示系统100的并行处理和/或多模型能力。

如上所述，像差仪104可以提供具有不同图像类型的图像，如来自像差仪104中的同时创建图像数据的不同图像传感器的图像。例如，图像112a、112b和112c可以是宽视场类型、焦点视图类型和干涉图视图类型之一。每种图像类型包括不同种类的伪影。因此，每个图像112a、112b和112c可以由不同的机器学习模型203、217和227处理。

例如，图2B的机器学习模型203可以识别干涉图视图类型图像112a中的闪烁、碎片和/或气泡。机器学习模型217可以识别宽视场类型的图像112b中的碎片(例如，以上介绍的组合镜或分束器上的碎片)。机器学习模型227可以在焦点视图类型的图像112c中识别患者眼睛110中的流体变化(例如，患者眼睛110的一个或多个部分中的过度干燥或过量流体)。下文提供了关于图2B的机器学习模型217和227的进一步细节。

数据流250a对应于图2A的数据流200，不同之处在于馈送预处理模块201的图像112被标识为图像112a。数据流250a的其余分量对应于图2A中的数据流200的分量。如上文参考图2A所描述的，第二阶段208可以采用通过第一阶段204生成的特征向量206a，并识别干涉仪类型的经处理的图像112a包括哪个(哪些)伪影(如果有的话)。

数据流250b包括与数据流250a类似的分量，其中类似编号的分量具有如参考图2A所述的特性。数据流250b包括由预处理模块201进行预处理以生成输入图像202b的图像112b。预处理模块201可以对图像112b进行预处理以生成输入图像202b，如上文关于图2A的预处理模块201所描述的。输入图像202b由机器学习模型217处理以生成一个或多个伪影概率，例如，伪影概率220、222和224中的一个或多个。机器学习模型217包括基于输入图像202b生成特征向量206b的第一阶段204(即，特征提取阶段)，其类似于上文关于图2A介绍的生成特征向量206的第一阶段204。

通过第一阶段204生成的特征向量206b通过第二阶段218(即，不同于第二阶段208的分类阶段)进行处理，以生成伪影概率220、222和224中的一个或多个。机器学习模型217的第二阶段218可以对通过第一阶段204生成的特征向量206b进行处理，以生成伪影概率220、222和224中的一个或多个。第二阶段218可以对应于或包括分类阶段，其类似于第二阶段208的分类阶段，但是被训练成分类和/或识别与第二阶段208不同的伪影类型。如上文参考图2A所描述的，第二阶段218可以采用通过第一阶段204生成的特征向量206b，并识别宽视场类型的经处理的图像包括哪个(哪些)伪影(如果有的话)。

第二阶段218可以以与第二阶段208相同的架构、参数、权重等开始，但是独立地进行训练，并且因此演变以适应其输入数据特定的特征。例如，第二阶段208可以被训练成针对干涉图图像类型生成伪影概率210、212和214中的一个或多个，而第二阶段218可以被训练成针对宽视图类型图像112b生成伪影概率220、222和224中的一个或多个。

数据流250c包括与数据流250a类似的分量。具体地，数据流250c包括由预处理模块201进行预处理以生成输入图像202c的图像112c。预处理模块201可以对图像112c进行预处理以生成输入图像202c，如上文关于图2A的预处理模块201所描述的。输入图像202c由机器学习模型227处理以生成例如表示伪影概率230、232和234中的一个或多个的对应输出向量。机器学习模型227包括基于图像112c生成特征向量206c的第一阶段204(即，特征提取阶段)，其类似于上文关于图2A介绍的生成特征向量206a的第一阶段204。

通过第一阶段204生成的特征向量206c通过第二阶段228(即，不同于第二阶段208和第二阶段218的分类阶段的分类阶段)进行处理，以生成伪影概率230、232和234中的一个或多个。第二阶段228可以对应于或包括分类阶段，其类似于第二阶段208的分类阶段。如上文参考图2A所描述的，分类阶段可以采用通过第一阶段204生成的特征向量206c，并识别焦点视图类型的经处理的图像包括哪个(哪些)伪影(如果有的话)。

第二阶段228可以以与第二阶段208和第二阶段218相同的架构、参数、权重等开始，但是独立地进行训练，并且因此演变以适应其输入数据特定的特征。例如，第二阶段208可以被训练成针对干涉图图像类型生成伪影概率210、212和214中的一个或多个，而第二阶段228可以被训练成针对焦点视图类型图像112c生成伪影概率230、232和234中的一个或多个。

图像112a、112b和112c中的每一个(其可以属于不同的图像类型并且分别被馈送到不同的机器学习模型203、217和227中)可以由相同的特征提取阶段(即，第一阶段204)但不同的分类阶段(即，分别为第二阶段208、第二阶段218和第二阶段228)进行处理。然后，对应的输出向量指示每个图像112a、图像112b和图像112c包括与相应图像类型相对应的一个或多个伪影的概率。例如，伪影概率210、212和214指示干涉图视图类型图像112a(分别)包括闪烁、气泡或漂浮物中的一者或多者的概率，而伪影概率220、222和224指示宽视图类型图像112b包括由碎片或器械放置引起的一个或多个伪影的概率，并且伪影概率230、232和234指示焦点视图类型图像112c包括由水合问题(眼泪变干或汇集)或运动引起的一个或多个伪影的概率。

在一些实施例中，尽管未在图2B中示出，但是机器学习模型203、217和227可以被组合或以其他方式构造成采用单个公共第一阶段204，该单个公共第一阶段基于图像112a、112b和112c生成特征向量206a、206b或206c以供三个第二阶段208、218和228进行处理。例如，第一阶段204可以接收由预处理模块201生成的所有输入图像202a、202b和202c。第一阶段204可以基于输入图像202a生成特征向量206a，基于输入图像202b生成特征向量206b，并且基于输入图像202c生成特征向量206c。因此，第一阶段204然后可以将对应的特征向量206a、206b和206c分别馈送到对应的第二阶段208、218和228。这种架构可以以需要附加的处理时间为代价来减少开销和资源消耗。

图像分类机器学习模型的阶段的示例架构

在一些实施例中，机器学习模型203的特征提取阶段可以包括特征生成深度神经网络，例如，卷积神经网络(CNN)、多层感知器神经网络(MLP)或类似神经网络的特征提取部分。图3A描绘了应用为特征提取阶段的CNN的示例架构，该特征提取阶段为由(多个)相机提供并由CNN处理和/或分析的各个图像112生成特征向量206。CNN可以不同于其他神经网络和深度神经网络，因为CNN可以在CNN的层中应用卷积而不是矩阵乘法。

如图3A中示出的，CNN 300包括被配置成处理输入图像的多层神经网络。CNN 300包括被划分成输入层302、(多个)卷积层304(其可以包括隐藏层)和池化层306的组合的多个神经元。当卷积层304的输入和输出被掩蔽时，则可以认为卷积层304之一是隐藏层。本文中应用为第一阶段204的CNN 300可以将其全连接层和输出层移除并用分类阶段的层替代，如以上介绍的和下文进一步详细描述的。CNN 300可以由控制器106或专用处理器应用，并且可以代表用于实施一个或多个机器学习模型的每个特征提取阶段的神经网络，例如上文参考图2A和图2B描述的机器学习模型203、217和227。

具体地，CNN 300的架构包括输入层302，该输入层包括三个通道。对于彩色图像，输入层302的每个通道对应于红色、绿色和蓝色的不同颜色。输入层302可以接收包括多个图像的输入，每个图像具有高度、宽度和通道数量。CNN 300可以被配置成处理CNN 300的任何这些方面的任何值。对于本文描述的图像处理和分类示例，特征提取阶段可以包括具有带多个输入图像的架构的CNN 300，每个输入图像具有大约480×480像素的尺寸和三个通道，尽管也设想了处理各自具有不同尺寸和/或通道数量的不同数量的图像。

CNN 300的架构进一步包括多个卷积层304。每个卷积层304可以接收与图像数量、图像尺寸(高度和宽度)以及每个图像的通道数量相对应的输入。卷积层304可以通过对卷积层的输入进行卷积来提取图像以生成输出，该输出被传递到后续层(例如，另一个卷积层304或池化层306之一)。卷积层304可以对输入应用卷积滤波器。滤波器可以具有特定尺寸，该特定尺寸沿正在处理的图像以特定步幅水平地和/或竖直地应用，这为滤波器所覆盖的图像部分生成输出值。控制器106或专用处理器可以以对应步幅将滤波器应用于每个输入图像，以生成传递到后续层的输出。在一些实施例中，卷积滤波器的深度对应于输入层302的多个通道的深度。

如图3A中示出的，每个卷积层304之后都是池化层306。池化层306可以通过应用机器学习模型203的第一阶段204的控制器106或专用处理器来简化处理。具体地，每个池化层306可以减少由前面的卷积层304生成的输出的维度。有效地，池化层306可以减少由前一卷积层304生成的多个输出。池化层306可以应用多个函数中的一个或多个来池化来自前一卷积层304的输出。例如，执行机器学习模型203的处理的处理部件可以对池化层306应用最大池化(其采用来自先前卷积层304的输出部分的集群的最大值)、平均池化(其采用来自先前卷积层304的输出部分的集群的平均值)或另一池化计算中的一者或多者。池化层306的结果可以被提供给后续卷积层304或平均池化层，以生成特征向量来提供给机器学习模型203的后续阶段。

取决于所执行的处理，特征提取阶段可以包括任何数量的卷积层304和池化层306。在一些实例中，所应用的CNN是VGG16 CNN。VGG16 CNN可以在如下文关于图3B所示的布置中利用卷积层和池化层的组合。

图3B描绘了针对机器学习模型(例如，图2A和图2B的机器学习模型203、217和/或227)的特征提取阶段应用的CNN的架构320的代表性视图。在一些实施例中，由控制器106或专用处理器应用的架构320可以代表用于实施机器学习模型的特征提取阶段的神经网络。

如以上所介绍的，特征提取阶段可以包括VGG16 CNN的特征提取阶段，如图3B中示出的。在图3B中示出的VGG16 CNN架构320中，架构320包括输入层302以及卷积层304和池化层306的五个分组322，每个分组包括多个卷积层304和一个池化层306。第一分组322a包括第一卷积层304a、第二卷积层304b和第一池化层306a。第二分组322b包括第三卷积层304c、第四卷积层304d和第二池化层306b。第三分组322c包括第五卷积层304e、第六卷积层304f、第七卷积层304g和第三池化层306c。第四分组322d包括第八卷积层304h、第九卷积层304i、第十卷积层304j和第四池化层306d。第五分组322e包括第十一卷积层304k、第十二卷积层304l、第十三卷积层304m和第五池化层306e。在第五池化层306e之后，架构320可以包括生成由VGG16 CNN处理的图像的特征向量的最大池化层(未示出)。

虽然架构320表示VGG16架构，但将理解的是，针对特征提取阶段应用的架构可以视情况而定包括输入层302、卷积层304、池化层306和/或附加层的任何组合，以高效且准确地生成由架构320处理的输入图像的特征向量。这些层可以以各种布置、数量和/或其组合来布置，或者根据不同CNN或深度神经网络(DNN)的不同架构来布置。

如以上所介绍的，用于机器学习模型的特征提取阶段的CNN可以不包括全连接层。相反，机器学习模型203在分类模型(即，第二阶段208)中包括全连接层，下文关于图3C进行描述。

图3C描绘了图1的系统100的机器学习模型203的分类模型(即，第二阶段208)的示例神经网络架构350，该分类模型基于由第一阶段204为捕获的数字图像的各个图像生成的特征向量来生成输出向量。神经网络架构350示出了根据示例实施例的多层深度神经网络。在一些实施例中，由处理部件(即，控制器106或专用处理器)应用的神经网络架构350可以代表用于实施上文参考图2A和图2B描述的机器学习模型203、217或227中的一个或多个的第二阶段208、第二阶段218或第二阶段228(即，分类阶段之一)中的一个或多个的神经网络。

神经网络架构350可以使用输入层354来处理输入数据352(对应于由特征提取阶段输出的特征向量)。输入数据352可以对应于通过第一阶段204输出的特征向量。如所示出的，输入层354包括多个神经元。神经元可以通过缩放、范围限制等来单独调节输入数据352。输入层354中的每个神经元生成被馈送到后续隐藏层356的输入端的输出。每个隐藏层356包括对来自前一层(例如，输入层354或另一个隐藏层356)的输出进行处理的多个神经元。在一些示例中，隐藏层356之一中的每个神经元生成输出，该输出然后被传播通过一个或多个附加隐藏层356。神经网络架构350可以包括任何数量的隐藏层356。最终隐藏层356可以包括多个神经元，该多个神经元对来自前一隐藏层356的输出进行处理以生成馈送到输出层360的输出。输出层360包括对来自隐藏层356的输出进行处理的一个或多个神经元。应当理解，神经网络架构350仅是代表性的，并且其他架构也是有可能的，例如，包括不同数量的隐藏层356的架构、不具有输入层354或输出层360中的一个或多个的架构、包括循环层的架构等。

在一些示例中，神经网络架构350的各个层中的每个神经元采用其输入的组合(例如，可训练加权矩阵W的加权和)并添加可选的可训练偏差b。在一些示例中，某些神经元(例如输出层360的神经元)可以包括激活函数f。激活函数通常可以是非线性激活函数，如S型激活函数。然而，其他激活函数也是有可能的，如具有上限和/或下限的激活函数、对数S型函数、双曲正切函数、修正线性单元函数等。在一些示例中，输出层360的每个神经元可以具有与输出层360的一个或多个其他神经元相同或不同的激活函数。

在一些实施例中，分类阶段的输入层中的神经元数量等于由特征提取阶段生成的特征向量中的元素数量。

分类阶段的输入层可以将经训练的权重应用于接收到的特征向量，并将生成的结果传递到多个隐藏层中的第一隐藏层。第一隐藏层可以包括输入层的两倍神经元，其中每个后续隐藏层具有前一隐藏层的一半神经元。隐藏层的神经元可以包括修正线性单位激活函数。可替代地，隐藏层的神经元可以包括一个或多个其他激活函数。分类阶段的输出层可以包括多个神经元，其数量等于正在处理的图像类型的伪影类型的数量并且具有S型激活函数。

因此，在一个示例中，输入层354具有多个神经元，其数量等于特征向量206的长度，或者对于由以上介绍的VGG16 CNN生成的512个元素特征向量具有512个神经元。在应用经训练的权重之后，输入层354生成第一隐藏层356的输出，该第一隐藏层可以具有1024个神经元。神经元具有RELU激活函数的每个后续隐藏层356将具有前一隐藏层356的一半神经元，直到具有三个输出神经元的输出层360，每个输出神经元用于干涉仪类型图像的伪影(即，闪烁、漂浮物和气泡伪影中的每一个都有一个神经元)并生成伪影概率362。如前所述，伪影概率210、212和214(例如，针对干涉图视图类型图像112a)可以提供图像112包括每种对应伪影类型的概率。

在一些实施例中，采用该机器学习模型(以及类似的机器学习模型)的系统在正确识别图像是否包括一个或多个伪影方面提供了各种改进。例如，该系统可以在大约97％的时间内正确地识别出包括一个或多个伪影的训练图像，并且在大约91％的时间内正确地识别出测试图像是否包括一个或多个伪影，这是对现有技术的改进。更具体地，采用机器学习模型的系统在99％的时间内正确地识别出具有闪烁伪影的训练图像，并且在91％的时间内正确地识别出测试图像是否包括闪烁伪影。另外，采用机器学习模型的系统在97％的时间内正确地识别出具有漂浮物伪影的训练图像，并且在95％的时间内正确地识别出测试图像是否包括漂浮物伪影。此外，采用机器学习模型的系统在97％的时间内正确地识别出具有气泡伪影的训练图像，并且在97％的时间内正确地识别出测试图像是否包括气泡伪影。进一步的训练(如下所述)可以相对于现有技术提高系统的伪影检测能力。

机器学习模型的训练和改进

在一些示例中，机器学习模型203(以及上述各个阶段)可以使用一种或多种学习方法来进行训练。机器学习模型203可以使用已经关于包含一个或多个伪影进行了标记的图像集合来进行训练。这些图像可以是从各种先前程序中捕获的图像，或者不是来自其他程序的眼睛图像。在一些实例中，这些图像是泰伯-莫尔(Talbot-Moire)干涉仪图像，并且数据集被随机分成图像的训练、验证和测试子集，尽管可以使用机器学习模型203对各种其他类型的图像进行分类。集合中的每个图像可能已经被手动检查并关于其中包含的伪影进行了标记。例如，每个图像可以被标记以指示该图像是否包括一个或多个气泡区域、一个或多个漂浮物区域、一个或多个闪烁区域、一个或多个伪影等。

被标记为具有一个或多个伪影的那些图像可以包括附加标记信息，该附加标记信息包括图像包括什么样的一个或多个伪影。例如，包括气泡和碎片的眼睛图像可以具有指示该图像包括伪影并且这些伪影是气泡和碎片的标记。在一些实例中，经标记的图像(以及一般的数据集)包括一个或多个伪影位于何处的位置信息，并且该位置信息可以与所包括的伪影的类型相关联。例如，当图像被标记为包括气泡和碎片时，图像也可以被标记为显示气泡位于何处以及碎片位于何处，使得每个位置通过其所包括的伪影的类型来识别。

在一些实施例中，特征提取阶段被设置为先前使用图像数据集训练的权重，并且仅分类阶段需要被优化。在这样的实施例中，用特征提取阶段预先计算数据集中每个图像的特征向量。这些特征向量然后可以通过堆叠特征向量来形成特征矩阵，使得特征矩阵的宽度等于特征向量的尺寸，并且高度等于数据集中由特征提取阶段处理的图像的数量。特征矩阵存储在存储位置。这种存储可以提高分类阶段的训练速度。在一些实例中，与在训练分类阶段时计算数据集的每个训练图像的图像特征向量相比，训练分类阶段的时间可以提高100或1000倍。

这种效率提高在分类阶段的超参数优化期间尤其有利，其中，包括特征提取阶段和分类阶段的机器学习模型的架构被重复调整，并且分类阶段基于存储的特征矩阵进行训练。超参数优化可以对应于分类阶段架构的各方面的选择，以提高分类阶段的分类能力。这种选择(以及因此超参数优化)可以由机器学习模型或使用机器学习模型的系统的操作者或用户来进行。

在一些实例中，优化(多个)超参数包括应用算法以从每个超参数的可用分布或可用值列表中选择超参数的候选值。选择候选值的其他方法被理解为可用于选择候选值。然后，可以使用经标记图像数据集的至少一部分(例如，数据集的训练集的5重交叉验证)来训练和评估具有基于选定超参数生成的架构的机器学习模型。如果为任何超参数选择的值处于该超参数的可用范围的边缘，则可以扩展该超参数的范围，并且应该重复超参数优化，直到没有超参数处于其对应范围的边缘并且分类模型的性能满足期望的阈值和参数，例如通过用一组训练图像测试机器学习模型而识别的值。优选超参数的选定列表以及对应的值范围包括：

·分类阶段拟合算法的学习速率

o值：[0.001，0.0003，0.0001，0.00003，0.00001，0.000003]

·训练分类阶段的周期数

o值：统一(500，10000)

·学习优化器

o值：[Adam，SDG，RMSprop，Adadelta，Adagrad，Adamax，Nadam]

·批量大小

o值：[8，16，32，64，128]

·隐藏层的数量

o值：[1，2，3，4，5，6，7，8，9]

·每个隐藏层的尺寸

o值：统一(128，2048)

·正则化权重和策略(例如，L1、L2、退出等)

o L1值：[0.0，0.01，0.003，0.001，0.0003，0.0001，0.00003，0.000001，0.0000003]

o L2值：[0.0，0.01，0.003，0.001，0.0003，0.0001，0.00003，0.000001，0.0000003]

o退出％值：[0，0.001，0.003，0.01，0.03，0.1，0.3，1.0，3.0，10.0，20.0，30.0，40.0，50.0]

·损失函数

o值：[二元_交叉熵]

·层的激活函数

o值：[RELU]

在一些实例中，机器学习模型的进一步优化可以包括重新训练特征提取阶段。这种优化可以包括重新训练特征提取阶段的权重和/或还包括特征提取阶段的架构的超参数优化。在一些实例中，可以向分类阶段添加附加输出层。附加输出层可以提供应用回归以对图像质量进行评分。

在一些实施例中，训练机器学习模型包括利用VGG16 CNN特征提取阶段的预先训练的权重来实施机器学习模型。因此，可以完全指定VGG16 CNN权重，只留下分类阶段的权重经由训练来确定。训练可以包括利用VGG16 CNN阶段来处理来自数据集或储存库的具有三个通道和480×480像素的尺寸的经标记图像。VGG16 CNN阶段可以输出长度为512个元素或样本的特征向量(例如，特征向量206)。特征向量可以表示适合于由分类阶段执行的分类任务的图像特征的集合。特征向量的图像特征集合可以包括大范围图像类型的特征(例如，干涉图类型图像、宽视图类型图像和焦点视图类型图像)。由全连接分类阶段处理来自VGG16 CNN阶段的特征向量会产生输出向量，该输出向量表示由机器学习模型处理的图像中每个伪影存在的概率。

通过本文的各方面分类的示例图像

图4A至图4G描绘了可能存在于图像数据集中和/或由图1的系统100的相机捕获的示例图像。

图4A描绘了图像400，该图像是不包括任何伪影的患者眼睛110的泰伯-莫尔图像的示例。如所示出的，图像400不包括患者眼睛110中的任何过亮的光亮或反射区域，或任何模糊或抽象的物体或区域。

图4B描绘了图像410，该图像是包括闪烁伪影412的患者眼睛110的泰伯-莫尔图像的示例。具体地，由光源从患者眼睛112的一部分过度反射引起的闪烁伪影412大致在图像410的中心示出。

在以上介绍的示例用例中，用户界面108可以向操作者呈现图像410。更具体地，当图像410包括闪烁伪影412时，用户界面108可选地或选择性地显示具有用于具体地标识闪烁伪影412的位置的标识符414的图像410。在一些实例中，标识符414可以表示用于将观看者或系统的注意力吸引到图像410的一个或多个特定位置的任何形状或物体。在一些实例中，用户界面108还将包括给操作者的消息，即图像被认为在由标识符414标识的(多个)位置处包括闪烁伪影412。在一些实例中，只有当图像410包括闪烁伪影412的概率超过指定阈值(即，图像410的质量值下降到指定阈值以下)时，用户界面108才会示出标识符414。

图4C描绘了图像420，该图像是包括多个气泡伪影422的患者眼睛110的泰伯-莫尔图像的示例。具体地，在图像420中，气泡伪影422在患者眼睛周围的多个位置示出。

在以上介绍的示例用例中，用户界面108可以向操作者呈现图像420。更具体地，当图像420包括气泡伪影422时，用户界面108可选地或选择性地显示具有用于具体地标识气泡伪影422的一个或多个位置的标识符424的图像420。在一些实例中，标识符424可以表示用于将观看者或系统的注意力吸引到图像420的一个或多个特定位置的任何形状或物体。在一些实例中，用户界面108还将包括给操作者的消息，即图像被认为在由标识符424标识的(多个)位置处包括气泡伪影422。在一些实例中，只有当图像420包括气泡伪影422的概率超过指定阈值(即，图像420的质量值下降到指定阈值以下)时，用户界面108才会示出标识符424。

图4D描绘了图像430，该图像是包括漂浮物伪影432的患者眼睛110的泰伯-莫尔图像的示例。具体地，在图像430中，漂浮物伪影432在患者眼睛的整个区域上示出。

在以上介绍的示例用例中，用户界面108可以向操作者呈现图像430。更具体地，当图像430包括漂浮物伪影432时，用户界面108可选地或选择性地显示具有用于具体地标识漂浮物伪影432的位置的标识符434的图像430。在一些实例中，标识符434可以表示用于将观看者或系统的注意力吸引到图像430的一个或多个特定位置的任何形状或物体。在一些实例中，用户界面108还将包括给操作者的消息，即图像被认为在由标识符434标识的(多个)位置处包括漂浮物伪影432。在一些实例中，只有当图像430包括漂浮物伪影432的概率超过指定阈值(即，图像430的质量值下降到指定阈值以下)时，用户界面108才会示出标识符434和消息。

图4E描绘了图像440，该图像是包括闪烁伪影442和漂浮物伪影443两者的患者眼睛110的泰伯-莫尔图像的示例。具体地，在图像440中，闪烁伪影442在患者眼睛的中心附近示出，而漂浮物伪影443在患者眼睛的整个区域上示出。

在以上介绍的示例用例中，用户界面108可以向操作者呈现图像440。更具体地，当图像440包括闪烁伪影442和漂浮物伪影443时，用户界面108可选地或选择性地显示具有用于具体地标识闪烁伪影442的位置的标识符444和用于标识漂浮物伪影443的位置或区域的标识符446的图像440。

在一些实例中，标识符444和446可以表示用于将观看者或系统的注意力吸引到图像440的一个或多个特定位置的任何形状或物体。在一些实例中，用户界面108还将包括给操作者的消息，即图像被认为在由标识符444和标识符446标识的(多个)相应位置处包括闪烁伪影442和漂浮物伪影443。在一些实例中，只有当图像440包括闪烁伪影442和漂浮物伪影443的概率超过对应的指定阈值(即，图像440的质量值下降到指定阈值以下)时，用户界面108才会示出标识符444和446。

图4F描绘了图像450，该图像是包括闪烁伪影452和气泡伪影453两者的患者眼睛110的泰伯-莫尔图像的示例。具体地，在图像450中，闪烁伪影452在患者眼睛的中心附近示出，而气泡伪影453沿患者眼睛的右边缘示出。

在以上介绍的示例用例中，用户界面108可以向操作者呈现图像450。更具体地，当图像450包括闪烁伪影452和气泡伪影453时，用户界面108可选地或选择性地显示具有用于具体地标识闪烁伪影452的位置的标识符454和用于标识气泡伪影453的位置或区域的标识符456的图像450。在一些实例中，标识符454和456可以表示用于将观看者或系统的注意力吸引到图像450的一个或多个特定位置的任何形状或物体。在一些实例中，用户界面108还将包括给操作者的消息，即图像被认为在由标识符454和标识符456标识的(多个)相应位置处包括闪烁伪影452和气泡伪影453。在一些实例中，只有当图像450包括闪烁伪影452和气泡伪影453的概率超过对应的指定阈值(即，图像450的质量值下降到指定阈值以下)时，用户界面108才会示出标识符454和456。

图4G描绘了图像460，该图像是包括多个气泡伪影462和漂浮物伪影463两者的患者眼睛110的泰伯-莫尔图像的示例。具体地，在图像460中，气泡伪影462沿患者眼睛的顶部和右边缘示出，而漂浮物伪影463在患者眼睛的整个区域上示出。

在以上介绍的示例用例中，用户界面108可以向操作者呈现图像460。更具体地，当图像460包括气泡伪影462和漂浮物伪影463时，用户界面108可选地或选择性地显示具有用于具体地标识气泡伪影462的位置的标识符464和用于标识漂浮物伪影463的位置或区域的标识符466的图像460。在一些实例中，标识符464和466可以表示用于将观看者或系统的注意力吸引到图像460的一个或多个特定位置的任何形状或物体。在一些实例中，用户界面108还将包括给操作者的消息，即图像被认为在由标识符464和标识符466标识的(多个)相应位置处包括气泡伪影462和漂浮物伪影463。在一些实例中，只有当图像460包括气泡伪影462和漂浮物伪影463的概率超过对应的指定阈值(即，图像460的质量值下降到指定阈值以下)时，用户界面108才会示出标识符464和466。

如以上所介绍的，可以处理患者眼睛的不包括任何伪影的图像，以生成在程序期间使用的测量结果或对应信息。在一些实例中，系统可以确定确实包括伪影的一个或多个图像仍然可以被处理成在程序期间使用的测量结果。例如，如果图像中包括的伪影具有足够小的尺寸或者位于其存在对测量结果具有最小影响的特定区域中，则操作者和/或系统可以基于此确定图像可以进行测量处理。

在一些实例中，可以使用各种因素来确定包括一个或多个伪影的图像112是否可以进展到测量确定。操作者或系统100可以基于图像112中伪影的尺寸、图像112中伪影的位置和图像112中伪影的类型中的一者或多者来确定包括一个或多个伪影的图像112进行测量生成。具体地，当基于图像112包括伪影的概率进行确定时，如上文关于质量条形图和/或质量值所介绍的，可以进一步基于伪影的位置、尺寸和/或类型是否会不利地影响基于图像112生成的测量结果的分析来进行确定。例如，如果图像112包括沿着患者眼睛110的边缘并且具有覆盖小于患者眼睛110的阈值的尺寸的单个气泡伪影，则系统100或操作者可以确定包括气泡伪影的图像112仍然可以用于测量数据生成。可替代地，如果图像112包括在患者眼睛110的中心附近并且具有覆盖超过患者眼睛110的阈值的组合尺寸的多个气泡伪影，则系统100或操作者可以确定包括气泡伪影的图像112不能用于测量数据生成。

基于各种因素，使用包括一个或多个伪影的图像来生成测量数据的这种确定可以是图像特定的。各种因素可以包括患者眼睛的可用无伪影图像的数量、包括至少一个伪影的图像中伪影的类型、包括至少一个伪影的图像中伪影的尺寸、包括至少一个伪影的图像中伪影的位置等。

实时处理图像数据以识别其中的伪影的示例方法

图5描绘了识别包括一个或多个伪影的数字图像的示例方法500。例如，图1的控制器106和/或系统100可以被配置成例如基于图2A和图2B的机器学习模型来执行方法500。

方法500从框502开始，并且在框504处，开始于基于成像设备(例如，像差仪104)的操作捕获图像(例如，患者眼睛110的图像112)。在一些实例中，系统100的一个或多个相机可以捕获图像。在一些实例中，图像可以包括彩色图像(例如，包括三个数据通道，红色、绿色和蓝色层中的每一个都有一个数据通道)或灰度图像。此外，图像可以具有以像素为单位测量的第一尺寸(例如，640×480像素)。

在框506处，方法500继续从图像捕获元件获得图像。方法500可以从相机获得图像，如上所述，其中，相机对应于图像捕获元件。

在一些实施例中，获得图像包括从相机或像差仪104接收图像112，如图1中示出的。

方法500然后进行到框508，其中对图像进行预处理以为机器学习模型的分类做准备。在一些实施例中，机器学习模型是两阶段机器学习模型，如上文参考图2A至图3C所描述的。在一些实施例中，框508的预处理是可选的。例如，如本文所解释的，只有当图像需要被处理以将其作为合适的输入呈现给机器学习模型时才可能需要预处理。预处理可以涉及调整图像的尺寸、图像中像素的格式、图像中通道的数量和/或图像的感兴趣区域的选择中的一者或多者。

在一些实例中，对图像进行预处理包括利用预处理模块201对图像112进行预处理，以生成用于输入到机器学习模型203的输入图像202，如图2A至图2B中示出的。

方法500然后进行到框510，其中利用两阶段机器学习模型的特征提取阶段基于经预处理的图像来生成特征向量。在一些实施例中，特征提取阶段是机器学习模型的第一阶段，并且包括以上介绍的VGG16 CNN。可替代地，特征提取阶段可以包括任何其他神经网络(例如VGG19、ResNet50、Inception V3、Xception等)的对应特征或阶段。通过方法500生成的特征向量可以包括输出向量。

在一些实例中，框510对应于利用机器学习模型203的第一阶段204来处理经预处理的输入图像202以生成特征向量206，如图2A至图2B中示出的。

方法500然后进行到框512，其中利用两阶段机器学习模型的分类阶段基于特征向量来生成输出向量(例如，伪影概率210、212或214之一)。在一些实例中，在框512处生成的输出向量包括机器学习模型被配置成识别的所有伪影类型的输出向量的组合。该分类阶段可以包括一个或多个全连接层和具有神经元的输出层，该神经元应用激活函数以生成输出向量。在一些实施例中，输出层神经元的激活函数可以包括S型函数或逻辑激活函数。在其他示例中，激活函数可以包括其他函数，如softmax激活函数或可以提供概率输出的其他激活函数。

在一些实例中，框512对应于利用机器学习模型203的第二阶段208来处理特征向量206以生成伪影概率210、212和214，如图2A至图2B中示出的。例如，所生成的输出向量可以包括伪影概率210、212和214中的每一个，或者可以包括伪影概率210、212或214中的一个或多个的任何组合。在一些实施例中，分类阶段对应于机器学习模型203的第二阶段208。

方法500然后进行到框514，其中基于输出向量来确定所获得的图像112的图像质量以显示给操作者。在一些实施例中，输出向量提供关于图像包括一个或多个伪影的概率的概率信息。在一些实例中，图像的质量可以根据以上方程1基于该概率来确定。因此，图像质量可以指示图像包括伪影的概率，其中，包括伪影可能会干扰对患者眼睛的屈光数据和其他数据的测量。然后，方法500在框516处结束。

例如，表示伪影概率210、212和214的输出向量可以指示图像112关于包括气泡伪影的概率为0.75，关于包括闪烁伪影的概率为0.01，并且关于包括漂浮物伪影的概率为0.24。

如以上所介绍的，方法500通常可以针对由系统100的像差仪104或(多个)相机生成的每个图像重复地或迭代地执行。

值得注意的是，图5仅仅是一种示例方法，并且具有附加的、不同的和/或更少的步骤(或框)的其他方法也可能与本文描述的各种实施例一致。

训练用于处理图像数据以识别其中的伪影的机器学习模型的示例方法

图6描绘了用于训练机器学习模型以识别包括一个或多个伪影的数字图像的示例方法600。机器学习模型的训练可以由图1的控制器106和/或系统100或者系统100外部的部件或系统中的一者或多者来完成。方法600可以用于训练例如图2A和图2B的机器学习模型。在一些实施例中，方法600仅训练第二阶段208、218和/或228(即，分类阶段)而不训练第一阶段204(即，特征提取阶段)。

方法600从框602开始，并且在框604处，开始于获得将用于训练机器学习模型的图像。在一些实例中，图像是从图像捕获设备(例如，系统100的像差仪104和/或一个或多个相机)实时获得的。在一些实例中，图像是从数据存储中获得的，例如，用于训练机器学习模型的图像数据库。在一些实例中，所获得的图像关于它们是否包括伪影以及(如果包括的话)它们包括什么伪影进行标记。

在框606处，方法600继续利用两阶段机器学习模型的特征提取阶段为图像中的每一个生成特征向量。如以上所介绍的，特征提取阶段基于将特征提取阶段(例如，机器学习模型203的第一阶段204)应用于图像(例如具有VGG16 CNN架构的特征提取阶段)来生成特征向量。在一些实例中，可以为机器学习模型(例如，VGG19等)的特征提取阶段实施其他特征提取阶段。在一些实施例中，每个图像的特征向量具有相同的维度(例如，1×512个元素或样本的维度)。

在框608处，方法600继续基于堆叠所生成的特征向量来生成特征矩阵。堆叠所生成的特征向量可以包括仅通过将多个特征向量中的一个放在另一个之上以创建特征矩阵来从多个特征向量中创建矩阵。特征矩阵将具有特征向量的长度维度和堆叠在一起的多个特征向量的高度维度。对于本文的示例用例，可以通过堆叠通过第一阶段204为通过第一阶段204和机器学习模型203处理的每个图像(例如，数据集的所有图像)生成的特征向量206来生成特征矩阵。

在框610处，方法600继续基于特征矩阵来训练分类阶段。在一些实例中，分类阶段(即，第二阶段208)包括采用基于所获得的训练图像生成的特征矩阵来训练分类阶段，以正确地识别由分类阶段处理的图像中的伪影。正确地识别伪影可以包括第二阶段208生成输出，该输出在图像确实包含伪影时识别伪影的高概率，而在图像不包括伪影时标识伪影的低概率。在一些实施例中，第二阶段208的(多个)激活函数可以作为训练分类阶段的一部分而变化。在一些实施例中，经训练的第二阶段208然后可以用于确定从在一个或多个程序期间使用的诊断成像设备(例如，像差仪104)实时接收的图像是否包括一个或多个伪影。然后，方法600在框612处结束。

如以上所介绍的，方法600通常可以重复地或迭代地执行。

值得注意的是，图6仅仅是一种示例方法，并且具有附加的、不同的和/或更少的步骤(或框)的其他方法也可能与本文描述的各种实施例一致。

示例处理系统

图7是处理系统或设备的实施例的图。根据一些实施例，参考像差仪104、控制器106、用户界面108等，图7的处理系统代表可以被包括在实施本文描述的机器学习模型处理的一个或多个术中像差系统中的计算系统。具体地，图7的处理系统可以实施根据数据流200、250a、250b和250c并以其他方式在本文中介绍和讨论的机器学习模型203、217和227中的一个或多个，以识别患者眼睛图像的图像数据中的伪影，如图4A至图4G等中示出的。

图7展示了计算系统700，其中，系统700的部件彼此电连通。系统700包括处理器710和耦接各种部件的系统总线705。例如，总线705将处理器710耦接到各个存储器部件，如只读存储器(ROM)720、随机存取存储器(RAM)725等(例如，PROM、EPROM、FLASH-EPROM和/或任何其他存储器芯片或盒)。系统700可以进一步包括与处理器710(直接或间接)连接、与之紧邻、或集成为其一部分的高速存储器的缓存712。系统700可以通过缓存712来访问存储在ROM 720、RAM 725和/或一个或多个存储设备730中的数据以供处理器710进行高速访问。在一些示例中，缓存712可以提供性能提升，以避免处理器710从ROM 720、RAM 725和/或一个或多个存储设备730访问之前存储在缓存712中的数据时的延迟。在一些示例中，一个或多个存储设备730存储一个或多个软件模块(例如，软件模块732、734、736、738、739等)。软件模块732、734、736、738和/或739可以控制和/或被配置成控制处理器710执行各种动作，如方法500和/或600的过程。在一些方面，软件模块732、734、736、738和/或739中的一个或多个包括本文描述的机器学习模型203、217和/或227的细节。一些实例可以包括附加的或更少的软件模块和/或代码，以对处理器710进行编程以执行其他功能。

在一些实施例中，软件模块732包括对处理器710进行编程以对图像进行预处理的指令。用于对图像进行预处理的代码可以使处理器710(或计算系统700或任何其他计算系统的任何其他部件)对由系统100的像差仪104和/或相机生成的图像112进行预处理。处理器710可以进行以下各项中的一项或多项：调整图像112的尺寸、图像112的像素格式、识别图像112中的感兴趣区域、或者改变图像112的通道数量，从而生成输入图像202。

在一些实施例中，软件模块734包括对处理器710进行编程以生成特征向量的指令。用于生成特征向量的代码可以使处理器710(或计算系统700或任何其他计算系统的任何其他部件)应用机器学习模型203(或对应的机器学习模型203)的第一阶段204来处理和分析输入图像202以生成特征向量。机器学习模型203的第一阶段204可以包括任何特征生成神经网络部件，如VGG16 CNN等。

在一些实施例中，软件模块736包括对处理器710进行编程以生成输出向量的指令。用于生成输出向量的代码可以使处理器710(或计算系统700或任何其他计算系统的任何其他部件)应用机器学习模型203(或对应的机器学习模型203)的第二阶段208来处理和分析特征向量以生成输出向量。机器学习模型203的第二阶段208可以包括任何分类神经网络部件，如具有使用S型激活函数来生成输出向量的输出层的全连接层，该输出向量标识经处理的图像包括对应伪影的概率。

在一些实施例中，软件模块738包括对处理器710进行编程以基于所生成的输出向量来确定图像质量的指令。用于确定图像质量的代码可以使处理器710(或计算系统700或任何其他计算系统的任何其他部件)分析在输出向量中标识的概率，以基于输出向量中的概率来确定对应的图像质量。

在一些实施例中，软件模块739包括对处理器710进行编程以训练机器学习模型203的指令。用于训练机器学习模型的代码可以使处理器710(或计算系统700或任何其他计算系统的任何其他部件)训练机器学习模型203(或对应的机器学习模型203)的第一阶段204或第二阶段208中的一者或多者。在一些实例中，训练阶段可以包括使用经标记图像的数据集基于经标记图像来识别和训练对应阶段的参数、权重和/或偏差，以使得阶段能够根据标记对图像进行分类。

虽然系统700被示出为具有仅一个处理器710，但是应理解的是，处理器710可以代表一个或多个中央处理器(CPU)、多核处理器、微处理器、微控制器、数字信号处理器(DSP)、现场可编程门阵列(FPGA)、专用集成电路(ASIC)、图形处理单元(GPU)、张量处理单元(TPU)等。在一些示例中，系统700可以被实施为独立式子系统和/或实施为添加至计算设备的板、或实施为虚拟机、或实施为基于云的处理机器。

为了使得用户能够与系统700交互，系统700包括一个或多个通信接口740和/或一个或多个输入/输出(I/O)设备745。在一些示例中，该一个或多个通信接口740可以包括一个或多个网络接口、网络接口卡等，以根据一个或多个网络和/或通信总线标准来提供通信。在一些示例中，一个或多个通信接口740可以包括用于经由网络与系统700通信的接口。在一些示例中，该一个或多个I/O设备745可以包括一个或多个用户界面设备(例如，键盘、定点/选择设备(例如，鼠标、触摸板、滚轮、轨迹球、触摸屏等)、音频设备(例如，麦克风和/或扬声器)、传感器、致动器、显示设备等)。

一个或多个存储设备730中的每一个可以包括如由硬盘、光学介质、固态驱动器等提供的非暂态非易失性存储装置。在一些示例中，一个或多个存储设备730中的每一个可以与系统700(例如，本地存储设备)位于同一地点和/或远离系统700(例如，云存储设备)。

根据一些实施例，系统700可以提供图形用户界面(GUI)，其适合于辅助使用者(例如，外科医生和/或其他医务人员或操作者)执行方法500和/或600的过程。例如，GUI可以提供图1的用户界面108。GUI可以包括对由系统100捕获的图像的描述、由机器学习模型203、217和/或227生成的质量条形图和其他信息、给操作者的关于是保留还是排除关于处理的图像的指令或建议、对患者眼睛的图像内的伪影的识别(例如，如图4A至图4G所描绘的)、对操作者输入的请求、给操作者的消息等。在一些示例中，GUI可以显示患者眼睛的真彩色图像和/或灰度图像等。

经分类图像的实例显示

图8A至图8O是根据多个实施例的用于经由图形用户界面向用户提供患者眼睛的数字图像以及图像质量和/或任何检测到的伪影的细节的显示概念。这些显示概念描绘了向操作者呈现关于患者眼睛图像的信息(即图像是否包括任何伪影以及图像质量)的不同方式。此外，显示概念可以标识任何所包括的伪影的位置以及图像的度量，如图像是“良好”图像还是“不良”图像和/或图像的质量等。注意，图8A至图8O仅仅是一些示例，并且其他实施方式也是有可能的。

图8A示出了“良好”图像820和标识图像820的图像质量的标记822的基本显示的显示概念800，此处包括文本“良好图像”。在某些实施例中，“良好”图像包括患者眼睛的不包括任何伪影或者可以以其他方式被处理成患者眼睛的一个或多个测量结果的图像。“良好图像”的分类是针对作为整体的图像820的，并且指示不存在明显的伪影。标记822可以包括使用一个或多个词来描述图像820的图像质量的任何文本标记，该图像质量基于成像系统是否能够处理患者眼睛的一个或多个测量结果的对应图像来评估。因此，当图像820是良好图像时，则标记822可以将该图像标识为这样的“良好图像”。在一些实施例中，当一个或多个伪影不损害处理患者眼睛的测量结果的图像的能力时，如当伪影小于阈值尺寸或在患者眼睛的特定区域中时等，患者眼睛的包括一个或多个伪影的图像可以被标记为“良好图像”。

图8B示出了“良好”图像820的另一显示、标识图像820的图像质量的标记822、以及示出了图像820的相对图像质量的视觉或梯度图例或标度(本文中称为“视觉图例”)824的显示概念801。视觉图例824可以包括使用从第一值(例如，在底部)到第二值(例如，在顶部)的图像值的方案或标度的颜色、色调、灰度、图案等的范围。在一些实施例中，视觉图例824的取向可以被调整为水平、对角线等。在一些实施例中，视觉图例824的第一值指示质量较差或不良的图像。视觉图例824可以指示图像820的图像质量从图像质量增加的第一值(质量较差的图像)到指示高质量或质量良好的图像的第二值的进展。视觉图例824可以包括箭头826，该箭头指示关于图像820的图像质量，图像820的图像质量落在视觉图例824的何处。在图8B中，当箭头826将图像质量标识为接近视觉图例824中的第二值时，箭头826指示图像820是良好图像。标记822包括文本“良好图像”，其中，良好图像如上所述进行分类。

图8C示出了“良好”图像820的另一显示、标识图像820的图像质量的标记822、以及示出图像820的相对图像质量的视觉信号828的显示概念802。视觉信号828可以包括不同的颜色、色调、灰度、图案等，以指示关于图像820的不同信息，例如像交通信号灯一样。类似于视觉图例824，视觉信号828可以包括针对不同图像质量的不同指示符，包括不良或较差图像质量(左边)、边缘图像质量(中间)以及高或良好图像质量(右边)。如图8C中示出的，显示概念802示出了视觉信号828的最右边的指示符，其指示图像820的良好图像质量。此外，标记822包括文本“良好图像”，其中，良好图像如上所述进行分类。

图8D示出了图像820的另一显示、视觉信号828以及示出了图像820的相对图像质量的图像质量指示符830的显示概念803。视觉信号828可以示出表示良好图像质量的最右边的指示符(其可以是彩色的，例如绿色)。图像质量指示符830可以提供0与100％之间的图像质量百分比。如显示概念803中示出的，图像质量指示符830可以示出图像820的87％的图像质量。类似于能够指示不同图像质量的视觉图例824和视觉信号828，图像质量指示符830可以具有针对良好、边缘和较差图像质量的不同阈值。如图8D中示出的，显示概念803经由图像质量指示符830示出图像820具有87％的图像质量。视觉信号828中最右边的指示符指示图像820具有良好图像质量，其中，良好图像质量如上所述进行分类。

图8E示出了“良好”图像820的另一显示、直到并包括图像820的图像序列的质量相关值834、直到并包括图像820的图像序列的质量的曲线图832的显示概念804。质量相关值834示出了质量值的标准偏差(STD)为22并且平均质量为63％。平均质量可以包括图像序列中直到并包括图像820的图像的图像质量830的值的平均值。此外，曲线图832示出了图像序列的至少一个子集如何例如关于质量相关值834相互比较。在一些实施例中，曲线图832是缩放直到其达到预定义数量的图像的实时图，并且可以随着附加图像被添加到图像序列而滚动。

图8F示出了“不良”图像840的显示、标记822以及示出了图像840的相对图像质量的图像质量指示符830的显示概念805。标记822指示图像840是“不良”图像，并进一步指示为什么图像840具有不良图像质量，在这种情况下，这是因为在图像840中检测到气泡伪影。“不良图像”的分类是针对作为整体的图像840的，并且指示图像840中存在一个或多个伪影。如以上所介绍的，标记822可以包括使用一个或多个词来描述图像840的图像质量的文本标记，该图像质量基于成像系统是否能够处理患者眼睛的一个或多个测量结果的对应图像来评估。因此，当图像840是不良图像时，则标记822可以将图像840标识为“不良图像”并详细说明是什么导致图像840具有不良图像质量。该示例中的图像质量指示符830为图像840提供32％的图像质量。

图8G示出了“不良”图像840的另一显示的显示概念806，其中，在该示例中，标记822标识图像840的图像质量，并且视觉图例824示出了图像840的相对图像质量。视觉图例824可以包括以上介绍的颜色、色调、灰度、图案等的范围。视觉图例824可以包括指示图像840的图像质量落在视觉图例824上何处的箭头826。在图8G中，箭头826标识视觉图例824中的第一水平，从而指示图像840是不良图像。标记822包括文本“不良图像”，其中，不良图像如上所述进行分类，并且包括标识图像840中所标识的(多个)伪影类型的附加文本。

图8H示出了“不良”图像840的另一显示的显示概念807，其中，在该示例中，标记822标识图像840的图像质量，并且视觉信号828示出了图像840的相对图像质量。如以上所介绍的，视觉信号828可以包括不同的颜色、色调、灰度、图案等，其指示关于图像840的不同信息。如图8H中示出的，显示概念807示出了视觉信号828的最左边的指示符，其指示图像840的不良图像质量。此外，标记822包括文本“不良图像”，其中，不良图像如上所述进行分类，并且包括标识图像840中所标识的(多个)伪影类型的附加文本。

图8I示出了“不良”图像840的另一显示的显示概念808，其中，在该示例中，视觉信号828和图像质量指示符830示出了图像840的相对图像质量。例如，视觉信号828可以示出表示图像840的不良图像质量的最左边的指示符。图像质量指示符830为图像840提供17％的图像质量百分比。

图8J示出了“不良”图像840的另一显示、直到并包括图像840的图像序列的质量相关值834、直到并包括图像840的图像序列的质量的曲线图832的显示概念809。质量相关值834示出了STD质量值为22并且平均质量为14％。平均质量可以包括图像序列中直到并包括图像840的图像的图像质量830的值的平均值。此外，曲线图832示出了图像序列的至少一个子集如何例如关于质量评分和/或平均质量834相互比较。在一些实施例中，曲线图832是缩放直到其达到预定义数量的图像的实时图，并且可以随着附加图像被添加到图像序列而滚动。

图8K示出了“不良”图像840的显示、标记822、示出了图像840的相对图像质量的图像质量指示符830、以及标识图像840中气泡伪影的大致位置的一个或多个圆圈837的显示概念810。圆圈837可以包括一种或多种颜色、色调、灰度、图案等，以标识不同的伪影和/或伪影的可接受性。例如，根据以上讨论，圆圈837的不同颜色、色调、灰度、图案等可以对应于不同范围的伪影，即从不可接受的或不良伪影到边缘伪影再到可接受的伪影。标记822指示图像840是“不良”图像，并进一步指示为什么图像840被识别为不良图像(例如，检测到气泡伪影)。图像质量指示符830可以为图像840提供32％的图像质量百分比。

图8L示出了“不良”图像840的显示、标记822、示出了图像840的相对图像质量的图像质量指示符830、以及标识图像840中气泡伪影的大致位置的具有透明填充838的一个或多个圆圈的显示概念811。如以上介绍的，具有透明填充838的圆圈可以包括一种或多种颜色、色调、灰度、图案等，以标识不同的伪影和/或伪影的可接受性。例如，根据以上讨论，具有透明填充838的圆圈的不同颜色、色调、灰度、图案等可以对应于不同范围的伪影，即从不可接受的或不良伪影到边缘伪影再到可接受的伪影。标记822指示图像840具有“不良”图像质量，并进一步指示为什么图像840是不良图像(例如，检测到气泡伪影)。图像质量指示符830可以为图像840提供32％的图像质量百分比。

图8M示出了“不良”图像840的另一显示、标识图像840的图像质量的标记822、示出图像840的相对图像质量的视觉图例824、以及用于经调出的伪影的单独文本描述839的显示概念812。视觉图例824可以包括以上介绍的颜色、色调、灰度、图案等的范围。视觉图例824可以包括指示图像840落在视觉图例824上何处的箭头826。在图8M中，当箭头826标识视觉图例824中的低值时，箭头826指示图像840是不良图像。标记822包括文本“不良图像”和“检测到的气泡伪影”的描述，其中，不良图像如上所述被分类，从而标识图像840中识别的(多个)伪影的类型。各个文本描述839可以包括经识别的伪影的各种细节，包括尺寸、相对位置、对图像质量的影响、可接受性等。如显示概念812中示出的，各个文本描述839使用引线等与经识别的伪影相关联。

图8N示出了“不良”图像840的另一显示、标识图像840的图像质量的标记822、示出图像840的相对图像质量的视觉图例824、以及用于经调出的伪影的单独文本描述839的显示概念813。视觉图例824可以包括以上介绍的颜色、色调、灰度、图案等的范围。视觉图例824可以包括指示图像840落在视觉图例824上何处的箭头826。在图8N中，当箭头826标识视觉图例824中的低水平时，箭头826指示图像840具有不良图像质量。标记822包括文本“不良图像”和“检测到的气泡伪影”的描述，其中，不良图像如上所述被分类，从而标识图像840中识别的(多个)伪影的类型。各个文本描述839可以包括经识别的伪影的各种细节，包括尺寸、相对位置、对图像质量的影响、可接受性等。如显示概念813中示出的，各个文本描述839使用字母数字标识符等与经识别的伪影相关联。

图8O示出了“不良”图像840的另一显示、直到并包括图像840的图像序列的质量相关值834、直到并包括图像840的图像序列的质量的曲线图832、以及标识图像840中的气泡伪影的大致位置的一个或多个圆圈837的显示概念814。质量相关值834示出了STD质量值为22并且平均质量为14％。平均质量可以包括图像序列中直到并包括图像840的图像的图像质量830的值的平均值。此外，曲线图832示出了图像序列的至少一个子集如何例如关于质量相关值834相互比较。在一些实施例中，曲线图832是缩放直到其达到预定义数量的图像的实时图，并且可以随着附加图像被添加到图像序列而滚动。此外，圆圈837可以包括一种或多种颜色、色调、灰度、图案等，以标识不同的伪影和/或伪影的可接受性。例如，根据以上讨论，圆圈837的不同颜色、色调、灰度、图案等可以对应于不同范围的伪影，即从不可接受的或不良伪影到边缘伪影再到可接受的伪影。

在一些实施例中，图像序列中伪影位置的图形识别是基于滞后的。也就是说，从序列的图像到图像，给定的伪影(例如气泡)通常可以位于与(多个)先前和/或后续图像相比相同或基本相同的位置处。这些位置可能受到数字量化和其他噪声因素的影响，这些因素会稍微改变或修改一个图像到另一个图像的位置值。通过滞后，除非先前位置与当前位置之间的差异超过某个阈值，否则图像显示器上的伪影位置图形(例如以上介绍的彩色编码圆圈覆盖物)不会更新。滞后的使用可以防止在图像序列的实时显示期间图像伪影的位置上出现分散注意力的可见抖动。这种滞后也可以适用于数字数据和文本描述，如“良好图像”和“不良图像”。

在一些实施例中，以各种方式指示特定伪影在所显示图像中的位置。例如，基于操作者的选择，可以实时显示伪影或者仅显示静态图像。在一些实施例中，可以指定例如由单个操作者设置的选项集，使得在检查和/或程序之间保留显示选项，并且操作者不需要为每个患者选择这些选项。另外，可以存在各种操作模式(例如，新手模式和/或专家模式)，使得基于为程序或操作者选择或激活的操作模式向操作者提供不同级别的帮助和/或识别。在一些实施例中，经识别的伪影可以与如“气泡”等伪影描述的文本显示一起用单个伪影和整体伪影两者的数值来显示。伪影描述的这种文本显示可以包括严重性值(例如，质量评分)和伪影面积。在一些实施例中，整体伪影值包括总图像质量评分、图像中伪影的总数、每种伪影的数量、受伪影影响的总面积等。

示例条款

实施示例在以下编号的条款中描述：

条款1：一种用于在眼科手术期间实时处理来自术中诊断设备的图像数据的系统，所述系统包括：图像捕获元件，所述图像捕获元件被配置成从所述术中诊断设备捕获患者眼睛的灰度图像，所述灰度图像具有第一尺寸；图像处理元件，所述图像处理元件被配置成：从所述图像捕获元件获得所述灰度图像；将所述灰度图像从所述第一尺寸缩放到第二尺寸；并且对所述经缩放的灰度图像进行预处理以为分类做准备；两阶段分类模型，所述两阶段分类模型包括：特征提取阶段，所述特征提取阶段被配置成对所述经缩放的灰度图像进行处理并基于所述经缩放的灰度图像来生成特征向量；以及分类阶段，所述分类阶段被配置成对所述特征向量进行处理并基于所述特征向量来生成输出向量；其中，所述图像处理元件进一步被配置成基于伪影概率的输出向量来确定所获得的灰度图像的图像质量以显示给操作者，并且其中，所获得的灰度图像的图像质量指示所获得的灰度图像包括伪影的概率。

条款2：如条款1所述的系统，进一步包括数据显示元件，所述数据显示元件被配置成为所述操作者生成所获得的灰度图像的图像质量的显示。

条款3：如条款2所述的系统，其中，所述数据显示元件进一步被配置成基于确定所述灰度图像包括伪影并且所述伪影将所获得的灰度图像的图像质量降低到阈值以下来显示所获得的灰度图像。

条款4：如条款3所述的系统，其中，所述数据显示元件进一步被配置成基于确定所述灰度图像包括将所述图像质量降低到所述阈值以下的伪影来生成具有标识所述伪影在所获得的灰度图像中的位置的指示符的所获得的灰度图像的显示。

条款5：如条款4所述的系统，进一步包括图像分割模型或物体检测模型中的至少一者，其被配置成基于所获得的灰度图像来识别所述伪影的位置以显示给所述操作者。

条款6：如条款2至5中任一项所述的系统，其中：所述数据显示元件进一步被配置成显示：第一指示符，所述第一指示符指示相对于正在处理的图像子集的图像质量的平均值的总体质量显示；以及第二指示符，所述第二指示符指示所获得的灰度图像的图像质量；并且所获得的灰度图像的图像质量基于经缩放和经预处理的灰度图像中存在所述伪影的概率。

条款7：如条款1至6中任一项所述的系统，其中：为了对所述经缩放的灰度图像进行预处理，所述图像处理元件进一步被配置成创建一组三个经缩放的灰度图像，并且为了对所述经缩放的灰度图像进行处理并基于所述经缩放的灰度图像来生成特征向量，所述特征提取阶段进一步被配置成基于所述一组三个经缩放的灰度图像来生成所述特征向量，其中，所述一组三个经缩放的灰度图像中的每个经缩放的灰度图像被用作所述特征提取阶段的输入数据通道。

条款8：如条款1至7中任一项所述的系统，其中：所述特征提取阶段包括卷积神经网络，并且所述分类阶段包括一个或多个全连接层和一个S型激活函数。

条款9：如条款1至8中任一项所述的系统，其中：所获得的灰度图像包括宽视场图像类型，并且所述伪影是由碎片或器械中的一者或多者引起的，所获得的灰度图像包括焦点视图图像类型，并且所述伪影是由所述患者眼睛位置处的干燥或过量流体中的一者或多者引起的，或者所获得的灰度图像包括干涉图视图图像类型，并且所述伪影包括所获得的灰度图像中的闪烁、气泡或漂浮物中的一者或多者。

条款10：如条款9所述的系统，进一步包括：第二两阶段分类模型，所述第二两阶段分类模型包括：第二特征提取阶段，所述第二特征提取阶段被配置成对第二经缩放的灰度图像进行处理并基于所述第二灰度图像来生成第二特征向量；以及第二分类阶段，所述第二分类阶段被配置成对所述第二特征向量进行处理并基于所述第二特征向量来生成第二输出向量，以及第三两阶段分类模型，所述第三两阶段分类模型包括：第三特征提取阶段，所述第三特征提取阶段被配置成对第三经缩放的灰度图像进行处理并基于所述第三灰度图像来生成第三特征向量；以及第三分类阶段，所述第三分类阶段被配置成对所述第三特征向量进行处理并基于所述第三特征向量来生成第三输出向量，其中：由所述特征提取阶段处理的所述经缩放的灰度图像包括所述宽视场图像类型、所述焦点视图图像类型和所述干涉图视图图像类型中的第一种，由所述第二特征提取阶段处理的所述第二灰度图像包括所述宽视场图像类型、所述焦点视图图像类型和所述干涉图视图图像类型中的另一种，并且由所述第三特征提取阶段处理的所述第三灰度图像包括所述宽视场图像类型、所述焦点视图图像类型和所述干涉图视图图像类型中未由所述特征提取阶段和所述第二特征提取阶段处理的第三种。

条款11：如条款10所述的系统，其中，由所述特征提取阶段处理所述经缩放的灰度图像与由所述第二特征提取阶段处理所述第二灰度图像和由所述第三特征提取阶段处理所述第三灰度图像并行进行。

条款12：如条款10和11中任一项所述的系统，其中，由所述特征提取阶段处理所述经缩放的灰度图像与由所述第二特征提取阶段处理所述第二灰度图像串行进行，由所述第二特征提取阶段处理所述第二灰度图像与由所述第三特征提取阶段处理所述第三灰度图像串行进行。

条款13：如条款1至13中任一项所述的系统，其中，所述术中诊断设备被配置成对所述图像执行屈光分析。

条款14：如条款1至14中任一项所述的系统，其中，所述图像处理元件进一步被配置成当所述图像质量基于所述伪影而低于第一阈值时将所述灰度图像从进一步处理中排除。

条款15：一种在眼科手术期间实时处理从术中诊断设备获得的图像数据的方法，所述方法包括：从所述术中诊断设备捕获患者眼睛的灰度图像，所述灰度图像具有第一尺寸；从图像捕获元件获得所述灰度图像；对所述灰度图像进行预处理以为由两阶段机器学习模型进行的分类做准备；利用所述两阶段机器学习模型的特征提取阶段基于所述经预处理的灰度图像来生成特征向量；利用所述两阶段机器学习模型的分类阶段基于所述特征向量来生成输出向量；以及基于所述输出向量来确定所获得的灰度图像的图像质量以显示给操作者，其中，所获得的灰度图像的图像质量指示所获得的灰度图像包括干扰由所述术中诊断设备进行的测量的伪影的概率。

条款16：如条款15所述的方法，进一步包括：为所述操作者生成所获得的灰度图像的质量的显示；以及基于确定所述经缩放的灰度图像包括将所述图像质量降低到所述第一阈值以下的伪影来识别伪影在所获得的灰度图像中的位置。

条款17：如条款15和16中任一项所述的方法，其中，对所述灰度图像进行预处理包括将所述灰度图像从所述第一尺寸缩放到第二尺寸。

条款18：如条款17所述的方法，其中：对所述经缩放的灰度图像进行预处理进一步包括复制所述经缩放的灰度图像以创建一组三个经缩放的灰度图像，并且基于所述经缩放的灰度图像来生成特征向量包括基于所述一组三个经缩放的灰度图像来生成所述特征向量，其中，所述一组三个灰度图像中的每个经缩放的灰度图像被用作所述特征提取阶段的输入数据通道。

条款19：如条款15至18中任一项所述的方法，其中：所述特征提取阶段包括卷积神经网络，并且所述分类阶段包括一个或多个全连接层和一个S型激活函数。

条款20：如条款15至19中任一项所述的方法，其中：所获得的灰度图像包括宽视场图像类型，并且所述伪影是由碎片或器械中的一者或多者引起的，所获得的灰度图像包括焦点视图图像类型，并且所述伪影是由所述患者眼睛位置处的干燥或过量流体中的一者或多者引起的，或者所获得的灰度图像包括干涉图视图图像类型，并且所述伪影包括所获得的灰度图像中的闪烁、气泡或漂浮物中的一者或多者。

条款21：如条款20所述的方法，进一步包括：利用第二两阶段机器学习模型的第二特征提取阶段基于第二灰度图像来生成第二特征向量；利用所述第二两阶段机器学习模型的第二分类阶段基于所述第二特征向量来生成第二输出向量；利用第三两阶段机器学习模型的第三特征提取阶段基于第三灰度图像来生成第三特征向量；以及利用所述第三两阶段机器学习模型的第三分类阶段基于所述第三特征向量来生成第三输出向量，其中：所述灰度图像包括所述宽视场图像类型、所述焦点视图图像类型和所述干涉图视图图像类型中的第一种，所述第二灰度图像包括所述宽视场图像类型、所述焦点视图图像类型和所述干涉图视图图像类型中的另一种，并且所述第三灰度图像包括所述宽视场图像类型、所述焦点视图图像类型和所述干涉图视图图像类型中未由所述特征提取阶段和所述第二特征提取阶段处理的第三种。

条款22：如条款21所述的方法，其中，所述特征向量与所述第二特征向量和所述第三特征向量并行生成。

条款23：如条款21和22中任一项所述的方法，其中，所述特征向量与所述第二特征向量串行生成，所述第二特征向量与所述第三特征向量串行生成。

条款24：一种训练两阶段机器学习模型的方法，所述两阶段机器学习模型识别在眼科手术期间从术中像差仪获得的图像中的伪影，所述方法包括：获得所述图像；利用所述两阶段机器学习模型的特征提取阶段为所述图像中的每一个生成特征向量；基于堆叠所生成的特征向量来生成特征矩阵；以及基于所述特征矩阵来训练分类阶段，其中，经训练的分类阶段为经处理的图像生成指示所述图像包括伪影的概率的输出。

条款25：如条款24所述的方法，进一步包括训练所述特征提取阶段的权重。

条款26：一种处理系统，包括：存储器，所述存储器包括计算机可执行指令；一个或多个处理器，所述一个或多个处理器被配置成执行所述计算机可执行指令并使所述处理系统执行根据权利要求1至25中任一项所述的方法。

条款27：一种处理系统，包括用于执行根据权利要求1至25中任一项所述的方法的装置。

条款28：一种非暂态计算机可读介质，所述非暂态计算机可读介质包括计算机可执行指令，所述计算机可执行指令当由处理系统的一个或多个处理器执行时使所述处理系统执行根据权利要求1至25中任一项所述的方法。

条款29：一种计算机程序产品，所述计算机程序产品体现在计算机可读存储介质上，包括用于执行根据条款1至25中任一项所述的方法的代码。

附加考虑

提供前面的描述是为了使本领域的任何技术人员能够实践本文所描述的各种实施例。本文讨论的示例不限制权利要求中阐述的范围、适用性或实施例。对这些实施例的各种修改对于本领域技术人员来说是显而易见的，并且本文所定义的一般原理可以应用于其他实施例。例如，在不脱离本披露内容的范围的情况下，可以对所讨论的元素的功能和布置进行改变。各种示例可以适当地省略、替换或添加各种程序或部件。例如，所描述的方法可以按照不同于所描述的顺序来执行，并且可以添加、省略或组合各种步骤。此外，关于一些示例描述的特征可以在一些其他示例中组合。例如，可以使用本文阐述的任何数量的方面来实施装置或实践方法。另外，本披露内容的范围旨在覆盖使用除了或不同于本文阐述的本披露内容的各个方面的其他结构、功能或结构和功能来实践的装置或方法。应当理解，本文所披露的本披露内容的任何方面可以由权利要求的一个或多个元素来体现。

如本文所使用的，词语“示例性”是指“用作示例、实例或例证”。本文中被描述为“示例性”的任何方面不必解释为比其他方面优选或有利。

如本文所使用的，关于项目列表中的“至少一个”的短语是指那些项目的任何组合，包括单个成员。例如，“a、b或c中的至少一个”旨在涵盖a、b、c、a-b、a-c、b-c和a-b-c以及与同一元素的倍数的任意组合(例如，a-a、a-a-a、a-a-b、a-a-c、a-b-b、a-c-c、b-b、b-b-b、b-b-c、c-c和c-c-c或a、b和c的任何其他顺序)。

如本文所使用的，术语“确定”包括多种多样的动作。例如，“确定”可以包括计算、运算、处理、导出、调查、查找(例如，在表格、数据库或其他数据结构中查找)、查明等。而且，“确定”可以包括接收(例如，接收信息)、访问(例如，访问存储器中的数据)等。而且，“确定”可以包括解析、选择、挑选、建立等。

本文所披露的方法包括用于实现方法的一个或多个步骤或动作。在不脱离权利要求的范围的情况下，方法步骤和/或动作可以彼此互换。换句话说，除非指定了特定的步骤或动作顺序，否则可以在不脱离权利要求的范围的情况下修改特定步骤和/或动作的顺序和/或使用。进一步地，上述方法的各种操作可以由能够执行对应功能的任何合适的装置来执行。所述装置可以包括各种硬件和/或软件部件和/或模块，包括但不限于电路、专用集成电路(ASIC)或处理器。通常，在图中展示了操作的情况下，那些操作可以具有对应的带类似编号的对应装置加功能部件。

以下权利要求不旨在限于本文所示的实施例，而是被赋予与权利要求的语言一致的全部范围。在权利要求中，除非特别说明，否则对单数元件的引用并非旨在表示“一个且仅一个”，而是“一个或多个”。除非另外特别说明，否则术语“一些”是指一个或多个。根据35U.S.C.§112(f)的规定，将不解释任何权利要求的元素，除非使用“用于……的装置”的短语明确地叙述所述元素，或者在方法权利要求的情况下，使用“用于……的步骤”的短语叙述所述元素。本领域普通技术人员已知或以后将知道的在整个本披露内容所描述的各个方面的元素的所有结构和功能等同物通过引用明确地并入本文，并且旨在由权利要求涵盖。此外，无论在权利要求中是否明确地叙述了这样的披露内容，本文所披露的内容都不旨在致力于公众。

Claims (25)

1.一种用于在眼科手术期间实时处理来自术中诊断设备的图像数据的系统，所述系统包括：

图像捕获元件，所述图像捕获元件被配置成从所述术中诊断设备捕获患者眼睛的灰度图像，所述灰度图像具有第一尺寸；以及

图像处理元件，所述图像处理元件被配置成：

从所述图像捕获元件获得所述灰度图像；

将所述灰度图像从所述第一尺寸缩放以生成具有第二尺寸的经缩放的灰度图像；并且

对所述经缩放的灰度图像进行预处理以为分类做准备；以及

两阶段分类模型，所述两阶段分类模型包括：

特征提取阶段，所述特征提取阶段被配置成对所述经缩放的灰度图像进行处理并基于所述经缩放的灰度图像来生成特征向量，以及

分类阶段，所述分类阶段被配置成对所述特征向量进行处理并基于所述特征向量来生成输出向量；

其中，所述图像处理元件进一步被配置成基于所述输出向量来确定所述灰度图像的图像质量以显示给操作者，并且

其中，所述灰度图像的图像质量指示所述灰度图像包括伪影的概率。

2.如权利要求1所述的系统，进一步包括数据显示元件，所述数据显示元件被配置成为所述操作者生成所述灰度图像的图像质量的显示。

3.如权利要求2所述的系统，其中，所述数据显示元件进一步被配置成基于确定所述灰度图像包括伪影并且所述伪影将所述灰度图像的图像质量降低到阈值以下来显示所述灰度图像。

4.如权利要求3所述的系统，其中，所述数据显示元件进一步被配置成基于确定所述灰度图像包括将所述图像质量降低到所述阈值以下的伪影来生成具有标识所述伪影在所述灰度图像中的位置的指示符的灰度图像的显示。

5.如权利要求4所述的系统，进一步包括图像分割模型或物体检测模型中的至少一者，其被配置成基于所述灰度图像来识别所述伪影的位置以显示给所述操作者。

6.如权利要求2所述的系统，其中：

所述数据显示元件进一步被配置成显示：

第一指示符，所述第一指示符指示相对于正在处理的图像子集的图像质量的平均值的总体质量显示；以及

第二指示符，所述第二指示符指示所述灰度图像的图像质量；并且

所述灰度图像的图像质量基于经缩放和经预处理的灰度图像中存在所述伪影的概率。

7.如权利要求1所述的系统，其中：

为了对所述经缩放的灰度图像进行预处理，所述图像处理元件进一步被配置成创建一组三个经缩放的灰度图像，并且

为了对所述经缩放的灰度图像进行处理并基于所述经缩放的灰度图像来生成特征向量，所述特征提取阶段进一步被配置成基于所述一组三个经缩放的灰度图像来生成所述特征向量，

其中，所述一组三个经缩放的灰度图像中的每个经缩放的灰度图像被用作所述特征提取阶段的输入数据通道。

8.如权利要求1所述的系统，其中：

所述特征提取阶段包括卷积神经网络，并且

所述分类阶段包括一个或多个全连接层和一个S型激活函数。

9.如权利要求1所述的系统，其中：

所述灰度图像包括宽视场图像类型，并且所述伪影是由碎片或器械中的一者或多者引起的，

所述灰度图像包括焦点视图图像类型，并且所述伪影是由所述患者眼睛位置处的干燥或过量流体中的一者或多者引起的，或者

所述灰度图像包括干涉图视图图像类型，并且所述伪影包括所述灰度图像中的闪烁、气泡或漂浮物中的一者或多者。

10.如权利要求9所述的系统，进一步包括：

第二两阶段分类模型，所述第二两阶段分类模型包括：

第二特征提取阶段，所述第二特征提取阶段被配置成对第二经缩放的灰度图像进行处理并基于所述第二经缩放的灰度图像来生成第二特征向量；以及

第二分类阶段，所述第二分类阶段被配置成对所述第二特征向量进行处理并基于所述第二特征向量来生成所述输出向量的第二部分，以及

第三两阶段分类模型，所述第三两阶段分类模型包括：

第三特征提取阶段，所述第三特征提取阶段被配置成对第三经缩放的灰度图像进行处理并基于所述第三经缩放的灰度图像来生成第三特征向量；以及

第三分类阶段，所述第三分类阶段被配置成对所述第三特征向量进行处理并基于所述第三特征向量来生成所述输出向量的第三部分，

其中：

由所述特征提取阶段处理的所述经缩放的灰度图像包括所述宽视场图像类型、所述焦点视图图像类型和所述干涉图视图图像类型中的第一种，

由所述第二特征提取阶段处理的所述第二经缩放的灰度图像包括所述宽视场图像类型、所述焦点视图图像类型和所述干涉图视图图像类型中的另一种，并且

由所述第三特征提取阶段处理的所述第三经缩放的灰度图像包括所述宽视场图像类型、所述焦点视图图像类型和所述干涉图视图图像类型中未由所述特征提取阶段和所述第二特征提取阶段处理的第三种。

11.如权利要求10所述的系统，其中，由所述特征提取阶段处理所述经缩放的灰度图像与由所述第二特征提取阶段处理所述第二经缩放的灰度图像和由所述第三特征提取阶段处理所述第三经缩放的灰度图像并行进行。

12.如权利要求10所述的系统，其中，由所述特征提取阶段处理所述经缩放的灰度图像与由所述第二特征提取阶段处理所述第二经缩放的灰度图像串行进行，由所述第二特征提取阶段处理所述第二经缩放的灰度图像与由所述第三特征提取阶段处理所述第三经缩放的灰度图像串行进行。

13.如权利要求1所述的系统，其中，所述术中诊断设备被配置成对所述图像数据执行屈光分析。

14.如权利要求1所述的系统，其中，所述图像处理元件进一步被配置成当所述图像质量基于所述伪影而低于第一阈值时将所述灰度图像从进一步处理中排除。

15.一种在眼科手术期间实时处理从术中诊断设备获得的图像数据的方法，所述方法包括：

从所述术中诊断设备捕获患者眼睛的灰度图像，所述灰度图像具有第一尺寸；

从图像捕获元件获得所述灰度图像；

对所述灰度图像进行预处理以为由两阶段机器学习模型进行的分类做准备；

利用所述两阶段机器学习模型的特征提取阶段基于所述经预处理的灰度图像来生成特征向量；

利用所述两阶段机器学习模型的分类阶段基于所述特征向量来生成输出向量；以及

基于所述输出向量来确定所述灰度图像的图像质量以显示给操作者，

其中，所述灰度图像的图像质量指示所述灰度图像包括干扰由所述术中诊断设备进行的测量的伪影的概率。

16.如权利要求15所述的方法，进一步包括：

为所述操作者生成所述灰度图像的图像质量的显示；以及

基于确定所述灰度图像包括将所述图像质量降低到第一阈值以下的伪影来识别所述伪影在所述灰度图像中的位置。

17.如权利要求15所述的方法，其中，对所述灰度图像进行预处理包括缩放具有所述第一尺寸的灰度图像以生成具有第二尺寸的经缩放的灰度图像。

18.如权利要求17所述的方法，其中：

对所述经缩放的灰度图像进行预处理进一步包括复制所述经缩放的灰度图像以创建一组三个经缩放的灰度图像，并且

基于所述经缩放的灰度图像来生成特征向量包括基于所述一组三个经缩放的灰度图像来生成所述特征向量，

其中，所述一组三个经缩放的灰度图像中的每个经缩放的灰度图像被用作所述特征提取阶段的输入数据通道。

19.如权利要求15所述的方法，其中：

所述特征提取阶段包括卷积神经网络，并且

所述分类阶段包括一个或多个全连接层和一个S型激活函数。

20.如权利要求15所述的方法，其中：

所述灰度图像包括宽视场图像类型，并且所述伪影是由碎片或器械中的一者或多者引起的，

所述灰度图像包括焦点视图图像类型，并且所述伪影是由所述患者眼睛位置处的干燥或过量流体中的一者或多者引起的，或者

所述灰度图像包括干涉图视图图像类型，并且所述伪影包括所述灰度图像中的闪烁、气泡或漂浮物中的一者或多者。

21.如权利要求20所述的方法，进一步包括：

利用第二两阶段机器学习模型的第二特征提取阶段基于第二灰度图像来生成第二特征向量；

利用所述第二两阶段机器学习模型的第二分类阶段基于所述第二特征向量来生成第二输出向量；

利用第三两阶段机器学习模型的第三特征提取阶段基于第三灰度图像来生成第三特征向量；以及

利用所述第三两阶段机器学习模型的第三分类阶段基于所述第三特征向量来生成第三输出向量，

其中：

所述灰度图像包括所述宽视场图像类型、所述焦点视图图像类型和所述干涉图视图图像类型中的第一种，

所述第二灰度图像包括所述宽视场图像类型、所述焦点视图图像类型和所述干涉图视图图像类型中的另一种，并且

所述第三灰度图像包括所述宽视场图像类型、所述焦点视图图像类型和所述干涉图视图图像类型中未由所述特征提取阶段和所述第二特征提取阶段处理的第三种。

22.如权利要求21所述的方法，其中，所述特征向量与所述第二特征向量和所述第三特征向量并行生成。

23.如权利要求21所述的方法，其中，所述特征向量与所述第二特征向量串行生成，所述第二特征向量与所述第三特征向量串行生成。

24.一种训练两阶段机器学习模型的方法，所述两阶段机器学习模型识别在眼科手术期间从术中像差仪获得的图像中的伪影，所述方法包括：

获得所述图像；

利用所述两阶段机器学习模型的特征提取阶段为所述图像生成特征向量；

基于堆叠所生成的特征向量来生成特征矩阵；以及

基于所述特征矩阵来训练分类阶段，

其中，经训练的分类阶段为经处理的图像生成指示所述图像包括伪影的概率的输出。

25.如权利要求24所述的方法，进一步包括训练所述特征提取阶段的权重。