CN114902283A - 用于光学相干断层扫描分割的深度学习 - Google Patents

Abstract

呈现了用于提供用于分割光学相干断层扫描(OCT)图像的机器学习模型的系统和方法。获得第一OCT图像，并且然后使用图形搜索算法用与所述第一OCT图像中的不同组织相关联的识别边界来标记所述第一OCT图像。提取经标记的第一OCT图像的部分以生成第一多个图像图块。通过操纵来自所述第一多个图像图块的至少一个图像图块，如通过旋转和/或翻转所述至少一个图像图块，生成第二多个图像图块。使用所述第一多个图像图块和所述第二多个图像图块来训练所述机器学习模型。使用经训练的机器学习模型在第二OCT图像中执行分割。

Description

用于光学相干断层扫描分割的深度学习

背景

技术领域

本披露内容涉及图像处理，并且更具体地涉及根据本披露内容的各种实施例使用机器学习模型来执行生物医学图像分割。

背景技术

在如眼科等某些生物医学领域中，患者的身体部位(例如，眼睛)的图像(例如，x射线图像、光学相干断层扫描(OCT)图像等)可以被捕获并进行分析，以确定对患者的诊断。当分析图像时，对图像内元素的自动分割可以将定性图像转换为有助于诊断和手术指导两者的定量测量值。然而，自动图像分割可能具有挑战性。例如，由于图像上出现的如散斑等伪像，因此OCT图像中不同类型组织之间的连续薄边界可能变得不连续，这使得自动识别OCT图像中的不同类型组织具有挑战性。此外，复杂的病理状况也可能使图像分割具有挑战性。

常规分割算法依赖于对问题的明确描述以及用于解决该问题的详细步骤(例如，由算法设计者提供的明确规则)。这种方法对于从正常受试者(没有疾病的患者)获得的图像非常有效，这些正常受试者的解剖结构遵循可以根据规范人类数据库建立的规则。然而，对于患有不同疾病的人类受试者，解剖结构可能与正常情况有很大不同，从而使得OCT图像分割具有挑战性。例如，具有病理状况的人眼睛内的不同类型组织之间的边界可能不遵循正常眼睛的模式。因此，在本领域中需要提供一种用于自动分割OCT图像的有效机制。

发明内容

根据一些实施例，一种系统包括非暂态存储器以及一个或多个硬件处理器，所述一个或多个硬件处理器被配置成从所述非暂态存储器读取指令以使所述系统执行操作，所述操作包括：获得光学相干断层扫描(OCT)图像；基于边缘检测算法来确定所述OCT图像中的边界；基于所述OCT图像来生成多个图像图块；通过操纵所述多个图像图块中的至少一个图像图块来生成多个附加图像图块；以及基于所述多个图像图块和所述多个附加图像图块来训练用于预测OCT图像中的边缘的机器学习模型。

根据一些实施例，一种方法包括：获得生物医学图像；基于边缘检测算法来确定所述生物医学图像中不同组织的边界；基于所述生物医学图像来生成第一多个图像图块；通过操纵所述第一多个图像图块中的至少一个图像图块来生成第二多个图像图块；以及由一个或多个硬件处理器基于所述第一多个图像图块和所述第二多个图像图块来训练用于分割生物医学图像的机器学习模型。

根据一些实施例，一种非暂态机器可读，其上存储有机器可读指令，所述机器可读指令能够执行以使机器执行操作，所述操作包括：获得光学相干断层扫描(OCT)图像；至少部分地基于边缘检测算法来分析所述OCT图像；基于所述分析所述OCT图像来生成第一多个图像图块；通过操纵所述第一多个图像图块中的至少一个图像图块来生成第二多个图像图块；以及基于所述第一多个图像图块和所述第二多个图像图块来训练用于分割OCT图像的机器学习模型。

附图说明

为了更加全面地理解本技术、其特征及其优点，参考结合附图给出的以下说明。

图1是根据一些实施例的用于分析生物医学图像的系统的图。

图2是根据一些实施例的用于训练用于分割生物医学图像的机器学习模型的训练模块的图。

图3展示了根据一些实施例的训练机器学习模型的过程。

图4A展示了根据一些实施例的用于划分生物医学图像的示例性方法。

图4B展示了根据一些实施例的用于从生物医学图像中提取图像图块的示例性方法。

图5展示了根据一些实施例的通过操纵至少一个图像图块来生成附加图像类型。

图6A和图6B是根据一些实施例的处理系统的图。

图7是根据一些实施例的多层神经网络的图。

在附图中，具有相同标号的要素具有相同或相似的功能。

具体实施方式

展示本发明的方面、实施例、实施方式或模块的描述和附图不应被视为限制——是权利要求定义了受保护的发明。在不脱离本说明书和权利要求的精神和范围的情况下，可以进行各种机械的、组成的、结构的、电气的和操作上的改变。在某些情况下，未详细示出或描述公知的电路、结构或技术，以免模糊本发明。在两个或更多个图中的相似的数字表示相同或相似的要素。

在本描述中，阐述了描述与本披露内容一致的一些实施例的具体细节。为了提供对实施例的透彻理解，阐述了许多具体细节。然而，对于本领域技术人员将清楚的是，一些实施例可以在没有一些或所有这些具体细节的情况下实践。本文披露的具体实施例意在说明而非限制。本领域技术人员可以实现尽管在这里没有具体描述但是在本披露内容的范围和精神内的其他要素。另外，为了避免不必要的重复，与一个实施例相关联示出和描述的一个或多个特征可以结合到其他实施例中，除非另外特别说明或者如果该一个或多个特征会使实施例不起作用。

下文描述的技术涉及用于提供用于自动分割图像(例如，如x射线图像、光学相干断层扫描(OCT)图像等生物医学图像)的机器学习模型的系统和方法，其中，机器学习模型使用基于现有训练图像的操纵人工生成的训练数据进行训练。如上文所讨论的，由于如图像上出现的伪像(例如散斑)和患者的复杂病理状况等因素，OCT图像分割可能具有挑战性。过去，如图形搜索算法等常规算法已经被用于(例如，实施在计算机中)执行OCT图像分割。然而，这些算法可能仅对于在正常患者(例如，没有疾病的患者)的图像上执行分割有效，这些患者的解剖结构遵循可以根据规范人类数据库建立的规则(或模式)。这些算法对于在包括伪像的OCT图像和/或为具有病理状况的患者拍摄的OCT图像上执行分割可能是无效的，因为具有复杂病理状况的这些患者的解剖结构可能遵循不同的模式或者根本不遵循任何模式。

在一些实施例中，机器学习模型可以被配置成执行图像(例如，x射线图像、OCT图像等)的分割。机器学习模型可以使用训练数据(如过去获得的患者图像)进行训练。与常规算法相比，使用机器学习模型(如卷积神经网络(CNN))来执行生物医学图像分割的一个优点是，机器学习模型不依赖于关于如何分割图像的明确规则。相反，在训练数据充足的情况下，机器学习模型可以自行得出规则，并基于新的训练数据不断演进(例如，修改和/或校正规则)。如此，在给定大量高质量训练数据的情况下，机器学习模型可以被训练成准确且有效地分割图像。过去，生成训练数据需要操作人员手动分析和标记现有图像中不同组织类型的边界以确定标准真值。然而，以这种方式生成训练数据不仅乏味且容易出错，而且由于涉及人力劳动，要生成大量训练数据并非易事。由于机器学习模型的性能很大程度上取决于训练机器学习模型的训练数据的数量和质量，因此在以这种方式生成训练数据时，机器学习模型的性能可能会受到影响。

如此，根据本披露内容的各种实施例，可以提供训练系统来自动生成大量高质量训练数据，以用于训练被配置成执行图像分割的机器模型。在一些实施例中，训练系统可以获得训练图像。训练图像可以是过去为患者拍摄的现有图像。在一些实施例中，训练数据系统可以使用常规算法(例如，图形搜索算法)以及手动或半自动注释来分析和标记训练图像(例如，通过在训练图像中识别不同类型组织的边界(也称为边缘)，如眼睛的不同层)。如本文所讨论的，使用常规算法来分割图像的一个缺点是，常规算法在对具有大量伪像(例如，散斑)的图像或具有不同病理状况(例如，不同眼疾)的患者的图像执行分割时可能无效。如此，通过使用常规算法生成的训练数据可能仅限于干净的图像(例如，没有大量伪像的图像)和正常患者的图像。为了扩展训练数据以覆盖具有各种病状的患者的图像，一些实施例的训练系统可以通过操纵现有的训练图像来人工生成附加训练数据。

在一些实施例中，训练系统可以从每个训练图像获得图像图块(例如，分块)。不同的实施例可以使用不同的技术从训练图像获得图像图块。在一些实施例中，训练系统可以将训练图像划分成多个图块。例如，对于大小为160×40像素的图像，训练系统可以将该图像划分成六十四(64)个大小相等(10×10像素)的图块。在一些实施例中，训练系统可以获得被配置成生成训练数据的设备的设备属性(例如，图形处理单元的存储器大小)，并且可以基于设备属性来划分图像。例如，训练系统可以确定不超过设备的图形处理单元的存储器大小的图块大小，并且然后可以基于图块大小将图像分成图块。

在一些实施例中，训练系统还可以对图像执行一项或多项分析，并且可以基于该一项或多项分析来划分图像。例如，训练系统可以执行像素分析以确定图像的不包括相关数据的部分(例如，图像的包括背景或空白数据的部分)。就这一点而言，训练系统可以分析图像中每个像素的像素值，以确定图像的具有像素值基本类似(或相同)的连续像素的部分(例如，低于阈值的部分内的空间频率)。然后，训练系统可以在将图像划分成多个图块之前消除(例如，去除)图像的部分。

在一些实施例中，训练系统可以通过从图像中提取不同的图像部分来生成图像图块，而不是将图像划分成多个图块。例如，训练系统可以生成具有确定图块大小(例如，10×10像素)的虚拟窗口。训练系统可以将虚拟窗口置于图像的初始位置(例如，左上角)。训练系统可以分析图像的虚拟窗口内的部分，以确定图像的该部分是否超过相关性阈值。如果确定图像的该部分超过了相关性阈值，则训练系统可以提取图像的该部分作为图像图块。另一方面，如果确定图像的该部分未超过相关性阈值，则训练系统可以忽略图像的该部分。在一些实施例中，训练系统可以基于一个或多个因素来确定图像的部分是否超过相关性阈值，如图像的部分的空间频率是否超过空间频率阈值、图像的部分是否包括经标记数据(例如，包括由图形搜索算法标记的不同组织的边界的部分)等。

在提取(或忽略)图像的虚拟窗口内的部分之后，训练系统然后可以将虚拟窗口移动到另一个位置以覆盖图像的另一部分(例如，将虚拟窗口向右、向底部等移动预定数量的像素)。训练数据系统可以继续分析由虚拟窗口覆盖的图像的不同部分，并提取超过相关性阈值的部分。基于虚拟窗口的预定移动，由虚拟窗口覆盖的图像的不同部分可以彼此重叠或不重叠，使得从图像中提取的图像图块可以部分地重叠。从图像中提取的每个图像图块都可以成为用于训练机器学习模型的一条不同的训练数据。通过独立分析图像的不同部分并仅提取相关部分，可以大幅提高训练数据的质量。

由于初始训练图像是正常患者(例如，没有疾病的患者)的图像，因此从图像中获得的图块仍然不能为具有不同类型病状的患者的机器学习模型提供足够的训练。因此，在一些实施例中，训练系统可以通过操纵图像图块来生成与具有各种病状的患者相对应的附加训练数据。例如，训练系统可以调整每个图块的取向(这有效地改变了图像图块中各层的边界的取向)，以模拟具有各种病状的患者的图像。在一些实施例中，训练系统可以通过将每个图块旋转一个或多个转度来生成附加图块，其中，每个附加图块对应于将图块旋转到预定的旋转角度。例如，训练系统可以被配置成将每个图块旋转90度、180度和270度。因此，对于每个原始图像图块，训练系统可以生成三个附加图块(例如，三条附加训练数据)——与将原始图块旋转90度相对应的第一附加图块、与将原始图块旋转180度相对应的第二附加图块、以及通过将原始图块旋转270度得到的第三附加图块。在其他实施例中，可以使用不同的旋转度数和/或可以生成不同数量的附加图块。

在一些实施例中，代替旋转图块或者除了旋转图块之外，训练系统还可以通过沿轴线(例如，水平轴线、竖直轴线等)翻转每个原始图块和每个附加图块来生成附加图块。例如，通过沿给定图块的水平轴线和竖直轴线翻转图块，训练系统可以基于给定图块来生成两个附加图块。在训练系统将每个原始图块旋转90度、180度和270度并且然后沿水平轴线和竖直轴线翻转原始图块和经旋转图块的示例中，训练系统可能能够基于原始图块来生成11个附加图块。因此，训练系统可以将训练数据的数量增加11倍，其中，附加训练数据可以覆盖具有各种病状的患者的实例。此外，训练系统还可以通过生成同一图像图块的不同版本来生成附加图像图块，其中，每个版本都在图像图块中包括增加的伪像(例如，不同数量的散斑等)。

然后，训练系统可以使用已生成的训练数据(例如，图块和附加图块)来训练机器学习模型。在一些实施例中，机器学习模型可以被实施为深度卷积神经网络。当训练机器学习模型时，首先通过一组卷积层对每条训练数据(例如，每个图块)进行下采样，并且然后通过一组对应的卷积层进行上采样。通过对训练数据进行下采样和上采样，机器学习模型可以被训练成识别OCT图像内的组织边界。在训练之后，机器学习模型可以用于识别患者的新OCT图像的组织边界。在一些实施例中，可以使用新的训练数据周期性地重新训练机器学习模型。例如，当获得新OCT图像时，训练系统可以被配置成使用本文描述的方法来生成训练数据，并使用新生成的训练数据来重新训练机器学习模型。

图1展示了根据一些实施例的系统100，在该系统内可以实施如本文所讨论的训练系统。系统100包括经由网络115与一个或多个眼科专业(ECP)设备(比如ECP设备130、140和150等)耦接的生物特征分析平台102。在一些示例中，网络115可以包括一个或多个切换设备、路由器、局域网(例如，以太网)、广域网(例如，互联网)等。

ECP设备(例如，ECP设备130、140和150)中的每一个可以包括用户界面(UI)应用程序和ECP标识符。例如，ECP设备130包括UI应用程序132和ECP标识符134。UI应用程序132可以由对应的ECP(例如，ECP 170)用于与生物特征分析平台102交互。例如，UI应用程序132可以是网络浏览器或客户端应用程序(例如，移动应用程序)。眼科专业设备(ECP)170可以经由UI应用程序132访问比如由生物特征分析平台102生成和/或托管的网页等的图形用户界面(GUI)。ECP标识符134是唯一地标识由晶状体选择平台102服务的多个ECP之中的ECP 170的标识符。

生物特征分析平台102包括用户界面(UI)服务器103、生物特征分析引擎106、训练模块107和图像分割模型108。在一些实施例中，界面服务器103被配置成在ECP设备130、140和150上提供用户界面(例如，图形用户界面(GUI)等)，经由该用户界面，如ECP 170等的ECP可以与生物特征分析平台102进行交互。例如，一些实施例的UI服务器103可以包括托管与晶状体选择平台102相关联的网站的网络服务器。UI服务器103可以生成和/或存储一个或多个交互式网页，该一个或多个交互式网页可以经由UI应用程序(例如，UI应用程序132)呈现在ECP设备上。在另一示例中，UI服务器103可以包括经由协议(例如，REST协议等)与客户端应用程序(例如，UI应用程序132)交互的应用服务器。

图像分割模型108可以是被配置成对图像执行分割(例如，识别图像上不同组织的边界)的机器学习模型(例如，卷积神经网络等)。训练模块107可以被配置成通过使用本文披露的技术生成训练数据来训练图像分割模型108。训练模块107可以获得患者的图像(例如，患者眼睛的OCT图像等)。训练模块107可以使用常规算法(例如，图形搜索算法)来分析和标记图像上不同组织的边界。然后，训练模块107可以使用本文披露的技术来人工生成附加训练数据。例如，训练数据模块107可以(例如，通过划分图像或从图像中提取图块)从图像中获得图块并操纵每个图块(例如，通过改变图块的取向、向图块添加伪像等)以生成附加训练数据。然后，训练模块107可以使用已生成的训练数据来训练图像分割模型108。在训练图像分割模块108之后，图像分割模型108可以由生物特征分析引擎106用于增强图像(例如，OCT图像)。

在一些实施例中，ECP(例如，ECP 170)可以经由UI应用程序(例如，UI应用程序132)和由UI服务器103提供的用户界面来提供患者眼睛的图像数据(例如，OCT图像)。例如，ECP 170可以使用诊断设备160来捕获患者眼睛的图像(例如，OCT图像)。在一些实施例中，ECP设备130可以耦接到诊断设备160，使得ECP设备130可以从诊断设备自动检索图像，并且经由UI服务器103将图像传输到生物特征分析平台102。

在一些实施例中，在接收到图像后，生物特征分析引擎106可以分析该图像，并且基于该图像向ECP 170提供关于患者眼睛的诊断和/或其他信息。例如，生物特征分析引擎106可以使用经训练的图像分割模型108来识别图像中不同组织(例如，不同角膜层)的边界。然后，生物特征分析引擎106可以通过突出显示图像中的识别边界来增强图像，并将已增强图像呈现在ECP设备130上。已增强图像可以帮助ECP 170对患者进行诊断和/或提供手术引导。在一些实施例中，生物特征分析引擎106可以分析已增强图像以提供附加推荐，如基于图像为患者选择人工晶状体或接触镜片。

图2展示了根据本披露内容的各种实施例的训练模块。如图所示，训练模块107包括分割模块202和图块生成模块204。训练模块107可以使用分割模块202例如通过使用图形搜索算法来分析和标记现有图像(例如，图像222)。然后，训练模块107可以使用图块生成模块204来从每个经标记图像中获得图像图块，作为用于训练图像分割模型108的训练数据。例如，图块生成模块204可以将图像222划分成图像图块(例如，图像图块224a-224d，也称为原始图像图块224a-224d)。然后，图块生成模块204可以操纵原始图像图块224a-224d来生成附加图像图块。在一些实施例中，图块生成模块204可以将原始图像图块224a-224d中的每一个以不同的旋转角度旋转多次，以生成附加图像图块。此外，图块生成模块204还可以沿轴线(例如，水平轴线、竖直轴线等)翻转每个原始图像图块224a-224d和每个附加图像图块以生成用于训练图像分割模型108的附加图像图块。

图3展示了根据本披露内容的一个实施例的用于训练被配置成对图像执行分割的图像分割模型的过程300。在一些实施例中，过程300可以由训练模块107和/或生物特征分析引擎106来执行。过程300开始于获得第一光学相干断层扫描(OCT)图像。例如，训练模块107可以获得训练图像，如过去为患者拍摄的现有图像(例如，为患者眼睛拍摄的现有OCT图像)。在一些实施例中，现有图像可以从一个或多个ECP设备(如ECP设备130、140和150)获得。例如，ECP(例如，ECP 170)可以(例如，使用如诊断设备160等诊断设备)捕获患者的OCT图像。ECP可以将OCT图像传输到生物特征分析平台102进行分析，例如，以用于对图像执行分割。

然后，过程300使用算法对第一OCT图像执行(在步骤310处)分割，并从第一OCT图像生成(在步骤315处)图像图块。例如，训练模块107的分割模块202可以使用常规算法(例如，图形搜索算法)来分析和标记所获得的图像(例如，通过识别训练图像中不同类型组织的边界，如眼睛的不同层)。图4A展示了可以从ECP设备130获得的示例性OCT图像402。在该示例中，OCT图像402是患者眼睛的图像，并且特别是眼睛的不同角膜层的图像。例如，OCT图像402可以示出包括层422和层424的眼睛。如图所示，由于图像402的伪像和其他问题，层422和层424的边界可能不是很清楚，和/或可能不连续。如此，分割模块202可以使用图形搜索算法来识别不同层的边界。如图像402中所示，通过使用图形搜索算法，分割模块202可以突出显示各层的边界，包括层422的边界432和434，以及层424的边界436和438。

然后，训练模块107可以使用经标记图像(例如，经标记的OCT图像402)作为用于训练图像分割模块108的训练图像。如图4A所示，层422和层424展现了一个或多个具有不同特征的图案。例如，层422具有包括多个波峰和波谷的波图案，其中，波的每个周期具有不同的特征或特性(例如，幅度、厚度等)。层422的任何部分都可以包括用于训练图像分割模型108的不同特性。类似地，层424包括具有细长形状元素的不连续分块，其中，这些元素中的每个元素可以具有不同特征或特性以便训练图像分割模型108。如此，在一些实施例中，训练模块107可以获得图像402的图块(或分块)作为训练数据，而不是将图像402整体用作一条训练数据。

不同的实施例可以使用不同的技术从训练图像(例如，图像402)获得图像图块。在一些实施例中，训练模块107的图块生成模块204可以将训练图像划分成多个图块。例如，当图像402的大小为160×40像素时，图块生成模块204可以将图像402划分成六十四(64)个大小相等(10×10像素)的图块。如图4A所示，图块生成模块204可以使用虚拟线条412-420来将图像402划分成多个图块，如图块442-448。在一些实施例中，图块生成模块204可以获得被配置成生成训练数据的设备(例如，如生物特征分析平台102等计算机服务器)的设备属性(例如，图形处理单元的存储器大小)，并且可以基于设备属性来划分图像。例如，图块生成模块204可以确定不超过设备的图形处理单元的存储器大小(例如8GB、16GB等)的图块大小，并且然后可以基于图块大小将图像402划分成图块，使得每个图块的大小不超过图形处理单元的存储器大小。

在一些实施例中，图块生成模块204还可以对图像402执行一项或多项分析，并且可以基于该一项或多项分析来划分图像。例如，图块生成模块204可以执行像素分析来确定图像的不包括相关数据的部分(例如，图像的包括背景或空白数据的部分)。就这一点而言，图块生成模块204可以分析图像中每个像素的像素值，以确定图像的具有像素值基本类似(或相同)的连续像素的部分(例如，低于阈值的部分内的空间频率)。然后，图块生成模块204可以在将图像划分成多个图块之前消除(例如，去除)图像的部分。例如，图块生成模块204可以基于低空间频率和部分450内经标记数据(例如，经标记边界)的缺乏来确定图像402的部分450不具有相关数据。因此，图块生成模块204可以在将图像402划分成图块之前从图像402中去除部分450。

在一些实施例中，图块生成模块204可以通过从训练图像(例如，图像402)中提取不同的图像部分来生成图像图块，而不是将图像划分成多个图块。例如，图块生成模块204可以在图像上提供具有确定图块大小(例如，10×10像素)的虚拟窗口。图块生成模块204可以将虚拟窗口置于图像的初始位置(例如，左上角)。图块生成模块204可以分析图像的虚拟窗口内的部分，以确定图像的部分是否超过相关性阈值。如果确定图像的部分超过了相关性阈值，则图块生成模块204可以提取图像的部分作为图像图块。另一方面，如果确定图像的部分未超过相关性阈值，则图块生成模块204可以忽略图像的部分。在一些实施例中，图块生成模块204可以基于一个或多个因素来确定图像的部分是否超过相关性阈值，如图像的部分的空间频率是否超过空间频率阈值、图像的部分是否包括经标记数据(例如，包括通过图形搜索算法标记的不同组织边界的部分)等。

图4B展示了例如由图块生成模块204在图像402上提供的虚拟窗口462。虚拟窗口462设置在覆盖图像402的第一图像部分472的初始位置(例如，左上角)。图块生成模块204可以分析图像402的虚拟窗口462内的图像部分472，以确定图像部分472是否超过相关性阈值。例如，图块生成模块204可以分析图像部分472的像素值以确定空间频率是否超过预定阈值。图块生成模块204还可以确定经标记数据(例如，基于图形搜索算法识别的边界)是否包括在图像部分472内。然后，图块生成模块204可以例如基于图像402的图像部分472的经标记数据的空间频率和/或存在来确定图像402的图像部分472是否超过相关性阈值。如果确定图像部分472超过了相关性阈值，则图块生成模块204可以提取图像402的图像部分472作为图像图块。另一方面，如果确定图像402的图像部分472未超过相关性阈值，则图块生成模块204可以忽略图像部分472。在该示例中，由于图像部分472包括经标记边界432的一部分，因此图块生成模块204可以确定图像部分472超过了相关性阈值，并且因此从图像402中提取图像部分472。

在提取(或忽略)图像的虚拟窗口内的部分之后，图块生成模块204然后可以将虚拟窗口移动到另一个位置以覆盖图像的另一部分(例如，将虚拟窗口向右、向底部等移动预定数量的像素)。例如，如图4B所示，在提取或忽略图像部分472之后，图块生成模块204可以将虚拟窗口462向右移动预定数量的像素(例如，5个像素)以覆盖图像402的第二图像部分474。图块生成模块204可以继续分析由虚拟窗口覆盖的图像的不同部分，并提取超过相关性阈值的部分。基于虚拟窗口的预定移动，由虚拟窗口覆盖的图像的不同部分可以彼此重叠或不重叠，使得从图像中提取的图像图块可以部分地重叠。在该示例中，图像部分472和474彼此部分地重叠。从图像中提取的每个图像图块都可以成为用于训练图像分割模型108的一条不同的训练数据。通过独立分析图像的不同部分并仅提取相关部分，可以大幅提高训练数据的质量。

图5展示了从图像402获得的示例性图像图块502-512(通过划分图像402或者通过使用虚拟窗口从图像402中提取图块)。每个图像图块(也称为原始图像图块)可以被用作用于训练图像分割模型108的一条训练数据。然而，如本文所讨论的，使用常规算法分割图像的一个缺点是，常规算法在对具有大量伪像(例如，散斑)的图像或具有不同病状(例如，不同眼疾)的患者的图像执行分割时可能无效。如此，通过使用常规算法生成的训练数据(例如，原始图像图块)可能是有限的(例如，仅标记没有大量伪像的图像和正常患者的图像)。因此，在一些实施例中，训练模块107可以通过操纵原始图像图块来人工生成与具有各种病状的患者相对应的附加训练数据。

返回参考图3，过程300通过改变图块取向来生成(在步骤320处)附加训练图像。例如，训练模块107可以通过调整每个原始图像图块的取向(这有效地改变了图像图块中各层的识别边界的取向)来操纵原始图像图块，从而模拟具有各种病状的患者的图像。在一些实施例中，训练模块107可以通过将每个原始图像图块旋转一个或多个转度来生成附加图块，其中，每个附加图块对应于将图块旋转到预定旋转角度。例如，训练模块107可以通过将每个原始图像图块旋转90度、180度和270度来操纵每个原始图像图块。如图5所示，训练模块107可以将原始图像图块(例如，图像图块510)旋转90度，以生成附加图像图块520a。训练模块107还可以将图像图块510旋转180度，以生成附加图像图块520b。训练模块107还可以将图像图块510旋转270度，以生成附加图像图块520c。因此，在该示例中，对于每个原始图像图块，训练模块107可以基于旋转原始图像图块来生成三个附加图块(例如，三条附加训练数据)——与将原始图块旋转90度相对应的第一附加图块、与将原始图块旋转180度相对应的第二附加图块、以及通过将原始图块旋转270度得到的第三附加图块。在其他实施例中，可以使用不同的旋转度数和/或可以生成不同数量的附加图块。例如，通过将原始图像图块旋转附加的旋转角度，可以生成更多数量的附加图块。

在一些实施例中，代替旋转图块或者除了旋转图块之外，训练模块107还可以通过沿轴线(例如，水平轴线、竖直轴线等)翻转每个原始图块和每个附加图块来生成附加图块。例如，通过沿给定图块的水平轴线和竖直轴线翻转图块，训练模块107可以基于给定图块来生成两个附加图块。如图5所示，训练模块107可以通过沿竖直轴线530翻转图像图块510来生成附加图像图块520d。训练模块107还可以通过沿水平轴线525翻转图像图块510来生成另一个附加图像图块520e。在一些实施例中，训练模块107还可以通过翻转图像图块520a-520c来生成附加图像图块。因此，在训练数据系统将每个原始图块旋转90度、180度和270度并且然后沿水平轴线和竖直轴线翻转原始图块和经旋转图块的示例中，训练模块107可能能够基于原始图块来生成11个附加图块。因此，训练模块107可以将训练数据的量增加11倍，其中，附加训练数据可以覆盖具有各种病状的患者的实例。此外，训练模块107可以通过得出相同图像图块的不同版本(例如，向相同图像图块添加不同量的伪像)来生成附加图块。

然后，训练模块107可以使用已生成的训练数据(例如，图块和附加图块)来训练图像分割模型108。在一些实施例中，分割模型108可以使用在Ronneberger等人的名称为“U-Net:Convolutional Networks for Biomedical Image Segmentation[U-Net：用于生物医学图像分割的卷积网络]”的文献中描述的技术被实施为深度卷积神经网络，该文献通过引用整体并入本文。如Ronneberger所述，当训练图像分割模型108时，首先通过一组卷积层对每条训练数据(例如，每个图像图块)进行下采样，并且然后通过一组对应的卷积层进行上采样。通过对训练数据进行下采样和上采样，图像分割模型108可以被训练成识别OCT图像内的组织边界。在训练之后，图像分割模型108可以用于识别患者的新OCT图像的组织边界。在一些实施例中，可以使用新的训练数据周期性地重新训练图像分割模型108。例如，当获得新OCT图像时，训练模块107可以被配置成使用本文描述的方法来生成训练数据，并使用新生成的训练数据来重新训练图像分割模型108。

返回参考图3，过程300接收(在步骤330处)第二OCT图像，并使用(在步骤335处)经训练的机器学习模型对第二OCT图像执行分割。例如，生物特征分析引擎106可以例如经由UI服务器103从ECP设备130、140和150之一接收图像。生物特征分析引擎106可以使用图像分割模型108来识别图像中不同层(例如，不同类型的组织)的边界。在一些实施例中，生物特征分析引擎106可以将图像划分成图像图块，其中，每个图像图块具有预定大小(例如，为生成用于训练图像分割模型108的图像图块确定的大小)。生物特征分析引擎106可以逐个向图像分割模型108提供图像图块，以获得对图像图块中不同层(或不同类型组织)的边界的标识。

在一些实施例中，生物特征分析引擎106可以通过突出显示图像中的不同层或不同层的边界来增强图像，并将已增强图像呈现在ECP设备上。在一些实施例中，生物特征分析引擎106可以基于经标识层对图像执行附加分析，并且可以在ECP设备上呈现报告(例如，为患者推荐一种类型的人工晶状体或一种类型的接触镜片等)。

图6A和图6B是根据一些实施例的处理系统的图。虽然图6A和图46B示出了两个实施例，但是本领域普通技术人员还应容易理解的是，其他系统实施例是可能的。根据一些实施例，图6A和/或图6B的处理系统代表可以包括在以下一者或多者中的计算系统：生物特征分析平台102以及ECP设备130、140和150等。

图6A展示了计算系统600，其中，系统600的部件使用总线605彼此电连通。系统600包括处理器610和系统总线605，该系统总线将各个系统部件(包括，呈只读存储器(ROM)620、随机存取存储器(RAM)625等(例如，PROM、EPROM、FLASH-EPROM和/或任何其他存储器芯片或盒)形式的存储器)耦接至处理器610。系统600可以进一步包括与处理器610直接连接、与之紧邻、或集成为其一部分的高速存储器的缓存612。系统600可以通过缓存612来访问存储在ROM 620、RAM 625、和/或一个或多个存储设备630中的数据以供处理器610进行高速访问。在一些示例中，缓存612可以提供性能提升，以避免处理器610从存储器615、ROM 620、RAM 625、和/或该一个或多个存储设备630访问之前存储在缓存612中的数据时的延迟。在一些示例中，该一个或多个存储设备630存储一个或多个软件模块(例如，软件模块632、634、636等)。软件模块632、634和/或636可以控制和/或被配置成控制处理器610执行各种动作，如方法300的过程。并且虽然示出系统600仅具有一个处理器610，但是应理解的是，处理器610可以代表一个或多个中央处理器(CPU)、多核处理器、微处理器、微控制器、数字信号处理器(DSP)、现场可编程门阵列(FPGA)、专用集成电路(ASIC)、图形处理单元(GPU)、张量处理单元(TPU)等。在一些示例中，系统600可以被实施为独立式子系统、和/或实施为添加至计算设备的板、或实施为虚拟机。

为了使得用户能够与系统600交互，系统600包括一个或多个通信接口640和/或一个或多个输入/输出(I/O)设备645。在一些示例中，该一个或多个通信接口640可以包括一个或多个网络接口、网络接口卡等，以根据一个或多个网络和/或通信总线标准来提供通信。在一些示例中，该一个或多个通信接口440可以包括用于经由网络(如网络115)来与系统600通信的接口。在一些示例中，该一个或多个I/O设备645可以包括一个或多个用户接口设备(例如，键盘、定点/选择设备(例如，鼠标、触摸板、滚轮、轨迹球、触摸屏等)、音频设备(例如，麦克风和/或扬声器)、传感器、致动器、显示设备等)。

该一个或多个存储设备630中的每一个可以包括比如由硬盘、光学介质、固态驱动器等提供的非暂态非易失性存储装置。在一些示例中，该一个或多个存储设备630中的每一个可以与系统600(例如，本地存储设备)位于同一地点、和/或远离系统600(例如，云存储设备)。

图6B展示了基于芯片组架构的计算系统650，该芯片组架构可以用于执行本文描述的任一种方法(例如，方法300和/或510)。系统650可以包括处理器655，其代表能够执行软件、固件和/或其他计算的任何数量的物理和/或逻辑上不同的资源，诸如一个或多个CPU、多核处理器、微处理器、微控制器、DSP、FPGA、ASIC、GPU、TPU等。如图所示，处理器655由一个或多个芯片组660辅助，该芯片组还可以包括一个或多个CPU、多核处理器、微处理器、微控制器、DSP、FPGA、ASIC、GPU、TPU、协处理器、编解码器(CODEC)等。如图所示，该一个或多个芯片组660将处理器655与一个或多个I/O设备665、一个或多个存储设备670、存储器675、桥接器680、和/或一个或多个通信接口690中的一者或多者对接。在一些示例中，该一个或多个I/O设备665、一个或多个存储设备670、存储器、和/或一个或多个通信接口690可以对应于图6A和系统600中类似命名的对应物。

在一些示例中，桥接器680可以提供额外的接口，用于向系统650提供对一个或多个用户接口(UI)部件、比如一个或多个键盘、定点/选择设备(例如，鼠标、触摸板、滚轮、跟踪球、触摸屏等)、音频设备(例如，麦克风和/或扬声器)、显示设备等的访问。根据一些实施例，系统600和/或650可以提供图形用户界面(GUI)，该图形用户界面适合于辅助用户(例如，外科医生和/或其他医务人员)执行方法200的过程。

根据上述实施例的方法可以实施为存储在非暂态有形机器可读介质上的可执行指令。这些可执行指令在被一个或多个处理器(例如，处理器610和/或处理器655)运行时可以致使该一个或多个处理器执行方法300的过程。可以包括方法300的过程的一些常见形式的机器可读介质是例如软磁盘、软盘、硬盘、磁带、任何其他磁性介质、CD-ROM、任何其他光学介质、打孔卡、纸带、任何其他带有孔图案的物理介质、RAM、PROM、EPROM、FLASH-EPROM、任何其他存储芯片或盒、和/或处理器或计算机适合从中读取的任何其他介质。

实施根据这些披露内容的方法的设备可以包括硬件、固件和/或软件，并且可以采用各种各样的形状因子中的任一种。这样的形状因子的典型示例包括膝上型计算机、智能电话、小型个人计算机、个人数字助理等。本文描述的功能的一部分也可以体现在外围设备和/或附加卡中。通过进一步示例，此类功能还可以在单一设备中的不同芯片或在其中执行的不同过程之间、在电路板上实施。

图7是根据一些实施例的多层神经网络700的图。在一些实施例中，神经网络700可以表示用于实施机器学习模型的神经网络，该机器学习模型用于对图像(如本文所讨论的OCT图像)执行分割。神经网络700使用输入层720处理输入数据710。在一些示例中，输入数据710可以对应于被提供给该一个或多个模型的输入数据、和/或在用于训练该一个或多个模型的训练过程期间被提供给该一个或多个模型的训练数据。输入层720包括用于通过缩放、范围限制、和/或类似方式来调节输入数据710的多个神经元。输入层720中的每个神经元生成被馈送至隐藏层731的输入端的输出。隐藏层731包括处理来自输入层720的输出的多个神经元。在一些示例中，隐藏层731中的每个神经元生成输出，该输出接着被传播经过一个或多个额外的隐藏层(以隐藏层739结束)。隐藏层739包括处理来自前一个隐藏层的输出的多个神经元。隐藏层739的输出被馈送至输出层740。输出层740包括用于通过缩放、范围限制、和/或类似方式来调节来自隐藏层739的输出的一个或多个神经元。应理解的是，神经网络700的架构仅是代表性的，并且其他架构是可能的，包括具有仅一个隐藏层的神经网络、没有输入层和/或输出层的神经网络、具有递归层的神经网络等。

在一些示例中，输入层720、隐藏层731-739、和/或输出层740中的每一者包括一个或多个神经元。在一些示例中，输入层720、隐藏层731-739、和/或输出层740中的每一者可以包括相同数量或不同数量的神经元。在一些示例中，每个神经元将其输入x进行组合(例如，使用可训练加权矩阵W获得的加权和)、加上可选的可训练偏置b、并且应用激活函数f来生成输出a，如等式1所示。在一些示例中，激活函数f可以是线性激活函数、具有上限和/或下限的激活函数、对数s形(log-sigmoid)函数、双曲正切函数、修正线性单元函数等。激活函数也可以是非线性的，如整流线性单元(ReLU)激活函数。在一些示例中，每个神经元可以具有相同或不同的激活函数。

a＝f(Wx+b).........................................(1)

在一些示例中，可以使用监督式学习来训练神经网络700，其中，训练数据(例如，患者的生物特征数据等)的组合包括输入数据和标准真值(例如，预期)输出数据的组合(例如，ECP过去为患者选择的晶状体产品等)。神经网络700的使用该输入数据作为输入数据710而生成的输出之间的差异，并将如由神经网络700生成的输出数据750与标准真值输出数据进行比较。然后可以将所生成的输出数据750与标准真值输出数据之间的差异反馈到神经网络700中，以对各个可训练的权重和偏置进行校正。在一些示例中，可以通过使用随机梯度下降算法的反向传播技术等来反馈这些差异。在一些示例中，可以将一大组的训练数据组合多次呈现给神经网络700，直到总损失函数(例如，基于每个训练组合的差异的均方误差)收敛到可接受的水平为止。

虽然已经示出和描述了说明性实施例，但是在前述披露内容中设想了各种各样的修改、改变和替换，并且在一些情况下，可以采用实施例的一些特征而不对应地使用其他特征。本领域普通技术人员将认识到许多变型、替代方案和修改。因此，本发明的范围应仅由权利要求来限制，并且恰当的是，以与本文披露的实施例的范围一致的方式广义地解释权利要求。

Claims (20)

1.一种系统，包括：

非暂态存储器；以及

一个或多个硬件处理器，所述一个或多个硬件处理器与所述非暂态存储器耦接并且被配置成从所述非暂态存储器读取指令以使所述系统执行操作，所述操作包括：

获得光学相干断层扫描(OCT)图像；

基于边缘检测算法或手动注释来确定所述OCT图像中的边缘；

基于所述OCT图像来生成多个图像图块；

通过操纵所述多个图像图块中的至少一个图像图块来生成多个附加图像图块；以及

基于所述多个图像图块和所述多个附加图像图块来训练用于预测OCT图像中的边缘的机器学习模型。

2.如权利要求1所述的系统，其中，所述操纵所述至少一个图像图块包括以下中的至少一项：旋转所述至少一个图像图块或沿轴线翻转所述至少一个图像图块。

3.如权利要求2所述的系统，其中，所述多个附加图像图块包括与将所述至少一个图像图块旋转0度、90度、180度和270度相对应的图像图块。

4.如权利要求2所述的系统，其中，所述多个附加图像图块包括与沿竖直轴线或水平轴线中的至少一者翻转所述至少一个图像图块相对应的图像图块。

5.如权利要求1所述的系统，其中，所述边缘检测算法包括图形搜索算法。

6.如权利要求1所述的系统，其中，所述机器学习模型包括深度卷积神经网络。

7.如权利要求1所述的系统，其中，所述操作进一步包括使用经训练的机器学习模型来预测第二OCT图像中的边缘。

8.一种方法，包括：

获得生物医学图像；

基于边缘检测算法来确定所述生物医学图像中不同组织的边界；

基于所述生物医学图像来生成第一多个图像图块；

通过操纵所述第一多个图像图块中的至少一个图像图块来生成第二多个图像图块；以及

由一个或多个硬件处理器基于所述第一多个图像图块和所述第二多个图像图块来训练用于分割生物医学图像的机器学习模型。

9.如权利要求8所述的方法，其中，所确定的边界与所述生物医学图像中眼睛的前角膜层相对应。

10.如权利要求8所述的方法，其中，所述生成所述第一多个图像图块包括将所述生物医学图像划分成图像分块。

11.如权利要求10所述的方法，进一步包括分析所述生物医学图像的一个或多个特性，其中，所述生物医学图像基于所述分析被划分成所述第一多个图像图块。

12.如权利要求8所述的方法，其中，所述生成所述第一多个图像图块包括：

分析所述生物医学图像的多个不同部分；以及

从所述多个不同部分中选择所述生物医学图像的超过相关性阈值的部分子集。

13.如权利要求12所述的方法，其中，所述分析所述多个不同部分包括确定所述生物医学图像的来自所述多个不同部分的部分是否包括由所述边缘检测算法确定的边界。

14.如权利要求8所述的方法，其中，所述第二多个图像图块中的至少两个图像图块部分地重叠。

15.一种非暂态机器可读介质，其上存储有机器可读指令，所述机器可读指令能够执行以使机器执行操作，所述操作包括：

获得光学相干断层扫描(OCT)图像；

至少部分地基于边缘检测算法来分析所述OCT图像；

基于所述分析所述OCT图像来生成第一多个图像图块；

通过操纵所述第一多个图像图块中的至少一个图像图块来生成第二多个图像图块；以及

基于所述第一多个图像图块和所述第二多个图像图块来训练用于分割OCT图像的机器学习模型。

16.如权利要求15所述的非暂态机器可读介质，其中，所述分析所述OCT图像包括识别所述OCT图像中的边缘。

17.如权利要求16所述的非暂态机器可读介质，其中，所述操作进一步包括：

确定在所述第一多个图像图块中的每个图像图块内识别出的边缘的数量；以及

基于在每个图像图块内识别出的边缘的数量，从所述第一多个图块中选择所述至少一个图像图块，以生成所述第二多个图像图块。

18.如权利要求15所述的非暂态机器可读介质，其中，所述操纵所述至少一个图像图块包括以下中的至少一项：旋转所述至少一个图像图块或沿轴线翻转所述至少一个图像图块。

19.如权利要求18所述的非暂态机器可读介质，其中，所述第二多个图像图块包括与将所述至少一个图像图块旋转0度、90度、180度和270度相对应的图像图块。

20.如权利要求18所述的非暂态机器可读介质，其中，所述第二多个图像图块包括与沿竖直轴线或水平轴线中的至少一者翻转所述至少一个图像图块相对应的图像图块。

Images