CN115485717A - 使用分割和特征评估预测地图状萎缩进展 - Google Patents

Abstract

本发明提供了一种用于评估地图状萎缩病变的方法、系统和计算机程序产品。接收地图状萎缩(GA)病变的图像。使用所述图像确定一组形状特征的第一组值。使用所述图像确定一组纹理特征的第二组值。使用所述第一组值和所述第二组值预测所述GA病变的GA进展。

Description

使用分割和特征评估预测地图状萎缩进展

技术领域

本说明书通常针对地图状萎缩(GA)的评估。更具体地，本说明书提供了用于自动分割和确定能够预测GA进展的特征以及使用该特征预测GA进展的方法和系统。

背景技术

年龄相关性黄斑变性(AMD)是50岁或以上患者视力丧失的主要原因。地图状萎缩(GA)是AMD的两个晚期阶段之一，其特征是脉络膜毛细血管、视网膜色素上皮(RPE)和光感受器的逐步发展且不可逆的丧失。随着时间的推移，GA会导致视觉功能丧失。可以使用眼底自发荧光(FAF)图像执行GA病变扩大的诊断和监测，该图像是通过共焦激光扫描眼底镜(cSLO)获得的。这种类型的成像技术示出了RPE中脂褐素的地形图，可用于衡量GA病变随时间的变化。在FAF图像上，由于RPE及以致脂褐质的丧失，GA病变表现为具有清晰边界的低自发荧光区域。一些目前可用的评估GA的方法包括基于FAF图像对GA病变进行分级。然而，使用FAF图像量化GA病变通常是一个手动过程，比预期的更耗时且更容易出现观察者间和观察者内的易变性。因此，期望具有认识到这些问题中的一个或多个并将其考虑在内的一种或多种方法、系统或两者。

发明内容

在一个或多个实施例中，提供了一种用于评估地图状萎缩病变的方法。接收地图状萎缩(GA)病变的图像。使用图像确定一组形状特征的第一组值。使用图像确定一组纹理特征的第二组值。使用第一组值和第二组值确定GA病变的GA进展。

在一个或多个实施例中，提供了一种用于评估地图状萎缩(GA)病变的方法。接收对象的地图状萎缩(GA)病变的图像。将图像输入到深度学习系统中。使用深度学习系统生成第一分割输出。第一分割输出识别图像中与GA病变相对应的像素。

在一个或多个实施例中，一种系统包括：一个或多个数据处理器；以及非暂态计算机可读存储介质，该非暂态计算机可读存储介质包含指令，该指令当在所述一个或多个数据处理器上被执行时，使该一个或多个数据处理器执行一种或多种方法的一部分或全部，诸如，例如第一种方法、第二种方法或两者。第一种方法包括：接收地图状萎缩(GA)病变的图像；使用图像确定一组形状特征的第一组值；使用图像确定一组纹理特征的第二组值；使用第一组值和第二组值预测GA病变的GA进展。第二种方法包括：接收对象的地图状萎缩(GA)病变的图像；将图像输入到深度学习系统中；使用深度学习系统生成第一分割输出，第一分割输出识别图像中与GA病变相对应的像素。

在一个或多个实施例中，一种有形地体现在非暂态机器可读存储介质中的计算机程序产品，该计算机程序产品包括指令，该指令被配置成使一个或多个数据处理器执行一种或多种方法的一部分或全部，诸如，例如第一种方法、第二种方法或两者。第一种方法包括：接收地图状萎缩(GA)病变的图像；使用图像确定一组形状特征的第一组值；使用图像确定一组纹理特征的第二组值；使用第一组值和第二组值预测GA病变的GA进展。第二种方法包括：接收对象的地图状萎缩(GA)病变的图像；将图像输入到深度学习系统中；使用深度学习系统生成第一分割输出，第一分割输出识别图像中与GA病变相对应的像素。

附图说明

为了更完整地理解本文所公开的原理及其优点，现参考以下与附图有关描述，其中：

图1为根据各个实施例的病变评估系统100的框图。

图2为根据各个实施例的用于评估地图状萎缩病变的过程200的流程图。

图3为根据各种实施例的用于生成地图状萎缩病变的分割输出的过程300的流程图。

图4为根据各个实施例的使用特征来评估GA病变的过程400的流程图。

图5为根据各个实施例的用于识别GA病变的预后特征的过程500的流程图。

图6确定根据各个实施例的来自回顾性研究的一组图像。

图7为根据各个实施例的确定阐明形状和纹理特征的各种度量的表格。

图8示出了根据各个实施例的OCT正面图像，其中已经覆盖圆形度。

图9示出了根据各个实施例的OCT正面图像，其中已经覆盖最大Feret直径。

图10示出了根据各个实施例的用于自动分割的深度学习系统的示例性基础架构。

图11示出了通过自动分割与手动分割生成的分割掩模的性能比较。

图12示出了根据各个实施例的通过手动分割和通过自动分割产生的分割掩模。

图13示出了根据各个实施例的手动分割与不同类型的使用DICE分数的自动分割方法的比较。

图14示出了根据各个实施例的不同类型的使用DICE分数的自动分割方法的比较。

图15示出了根据各个实施例的用于同一多焦点GA病变的各种分割掩模。

图16示出了根据各个实施例的通过手动分割和自动分割提取的特征的比较。

图17示出了根据各个实施例的一组表格，表格示出了如何使用特征来确定自动和手动分割之间的相关性。

图18示出了根据各个实施例的一组表格，表格示出了如何使用特征来确定自动和手动分割之间的相关性。

图19为根据各个实施例的计算机系统的框图。

应当理解，附图不一定是按比例绘制的，图中的物体也不一定是相对于彼此按比例绘制的。附图是旨在使本文公开的设备、系统和方法的各种实施例清楚和易于理解的描述。在所有附图中，将尽可能使用相同的附图标记指代相同或相似的部件。此外，应当理解，附图不旨在以任何方式限制本教导的范围。

具体实施方式

I.概述

目前用于评估地图状萎缩(GA)的方法包括分析各种图像，诸如眼底自发荧光(FAF)图像和光学相干断层扫描(OCT)图像，以评估GA病变。可以分割此类图像，用于识别提供关于GA病变的信息的特征，并用于定量评估GA病变。

一些分割方法包括使用软件(例如，软件可以是半自动的)来分割FAF图像或OCT图像(并且更具体地，OCT正面(en face或en-face或enface)图像)中的GA病变。OCT正面图像为指定深度处的视网膜和脉络膜层的横向图像。分割包括为图像中的GA病变创建逐像素掩模。逐像素掩模可以将每个像素识别或分类为属于至少两个不同类别中的一个。作为一个示例，可以将每个像素分配给对应于GA病变的第一类别或不对应于GA病变的第二类别。以这种方式，分配给第一类别的像素识别GA病变。这种类型的分割可以称为GA分割。正确的分割能够识别和跟踪GA病变的生长速率，可以帮助区分单灶性病变和多灶性病变，并能够量化对应于GA病变的特征(例如，面积、周长、直径等)。单灶性GA病变可以是由单个病灶或部位引起的病变。多灶性GA病变可以是包括由多个病灶或部位引起的病变的GA病变。

然而，一些当前可用的分割方法涉及手动分割或半自动分割。在捕获图像的对应于GA病变的部分时，这些类型的分割方法可能不如预期的准确。此外，这些类型的分割方法可能耗时或繁琐。例如，图像的手动分割可能每张图像需要约12分钟，而半自动分割可能每张图像需要约1分钟。因此，本文描述的实施例提供了用于GA病变图像的全自动分割的方法和系统。所描述的实施例实现使用深度学习系统基于图像对GA病变的自动分割。图像的自动分割可能只需要几秒钟。深度学习系统可以针对具有不同类型的病变的多个受试者的训练数据进行训练，以提高深度学习系统的性能。例如，深度学习系统可以包括一个或多个神经网络模型。

此外，本文描述的实施例可以认识到，用于评估GA病变的一些当前可用方法可能不适合评估GA病变随时间的扩大。例如，从基线时间点到稍后时间点(例如，6个月、12个月等)的实际GA病变扩大与经由一些当前可用方法估计的GA病变扩大的相关性可能不如预期的高。例如，监测GA病变随时间的扩大可能对临床研究至关重要。例如，在临床试验中，可以使用针对GA进展的改进的预测因子来提供分层因子、纳入/排除标准、分析协变量和/或其他类型的信息，以改进或增强临床试验的设计。

因此，本文描述的方法和系统能够识别对应于GA病变的各种特征(例如，形状特征和纹理特征)的值，这些特征具有关于预测GA进展的预后能力。在一个或多个实施例中，基于这些特征预测GA进展的过程是完全自动化的。此外，本文描述的实施例提供了用于识别哪些特征具有预后能力(例如，与其他特征相比)的方法和系统。回归建模可以用于选择这些预后特征。

认识到并考虑到能够提供上述改进的方法和系统的重要性和实用性，本说明书描述了用于使用GA病变的图像来分割GA病变以生成分割掩模的各种实施例。此外，本说明书描述了用于基于GA病变的图像或分割掩模来评估GA病变的特征的各种实施例。更进一步，本说明书描述了用于确定具有关于GA进展的预后能力的特征的各种实施例。本文描述的实施例实现在定量评估GA病变方面的改进的性能，包括例如预测GA进展(例如，GA病变面积随时间的变化)。

II.定义

本公开不限于这些示例性实施例和应用，也不限于示例性实施例和应用的操作方式或本文描述的方式。此外，附图可能显示简化或局部视图，并且附图中元件的尺寸可能被夸大或不成比例。

此外，当本文中使用术语“在……上”、“附接到”、“连接到”、“耦合到”或类似词语时，一个元件(例如，部件、材料、层、基板等)可以“在另一元件上”、“附接到另一元件”、“连接到另一元件”或“耦合到另一元件”，而不管一个元件是直接在另一元件上、直接附接到另一元件、直接连接到另一元件或直接耦合到另一元件，还是在一个元件与另一元件之间存在一个或多个中间元件。此外，在提及元件列表(例如，元素a、b、c)的情况下，此类提及旨在包括单独列出的任何一种元件、少于所有列出的元件的任何组合和/或所有列出的元件的组合。规范中的章节划分仅为便于审查，并不限制所讨论元件的任何组合。

术语“受试者”可指临床试验的受试者、正在接受治疗的人、正在接受抗癌治疗的人、正在接受缓解或恢复监测的人、正在接受预防性健康分析的人(例如，由于其病史)或任何其他感兴趣的人或患者。在各种情况下，“受试者”和“患者”在本文可以互换使用。

除非另有定义，否则与本文描述的本发明的教导相关的科学和技术术语应具有本领域普通技术人员通常理解的含义。此外，除非上下文另有要求，否则单数术语应包括复数，而复数术语应包括单数。通常，本文描述了与化学、生物化学、分子生物学、药理学和毒理学结合使用的命名法和技术，这些命名法和技术是本领域中众所周知和常用的那些。

如本文所用，“基本上”是指足以达到预期目的。因此，术语“基本上”允许相对于绝对或完美状态、尺寸、测量、结果等的微小、无关紧要的变化，如本领域普通技术人员所期望的，但不会明显影响整体性能。当用于数值或可表示为数值的参数或特性时，“基本上”是指百分之十以内。

术语“复数个(ones)”意味着多于一个。

如本文所用，术语“多个”可以是2、3、4、5、6、7、8、9、10个或更多。

如本文所用，术语“一组”是指一个或多个。例如，一组项目包括一个或多个项目。

如本文所用，短语“……中的至少一个”在与项目列表一起使用时表示可以使用所列项目中的一个或多个的不同组合，并且可能仅需要列表中的一个项目。项目可以是特定的对象、事物、步骤、操作、过程或类别。换言之，“……中的至少一个”是指列表中可以使用的任何项目组合或项目数量，但并非列表中的所有项目都是必需的。例如但非限制性地，“项目A、项目B或项目C中的至少一个”指项目A；项目A和项目B；项目B；项目A、项目B和项目C；项目B和项目C；或项目A和C。在一些情况下，“项目A、项目B或项目C中的至少一个”是指但不限于项目A中的两个、项目B中的一个和项目C中十个；项目B中的四个和项目C中的七个；或某种其他合适的组合。

如本文所用，“模型”可以包括一种或多种算法、一种或多种数学技术、一种或多种机器学习算法或者它们的组合。

如本文所用，“机器学习”可以包括使用算法来解析数据、从中学习，然后对世界上的某事做出确定或预测的实践。机器学习使用可以从数据中学习，而无需依赖基于规则的编程的算法。

如本文所用，“人工神经网络”或“神经网络”(NN)可指数学算法或计算模型。神经网络(其也可以称为神经网络)可以使用一个或多个非线性单元层来预测接收输入的输出。除输出层之外，一些神经网络还包括一个或多个隐藏层。每个隐藏层的输出均用作网络中下一层(即下一个隐藏层或输出层)的输入。网络的每一层根据相应一组参数的当前值从接收输入生成输出。在各种实施例中，对“神经网络”的引用可以是对一个或多个神经网络的引用。

神经网络可以通过两种方式处理信息；当神经网络正在训练时，神经网络处于训练模式，以及当神经网络将所学知识付诸实践时，神经网络处于推理(或预测)模式。神经网络可以通过反馈过程(例如，反向传播)进行学习，该反馈过程允许网络调整中间隐藏层中各个节点的权重因子(修改其行为)，以便输出与训练数据的输出相匹配。换言之，神经网络可以接收训练数据(学习示例)并学习如何获得正确的输出，即使神经网络被呈现新的范围或一组输入。神经网络可以包括例如但不限于前馈神经网络(FNN)、递归神经网络(RNN)、模块化神经网络(MNN)、卷积神经网络(CNN)、残差神经网络(ResNet)、常微分方程神经网络(neural-ODE)或其他类型的神经网络中的至少一者。

如本文所用，“病变”可包括器官或组织中因受伤或疾病而遭受损伤的区域。此区域可以是连续的或不连续的区域。例如，如本文所用，病变可以包括多个区域。地图状萎缩(GA)病变是视网膜中遭受慢性进行性退化的区域。如本文所用，GA病变可以包括一个病变(例如，一个连续病变区域)或多个病变(例如，由多个单独病变组成的不连续病变区域)。

如本文所用，“病变面积”可以指由病变覆盖的总面积，无论该病变是连续区域还是不连续区域。

如本文所用，“纵向”是指某个时间段。该时间段可以天、周、月、年或某种其他时间度量为单位。

如本文所用，“掩模”包括一种图像，其中图像的每个像素均具有至少两个不同预选电位值中的一个。

III.地图状萎缩(GA)病变评估

图1为根据各个实施例的病变评估系统100的框图。病变评估系统100用于评估受试者视网膜中的地图状萎缩(GA)病变。病变评估系统100包括计算平台102、数据存储装置104和显示系统106。计算平台102可以采取各种形式。在一个或多个实施例中，计算平台102包括单个计算机(或计算机系统)或彼此通信的多个计算机。在其他示例中，计算平台102采用云计算平台的形式。

数据存储装置104和显示系统106各自与计算平台102通信。在一些示例中，数据存储装置104、显示系统106或两者可以被认为是计算平台102的一部分或以其他方式与计算平台集成。因此，在一些示例中，计算平台102、数据存储装置104和显示系统106可以是彼此通信的单独部件，但在其他示例中，这些部件的某种组合可以集成在一起。

病变评估系统100包括图像处理器108，该图像处理器可以使用硬件、软件、固件或它们的组合来实现。在一个或多个实施例中，图像处理器108在计算平台102中实现。

图像处理器108接收图像输入109进行处理。在一个或多个实施例中，图像输入109包括一组眼底自发荧光(FAF)图像110、一组光学相干断层扫描(OCT)图像112、一种或多种其他类型的图像(例如，红外(IR)图像)或它们的组合。在一个或多个实施例中，图像输入109包括由同一成像设备生成的图像。

在各种实施例中，图像处理器108使用分割系统114处理图像输入109以生成对应于GA病变的分割输出116。在一个或多个实施例中，分割系统114包括深度学习系统118。深度学习系统118可以包括任意数量的神经网络系统或神经网络系统的组合，每个神经网络系统包括一个或多个神经网络模型。在一个或多个实施例中，深度学习系统118包括卷积神经网络(CNN)模型，该CNN模型包括一个或多个神经网络。这些一个或多个神经网络中的每一个本身可以是卷积神经网络。在一些实施例中，深度学习系统118包括U-Net(U形神经网络模型)。

由深度学习系统118生成的分割输出116包括一个或多个分割掩模。每个分割掩模提供对视网膜区域的逐像素评估。例如，分割输出116中的分割掩模可以是二值图像，其中每个像素具有两个值中的一个。作为一个具体示例，分割掩模可以是黑白二值图像，其中白色表示识别为GA病变的面积。

在一个或多个实施例中，深度学习系统118用于生成初步概率图图像，其中每个像素具有范围从0到1的强度。像素强度越接近1，越有可能是GA病变。深度学习系统118可以包括阈值化模块，该阈值化模块将阈值应用于初步概率图以产生二值概率图形式的分割掩模。例如，初步概率图中处于或高于阈值的任何像素强度(例如，0.5、0.75等)可以被分配强度“1”，而初步概率图中低于阈值的任何像素强度可被分配强度“0”。以这种方式，分割输出116包括二值分割掩模，该二值分割掩模识别被识别为GA病变的面积。

在各种实施例中，分割输出116包括期望数量的分割掩模，以在选定时间段(例如，3个月、6个月、12个月、18个月等)上评估GA病变。此外，分割输出116可以包括期望数量的分割掩模，以在选定时间段内以期望的时间间隔评估GA病变。该期望的时间间隔可以是恒定的或不同的时间间隔。在一个或多个实施例中，分割输出116包括12个月时段内每10天的分割掩模。

在各种实施例中，图像处理器108(或在计算平台102内实现的另一代理或模块)使用分割输出116来生成GA病变的定量评估。例如，图像处理器108可以包括特征系统120，该特征系统能够接收分割输出(诸如分割输出116)作为输入。特征系统120使用分割输出116来提取对应于GA病变的多个特征122。在一个或多个实施例中，特征系统120包括深度学习系统121，该深度学习系统可以使用例如或多个神经网络模型来实现。

多个特征122可以包括例如但不限于一组形状特征124和一组纹理特征126。例如，一组形状特征124可以包括病变面积、凸包面积、周长、圆度、最大费雷特直径、最小费雷特直径、GA病变面积的平方根、周长的平方根、圆度的平方根或某种其他类型的形状特征中的至少一者。

在一些实施例中，特定GA病变(其可以为单灶性病变或多灶性病变)的一组形状特征124包括与GA病变的每个病变的面积、凸包面积、周长、质心、偏心率、长轴长度或短轴长度中的至少一者相关联的各种度量。例如，当GA病变为多灶性病变时，一组形状特征124可以包括GA病变的每个病变的面积、凸包面积、周长、质心、偏心率、长轴长度或短轴长度中的至少一者。在一些情况下，每个特征均包括GA病变的不同病变的对应值，按大小排序。在一个或多个实施例中，一组形状特征124包括GA病变的所有病变的面积、凸包面积、周长、质心、偏心率、长轴长度或短轴长度中的至少一者的平均值、加权平均值、标准偏差或它们的组合。在一些实施例中，一组形状特征124包括GA病变的最大病变的面积、凸包面积、周长、质心、偏心率、长轴长度或短轴长度中的至少一者。在一些实施例中，一组形状特征124包括凸包的面积、周长、质心、偏心率、长轴长度或短轴长度中的至少一者，该凸包包含GA病变的所有病变。

例如，一组纹理特征126可以包括量化对比度、能量、熵、同质性或某种其他类型的纹理特征中的至少一者的一个或多个度量。在一些实施例中，一组纹理特征126中的一个或多个纹理特征是使用灰度共生矩阵(GLCM)导出的，该GLCM可以使用图像输入109、分割输出116或两者来创建。GLCM使用邻接概念并给出图像像素之间的空间关系。在各种实施例中，一组纹理特征126包括例如但不限于与像素强度和对应于GA病变的其他纹理特征相关的不同度量。

这些不同类型的特征可以用于在任何给定时间点或在纵向上定量评估GA病变。例如，对于分割输出116中的分割掩模，病变的数量可以是在分割掩模中所识别的形成GA病变的不连续区域或面积的数量。多个特征122中的特征的示例包括病变面积(或总病变面积)和病变周长(或总病变周长)。病变面积或总病变周长可以被识别为被所识别的一个或多个病变占据的总面积或空间。例如，病变周长或总病变周长可以是被一个或多个病变占据的一般面积或空间的周长。在其他示例中，总病变周长可以是一个或多个病变的各个周长的总和。在一些情况下，多个特征122包括基于多个特征122中的一个或多个其他特征计算的一个或多个特征。

可以使用多个特征122来纵向评估GA病变。例如，在一些情况下，可以使用多个特征122来生成预测输出128。例如，预测输出128包括对GA进展的预测。例如，图像输入109可以包括相同或基本上相同(例如，在同一小时内、同一天内、同1-3天内等)时间点的图像。多个特征122或多个特征122的至少一部分可以实现对GA病变随时间的纵向定量评估。例如，预测输出128可以包括对选定时间段上(例如，在基线时间点与6个月之间、基线时间点与12个月之间、基线时间点与18个月外之间等等)GA病变面积变化的预测。

在一些实施例中，多个特征122或多个特征122的一部分可以用于比较或分析自动分割与手动或半自动分割的结果。例如，此比较或分析可以用于重新训练或以其他方式调整用于执行自动分割的深度学习系统118。

图2为根据各个实施例的用于评估地图状萎缩病变的过程200的流程图。在各种实施例中，使用图1中描述的病变评估系统100来实现过程200。

步骤202包括接收图像输入。例如，该图像输入可以包括一组眼底自发荧光(FAF)图像、一组眼底自发荧光(FAF)图像、一组红外(IR)图像、一个或多个其他类型的图像或它们的组合。图像输入包括受试者的同一视网膜的一个或多个图像。在各种实施例中，图像输入包括相同或基本上相同(例如，在同一小时内、同一天内、同1-3天内等)时间点的图像。在其他实施例中，图像输入包括某个时间段的图像。例如，图像输入可以包括针对基线时间点的第一图像和针对未来时间点(例如，3个月外、6个月外、12个月外、18个月外等)的第二图像。

步骤204包括使用深度学习系统生成分割输出，该分割输出识别图像中对应于GA病变的像素。例如，深度学习系统可以是图1中的深度学习系统118。例如，深度学习系统可以包括卷积神经网络(CNN)系统，该CNN系统包括任意数量的神经网络。例如，分割输出可以是图1中描述的分割输出116。在一个或多个示例性实施例中，分割输出包括分割掩模，该分割掩模是二值图像，其中每个像素具有两个值中的一个。例如，分割掩模可以包括黑白二值图像，其中白色表示识别为GA病变的面积。在一些情况下，此二值图像被称为“分割掩模”(或简称为掩模)。

步骤206包括使用分割输出生成对GA病变的定量评估。例如，步骤206可以包括提取对应于GA病变的多个特征，诸如可以使用分割输出来提取上文关于图1描述的一组特征122。该组特征可以用于生成对GA病变的定量评估。此定量评估可以是纵向评估。在一些实施例中，此定量评估是对GA进展的预测。例如，定量评估可以包括对选定时间段上GA病变面积变化的预测。

IIII.A.GA病变分割

图3为根据各种实施例的用于生成地图状萎缩病变的分割输出的过程300的流程图。在各种实施例中，使用图1中描述的病变评估系统100来实现过程300。在这些实施例中，过程300是全自动化过程。

步骤302包括接收受试者的地图状萎缩(GA)病变的图像输入。该图像输入包括第一图像和第二图像。例如，第二图像可以是针对基线时间点的基线图像。例如，第一图像可以是针对后续时间点的图像。例如，第一图像可以针对处理后的某个时间点(例如，3个月后、6个月后、12个月后、18个月后等)。图像输入可以包括FAF图像、OCT图像、IR图像或某种其他类型的图像。

步骤304包括将图像输入输入到深度学习系统中。例如，深度学习系统可以包括神经网络系统。神经网络系统可以包括一个或多个神经网络模型。在一个或多个实施例中，神经网络系统包括CNN。在其他实施例中，神经网络包括U-Net。在各种实施例中，深度学习系统是已在各种图像上进行训练的系统。

步骤306包括使用深度学习系统生成第一分割输出，该第一分割输出识别第一图像中对应于GA病变的像素。如先前所述，分割输出可以包括一个或多个分割掩模。可以以各种方式使用分割掩模。例如，可以将基线图像的分割掩模与后续时间点的分割掩模进行比较，以对图像进行定性和/或定量评估。

步骤308包括使用深度学习系统生成第二分割输出，该第二分割输出识别第二图像中对应于GA病变的像素。

步骤310包括使用第一分割输出和第二分割输出确定受试者的GA进展。在一个或多个实施例中，步骤310包括使用第一分割输出确定第一GA病变面积和使用第二分割输出确定第二GA病变面积。这两个GA病变面积之间的差异是对应两个时间点之间GA病变面积的变化。

GA进展可以经由一个或多个度量来确定。例如，这些度量可以包括病变面积的变化、最大直径的变化、纵横比的变化、累积强度的变化、对应于病变面积的相对于两个时间点的某种其他变化或它们的组合。这些度量可以是百分比、绝对值或某种其他类型的表示。

III.B.GA病变特征评估

图4为根据各个实施例的使用特征来评估GA病变的过程400的流程图。在各种实施例中，使用图1中描述的病变评估系统100来实现过程400。在各种实施例中，过程400是半自动化过程。在其他实施例中，过程400是全自动化过程。

步骤402包括接收地图状萎缩(GA)病变的图像输入。在一个或多个实施例中，图像输入包括分割掩模。例如，此分割掩模可以是经由图3中的过程300(例如，步骤306或步骤308)生成的分割掩模。在其他实施例中，图像包括FAF图像、OCT图像、IR图像或某种其他类型的图像。在其他实施例中，图像输入包括分割掩模、FAF图像或OCT图像的某种组合。例如，OCT图像可以是正面脉络膜OCT图像。

步骤404包括使用图像输入确定一组形状特征的第一组值。该组形状特征可以包括各种特征，诸如但不限于病变面积、凸包面积、周长、圆度、最大费雷特直径、最小费雷特直径、GA病变面积的平方根、周长的平方根、圆度的平方根或某种其他类型的形状特征中的至少一者。当GA病变为多灶性病变时，可以处理各种病变的特征值以计算用于特征值的加权平均值。在其他示例中，使用对应于最大病变的特征值。在其他示例中，通过从包含多灶性病变内的所有各种病变的整体形状(例如，凸包)提取特征来确定特征值。

病变面积是GA病变的面积并且可以例如以mm²为单位。凸包面积可以是GA病变的凸形状或凸包的面积并且可以例如以mm²为单位。周长是GA病变的周长并且可以例如以mm为单位。最大费雷特直径可以指GA病变的两条平行切线之间的最大距离。最小费雷特直径可以包括GA病变的两条平行切线之间的最小距离。圆度可能需要测量GA病变的圆形程度。在某些情况下，圆度测量如下：

圆度＝(4*pi*病变面积)/(周长²)

(1)

步骤406包括使用图像输入确定一组纹理特征的第二组值。该组纹理特征可以包括各种特征，诸如但不限于对比度、相关性、能量、同质性或某种其他纹理特征中的至少一者。在一些实施例中，可以使用灰度共生矩阵(GLCM)来评估纹理特征，该GLCM可以使用图像输入来创建。GLCM使用邻接概念并给出图像像素之间的空间关系。GLCM可以用于导出以下纹理特征，如下所示：

步骤408包括使用第一组值和第二组值预测GA病变的GA进展。在一个或多个实施例中，步骤408包括使用第一组值、第二组值和深度学习系统预测GA病变的GA进展。例如，深度学习系统可以包括一个或多个神经网络模型。在一些情况下，深度学习系统包括CNN。

图5为根据各个实施例的用于识别GA病变的预后特征的过程500的流程图。在各种实施例中，使用图1中描述的病变评估系统100来实现过程400。此外，过程500可以是可以选择在图4中的过程400中的步骤404和406中描述的一组形状特征和一组纹理特征的方式的一个示例。在各种实施例中，过程500是半自动化过程。在其他实施例中，过程500是全自动化过程。

步骤502包括接收具有GA病变的多个受试者的测试图像。例如，测试图像包括针对基线时间点的基线图像。

步骤504包括针对多个受试者中的每个受试者，使用测试图像识别GA病变面积的变化和多个特征。GA病变面积的变化可以基于基线图像和后续图像来识别。后续图像是针对后续时间点(例如，基线时间点之后3个月、6个月、12个月、18个月等)生成的图像。在一些情况下，这些后续图像包含在测试图像中。

步骤506包括将GA病变面积的变化与多个特征中的每一个相关以形成相关性数据。在一个或多个实施例中，步骤506包括使用一个或多个回归(例如，线性回归模型)。此外，步骤506可以包括使用一个或多个回归模型计算多个特征的确定系数(R²)值。特定特征的R²值越高，该特征在预测GA进展或GA病变面积变化方面的预后潜力(或预后能力)就越高。

步骤508包括基于针对多个特征生成的相关性数据从多个特征中选择一组形状特征和一组纹理特征。因此，基于使用测试图像针对多个特征生成的相关性数据，选择一组形状特征和一组纹理特征。在一些实施例中，该组形状特征包括在步骤504中识别的多个特征中的所有形状特征，该组纹理特征包括在步骤504中识别的多个特征中的所有纹理特征，或两者。在一个或多个实施例中，步骤508包括设置截断值或阈值R²值、阈值相关值或某种其他类型的阈值，在这些阈值之上时选择对应的特征。例如，阈值R²值可以是高于0.05的值(例如，0.07、0.08、0.1、0.12、0.14、0.15等)。

IV.示例/结果

图6示出了根据各种实施例的一组图像。一组图像600包括图像602和图像604，它们是具有GA病变的受试者的两个示例性光谱域光学相干断层扫描(SD-OCT)正面图像。图像602是基线图像，并且图像604是基线后18个月的后续图像。一组图像600包括分别对应于图像602和604的分割掩模606和分割掩模608。使用基于强度的k-means聚类算法，从OCT正面图像中分割图6的GA病变，形成分割掩模。在其他实施例中，可以使用其他类型的无监督学习技术进行分割。

图7为根据各个实施例的确定阐明形状和纹理特征的各种度量的表格。表700确定了基线时间点和基线时间点18个月后的形状和纹理特征的平均值(平均值的标准误差)。R²是经由一个或多个线性回归模型获得的关于病变生长的每个特征的基线值和18个月值之间的确定系数(基线病变面积和18个月病变面积之间的绝对差异)。表700中的值对应于图6中的一组图像600。

图8示出了根据各种实施例的圆度已被覆盖的OCT正面图像800。

图9示出了根据各种实施例的最大费雷特直径已被覆盖的OCT正面图像900。

图10示出了根据各种实施例的用于自动分割的深度学习系统的示例性基础设施1000。

图11示出了根据各种实施例的经由自动分割与手动分割生成的分割掩模的性能比较。

图12示出了根据各个实施例的通过手动分割和通过自动分割产生的分割掩模。在图12中，手动分割OCT正面图像1202以产生第一掩模1204，并使用包括U-Net的深度学习系统自动分割正面图像以产生第二掩模1206。

图13示出了根据各种实施例的手动分割与使用DICE评分的不同类型的自动分割方法的比较1300。自动分割方法使用不同类型的基于U-Net的深度学习系统。

图14示出了根据各种实施例的使用DICE评分的不同类型的自动分割方法的比较1400。自动分割方法使用不同类型的基于U-Net的深度学习系统。

图15示出了根据各个实施例的用于同一多焦点GA病变的各种分割掩模。分割掩模1502示出多灶性GA病变的所有病变。分割掩模1504示出多灶性GA病变的最大病变。分割掩模1506示出多灶性GA病变的整体形状或凸包。

图16示出了根据各种实施例的经由手动分割和自动分割提取的特征的比较1600。比较1600示出了使用基于U-Net的深度学习系统的性能自动分割与针对识别的病灶总数、总病灶面积、总病灶周长的手动分割。

图17示出了根据各种实施例的一组表1700，该组表示出了特征可以如何用于确定自动分割和手动分割之间的相关性。

图18示出了根据各种实施例的一组表1800，该组表示出了特征可以如何用于确定自动分割和手动分割之间的相关性。在图18中，r为Pearson相关系数。如图所示，自动分割与手动分割密切相关(例如，“r”等于或高于0.8)。

V.计算机实施系统

图19为根据各个实施例的计算机系统的框图。计算机系统1900可以是上文在图1中描述的计算平台102的一个实施方式的示例。在一个或多个示例中，计算机系统1900可以包括总线1902或用于传达信息的其他通信机制，以及与总线1902耦合用于处理信息的处理器1904。在各种实施例中，计算机系统1900还可以包括存储器，该存储器可以是随机存取存储器(RAM)1906或其他动态存储设备，耦合到总线1902用于确定将由处理器1904执行的指令。存储器还可以用于在将由处理器1904执行的指令的执行期间存储临时变量或其他中间信息。在各种实施例中，计算机系统1900还可以包括只读存储器(ROM)1908或耦合到总线1902的其他静态存储设备，用于存储用于处理器1904的静态信息和指令。可以提供存储设备1910(诸如磁盘或光盘)并将其耦合到总线1902以用于存储信息和指令。

在各种实施例中，计算机系统1900可以经由总线1902耦合到显示器1912(诸如阴极射线管(CRT)或液晶显示器(LCD))用于向计算机用户显示信息。输入设备1914(包括字母数字键和其他键)可以耦合到总线1902用于将信息和命令选择传达给处理器1904。另一种类型的用户输入设备是光标控件1916(诸如鼠标、操纵杆、轨迹球、手势输入设备、基于注视的输入设备或光标方向键)用于将方向信息和命令选择传达给处理器1904和用于控制显示器1912上的光标移动。此输入设备1914通常在两个轴线(第一轴线(例如，x)和第二轴线(例如，y))上具有两个自由度，这允许设备指定平面中的位置。然而，应当理解，本文也设想了允许三维(例如，x、y和z)光标移动的输入设备1914。

计算机系统1900可响应于处理器1904执行RAM 1906中包含的一个或多个指令的一个或多个序列而提供结果。此类指令可以从另一计算机可读介质或计算机可读存储介质(诸如存储设备1910)读取到RAM 1906中。RAM 1906中包含的指令序列的执行可以使处理器1904执行本文描述的过程。替代地，可以使用硬连线电路代替软件指令或与软件指令结合来实施本教导。因此，本教导的实施方式不限于硬件电路和软件的任何特定组合。

如本文所用，术语“计算机可读介质”(例如，数据存储、数据存储装置、存储设备、数据存储设备等)或“计算机可读存储介质”是指参与向处理器1904提供指令以供执行的任何介质。这种介质可以采取多种形式，包括但不限于非易失性介质、易失性介质和传输介质。非易失性介质的示例可以包括但不限于光学、固态、磁盘，诸如存储设备1910。易失性介质的示例可以包括但不限于动态存储器，诸如RAM 1906。传输介质的示例可以包括但不限于同轴电缆、铜线和光纤，包括构成总线1902的线。

计算机可读介质的常见形式包括例如软盘、软盘、硬盘、磁带或任何其他磁性介质、CD-ROM、任何其他光学介质、穿孔卡、纸带、任何其他具有孔图案的物理介质、RAM、PROM和EPROM、FLASH-EPROM、任何其他存储芯片或盒式磁带，或计算机可以读取的任何其他有形介质。

除了计算机可读介质之外，指令或数据还可以作为信号提供在通信装置或系统中包括的传输介质上，以向计算机系统1900的处理器1904提供一个或多个指令的序列以供执行。例如，通信装置可以包括具有指示指令和数据的信号的收发器。指令和数据被配置为使一个或多个处理器实现本文公开中概述的功能。数据通信传输连接的代表性示例可以包括但不限于电话调制解调器连接、广域网(WAN)、局域网(LAN)、红外数据连接、NFC连接、光通信连接等。

应当理解，本文描述的方法、流程图、图表和随附公开内容可以使用计算机系统1900作为独立设备或在共享计算机处理资源的分布式网络(诸如云计算网络)上来实现。

取决于应用，本文描述的方法可以根据应用通过各种方式实施。例如，这些方法可以在硬件、固件、软件或其任何组合中实现。对于硬件实施方式，处理单元可以在一个或多个专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑设备(PLD)、现场可编程门阵列(FPGA)、处理器、控制器、微控制器、微处理器、电子设备、设计用于执行本文描述功能的其他电子单元或它们的组合内实现。

在各种实施例中，本教导的方法可以实现为固件和/或软件程序以及以诸如C、C++、Python等传统编程语言编写的应用程序。如果实现为固件和/或软件，则本文描述的实施例可以在非暂时性计算机可读介质上实现，其中存储程序以使计算机执行上述方法。应当理解，本文描述的各种引擎可以提供在计算机系统(诸如计算机系统1900)上，由此处理器1904将根据存储器部件RAM 1906、ROM、1908或存储设备1910中的任一者或它们的组合提供的指令，以及经由输入设备1914提供的用户输入，执行这些引擎提供的分析和确定。

VI.其他注意事项

尽管结合各种实施例描述了本教导，但本教导并不旨在限于此类实施例。相反，如本领域技术人员将理解的，本教导包含各种替代、修改和等效物。本描述仅提供优选的示例性实施例，并且不旨在限制本公开的范围、适用性或配置。相反，优选示例性实施例的本描述将为本领域技术人员提供用于实现各种实施例的可行描述。应当理解，在不脱离所附权利要求中阐述的精神和范围的情况下，可以对元件的功能和布置进行各种改变。

在描述各种实施例时，说明书可能已将方法和/或过程呈现为特定的步骤序列。然而，如果该方法或过程不依赖于本文所述的特定步骤顺序，则该方法或过程不应限于列出的特定步骤序列，并且本领域技术人员可以很容易理解，这些序列可以是不同的，并且仍然保持在各种实施例的精神和范围内。

本公开的一些实施例包括一种系统，该系统包括一个或多个数据处理器。在一些实施例中，该系统包括包含指令的非暂时性计算机可读存储介质，所述指令当在所述一个或多个数据处理器上被执行时，使所述一个或多个数据处理器执行本文公开的一种或多种方法的部分或全部和/或本文公开的一种或多种过程的部分或全部。本公开的一些实施例包括一种有形地体现在非暂时性机器可读存储介质中的计算机程序产品，其包括指令，所述指令被配置为使一个或多个数据处理器执行本文公开的一种或多种方法的部分或全部和/或本文公开的一种或多种过程的部分或全部。

在本描述中给出具体细节以理解本实施例。然而，应当理解，可以在没有这些具体细节的情况下实践实施例。例如，电路、系统、网络、过程和其他组件可以以框图形式显示为部件，以免在不必要的细节中混淆实施例。在其他情况下，可以在没有不必要的细节的情况下示出众所周知的电路、过程、算法、结构和技术以避免混淆实施例。

Claims (20)

1.一种用于评估地图状萎缩病变的方法，所述方法包括：

接收地图状萎缩(GA)病变的图像；

使用所述图像确定一组形状特征的第一组值；

使用所述图像确定一组纹理特征的第二组值；以及

使用所述第一组值和所述第二组值，预测所述GA病变的GA进展。

2.根据权利要求1所述的方法，其中预测所述GA进展包括：

使用所述第一组值、所述第二组值和深度学习系统，预测所述GA病变的所述GA进展。

3.根据权利要求1或2所述的方法，其进一步包括：

基于使用具有GA病变的多个受试者的测试图像针对多个特征而生成的相关性数据，从所述多个特征中选择所述一组形状特征和所述一组纹理特征。

4.根据权利要求3所述的方法，其进一步包括：

针对所述多个受试者中的每个受试者，使用所述测试图像识别GA病变面积的变化和多个特征；以及

将所述GA病变面积的所述变化与所述多个特征中的每一个相关，以形成所述相关性数据。

5.根据权利要求1至4中任一项所述的方法，其中确定所述一组形状特征的所述第一组值包括：

使用基于所述图像生成的分割输出，确定所述一组形状特征的所述第一组值。

6.根据权利要求1至5中任一项所述的方法，其中确定所述一组纹理特征的所述第二组值包括：

使用基于所述图像生成的分割输出，确定所述一组纹理特征的所述第二组值。

7.根据权利要求1至6中任一项所述的方法，其中预测所述GA进展包括：

使用所述第一组值、所述第二组值和深度学习系统，预测所述GA病变的所述GA进展。

8.根据权利要求1至7中任一项所述的方法，其中所述一组形状特征包括：病变面积、凸包面积、周长、圆度、最大费雷特直径、最小费雷特直径、GA病变面积的平方根、所述周长的平方根或所述圆度的平方根中的至少一者。

9.根据权利要求1至8中任一项所述的方法，所述一组纹理特征包括对比度、相关性、能量或同质性中的至少一者。

10.根据权利要求1至9中任一项所述的方法，其中所述图像为眼底自发荧光(FAF)图像。

11.根据权利要求1至9中任一项所述的方法，其中所述图像为光学相干层析成像(OCT)图像。

12.一种用于评估地图状萎缩(GA)病变的方法，所述方法包括：

接收受试者的所述地图状萎缩(GA)病变的图像；

将所述图像输入深度学习系统中；以及

使用所述深度学习系统生成第一分割输出，所述第一分割输出识别所述图像中对应于所述GA病变的像素。

13.根据权利要求12所述的方法，其进一步包括：

使用所述第一分割输出，预测GA进展。

14.根据权利要求12所述的方法，其中所述图像为后续图像并且所述方法进一步包括：

使用所述第一分割输出和针对所述受试者的所述GA病变的基线图像生成的第二分割输出，来确定GA进展。

15.根据权利要求12至14中任一项所述的方法，其中所述图像为眼底自发荧光(FAF)图像。

16.根据权利要求12至14中任一项所述的方法，其中所述图像为光学相干层析成像(OCT)图像。

17.根据权利要求12至14中任一项所述的方法，其中所述深度学习系统包括神经网络模型。

18.根据权利要求17所述的方法，其中所述神经网络模型为卷积神经网络。

19.一种系统，其包括：

一个或多个数据处理器；以及

非暂时性计算机可读存储介质，所述非暂时性计算机可读存储介质包含指令，所述指令当在所述一个或多个数据处理器上被执行时，使所述一个或多个数据处理器执行权利要求1至14中所公开的一种或多种方法的一部分或全部。

20.一种有形地体现在非暂时性机器可读存储介质中的计算机程序产品，所述计算机程序产品包括指令，所述指令被配置成使一个或多个数据处理器执行权利要求1至14中所公开的一种或多种方法的一部分或全部。

Images