CN117063207A - 视敏度反应的多模式预测 - Google Patents

Abstract

本发明提供了用于预测视敏度反应的方法和系统。所述方法和系统利用包括二维成像数据的第一输入和包括三维成像数据的第二输入中的一者或多者。经由神经网络系统，使用所述第一输入和/或所述第二输入来预测视敏度反应(VAR)输出。所述VAR输出包括正在接受治疗的受试者的视敏度的预测变化。

Description

视敏度反应的多模式预测

交叉引用

本申请要求2020年12月3日提交的题为“MULTIMODAL PREDICTION OF VISUALACUITY RESPONSE”的美国临时专利申请第63/121,213号和2021年4月15日提交的题为“MULTIMODAL PREDICTION OF VISUAL ACUITY RESPONSE”的美国临时专利申请第63/175,544号的优先权，这些申请出于所有目的通过引用整体并入本文。

技术领域

该描述通常针对预测被诊断患有年龄相关性黄斑变性(AMD)的受试者的视敏度反应。更具体地，该描述提供了用于使用从一种或多种成像模态获得的信息来预测被诊断患有AMD的受试者的视敏度反应的方法和系统。

前言

年龄相关性黄斑变性(AMD)是一种影响眼睛视网膜的中央区域(称为黄斑)的疾病。AMD是50岁或以上受试者视力丧失的主要原因。新生血管性AMD(nAMD)是AMD的两个晚期阶段之一。对于nAMD，新的和异常的血管在黄斑下不受控制地生长。这种类型的生长可能导致肿胀、出血、纤维化、其他问题或它们的组合。nAMD的治疗通常涉及抗血管内皮生长因子(抗VEGF)疗法(例如，抗VEGF药物，诸如兰尼单抗)。视网膜对此类治疗的反应至少部分地是受试者特异性的，因此不同受试者可能对同一类型的抗VEGF药物有不同应答。此外，抗VEGF疗法通常经由玻璃体内注射施用，这可能费用高昂并且本身会引起并发症(例如，失明)。因此，需要可以预测患有nAMD的受试者可能对抗VEGF药物治疗有何种程度的应答的系统和方法。

发明内容

本公开提供了用于预测视敏度反应(VAR)的系统和方法。该系统和方法通常利用神经网络。在一些实施例中，该系统和方法利用被配置为接收包括二维(2D)成像数据(诸如彩色眼底成像(CFI)数据)的输入，并将训练模型应用到输入以预测VAR反应(诸如响应于正在接受治疗，诸如用抗VEGF药物治疗的受试者的视敏度的预测变化)的神经网络。在一些实施例中，该系统和方法利用被配置为接收包括三维(3D)成像数据(诸如光学相干断层扫描(OCT)数据)的输入，并将训练模型应用到输入以预测VAR反应的神经网络。在一些实施例中，该方法和系统被配置为接收包括2D成像数据的第一输入和包括3D成像数据的第二输入，并将训练模型应用到第一输入和第二输入以预测VAR反应。

附图说明

为了更完整地理解本文所公开的原理及其优点，现参考以下结合附图进行的描述，在附图中：

图1是根据各种实施例的预测系统的框图。

图2是根据各种实施例的用于预测视敏度反应的多模式过程的流程图。

图3是根据各种实施例的多模式神经网络系统的框图。

图4是根据各种实施例的用于预测视敏度反应的第一单模式过程的流程图。

图5是根据各种实施例的第一单模式神经网络系统的框图。

图6是根据各种实施例的用于预测视敏度反应的第二单模式过程的流程图。

图7是根据各种实施例的第二单模式神经网络系统的框图。

图8是根据各种实施例的计算机系统的框图。

应当理解，附图不一定按比例绘制，图中的对象也不一定相对于彼此按比例绘制。附图是旨在清楚和理解本文公开的设备、系统和方法的各种实施例的描绘。在可能的情况下，将在整个附图中使用相同的附图标记来指代相同或相似的部分。此外，应当理解，附图不旨在以任何方式限制本教导的范围。

具体实施方式

概述

确定受试者对年龄相关性黄斑变性(AMD)治疗的反应可包括确定受试者的视敏度反应(VAR)。受试者的视敏度是他或她的视觉锐度，可通过受试者在给定距离内辨别字母或数字的能力来测量。视敏度通常经由眼科检查确定，并根据标准Snellen视力表进行测量。然而，可利用其他视敏度测量来代替Snellen视力表。视网膜图像可提供可用于估计受试者的视敏度的信息。例如，彩色眼底(CF)图像可用于估计拍摄彩色眼底图像时受试者的视敏度。

但在某些情况下，诸如，例如在临床试验中，可能需要能够预测受试者响应于AMD治疗的未来视敏度。例如，可能需要预测受试者的视敏度是否会在治疗后的选定时间段(例如，治疗后3、6、9或12个月等)有所改善。此外，可能需要对任何此类预测的视敏度改善进行分类。此类预测和分类可使治疗方案能够针对给定受试者进行个性化。例如，关于受试者响应于特定AMD治疗的视敏度反应的预测可用于定制治疗剂量(诸如注射剂量)、治疗间隔(诸如注射)，或两者。此外，此类预测可通过能够排除那些预测对治疗应答不佳的受试者来改善临床试验筛选、预筛选，或两者。

因此，本文所述的各种实施例提供了用于预测响应于AMD治疗的视敏度的方法和系统。特别地，来自一种或多种成像模态的成像数据由神经网络系统接收和处理以预测视敏度反应(VAR)输出。VAR输出可以包括正在接受治疗的受试者的视敏度的预测变化。在一些情况下，VAR输出对应于视敏度的预测变化，因为VAR输出可被进一步处理以确定该预测变化。因此，VAR输出可以是视敏度的预测变化的指标。在一个或多个实施例中，这些不同的成像模态包括彩色眼底成像和/或光学相干断层扫描(OCT)。

彩色眼底成像是一种二维成像模态。彩色眼底成像捕获约30度至约50度的视网膜和视神经视图。除了广泛可用且易于使用之外，与其他成像模态相比，彩色眼底成像可更擅长于捕获视神经的外观和眼睛中血肿的存在。然而，彩色眼底成像可能无法捕获有关视网膜的厚度或体积数据。

OCT可被认为是三维成像模态。特别地，OCT可用于使用千分尺捕获图像(例如，至多约10μm、9μm、8μm、7μm、6μm、5μm、4μm、3μm、2μm、1μm或更高的分辨率，至少约1μm、2μm、3μm、4μm、5μm、6μm、7μm、8μm、9μm、10μm或更低的分辨率，或分辨率在由任何两个前述值定义的范围内)来提供深度信息的分辨率。OCT图像可提供关于视网膜的厚度和/或体积信息，这些信息无法使用彩色眼底成像确定或无法使用彩色眼底成像轻松或准确地确定。例如，OCT图像可用于测量视网膜的厚度。此外，OCT图像可用于揭示和区分视网膜中的液体和视网膜下的液体(例如，视网膜下液)。更进一步，OCT图像可用于识别眼睛中异常新血管的位置。但与彩色眼底成像相比，OCT图像在识别血肿方面可能不太准确。

本文提供的各种实施例认识到单独使用彩色眼底图像或单独使用OCT图像训练的神经网络可实现足够的准确度、精确度和/或召回度量以提供对AMD治疗的反应的可靠VAR预测。当只有彩色眼底图像和OCT图像中的一者可用于特定受试者时，此类神经网络可特别有价值。

本文提供的各种实施例认识到与这两种成像模态中的另一者相比，彩色眼底成像和OCT中的每一者都可提供关于至少一个视网膜特征的更准确的信息。因此，本文描述的各种实施例认识到与单独使用每个成像模态相比，使用由这两种不同成像模态提供的信息可能够改善对AMD治疗的应答的VAR预测。与至少一些当前可用的预测AMD治疗结果的方法相比，此类多模式方法可通常能够更快、更有效和更准确地预测视敏度反应。

认识到并考虑到能够提供上述改进的方法和系统的重要性和实用性，本说明书描述了用于预测对AMD治疗的VAR的各种实施例。更具体地，本说明书描述了用于处理成像数据的方法和系统的各种实施例，这些成像数据经由一种或两种不同的成像模态获得，使用神经网络系统(例如，卷积神经网络系统)以生成能够预测受试者在治疗后的选定时间段的未来视敏度的VAR输出。

此外，本实施例有助于为个体受试者创建个性化治疗方案以确保正确的剂量和/或注射之间的间隔。特别地，本文提出的预测VAR的单模式方法和多模式方法可有助于生成准确、高效和/或权宜的个性化治疗和/或给药方案，并增强临床队列选择和/或临床试验设计。

定义

本公开不限于这些示例性实施例和应用，也不限于示例性实施例和应用的操作方式或本文描述的方式。此外，附图可能显示简化或局部视图，并且附图中元件的尺寸可能被夸大或不成比例。

此外，当本文中使用术语“在……上”、“附接到”、“连接到”、“耦合到”或类似词语时，一个元件(例如，部件、材料、层、基板等)可以“在另一元件上”、“附接到另一元件”、“连接到另一元件”或“耦合到另一元件”，而不管一个元件是直接在另一元件上、直接附接到另一元件、直接连接到另一元件或直接耦合到另一元件，还是在一个元件与另一元件之间存在一个或多个中间元件。此外，在提及元件列表(例如，元素a、b、c)的情况下，此类提及旨在包括单独列出的任何一种元件、少于所有列出的元件的任何组合和/或所有列出的元件的组合。规范中的章节划分仅为便于审查，并不限制所讨论元件的任何组合。

术语“受试者”可指临床试验的受试者、正在接受治疗的人、正在接受抗癌治疗的人、正在接受缓解或恢复监测的人、正在接受预防性健康分析的人(例如，由于其病史)或任何其他感兴趣的人或患者。在各种情况下，“受试者”和“患者”在本文可以互换使用。

除非另有定义，否则与本文所描述的本教导结合使用的科学和技术术语应具有本领域普通技术人员通常理解的含义。此外，除非上下文另有要求，否则单数术语应包括复数，而复数术语应包括单数。通常，本文描述了与化学、生物化学、分子生物学、药理学和毒理学结合使用的命名法和技术，这些命名法和技术是本领域中众所周知和常用的那些。

如本文所用，“基本上”是指足以达到预期目的。因此，术语“基本上”允许相对于绝对或完美状态、尺寸、测量、结果等的微小、无关紧要的变化，如本领域普通技术人员所期望的，但不会明显影响整体性能。当用于数值或可表示为数值的参数或特性时，“基本上”是指百分之十以内。

术语“复数个(ones)”意味着多于一个。

如本文所用，术语“多个”可以是2、3、4、5、6、7、8、9、10个或更多。

如本文所用，术语“一组”是指一个或多个。例如，一组项目包括一个或多个项目。

如本文所用，短语“……中的至少一个”在与项目列表一起使用时表示可以使用所列项目中的一个或多个的不同组合，并且可能仅需要列表中的一个项目。项目可以是特定的对象、事物、步骤、操作、过程或类别。换言之，“……中的至少一个”是指列表中可以使用的任何项目组合或项目数量，但并非列表中的所有项目都是必需的。例如但非限制性地，“项目A、项目B或项目C中的至少一个”意味着项目A；项目A和项目B；项目B；项目A、项目B和项目C；项目B和项目C；或项目A和C。在一些情况下，“项目A、项目B或项目C中的至少一个”意味着但不限于项目A中的两个、项目B中的一个和项目C中的十个；项目B中的四个和项目C中的七个；或某种其他合适的组合。

如本文所用，术语“或”可包括分离意义和连接意义两者。也就是说，短语“A或B”可能仅指A，仅指B，或指A和B两者。

在图中，相似的数字是指相似的元素。

如本文所用，“模型”可以包括一种或多种算法、一种或多种数学技术、一种或多种机器学习算法或者它们的组合。

如本文所用，“机器学习”包括使用算法来解析数据、从中学习，然后对世界上的某事做出确定或预测的实践。机器学习使用可以从数据中学习，而无需依赖基于规则的编程的算法。

如本文所用，“人工神经网络”或“神经网络”(NN)可以指模拟一组互连的人工神经元的数学算法或计算模型，其基于连接主义计算方法而处理信息。神经网络，也可称为神经网络，可采用一层或多层线性单元、非线性单元或两者来根据由在本文所述的训练模式中确定的参数或权重因子定义的数学运算来预测针对接收到的输入的输出。除了输出层之外，一些神经网络还包括一个内层或多个隐藏层。每个内层或隐藏层的输出可用作网络中下一层的输入，即下一个内层或隐藏层或输出层。网络的每一层根据相应参数集的当前值从接收到的输入生成输出。在各种实施例中，对“神经网络”的引用可以是对一个或多个神经网络的引用。

神经网络可以通过两种方式处理信息；当神经网络正在训练时，神经网络处于训练模式，以及当神经网络将所学知识付诸实践时，神经网络处于推理(或预测)模式。神经网络可通过反馈过程(例如，反向传播)进行学习，该反馈过程允许网络调整中间内层或隐藏层中各个节点的权重因子(修改其行为)，以便输出与训练数据的输出相匹配。换言之，神经网络通过被提供训练数据(学习实例)学习并最终学习如何获得正确的输出，即使其呈现为具有新的输入范围或集。在训练模式期间学习到的一系列数学运算、参数和/或权重因子在本文中可称为“训练模型”。然后，训练模型可应用到预测模式中的新范围或输入组。神经网络可以包括例如但不限于前馈神经网络(FNN)、递归神经网络(RNN)、模块化神经网络(MNN)、卷积神经网络(CNN)、全卷积神经网络(FCN)、残差神经网络(ResNet)、常微分方程神经网络(neural-ODE)、深度神经网络或任何其他类型的神经网络中的至少一者。

视敏度反应的预测

图1是根据各种实施例的预测系统100的框图。预测系统100用于预测一个或多个受试者响应于AMD治疗的视敏度反应(VAR)。AMD治疗可以是例如但不限于抗VEGF治疗(诸如兰尼单抗)，其可经由玻璃体内注射或经由另一种施用方式施用。

预测系统100包括计算平台102、数据存储器104和显示系统106。计算平台102可以采取各种形式。在一个或多个实施例中，计算平台102包括单个计算机(或计算机系统)或相互通信的多个计算机。在其它实例中，计算平台102采取云计算平台的形式。在一些实例中，计算平台102采用移动计算平台(例如，智能手机、平板电脑、智能手表等)的形式。

数据存储器104和显示系统106各自与计算平台102通信。在一些实例中，数据存储器104、显示系统106或两者可以被认为是计算平台102的一部分或以其它方式与其成一体。因此，在一些实例中，计算平台102、数据存储器104和显示系统106可以是相互通信的单独部件，但是在其它实例中，这些部件的一些组合可以集成在一起。

预测系统100包括数据分析仪108，该数据分析仪可使用硬件、软件、固件或它们的组合来实现。在一个或多个实施例中，数据分析仪108在计算平台102中实现。数据分析器108使用神经网络系统112处理一个或多个输入110以预测(或生成)视敏度反应(VAR)输出114。VAR输出114包括正在接受治疗的受试者的视敏度的预测变化。在一些实施例中，一个或多个输入110包括第一输入110a和第二输入110b，如图1所示。此类实施例在本文中可称为“多模式”。在一些实施例中，一个或多个输入110包括单输入。此类实施例在本文中可被称为“单模式”。

神经网络系统112可包括任何数量的神经网络或神经网络的任何组合。在一个或多个实施例中，神经网络系统112采取包括一个或多个神经网络子系统的卷积神经网络(CNN)的形式。在一些实施例中，这些一个或多个神经网络子系统中的至少一个神经网络子系统本身可以是卷积神经网络。在其他实施例中，这些一个或多个神经网络子系统中的至少一个神经网络子系统可以是深度学习神经网络(或深度神经网络)。在一些实施例中，神经网络系统112包括本文关于图3描述的多模式神经网络系统。在一些实施例中，神经网络系统112包括本文关于图5描述的第一单模式神经网络系统。在一些实施例中，神经网络系统112包括本文关于图7描述的第二单模式神经网络系统。

在多模式方法中，神经网络系统112可经由单个过程来训练，在该过程中神经网络系统112的各个部分被一起训练(例如，同时)。因此，在多模式方法中，神经网络系统112不需要在第一次训练之后生成输出，将输出整合到神经网络系统112中，然后进行第二次训练。在多模式方法中，整个神经网络系统112可被一起训练(例如，同时)，这可提高训练效率和/或降低该训练所需的处理能力。

多模式神经网络

图2是根据各种实施例的用于预测视敏度反应的多模式过程200的流程图。在一个或多个实施例中，过程200使用本文关于图1描述的预测系统100来实施。

步骤202包括接收第一输入，该第一输入包括与正在接受治疗(诸如本文所述的AMD治疗)的受试者相关联的二维成像数据。二维成像数据可采用与正在接受治疗的受试者相关联的彩色眼底成像数据的形式。例如，彩色眼底成像数据可以是与正在接受治疗的受试者相关联的彩色眼底图像或从此类彩色眼底图像中提取的数据。彩色眼底成像数据可以是正在接受治疗的受试者的眼睛的彩色眼底图像或从此类彩色眼底图像中提取的数据。

步骤204包括将第二输入接收到神经网络系统中，该第二输入包括与正在接受治疗的受试者相关联的三维成像数据。三维成像数据可包括OCT成像数据，可包括从与正在接受治疗的受试者相关联的OCT图像中提取的数据(例如，OCT正面图像)，可包括从此类OCT图像中提取的表格数据，或者可包括一些其他形式的此类OCT成像数据。OCT成像数据例如可采用与正在接受治疗的受试者相关联的OCT图像的形式。OCT成像数据可以是正在接受治疗的受试者的眼睛的OCT图像或从此类OCT图像中提取的数据。在一个或多个实施例中，第二输入包括与正在接受治疗的受试者相关联的其他数据，例如但不限于与正在接受治疗的受试者相关联的视敏度测量数据、与正在接受治疗的受试者相关联的人口统计数据，或两者。视敏度测量数据可包括与正在接受治疗的受试者相关联的一个或多个视敏度测量(诸如最佳矫正视敏度(BCVA)测量)。人口统计数据可包括例如正在接受治疗的受试者的年龄、性别、身高、体重或总体健康水平。在各种实施例中，视敏度测量数据和人口统计数据都是与正在接受治疗的受试者相关联的基线数据。

在一个或多个实施例中，第二输入采取表格数据的形式，该表格数据包括BCVA测量、人口统计数据和三维成像数据(例如，OCT厚度、OCT体积等)。由于OCT图像庞大且复杂，将这些OCT图像转换为表格形式可有助于神经网络系统处理这些图像中包含的数据。特别地，与处理OCT图像(例如，OCT正面图像)相比，通过将OCT成像数据转换为表格形式，处理该表格数据的神经网络系统部分的处理能力和大小可能会降低.这些处理节省可允许第二输入更容易地与第一输入集成。

步骤206包括经由神经网络系统使用第一输入和第二输入来预测视敏度反应(VAR)输出，该VAR输出包括正在接受治疗的受试者的视敏度反应的预测变化。在一些实施例中，VAR输出识别预测变化。在其他实施例中，VAR输出对应于预测变化，因为VAR输出可被进一步处理以确定预测变化。预测的VAR输出可对应于AMD治疗开始或施用后的选定时间段。例如，VAR输出可能够预测受试者在治疗已开始后至少约3个月、6个月、9个月、12个月、18个月或24个月或更长时间、治疗开始后至多约24个月、18个月、12个月、9个月、6个月、3个月或更短时间，或治疗已开始后由上述值中的任何两个值定义的范围内的一段时间的视敏度反应。

在一个或多个实施例中，预测VAR输出包括经由神经网络系统使用二维成像数据来生成第一输出以及经由神经网络系统使用三维成像数据来生成第二输出。在一些实施例中，VAR输出是通过融合第一输出和第二输出而生成的。也就是说，在一些实施例中，第一输出是使用神经网络系统的第一部分(诸如本文关于图3描述的第一神经网络子系统)生成的，并且第二输出是使用神经网络系统的第二部分(诸如本文中关于图3描述的第二神经网络子系统)生成的。然后可融合第一输出和第二输出以形成对神经网络系统的第三部分(诸如本文关于图3描述的第三神经网络子系统)的融合输入。然后，第三神经网络子系统可使用融合输入来生成VAR输出，该VAR输出提供关于受试者视敏度的预测变化的指示。

在一些实施例中，第一输出包括从二维成像数据中提取的一个或多个特征。在一些实施例中，第二输出包括从三维成像数据中提取的一个或多个特征。然后，将从二维成像数据中提取的特征和从三维成像数据中提取的特征融合在一起以形成融合输入。然后，神经网络系统的第三部分可基于融合输入来生成VAR输出。在一些实施例中，从二维成像数据中提取的特征和/或从三维成像数据中提取的特征与受试者眼睛上或眼睛中包含异常(诸如病变、异常出血、瘢痕组织和/或组织萎缩)的区域，此类区域的大小，此类区域的周长，此类区域的面积，此类区域的形状描述特征，此类区域与眼睛的各种特征(诸如中央凹、黄斑、视网膜、巩膜或眼睛的脉络膜)的距离、此类区域的连续性、楔形视网膜下低反射、视网膜色素上皮(RPE)衰减和破坏、高反射灶、网状假性玻璃膜疣(RPD)、多层厚度降低、光感受器萎缩、玻璃膜疣低反射核心、高中央玻璃膜疣体积、既往视敏度、外层视网膜管状结构、脉络膜毛细血管流空、二维成像数据和/或三维成像数据或其任何区域的着色，二维成像数据和/或三维成像数据或其任何区域的变色，或前述的任何组合相关联。

在一些实施例中，第一输出和第二输出被融合以形成集成的多通道输入，该集成的多通道输入可经历由神经网络系统的第三部分进行的后续特征提取过程。然后，可将通过特征提取过程提取的特征用作生成VAR输出的基础。通过特征提取过程(和/或融合输入)提取的特征可包括或与受试者眼睛上或眼睛中包含异常(诸如病变、异常出血、瘢痕组织和/或组织萎缩)的区域，此类区域的大小，此类区域的周长，此类区域的面积，此类区域的形状描述特征，此类区域与眼睛的各种特征(诸如中央凹、黄斑、视网膜、巩膜或眼睛的脉络膜)的距离、此类区域的连续性、楔形视网膜下低反射、视网膜色素上皮(RPE)衰减和破坏、高反射灶、网状假性玻璃膜疣(RPD)、多层厚度降低、光感受器萎缩、玻璃膜疣低反射核心、高中央玻璃膜疣体积、既往视敏度、外层视网膜管状结构、脉络膜毛细血管流空、二维成像数据和/或三维成像数据或其任何区域的着色，二维成像数据和/或三维成像数据或其任何区域的变色，或前述的任何组合相关联。

在各种实施例中，VAR输出是识别受试者视敏度的预测变化的值或分数。例如，VAR输出可以是值或分数，其关于预测的改善水平(例如，改善的字母)或下降(例如，视力丧失)对受试者的视敏度反应进行分类。作为一个具体示例，VAR输出可以是BCVA中预测的数字变化，稍后对其进行处理并识别为属于多个不同类别的BCVA变化中的一者，每个BCVA变化类别对应于不同范围的改善的字母.作为另一个示例，VAR输出可以是预测的变化类别本身。在再一些示例中，VAR输出可以是一些其他视敏度测量的预测变化。

在其他实施例中，VAR输出可以是需要一个或多个附加处理步骤以达到视敏度的预测变化的值或代表性输出。例如，VAR输出可以是受试者在治疗后一段时间(例如，治疗后至少约3个月、6个月、9个月、12个月、18个月、24个月或更长时间，治疗后至多约24个月、18个月、12个月、9个月、6个月、3个月或更短时间，或治疗后由上述值中的任何两个值定义的范围内的一段时间)的预测的未来BCVA。附加的一个或多个处理步骤可包括计算预测的未来BCVA和基线BCVA之间的差异以确定视敏度的预测变化。

在一些实施例中，该方法进一步包括在接收第一输入和第二输入之前，训练神经网络系统。在一些实施例中，使用与先前已接受治疗的第一多个受试者相关联的二维数据和与先前已接受治疗的第二多个受试者相关联的三维数据来训练神经网络系统。第一多个和第二多个可包含与任何数量的受试者相关联的数据，诸如至少约1千、2千、3千、4千、5千、6千、7千、8千、9千、1万、2万、3万、4万、5万、6万、7万、8万、9万、10万、20万、30万、40万、50万、60万、70万、80万、90万、1百万或更多受试者，至多约1百万、90万、80万、70万、60万、50万、40万、30万、20万、10万、9万、8万、7万、6万、5万、4万、3万、2万、1万、9千、8千、7千、6千、5千、4千、3千、2千、1千或更少受试者，或由上述值中的任何两个值定义的范围内的多个受试者。

在一些实施例中，第一多个和第二多个相同。也就是说，在一些情况下，第一多个和第二多个包括完全相同的受试者。在一些实施例中，第一多个和第二多个不同。也就是说，在一些情况下，第一多个包括不以第二多个为特征的一个或多个受试者，反之亦然。在一些实施例中，第一多个和第二多个部分地重叠。也就是说，在一些情况下，一个或多个受试者以第一多个和第二多个两者为特征。

在一些实施例中，训练神经网络系统进一步包括使用与先前已接受治疗的第二多个受试者相关联的视敏度测量、与第二多个受试者相关联的人口统计数据或它们的组合。

在一些实施例中，使用焦点损失、交叉熵损失或加权交叉熵损失来训练神经网络系统。

图3是多模式神经网络系统300的框图。在一些实施例中，多模式神经网络系统被配置用于与本文关于图1描述的预测系统100一起使用。在一些实施例中，多模式神经网络系统被配置为实施本文关于图2描述的方法200(或步骤202、204和206中的任何一者)。

在一些实施例中，多模式神经网络系统包括第一神经网络子系统310。在一些实施例中，第一神经网络子系统包括至少一个第一输入层312和至少一个第一致密内层314。在一些实施例中，第一输入层被配置为接收本文关于图2描述的第一输入。在一些实施例中，至少一个第一致密内层被配置为将第一训练模型应用到第一输入层。

在所示示例中，至少一个第一致密内层包括训练图像识别模型314a和至少一个输出致密内层314b。在一些实施例中，训练图像识别模型被配置为将图像识别模型应用到第一输入层。在一些实施例中，图像识别模型包括预训练图像识别模型。在一些实施例中，预训练图像识别模型包括深度残差网络，诸如ResNet-34、ResNet-50、ResNet-101或ResNet-152。

在一些实施例中，输出致密内层接收来自图像识别模型的输出并将附加操作应用到来自图像识别模型的输出。在一些实施例中，附加操作是在第一训练模型的训练期间学习的。在一些实施例中，图像识别模型在第一训练模型的训练期间不更新。在一些实施例中，输出密集内层被配置为应用平均池化和/或softmax激活。

尽管在图3中被描绘为包含单个输出密集内层，但至少一个输出致密内层可包括任何数量的致密内层。在一些实施例中，至少一个输出致密内层包括至少约1、2、3、4、5、6、7、8、9、10、20、30、40、50、60、70、80、90、100个或更多个致密内层，至多约100、90、80、70、60、50、40、30、20、10、9、8、7、6、5、4、3、2个或1个致密内层，或由上述值中的任何两个值定义的范围内的多个致密内层。输出密集内层中的每个输出密集内层都可被配置为应用平均池化、修正线性(ReLu)激活和/或softmax激活。

在一些实施例中，多模式神经网络系统包括第二神经网络子系统320。在一些实施例中，第二神经网络子系统包括至少一个第二输入层322和至少一个第二致密内层324。在一些实施例中，第二输入层被配置为接收本文关于图2描述的第二输入。在一些实施例中，至少一个第二致密内层被配置为将第二训练模型应用到第二输入层。

在所示示例中，至少一个第二致密内层包括三个致密内层324a、324b和324c。在一些实施例中，密集内层324a被配置为将第一组操作应用到第二输入层。在一些实施例中，致密内层324b被配置为将第二组操作应用到致密内层324a。在一些实施例中，致密内层324c被配置为将第三组操作应用到致密内层324b。在一些实施例中，第一组操作、第二组操作和第三组操作是在第二训练模型的训练期间学习的。在一些实施例中，密集内层324a和324b被配置为应用ReLu激活，并且密集内层324c被配置为应用softmax激活。

尽管在图3中被描绘为包括三个第二致密内层，但至少一个第二致密内层可包括任何数量的致密内层。在一些实施例中，至少一个第二致密内层包括至少约1、2、3、4、5、6、7、8、9、10、20、30、40、50、60、70、80、90、100个或更多个致密内层，至多约100、90、80、70、60、50、40、30、20、10、9、8、7、6、5、4、3、2个或1个致密内层，或由上述值中的任何两个值定义的范围内的多个致密内层。第二致密内层中的每个致密内层都可被配置为应用平均池化、修正线性(ReLu)激活和/或softmax激活。

在一些实施例中，多模式神经网络系统包括第三神经网络子系统330。在一些实施例中，第三神经网络子系统包括至少一个第三致密内层332。在一些实施例中，第三至少一个第三致密内层被配置为接收来自与第一神经网络子系统相关联的至少第一致密内层的第一输出，并且接收来自与第二神经网络子系统相关联的至少第二致密内层的第二输出。

在所示示例中，至少一个第三致密内层包括单个层。在一些实施例中，单个层被配置为将一组操作应用到第一输出和第二输出。在一些实施例中，该组操作是在第三训练模型的训练期间学习的。在一些实施例中，第三致密内层被配置为应用softmax激活。

尽管在图3中被描绘为包括单个第三致密内层，但至少一个第三致密内层可包括任何数量的致密内层。在一些实施例中，至少一个第三致密内层包括至少约1、2、3、4、5、6、7、8、9、10、20、30、40、50、60、70、80、90、100个或更多个致密内层，至多约100、90、80、70、60、50、40、30、20、10、9、8、7、6、5、4、3、2个或1个致密内层，或由上述值中的任何两个值定义的范围内的多个致密内层。第三致密内层中的每个致密内层都可被配置为应用平均池化、修正线性(ReLu)激活和/或softmax激活。

在一些实施例中，神经网络系统被配置为输出分类数据340。在一些实施例中，分类数据包括：关于治疗后一段时间的视敏度测量，正在接受治疗的受试者可能实现小于5个字母的分数的第一可能性342；正在接受治疗的受试者可能实现5至9个字母的分数的第二可能性344；正在接受治疗的受试者可能实现10至14个字母的分数的第三可能性346；和/或正在接受治疗的受试者可能实现大于15个字母的分数的第四种可能性348。在一些实施例中，输出分类数据被布置为神经网络系统的输出层。

尽管在图3中被描述为包含4个类别，但分类数据以包括任何数量的类别。例如，分类数据可包括至少约2、3、4、5、6、7、8、9、10、11、12、13、14、15、16、17、18、19、20个或更多个类别，至多约20、19、18、17、16、15、14、13、12、11、10、9、8、7、6、5、4、3个或2个类别，或由上述值中的任何两个值定义的范围内的类别。例如，分类数据可包括正在接受治疗的受试者可能分别获得小于10个字母的分数和大于11个字母的分数的第一可能性和第二可能性。作为另一个示例，分类数据可包括正在接受治疗的受试者可能实现小于2个字母的分数、2至3个字母的分数、4至5个字母的分数、6至7个字母的分数、8至9个字母的分数、10至11个字母的分数、12至13个字母的分数、14至15个字母的分数、16至17个字母的分数、18至19个字母的分数和大于20个字母的分数的第一、第二、第三、第四、第五、第六、第七、第八、第九、第十和第十一可能性。本领域技术人员将认识到许多变化是可能的。

在一些实施例中，第一训练模型、第二训练模型和第三训练模型被一起训练。在一些实施例中，第一训练模型、第二训练模型和第三训练模型被同时训练。例如，在一些实施例中，将与先前已接受治疗的第一多个受试者相关联的二维成像数据形式的训练数据提供给第一神经网络子系统，同时将与先前已接受治疗的第一多个受试者相关联的三维成像数据同时提供给第二神经网络子系统。然后，分别与第一神经网络子系统、第二神经网络子系统和第三神经网络子系统相关联的第一模型、第二模型和第三模型被同时训练。以这种方式，多模式神经网络系统可被端到端地训练而不需要对其组件进行不同的、独立的或顺序的训练。

在一些实施例中，神经网络系统被配置为应用示例性注意力门机制。

使用二维数据的单模式神经网络

图4是根据各种实施例的用于预测视敏度反应的第一单模式过程400的流程图。在一个或多个实施例中，过程400使用本文关于图1描述的预测系统100来实施。

步骤402包括接收输入，该输入包括与正在接受治疗(诸如本文所述的AMD治疗)的受试者相关联的二维成像数据。二维成像数据可采用本文描述的任何二维成像数据的形式(诸如本文关于图1、2或3描述的任何二维成像数据)。

步骤404包括经由神经网络系统使用输入来预测视敏度反应(VAR)输出，该VAR输出包括正在接受治疗的受试者的视敏度反应的预测变化。在一些实施例中，VAR输出包括本文描述的任何VAR输出(诸如本文关于图1、2或3描述的任何VAR输出)。

在一些实施例中，该方法进一步包括在接收第一输入和第二输入之前，训练神经网络系统。在一些实施例中，使用与先前已接受治疗的多个受试者相关联的二维数据来训练神经网络系统。多个可包含与任何数量的受试者相关联的数据，诸如至少约1千、2千、3千、4千、5千、6千、7千、8千、9千、1万、2万、3万、4万、5万、6万、7万、8万、9万、10万、20万、30万、40万、50万、60万、70万、80万、90万、1百万或更多受试者，至多约1百万、90万、80万、70万、60万、50万、40万、30万、20万、10万、9万、8万、7万、6万、5万、4万、3万、2万、1万、9千、8千、7千、6千、5千、4千、3千、2千、1千或更少受试者，或由上述值中的任何两个值定义的范围内的多个受试者。

图5是第一单模式神经网络系统500的框图。在一些实施例中，第一单模式神经网络系统被配置为与本文关于图1描述的预测系统100一起使用。在一些实施例中，第一单模式神经网络系统被配置为实施本文关于图4描述的方法400(或步骤402和404中的任何一者)。

在一些实施例中，第一单模式神经网络系统包括至少一个输入层502和至少一个致密内层504。在一些实施例中，输入层被配置为接收本文关于图4描述的输入。在一些实施例中，至少一个致密内层被配置为将训练模型应用到输入层。

在所示示例中，至少一个致密内层包括训练图像识别模型504a和至少一个输出致密内层504b。在一些实施例中，训练图像识别模型被配置为将图像识别模型应用到输入层。在一些实施例中，图像识别模型包括本文描述的任何图像识别模型(诸如本文关于图3描述的任何图像识别模型)。

在一些实施例中，输出致密内层接收来自图像识别模型的输出并将附加操作应用到来自图像识别模型的输出。在一些实施例中，附加操作是在训练模型的训练期间学习的。在一些实施例中，图像识别模型在训练模型的训练期间不更新。在一些实施例中，输出密集内层被配置为应用平均池化和/或softmax激活。

尽管在图5中被描绘为包含单个输出密集内层，但至少一个输出致密内层可包括任何数量的致密内层。在一些实施例中，至少一个输出致密内层包括至少约1、2、3、4、5、6、7、8、9、10、20、30、40、50、60、70、80、90、100个或更多个致密内层，至多约100、90、80、70、60、50、40、30、20、10、9、8、7、6、5、4、3、2个或1个致密内层，或由上述值中的任何两个值定义的范围内的多个致密内层。输出密集内层中的每个输出密集内层都可被配置为应用平均池化、修正线性(ReLu)激活和/或softmax激活。

在一些实施例中，神经网络系统被配置为输出分类数据510。在一些实施例中，分类数据包括：关于治疗后一段时间的视敏度测量，正在接受治疗的受试者可能实现小于5个字母的分数的第一可能性512；正在接受治疗的受试者可能实现5至9个字母的分数的第二可能性514；正在接受治疗的受试者可能实现10至14个字母的分数的第三可能性516；和/或正在接受治疗的受试者可能实现大于15个字母的分数的第四种可能性518。在一些实施例中，输出分类数据被布置为神经网络系统的输出层。

尽管在图5中被描述为包括4个类别，分类数据可包括任何数量的类别，如本文所述(例如，如本文关于图3所述)。

在一些实施例中，神经网络系统被配置为应用示例性注意力门机制。使用三维数 据的单模式神经网络

图6是根据各种实施例的用于预测视敏度反应的第二单模式过程600的流程图。在一个或多个实施例中，过程600使用本文关于图1描述的预测系统100来实施。

步骤602包括将输入接收到神经网络系统中，该输入包括与正在接受治疗的受试者相关联的三维成像数据。三维成像数据可包括本文描述的任何三维成像数据(例如本文关于图1、2或3描述的任何三维成像数据)。

步骤604包括经由神经网络系统使用输入来预测视敏度反应(VAR)输出，该VAR输出包括正在接受治疗的受试者的视敏度反应的预测变化。在一些实施例中，VAR输出包括本文描述的任何VAR输出(诸如本文关于图1、2或3描述的任何VAR输出)。

在一些实施例中，该方法进一步包括在接收第一输入和第二输入之前，训练神经网络系统。在一些实施例中，使用与先前已接受治疗的多个受试者相关联的三维数据来训练神经网络系统。多个可包含与任何数量的受试者相关联的数据，诸如至少约1千、2千、3千、4千、5千、6千、7千、8千、9千、1万、2万、3万、4万、5万、6万、7万、8万、9万、10万、20万、30万、40万、50万、60万、70万、80万、90万、1百万或更多受试者，至多约1百万、90万、80万、70万、60万、50万、40万、30万、20万、10万、9万、8万、7万、6万、5万、4万、3万、2万、1万、9千、8千、7千、6千、5千、4千、3千、2千、1千或更少受试者，或由上述值中的任何两个值定义的范围内的多个受试者。

图7是第二单模式神经网络系统700的框图。在一些实施例中，第二单模式神经网络系统被配置为与本文关于图1描述的预测系统100一起使用。在一些实施例中，第二单模式神经网络系统被配置为实施本文关于图6描述的方法600(或步骤602和604中的任何一者)。

在一些实施例中，第二单模式神经网络系统包括至少一个输入层702和至少一个致密内层704。在一些实施例中，输入层被配置为接收本文关于图6描述的输入。在一些实施例中，至少一个致密内层被配置为将训练模型应用到输入层。

在所示示例中，至少一个致密内层包括三个致密内层704a、704b和704c。在一些实施例中，密集内层704a被配置为将第一组操作应用到输入层。在一些实施例中，致密内层704b被配置为将第二组操作应用到致密内层704a。在一些实施例中，致密内层704c被配置为将第三组操作应用到致密内层704b。在一些实施例中，第一组操作、第二组操作和第三组操作是在训练模型的训练期间学习的。在一些实施例中，密集内层704a和704b被配置为应用ReLu激活，并且密集内层704c被配置为应用softmax激活。

尽管在图7中被描绘为包括三个致密内层，但至少一个致密内层可包括任何数量的致密内层。在一些实施例中，至少一个致密内层包括至少约1、2、3、4、5、6、7、8、9、10、20、30、40、50、60、70、80、90、100个或更多个致密内层，至多约100、90、80、70、60、50、40、30、20、10、9、8、7、6、5、4、3、2个或1个致密内层，或由上述值中的任何两个值定义的范围内的多个致密内层。致密内层中的每个致密内层都可配置为应用平均池化、修正线性(ReLu)激活和/或softmax激活。

在一些实施例中，神经网络系统被配置为输出分类数据710。在一些实施例中，分类数据包括：关于治疗后一段时间的视敏度测量，正在接受治疗的受试者可能实现小于5个字母的分数的第一可能性712；正在接受治疗的受试者可能实现5至9个字母的分数的第二可能性714；正在接受治疗的受试者可能实现10至14个字母的分数的第三可能性716；和/或正在接受治疗的受试者可能实现大于15个字母的分数的第四种可能性718。在一些实施例中，输出分类数据被布置为神经网络系统的输出层。

尽管在图7中被描述为包括4个类别，分类数据可包括任何数量的类别，如本文所述(例如，如本文关于图3所述)。

在一些实施例中，神经网络系统被配置为应用示例性注意力门机制。

在一些实施例中，本文描述的系统和方法用于提供治疗建议。例如，在一些实施例中，神经网络系统被配置为基于VAR输出来生成治疗输出。在一些实施例中，治疗输出指示受试者响应于治疗的视敏度的预测变化。在一些实施例中，治疗建议被提供给基于治疗输出而提供的医疗。在一些实施例中，治疗建议促使医疗提供者响应于治疗输出是受试者的视敏度的改善而向受试者施用治疗。在一些实施例中，施用治疗的步骤包括以治疗剂量玻璃体内施用治疗或其衍生物。在一些实施例中，治疗为兰尼单抗并且治疗剂量为0.3毫克(mg)或0.5mg

实例

实例1：CATT研究中视敏度反应的预测

通过使用患有新生血管性年龄相关性黄斑变性患者的基线(BL)特征和彩色眼底图像(CFI)，开发了深度学习(DL)模型来预测对兰尼单抗(RBZ)的视敏度反应(VAR)。VAR被表述为具有4类分类问题(第1类＝<5个字母，第2类＝5至9个字母，第3类＝10至14个字母，第4类＝≥15个字母)。基于从BL到第12个月的最佳矫正视敏度(BCVA)变化来分配每个类别。为了解决分类问题，设计了3个DL模型来处理来自不同模态(本文描述的二维成像模态和三维成像模态)的数据。两个不同的单模式模型(如本文分别关于图4和图5，以及图6和图7所述)被训练以处理BL特征，该特征包括BCVA、年龄和CFI或光学相干断层扫描(OCT)成像生物标志物。第三个模型融合了2个子网络以产生最终分类，如本文关于图2和图3所述。利用示例性注意力机制来增强输入数据的相关部分并改善模型的性能。数据按3:1:1的比率分为训练集、验证集和测试集。表1显示了损失类型、时期数和每个模型的训练期间采用的优化器。

表1.损失类型、时期数和针对每个模型采用的优化器

该研究是对年龄相关性黄斑变性治疗试验(CATT)随机比较研究(NCT00593450)中接受RBZ每月治疗的284名患者的BL数据的回顾性分析。CATT研究旨在评估RBZ和贝伐珠单抗每月和按需方案的相对疗效和安全性。4个类别的分布不平衡，第1、2、3和4类分别有64、43、52和125名患者。基于验证(N＝56)和测试(N＝57)数据子集，使用准确性和接收者操作特征(AUROC)曲线下的面积来评估性能。此外，还计算了宏观F1(mF1)分数、每类F1分数和精确回忆(AUCPR)曲线下的面积，以提供对模型性能的更多信息评估。

表2显示了3个模型的各种性能测量。3个模型之间的性能测量差异很大(例如，OCT、CFI和多模式模型的测试数据集的mF1分数分别为0.332、0.236和0.354)。此外，每个类别的个体结果显示出很大的差异，反映出数据中存在严重的类别不平衡。

表2.验证数据和测试数据的模型性能测量

表3显示了3个模型在包括经受每月RBZ注射的研究组的测试数据子集上的性能。给出了应用和未应用示例性注意力机制的模型的结果。表4显示了3个模型在包括未应用示例性注意力机制的所有研究组的测试数据子集上的性能。

表3.RBZ每月注射研究组应用和未应用(括号内)示例性注意力机制的评估结果

	OCT模型	CFI模型	多模式模型
				mF1分数	0.39(0.33)	0.24(0.24)	0.4(0.35)
AUCPR	0.42(0.41)	0.3(0.31)	0.37(0.45)
				准确性	0.47(0.47)	0.33(0.32)	0.43(0.48)
AUROC	0.69(0.7)	0.56(0.57)	0.66(0.66)
				第1类：F1分数	0.29(0.27)	0.26(0.36)	0.33(0.34)
第2类：F1分数	0.46(0.29)	0.03(0.09)	0.42(0.48)
				第3类：F1分数	0.22(0.13)	0.17(0.02)	0.29(0.0)
第4类：F1分数	0.61(0.63)	0.5(0.47)	0.54(0.6)

表4.未应用示例性注意力机制的所有研究臂的评估结果

	OCT模型	CFI模型	多模式模型
				mF1分数	0.31	0.29	0.35
AUCPR	0.38	0.34	0.4
				准确性	0.45	0.37	0.4
AUROC	0.66	0.6	0.64
				第1类：F1分数	0.13	0.32	0.21
第2类：F1分数	0.26	0.2	0.28
				第3类：F1分数	0.24	0.12	0.34
第4类：F1分数	0.63	0.52	0.56

如表1至表4所示，多模式模型在许多性能测量中超过CFI，并且在较小程度上超过OCT模型。然而，对于某些性能测量，CFI或OCT模型提供了最佳性能。因此，取决于感兴趣的特定问题，本文呈现的所有三个模型都可能有用。

计算机实现的系统

图8是根据各种实施例的计算机系统的框图。计算机系统800可以是上文图1中描述的计算平台102的一种实施方式的示例。在一个或多个示例中，计算机系统800可以包括总线802或用于传递信息的其它通信机制，以及与总线802耦接用于处理信息的处理器804。在各种实施例中，计算机系统800还可以包括存储器(其可以是随机存取存储器(RAM)806或其他动态存储装置)，该存储器耦接到总线802用于确定要由处理器804执行的指令。存储器还可以用于在执行要由处理器804执行的指令期间存储临时变量或其它中间信息。在各种实施例中，计算机系统800可以进一步包括耦接到总线802的用于存储针对处理器804的静态信息和指令的只读存储器(ROM)808或其他静态存储装置。可以提供存储装置810(诸如磁盘或光盘)并将其耦接到总线802以用于存储信息和指令。

在各种实施例中，计算机系统800可以经由总线802耦接到显示器812(诸如阴极射线管(CRT)或液晶显示器(LCD))用于向计算机使用者显示信息。包括字母数字键和其它键的输入装置814可以耦接到总线802，用于将信息和命令选择传递到处理器804。另一类型的用户输入装置是光标控制816(诸如鼠标、操纵杆、轨迹球、手势输入设备、基于注视的输入设备或光标方向键)，用于将方向信息和命令选取传递到处理器804并用于控制显示器812上的光标移动。该输入装置814通常在两个轴线(第一轴线(例如，x)和第二轴线(例如，y))上具有两个自由度，其允许该装置指定平面中的位置。然而，应当理解，本文也设想了允许三维(例如，x、y和z)光标移动的输入设备814。

与本教导的某些实施方式一致，响应于执行包含在RAM 806中的一个或多个指令的一个或多个序列的处理器804或响应于执行包含在这些专用处理单元的专门RAM中的一个或多个序列的专用处理单元，计算机系统800可提供结果。此类指令可以从另一计算机可读介质或计算机可读存储介质(诸如存储装置810)读取进RAM 806。包含在RAM 806中的指令序列的执行可以使处理器804执行本文描述的过程。替代性地，可以使用硬接线电路系统来代替软件指令或与软件指令结合来实现本教导。因此，本教导的实施不限于硬件电路系统和软件的任何特定组合。

如本文所用，术语“计算机可读介质”(例如，数据存储、数据存储装置、存储设备、数据存储设备等)或“计算机可读存储介质”是指参与向处理器804提供指令以供执行的任何介质。此类介质可以采取多种形式，包括但不限于非易失性介质、易失性介质和传输介质。非易失性介质的实例可以包括但不限于光盘、固态硬盘、磁盘(诸如存储器装置810)。易失性介质的实例可以包括但不限于动态存储器，诸如RAM806。传输介质的实例可以包括但不限于同轴电缆、铜线和光纤，包括构成总线802的线。

常见形式的计算机可读介质包括：例如，软盘、可折叠盘、硬盘、磁带或任何其他磁性介质；CD-ROM、任何其他光学介质；穿孔卡、纸带、任何其它具有孔图案的物理介质；RAM、PROM和EPROM、FLASH-EPROM、任何其它存储器芯片或盒；或计算机可以读取的任何其它有形介质。

除了计算机可读介质之外，指令或数据也可以作为信号而提供在包括在通信设备或系统中的传输介质上，以将一个或多个指令序列提供给计算机系统800的处理器804以供执行。例如，通信设备可以包括具有指示指令和数据的信号的收发器。指令和数据被配置为使一个或多个处理器实现本文公开中概述的功能。数据通信传输连接的表示性实例可以包括但不限于电话调制解调器连接、广域网(WAN)、局域网(LAN)、红外数据连接、NFC连接、光通信连接等。

应当认识到，本文描述的方法、流程图、图和随附的公开内容可以使用计算机系统800作为独立装置或在诸如云计算网络等共享计算机处理资源的分布式网络上实现。

根据应用，本文描述的方法可以通过各种方式来实现。例如，这些方法可以在硬件、固件、软件或它们的任何组合中实现。针对硬件实施方式，处理单元可在一个或多个专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理装置(DSPD)、可编程逻辑装置(PLD)、现场可编程门阵列(FPGA)、处理器、图形处理单元(GPU)、张量处理单元(TPU)、人工智能(AI)加速器ASIC、控制器、微控制器、微处理器、电子装置、设计用于执行本文描述的功能的其他电子单元、或它们的组合内实现。

在各种实施例中，本教导的方法可以被实施为固件和/或软件程序以及以C、C++、Python等常规编程语言编写的应用程序。如果被实现为固件和/或软件，则本文描述的实施例本文可以在其中存储有用于使计算机执行上述方法的程序的非暂时性计算机可读介质上实现。应当理解，本文描述的各种引擎可以提供在计算机系统上，诸如计算机系统800，其中根据任一个存储器部件RAM 806、ROM 808或存储装置810或其组合提供的指令以及经由输入装置814提供的用户输入，处理器804将执行由这些引擎提供的分析和确定。

结论

尽管结合各种实施例描述了本教导，但本教导并不旨在限于此类实施例。相反，本教导涵盖本领域技术人员将理解的各种替代、修改和等同物。

例如，上述流程图和框图说明了各种方法和系统实施例的可能实施方式的架构、功能和/或操作。流程图或框图中的每个框都可表示模块、段、功能、操作或步骤的一部分或它们的组合。在实施例的一些替代实施方式中，框中标注的一个或多个功能可不按图中标注的顺序发生。例如，在一些情况下，连续显示的两个块可基本上同时执行或以一些方式集成。在其他情况下，块可以以相反的顺序执行。此外，在一些情况下，可添加一个或多个框以替换或补充流程图或框图中的一个或多个其他框。

因此，在描述各种实施例时，说明书可能已将方法和/或过程呈现为特定的步骤序列。然而，如果该方法或过程不依赖于本文所述的特定步骤顺序，则该方法或过程不应限于列出的特定步骤序列，并且本领域技术人员可以很容易理解，这些序列可以是不同的，并且仍然保持在各种实施例的精神和范围内。

实施例陈述

实施例.1.一种用于预测视敏度反应的方法，所述方法包括：

接收包括与正在接受治疗的受试者相关联的二维成像数据的第一输入；

接收包括与正在接受所述治疗的所述受试者相关联的三维成像数据的第二输入；以及

经由神经网络系统，使用所述第一输入和所述第二输入来预测视敏度反应(VAR)输出，该VAR输出包括响应于所述治疗的正在接受所述治疗的所述受试者的视敏度的预测变化。

实施例2.根据实施例1所述的方法，其中所述三维成像数据包括与正在接受所述治疗的所述受试者相关联的光学相干断层扫描(OCT)成像数据，并且其中所述二维成像数据包括与正在接受所述治疗的所述受试者相关联的彩色眼底成像数据。

实施例3.根据实施例1或2所述的方法，其中所述第二输入进一步包括与正在接受所述治疗的所述受试者相关联的视敏度测量和与正在接受所述治疗的所述受试者相关联的人口统计数据。

实施例4.根据实施例1至3中任一项所述的方法，其中经由所述神经网络系统，预测所述VAR输出包括：

使用与正在接受所述治疗的所述受试者相关联的所述二维成像数据来生成第一输出；

使用与正在接受所述治疗的所述受试者相关联的所述三维成像数据来生成第二输出；以及

经由融合所述第一输出和所述第二输出来生成所述VAR输出。

实施例5.根据实施例1至4中任一项所述的方法，其中所述神经网络系统包括：

第一神经网络子系统，其包括至少一个第一输入层和至少一个第一致密内层，所述至少一个第一输入层被配置为接收所述第一输入，所述至少一个第一致密内层被配置为将第一训练模型应用到所述第一输入层；

第二神经网络子系统，其包括至少一个第二输入层和至少一个第二致密内层，所述至少一个第二输入层被配置为接收所述第一输入，所述至少一个第二致密内层被配置为将第二训练模型应用到所述第二输入层；以及

第三神经网络子系统，其包括至少一个第三致密内层，所述至少一个第三致密内层被配置为：接收来自至少第一致密内层的第一输出和来自至少第二致密层的第二输出，并将第三训练模型应用到所述第一输出和所述第二输出，从而预测所述VAR输出。

实施例6.根据实施例5所述的方法，其中所述至少一个第一致密内层包括训练图像识别模型和输出致密内层，并且其中所述至少一个第二致密内层包括多个第二致密内层。

实施例7.根据实施例1至6中任一项所述的方法，其进一步包括，在接收所述第一输入和所述第二输入之前，使用与先前已接受所述治疗的第一多个受试者相关联的二维成像数据和与先前已接受所述治疗的第二多个受试者相关联的三维成像数据来训练所述神经网络系统。

实施例8.根据实施例7所述的方法，其中训练所述神经网络系统进一步包括使用与先前已接受治疗的第二多个受试者相关联的视敏度测量、与先前已接受治疗的第二多个受试者相关联的人口统计数据或它们的组合。

实施例9.一种用于预测视敏度反应的系统，所述系统包括：

非暂时性存储器；和

一个或多个处理器，其耦接到所述非暂时性存储器并且被配置为从所述非暂时性存储器读取指令以使所述系统执行操作，所述操作包括：

接收包括与正在接受治疗的受试者相关联的二维成像数据的第一输入；

接收包括与正在接受所述治疗的所述受试者相关联的三维成像数据的第二输入；以及

经由神经网络系统，使用所述第一输入和所述第二输入来预测视敏度反应(VAR)输出，该VAR输出包括响应于所述治疗的正在接受所述治疗的所述受试者的视敏度的预测变化。

实施例10.根据实施例9所述的系统，其中所述三维成像数据包括与正在接受所述治疗的所述受试者相关联的光学相干断层扫描(OCT)成像数据，并且其中所述二维成像数据包括与正在接受所述治疗的所述受试者相关联的彩色眼底成像数据。

实施例11.根据实施例9或10所述的系统，其中所述第二输入进一步包括与正在接受所述治疗的所述受试者相关联的视敏度测量和与正在接受所述治疗的所述受试者相关联的人口统计数据。

实施例12.根据实施例9至11中任一项所述的系统，其中经由所述神经网络系统，预测所述VAR输出包括：

使用与正在接受所述治疗的所述受试者相关联的所述二维成像数据来生成第一输出；

使用与正在接受所述治疗的所述受试者相关联的所述三维成像数据来生成第二输出；以及

经由融合所述第一输出和所述第二输出来生成所述VAR输出。

实施例13.根据实施例9至12中任一项所述的系统，其中所述神经网络系统包括：

第一神经网络子系统，其包括至少一个第一输入层和至少一个第一致密内层，所述至少一个第一输入层被配置为接收所述第一输入，所述至少一个第一致密内层被配置为将第一训练模型应用到所述第一输入层；

第二神经网络子系统，其包括至少一个第二输入层和至少一个第二致密内层，所述至少一个第二输入层被配置为接收所述第一输入，所述至少一个第二致密内层被配置为将第二训练模型应用到所述第二输入层；以及

第三神经网络子系统，其包括至少一个第三致密内层，所述至少一个第三致密内层被配置为：接收来自至少第一致密内层的第一输出和来自至少第二致密层的第二输出，并将第三训练模型应用到所述第一输出和所述第二输出，从而预测所述VAR输出。

实施例14.根据实施例13所述的系统，其中所述至少一个第一致密内层包括训练图像识别模型和输出致密内层，并且其中所述至少一个第二致密内层包括多个第二致密内层。

实施例15.根据实施例9至14中任一项所述的系统，其中所述操作进一步包括，在接收所述第一输入和所述第二输入之前，使用与先前已接受所述治疗的第一多个受试者相关联的二维成像数据和与先前已接受所述治疗的第二多个受试者相关联的三维成像数据来训练所述神经网络系统。

实施例16.根据实施例15所述的系统，其中训练所述神经网络系统进一步包括使用与先前已接受治疗的第二多个受试者相关联的视敏度测量、与先前已接受治疗的第二多个受试者相关联的人口统计数据或它们的组合。

实施例17.一种非暂时性机器可读介质，其上存储有可执行以使系统执行操作的机器可读指令，所述操作包括：

接收包括与正在接受治疗的受试者相关联的二维成像数据的第一输入；

接收包括与正在接受所述治疗的所述受试者相关联的三维成像数据的第二输入；以及

经由神经网络系统，使用所述第一输入和所述第二输入来预测视敏度反应(VAR)输出，该VAR输出包括响应于所述治疗的正在接受所述治疗的所述受试者的视敏度的预测变化。

实施例18.根据实施例17所述的非暂时性机器可读介质，其中所述三维成像数据包括与正在接受所述治疗的所述受试者相关联的光学相干断层扫描(OCT)成像数据，并且其中所述二维成像数据包括与正在接受所述治疗的所述受试者相关联的彩色眼底成像数据。

实施例19.根据实施例17或18所述的非暂时性机器可读介质，其中所述第二输入进一步包括与正在接受所述治疗的所述受试者相关联的视敏度测量和与正在接受所述治疗的所述受试者相关联的人口统计数据。

实施例20.根据实施例17至19中任一项所述的非暂时性机器可读介质，其中所述经由神经网络系统，所述预测所述VAR输出包括：

使用与正在接受所述治疗的所述受试者相关联的所述二维成像数据来生成第一输出；

使用与正在接受所述治疗的所述受试者相关联的所述三维成像数据来生成第二输出；以及

经由融合所述第一输出和所述第二输出来生成所述VAR输出。

实施例21.根据实施例17至20中任一项所述的非暂时性机器可读介质，其中所述神经网络系统包括：

第一神经网络子系统，其包括至少一个第一输入层和至少一个第一致密内层，所述至少一个第一输入层被配置为接收所述第一输入，所述至少一个第一致密内层被配置为将第一训练模型应用到所述第一输入层；

第二神经网络子系统，其包括至少一个第二输入层和至少一个第二致密内层，所述至少一个第二输入层被配置为接收所述第一输入，所述至少一个第二致密内层被配置为将第二训练模型应用到所述第二输入层；以及

第三神经网络子系统，其包括至少一个第三致密内层，所述至少一个第三致密内层被配置为：接收来自至少第一致密内层的第一输出和来自至少第二致密层的第二输出，并将第三训练模型应用到所述第一输出和所述第二输出，从而预测所述VAR输出。

实施例22.根据实施例21所述的非暂时性机器可读介质，其中所述至少一个第一致密内层包括训练图像识别模型和输出致密内层，并且其中所述至少一个第二致密内层包括多个第二致密内层。

实施例23.根据实施例17至22中任一项所述的非暂时性机器可读介质，其中所述操作进一步包括，在接收所述第一输入和所述第二输入之前，使用与先前已接受所述治疗的第一多个受试者相关联的二维成像数据和与先前已接受所述治疗的第二多个受试者相关联的三维成像数据来训练所述神经网络系统。

实施例24.根据实施例23所述的非暂时性机器可读介质，其中训练所述神经网络系统进一步包括使用与先前已接受治疗的第二多个受试者相关联的视敏度测量、与先前已接受治疗的第二多个受试者相关联的人口统计数据或它们的组合。

实施例25.一种用于预测视敏度反应的方法，所述方法包括：

接收包括与正在接受治疗的受试者相关联的二维成像数据的输入；以及

经由神经网络系统，使用所述输入来预测视敏度反应(VAR)输出，所述VAR输出包括响应于所述治疗的正在接受所述治疗的所述受试者的视敏度的预测变化。

实施例26.根据实施例25所述的方法，其中所述二维成像数据包括与正在接受所述治疗的所述受试者相关联的彩色眼底成像数据。

实施例27.根据实施例25或26所述的方法，其中所述神经网络系统包括：

至少一个输入层，其被配置为接收所述输入；以及

至少一个致密内层，其被配置为将训练模型应用到所述输入层，从而预测所述VAR输出。

实施例28.根据实施例27所述的方法，其中所述至少一个致密内层包括训练图像识别模型和输出致密内层。

实施例29.根据实施例25至28中任一项所述的方法，其进一步包括，在接收所述输入之前，使用与先前已接受所述治疗的多个受试者相关联的二维成像数据来训练所述神经网络系统。

实施例30.一种用于预测视敏度反应的系统，所述系统包括：

非暂时性存储器；和

一个或多个处理器，其耦接到所述非暂时性存储器并且被配置为从所述非暂时性存储器读取指令以使所述系统执行操作，所述操作包括：

接收包括与正在接受治疗的受试者相关联的二维成像数据的输入；以及

经由神经网络系统，使用所述输入来预测视敏度反应(VAR)输出，所述VAR输出包括响应于所述治疗的正在接受所述治疗的所述受试者的视敏度的预测变化。

实施例31.根据实施例30所述的系统，其中所述二维成像数据包括与正在接受所述治疗的所述受试者相关联的彩色眼底成像数据。

实施例32.根据实施例30或31所述的系统，其中所述神经网络系统包括：

至少一个输入层，其被配置为接收所述输入；以及

至少一个致密内层，其被配置为将训练模型应用到所述输入层，从而预测所述VAR输出。

实施例33.根据实施例32所述的系统，其中所述至少一个致密内层包括训练图像识别模型和输出致密内层。

实施例34.根据实施例30至33中任一项所述的系统，其中所述操作进一步包括，在接收所述输入之前，使用与先前已接受所述治疗的多个受试者相关联的二维成像数据来训练所述神经网络系统。

实施例35.根据实施例34所述的系统，其中训练所述神经网络系统进一步包括使用与先前已接受治疗的第二多个受试者相关联的视敏度测量、与先前已接受治疗的第二多个受试者相关联的人口统计数据或它们的组合。

实施例36.一种非暂时性机器可读介质，其上存储有可执行以使系统执行操作的机器可读指令，所述操作包括：

接收包括与正在接受治疗的受试者相关联的二维成像数据的输入；以及

经由神经网络系统，使用所述输入来预测视敏度反应(VAR)输出，所述VAR输出包括响应于所述治疗的正在接受所述治疗的所述受试者的视敏度的预测变化。

实施例37.根据实施例36所述的非暂时性机器可读介质，其中所述二维成像数据包括与正在接受所述治疗的所述受试者相关联的彩色眼底成像数据。

实施例38.根据实施例36或37所述的非暂时性机器可读介质，其中所述神经网络系统包括：

至少一个输入层，其被配置为接收所述输入；以及

至少一个致密内层，其被配置为将训练模型应用到所述输入层，从而预测所述VAR输出。

实施例39.根据实施例38所述的非暂时性机器可读介质，其中所述至少一个致密内层包括训练图像识别模型和输出致密内层。

实施例40.根据实施例36至39中任一项所述的非暂时性机器可读介质，其中所述操作进一步包括，在接收所述输入之前，使用与先前已接受所述治疗的多个受试者相关联的二维成像数据来训练所述神经网络系统。

实施例41.一种用于预测视敏度反应的方法，所述方法包括：

接收包括与正在接受治疗的受试者相关联的三维成像数据的输入；以及

经由神经网络系统，使用所述输入来预测视敏度反应(VAR)输出，所述VAR输出包括响应于所述治疗的正在接受所述治疗的所述受试者的视敏度的预测变化。

实施例42.根据实施例41所述的方法，其中所述三维成像数据包括与正在接受所述治疗的所述受试者相关联的光学相干断层扫描(OCT)成像数据。

实施例43.根据实施例41或42所述的方法，其中所述输入进一步包括与正在接受所述治疗的所述受试者相关联的视敏度测量和与正在接受所述治疗的所述受试者相关联的人口统计数据。

实施例44.根据实施例41至3中任一项所述的方法，其中所述神经网络系统包括：

至少一个输入层，其被配置为接收所述输入；以及

至少一个致密内层，其被配置为将训练模型应用到所述输入层，从而预测所述VAR输出。

实施例45.根据实施例44所述的方法，其中所述至少一个致密内层包括多个致密内层。

实施例46.根据实施例41至45中任一项所述的方法，其进一步包括，在接收所述输入之前，使用与先前已接受所述治疗的多个受试者相关联的三维成像数据来训练所述神经网络系统。

实施例47.根据实施例46所述的方法，其中训练所述神经网络系统进一步包括使用与先前已接受治疗的多个受试者相关联的视敏度测量、与先前已接受治疗的多个受试者相关联的人口统计数据或它们的组合。

实施例48.一种用于预测视敏度反应的系统，所述系统包括：

非暂时性存储器；和

一个或多个处理器，其耦接到所述非暂时性存储器并且被配置为从所述非暂时性存储器读取指令以使所述系统执行操作，所述操作包括：

接收包括与正在接受治疗的受试者相关联的三维成像数据的输入；以及

经由神经网络系统，使用所述输入来预测视敏度反应(VAR)输出，所述VAR输出包括响应于所述治疗的正在接受所述治疗的所述受试者的视敏度的预测变化。

实施例49.根据实施例48所述的系统，其中所述三维成像数据包括与正在接受所述治疗的所述受试者相关联的光学相干断层扫描(OCT)成像数据。

实施例50.根据实施例48或49所述的系统，其中所述输入进一步包括与正在接受所述治疗的所述受试者相关联的视敏度测量和与正在接受所述治疗的所述受试者相关联的人口统计数据。

实施例51.根据实施例48至50中任一项所述的系统，其中所述神经网络系统包括：

至少一个输入层，其被配置为接收所述输入；以及

至少一个致密内层，其被配置为将训练模型应用到所述输入层，从而预测所述VAR输出。

实施例52.根据实施例51所述的系统，其中所述至少一个致密内层包括多个致密内层。

实施例53.根据实施例48至52中任一项所述的系统，其中所述操作进一步包括，在接收所述输入之前，使用与先前已接受所述治疗的多个受试者相关联的三维成像数据来训练所述神经网络系统。

实施例54.根据实施例53所述的系统，其中训练所述神经网络系统进一步包括使用与先前已接受治疗的多个受试者相关联的视敏度测量、与先前已接受治疗的多个受试者相关联的人口统计数据或它们的组合。

实施例55.一种非暂时性机器可读介质，其上存储有可执行以使系统执行操作的机器可读指令，所述操作包括：

接收包括与正在接受治疗的受试者相关联的三维成像数据的输入；以及

经由神经网络系统，使用所述输入来预测视敏度反应(VAR)输出，所述VAR输出包括响应于所述治疗的正在接受所述治疗的所述受试者的视敏度的预测变化。

实施例56.根据实施例55的非暂时性机器可读介质，其中三维成像数据包括与正在接受所述治疗的所述受试者相关联的光学相干断层扫描(OCT)成像数据。

实施例57.根据实施例55或56所述的非暂时性机器可读介质，其中所述输入进一步包括与正在接受所述治疗的所述受试者相关联的视敏度测量和与正在接受所述治疗的所述受试者相关联的人口统计数据。

实施例58.根据实施例55至57中任一项所述的非暂时性机器可读介质，其中所述神经网络系统包括：

至少一个输入层，其被配置为接收所述输入；以及

至少一个致密内层，其被配置为将训练模型应用到所述输入层，从而预测所述VAR输出。

实施例59.根据实施例58所述的非暂时性机器可读介质，其中所述至少一个致密内层包括多个致密内层。

实施例60.根据实施例55至59中任一项所述的非暂时性机器可读介质，其中所述操作进一步包括，在接收所述输入之前，使用与先前已接受所述治疗的多个受试者相关联的三维成像数据来训练所述神经网络系统。

实施例61.根据实施例60所述的非暂时性机器可读介质，其中训练所述神经网络系统进一步包括使用与先前已接受治疗的多个受试者相关联的视敏度测量、与先前已接受治疗的多个受试者相关联的人口统计数据或它们的组合。

实施例62.一种用于治疗被诊断患有nAMD病症的受试者的方法，其包括：

接收包括与受试者相关联的二维成像数据的第一输入；

接收包括与所述受试者相关联的三维成像数据的第二输入；

经由经训练的神经网络系统，使用所述第一输入和所述第二输入来生成治疗输出，所述治疗输出指示响应于所述治疗的受试者的视敏度的预测变化；

基于所述治疗输出，向医疗提供者提供治疗建议，所述治疗建议促使医疗提供者：

响应于所述治疗输出是所述受试者的所述视敏度的改善而向受试者施用治疗，施用治疗的步骤包括以治疗剂量玻璃体内施用治疗或其衍生物，其中治疗为兰尼单抗，治疗剂量为0.3毫克(mg)或0.5mg。

Claims (20)

1.一种用于预测视敏度反应的方法，所述方法包括：

接收包括与正在接受治疗的受试者相关联的二维成像数据的第一输入；

接收包括与正在接受所述治疗的所述受试者相关联的三维成像数据的第二输入；以及

经由神经网络系统，使用所述第一输入和所述第二输入来预测视敏度反应(VAR)输出，所述VAR输出包括正在接受所述治疗的所述受试者的视敏度的预测变化。

2.根据权利要求1所述的方法，其中所述三维成像数据包括与正在接受所述治疗的所述受试者相关联的光学相干断层扫描(OCT)成像数据，并且其中所述二维成像数据包括与正在接受所述治疗的所述受试者相关联的彩色眼底成像数据。

3.根据权利要求1所述的方法，其中所述第二输入进一步包括与正在接受所述治疗的所述受试者相关联的视敏度测量和与正在接受所述治疗的所述受试者相关联的人口统计数据。

4.根据权利要求1所述的方法，其中经由所述神经网络系统，预测所述VAR输出包括：

使用与正在接受所述治疗的所述受试者相关联的所述二维成像数据来生成第一输出；

使用与正在接受所述治疗的所述受试者相关联的所述三维成像数据来生成第二输出；以及

经由融合所述第一输出和所述第二输出来生成所述VAR输出。

5.根据权利要求1所述的方法，其中所述神经网络系统包括：

第一神经网络子系统，其包括至少一个第一输入层和至少一个第一致密内层，所述至少一个第一输入层被配置为接收所述第一输入，所述至少一个第一致密内层被配置为将第一训练模型应用到所述第一输入层；

第二神经网络子系统，其包括至少一个第二输入层和至少一个第二致密内层，所述至少一个第二输入层被配置为接收所述第一输入，所述至少一个第二致密内层被配置为将第二训练模型应用到所述第二输入层；以及

第三神经网络子系统，其包括至少一个第三致密内层，所述至少一个第三致密内层被配置为：接收来自至少第一致密内层的第一输出和来自至少第二致密层的第二输出，并将第三训练模型应用到所述第一输出和所述第二输出，从而预测所述VAR输出。

6.根据权利要求5所述的方法，其中所述至少一个第一致密内层包括训练图像识别模型和输出致密内层，或者其中所述至少一个第二致密内层包括多个第二致密内层。

7.根据权利要求1所述的方法，其进一步包括：使用与先前已接受所述治疗的第一多个受试者相关联的二维成像数据和使用与先前已接受所述治疗的第二多个受试者相关联的三维成像数据来训练所述神经网络系统。

8.一种用于预测视敏度反应的系统，所述系统包括：

非暂时性存储器；和

一个或多个处理器，其耦接到所述非暂时性存储器并且被配置为从所述非暂时性存储器读取指令以使所述系统执行操作，所述操作包括：

接收包括与正在接受治疗的受试者相关联的二维成像数据的第一输入；

接收包括与正在接受所述治疗的所述受试者相关联的三维成像数据的第二输入；以及

经由神经网络系统，使用所述第一输入和所述第二输入来预测视敏度反应(VAR)输出，所述VAR输出包括正在接受所述治疗的所述受试者的视敏度的预测变化。

9.根据权利要求8所述的系统，其中所述三维成像数据包括与正在接受所述治疗的所述受试者相关联的光学相干断层扫描(OCT)成像数据，并且其中所述二维成像数据包括与正在接受所述治疗的所述受试者相关联的彩色眼底成像数据。

10.根据权利要求8所述的系统，其中所述第二输入进一步包括与正在接受所述治疗的所述受试者相关联的视敏度测量和与正在接受所述治疗的所述受试者相关联的人口统计数据。

11.根据权利要求8所述的系统，其中经由所述神经网络系统，预测所述VAR输出包括：

使用与正在接受所述治疗的所述受试者相关联的所述二维成像数据来生成第一输出；

使用与正在接受所述治疗的所述受试者相关联的所述三维成像数据来生成第二输出；以及

经由融合所述第一输出和所述第二输出来生成所述VAR输出。

12.根据权利要求8所述的系统，其中所述神经网络系统包括：

第一神经网络子系统，其包括至少一个第一输入层和至少一个第一致密内层，所述至少一个第一输入层被配置为接收所述第一输入，所述至少一个第一致密内层被配置为将第一训练模型应用到所述第一输入层；

第二神经网络子系统，其包括至少一个第二输入层和至少一个第二致密内层，所述至少一个第二输入层被配置为接收所述第一输入，所述至少一个第二致密内层被配置为将第二训练模型应用到所述第二输入层；以及

第三神经网络子系统，其包括至少一个第三致密内层，所述至少一个第三致密内层被配置为：接收来自至少第一致密内层的第一输出和来自至少第二致密层的第二输出，并将第三训练模型应用到所述第一输出和所述第二输出，从而预测所述VAR输出。

13.根据权利要求12所述的系统，其中所述至少一个第一致密内层包括训练图像识别模型和输出致密内层，或者其中所述至少一个第二致密内层包括多个第二致密内层。

14.根据权利要求8所述的系统，其中所述操作进一步包括：使用与先前已接受所述治疗的第一多个受试者相关联的二维成像数据和使用与先前已接受所述治疗的第二多个受试者相关联的三维成像数据来训练所述神经网络系统。

15.一种非暂时性机器可读介质，其上存储有可执行以使系统执行操作的机器可读指令，所述操作包括：

接收包括与正在接受治疗的受试者相关联的二维成像数据的第一输入；

接收包括与正在接受所述治疗的所述受试者相关联的三维成像数据的第二输入；以及

经由神经网络系统，使用所述第一输入和所述第二输入来预测视敏度反应(VAR)输出，所述VAR输出包括正在接受所述治疗的所述受试者的视敏度的预测变化。

16.根据权利要求15所述的非暂时性机器可读介质，其中所述三维成像数据包括与正在接受所述治疗的所述受试者相关联的光学相干断层扫描(OCT)成像数据，并且其中所述二维成像数据包括与正在接受所述治疗的所述受试者相关联的彩色眼底成像数据。

17.根据权利要求15所述的非暂时性机器可读介质，其中所述第二输入进一步包括与正在接受所述治疗的所述受试者相关联的视敏度测量和与正在接受所述治疗的所述受试者相关联的人口统计数据。

18.根据权利要求15所述的非暂时性机器可读介质，其中经由所述神经网络系统，预测所述VAR输出包括：

使用与正在接受所述治疗的所述受试者相关联的所述二维成像数据来生成第一输出；

使用与正在接受所述治疗的所述受试者相关联的所述三维成像数据来生成第二输出；以及

经由融合所述第一输出和所述第二输出来生成所述VAR输出。

19.根据权利要求15所述的非暂时性机器可读介质，其中

所述神经网络系统包括：

第一神经网络子系统，其包括至少一个第一输入层和至少一个第一致密内层，所述至少一个第一输入层被配置为接收所述第一输入，所述至少一个第一致密内层被配置为将第一训练模型应用到所述第一输入层；

第二神经网络子系统，其包括至少一个第二输入层和至少一个第二致密内层，所述至少一个第二输入层被配置为接收所述第一输入，所述至少一个第二致密内层被配置为将第二训练模型应用到所述第二输入层；以及

第三神经网络子系统，其包括至少一个第三致密内层，所述至少一个第三致密内层被配置为：接收来自至少第一致密内层的第一输出和来自至少第二致密层的第二输出，并将第三训练模型应用到所述第一输出和所述第二输出，从而预测所述VAR输出。

20.根据权利要求19所述的非暂时性机器可读介质，其中所述至少一个第一致密内层包括训练图像识别模型和输出致密内层，或者其中所述至少一个第二致密内层包括多个第二致密内层。