CN114830251A - 用于预测未来视觉敏锐度的机器学习技术 - Google Patents

用于预测未来视觉敏锐度的机器学习技术 Download PDF

Info

Publication number
CN114830251A
CN114830251A CN202080086878.5A CN202080086878A CN114830251A CN 114830251 A CN114830251 A CN 114830251A CN 202080086878 A CN202080086878 A CN 202080086878A CN 114830251 A CN114830251 A CN 114830251A
Authority
CN
China
Prior art keywords
retinal
segment
machine learning
subject
visual acuity
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202080086878.5A
Other languages
English (en)
Inventor
T·F·阿尔伯特
F·阿尔卡杜
F·本曼苏尔
李云
A·毛茨
J·萨尼
A·塔哈默
S·Y·P·张
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
F Hoffmann La Roche AG
Original Assignee
F Hoffmann La Roche AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by F Hoffmann La Roche AG filed Critical F Hoffmann La Roche AG
Publication of CN114830251A publication Critical patent/CN114830251A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/0016—Operational features thereof
    • A61B3/0025—Operational features thereof characterised by electronic signal processing, e.g. eye models
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/102—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for optical coherence tomography [OCT]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/12—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for looking at the eye fundus, e.g. ophthalmoscopes
    • A61B3/1225—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for looking at the eye fundus, e.g. ophthalmoscopes using coherent radiation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/103—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for determining refraction, e.g. refractometers, skiascopes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10101—Optical tomography; Optical coherence tomography [OCT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30041—Eye; Retina; Ophthalmic

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Biomedical Technology (AREA)
  • Ophthalmology & Optometry (AREA)
  • Molecular Biology (AREA)
  • Veterinary Medicine (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biophysics (AREA)
  • Surgery (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Quality & Reliability (AREA)
  • Signal Processing (AREA)
  • Geometry (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Pathology (AREA)
  • Image Analysis (AREA)
  • Eye Examination Apparatus (AREA)
  • Medical Treatment And Welfare Office Work (AREA)

Abstract

本文公开的方法和系统总体上涉及用于通过使用机器学习模型来预测受试者的未来视觉敏锐度的系统和方法。可以通过一个或多个第一机器学习模型来处理受试者的视网膜的至少一部分的图像以检测一组视网膜相关节段。可以生成表征所述一组视网膜相关节段中的视网膜相关节段的特定于节段的度量。可以通过使用第二机器学习模型来处理所述特定于节段的度量，以生成对应于以下预测的结果，所述预测与所述受试者的未来视觉敏锐度对应。

Description

用于预测未来视觉敏锐度的机器学习技术
相关申请的交叉引用
本申请要求于2019年10月25日提交的欧洲专利申请号19205315.5的申请日的权益，该专利申请的公开内容的全文特此通过引用并入本文并且用于所有目的。
技术领域
本文公开的方法和系统总体上涉及用于通过使用分段处理机器学习模型和度量处理机器学习模型来预测受试者的未来视觉敏锐度的系统和方法。
背景技术
眼睛相关疾病可能会导致个体的严重视觉丧失。例如，黄斑变性是当视网膜的黄斑区域恶化时发生的严重的、不可逆的视觉丧失的主要原因之一。通常，某些眼睛相关疾病的早期阶段几乎没有症状，并且不会导致视觉丧失。然而，在后期阶段，视觉丧失可能由于眼睛相关疾病而突然地且意外地发生。对眼睛相关疾病的早期和适当治疗可以防止晚期的进展并提高给定受试者保持最佳视觉敏锐度的机会。治疗选项可以包括将抗血管生成药物注射到眼睛中、激光疗法以破坏活跃生长的异常血管以及光动力激光疗法，该光动力激光疗法采用光敏药物来破坏异常血管。
治疗选项的相对疗效可能取决于受试者的特点和/或给定的条件状态。然而，疗效预测因素尚不完全清楚，使得治疗选择具有挑战性。此外，在为给定受试者选择并发起治疗之后，可能需要很长一段时间来发现治疗是否对该受试者有效。到发现特定治疗无效的时候，受试者可能已经过了早期使用另一种治疗的机会之窗。这可能会减少受试者从眼睛相关疾病中恢复的机会。
常规技术已尝试使用机器学习模型来预测受试者的未来视觉敏锐度。例如，SCHMIDT-ERFURTH等人：“Machine Learning to Analyze the Prognostic Value ofCurrent Imaging Biomarkers in Neovascular Age-Related Macular Degeneration”，眼科视网膜，卷2，no.1，2018年1月1日(2018-01-01)，第24-30页公开了使用机器学习模型处理图像来预测标准化抗血管内皮生长因子(抗-VEGF)疗法一年后的视觉敏锐度。在该示例中，机器学习模型的统计分析揭示了响应于初始抗VEGF治疗的初始视觉敏锐度对未来视觉敏锐度的预测影响最大。统计分析还揭示了发现视网膜相关结构-的畸形与预测在很大程度上无关。
作为另一个示例，GERENDAS等人：“Computational image analysis forprognosis determination in DME”，视觉研究，卷139，2017年5月9日(2017-05-09)，第204-210页公开了使用机器学习模型(例如，随机森林回归模型)来预测患有糖尿病性黄斑水肿的受试者的未来视觉敏锐度。在该示例中，统计分析揭示了与视网膜液体区域对应的形态学特征显著有助于基线视觉敏锐度，并且与视网膜结构的视网膜厚度对应的形态学特征显著有助于受试者在治疗一年后的视觉敏锐度。已识别的形态学特征集主要是特定视网膜结构的定向区域和厚度。此外，该示例系统基于跨越不同时间点(例如，第12周、第24周)的输入图像来生成对视觉敏锐度的预测，以生成对视觉敏锐度的预测。这与基于在基线时间点(例如第0周)收集的图像来生成对未来视觉敏锐度的预测不同。
在又一个示例中，IRVINE J M等人：“Inferring diagnosis and trajectory ofwet age-related macular degeneration from OCT imagery of retina”，生物医学光学与成像的进展，SPIE，卷10134，2017年3月3日(2017-03-03)，第1013439-1013439页公开了使用机器学习模型处理OCT图像以生成预测受试者的视觉敏锐度是否响应于特定治疗而提高的二进制输出，但没有公开预测受试者在特定时间点的视觉敏锐度。
其他常规技术可以使用机器学习模型来处理光学相干层析成像(OCT)图像，但它们不预测给定受试者的未来视觉敏锐度。例如，US2018/0132725A1公开了使用卷积神经网络来检测与某些视网膜液体(例如，视网膜内囊状液、视网膜下液)对应的图像对象，但没有公开预测受试者的未来视觉敏锐度。在另一个示例中，DE FAUW J等人：“Clinicallyapplicable deep learning for diagnosis and referral in retinal disease”，自然医学，卷24，no.9，2018年8月13日(2018-08-13),第1342-1350页公开了使用分类网络来预测受试者的威胁视力的视网膜疾病的严重性，但没有公开预测受试者的未来视觉敏锐度。
因此，需要更快速和准确地表征眼睛相关病症的预后(例如，给定受试者的未来视觉敏锐度)，以促进快速识别有效的治疗。
发明内容
在一些实施例中，提供了一种计算机实现方法。该计算机实现方法可以包括使用一个或多个第一模型处理受试者的视网膜的至少一部分的图像以检测一组视网膜相关节段。图像可以是OCT图像。一组视网膜相关节段中的每个视网膜相关节段可以包括视网膜结构或某类型的一组特定于节段的度量。计算机实现方法还可以包括生成一组特定于节段的度量。一组特定于节段的度量中的每一者可以表征一组视网膜相关节段中的视网膜相关节段。计算机实现方法可以包括使用第二模型处理一组特定于节段的度量以生成对应于以下预测的结果，该预测与受试者的未来视觉敏锐度对应。计算机实现方法还包括输出结果。
第一模型可以包括深度卷积神经网络。在一些实例中，第一模型包括视网膜内层分段算法。一个或多个第一模型中的第一模型可以用于检测与该类型的视网膜液体对应的节段，并且一个或多个第一模型中的另一个模型可以用于检测与视网膜结构对应的节段。第二模型可以包括经训练的梯度提升机。
一组视网膜相关节段中的视网膜相关节段可以包括指示视网膜的一个或多个视网膜层(例如，神经纤维层、神经节细胞层)的特定视网膜结构。特定视网膜结构可以指示视网膜的位于视网膜色素上皮下方的一个或多个部分，该视网膜的该一个或多个部分包括布鲁赫膜、脉络膜和巩膜。一组视网膜相关节段中的视网膜相关节段可以指示视网膜结构的色素上皮脱离。一组视网膜相关节段中的视网膜相关节段还可以包括特定类型的视网膜液体，该特定类型的视网膜液体包括视网膜下液(SRF)或视网膜内液(IRF)。一组视网膜相关节段中的视网膜相关节段可以指示存在于视网膜中的一个或多个畸形，该一个或多个畸形包括黄斑裂孔、黄斑皱褶和恶化黄斑。
结果可以指示受试者在特定未来时间点的未来视觉敏锐度将超过预定敏锐度阈值的预测。一组特定于节段的度量中的特定于节段的度量可以指示与视网膜内液对应的液体体积，其中对应于该液体体积的较低值可以增加受试者在特定未来时间点的未来视觉敏锐度将超过预定敏锐度阈值的可能性。一组特定于节段的度量中的特定于节段的度量也可以指示与视网膜下液对应的液体体积，其中对应于该液体体积的较高值可以增加受试者在特定未来时间点的未来视觉敏锐度将超过预定敏锐度阈值的可能性。
在一些实施例中，提供了一种系统，该系统包括：一个或多个数据处理器；以及包含指令的非暂时性计算机可读存储介质，该指令在一个或多个数据处理器上被执行时使该一个或多个数据处理器执行本文公开的一种或多种方法的部分或全部。
在一些实施例中，提供了一种计算机程序产品，该计算机程序产品有形地体现在非暂时性机器可读存储介质中，并且该计算机程序产品包括指令，该指令被配置为使一个或多个数据处理器执行本文公开的一种或多种方法的部分或全部。
本公开的一些实施例包括一种包括一个或多个数据处理器的系统。在一些实施例中，该系统包括包含指令的非暂时性计算机可读存储介质，所述指令在所述一个或多个数据处理器上被执行时使所述一个或多个数据处理器执行本文公开的一种或多种方法的部分或全部和/或本文公开的一种或多种过程的部分或全部。本公开的一些实施例包括一种有形地体现在非暂时性机器可读存储介质中的计算机程序产品，其包括指令，所述指令被配置为使一个或多个数据处理器执行本文公开的一种或多种方法的部分或全部和/或本文公开的一种或多种过程的部分或全部。
已使用的术语和表述被用作描述性而非限制性的术语，并且在使用此类术语和表述时无意排除示出和描述的特征或其部分的任何等效物，但应认识到在要求保护的本发明的范围内可以进行各种修改。因此，应当理解，虽然通过实施例和任选特征具体公开了要求保护的本发明，但是本领域技术人员可以对本文公开的概念进行修改和变化，并且此类修改和变化被认为是在所附权利要求书所限定的本发明范围内。
附图说明
结合附图描述本公开：
图1展示了用于使用机器学习模型来生成与受试者的未来视觉敏锐度对应的预测的示例处理方案；
图2展示了用于使用机器学习模型来生成与受试者的未来视觉敏锐度对应的预测的过程；
图3示出了一组接收器操作特征(ROC)曲线，该一组接收器操作特征曲线传达了与实际观察结果相比对应于由经训练的图像分段机器学习模型和经训练的度量处理机器学习模型生成的输出的准确性数据；
图4示出了一组散点图，该一组散点图传达了与实际观察结果相比对应于由经训练的图像分段机器学习模型和经训练的度量处理机器学习模型生成的输出的准确性数据；
图5示出了展示输入数据类型可以影响与受试者的未来视觉敏锐度对应的预测的程度的箱形图；
图6示出了示例图600，该图标识了由经训练的度量处理机器学习模型处理的特定于节段的度量可以影响与受试者的未来视觉敏锐度对应的预测的程度；以及
图7A至图7B示出了可以用于评估预测受试者的未来视觉敏锐度的机器学习模型的性能的图的示例组。
在附图中，相似的部件和/或特征可以具有相同的附图标记。此外，可通过在参考标号后面加上破折号和区分相似部位的第二标号来区分相同类型的各种部位。如果说明书中仅使用第一参考标号，则该描述适用于任何一个具有相同的第一参考标号的相似部位，而与第二参考标号无关。
具体实施方式
I.概述
为了至少解决常规机器学习系统的上述缺陷，本技术使用机器学习模型来生成与受试者的未来视觉敏锐度对应的预测。描绘受试者的视网膜的至少一部分的图像可以由节段检测机器学习模型处理以检测与视网膜结构或某类型的视网膜液体对应的一组视网膜相关图像节段。对于检测到的一组视网膜相关图像节段中的每个视网膜相关图像节段，可以生成特定于节段的度量。特定于节段的度量可以涉及(例如)节段的相对位置、宽度、深度、曲率或同质化程度。可以使用度量处理机器学习模型来处理与该一组视网膜相关图像节段对应的特定于节段的度量，以生成对应于以下预测的结果，该预测与受试者的未来视觉敏锐度对应。该结果还可以与对诊断为新生血管性年龄相关黄斑变性的受试者的治疗(例如抗VEGF治疗)的预测反应对应。在一些实施例中，预测是通过某些度量(例如，视网膜液体的液体体积)的贡献高于来自其他度量(例如，视网膜结构的厚度)的贡献来生成的。
描绘受试者的视网膜的至少一部分的图像可以在特定时间点被捕获，并且该结果可以与未来时间点(例如，从图像被捕获之日起12个月)的视觉敏锐度的预测对应。在一些实例中，该结果是仅基于在一时间点捕获的受试者的图像生成的。为了从图像中检测该一组视网膜相关图像节段，可以使用节段检测机器学习模型。例如，可以使用视网膜内层分段算法来检测视网膜结构(例如，视网膜层)，和/或可以使用深度卷积神经网络(在另一个示例中)来检测视网膜液体的类型。视网膜液体的类型可以包括视网膜内液、视网膜下液和/或布鲁赫膜与视网膜色素上皮之间的液体(例如，该液体导致色素上皮脱离)。
一组特定于节段的度量中的每一者可以表征一组视网膜相关节段中的视网膜相关节段。例如，当视网膜相关图像节段包括视网膜液体时，特定于节段的度量可以包括液体的体积或厚度(例如，中心子场厚度)。在另一个示例中，对应于视网膜结构(例如，视网膜色素上皮)的特定于节段的度量可以包括该视网膜结构与另一个视网膜结构(例如，内界膜)之间的中心子场厚度和中心子场体积。度量处理机器学习模型可以学习各种度量预测受试者的未来视觉敏锐度的程度。例如，与视网膜下液节段对应的较高的中心子场厚度度量可以预测受试者的未来视觉敏锐度将提高。与视网膜内液对应的较低的中心子区域厚度度量也可以预测受试者的未来视觉敏锐度将提高。
特定的特定于节段的度量(例如，与该类型的视网膜液体对应的液体体积的量)可以相对于一个、多个或所有其他度量中的各个度量指示未来视觉敏锐度的程度是用于确定受试者的未来视觉敏锐度的主要指标。在一些实例中，当特定的特定于节段的度量对受试者的未来视觉敏锐度的预测的贡献高于来自一个、多个或所有其他特定于节段的度量的各个贡献时，该特定的特定于节段的度量被表征为未来视觉敏锐度的主要指标。在一些实例中，特定的特定于节段的度量的贡献是通过聚合为给定的特定于节段的度量的每个实例计算的一个或多个值(例如，Shapley值)确定的。
与主要指标对应的特定于节段的度量可以通过以下方式确定：(i)访问由经训练的度量处理机器学习模型处理的信息；(ii)基于所访问的信息，生成绘图，该绘图针对每个特定于节段的度量，指示一个或多个值，该一个或多个值指示对预测受试者的未来视觉敏锐度的贡献；以及(iii)从绘图中选择被估计为对预测受试者的未来视觉敏锐度有最高贡献的特定于节段的度量。在一些实例中，该绘图是Shapley Additive exPlanations绘图，该绘图基于一组特定于节段的度量对预测受试者的未来视觉敏锐度的相对贡献在该一组特定于节段的度量中生成排名。
在一些实例中，对应于主要指标的特定于节段的度量是通过使用本地可解译的模型不可知论解释(LIME)来确定的。LIME专注于训练本地代理模型以解释与受试者的未来视觉敏锐度对应的各个预测(例如)。在LIME中，目标是理解为什么机器学习模型(例如，度量处理机器学习模型)会做出某种预测。LIME生成新数据集，该新数据集包括输入样品的变化(例如，置换样品)和基础机器学习模型的对应预测。例如，可以处理描绘受试者的视网膜的至少一部分的OCT图像以生成用于LIME的置换样品。然后使用这个新数据集训练可解译模型。例如，可解译模型可以是最小绝对收缩和选择算子(Lasso)或决策树。经训练的可解译模型可以用于逼近基础机器学习模型对输入样品的变化的预测(本地保真度)，但不需要是所有输入样品的良好全局逼近。可以通过以下方式获得本地代理模型：(1)选择感兴趣样品，对于该感兴趣样品，可能需要对基础机器学习模型的预测的解释；(2)扰乱该感兴趣样品，并通过基础机器学习模型生成对扰乱样品的预测；(3)根据扰乱样品与感兴趣样品的接近程度对扰乱样品进行加权；和(4)使用扰乱样品和基础机器学习模型的对应预测来训练加权的、可解译的模型。然后可以通过解译经训练的可解译模型来解释基础机器学习模型对感兴趣样品的预测。
用于识别未来视觉敏锐度的主要指标的替代性技术是，对于一组度量中的每个度量，识别与该度量相关联的一个或多个已知权重。对于每个度量，贡献值可以被定义为(例如)一个或多个已知权重的最大值、最小值、中值或平均值或者一个或多个已知权重中的已知权重。主要指标可以被定义为是与最高贡献相关联的度量。
另一种用于识别主要指标的技术是使用一组修改后的测试数据集来拟合或训练机器学习模型。该一组修改后的测试数据集中的每个测试数据集可能在输入数据中缺少一个或多个特定度量。可以为每个测试数据集计算准确性(例如，R2值、标准误差等)，并且可以将主要指标定义为相对于其他测试数据集准确性最高(或误差最低)的测试数据集中不存在的度量。
用于识别主要指标的又一示例性技术是设计特定输入数据集，该特定输入数据集包括跨越每个度量的值范围的数据点。例如，特定输入数据集可以与跨输入空间的线性或非线性多维网格对应。然后可以使用经训练的模型为每个输入数据元素(例如，该输入数据元素可以包括多个度量的值)生成预测的未来视觉敏锐度。对于每个度量，可以确定预测与度量的值之间的关系的大小和/或重要性。一个或多个主要指标可以被定义为与最高(或高于阈值)的度量和/或最显著的重要性值(例如，低于阈值的p值)相关联的度量。
将理解，在训练期间使用的、用于识别贡献和/或用于识别主要指标的输入变量可以被规范化和/或标准化。还将理解，一些输入变量可能是相关的和/或非独立的。在这些情况下，可以对相关变量进行集体评估(例如，通过对相关变量的权重进行集体评估，通过从修改后的数据集中移除彼此相关的每个变量，或通过对沿着与和模型预测有关的相关变量相关联的输入数据轴线的值之间的关系的大小或重要性进行集体分析。
被识别为主要指标的识别的特定于节段的度量可以进一步用于改进度量处理机器学习模型的性能。例如，可以执行递归特征消除操作以移除被确定为对预测的贡献小于阈值量的特定于节段的度量。在另一示例中，可以执行超参数(例如，神经网络中的层数、学习率)调整操作以优化对与一个或多个主要指标对应的度量的识别，以用于确定受试者的视觉敏锐度的未来增强的程度。
用于处理一组特定于节段的度量的度量处理机器学习模型可以与用于检测视网膜相关图像节段的节段检测机器学习模型的类型不同。例如，用于处理特定于节段的度量的度量处理机器学习模型可以包括梯度提升机。度量处理机器学习模型的结果输出可以对应于(例如)受试者的预测的未来视觉敏锐度(例如，在特定时间)、预测的20/40最佳矫正视觉敏锐度(BCVA)值(例如，在特定时间点)、关于受试者的未来视觉敏锐度是否将超过预定敏锐度阈值(例如，在特定时间)的预测，
因此，本公开的实施例通过更准确地生成与受试者的未来视觉敏锐度对应的个性化预测来提供优于常规系统的技术优势。与使用单一类型的机器学习模型来处理图像不同，节段检测机器学习模型和度量处理机器学习模型可以以相同的顺序使用，以增加预测的未来视觉敏锐度的准确性。此外，通过使用度量处理机器学习模型来学习各种度量预测受试者的未来视觉敏锐度的程度，可以进一步训练节段检测机器学习模型以基于各个节段类型预测受试者的未来视觉敏锐度的程度对视网膜相关图像节段进行差分加权。这可能导致机器学习系统与常规系统相比更准确。
II.使用机器学习模型来预测未来视觉敏锐度的示例计算环境
图1展示了用于使用机器学习模型来生成与受试者的未来视觉敏锐度对应的预测的示例处理方案100。处理方案100可以包括访问图像102和使用一组节段检测机器学习模型104a-n来处理图像101。该一组节段检测机器学习模型104a-n可以包括视网膜内层分段算法104a和机器学习模型(例如，卷积神经网络、深度神经网络或深度卷积神经网络104b)。该一组节段检测机器学习模型可以检测一组视网膜相关图像节段106a-n(例如，描绘某类型的液体、视网膜层、特定脉管系统或特定视网膜异常的图像节段)。可以基于该一组视网膜相关图像节段106a-n生成一组特定于节段的度量108a-n。该一组特定于节段的度量108a-n中的每个特定于节段的度量可以与该一组视网膜相关图像节段106a-n中的视网膜相关图像节段对应。特定于节段的度量108可以涉及(例如)节段的相对位置、宽度、深度、曲率或同质化程度。在一些实例中，特定于节段的度量108可以与一组视网膜相关图像节段106a-n中的多个节段有关(例如，两个节段之间的平均距离、中值距离、最大距离或最小距离)。可以通过使用可以输出视觉敏锐度预测112的度量处理机器学习模型110来处理该一组特定于节段的度量108a-n。视觉敏锐度预测112可以是受试者的预测的未来视觉敏锐度(例如，在特定时间)。预测的未来视觉敏锐度可以包括预测的精确敏锐度值或关于是否预测满足给定的基于敏锐度的条件的指示。
II.A.训练用于预测未来视觉敏锐度的机器学习模型
可以使用监督训练算法来训练用于预测受试者的未来视觉敏锐度的机器学习模型(例如，节段检测机器学习模型104a-n、度量处理机器学习模型110)。监督训练算法可以用于训练机器学习模型以生成与线性和/或逻辑回归值对应的输出，该线性和/或逻辑回归值与以下预测对应，该预测与未来视觉敏锐度的预测对应。可以基于训练数据集来训练机器学习模型。训练数据集可以来源于临床试验数据，诸如基于“A Study of RanibizumabAdministered Monthly or on a Re-needed Basis in patients with SubfovealNeovascular Age-related Macular Degeneration”(以下简称“HARBOR临床数据”)的临床数据。训练数据集可以包括一组训练图像。一组训练图像中的每个训练图像可以用相对于收集训练图像的日期设置的特定时间点(例如，从收集训练图像的日期起12个月)处的受试者的视觉敏锐度进行标记。一组训练图像中的每个训练图像可以用对应于治疗特征的信息进行标记，该信息包括：(1)与启动治疗眼睛相关疾病相关的时间点(例如，启动后1个月、启动后2个月)；(2)治疗的剂量；和(3)治疗的频率模式。附加地或替代性地，一组训练图像中的每个训练图像可以用表示对应于训练图像的受试者的特征的信息进行标记。表示受试者的特征的信息可以包括在收集训练图像的日期受试者的年龄、性别和/或视觉敏锐度。
各种类型的成本函数可以用于训练机器学习模型。成本函数可以包括线性成本函数、二次成本函数和三次成本函数。在一些实例中，可以使用反向传播技术来促进学习与用于预测受试者的未来视觉敏锐度的机器学习模型相关联的权重。反向传播可使用例如随机梯度下降(SGD)算法来累积更新隐藏层的参数。学习到的参数可以包括例如权重、偏差和/或其他隐藏层相关参数，这些参数可以存储在参数数据存储区中。
II.B.用于预测未来视觉敏锐度的输入数据
图像102可以是可以描绘受试者的视网膜的至少一部分的二维或三维图像。图像102可以以微米级精度描绘视网膜的横截面部分，以该微米级精度，横截面部分可以指示不同的部分，包括视网膜色素上皮层或布鲁赫膜(例如)。为了捕获图像102，可以使用各种类型的医学成像技术。例如，可以通过使用利用低相干光的光学相干层析成像(OCT)来捕获描绘视网膜的一部分的图像102。医学成像技术的其他示例可以包括光谱域光学相干层析成像(SD-OCT)、广域光学相干层析成像、光声成像和扫描激光检眼镜检查。
可以捕获图像102以描绘对应于处于各种状态的受试者的视网膜的至少一部分。例如，图像102可以对应于被诊断患有眼睛相关疾病(例如，黄斑变性)的受试者。可能已经或尚未为受试者确定和/或启动了治疗。可以对图像102进行处理以产生未来视觉敏锐度，该未来视觉敏锐度可以用于识别被预测在治疗或改进与眼睛相关疾病相关联的症状方面有效(例如，达到治疗疗效的目标或相对于其他治疗选项)的治疗。在另一示例中，图像102可以对应于正在经受眼睛相关疾病的治疗的受试者。在这样的示例中描述的图像102可以被处理以产生未来视觉敏锐度，该未来视觉敏锐度可以用于识别当前治疗在治疗或改进与眼睛相关疾病相关联的症状方面是否有效。如果未来视觉敏锐度另有指示，则可以为受试者选择不同的治疗。为了产生受试者的未来视觉敏锐度，捕获的图像102可以由节段处理机器学习模型104a-n处理以揭示可以预测受试者的未来视觉敏锐度的信息。
II.C.用于检测输入图像内的图像节段的节段处理机器学习模型
图像102可以由节段处理机器学习模型104a-n处理以检测一组视网膜相关图像节段106a-n。视网膜相关图像节段(例如，视网膜相关图像节段106a)可以指图像(例如，图像102c)内对应于与视网膜相关联的部分的像素区域。与视网膜相关联的部分可以对应于视网膜结构的类型。该视网膜结构的类型可以包括单个视网膜层和/或多个视网膜层。视网膜层的示例可以包括以下各项中的一项或多项：
1.内界膜；
2.神经纤维层；
3.神经节细胞层；
4.内丛状层；
5.内核层；
6.外丛状层；
7.外核层；
8.外界膜；
9.感光层；
10.视网膜色素上皮；
11.布鲁赫膜；
12.脉络膜毛细血管；以及
13.脉络膜间质。
视网膜结构的类型可以包括位于视网膜色素上皮下方的其他结构，包括布鲁赫膜、脉络膜和巩膜。检测到的视网膜结构可以指示存在于视网膜中的畸形，诸如黄斑裂孔、黄斑皱褶和恶化黄斑。可以基于由节段处理机器学习模型104a-n检测到视网膜相关图像分段的位置来识别视网膜结构的类型。例如，如果检测到的视网膜相关图像节段的位置在图像102的顶部，则可以将视网膜结构的类型识别为内界膜。
除了视网膜结构之外，与视网膜相关联的部分还可以对应于视网膜液体的类型，诸如视网膜内液、视网膜下液(例如，这可能指示黄斑水肿)和/或布鲁赫膜与视网膜色素上皮之间的液体(例如，其导致色素上皮脱离)。
II.C.1用于检测对应于视网膜结构的图像节段的视网膜内层分段算法
可以使用各种类型的节段处理机器学习模型104a-n来检测一组视网膜相关图像节段106a-n。分段过程可以通过生成图像102的多个副本来启动。可以使用视网膜内层分段算法104a处理图像102的第一个副本来检测对应于视网膜结构(例如，视网膜层)的图像节段(例如，视网膜相关图像节段106a-d)。对于图像102的第一个副本，视网膜内层分段算法104a可以检测图像内的多个视网膜表面。为了处理图像102的第一个副本，可以经由各向异性扩散操作对图像102的第一个副本进行预处理，以减少与图像102相关联的图像噪声。可以通过视网膜内层分段算法104a处理经预处理的图像以检测一组边缘。可以基于经预处理的图像中像素区域的亮到暗和/或暗到亮的过渡来识别这些边缘。替代性地或附加地，可以基于经预处理的图像内的暗、中等和/或亮强度像素区域来识别该一组边缘。在一些实例中，可以使用一维峰值检测算法从经预处理的图像中检测该一组边缘。基于该一组边缘，可以通过视网膜内层分段算法104a检测视网膜表面。
多个视网膜表面中的视网膜表面可以与指示两个视网膜层之间的边界的标识符相关联。例如，由视网膜内层分段算法104a检测到的视网膜表面可以与标识符RNFL-GCL相关联，该标识符指示该视网膜表面充当视网膜神经纤维层与神经节细胞层之间的边界。视网膜内层分段算法104a可以将两个相邻视网膜表面之间的区域指定为对应于视网膜层的视网膜相关图像节段。基于两个相邻视网膜表面的相应标识符，视网膜内层分段算法104a识别视网膜结构的类型，诸如内丛状层。视网膜内层分段算法104a可以对所有视网膜表面重复上述操作以检测对应于视网膜结构的视网膜相关图像节段(例如，视网膜相关图像节段106a-d)。
各种类型的视网膜内层分段算法可以用于检测视网膜结构(例如，视网膜层)。这些类型可以包括但不限于Sprectralis SD-OCT系统、IOWA参考算法、自动视网膜分析工具(AURA)、Dufour算法和OCTRIMA3D系统。
II.C.2用于检测与视网膜液体类型对应的图像节段的深度卷积神经网络
为了检测对应于与视网膜相关联的其他部分的视网膜相关图像节段(例如，视网膜相关图像节段106e-g)，可以使用深度卷积神经网络104b。可以通过深度卷积神经网络104b处理图像102的第二个副本以检测与视网膜液体类型的对应的视网膜相关图像节段(例如，视网膜相关图像节段106e)，该视网膜液体类型包括视网膜内液、视网膜下液(例如，该视网膜下液可能表明黄斑水肿)和/或布鲁赫膜与视网膜色素上皮之间的液体(例如，该液体导致色素上皮脱离)。深度卷积神经网络104b可以访问图像102的第二个副本，并通过一系列隐藏的卷积层(例如，卷积、ReLU层、池化层)来处理该第二个副本，这些隐藏的卷积层可以用来检测图像102的第二个副本内的视网膜相关图像节段(例如，视网膜相关的图像节段106e-g)。对于检测到的视网膜相关节段中的每个视网膜相关图像节段，深度卷积神经网络104b可以使用全连接层(例如，具有softmax层的多感知器神经网络)，该全连接层可以产生与该视网膜相关图像节段的视网膜液体类型的估计对应的结果。结果，对应于视网膜液体类型的视网膜相关图像节段(例如，视网膜相关图像节段106e-g)。
II.D.用于产生特定于节段的度量的系统
可以基于一组视网膜相关图像节段106a-n来产生一组特定于节段的度量108a-n。一组特定于节段的度量108a-n中的每个特定于节段的度量可以对应于一组视网膜相关图像节段106a-n中的视网膜相关图像节段。基于视网膜相关图像节段的类型，特定于节段的度量可以与不同类型的度量相关联。例如，对应于视网膜结构(例如，视网膜色素上皮细胞)的特定于节段的度量可以包括该视网膜结构与另一个视网膜结构(例如，内界膜)之间的中心子场厚度和中心子场体积。中心子场厚度和中心子场体积中的每一者也可以指示视网膜中从其识别度量的特定位置。特定位置可以是早期治疗糖尿病视网膜病变研究(ETDRS)网格内范围在1至9之间的值。在另一个示例中，对应于某类型的视网膜液体(例如，视网膜下液)的特定于节段的度量可以包括总液体体积和在视网膜内的特定位置(例如，ETDRS位置)处的液体体积。附加地和替代性地，可以用附加的一组度量补充一组特定于节段的度量108a-n中的特定于节段的度量，该附加的一组度量包括受试者的性别、受试者的年龄、对应于受试者的最佳矫正视觉敏锐度(BCVA)值。
II.E.用于产生未来视觉敏锐度的预测的度量处理机器学习模型
度量处理机器学习模型110可以处理一组特定于节段的度量108a-n并且产生对应于与图像102相关联的受试者的视觉敏锐度预测112。在一些实例中，度量处理机器学习模型110可以包括梯度提升机，该梯度提升机可以包括一系列机器学习模型,诸如决策树。可以通过对应于梯度提升机的一系列机器学习模型来处理一组特定于节段的度量中的每个特定于节段的度量，其中该系列的第一个机器学习模型的中间输出可以用作该系列的第二个机器学习模型的输入。可以聚合与一组特定于节段的度量中的每个特定于节段的度量对应的输出以产生对应于与图像102相关联的受试者的未来视觉敏锐度的预测(例如，视觉敏锐度预测112)的最终输出。
在一些实例中，度量处理机器学习模型110可以包括深度神经网络。对于一组特定于节段的度量108a-n中的每个特定于节段的度量(例如，中心子场厚度)，深度神经网络可以将特定于节段的度量分配给其输入层的神经元。输入层的神经元可以将这些值作为对应于隐藏层的神经元的输入进行传递，在该隐藏层中每个神经元基于输入、其参数和其相关联的激活函数计算中间值。中间值可以作为深度神经网络的后续隐藏层的神经元的输入提供，在该后续隐藏层处可以为每个隐藏层重复计算过程，直到中间值到达深度神经网络的输出层。输出层可以基于中间值输出对应于视觉敏锐度预测112的结果。
在一些实例中，度量处理机器学习模型110可以包括随机森林回归模型。随机森林回归模型可以选择随机样品，该随机样品包括一组特定于节段的度量108a-n中的特定于节段的度量的子集。对于随机样品中的每个特定于节段的度量(例如，ETDRS值为3的液体体积)，可以将特定于节段的度量分配给随机森林回归模型的决策树，该决策树可以产生对应于未来视觉敏锐度的中间结果。可以聚合每个决策树生成的中间结果以识别对应于视觉敏锐度预测112的最终结果。最终结果可以是(例如)决策树产生的中间结果的平均值、中值、总计值、最大值或最小值。
II.F.未来视觉敏锐度的实际应用
视觉敏锐度预测112可以用于预测受试者的未来视觉敏锐度。未来视觉敏锐度可以指示受试者在特定时间点(例如，从图像102被捕获的日期起12个月)的视觉敏锐度。视觉敏锐度预测112可以对应于从被诊断患有眼睛相关疾病(例如，黄斑变性)的受试者的图像102产生的结果,对于该受试者,治疗尚未确定。在这种情况下，视觉敏锐度预测112可以用于识别可以被认为在治疗或改进与眼睛相关疾病相关联的症状方面最有效的治疗。例如，对应于视觉敏锐度预测112的值可以指示在特定时间点眼睛相关疾病的预测严重性。根据对应于视觉敏锐度预测112的预测严重性，可以选择治疗。治疗可以包括将抗血管生成药物注射到眼睛中、破坏活跃生长的异常血管的激光疗法以及采用光敏药物破坏异常血管的光动力激光疗法。
视觉敏锐度预测112可以对应于从经受眼睛相关疾病的治疗(例如，抗VEGF疗法)的受试者的图像102产生的结果。对于这样的情况，视觉敏锐度预测112可以指示受试者在特定时间点的未来视觉敏锐度，并且基于对应于视觉敏锐度预测112的值进一步指示当前治疗是否改进了受试者的视觉敏锐度。为了确定当前治疗的疗效，可以将对应于视觉敏锐度预测112的值与对应于与图像102相关联的受试者的视觉敏锐度值(例如，BCVA)进行比较。比较值可以指示受试者的视觉敏锐度的改进程度。附加地或替代性地，对应于视觉敏锐度预测112的值可以与预定敏锐度阈值进行比较。如果对应于视觉敏锐度预测112的值超过预定敏锐度阈值，则可以保持当前治疗。如果对应于视觉敏锐度预测112的值不超过预定敏锐度阈值，则可以为受试者选择不同的治疗(例如，光动力激光治疗)。
III.使用用于预测未来视觉敏锐度的机器学习模型的示例过程
图2展示了用于使用机器学习模型来产生与受试者的未来视觉敏锐度对应的预测的过程200。该过程开始于框202。可以使用第一组机器学习模型处理受试者的视网膜的至少一部分的图像，以检测一组视网膜相关节段。可以使用OCT系统(例如，SD-OCT系统)来捕获图像。该一组视网膜相关节段中的视网膜相关节段可以对应于图像内的像素区域，该像素区域对应于与视网膜相关联的部分。视网膜相关节段可以包括视网膜结构或某类型的视网膜液体。视网膜结构可以包括单个视网膜层和/或多个视网膜层，诸如神经纤维层或布鲁赫膜。视网膜液体类型可以包括视网膜下液、视网膜内液和视网膜色素内皮。
第一组机器学习模型可以包括一组节段处理机器学习模型，在该一组节段处理机器学习模型中，可以使用不同类型的机器学习模型来检测视网膜相关分段的类型。例如，可以使用视网膜内层分段算法来检测对应于视网膜结构的视网膜相关节段。视网膜内层分段算法可以用于基于分析图像中的像素强度图案从图像中检测视网膜结构。
在框204，可以产生一组特定于节段的度量。该一组特定于节段的度量中的每个特定于节段的度量可以表征一组视网膜相关节段中的视网膜相关节段。基于视网膜相关节段的类型，对应的特定于节段的度量可以与不同的数据类型相关联。例如，如果视网膜相关节段的类型是视网膜结构，则对应于视网膜结构(例如，视网膜色素上皮)的特定于节段的度量可以包括该视网膜结构与另一个视网膜结构(例如，内界膜)之间的中心子场厚度和中心子场体积。在另一示例中，如果视网膜相关节段的类型是视网膜液体类型，则对应于该视网膜液体类型(例如，视网膜下液)的特定于节段的度量可以包括总液体体积和在视网膜内的特定位置(例如，ETDRS位置)处的液体体积。
在框206，可以使用第二机器学习模型来处理该组特定于节段的度量，以生成对应于以下预测的结果，该预测与受试者的未来视敏度对应。第二机器学习模型可以包括度量处理机器学习模型。例如，度量处理机器学习模型可以对应于梯度提升机，该梯度提升机又可以包括一系列机器学习模型，诸如决策树。可以通过对应于梯度提升机的一系列机器学习模型来处理一组特定于节段的度量中的每个特定于节段的度量，其中该系列的第一个机器学习模型的中间输出可以用作该系列的第二个机器学习模型的输入。
对应于受试者的未来视觉敏锐度的预测可以包括在相对于收集图像的日期设置的特定时间点处的未来视觉敏锐度值。在一些实例中，预测可以进一步指示未来视觉敏锐度是否将在特定时间点超过预定敏锐度阈值(例如，20/40-BCVA)。
在框208，输出结果。例如，该结果可以在本地呈现或被传输到另一个装置。该结果可以与受试者的标识符一起被输出。该结果可以用于识别特定于节段的度量类型对该结果的贡献程度。该结果可以与识别受试者的特征(例如，年龄、性别、BCVA)的附加信息一起被输出。
IV.对用于预测未来视觉敏锐度的机器学习模型的评估
IV.A.对用于预测未来视觉敏锐度是否将超过预定敏锐度阈值的机器学习模型的 评估
图3示出了一组接收器操作特征(ROC)曲线300，这些曲线传达了与实际观察结果相比对应于由经训练的图像分段机器学习模型和经训练的度量处理机器学习模型产生的输出的准确性数据。呈现该一组接收器操作特征(ROC)曲线300以证明扩展训练数据的范围以包括在不同时间点收集的训练图像可以增加预测的总体准确性，该预测对应于在特定时间点处的未来视觉敏锐度是否将超过预定敏锐度阈值。四个描绘的ROC曲线305、310、315和320中的每一个都显示了与经训练的机器学习模型的示例组相对应的准确性数据(例如，曲线下面积的值)。该一组经训练的机器学习模型包括经训练的图像分段机器模型(例如，图像分段机器学习模型104a-n)和经训练的度量处理机器学习模型(例如，图1的度量处理机器学习模型110)。
四组机器学习模型中的每一组都是使用训练数据集(例如HARBOR临床数据)训练的。训练数据集包括一组训练图像。一组训练图像中的每个训练图像标记有受试者在一时间点处的视觉敏锐度(例如，从启动治疗起的12个月)。训练数据集的不同子集用于训练对应于ROC曲线305、310、315和320的四组机器学习模型中的每一组：
1.使用第一训练数据集来训练对应于ROC曲线305的第一组机器学习模型，该第一训练数据集包括与启动抗VEGF治疗时的受试者的捕获图像数据对应的907个SD-OCT图像(n＝907)；
2.使用第一训练数据集和与在启动抗VEGF治疗后的1个月时捕获的受试者的图像数据对应的880个SD-OCT图像(n＝880)的第二训练数据集来训练对应于ROC曲线310的第二组机器学习模型；
3.使用第一训练数据集、第二训练数据集和与在启动抗VEGF治疗后的2个月时捕获的受试者的图像数据对应的847个SD-OCT图像(n＝847)的第三训练数据集来训练对应于ROC曲线315的第三组机器学习模型；以及
4.使用第一训练数据集、第二训练数据集、第三训练数据集和与在启动抗VEGF治疗后的3个月时捕获的受试者的图像数据对应的816个SD-OCT图像(n＝816)的第四数据集来训练对应于ROC曲线320的第四组机器学习模型。
在四个训练数据集中，训练数据集与在不同剂量水平和治疗频率下接受抗VEGF治疗的受试者相关联：(1)每月雷珠单抗0.5mg；(2)每月雷珠单抗2.0mg；(3)在需要的基础上雷珠单抗0.5mg；(4)在需要的基础上雷珠单抗2.0mg。关于评估，基于五重交叉验证程序生成未来视觉敏锐度。
在训练阶段之后，四组经训练的机器学习模型中的每一组用于处理未标记的图像(例如，图1的图像102)并产生对应于预测的输出，该预测与从收集该未标记的图像的日期起12个月相关联的未来视觉敏锐度对应。随后使用对每组经训练的机器学习模型的预测来确定未来视觉敏锐度是否超过预定敏锐度阈值。超过预定敏锐度阈值指示受试者在特定时间点将获得高于20/40的BCVA值。将该多组经训练的机器学习模型的预测数据与从相同未标记图像得出的实际观察结果进行比较。
ROC曲线305示出与用第一训练数据集训练的第一组经训练的机器学习模型对应的准确性数据。对于ROC曲线305，曲线下面积(AUC)为0.77±0.04，灵敏度为0.74±0.05，特异性为0.70±0.05。ROC曲线310示出与用第二训练数据集训练的第二组经训练的机器学习模型对应的准确性数据(例如，描绘受试者在启动抗VEGF治疗时和启动抗VEGF治疗后1个月时的视网膜的一组训练图像)。对于ROC曲线310，AUC为0.85±0.03，灵敏度为0.83±0.04，特异性为0.73±0.04。
ROC曲线315示出与用第三训练数据集训练的第三组经训练的机器学习模型对应的准确性数据(例如，描绘受试者在启动抗VEGF治疗时、启动抗VEGF治疗后1个月时和启动抗VEGF治疗后2个月时的视网膜的一组训练图像)。对于ROC曲线315，AUC为0.88±0.03，灵敏度为0.86±0.04，特异性为0.78±0.04。ROC曲线320示出与用第四训练数据集训练的第四组经训练的机器学习模型对应的准确性数据(例如，描绘受试者在启动抗VEGF治疗时、启动抗VEGF治疗后1个月时、启动抗VEGF治疗后2个月时和启动抗VEGF治疗后3个月时的视网膜的一组训练图像)。对于ROC曲线320，AUC为0.91±0.02，灵敏度为0.87±0.04，特异性为0.83±0.04。
基于从ROC曲线305、310、315和320中的每个曲线得出的AUC值，使用扩展范围的训练数据(例如，跨越3个月的标记训练图像的第四训练数据集)来训练机器学习模型可以显著增加与受试者的未来视觉敏锐度对应的预测的准确性。
IV.B.对用于预测未来视觉敏锐度值的机器学习模型的评估
图4示出了一组散点图400，该一组散点图传达了与实际观察结果相比对应于由经训练的图像分段机器学习模型和经训练的度量处理机器学习模型生成的输出的准确性数据。类似于上面呈现的评估，呈现该一组散点图400以证明扩展训练数据的范围以包括在各个时间点收集的训练图像可以增加对应于未来视觉敏锐度的预测的总体准确性。四个散点图405、410、415和420中的每一个示出与经训练的机器学习模型的示例组相对应的准确性数据(R平方值)。该一组经训练的机器学习模型包括经训练的图像分段机器模型(例如，图像分段机器学习模型104a-n)和经训练的度量处理机器学习模型(例如，图1的度量处理机器学习模型110)。
四组机器学习模型中的每一组都是使用训练数据集(例如HARBOR临床数据)训练的。训练数据集包括一组训练图像。一组训练图像中的每个训练图像标记有受试者在一时间点处的视觉敏锐度(例如，从启动治疗起的12个月)。训练数据集的不同子集用于训练对应于散点图405、410、415和420的四组机器学习模型中的每一组：
1.使用第一训练数据集来训练对应于散点图405的第一组机器学习模型，该第一训练数据集包括与启动抗VEGF治疗时的受试者的捕获图像数据对应的907个SD-OCT图像(n＝907)；
2.使用第一训练数据集和与在启动抗VEGF治疗后的1个月时的受试者的捕获图像数据对应的880个SD-OCT图像(n＝880)的第二训练数据集来训练对应于散点图410的第二组机器学习模型；
3.使用第一训练数据集、第二训练数据集和与在启动抗VEGF治疗后的2个月时捕获的受试者的图像数据对应的847个SD-OCT图像(n＝847)的第三训练数据集来训练对应于散点图415的第三组机器学习模型；以及
4.使用第一训练数据集、第二训练数据集、第三训练数据集和与在启动抗VEGF治疗后的3个月时捕获的受试者的图像数据对应的816个SD-OCT图像(n＝816)的第四数据集来训练对应于散点图420的第四组机器学习模型。
在四个训练数据集中，训练数据集与在不同剂量水平和治疗频率下接受抗VEGF治疗的受试者相关联：(1)每月雷珠单抗0.5mg；(2)每月雷珠单抗2.0mg；(3)在需要的基础上雷珠单抗0.5mg；(4)在需要的基础上雷珠单抗2.0mg。关于评估，基于五重交叉验证程序生成未来视觉敏锐度。
在训练阶段之后，四组经训练的机器学习模型用于处理未标记的图像(例如，图1的图像102)并产生对应于预测的输出，该预测与从收集该未标记的图像的日期起12个月相关联的未来视觉敏锐度对应。由四组经训练的机器学习模型中的每一组生成的每个输出被分配给y轴值，并且从用于生成输出的未标记图像中得出的观察数据被分配给对应的x轴值。对应于预测输出与实际数据之间的比较的x和y值对被绘制在散点图(例如，散点图405)上。在对应的散点图上绘制所有x和y值对后，计算该散点图的R平方值。
散点图405示出与用第一训练数据集训练的第一组经训练的机器学习模型对应的准确性数据(例如，描绘受试者在启动抗VEGF治疗时的视网膜的图像)。对于散点图405，R平方值为0.40。散点图410示出与用第二训练数据集训练的第二组经训练的机器学习模型对应的准确性数据(例如，描绘受试者在启动抗VEGF治疗时和启动抗VEGF治疗后1个月时的视网膜的图像)。对于散点图410，R平方值为0.56。
散点图415示出与用第三训练数据集训练的第三组经训练的机器学习模型对应的准确性数据(例如，描绘受试者在启动抗VEGF治疗时、启动抗VEGF治疗后1个月时和启动抗VEGF治疗后2个月时的视网膜的图像)。对于散点图415，R平方值为0.65。散点图420示出与用第四训练数据集训练的第四组经训练的机器学习模型对应的准确性数据(例如，描绘受试者在启动抗VEGF治疗时、启动抗VEGF治疗后1个月时、启动抗VEGF治疗后2个月时和启动抗VEGF治疗后3个月时的视网膜的图像)。对于散点图420，R平方值为0.71。
基于从散点图405、410、415和420中的每个散点图得出的R平方值，使用扩展范围的训练数据(例如，跨越3个月的标记训练图像的第四训练数据集)来训练机器学习模型可以显著增加与受试者的未来视觉敏锐度对应的预测的准确性。
IV.C.对未来视觉敏锐度有贡献的输入数据类型的评估
图5示出了展示输入数据类型可以影响与受试者的未来视觉敏锐度对应的预测的程度的箱形图500。箱形图500示出了哪些特定类别的数据及其相应的组合可以导致与受试者的未来视觉敏锐度对应的预测的更高准确性。更具体地，箱形图500示出了基于一组特定于节段的度量生成未来视觉敏锐度的预测是否可以与基于一组组合的特定于节段的度量和对应于受试者的临床度量(例如，年龄、性别和BCVA值)的未来视觉敏锐度的预测相当。箱形图500包括三个箱形图505、510和515。三个箱形图505、510和515中的每一个对应于与经训练的机器学习模型的示例组相对应的准确性数据(R平方值)的分布。该一组经训练的机器学习模型包括经训练的图像分段机器模型(例如，图像分段机器学习模型104a-n)和经训练的度量处理机器学习模型(例如，图1的度量处理机器学习模型110)。
对应于箱形图505、510和515的三组机器学习模型中的每一组都是使用训练数据集(例如HARBOR临床数据)训练的。训练数据集包括一组训练图像。一组训练图像中的每个训练图像标记有受试者在一时间点处的视觉敏锐度(例如，从启动治疗起的12个月)。所有三组机器学习模型都是使用包括与启动抗VEGF治疗时的受试者的捕获图像数据对应的907个SD-OCT图像(n＝907)的训练数据集训练的。
在训练阶段之后，三组经训练的机器学习模型中的每一组用于处理对应于未标记图像(例如，图1的图像102)的不同类型的输入数据，并生成对应于预测的输出，该预测与从收集该未标记的图像的日期起12个月相关联的未来视觉敏锐度对应。不同类型的输入数据如下：
1.对应于箱形图505的第一组经训练的机器学习模型处理输入数据，该输入数据对应于仅从节段处理机器学习模型生成的特定于节段的度量；
2.对应于箱形图510的第二组机器学习模型处理输入数据，该输入数据对应于仅对应于受试者的一组临床度量，包括受试者的性别、受试者的年龄、受试者的BCVA值；以及
3.对应于箱形图515的第三组机器学习模型处理输入数据，该输入数据对应于从节段处理机器学习模型生成的特定于节段的度量和一组临床度量。
从三组经训练的机器学习模型中的每一组生成的每个输出和从用于生成输出的未标记图像得出的观察数据用于生成R平方值。R平方值绘制在对应的箱形图中(例如，箱形图505)。
箱形图505示出了对应于第一组经训练的机器学习模型的准确性数据的分布。箱形图505还示出了特定于节段的度量影响与受试者的未来视觉敏锐度对应的预测的程度。对于箱形图505，对应于R平方值的分布的中值小于0.2。箱形图510示出了对应于第二组经训练的机器学习模型的准确性数据的分布。箱形图510还示出了一组临床度量(例如，年龄、BCVA值、性别)影响与受试者的未来视觉敏锐度对应的预测的程度。对于箱形图510，对应于R平方值的分布的中值略高于3.5。箱形图515示出了对应于第三组经训练的机器学习模型的准确性数据的分布。箱形图515还示出了与一组临床度量组合的特定于节段的度量影响与受试者的未来视觉敏锐度对应的预测的程度。对于箱形图515，对应于R平方值的分布的中值是几乎4.0。此外，基于从来自箱形图510的数据和来自箱形图515的数据中抽取的随机样品进行配对t检验。t检验的结果包括t统计值为4.6和均值差值为24。
如箱形图505、510和515所示的结果所示，从处理一组组合的特定于节段的度量和临床度量的经训练的机器学习模型生成的输出在预测受试者的未来视觉敏锐度方面最为准确。
IV.D.对对于未来视觉敏锐度有贡献的特定于节段的度量的评估
图6示出了确定由经训练的度量处理机器学习模型处理的特定于节段的度量可以影响与受试者的未来视觉敏锐度对应的预测的程度的示例图600。基于在经训练的度量处理机器学习模型的训练阶段收集的信息，Shapley Additive exPlanations(SHAP)图605描绘了图形信息，该图形信息指示对应于特定于节段的度量的值与对应于受试者的未来敏锐度值是否将超过预定敏锐度阈值(例如，20/40-BCVA阈值)的概率值之间的相关性。为了生成用于绘制SHAP图605的信息，训练了一组机器学习模型。该一组机器学习模型包括图像分段机器模型和度量处理机器学习模型。
使用训练数据集(例如，HARBOR临床数据)来训练对应于SHAP图605的一组机器学习模型。一组训练图像中的每个训练图像标记有受试者在一时间点处的视觉敏锐度(例如，从启动治疗起的12个月)。使用包括与启动抗VEGF治疗时的受试者的捕获图像数据对应的907个SD-OCT图像(n＝907)的训练数据集来训练该一组机器学习模型。随着该一组机器学习模型被训练，通过使用度量处理机器学习模型处理的一组特定于节段的度量中的每个特定于节段的度量与指示预测的未来视觉敏锐度是否超过20/40-BCVA阈值的输出相关联。收集相关值并将其绘制在SHAP图605上。
SHAP图605包括多个行和列。SHAP图的行确定了与特定于节段的度量相关对应的各种属性：(1)特定于节段的度量的类型(例如，液体体积、两个视网膜层之间的厚度)；(2)对应于特定节段的度量类型的视网膜相关图像节段的类型；(3)对应于训练数据集的标识符；(4)视网膜中从其确定特定节段的度量的特定位置(例如，特定的ETDRS值)。特定行沿SHAP图605的y轴的放置指示特定于节段的度量类型对与受试者的未来视觉敏锐度对应的预测的贡献程度。例如，第一行在SHAP图605的y轴中的较高放置可以指示相对于在SHAP图605的y轴中放置成低于第一行的第二行，对应的特定于节段的度量对对应于未来视觉敏锐度的预测具有较高的贡献。
对于SHAP图605的每一行，沿着SHAP图605的x轴绘制与对应的特定于节段的度量类型的SHAP值对应的一系列点。SHAP值指示与受试者的未来敏锐度值是否将超过20/40-BCVA阈值对应的概率值。点可以以不同的颜色类型来表征，以指示特定SHAP值的范围。蓝点颜色(例如)可以指示低特定于节段的度量值，而红点颜色(例如)可以指示高特定于节段的度量值。此外，放置在x轴的特定位置的点指示特定于节段的度量的值对与受试者的未来视觉敏锐度对应的预测的贡献程度。例如，放置在高x轴值处的红点可以指示较高的特定于节段的度量值导致受试者的未来敏锐度值将超过20/40-BCVA阈值的概率较高。在另一个示例中，放置在低x轴值处的红点可以指示较高的特定于节段的度量值导致受试者的未来敏锐度值将超过20/40-BCVA阈值的概率低得多。
SHAP图605指示某些类型的特定于节段的度量及其对应值的范围对未来视觉敏锐度将超过20/40-BCVA阈值的预测有高贡献。对应于视网膜内液的较低液体体积指示未来视觉敏锐度将达到或超过20/40-BCVA阈值的可能性较高。对应于视网膜下液或色素上皮脱离的较高液体体积也指示未来视觉敏锐度将达到或超过20/40-BCVA阈值的可能性较高。此外，较高的年龄值通常指示未来视觉敏锐度贾昂达到或超过20/40-BCVA阈值的概率较低。
IV.E.基于输入数据的类型评估机器学习模型
图7A至图7B示出了可以用于评估预测受试者的未来视觉敏锐度的机器学习模型的性能的图的示例组。更具体地，图7A示出了一组散点图700A，图7B示出了一组ROC曲线700B，其中两组都传达了与由经训练的图像分段机器学习模型和经训练的度量处理机器学习模型生成的输出对应的准确性数据。呈现该一组图700A和一组700B以证明限于与接受特定治疗剂量和频率的受试者对应的训练图像的训练数据可以增加对应于未来视觉敏锐度的预测的总体准确性。四个散点图705A、710A、715A和720A中的每个散点图及其对应的ROC曲线705B、710B、715B和720B中的ROC曲线对应于一组经训练的机器学习模型。一组机器学习模型包括经训练的图像分段机器模型(例如，图像分段机器学习模型104a-n)和经训练的度量处理机器学习模型(例如，图1的度量处理机器学习模型110)。
四组机器学习模型中的每一组都是使用训练数据集(例如HARBOR临床数据)训练的。训练数据集包括一组训练图像。一组训练图像中的每个训练图像标记有受试者在一时间点处的视觉敏锐度(例如，从启动治疗起的12个月)。训练数据集的不同子集用于训练四组机器学习模型中的每一组：
1.使用第一训练数据集来训练对应于散点图705A和ROC曲线705B的第一组机器学习模型，该第一训练数据集包括与启动以每月雷珠单抗0.5mg的抗VEGF治疗的受试者的捕获图像数据对应的训练图像；
2.使用第二训练数据集来训练对应于散点图710A和ROC曲线710B的第二组机器学习模型，该第二训练数据集包括与启动以每月雷珠单抗2.0mg的抗VEGF治疗的受试者的捕获图像数据对应的训练图像；
3.使用第三训练数据集来训练对应于散点图715A和ROC曲线715B的第三组机器学习模型，该第三训练数据集包括与启动以在需要的基础上雷珠单抗0.5mg的抗VEGF治疗的受试者的捕获图像数据对应的训练图像；以及
4.使用第四训练数据集来训练对应于散点图720A和ROC曲线720B的第四组机器学习模型，该第四训练数据集包括与启动以在需要的基础上雷珠单抗2.0mg的抗VEGF治疗的受试者的捕获图像数据对应的训练图像。
在训练阶段之后，四组经训练的机器学习模型用于处理未标记的图像(例如，图1的图像102)并产生对应于预测的输出，该预测与从收集该未标记的图像的日期起12个月相关联的未来视觉敏锐度对应。关于图7A的一组散点图700A，从四组经训练的机器学习模型中的每一组生成的每个输出与从用于生成输出的未标记图像得出的观察数据相关联。相关联的值被绘制成散点图(例如，散点图705A)并用于生成对应于该散点图的R平方值。关于图7B的一组ROC曲线700B，从四组经训练的机器学习模型中的每一组生成的每个输出用于确定未来视觉敏锐度是否超过20/40-BCVA阈值。这些输出还与从相同未标记图像中得出的实际观察结果进行了比较。
对应于散点图705A的第一组经训练的机器学习模型指示R平方值为0.52。关于ROC曲线705B，第一组经训练的机器学习模型指示AOC值为0.83±0.06，灵敏度值为0.88±0.06，以及特异性值为0.68±0.10。对应于散点图710A的第二组经训练的机器学习模型指示R平方值为0.49。关于ROC曲线710B，第一组经训练的机器学习模型指示AOC值为0.84±0.06，灵敏度值为0.74±0.09，以及特异性值为0.81±0.08。
对应于散点图715A的第三组经训练的机器学习模型指示R平方值为0.30。关于ROC曲线715B，第一组经训练的机器学习模型指示AOC值为0.72±0.07，灵敏度值为0.67±0.09，以及特异性值为0.72±0.08。对应于散点图720A的第四组经训练的机器学习模型指示R平方值为0.35。关于ROC曲线720B，第一组经训练的机器学习模型指示AOC值为0.79±0.06，灵敏度值为0.69±0.09，以及特异性值为0.79±0.07。
为了比较上述结果，在与在不同剂量水平和治疗频率下接受抗VEGF治疗的受试者相关联的训练数据集上训练一组对照的经训练的机器学习模型。对应于对照组的结果包括R平方值为0.40、AOC值为0.77±0.04、灵敏度值为0.74±0.05以及特异性值为0.70±0.05。基于结果的比较，用与接受定期抗VEGF治疗的受试者有关的训练数据集训练的多组机器学习模型的表现明显优于用接受不同抗VEGF治疗剂量和频率的受试者训练的经训练的机器学习模型。对于用与在需要的基础上接受抗VEGF治疗的受试者有关的训练数据集训练的多组机器学习模型，结果与对照组的结果大致相同或略好于对照组的结果。这些观察可以指示，可以用取决于给予受试者的剂量频率的不同类型的训练数据集来训练机器学习模型。
V.附加考虑
本公开的一些实施例包括一种包括一个或多个数据处理器的系统。在一些实施例中，该系统包括包含指令的非暂时性计算机可读存储介质，所述指令在所述一个或多个数据处理器上被执行时使所述一个或多个数据处理器执行本文公开的一种或多种方法的部分或全部和/或本文公开的一种或多种过程的部分或全部。本公开的一些实施例包括一种有形地体现在非暂时性机器可读存储介质中的计算机程序产品，其包括指令，所述指令被配置为使一个或多个数据处理器执行本文公开的一种或多种方法的部分或全部和/或本文公开的一种或多种过程的部分或全部。
此外，本发明的实施例可以考虑到以下条款进行描述：
1.一种计算机实现方法，其包括：
使用一个或多个第一模型处理受试者的视网膜的至少一部分的图像以检测一组视网膜相关节段，所述一组视网膜相关节段中的每一者包括视网膜结构或某类型的视网膜液体；
生成一组特定于节段的度量，所述一组特定于节段的度量中的每一者表征所述一组视网膜相关节段中的视网膜相关节段；
使用第二模型处理所述一组特定于节段的度量以生成对应于以下预测的结果，所述预测与所述受试者的未来视觉敏锐度对应；以及
输出所述结果。
2.根据条款1所述的计算机实现方法，其中所述一个或多个第一模型中的第一模型包括深度卷积神经网络。
3.根据条款1或2所述的计算机实现方法，其中所述一个或多个第一模型中的第一模型使用视网膜内层分段算法。
4.根据条款1至3中任一项所述的计算机实现方法，其中：
所述一个或多个第一模型中的第一模型用于检测与所述类型的视网膜液体对应的节段；以及
所述一个或多个第一模型中的另一个模型用于检测与所述视网膜结构对应的节段。
5.根据条款1至4中任一项所述的计算机实现方法，其中所述第二模型包括经训练的梯度提升机。
6.根据条款1至5中任一项所述的计算机实现方法，其中所述图像为是光学相干层析成像(OCT)图像。
7.根据条款1至6中任一项的计算机实现方法，其中所述一组视网膜相关节段中的视网膜相关节段包括指示所述视网膜的一个或多个视网膜层(例如，神经纤维层、神经节细胞层)的特定视网膜结构。
8.根据条款1至7中任一项所述的计算机实现方法，其中所述特定视网膜结构指示所述视网膜的位于视网膜色素上皮下方的一个或多个部分，所述视网膜的所述一个或多个部分包括布鲁赫膜、脉络膜和巩膜。
9.根据条款1至8中任一项所述的计算机实现方法，其中所述一组视网膜相关节段中的视网膜相关节段指示所述视网膜结构的色素上皮脱离。
10.根据条款1至9中任一项所述的计算机实现方法，其中所述一组视网膜相关节段中的视网膜相关节段包括特定类型的视网膜液体，所述特定类型的视网膜液体包括视网膜下液(SRF)或视网膜内液(IRF)。
11.根据条款1至10中任一项所述的计算机实现方法，其中所述一组视网膜相关节段中的视网膜相关节段指示存在于所述视网膜中的一个或多个畸形，所述一个或多个畸形包括黄斑裂孔、黄斑皱褶和恶化黄斑。
12.根据条款1至11中任一项所述的计算机实现方法，其中所述结果指示所述受试者在特定未来时间点的所述未来视觉敏锐度将超过预定敏锐度阈值的预测。
13.根据条款1至12中任一项所述的计算机实现方法，其中所述一组特定于节段的度量中的特定于节段的度量指示与所述视网膜内液对应的液体体积，其中对应于所述液体体积的较低值增加所述受试者在特定未来时间点的所述未来视觉敏锐度将超过预定敏锐度阈值的可能性。
14.根据条款1至13中任一项所述的计算机实现方法，其中所述一组特定于节段的度量中的特定于节段的度量指示与所述视网膜下液对应的液体体积，其中对应于所述液体体积的较高值增加所述受试者在特定未来时间点的所述未来视觉敏锐度将超过预定敏锐度阈值的可能性。
15.一种计算机实现方法，其包括：
使用一个或多个图像分段模型处理受试者的视网膜的至少一部分的图像以检测所述图像中的一组视网膜相关节段，所述一组视网膜相关节段中的每一者包括视网膜结构或某类型的视网膜液体；
生成一组特定于节段的度量，所述一组特定于节段的度量中的每一者表征所述一组视网膜相关节段中的视网膜相关节段，其中特定于节段的度量识别对应于所述视网膜液体类型的液体体积的量或对应于所述视网膜结构的厚度；
使用度量处理模型处理所述一组特定于节段的度量，其中对应于所述视网膜液体类型的液体体积的量相对于对应于所述视网膜结构的厚度是用于确定所述受试者的视觉敏锐度的未来增强程度的主要指标；
响应于所述确定，产生对应于以下预测的结果，所述预测与所述受试者的未来视觉敏锐度对应；以及
输出所述结果。
16.一种计算机实现方法，其包括：
使用一个或多个图像分段模型处理受试者的视网膜的至少一部分的图像以检测所述图像中的一组视网膜相关节段，所述一组视网膜相关节段中的每一者包括视网膜结构或某类型的视网膜液体；
生成一组特定于节段的度量，所述一组特定于节段的度量中的每一者表征所述一组视网膜相关节段中的视网膜相关节段，其中特定于节段的度量识别对应于所述视网膜液体类型的液体体积的量；
使用度量处理模型处理所述一组特定于节段的度量，其中对应于所述视网膜液体类型的液体体积的量相对于对应于所述视网膜结构的厚度是用于确定所述受试者的未来视觉敏锐度的主要指标；
响应于所述确定，产生对应于以下预测的结果，所述预测与所述受试者的所述未来视觉敏锐度对应；以及
输出所述结果。
17.一种系统，其包括：
一个或多个数据处理器；以及
非暂时性计算机可读存储介质，所述非暂时性计算机可读存储介质包含指令，所述指令在所述一个或多个数据处理器上被执行时，使所述一个或多个数据处理器执行条款1至16中的任一项。
18.一种有形地体现在非暂时性机器可读存储介质中的计算机程序产品，所述计算机程序产品包括指令，所述指令被配置为使一个或多个数据处理器执行条款1至16中的任一项。
已使用的术语和表述被用作描述性而非限制性的术语，并且在使用此类术语和表述时无意排除示出和描述的特征或其部分的任何等效物，但应认识到在要求保护的本发明的范围内可以进行各种修改。因此，应当理解，虽然通过实施例和任选特征具体公开了要求保护的本发明，但是本领域技术人员可以对本文公开的概念进行修改和变化，并且此类修改和变化被认为是在所附权利要求书所限定的本发明范围内。
随后的描述仅提供优选的示例性实施例，并不旨在限制本公开的范围、适用性或配置。相反，优选示例性实施例的随后描述将为本领域技术人员提供用于实现各种实施例的可行描述。应当理解，在不脱离所附权利要求中阐述的精神和范围的情况下，可以对元件的功能和布置进行各种改变。
在以下描述中给出具体细节以提供对实施例的透彻理解。然而，应当理解，可以在没有这些具体细节的情况下实践实施例。例如，电路、系统、网络、过程和其他部件可以展示为框图形式中的部件，以免不必要的细节使实施例晦涩难懂。在其他情况下，为了避免使实施例晦涩难懂，可以在没有不必要的细节的情况下示出公知的电路、过程、算法、结构和技术。

Claims (14)

1.一种计算机实现方法，其包括：
使用一个或多个第一模型处理受试者的视网膜的至少一部分的图像以检测一组视网膜相关节段，所述一组视网膜相关节段中的每一者包括视网膜结构或某类型的视网膜液体；
生成一组特定于节段的度量，所述一组特定于节段的度量中的每一者表征所述一组视网膜相关节段中的视网膜相关节段；
使用第二模型处理所述一组特定于节段的度量以生成对应于以下预测的结果，所述预测与所述受试者的未来视觉敏锐度对应；以及
输出所述结果。
2.根据权利要求1所述的计算机实现方法，其中所述一个或多个第一模型中的第一模型包括深度卷积神经网络。
3.根据权利要求1所述的计算机实现方法，其中所述一个或多个第一模型中的第一模型使用视网膜内层分段算法。
4.根据权利要求1所述的计算机实现方法，其中：
所述一个或多个第一模型中的第一模型用于检测与所述类型的视网膜液体对应的节段；以及
所述一个或多个第一模型中的另一个模型用于检测与所述视网膜结构对应的节段。
5.根据权利要求1所述的计算机实现方法，其中所述第二模型包括经训练的梯度提升机。
6.根据权利要求1所述的计算机实现方法，其中所述图像为光学相干层析成像(OCT)图像。
7.根据权利要求1所述的计算机实现方法，其中所述一组视网膜相关节段中的视网膜相关节段包括指示所述视网膜的一个或多个视网膜层(例如，神经纤维层、神经节细胞层)的特定视网膜结构。
8.根据权利要求7所述的计算机实现方法，其中所述特定视网膜结构指示所述视网膜的位于视网膜色素上皮下方的一个或多个部分，所述视网膜的所述一个或多个部分包括布鲁赫膜、脉络膜和巩膜。
9.根据权利要求1所述的计算机实现方法，其中所述一组视网膜相关节段中的视网膜相关节段指示所述视网膜结构的色素上皮脱离。
10.根据权利要求1所述的计算机实现方法，其中所述一组视网膜相关节段中的视网膜相关节段包括特定类型的视网膜液体，所述特定类型的视网膜液体包括视网膜下液(SRF)或视网膜内液(IRF)。
11.根据权利要求1所述的计算机实现方法，其中所述一组视网膜相关节段中的视网膜相关节段指示存在于所述视网膜中的一个或多个畸形，所述一个或多个畸形包括黄斑裂孔、黄斑皱褶和恶化黄斑。
12.根据权利要求1所述的计算机实现方法，其中所述结果指示所述受试者在特定未来时间点的所述未来视觉敏锐度将超过预定敏锐度阈值的预测。
13.根据权利要求10所述的计算机实现方法，其中所述一组特定于节段的度量中的特定于节段的度量指示与所述视网膜内液对应的液体体积，其中对应于所述液体体积的较低值增加所述受试者在特定未来时间点的所述未来视觉敏锐度将超过预定敏锐度阈值的可能性。
14.根据权利要求10所述的计算机实现方法，其中所述一组特定于节段的度量中的特定于节段的度量指示与所述视网膜下液对应的液体体积，其中对应于所述液体体积的较高值增加所述受试者在特定未来时间点的所述未来视觉敏锐度将超过预定敏锐度阈值的可能性。
CN202080086878.5A 2019-10-25 2020-10-12 用于预测未来视觉敏锐度的机器学习技术 Pending CN114830251A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP19205315.5 2019-10-25
EP19205315 2019-10-25
PCT/US2020/055233 WO2021080804A1 (en) 2019-10-25 2020-10-12 Machine-learning techniques for prediction of future visual acuity

Publications (1)

Publication Number Publication Date
CN114830251A true CN114830251A (zh) 2022-07-29

Family

ID=68344705

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080086878.5A Pending CN114830251A (zh) 2019-10-25 2020-10-12 用于预测未来视觉敏锐度的机器学习技术

Country Status (5)

Country Link
US (1) US20220319003A1 (zh)
EP (1) EP4049287A1 (zh)
JP (1) JP2022554161A (zh)
CN (1) CN114830251A (zh)
WO (1) WO2021080804A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111325725A (zh) * 2020-02-19 2020-06-23 京东方科技集团股份有限公司 视网膜图像识别方法及装置、电子设备、存储介质
WO2023115007A1 (en) * 2021-12-16 2023-06-22 F. Hoffmann-La Roche Ag Prognostic models for predicting fibrosis development

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016177722A1 (en) 2015-05-05 2016-11-10 Medizinische Universität Wien Computerized device and method for processing image data

Also Published As

Publication number Publication date
US20220319003A1 (en) 2022-10-06
JP2022554161A (ja) 2022-12-28
EP4049287A1 (en) 2022-08-31
WO2021080804A1 (en) 2021-04-29

Similar Documents

Publication Publication Date Title
Das et al. Multi-scale deep feature fusion for automated classification of macular pathologies from OCT images
Singh et al. Image processing based automatic diagnosis of glaucoma using wavelet features of segmented optic disc from fundus image
Welikala et al. Genetic algorithm based feature selection combined with dual classification for the automated detection of proliferative diabetic retinopathy
Voets et al. Replication study: Development and validation of deep learning algorithm for detection of diabetic retinopathy in retinal fundus photographs
Eladawi et al. Early diabetic retinopathy diagnosis based on local retinal blood vessel analysis in optical coherence tomography angiography (OCTA) images
Kauppi Eye fundus image analysis for automatic detection of diabetic retinopathy
Ayhan et al. Clinical validation of saliency maps for understanding deep neural networks in ophthalmology
US20220319003A1 (en) Machine-learning techniques for prediction of future visual acuity
Shanmugam et al. An automatic recognition of glaucoma in fundus images using deep learning and random forest classifier
Singh et al. Collaboration of features optimization techniques for the effective diagnosis of glaucoma in retinal fundus images
Su et al. Superficial punctate keratitis grading for dry eye screening using deep convolutional neural networks
Suchetha et al. Region of interest-based predictive algorithm for subretinal hemorrhage detection using faster R-CNN
Tasnim et al. Comparisonal study of deep learning approaches on retinal OCT image
Balakrishnan et al. An enhanced PSO-DEFS based feature selection with biometric authentication for identification of diabetic retinopathy
Singh et al. A novel hybridized feature selection strategy for the effective prediction of glaucoma in retinal fundus images
Babu et al. Efficient detection of glaucoma using double tier deep convolutional neural network
Varma et al. A reliable automatic cataract detection using deep learning
Toptaş et al. Detection of optic disc localization from retinal fundus image using optimized color space
Salahuddin et al. Neuro-fuzzy classifier for corneal nerve images
EP4232999A1 (en) Multimodal geographic atrophy lesion segmentation
Marginean et al. Low-dimensional Representation of OCT Volumes with Supervised Contrastive Learning
CN115485717A (zh) 使用分割和特征评估预测地图状萎缩进展
Aldahami et al. Classification of OCT Images for Detecting Diabetic Retinopathy Disease Using Machine Learning
Biswas et al. Deep learning system for assessing diabetic retinopathy prevalence and risk level estimation
Kokane et al. Detection of diabetic retinopathy using machine learning

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40068944

Country of ref document: HK

SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination