CN113646805A - 眼科和全身性疾病的基于图像的检测 - Google Patents

Abstract

本文公开了用于进行眼科和全身性疾病和紊乱的检测的系统、方法、装置和介质。深度学习算法能够自动分析眼科图像(如视网膜扫描)，以生成各种疾病和紊乱的准确检测。定点照护实施允许在临床环境之外进行快速且有效的检测。

Description

眼科和全身性疾病的基于图像的检测

相关申请的交叉引用

本申请要求于2019年3月29日递交的申请号为PCT/CN2019/080525的国际专利申请的优先权，该申请通过引用并入本文，如同完整阐述一样。

公开背景

尽管医疗和外科干预取得了进展，但全球范围内的视力障碍的负担仍然很高。在全球73亿人口中，估计在2015年有4.4111亿人经受了某种形式的视力障碍，其中70％以上的病例归因于少数眼睛疾病，而82％的病例被归类为潜在可避免的。视网膜疾病及其表现不仅影响视力，而且给患者带来严重的身体负担和经济负担。视力障碍与经济生产力下降、生活质量下降和死亡率上升有关。

公开概述

因此，公开了用于眼科和全身性疾病的基于图像的自动检测的系统、方法和非暂时性计算机可读介质。

在实施例中，公开了一种方法，包括使用至少一个硬件处理器来：接收眼科图像数据；应用机器学习分类器，以将接收到的眼科图像数据分类为多个分类中的至少一个，该机器学习分类器使用眼科图像的域数据集进行训练，该眼科图像已经用多个分类中的一个或更多个分类加标签，其中多个分类包括正常分类和一个或更多个紊乱分类(disorderclassification)，其中一个或更多个紊乱分类包括以下项中的至少一项：年龄相关黄斑变性(AMD)、糖尿病视网膜病变(DR)、青光眼或视网膜静脉阻塞(RVO)；以及提供指示接收到的眼科图像数据的至少一个分类的报告。

在数据集中，正常分类可定义为视盘，该视盘呈现清晰边缘和预定范围内的杯盘比(cup-to-disc ratio)、来自健康视网膜神经纤维层的条纹光泽、无损伤、无明显视网膜下破裂、无色素改变、无肿瘤、无疤痕、无霉菌、和正常的脉管系统，但是指示正常年龄增长的玻璃疣除外。在数据集中，正常分类被定义为无临床异常特征、无已知眼病、血红蛋白A1C水平低于6.0％，但是指示正常年龄增长的少于5个的玻璃疣除外。在数据集中，AMD可以被定义为具有来自干性AMD或湿性AMD的明显黄斑损伤的中晚期和晚期AMD。在数据集中，根据国际临床糖尿病视网膜病变疾病严重程度表所分类的，DR可定义为中度至增生性DR。在数据集中，糖尿病黄斑水肿(DME)可被定义为以下项中的一项或更多项：在黄斑中心500微米内的视网膜增厚、在黄斑中心500微米内的硬性渗出物伴有邻近视网膜增厚、或者在黄斑中心一个视盘直径(disc diameter)内的视网膜增厚的一个或更多个视盘直径。在数据集中，青光眼可被定义为具有以下项中的一项或两项：视杯盘杯比大于或等于0.5的同心扩张、或者盘在上缘或下缘处变窄伴有局部神经纤维层缺损。在数据集中，青光眼被定义为具有以下项中的两项或更多项：大于或等于0.8的竖直视杯盘比、上盘或下盘切口或边缘变薄、或从视神经头辐射的视网膜神经纤维层(RNFL)缺损。在数据集中，RVO可被定义为非缺血性和缺血性中央RVO和主要的与黄斑分支RVO。

机器学习分类器可以包括卷积神经网络。该方法还可以包括使用至少一个硬件处理器通过以下步骤训练机器学习分类器：最初训练卷积神经网络，以使用非域数据集来区分对象，非域数据集不包含用一个或更多个紊乱加标签的眼科图像；随后使用域数据集重新训练卷积神经网络中的一个或更多个最终层。非域数据集中的图像数量可以比域数据集中图像数量多至少六倍。眼科图像数据可以包括人眼内部结构的图像。

该方法还可以包括使用至少一个硬件处理器，当至少一个分类是一个或更多个紊乱分类之一时，使用回归分析来确定与一个紊乱分类相关联的紊乱的严重程度，其中该报告还指示所确定的紊乱的严重程度。

当至少一个分类是一个或更多个疾病分类之一时，报告可以包括用于治疗与一个紊乱分类相关的紊乱的一个或更多个建议。当至少一个分类是一个或更多个紊乱分类之一时，报告可以包括来自眼科图像数据的图像，该图像示出了由机器学习分类器使用的重要区域。该报告可以包括基于Softmax函数的多个分类的概率。

该方法还可以包括使用至少一个硬件处理器以在接收眼科图像数据之后以及在应用机器学习分类器之前：确定眼科图像数据的类型；以及从与多种不同类型的眼科图像数据相关联的多个不同的机器学习分类器中选择与所确定类型的眼科图像数据相关联的机器学习分类器。

应用机器学习分类器可以包括使用U-net架构分割眼科图像数据中的血管。在U-net架构中的每个卷积层之后的激活函数可以包括整流器线性单元(ReLU)。

眼科图像数据可以包括视频，其中该方法还包括使用至少一个硬件处理器，在应用机器学习分类器之前，将视频的多个帧拼接在一起以生成合成图像，机器学习分类器被应用至该合成图像。

该至少一个硬件处理器可以被包括在服务器系统内，其中接收眼科图像数据包括通过至少一个网络从用户设备接收眼科图像数据，并且其中提供报告包括通过至少一个网络向用户设备发送报告。用户设备可以是移动设备。

该方法还可以包括使用在移动设备中的至少一个硬件处理器以：当到远程服务器的连接经由至少一个网络可用时，将眼科图像数据传输到远程服务器，以由机器学习分类器的远程版本进行分类；并且当到远程服务器的连接不可用时，将机器学习分类器的本地版本应用于眼科图像数据。接收眼科图像数据可以包括在移动设备处使用可拆卸地耦合到移动设备的检眼镜采集眼科图像数据。

该方法还可以包括使用至少一个硬件处理器来生成用于移动设备的显示的图形用户界面，其中图形用户界面包括用于使用检眼镜采集眼科图像数据的一个或更多个指令。该方法还可以包括使用至少一个硬件处理器来训练机器学习分类器，以呈现至少90％的灵敏度和至少90％的特异性。该方法还可以包括使用至少一个硬件处理器来训练机器学习分类器，以呈现至少0.9的曲线下面积(AUC)。该方法还可以包括使用至少一个硬件处理器来使用深度学习过程训练机器学习分类器。眼科图像数据可以包括视网膜图像。眼科图像数据可以包括眼底图像。一个或更多个紊乱分类可以是多个紊乱分类，其中多个紊乱分类进一步包括白内障、近视、肾病、高血压或中风中的至少一种。

在一个实施例中，公开了一种系统，包括：至少一个硬件处理器；以及一个或更多个软件模块，其被配置为当由至少一个硬件处理器执行时，执行上述方法。该系统可以包括电子服务亭(kiosk)，该电子服务亭包括至少一个硬件处理器和一个或更多个软件模块。电子服务亭可以包括：成像部件，其被配置为采集眼科图像数据；以及头部定位器，其中头部定位器包括下巴支架和前额支架，该下巴支架和前额支架被配置为将人眼与成像部件对准。

在一个实施例中，公开了一种非暂时性计算机可读介质，其上存储有指令，其中当该指令由处理器执行时使处理器执行上述方法。

附图简述

所公开的实施例的结构和操作上的细节，可以部分地通过研究附图来获得，其中相同的附图标记表示相同的部件，其中：

图1示出了根据实施例使用外部验证集验证的训练模型的混淆矩阵，包括：A)亚洲群组；B)高加索群组；C)巴西群组；以及D)手持式相机；

图2示出了根据实施例的多类别分类模型的接受者操作特征曲线(ROC)：A)内部验证-亚洲群组；B)外部验证-高加索群组；C)外部验证-巴西群组；以及D)外部验证-手持式相机；

图3A和图3B示出了根据实施例的将没有视网膜病变的糖尿病患者与健康患者进行比较的混淆矩阵；

图4示出了根据实施例的与健康患者相比没有视网膜病变的糖尿病患者的ROC；

图5A和图5B示出了根据实施例在将没有视网膜病变的糖尿病患者与没有任何临床表现的健康患者进行比较时血管分割的可视化；

图6示出了根据实施例的混淆矩阵，该混淆矩阵将没有视网膜病变且没有并发症(NOCOMP)的糖尿病患者与没有视网膜病变但有糖尿病肾病(DKD)的糖尿病患者进行比较；

图7示出了根据实施例的将无视网膜病变且无并发症(NOCOMP)的糖尿病患者与无视网膜病变但有糖尿病肾病(DKD)的糖尿病患者进行比较的ROC；

图8示出了根据实施例的二元分类正常×疾病的混淆矩阵：A)正常×AMD；B)正常×DR；C)正常×青光眼；D)正常×HM；E)正常×RVO；

图9示出了根据实施例的二元分类器的接受者操作特征曲线：A)正常×AMD；B)正常×DR；C)正常×青光眼；以及D)正常×RVO；以及

图10A和图10B分别示出了根据实施例的用于检测糖尿病肾病的随时间的模型精度和损失；以及

图11示意性地示出了根据实施例的计算机控制系统或平台，其被编程或以其他方式被配置为实施本文提供的方法。

公开的详细描述

本说明书中提及的所有出版物、专利和专利申请与每一个单独的出版物、专利或专利申请被明确且单独地指示通过引用并入一样通过引用并入本文中。

本文公开了基于成像数据检测眼睛疾病和全身性疾病的系统、方法和软件。在一些情况下，与人类临床医生相比，成功地进行了疾病检测，包括当分析的图像不具有人类可检测的病理特征时。本公开所赋予的优点包括，当诸如视网膜图像的眼科图像不显示已知对应于这种疾病或紊乱的容易观察到的临床特征时，例如在早期阶段或未病状态的情况下，包括疾病或紊乱的早期检测。由于治疗致盲性疾病的费用已被证明比预防其进展的费用更昂贵，因此早期检测并治疗将减轻经济负担和身体负担，同时防止估计2.051亿人发展为中度至重度失明。

本公开认识到使用关于视网膜的信息来评估整体的全身性健康和疾病状态的潜力。诸如视网膜血管口径、迂曲度、动脉和静脉交叉点、视网膜微血管变化、视网膜出血和神经纤维层梗塞的特征不仅表示疾病的全身性表现，还指示其他独特的个体特征，如年龄和性别。因此，本文公开了用于利用眼睛图像作为全身性疾病的新的定点照护生物标志物的系统和方法。这种方法的一个关键优势是利用当前的技术视网膜图像采集是非侵入性的、容易获得的、快速的且便宜的。

虽然AI算法在理论上有了很大的进步，但它们在现实世界中的实现在实践中面临着巨大的挑战，包括数据共享和隐私问题、算法的透明度和可解释性、跨多个平台的数据标准化和互操作性以及不断演变的监管模式。此外，在低资源环境中，关键挑战之一是缺乏运行这些算法所需的稳定的计算基础设施和计算资源。认识到这一局限性，本文公开了移动平台上的基于AI的技术，该技术使诸如患者或护理人员的在定点照护处的用户能够诊断或评估患者健康。此外，高质量的视网膜图像可以用低成本的智能手机附件可靠地采集，因此可以在因社会经济和地理障碍而出现可避免的失明的地区进行全身性和视网膜健康检查。

在一些方面中，本文公开的系统、方法和软件提供了对贯穿本公开描述的准确疾病检测过程的高效和方便的访问。在一些实施例中，本文公开的系统、方法和软件在定点照护处实施，例如在智能手机集成的情况下，用于采集和诊断各种疾病。由于缺乏医疗保健提供者、缺乏医疗保健基础设施以及患者因地理和社会经济障碍而难以获得医疗服务，低资源环境在世界上可避免的视力障碍中占据了不成比例的份额。因此，本文公开的实施方式提供了一种创新的解决方案，其可以部署到用户或消费者层级的定点照护。因此，本文公开的系统和方法在像尼日利亚这样的资源贫乏的国家提供了特别有价值的益处，在这些国家中，医生与患者的比例是1:2660，并且智能手机的拥有率保持在1:3.5，这使得基于AI的智能手机技术成为在患者手中提供基于医生的医疗保健的适用的可替代方案。在某些情况下，医疗保健提供者的要求降低，同时使患者能够自我检测或诊断。例如，医疗保健提供者可以在定点照护处提供基于设备的诊断的远程监控、分析或确认，从而促进快速、有效和更便宜的疾病检测。因此，如本文所述的人工智能的集成提供了一种途径来平衡早期疾病检测资源的不平等获取的竞争环境。通过自动化任务或促进快速诊断，人工智能可以促进获得医疗服务，特别是在患者数量远远超过医疗保健提供者的数量的发展中国家。

在一些方面中，本文公开的系统、方法和软件通过利用机器学习方法提供了基于软件的图像数据处理领域的改进，该机器学习方法提供了相较于人类同行更高的性能度量，例如准确度。在一些实施例中，使用非域数据的迁移学习(transfer learning)被用于增强训练的分类器的性能。虽然人工智能(AI)有可能彻底改变医疗保健中的疾病诊断，但临床可解释性和可操作的决策仍然具有挑战性。因此，能够在世界任何地方模拟诊断决策过程并促进转诊任务的AI系统将非常有利于常见疾病的早期发现和预防。因此，本文描述的系统、方法和软件的实施例利用深度学习技术来诊断常见的眼睛和全身性疾病。

在一些方面中，本文公开的系统、方法和软件提供了基于软件的图像数据处理领域的改进，由此视网膜图像被用于检测或预测未来时间点的眼科或全身性疾病、紊乱或状况的发展。在一些实施例中，视网膜成像允许用于未病或早期疾病状态的检测。在一些实施例中，视网膜成像允许用于疾病、紊乱或状况的各个阶段的检测，例如，糖尿病视网膜病变的中度和重度非增殖阶段和增殖阶段。视网膜图像可以是简单的图像，例如眼底照片或图像。在一些实施例中，在本文公开的系统、方法和软件中使用的眼科或视网膜图像不是光学相干断层扫描(OCT)图像。因此，在一些实施例中，眼底图像被分析或处理以获得准确的输出。

在一些实施例中，本公开解决了用于训练算法以有效执行图像分析和/或诊断的相关领域中的图像(例如，特定眼科疾病的医学图像)不足的技术问题。本公开的某些实施例包括应用迁移学习算法的系统和技术，以在感兴趣的特定域之外的图像上训练诸如卷积神经网络的初始机器学习算法，从而优化下层中的用于识别图像中发现的结构的权重。然后，冻结下层的权重，同时使用来自相关域的图像来重新训练上层的权重，以根据期望的诊断识别输出(例如，特定眼科疾病或状况的识别或预测)。这种方法允许分类器使用少得多的训练图像以及需要少得多的计算能力来更快地识别特定类别的图像(例如，眼睛的图像)的区别特征。使用非域图像来部分训练或预训练分类器允许使用对应于数千个类别的可用图像的深层库(deep reservoir)来优化一个或更多个神经网络层的权重。结果是，与传统方法相比，分类器具有出乎意料的灵敏度、特异性和准确度，特别是考虑到所需的速度、效率和计算能力的提高。事实上，分类器的某些实施例根据灵敏度、特异性、准确度或其组合在正确诊断医学图像方面优于人类专家。

在一个方面中，本文公开了一种计算机实施的方法，用于分析从受试者获得的眼科成像数据，以确定眼科或全身性疾病、紊乱或状况的存在，该方法包括：a)获得眼科成像数据；以及b)用算法处理眼科成像数据，该算法包括使用机器学习过程训练的分类器，以输出对眼科或全身性疾病、紊乱或状况的存在的确定。在一些实施例中，该确定具有至少90％的灵敏度和至少90％的特异性。在一些实施例中，该确定具有至少0.9的AUC。在一些实施例中，该机器学习过程包括使用深度学习过程来训练模型以生成分类器。在一些实施例中，分类器是卷积神经网络。在一些实施例中，机器学习过程包括执行迁移学习过程以生成分类器。在一些实施例中，迁移学习过程包括使用非域图像预训练神经网络、冻结神经网络的至少一个特征层、以及使用域图像训练神经网络。在一些实施例中，该方法还包括基于该确定做出医疗建议。在一些实施例中，眼科成像数据包括眼科图像。在一些实施例中，眼科图像是视网膜图像。在一些实施例中，眼科图像是眼底图像。在一些实施例中，眼科疾病或紊乱选自由年龄相关黄斑变性、糖尿病视网膜病变、青光眼、白内障、近视、视网膜静脉阻塞、肾病、高血压和中风组成的组。在一些实施例中，在生成眼科成像数据时，受试者没有表现出眼科或全身性疾病、紊乱或状况的可见异常或症兆。

在另一方面中，本文公开了一种计算机实施的系统，该系统被配置用于分析从受试者获得的眼科成像数据，以确定眼科或全身性疾病、紊乱或状况的存在，该系统包括：a)电子设备，该电子设备包括：处理器、存储器、显示器、相机和被配置为执行可执行指令的操作系统；b)存储在电子设备的存储器中的计算机程序，该计算机程序包括可由用户电子设备执行以创建应用程序的指令，该应用程序包括：i)获得眼科成像数据的软件模块；以及ii)用算法处理眼科成像数据的软件模块，该算法包括使用机器学习过程训练的分类器，以输出对眼科或全身疾病、紊乱或状况的存在的确定。在一些实施例中，该确定具有至少90％的灵敏度和至少90％的特异性。在一些实施例中，该确定具有至少0.9的AUC。在一些实施例中，机器学习过程包括使用深度学习过程来训练模型以生成分类器。在一些实施例中，分类器是卷积神经网络。在一些实施例中，机器学习过程包括执行迁移学习过程以生成分类器。在一些实施例中，迁移学习过程包括使用非域图像预训练神经网络、冻结神经网络的至少一个特征层、以及使用域图像训练神经网络。在一些实施例中，该应用程序还包括基于该确定做出医疗建议的软件模块。在一些实施例中，眼科成像数据包括眼科图像。在一些实施例中，眼科图像是视网膜图像。在一些实施例中，眼科图像是眼底图像。在一些实施例中，眼科疾病或紊乱选自由年龄相关黄斑变性、糖尿病视网膜病变、青光眼、白内障、近视、视网膜静脉阻塞、肾病、高血压和中风组成的组。在一些实施例中，在生成眼科成像数据时，受试者没有表现出眼科或全身疾病、紊乱或状况的可见异常或症兆。

在另一方面中，本文公开了一种包括机器可执行代码的非暂时性计算机可读介质，该机器可执行代码在由一个或更多个计算机处理器执行时，实施用于处理眼科成像数据的方法，该方法包括：a)获得眼科成像数据；以及b)用算法处理眼科成像数据，该算法包括使用机器学习过程训练的分类器，以输出对眼科或全身性疾病、紊乱或状况的存在的确定。在一些实施例中，该确定具有至少90％的灵敏度和至少90％的特异性。在一些实施例中，该确定具有至少0.9的AUC。在一些实施例中，机器学习过程包括使用深度学习过程来训练模型以生成分类器。在一些实施例中，分类器是卷积神经网络。在一些实施例中，机器学习过程包括执行迁移学习过程以生成分类器。在一些实施例中，迁移学习过程包括使用非域图像预训练神经网络、冻结神经网络的至少一个特征层、以及使用域图像训练神经网络。在一些实施例中，该应用程序还包括基于该确定做出医疗建议的软件模块。在一些实施例中，眼科成像数据包括眼科图像。在一些实施例中，眼科图像是视网膜图像。在一些实施例中，眼科图像是眼底图像。在一些实施例中，眼科疾病或紊乱选自由年龄相关黄斑变性、糖尿病视网膜病变、青光眼、白内障、近视、视网膜静脉阻塞、肾病、高血压和中风组成的组。在一些实施例中，在生成眼科成像数据时，受试者没有表现出眼科或全身疾病、紊乱或状况的可见异常或症兆。

在另一方面中，本文公开了一种计算机实施的系统，包括：a)电子设备，其包括：处理器、存储器、显示器、相机和被配置为执行可执行指令的操作系统；b)包括成像部件的便携式设备，所述便携式设备被配置为接收和定位电子设备，以使相机与成像部件对准，用于采集眼科成像数据；以及c)存储在电子设备的存储器中的计算机程序，该计算机程序包括可由用户电子设备执行以创建应用程序的指令，该应用程序包括：i)获得眼科成像数据的软件模块；以及ii)用算法处理眼科成像数据的软件模块，该算法包括使用机器学习过程训练的分类器，以输出对眼科或全身疾病、紊乱或状况的存在的确定。在一些实施例中，处理眼科成像数据包括将眼科图像或视频上传到云网络以由训练的分类器进行分析。在一些实施例中，眼科成像数据包括由电子设备使用包括成像部件的便携式设备采集的视网膜图像或视频。在一些实施例中，该确定具有至少90％的灵敏度和至少90％的特异性。在一些实施例中，该确定具有至少0.9的AUC。在一些实施例中，机器学习过程包括使用深度学习过程来训练模型以生成分类器。在一些实施例中，分类器是卷积神经网络。在一些实施例中，机器学习过程包括执行迁移学习过程以生成分类器。在一些实施例中，迁移学习过程包括使用非域图像预训练神经网络、冻结神经网络的至少一个特征层、以及使用域图像训练神经网络。在一些实施例中，该应用程序还包括基于该确定做出医疗建议的软件模块。在一些实施例中，眼科成像数据包括眼科图像。在一些实施例中，眼科图像是视网膜图像。在一些实施例中，眼科图像是眼底图像。在一些实施例中，眼科疾病或紊乱选自由年龄相关黄斑变性、糖尿病视网膜病变、青光眼、白内障、近视、视网膜静脉阻塞、肾病、高血压和中风组成的组。在一些实施例中，在生成眼科成像数据时，受试者没有表现出眼科或全身疾病、紊乱或状况的可见异常或症兆。在一些实施例中，成像部件是使相机能够从受试者的眼睛采集眼科图像或视频的检眼镜。在一些实施例中，便携式设备包括被配置为接收和定位电子设备的适配器。在一些实施例中，电子设备是智能手机或平板电脑。

在另一方面中，本文公开了一种计算机实施的系统，包括：a)被配置为采集受试者的眼科图像的医学成像设备；b)可操作地耦合到医学成像设备的电子设备，包括：处理器、存储器、显示器和被配置为执行可执行指令的操作系统；c)存储在电子设备的存储器中的计算机程序，该计算机程序包括可由用户电子设备执行以创建应用程序的指令，该应用程序包括：i)获得眼科成像数据的软件模块；以及ii)用算法处理眼科成像数据的软件模块，该算法包括使用机器学习过程训练的分类器，以输出对眼科或全身疾病、紊乱或状况的存在的确定。在一些实施例中，处理眼科成像数据包括将眼科图像或视频上传到云网络以由训练的分类器进行分析。在一些实施例中，该确定具有至少90％的灵敏度和至少90％的特异性。在一些实施例中，该确定具有至少0.9的AUC。在一些实施例中，机器学习过程包括使用深度学习过程来训练模型以生成分类器。在一些实施例中，分类器是卷积神经网络。在一些实施例中，机器学习过程包括执行迁移学习过程以生成分类器。在一些实施例中，迁移学习过程包括使用非域图像预训练神经网络、冻结神经网络的至少一个特征层、以及使用域图像训练神经网络。在一些实施例中，该应用程序还包括基于该确定做出医疗建议的软件模块。在一些实施例中，眼科成像数据包括眼科图像。在一些实施例中，眼科图像是视网膜图像。在一些实施例中，眼科图像是眼底图像。在一些实施例中，眼科疾病或紊乱选自由年龄相关黄斑变性、糖尿病视网膜病变、青光眼、白内障、近视、视网膜静脉阻塞、肾病、高血压和中风组成的组。在一些实施例中，在生成眼科成像数据时，受试者没有表现出眼科或全身疾病、紊乱或状况的可见异常或症状。在一些实施例中，医学成像设备包括检眼镜和眼底相机。在一些实施例中，便携式设备包括被配置为接收和定位电子设备的适配器。在一些实施例中，电子设备是智能手机或平板电脑。在一些实施例中，系统被配置为自助服务亭。在一些实施例中，服务亭包括定位部件，用于将受试者的头部定位在医学成像设备的前面以采集眼科图像。在一些实施例中，定位部件被配置为减小或最小化受试者的头部倾斜。在一些实施例中，服务亭还包括麦克风和扬声器，并且被配置为提供与远程医疗保健提供者的电话会议，以讨论该确定以及可选的治疗建议。在一些实施例中，服务亭包括用于接收支付信息的接口。在一些实施例中，该接口包括读卡器、扫描仪、RFID系统、现金接收器、用于输入支付信息的触摸屏或其组合。

在另一方面中，本文公开了一种计算机实施的方法，用于分析从受试者获得的眼底图像以确定眼科或全身性疾病或紊乱的存在，该方法包括：a)获得眼底图像；以及b)用算法处理眼底图像，该算法包括使用机器学习过程训练的分类器，以输出对眼科或全身性疾病或紊乱的存在的确定，其中受试者没有呈现出眼科或全身性疾病或紊乱的可见异常或症状。

在另一方面中，本文公开了一种计算机实现的系统，该系统被配置用于分析从受试者获得的眼底图像以确定眼科或全身性疾病或紊乱的存在，该系统包括：a)电子设备，该电子设备包括：处理器、存储器、显示器、相机和被配置为执行可执行指令的操作系统；b)存储在电子设备的存储器中的计算机程序，该计算机程序包括可由用户电子设备执行以创建应用程序的指令，该应用程序包括：i)获得眼底图像的软件模块；以及ii)用算法处理眼底图像的软件模块，该算法包括使用机器学习过程训练的分类器，以输出对存在眼科或全身性疾病或紊乱的确定。

在另一方面中，本文公开了一种包括机器可执行代码的非暂时性计算机可读介质，该机器可执行代码在由一个或更多个计算机处理器执行时实施用于处理眼底图像的方法，该方法包括：a)获得眼底图像；以及b)用算法处理眼底图像，该算法包括使用机器学习过程训练的分类器，以输出对眼科或全身性疾病或紊乱的存在的确定。

在另一方面中，本文公开了一种计算机实施的系统，包括：a)电子设备，其包括：处理器、存储器、显示器、相机和被配置为执行可执行指令的操作系统；b)包括成像部件的便携式设备，所述便携式设备被配置为接收和定位电子设备，以使相机与成像部件对准，用于采集眼底图像；以及c)存储在电子设备的存储器中的计算机程序，该计算机程序包括可由用户电子设备执行以创建应用程序的指令，该应用程序包括：i)获得眼底图像的软件模块；以及ii)用算法处理眼底图像的软件模块，该算法包括使用机器学习过程训练的分类器，以输出对眼科或全身性疾病或紊乱的存在的确定。

在另一方面中，本文公开了一种计算机实施的系统，包括：a)被配置为采集受试者眼睛的眼底图像的医学成像设备；b)可操作地耦合到医学成像设备的电子设备，包括：处理器、存储器、显示器和被配置为执行可执行指令的操作系统；c)存储在电子设备的存储器中的计算机程序，该计算机程序包括可由用户电子设备执行以创建应用程序的指令，该应用程序包括：i)获得眼底图像的软件模块；以及ii)用算法处理眼底图像的软件模块，该算法包括使用机器学习过程训练的分类器，以输出对眼科或全身性疾病或紊乱的存在的确定。

人们认识到，通过本公开的一个技术特征或多个技术特征的组合，可以实现具有改进的可靠性和临床可解释性的用于医学成像的临床决策支持算法的实施。根据一些方面，本文公开了一种用于识别常见眼科疾病和/或全身性疾病的诊断工具。在一些实施例中，实施机器学习框架来执行诊断。机器学习框架的示例包括深度学习模型，例如人工神经网络。所公开的框架的某些实施例实施了迁移学习算法，该算法允许用更传统的方法中所需的一小部分数据来训练高度精确的神经网络。在一些实施例中，本文公开的模型应用于医疗数据，例如眼睛的医学图像，以识别或诊断常见的眼科疾病和/或全身性疾病。在一些实施例中，本文公开的算法和/或模型在各种计算设备上实施，例如在定点照护处，从而使用户和患者能够自我诊断。计算设备的示例包括诸如可选地耦合到专用便携式成像设备的智能手机的便携式通信设备、可操作地耦合到成像设备的数字处理设备、诸如服务亭的专用诊断设备以及其他实施。

在某些实施例中，本文公开的机器学习方法被应用于诸如眼底图像的眼科图像的大型临床异构数据集，并且能够实现在对眼科疾病或全身性疾病进行分类方面与人类专家相当或优于人类专家的诊断性能。如本文所用，“疾病”可以指疾病以及另外的紊乱和/或状况。眼科疾病的示例包括黄斑变性、糖尿病视网膜病变、青光眼、白内障、近视和视网膜静脉阻塞。全身性疾病的示例包括糖尿病及其肾病、高血压和中风。此外，迁移学习方法的某些实施例随着额外的训练图像和临床成像数据集的发展以及卷积神经网络(CNN)和图像处理领域的持续进步而扩展。在一些实施例中，本文提供了一种平台，该平台与上传OTC图像用于以高精度进行远程诊断的web和/或移动应用程序交互。该算法不仅对各种眼科疾病表现出很强的性能，而且对基于图像的全身性疾病诊断具有广泛的临床实用性。

在一些实施例中，本文公开的机器学习框架利用深度学习神经网络(DNN)，该深度学习神经网络提供了机器学习技术的革命性进步，该机器学习技术使得能够在与人类相比少得多的时间内对诸如眼底照片的图像进行分类。

在一些实施例中，本文公开的系统和方法诊断一系列常见的致盲疾病，例如AMD、DR、HM、RVO、青光眼、白内障和正常视网膜。在一些实施方案中，本文公开了一种在所有疾病表型之间显示高准确度的模型，包括在不同的群组中，例如在中国、美国和巴西、以及手持式群组中。在一些实施例中，该模型能够诊断或区分没有视网膜病变的糖尿病患者和具有正常视网膜的非糖尿病患者。在一些实施例中，该模型能够通过区分有糖尿病肾病的糖尿病患者和没有任何已知并发症的糖尿病患者来检测潜在的全身性并发症。在一些实施例中，该模型在检测诸如年龄、性别、血压和中风的独特患者特征方面表现出高准确度。在一些实施例中，这些技术用作非侵入性筛查工具，作为健康检查或医学筛查的一部分。

人工智能(AI)即将成为医疗保健领域的一股变革力量。从诊断慢性全身性疾病，到解读影像学图像，再到识别癌症，利用技术来产生更有效、精确和有影响力的答案和干预措施以改善患者护理的机会几乎无穷无尽。然而，一个关键的挑战是需要准确和适用的培训，这需要来自不同患者群体、不同临床地点、不同相机和不同摄影师的数万幅图像。

该系统和方法在广泛的不同地理群体中表现出高度的适用性，当应用于巴西人口时的准确度水平证明了这一点，众所周知，巴西人口是高度异质性的，包括非洲人、欧洲人和土著后裔。

此外，在一些实施例中，该系统和方法提供了跨不同眼底镜设备、不同眼科中心和不同种族群群组的广泛适用性的高精度，并且因此可以用作视网膜疾病和全身性适应症的有效筛查工具。

在一些实施例中，本文公开了被配置为提供健康筛查的系统和方法，包括获得视网膜图像，并针对多种疾病或状况评估视网膜图像。在一些实施例中，多种疾病或状况包括眼科疾病或状况。在一些实施例中，多种疾病或状况包括全身性疾病或状况。在一些实施例中，多种疾病或状况包括眼科和全身性疾病和/或状况。在一些实施例中，传统上不使用视网膜成像来诊断或检测全身性疾病或状况，因此提出了新颖且非常规的诊断或筛查技术。

在一些实施例中，本文公开了智能手机应用程序(例如，iOS应用程序)和眼底检查附件，它们共同向农村社区和第三世界区域(例如，南亚、南美和撒哈拉以南非洲，在这些地方经常发生最可预防的致盲眼病的病例)提供专家护理。研究指出，即使在美国这样的发达国家，少数民族和社会经济地位低是视力障碍的高危因素，而信任、交通和费用经常被报告为重大的医疗保健负担。然而，如上所述，治疗致盲疾病的费用已经证明比阻止其发展的费用更昂贵。2012年视力障碍的经济负担为275亿美元，损失了21.5万质量调整生命年。这些费用包括视觉辅助、诊断、生产力损失和护理费用。因此，如本文所公开的，提供一种可获得的和负担得起的眼睛保健检查系统，可以潜在地减轻个人和机构层面的经济和医疗保健负担。因此，这种系统有可能显著改进传统的疾病筛查程序。

在一些实施例中，使用有限数量的图像数据开发自动识别系统。随着智能手机和数码相机的出现，图像数据呈指数级增长。数据的爆炸式增长及其在web上的广泛可获得性，导致需要有效的方法来高效地分析大量数据，而不需要耗时和复杂的步骤。如本文所公开的，DNN使分析当前生成的大量数据成为可能，并且同样地，大量数据使DNN得到良好训练成为可能。

如本文所公开的，在某些实施例中，卷积神经网络(CNN)层允许在分类图像和检测图片中的对象的能力方面有显著的提高。在各种实施例中，CNN由应用图像分析滤波器或卷积的多个处理层组成。在一些实施例中，每个层内的图像的抽象表示是通过在图像上系统地卷积多个滤波器来构建的，产生用作后续层的输入的特征图。CNN利用对图像内容的多个层次增加的理解来学习图像的表示，这是使网络深入的原因。这种深度学习方法能够通过使用反向传播学习算法改变其内部参数来最小化在进行期望分类时的误差，发现大数据集中复杂的结构。与前一层相比，每一层对数据组织的表示越来越复杂。神经网络的前几层可以提取简单的结构，如线和边，而链上的层开始确定更复杂的结构。这种架构使得处理像素形式的图像作为输入和给出期望的分类作为输出成为可能。因此，在某些实施例中，一个分类器中的图像到分类的方法替代了先前图像分析方法的多个步骤。结果，本文公开的CNN极大地提高了视觉对象识别的最新技术。

在眼科学中，相对少量的图像数据可能不足以训练现代DNN中潜在的数千万个参数。因此，本文公开了一种检测眼科和/或全身性疾病的方法，该方法通过利用来自相似领域的数据来解决相关领域中数据缺乏的问题。例如，已经收集了加标签的图像的大型数据库，并将其作为包含1000个对象类别的ImageNet提供。在某些实施例中，首先在该数据集上训练CNN，以在其较低层开发对辨别对象很重要的特征。在进一步的实施例中，创建复制第一网络的参数和结构的第二网络，但是最终层根据新任务的需要可选地被重新构造。在某些实施例中，这些最终层被配置为执行视网膜图像的分类。因此，在一些实施例中，第二网络使用第一网络来播种其结构。这使得培训可以继续进行新的、但相关任务。在一些实施例中，第一网络使用包括非域图像的加标签的图像(例如，没有用最终期望分类(例如，青光眼)加标签的图像)来训练，并且第二网络使用包括域图像的加标签的图像(例如，被分类为有或没有青光眼的图像)来训练，以完成训练，从而允许眼科紊乱和/或状况的高准确度诊断。将一般分类知识从一个领域迁移到另一个领域的方法称为迁移学习。如本文所公开的，迁移学习在基于机器学习的眼科疾病和状况诊断领域中的应用已经被证明是一种非常有效的技术，尤其是当面对具有有限数据的领域时。通过用已经优化的权重重新训练模型以识别标准对象的特征，而不是训练完全空白的网络，模型或分类器可以更快地识别图像的区别特征，并且训练示例明显减少。

医学成像

在某些方面中，本文公开的机器学习框架用于分析医学成像数据。在一些实施例中，医学成像数据包括眼科图像，眼科图像可以包括眼睛内部结构(例如，视网膜和/或视网膜脉管系统、黄斑和视神经)的图像。本文描述的框架适用于包括眼科成像的各种类型的医学成像。眼科成像是一种扫描或采集眼睛的一个或更多个结构的医学成像类型。在一些实施例中，机器学习框架用于分析使用至少一种眼科医学成像技术生成的眼科图像，该眼科医学成像技术选自光学相干断层扫描(OCT)、视网膜彩色眼底照相(CFP)、角膜地形图、裂隙灯照相、荧光素血管造影、吲哚青绿血管造影、眼底自体荧光、视神经头分析、内皮细胞层成像和外部成像。在一些实施例中，使用专用成像装备生成眼科图像。然而，对专用成像装备的需求可能会增加获得诊断的负担，特别是在低收入和/或不发达地区。因此，在一些情况下，可以利用非专用成像来提供对一个或更多个眼科或全身性疾病或紊乱的准确检测。例如，可以使用检眼镜和(例如，在智能手机中的)标准数码相机对视网膜进行眼底成像来执行本文描述的分析，以获得疾病或紊乱的检测或诊断。在一些实施例中，数字视网膜相机用于彩色眼底拍摄和/或荧光素血管造影。在一些实施例中，光学相干断层扫描能够对视网膜进行横截面成像，例如用于黄斑和视神经头成像。在一些实施例中，扫描激光检眼镜用于眼底自体荧光、荧光素血管造影和吲哚青绿血管造影。在一些实施例中，光裂隙灯显微摄影用于拍摄眼睛前部结构(例如，角膜、虹膜、结膜和晶状体)。在一些实施例中，角膜地形图用于测量角膜的厚度、屈光力和形状。在一些实施例中，视神经头分析仪用于视神经头成像。在一些实施例中，外部拍摄用于对眼睛外部、眼睑或眼睛附近的其他结构进行成像。在一些实施例中，罗斯托克角膜模块(RCM)用于生成角膜层的高倍率图像，这允许对内皮细胞进行计数。

缺乏足够合适的医学图像或医学成像数据可能会导致分类器不准确或训练不足。然而，本文公开的系统、方法和设备的实施例实施了迁移学习，以使用不适合直接训练分类器的图像或成像数据来改进模型的训练。在一些实施例中，在第一步骤期间使用非医学图像训练模型。在一些实施例中，实施迁移学习以进一步在合适的医学图像(例如，用相关诊断结果加标签的视网膜图像)上训练模型。通过利用非域图像进行部分训练，可以生成训练的模型或分类器，与仅使用可用的加标签的图像训练的模型相比，该模型或分类器提供了改进的预测准确度。

在一些实施例中，本文公开的算法，例如机器学习算法，使用迁移学习。在一些实施例中，本文公开的算法使用非域图像来预训练模型或分类器。在一些实施例中，本文公开的利用使用非域图像的迁移学习过程的算法实现了独立数据集(例如，训练中未使用的测试数据集)的至少一个性能度量(例如，准确度、灵敏度、特异性、AUC、阳性预测值、阴性预测值或其任意组合)，该性能度量与单独使用医学图像训练的算法有至少80％、85％、90％、95％、96％、97％、98％或至少99％相似。在一些实施例中，当迁移学习过程和非迁移学习过程利用同一组加标签的图像进行训练时，获得相似的性能度量。

在一些实施例中，使用编号为约1000到约300000的非域图像来预训练机器学习算法或模型。在一些实施例中，使用编号至少为约1000的非域图像来预训练机器学习算法或模型。在一些实施例中，使用编号最多为约300000的非域图像来预训练机器学习算法或模型。在一些实施例中，使用以下编号的非域图像来预训练机器学习算法或模型：约1000至约2000、约1000至约5000、约1000至约10000、约1000至约15000、约1000至约20000、约1000至约30000、约1000至约40000、约1000至约50000、约1000至约100000、约1000至约200000、约1000至约300000、约2000至约5000、约2000至约10000、约2000至约15000、约2000至约20000、约2000至约30000、约2000至约40000、约2000至约50000、约2000至约100000、约2000至约200000、约2000至约300000、约5000至约10000、约5000至约15000、约5000至约20000、约5000至约30000、约5000至约40000、约5000至约50000、约5000至约100000、约5000至约200000、约5000至约300000、约10000至约15000、约10000至约20000、约10000至约30000、约10000至约40000、约10000至约50000、约10000至约100000、约10000至约200000、约10000至约300000、约15000至约20000、约15000至约30000、约15000至约40000、约15000至约50000、约15000至约100000、约15000至约200000、约15000至约300000、约20000至约30000、约20000至约40000、约20000至约50000、约20000至约100000、约20000至约200000、约20000至约300000、约30000至约40000、约30000至约50000、约30000至约100000、约30000至约200000、约30000至约300000、约40000至约50000、约40000至约100000、约40000至约200000、约40000至约300000、约50000至约100000、约50000至约200000、约50000至约300000、约100000至约200000、约100000至约300000,或约200000至约300000。在一些实施例中，使用以下编号的非医学图像来预训练机器学习算法或模型：约1000、约2000、约5000、约10000、约15000、约20000、约30000、约40000、约50000、100000、约200000或约300000。

在一些实施例中，使用编号为约50到约50000的加标签的图像来训练机器学习算法或模型。在一些实施例中，使用编号为至少约50的加标签的图像来训练机器学习算法或模型。在一些实施例中，使用编号为最多约50000的加标签的图像来训练机器学习算法或模型。在一些实施例中，使用以下编号的加标签的图像来训练机器学习算法或模型：约50至约100、约50至约200、约50至约300、约50至约400、约50至约500、约50至约1000、约50至约5000、约50至约10000、约50至约20000、约50至约30000、约50至约50000、约100至约200、约100至约300、约100至约400、约100至约500、约100至约1000、约100至约5000、约100至约10000、约100至约20000、约100至约30000、约100至约50000、约200至约300、约200至约400、约200至约500、约200至约1000、约200至约5000、约200至约10000、约200至约20000、约200至约30000、约200至约50000、约300至约400、约300至约500、约300至约1000、约300至约5000、约300至约10000、约300至约20000、约300至约30000、约300至约50000、约400至约500、约400至约1000、约400至约5000、约400至约10000、约400至约20000、约400至约30000、约400至约50000、约500至约1000、约500至约5000、约500至约10000、约500至约20000、约500至约30000、约500至约50000、约1000至约5000、约1000至约10000、约1000至约20000、约1000至约30000、约1000至约50000、约5000至约10000、约5000至约20000、约5000至约30000、约5000至约50000、约10000至约20000、约10000至约30000、约10000至约50000、约20000至约30000、约20000至约50000或约30000至约50000。在一些实施例中，使用编号为约50、约100、约200、约300、约400、约500、约1000、约5000、约10000、约20000、约30000或约50000的加标签的图像来训练机器学习算法或模型。

机器学习

在各种实施例中，本文公开了一种用于分析医疗数据的机器学习方法，例如，该医疗数据包括眼科图像和眼睛相关数据。在示例性实施例中，本文公开的机器学习框架用于分析视网膜图像(例如，眼底图像)以诊断眼科和/或全身性疾病或状况。在一些实施例中，根据本文描述的系统、方法和设备生成的预测或诊断包括眼科或全身性疾病、紊乱或状况的检测或诊断。在一些实施例中，预测或诊断包括评估眼科或全身性疾病、紊乱或状况的风险或可能性。在一些实施例中，预测或诊断包括眼科或全身性疾病、紊乱或状况的类别或分类。

在各种实施例中，医学成像用于执行本文描述的预测或诊断。医学成像的示例包括可以使用眼底相机获得的眼底照片，该眼底相机利用专用的显微镜(例如，检眼镜)。眼底拍摄的普及使其特别适合于眼科和/或全身性疾病的快速和准确的诊断筛查。这在不易获得专科医生的地区尤其重要，如农村地区或发展中国家/低收入环境。诊断和/或治疗的延误可能导致影响健康和长期预后的严重后果。在本公开中认识到，一种解决方案是实施用于解释诸如眼底图像的医学成像的计算决策支持算法。

在各个方面中，本文公开了一种结合机器学习技术(例如，利用卷积神经网络的深度学习)的方法，该方法使用利用包括公共数据库的视网膜图像数据库的视网膜成像来展示强大的诊断能力。由于无法获得加标签的医学成像的大数据集，在其他医学领域中使用深度学习的计算机视觉中的传统方法遇到了重大挑战。本文公开了使用创新方法(例如，迁移学习的应用程序)解决这些挑战的方法。

因此，在一些实施例中，本文提供了一种用于利用视网膜图像(例如，眼底像片)的数据集诊断常见的威胁视力的视网膜疾病的AI迁移学习框架，该AI迁移学习框架能够实现与人类专家表现相当的高准确度的诊断。在一些实施例中，该AI框架对图像进行分类，并为分类(例如“紧急推荐”或“常规推荐”)生成对应的优先级或标签。在一些实施例中，正常图像被加标签为“观察”。因此，本公开的某些实施例利用AI框架作为分诊系统来生成转诊，模拟社区环境、初级保健和紧急护理诊所中的现实世界应用程序。这些实施例可通过促进疾病进展的早期诊断和检测，最终对广泛的公共健康产生影响，从而促进可改善视觉结果和生活质量的治疗。

在某些方面中，本文公开了用于生成诊断一个或更多个眼科或全身性疾病、紊乱或状况的模型或分类器的机器学习框架。这些模型或分类器可以在本文公开的任何系统或设备中实施，例如诊断亭或便携式设备，诸如具有可附接成像设备(例如，检眼镜)的智能手机。非分类器回归模型也适用于本文所述的任何方法。例如，可以执行回归分析以生成指示眼科或全身性疾病或紊乱的严重程度的输出。

在一些实施例中，分类器表现出性能度量，例如准确度、敏感性、特异性、正预测值、负预测值和/或独立样本集的曲线下面积(AUC)。在一些实施例中，与普通人类临床医生(例如，普通眼科医生)相比，分类器呈现出例如独立样本集的更高准确度、灵敏度、特异性、正预测值、负预测值和/或AUC的性能度量。在一些实施例中，当针对至少100、200、300、400、500、600、700、800、900或1000个独立样品(例如图像)进行测试时，分类器提供至少70％、至少75％、至少80％、至少85％、至少90％、至少90％、至少91％、至少92％、至少93％、至少94％、至少95％、至少96％、至少97％、至少98％或至少99％的准确度。在一些实施例中，当针对至少100、200、300、400、500、600、700、800、900或1000个独立样本(例如图像)进行测试时，分类器提供至少70％、至少75％、至少80％、至少85％、至少90％、至少91％、至少92％、至少93％、至少94％、至少95％、至少96％、至少97％、至少98％、至少99％的灵敏度(真阳性率)、和/或至少70％、至少75％、至少80％、至少85％、至少90％、至少91％、至少92％、至少93％、至少94％、至少95％、至少96％、至少97％、至少98％或至少99％的特异性(真阴性率)。在一些实施例中，当针对至少100、200、300、400、500、600、700、800、900进行测试时，分类器提供至少70％、至少75％、至少80％、至少85％、至少90％、至少90％、至少91％、至少92％、至少93％、至少94％、至少95％、至少96％、至少97％、至少98％或至少99％的阳性预测值(PPV)。在一些实施例中，当针对至少100、200、300、400、500、600、700、800、900个独立样本进行测试时，分类器提供至少70％、至少75％、至少80％、至少85％、至少90％、至少90％、至少91％、至少92％、至少93％、至少94％、至少95％、至少96％、至少97％、至少98％或至少99％的阴性预测值(NPV)。在一些实施例中，当针对至少100、200、300、400、500、600、700、800、900或1000个独立样本(例如视网膜图像)进行测试时，分类器提供至少为0.7、0.75、0.8、0.85、0.9、0.91、0.92、0.93、0.94、0.95、0.96、0.97、0.98或0.99的AUC。在一些实施例中，与一个或更多个独立专家相比，当针对至少100、200、300、400、500、600、700、800、900个独立样本进行测试时，分类器具有不超过20％、不超过15％、不超过12％、不超过10％、不超过9％、不超过8％、不超过7％、不超过6％、不超过5％、不超过4％、不超过3％、不超过2％或不超过1％的加权误差。

在一些实施例中，机器学习算法包括神经网络。在一些实施例中，神经网络包括至少1个、至少2个、至少3个、至少4个、至少5个、至少6个、至少7个、至少8个、至少9个、至少10个、至少15个、至少20个、至少25个、至少30个、至少40个、至少50个、至少60个、至少70个、至少80个、至少90个、至少100个、至少150个、至少200个、至少250个、至少300个、至少350个、至少400个、至少450个、至少500个、至少600个、至少700个、至少800个、至少900个、至少1000个、至少5000个、或至少10000个或更多个神经元或节点和/或不超过2个、不超过3个、不超过4个、不超过5个、不超过6个、不超过7个、不超过8个、不超过9个、不超过10个、不超过15个、不超过20个、不超过25个、不超过30个、不超过40个、不超过50个、不超过60个、不超过70个、不超过80个、不超过90个、不超过100个、不超过150个、不超过200个、不超过250个、不超过300个、不超过350个、不超过400个、不超过450个、不超过500个、不超过600个、不超过700个、不超过800个、不超过900个、不超过1000个、不超过5000个、或不超过10000个神经元或节点。在一些实施例中，神经元的数量被限制在阈值数量以下，以防止过度拟合。在一些实施例中，神经元的数量不超过5个、6个、7个、8个、9个或10个神经元。

尽管迁移学习允许用相对小的训练数据集训练高度准确的模型，但其性能将不如在极其大的眼底图像数据集上通过随机初始化训练的模型，因为即使是内部权重也可以被直接优化用于眼底特征检测。然而，在为其他医学分类重新训练层时，使用在数百万个不同医学图像上训练的预训练模型的迁移学习可以生成更准确的模型。

模型的性能在很大程度上取决于预训练模型的权重。因此，在一些实施例中，当利用本文描述的更先进的深度学习技术和架构在更大的ImageNet数据集上测试时，该模型的性能得到增强。此外，在某些实施例中，通过结合在医学成像之外应用的卷积神经网络领域的持续发展，提高了该方法的性能。

在一些实施例中，眼底成像被用作医学图像解释和后续决策制定中的通用方法的示范。所公开的框架在组织图上识别潜在的病理，以做出具有与人类专家相当的表现的转诊决定，使得能够及时诊断不可逆的严重视力丧失的两个最常见原因。在一些实施例中，除了眼科或全身性疾病或状况的诊断或检测之外，本文公开的系统、方法和装置还提供了一个或更多个治疗建议。激光手术可以帮助封闭泄漏的血管，以减少视网膜肿胀。在眼科紊乱或状况的严重情况下(例如，晚期糖尿病视网膜病变)，可以建议或进行玻璃体切除术，以去除渗漏的血管中的玻璃体凝胶和血液(以及可选地去除疤痕组织)，从而恢复或提高视力。在一些实施例中，治疗建议包括生活方式建议，例如通过饮食、锻炼、药物和其他因素管理血糖的方法。在一些实施例中，治疗建议还包括与适于提供建议治疗的一个或更多个医疗保健提供者相关的信息。在一些实施例中，基于与用户和/或提供建议的系统或设备的位置的位置接近度来选择一个或更多个医疗保健提供者。在一些实施例中，基于用于提供建议治疗的可用资源来选择医疗保健提供者。在一些实施例中，提供了医疗保健提供者的附加信息，其可以包括估计的(用于前往提供者位置的)到达时间、估计的等待时间、估计的费用和/或与医疗保健提供者相关联的其他信息。在一些实施例中，基于诊断或检测到的眼科疾病或状况对患者进行治疗。在一些实施例中，基于诊断或检测到的眼科或全身性疾病或状况，给予患者建议的治疗。在一些实施例中，本文公开的系统、方法和设备提供了进一步测试的建议。进一步的测试可以包括医学检查，例如扩眼检查，或者附加成像，例如用于检测糖尿病视网膜病变的OTC成像。眼压测量(tonometry)可用于测量眼睛内的压力以检测青光眼，并且检眼镜检查在医学检查期间可检测指示青光眼的视神经损伤。其他青光眼测试包括视野检查、房角镜检查和角膜厚度测量。黄斑变性可以使用进一步的测试来检测，例如眼科检查，其可以包括阿姆斯勒网格测试、血管造影(例如，使用荧光素或吲哚青绿)或OTC成像。

可以使用各种算法来生成基于图像分析生成预测的模型。在某些情况下，机器学习方法被应用于生成这样的模型(例如，训练的分类器)。在一些实施例中，通过向机器学习算法提供训练数据来生成模型，其中预期输出是预先已知的。

在一些实施例中，本文公开的系统、方法和软件生成包括眼科图像分析结果的报告。该报告可以包括图像分类、分类的一个或更多个性能度量(例如，准确度)、转介给医疗保健提供者进行治疗和/或确认分类、对应于图像分类的疾病、紊乱或状况的一般信息、治疗信息、建议或其他相关信息。在一些实施例中，报告被提供给临床医生、报告的受试者、第三方或其组合。在一些实施例中，对于诸如受试者或第三方(例如，受试者的父母)的非临床医生或医疗从业者，医学见解被简化为外行术语。在一些实施例中，报告包括在诊断或预测中使用的遮挡图像(例如，显示最重要区域的图像)。

在一些实施例中，本文描述的系统、设备和方法生成一个或更多个建议，例如受试者的治疗和/或医疗保健选项。在一些实施例中，本文的系统、设备和方法包括向用户提供一个或更多个建议的软件模块。在一些实施例中，治疗和/或医疗保健选项特定于诊断的疾病或状况。例如，建议可以推荐具有用于治疗疾病或紊乱所必要的设施或资源的附近的医院、医生或诊所。

在一些实施例中，本公开的分类器或训练机器学习算法包括特征空间。在一些情况下，分类器包括两个或更多个特征空间。两个或更多个特征空间可以彼此不同。在一些实施例中，特征空间包括诸如来自图像的像素数据的信息。当训练机器学习算法时，诸如图像数据的训练数据被输入到处理输入特征以生成模型的算法中。在一些实施例中，向机器学习算法提供包括分类(例如，诊断或测试结果)的训练数据，从而使得算法能够通过将其输出与实际输出进行比较来进行训练，以修改和改进模型。这通常被称为监督学习。可替代地，在一些实施例中，机器学习算法可以被提供有非域数据，这使得算法能够识别案例中的隐藏结构(称为无监督学习)。有时，无监督学习有助于识别最有助于将原始数据分类为不同群组的特征。

在一些实施例中，一组或更多组训练数据用于训练机器学习算法。尽管本公开的示例性实施例包括使用卷积神经网络的机器学习算法，但是可以设想各种类型的算法。在一些实施例中，该算法利用预测模型，例如神经网络、决策树、支持向量机或其他适用的模型。在一些实施例中，机器学习算法选自由监督、半监督和无监督学习组成的组，例如支持向量机(SVM)、朴素贝叶斯分类、随机森林、人工神经网络、决策树、K-means、学习向量量化(LVQ)、自组织映射(SOM)、图形模型、回归算法(例如，线性、逻辑、多元)、关联规则学习、深度学习、降维和集成选择算法。在一些实施例中，机器学习算法选自由以下各项组成的组中：支持向量机(SVM)、朴素贝叶斯分类、随机森林和人工神经网络。机器学习技术包括bagging程序、boosting程序、随机森林算法及其组合。用于分析数据的说明性算法包括但不限于直接处理大量变量的方法，例如统计方法和基于机器学习技术的方法。统计方法包括惩罚逻辑回归、微阵列预测分析(PAM)、基于收缩质心的方法、支持向量机分析和正则化线性判别分析。

诊断平台、系统、设备和介质

在某些方面中，本文提供了用于根据本公开的任何方法分析医疗数据的平台、系统、设备和介质。在一些实施例中，系统和电子设备与包括可由处理器执行以执行医疗数据的分析的指令的程序集成在一起。在一些实施例中，分析包括用(可选地使用迁移学习在非域医学图像上训练的)分类器(例如，神经网络)处理至少一个医学图像。在一些实施例中，利用集成到设备中的本地软件在设备上本地执行分析。在一些实施例中，在远程系统或服务器上远程执行分析。在一些实施例中，在系统或设备通过网络上传图像之后，在云上远程执行分析。在一些实施例中，系统或设备是现有的系统或设备，其适于与在网络或云运行的web应用程序交互，用于上传和分析诸如眼科图像的图像数据。在一些实施例中，系统或设备提供便携式图像存储，例如在USB驱动器或其他便携式硬盘驱动器上。便携式存储使得图像能够被传送到能够对图像执行分析的设备和/或具有网络连接的设备，用于上传图像以便在云上进行远程分析。

基于云的诊断

在某些实施例中，本文提供了用于为远程数据分析或诊断(例如，“云”诊断)提供web应用程序或门户的系统、设备和方法。在一些实施例中，应用程序允许用户加载训练的模型，并预测任何用户提供的图像的诊断。在一些实施例中，应用程序提供(例如，使用softmax概率生成的)诊断的分类。在一些实施例中，该应用程序允许用户测试算法并上传智能手机拍摄的眼底图像，并得出与临床医生诊断相当的准确度。在一些实施例中，应用程序与本文所述的诊断或成像设备通信。例如，在诸如医院或诊所外的环境的定点照护处使用的诊断或成像设备(例如，在家中使用便携式诊断或成像设备)可以用于获得受试者的图像，然后通过诸如互联网的网络上传该图像，以使用该应用程序进行远程诊断。然后，可以向上传图像的用户和/或从其获得图像的受试者提供诊断。在一些实施例中，使用电子邮件、文本消息、web门户、常规邮件或其他可用的通信方法向用户和/或受试者提供诊断和/或任何附加信息(例如，统计分类、说明、治疗建议等)。在一些实施例中，通过符合HIPAA的安全应用程序或门户(例如，需要安全和加密的登录)提供诊断和/或附加信息。在一些实施例中，向用户和/或受试者发送非识别消息，该非识别消息包含允许用户或受试者从安全存储位置检索诊断和/或附加信息的链接和/或信息，例如通过符合HIPAA的门户。

此外，所公开的网络代表通用平台，其可以潜在地应用于非常广泛的医学成像技术(例如，MRI、CT等)，以做出临床诊断决定。这将有助于筛查项目，并建立更有效的转诊系统，特别是在偏远或资源匮乏的地区，从而产生广泛的临床和公共卫生影响。

在一些方面中，本文公开了一种计算机实施的系统，该系统被配置为执行对诸如眼科图像的医疗数据的基于云的分析。在一些实施例中，该系统包括可操作地耦合到网络的一个或更多个服务器。在一些实施例中，该系统被配置为提供web门户，包括网络上终端用户可访问的基于浏览器的web门户、基于web的应用或基于web的应用程序编程接口(API)。在一些实施例中，web门户包括用于接收用户指令和/或医疗数据上传的接口。在一些实施例中，该系统从终端用户或终端用户的电子设备接收至少一个眼科图像。在一些实施例中，眼科图像由定点照护处的终端用户的电子设备采集，并上传到云上的系统进行分析。在一些实施例中，web门户由加密的密码保护登录来保护。在一些实施例中，系统接收上传的指令和/或医疗数据，并使用本文描述的任何诊断方法来执行医疗数据的分析。在一些实施例中，系统根据医疗数据的分析产生输出。在一些实施例中，系统向网络上的终端用户提供分析的输出。在一些实施例中，系统将输出发送到终端用户的电子设备，例如被配置用于网络通信的计算机、智能手机、平板电脑或其他数字处理设备。

硬件/软件集成

在一些方面中，本文公开了包括被配置用于执行本文描述的机器学习算法的软件的电子设备。在一些实施例中，该电子设备包括用于采集受试者的图像的成像部件、用于与用户或受试者进行通信和/或从用户或受试者接收指令的用户接口、存储器、至少一个处理器以及提供可由至少一个处理器执行的指令以执行对采集图像的分析的非暂时性计算机可读介质。在一些实施例中，该电子设备包括用于与网络或云进行通信的网络部件。该网络部件被配置为使用有线或无线技术在网络上进行通信。在一些实施例中，网络部件使用Wi-Fi、蓝牙、2G、3G、4G、4G LTE、5G、WiMAX、WiMAN或其他射频通信标准和协议在网络上进行通信。

在一些实施例中，系统或电子设备采集多个图像用于分析。在一些实施例中，多个图像被合并和/或共同分析。在一些实施例中，电子设备不被配置为在本地执行采集图像的分析，而是将采集图像上传到网络以进行基于云的分析或远程分析。在一些实施例中，电子设备包括web门户应用程序，其与网络或云交互以进行远程分析，并且不在本地执行任何分析。这种配置的优点在于图像数据不存储在本地，因此不太容易被黑客攻击或丢失。可替代地或组合地，电子设备被配置为在本地执行采集图像的分析。这种配置的优点在于能够在缺乏网络接入或覆盖的位置(例如，在缺乏互联网覆盖的某些远程位置)执行分析。在一些实施例中，电子设备被配置为当网络访问不可用作备份功能时，例如在互联网中断或临时网络故障的情况下，在本地执行采集图像的分析。在一些实施例中，图像数据被上传以存储在云上，而不管在哪里进行分析。例如，在某些情况下，图像数据被临时存储在电子设备上用于分析，并且随后被上传到云上和/或从电子设备的本地存储器中删除。

在一些实施例中，该系统包括执行分析和/或存储图像数据的电子设备和基于云的服务器。在一些实施例中，该系统包括电子设备和与电子设备物理分离的成像部件。作为示例，该系统包括电子设备，该电子设备是耦合到成像部件(例如，视网膜相机)或以其他方式与成像部件通信的台式计算机。在一些实施例中，该系统允许使用成像部件采集图像，并且允许由电子设备执行分析，或者可替代地在图像上传之后由云执行分析。在一些实施例中，该系统包括用于分析和/或上传图像的电子设备、用于采集图像并被配置为向电子设备发送图像或图像数据的成像部件、以及用于接收上传的图像并存储和/或分析图像以及生成待经由电子设备或其他方法(例如，通过消息传递、电子邮件或电话)提供给用户的结果的基于云的服务器。在一些实施例中，该系统或设备包括多个成像部件。在一些实施例中，多个成像部件被配置成采集多种图像类型。在一些实施例中，多种图像类型的分析由在不同图像类型上训练的不同分类器来执行，以提供多于一个的诊断或结果。可替代地，在一些实施例中，将多于一个的诊断或结果合并或组合成单个结果度量(例如，对于特定紊乱的预测的平均值)。

在一些实施例中，该电子设备包括用于提供分析结果的显示器，例如(疾病或紊乱的存在和/或进展的)诊断或预测、治疗建议、治疗选项、医疗保健提供者信息(例如，可以提供建议治疗和/或确认诊断的附近提供者)或其组合。在一些实施例中，诊断或预测是通过将采集的图像与同一用户先前采集的图像进行比较的分析而生成的，以确定疾病或紊乱的进展。在一些实施例中，采集的图像被打上时间戳。在一些实施例中，采集的图像被存储为数据，其可选地包括元数据，例如时间戳、位置、用户信息或与图像相关联的其他信息。在一些实施例中，对图像数据进行质量筛选。在一些实施例中，对图像进行筛选以适于进行分析。在一些实施例中，未通过筛选的图像被丢弃或拒绝进一步分析。在一些实施例中，电子设备提示用户拍摄一个或更多个附加图像。

在一些实施例中，电子设备包括为用户提供一个或更多个工具来输入诸如姓名、地址、电子邮件、电话号码和/或其他识别信息的门户。在一些实施例中，该门户包括用于获取或输入医疗数据的接口。在一些实施例中，该门户被配置为通过网络从设备接收用于预测或诊断的医疗数据(例如，经由移动应用程序或web门户接收由用户智能手机通过互联网提供的医疗数据)。

在一些实施例中，门户被配置成通过电子设备提供健康评估。在一些实施例中，健康评估包括眼科疾病或状况的诊断。在一些实施例中，眼科疾病或状况是医疗程序之后的预测的视觉结果。在一些实施例中，预测的视觉结果是在白内障手术的医疗程序之后的近视性黄斑病。

在一些实施例中，门户为用户提供了通过电子邮件、消息传递(例如，SMS、文本消息)、物理打印输出(例如，打印报告)、社交媒体、电话(例如，自动电话消息或者医疗保健提供者或顾问的咨询)或其组合来接收分析结果的选项。在一些实施例中，采集的图像被提供给用户。例如，可以在由阻塞测试识别的对诊断最重要的区域上以图形强调(例如，突出显示、围绕区域绘制的边界、放大视图等)来显示图像，这可以有助于促进对诊断方法的理解和信任。在一些实施例中，门户显示在电子设备的数字屏幕上。在一些实施例中，电子设备包括模拟接口。在一些实施例中，电子设备包括诸如触摸屏的数字接口。在各种实施例中，现有的系统和设备能够适于执行本文公开的方法，或者能够与用于执行眼科图像的远程分析的网络应用程序交互。这种系统和电子设备的示例包括非散瞳视网膜相机，例如TRC-NW400视网膜相机、CR-2视网膜相机、S40ptik眼镜蛇眼底相机和Volk Pictor Plus便携式视网膜相机。

在一些实施例中，电子设备具有硬件配置，该硬件配置适于根据本文描述的方法采集受试者的图像用于分析。在一些实施例中，电子设备包括专用成像部件，例如可操作地耦合到检眼镜的相机。在一些实施例中，相机和检眼镜被配置成单个集成单元。在一些实施例中，相机、检眼镜和电子设备被配置成单个集成单元，例如便携式诊断设备。在一些实施例中，成像部件是数字检眼镜。在一些实施例中，成像部件被配置成采集图像和/或视频(包括来自视频的画面)。在一些实施例中，采集的图像是高清晰度照片。如本文所使用的，高清晰度可以指具有1920×1080或更高像素的照片。在一些实施例中，所采集的图像是眼底照片或贯穿本公开所描述的其他图像。

服务亭

在一些实施例中，系统或电子设备是服务亭或服务亭的部件。在一些实施例中，服务亭包括存储内部部件的外壳，例如成像部件、处理器、内存、存储器、网络部件和其他硬件。在一些实施例中，服务亭包括用于使用户坐在成像部件前面的座位。在一些实施例中，服务亭包括定位部件，用于将用户的头部定位在成像部件的前面以采集图像。在一些实施例中，定位部件被配置成减少头部倾斜。因为眼睛是三维结构，所以视轴的方向和眼球的旋转可以扭曲眼睛及其内部结构的图像。因此，头部倾斜可能会导致眼球旋转，并可能对采集的眼科图像的质量和一致性产生负面影响。因此，在一些实施例中，本文公开的系统和设备，例如服务亭，包括头部定位器，其减少和/或管理头部倾斜，以减少眼球旋转对图像质量或分析的影响。在一些实施例中，头部定位器包括下巴支撑件和前额支撑件，其被配置为将用户的头部定位在中间或接近中间的位置，以最小化向前或向后的头部倾斜。在一些实施例中，头部定位器包括用于最小化或减少横向头部倾斜的横向支架或支撑件。在一些实施例中，头部定位器是用户可调节的。在一些实施例中，本文公开的系统和设备被配置成采集和显示用户头部的视频馈送或相机图像，以帮助定位头部来使头部倾斜最小化。

在一些实施例中，服务亭包括用于获取或输入医疗数据的接口。在一些实施例中，服务亭被配置成从另一个设备(例如，通过网络)接收用于预测或诊断的医疗数据(例如，经由移动应用程序或web门户通过互联网接收由用户智能手机提供的医疗数据)。

在一些实施例中，服务亭被配置成提供超过一个的健康评估。在一些实施例中，健康评估包括眼科或全身性疾病或状况的诊断。在一些实施例中，服务亭包括用于测量用户的体重、脉搏、血压(收缩压和舒张压)、体重指数(BMI)、水合作用、体脂含量或其组合的一个或更多个工具。在一些实施例中，服务亭包括座位，该座位被配置为充当测量就座用户的体重的秤。在一些实施例中，服务亭的座位和地板作为秤一起操作。在一些实施例中，服务亭包括充当测量用户体重的秤的地板。在一些实施例中，服务亭包括搁脚板，使得座位和搁脚板充当用于测量用户体重的秤。在一些实施例中，服务亭包括被配置成测量血压和脉搏的血压袖带。在一些实施例中，服务亭包括体脂分析仪。在一些实施例中，体脂分析仪是被配置成测量身体电阻抗的阻抗计。在一些实施例中，体脂分析仪被配置成测量身体成分，该身体成分可以包括脂肪、骨骼、水、肌肉或其组合的估计量。在一些实施例中，服务亭被配置成从用户采集眼科图像。可替代地或组合地，服务亭被配置成测量用户的体重、脉搏、血压、水合作用、体脂含量或其组合。

便携式诊断设备

在一些实施例中，电子设备是被配置为手持或以其他方式能够由个人运输的便携式设备。在一些实施例中，便携式设备包括用于获取或输入医疗数据的接口。在一些实施例中，便携式设备被配置为例如通过网络从另一设备接收用于预测或诊断的医疗数据(例如，经由移动应用程序或web门户通过互联网接收由用户智能手机提供的医疗数据)。在一些实施例中，便携式设备包括用于采集医学图像的相机。在一些实施例中，便携式设备包括用于采集眼科图像的专用相机。在一些实施例中，专用相机是视网膜扫描仪。在一些实施例中，视网膜扫描仪是非散瞳眼底相机。在一些实施例中，视网膜扫描仪执行数字视网膜成像。在一些实施例中，视网膜扫描仪是贯穿本公开描述的任何一种成像设备。在一些实施例中，便携式设备包括用于处理采集的图像和/或生成诊断或诊断预测的数字处理设备。在一些实施例中，便携式设备被配置成将一个或更多个采集的图像上传到网络用于远程预测。在一些实施例中，便携式设备包括被配置为分析采集的图像以生成预测的数字处理设备。在一些实施例中，便携式设备被配置成接收对数字处理设备的软件的更新(例如，更新CNN)。在一些实施例中，便携式设备被配置为当远程预测不可用时(例如，由于缺乏网络访问)在本地分析采集的图像，或者当远程预测可用时上传采集的图像。

在一些实施例中，便携式设备被配置为结合诸如智能手机、平板电脑、膝上型电脑或计算机的用户电子设备来采集眼科图像。在一些实施例中，便携式设备被配置成通过有线和/或无线技术与用户电子设备通信。例如，便携式设备可以通过诸如USB、微型USB或闪电电缆的电缆物理连接到用户电子设备。在一些实施例中，有线连接允许便携式设备从用户电子设备接收电力和/或充电。例如，专门用于对用户视网膜成像的微型相机和可选的闪光灯可以由用户的智能手机通过USB连接供电。在一些实施例中，便携式设备与用户电子设备无线通信。在一些实施例中，便携式设备被配置成经由电缆和/或无线地向用户电子设备发送采集的图像。在一些实施例中，用户电子设备包括诸如移动应用程序的程序，该程序与web应用程序交互，并将采集的图像上传到web应用程序，用于在网络或云上进行远程分析。

在一些实施例中，便携式设备包括检眼镜，并且被配置为将检眼镜与用户电子设备上的相机对准，以允许相机在检眼镜的帮助下采集受试者眼睛的眼底图像。作为非限制性示例，便携式设备被配置为将检眼镜与智能手机相机(例如，安卓手机或iPhone)对准。在一些实施例中，便携式设备被配置成将检眼镜与(例如，面向用户和/或与触摸屏在同一侧的)前置相机、(例如，背向用户的)后置相机或两者对准。在一些实施例中，便携式设备被配置成允许用户调整用户电子设备的检眼镜和相机之间的对准。在一些实施例中，便携式设备包括适配器，该适配器被成形为附接到或夹在用户电子设备上。在一些实施例中，适配器被配置成紧密地适配在用户电子设备的外部轮廓周围。在一些实施例中，适配器包括智能手机外壳。在一些实施例中，智能手机外壳适配器被成形为用于特定的手机型号，以便将检眼镜定位成与手机的相机(前置和/或后置)对准。在一些实施例中，适配器包括可围绕用户电子设备缠绕的可调节带(例如，可围绕电话收紧的Velcro带)。在一些实施例中，检眼镜耦合到适配器。在一些实施例中，检眼镜可拆卸地耦合到适配器。在一些实施例中，检眼镜相对于适配器是可移动的，以使得在适配器已经被正确安装到电子设备之后，用户能够调整检眼镜相对于用户电子设备的相机的定位。例如，检眼镜可以经由柔性附件耦合到适配器，该柔性附件可以被调节以相对于适配器移动检眼镜，从而相对于电子设备的相机移动检眼镜。

在一些实施例中，用户电子设备被配置成使用其相机结合检眼镜来采集眼科图像。在一些实施例中，用户电子设备被配置成采集多个眼科图像。在一些实施例中，筛选多个眼科图像，其中对通过质量筛选的一个或更多个图像进行分析。在一些实施例中，用户电子设备被配置成采集视频。在一些实施例中，对采集的视频进行筛选以识别视频的一个或更多个截屏，并且随后分析通过质量控制屏幕的那些截屏以提供结果，例如诊断和/或治疗建议。在一些实施例中，检眼镜与用户电子设备的相机和闪光灯两者交互，使得闪光灯通过检眼镜的滤波器，用于调节闪光灯的强度。在一些实施例中，检眼镜包括覆盖闪光灯的半透明区域，以降低闪光的强度。在一些实施例中，半透明区域是可调节的(例如，半透明区域是可以从一组不透明度不同的滤波器中移除并替换为另一滤波器的滤波器)。

在一些实施例中，用户电子设备被配置成在采集眼科图像或视频时向用户提供指令或警告。使用视频的优点在于，这种方法允许检眼镜相对于眼睛或瞳孔重新定位，以随着时间的推移采集视网膜和/或眼底的不同区域。例如，某些传统成像形式需要瞳孔扩张，因为未扩张的瞳孔会阻碍眼睛结构的完整视视图。然而，在患者或非医疗保健提供者试图在临床环境之外采集眼科图像的情况下，可能无法获得扩张眼药水。因此，在一些实施例中，通过视频馈送获得眼科数据，其中来自视频馈送的截屏被拼接在一起以生成对于根据本文描述的各种方法的准确分析重要的眼睛区域的合成图像。作为示例，用户电子设备是包括移动应用程序的智能手机，该移动应用程序使受试者眼睛的检眼镜增强的相机馈送在其显示屏上可视化。在一些实施例中，移动应用主动监控相机馈送，并提供用于正确采集眼科图像或视频的指令。在一些情况下，指令包括用于执行图像采集协议的步骤。在一些情况下，提供警告，指示相机没有与检眼镜或瞳孔正确对准、馈送模糊、相机/用户设备抖动、馈送受阻或干扰图像采集的其他复杂情况。在一些实施例中，在用户电子设备的屏幕上可视地提供指令和/或警告。在一些实施例中，指令和/或警告由音频提供(例如，指令/警告通过用户电子设备的音频扬声器发声)。

在一些实施例中，便携式设备被配置成由用户使用来采集不是用户的受试者的眼睛的眼科图像。在一些实施例中，便携式设备被配置成由用户使用来采集用户自己眼睛的眼科图像。作为示例，被配置为将检眼镜定位在前向相机上方的智能手机可以在其显示屏上提供指令和/或警告，使得用户能够自行定位检眼镜以与他的眼睛对准(例如，使检眼镜与他的瞳孔对准)。可替代地，被配置为将检眼镜定位在后向相机上方的智能手机可以提供音频指令和/或警告。没有特定顺序的指令的非限制性示例包括：1)向用户解释操作程序(例如，操作程序的持续时间，用户是否将暴露在强光下)；2)应用一个或更多个散瞳滴眼液来扩张瞳孔的指令；3)关于看向哪里的指令(例如，用未成像的眼睛看向远处的对象)；4)如何使检眼镜与用户电子设备对准的指令；5)如何使检眼镜对准眼睛或瞳孔的指令；6)保持检眼镜与眼睛的距离；以及7)当对准正确时保持静止的指令。

在一些实施例中，医疗数据包括医学图像，例如眼科图像。在一些实施例中，眼科图像包括视网膜图像。在一些实施例中，系统或设备包括用于采集受试者图像的成像部件。在一些实施例中，图像是视网膜图像。在一些实施例中，成像部件被配置用于光学相干断层扫描(OCT)、视网膜的彩色眼底摄影(CFP)、角膜地形图、裂隙灯照相、荧光素血管造影、吲哚青绿血管造影、眼底自体荧光、视神经头分析、内皮细胞层成像或外部成像，例如标准摄影。在一些实施例中，使用专用成像装备生成眼科图像。在一些实施例中，数字视网膜相机用于彩色眼底拍摄和荧光素血管造影术。在一些实施例中，成像部件是光学相干断层扫描、扫描激光检眼镜、光裂隙灯显微摄影、角膜地形图、视神经头分析仪、照相相机或罗斯托克角膜模块(RCM)。在一些实施例中，成像部件是用于采集视网膜图像的自动相机(例如，自动眼底相机)。

数字处理设备

在一些实施例中，本文描述的系统、设备、平台、介质、方法和应用程序包括数字处理设备、处理器或其使用。例如，在一些实施例中，数字处理设备是诸如集成了本文描述的诊断软件的医疗诊断设备的定点照护设备的一部分。在一些实施例中，医疗诊断设备是面向消费者的便携式医疗诊断设备，其被配置为在临床环境之外使用(例如，消费者在家中使用)。在一些实施例中，医疗诊断设备包括诊断装备，例如用于采集医疗数据(例如，医学图像)的成像硬件(例如，相机)。在一些实施例中，医疗诊断设备包括数字处理设备，该数字处理设备被配置为执行本文描述的诊断方法，例如基于医学图像的疾病检测或分类。在另一实施例中，数字处理设备包括执行设备功能的一个或更多个处理器或硬件中央处理单元。在又一些另外的实施例中，数字处理设备还包括被配置为执行可执行指令的操作系统。在一些实施例中，数字处理设备可选地连接到计算机网络。在另外的实施例中，数字处理设备可选地连接到互联网，使得它访问万维网。在又一些另外的实施例中，数字处理设备可选地连接到云计算基础设施。在其他实施例中，数字处理设备可选地连接到内联网。在其他实施例中，数字处理设备可选地连接到数据存储设备。根据本文的描述，作为非限制性示例，合适的数字处理设备包括服务器计算机、台式计算机、膝上型计算机、笔记本计算机、子笔记本计算机、上网本计算机、netpad计算机、机顶计算机、手持式计算机、互联网电器、移动智能手机、平板电脑、个人数字助理、视频游戏控制台和车辆。本领域中的技术人员将认识到，许多智能手机适于在本文描述的系统中使用。本领域中的技术人员还将认识到，具有可选计算机网络连接的选定电视机、视频播放器和数字音乐播放器适于在本文描述的系统中使用。合适的平板电脑包括具有本领域技术人员已知的小册子、写字板和可转换的配置的平板电脑。

在一些实施例中，数字处理设备包括被配置为执行可执行指令的操作系统。例如，操作系统是软件，包括程序和数据，其管理设备的硬件并提供用于执行应用程序的服务。本领域中的技术人员将认识到，作为非限制性示例，合适的服务器操作系统包括FreeBSD、OpenBSD、

Linux、

Mac OS X

Windows

和

本领域中的技术人员将认识到，作为非限制性示例，合适的个人计算机操作系统包括

Mac OS

和UNIX型操作系统，例如GNU/

在一些实施例中，操作系统由云计算提供。本领域中的技术人员还将认识到，作为非限制性示例，合适的移动智能手机操作系统包括

OS、

Research In

BlackBerry

Windows

OS、

Windows

OS、

和

在一些实施例中，该设备包括存储和/或存储器设备。存储和/或存储器设备是用于在临时或永久基础上存储数据或程序的一个或更多个物理装备。在一些实施例中，该设备是易失性存储器并且需要电力来维持所存储的信息。在一些实施例中，该设备是非易失性存储器并且当数字处理设备未被供电时保留所存储的信息。在另外的实施例中，非易失性存储器包括闪存。在一些实施例中，非易失性存储器包括动态随机存取存储器(DRAM)。在一些实施例中，非易失性存储器包括铁电随机存取存储器(FRAM)。在一些实施例中，非易失性存储器包括相变随机存取存储器(PRAM)。在一些实施例中，非易失性存储器包括磁阻随机存取存储器(MRAM)。在其他实施例中，该设备是存储设备，作为非限制性示例，包括CD-ROM、DVD、闪存设备，磁盘驱动器、磁带驱动器、光盘驱动器以及基于云计算的存储。在另外的实施例中，存储和/或存储器设备是例如在本文公开的那些设备的组合。

在一些实施例中，数字处理设备包括将视觉信息发送给受试者的显示器。在一些实施例中，显示器是阴极射线管(CRT)。在一些实施例中，显示器是液晶显示器(LCD)。在另外的实施例中，显示器是薄膜晶体管液晶显示器(TFT-LCD)。在一些实施例中，显示器是有机发光二极管(OLED)显示器。在各种另外的实施例中，在OLED显示器上是无源矩阵OLED(PMOLED)或有源矩阵OLED(AMOLED)显示器。在一些实施例中，显示器是等离子体显示器。在一些实施例中，显示器是电子纸或电子墨水。在其他实施例中，显示器是视频投影机。在又一些另外的实施例中，显示器是例如本文公开的那些设备的组合。

在一些实施例中，数字处理设备包括从受试者接收信息的输入设备。在一些实施例中，输入设备是键盘。在一些实施例中，输入设备是定点设备，作为非限制性示例，包括鼠标、轨迹球、轨迹板、操纵杆、游戏控制器或触笔。在一些实施例中，输入设备是触摸屏或多点触摸屏。在其他实施例中，输入设备是采集语音或其他声音输入的麦克风。在其他实施例中，输入设备是采集运动或视觉输入的摄像机。在进一步的实施例中，输入设备是Kinect、Leap Motion等。在又一些另外的实施例中，输入设备是诸如本文公开的那些设备的组合。

图11示意性地示出了计算机控制系统或平台，其被编程或以其他方式被配置为实施本文提供的方法。在一些实施例中，该系统包括计算机系统1101，其被编程或以其他方式配置为执行可执行指令，例如用于执行图像分析的指令。计算机系统包括至少一个CPU或处理器1105。计算机系统包括至少一个存储器或存储单元1110和/或至少一个电子存储单元1115。在一些实施例中，计算机系统包括通信接口1120(例如，网络适配器)。在一些实施例中，计算机系统1101可以借助于通信界面1120可操作地耦合到计算机网络(“网络”)1130。在一些实施例中，终端用户设备1135用于上传医疗数据，例如眼科图像、数据库1145的一般浏览或其他任务的执行。在一些实施例中，数据库1145是与计算机系统1101分离的一个或更多个数据库。

非暂时性计算机可读存储介质

在一些实施例中，本文描述的平台、介质、方法和应用程序包括用程序编码的一个或更多个非临时计算机可读存储介质，程序包括由可选地联网的数字处理设备的操作系统可执行的指令。在另外的实施例中，计算机可读存储介质是数字处理设备的有形部件。在又一些另外的实施例中，计算机可读存储介质可选地从数字处理设备可移除。在一些实施例中，作为非限制性示例，计算机可读存储介质包括CD-ROM、DVD、闪存设备、固态存储器、磁盘驱动器、磁带驱动器、光盘驱动器、云计算系统和服务等。在一些情况下，程序和指令在介质上永久地、基本上永久地、半永久地或非临时地被编码。

计算机程序

在一些实施例中，本文描述的平台、介质、方法和应用程序包括至少一个计算机程序或其应用。计算机程序包括在数字处理设备的CPU中可执行的、被写入以执行指定的任务的一系列指令。计算机可读指令可以被实施为执行特定任务或实施特定抽象数据类型的程序模块，例如功能、对象、应用编程接口(API)、数据结构等。根据在本文提供的公开，本领域中的技术人员将认识到，可以用不同版本的各种语言来编写计算机程序。

计算机可读指令的功能可以根据需要在各种环境中进行组合或分配。在一些实施例中，计算机程序包括一个指令序列。在一些实施例中，计算机程序包括多个指令序列。在一些实施例中，从一个位置提供计算机程序。在其他实施例中，从多个位置提供计算机程序。在各种实施例中，计算机程序包括一个或更多个软件模块。在各种实施例中，计算机程序部分地或全部包括一个或更多个web应用程序、一个或更多个移动应用程序、一个或更多个独立应用程序、一个或更多个web浏览器插件、扩展、加载项或附加件或其组合。

web应用程序

在一些实施例中，计算机程序包括web应用程序。根据本文提供的公开，本领域技术人员将认识到，在各种实施例中，web应用程序利用一个或更多个软件框架和一个或更多个数据库系统。在一些实施例中，web应用程序是在诸如

NET或Ruby on Rails(RoR)的软件框架上创建的。在一些实施例中，web应用程序利用一个或更多个数据库系统，作为非限制性示例，数据库系统包括关系型、非关系型、面向对象的、关联型和XML数据库系统。在进一步的实施例中，作为非限制性示例，合适的关系型数据库系统包括

SQL Server、mySQLTM和

本领域技术人员还将认识到，在各种实施例中，web应用程序是用一种或更多种语言的一个或更多个版本编写的。web应用程序可以用一种或更多种标记语言、表示定义语言、客户端脚本语言、服务器端编码语言、数据库查询语言或其组合来编写。在一些实施例中，web应用程序在某种程度上是用标记语言编写的，例如Hypertext Markup Language(HTML)、Extensible Hypertext Markup Language(XHTML)或eXtensible Markup Language(XML)。在一些实施例中，web应用程序在某种程度上是用诸如Cascading Style Sheets(CSS)的表示定义语言编写的。在一些实施例中，web应用程序在某种程度上是用客户端脚本语言编写的，例如Asynchronous Javascript and XML(AJAX)、

Actionscript、Javascript或

在一些实施例中，web应用程序在某种程度上是用服务器端编码语言编写的，例如Active Server Pages(ASP)、

Perl、Java^TM、JavaServer Pages(JSP)、Hypertext Preprocessor(PHP)、Python^TM、Ruby、Tcl、Smalltalk、

或Groovy。在一些实施例中，web应用程序在某种程度上是用数据库查询语言编写的，例如Structured Query Language(SQL)。在一些实施例中，web应用程序集成了企业服务器产品，例如

Lotus

在一些实施例中，web应用程序包括媒体播放器元件。在各种进一步的实施例中，媒体播放器元件利用许多合适的多媒体技术中的一种或更多种，作为非限制性示例，包括但不限于

HTML 5、

JavaTM和

移动应用程序

在一些实施例中，计算机程序包括提供给移动数字处理设备(例如，智能手机)的移动应用。在一些实施例中，移动应用程序在它被制造的时间被提供给移动数字处理设备。在其他实施例中，经由在本文描述的计算机网络来将移动应用提供给移动数字处理设备。

鉴于本文提供的公开，移动应用程序由本领域中的技术人员的使用本领域已知的硬件、语言和开发环境的技术创建。本领域技术人员将认识到，移动应用程序是用几种语言编写的。作为非限制性示例，合适的编程语言包括C、C++、C#、Objective-C、JavaTM、Javascript、Pascal、Object Pascal、PythonTM、Ruby、VB.NET、WML和有或没有CSS的XHTML/HTML或其组合。

合适的移动应用开发环境可从几个源获得。作为非限制性示例，商业上可获得的开发环境包括AirplaySDK、alcheMo、

Celsius、Bedrock、Flash Lite、.NETCompact Framework、Rhomobile和WorkLight移动平台。其他开发环境是免费可获得的，作为非限制性示例，包括Lazarus、MobiFlex、MoSync和Phonegap。此外，作为非限制性示例，移动设备制造商分发软件开发工具包包括iPhone和iPad(iOS)SDK、AndroidTM SDK、

SDK、BREW SDK、

OS SDK、Symbian SDK、webOS SDK和

Mobile SDK。

本领域的技术人员将认识到，几个商业论坛可用于移动应用程序的分发，作为非限制性示例，包括

App Store、AndroidTM Market、

App World、用于Palm设备的App Store、用于webOS的App Catalog、用于Mobile的

Marketplace、用于

设备的Ovi Store、

Apps和

DSi Shop。

独立应用程序

在一些实施例中，计算机程序包括独立应用程序，其是作为单独的计算机过程运行的程序，而不是现有过程的附加件，例如不是插件。本领域技术人员将认识到，独立应用程序经常被编译。编译器是将用编程语言编写的源代码转换成二进制目标代码(例如，汇编语言或机器代码)的计算机程序。作为非限制性示例，合适编译的编程语言包括C、C++、Objective-C、COBOL、Delphi、Eiffel、Java^TM、Lisp、Python^TM、Visual Basic和VB.NET或它们的组合。编译经常被执行，至少部分是为了创建可执行程序。在一些实施例中，计算机程序包括一个或更多个可执行的编译应用程序。

软件模块

在一些实施例中，在本文描述的平台、介质、方法和应用程序包括软件、服务器和/或数据库模块或其应用。鉴于本文提供的公开，通过本领域中的技术人员已知的技术使用本领域已知的机器、软件和语言来创建软件模块。本文公开的软件模块以多种方式实施。在各种实施例中，软件模块包括文件、代码段、编程对象、编程结构或其组合。在另外的各种实施例中，软件模块包括多个文件、多个代码段、多个编程对象、多个编程结构或其组合。在各种实施例中，作为非限制性示例，一个或更多个软件模块包括web应用程序、移动应用程序和独立应用程序。在一些实施例中，软件模块在一个计算机程序或应用程序中。在其他实施例中，软件模块在多于一个的计算机程序或应用程序中。在一些实施例中，软件模块被托管在一台机器上。在其他实施例中，软件模块被托管在多于一台的机器上。在另外的实施例中，软件模块被托管在云计算平台上。在一些实施例中，软件模块被托管在一个位置的一台或更多台机器上。在其他实施例中，软件模块被托管在多于一个的位置的一台或更多台机器上。

数据库

在一些实施例中，本文公开的平台、系统、介质和方法包括一个或更多个数据库或其应用。鉴于本文提供的公开，本领域中的技术人员将认识到，许多数据库适用于存储和检索条形码、路线、包裹、主题或网络信息。在各种实施例中，作为非限制性示例，合适的数据库包括关系型数据库、非关系型数据库、面向对象的数据库、对象数据库、实体关系模型数据库、关联型数据库和XML数据库。在一些实施例中，数据库是基于互联网的。在另外的实施例中，数据库是基于web的。在又一些另外的实施例中，数据库是基于云计算的。在其他实施例中，数据库基于一个或更多个本地计算机存储设备。

示例

示例1–眼科和全身性疾病的检测

眼底图像首先被去识别，以去除任何与患者相关的信息。然后，分级过程实施了分为阶段I评分者和阶段II评分者的两级系统。阶段I包括经验较少的评分者，包括具有医学或其他生物学相关领域的背景的医学生、大学生和大学毕业生。在获得和诊断500张眼底图像的指定文件夹之前，阶段I评分者需要接受眼科医生的广泛培训。阶段II评分者由普通眼科医生和视网膜专家组成，他们分别审查由阶段I评分者分类的每张图像，以确保正确的诊断分类。为了提高阶段II评分者之间的一致性，高级眼科医生进一步审查了分类图像的子集。在对评分达成共识后，图像被交给人工智能团队进行最后阶段的数据预处理。为了确保数据集不包括重复的图像，所有训练集都通过一种算法运行，该算法移除了具有相同像素二进制的图像。移除后，最终数据集通过我们的深度学习算法进行基于图像的分类。

亚洲青光眼验证中使用的所有图像均来自633名患者，这些患者的临床记录包含表现有青光眼的视野。

疾病标准

现在将描述疾病标准的一个实施例。正常图像被分类为没有明显异常特征的视网膜。这些图像包括具有清晰边缘和约为0.35的杯盘比的视盘；健康视网膜神经纤维层(NFL)的可能的条纹状光泽；无病变；无明显的视网膜下破裂；无色素变化、肿瘤、疤痕或霉菌，以及脉管系统正常。例外是那些只有不到几个小玻璃疣的图像，玻璃疣通常是正常年龄增长的标志。分别地，中型和大型的玻璃疣通常可以是年龄相关黄斑变性(AMD)的早期指征，因此被排除在外。为了明确正常视网膜和具有AMD的视网膜之间的区别，我们对AMD的定义只包括中晚期或晚期AMD，这些AMD有明显的黄斑损伤，要么是干性AMD(地理性萎缩)，要么是湿性AMD，如脉络膜新生血管(CNV)。糖尿病视网膜病变(DR)被分成不同的严重程度组，并根据国际临床糖尿病视网膜病变疾病严重程度量表进行分类。在多组比较中，中度至增生性DR用于训练和验证。血红蛋白A1C水平为XX但无明显视网膜病变迹象的患者被视为无视网膜病变的糖尿病患者，因此被定义为“无糖尿病视网膜病变”的NDR。青光眼被定义为具有以下一个或更多个特征：1)视杯盘比大于或等于0.5的同心扩张，2)盘上缘或下缘变窄，伴有局部神经纤维层缺损(NFLD)。视野被用作确认青光眼存在的附加诊断工具。这些视野缺损包括但不限于鼻侧阶梯、颞楔、上弓状缺损伴周边突破(superior arcuate withperipheral breakthrough)和早期下弓状缺损、隧道视力缺损伴新月体保留(tunnelvision defect with crescent sparing)和终末期完全视野丧失。高度近视的定义是小于-6.00屈光度的屈光以及存在一种或更多种以下发现：视盘周围脉络膜视网膜萎缩、漆裂、后葡萄肿和/或广泛近视视网膜变性。视网膜静脉阻塞(RVO)包括非缺血性或缺血性CRVO和主要/黄斑BRVO。对于多组比较，视网膜正常和白内障严重程度低的患者也包括在训练中。

现在将描述疾病标准的可替代实施例。正常视网膜图像被定义为没有临床异常特征的图像，并且来自没有已知眼病且血红蛋白A1C水平<6.0％的个体。基于视神经外观的图像排除标准是椎间盘水肿、全椎间盘或节段性椎间盘苍白或椎间盘倾斜。基于视网膜特征的图像排除标准包括视网膜神经纤维层(RNFL)缺陷、异常色素沉着、肿瘤、疤痕、褶皱、中、大型玻璃疣以及视网膜血管异常(诸如，微动脉瘤、局灶性和全身性小动脉狭窄、以及动静脉狭窄、出血、新血管、棉絮斑、硬渗出物)。例外是包括少于五个的小玻璃疣的图像，这可能是正常衰老的标志。对于AMD的图像，为了在正常和疾病之间建立明确的区别，仅包括患有干性AMD(地理性萎缩)或湿性AMD(脉络膜新生血管，CNV)造成的黄斑损伤的晚期AMD。对于活动性和非活动性CNV之间的二元比较，活动性CNV被定义为存在任何视网膜下出血、液体或渗出物。根据糖尿病视网膜病变早期治疗研究(ETDRS)标准，DR图像被分为严重程度组。糖尿病黄斑水肿(DME)的诊断基于光学相干断层扫描(OCT)上一个或更多个以下特征的存在：(1)黄斑中心500微米范围内的视网膜增厚，(2)黄斑中心500微米范围内有硬性渗出物伴有邻近视网膜增厚，(3)视网膜增厚的一个或更多个视盘直径，其任何部分在黄斑中心的一个视盘直径内。在多组比较中，中度至增生性DR用于训练和验证。血红蛋白A1C水平≥6.5％但无明显DR迹象的患者被视为无视网膜病变的糖尿病患者，或“无糖尿病视网膜病变”的NODR。青光眼被定义为具有以下两个或更多个特征：(1)竖直视杯盘比大于或等于0.8，(2)上盘或下盘切口或边缘变薄，(3)从视神经头辐射的RNFL缺损。Humphrey视野分析仪的标准自动视野检查被用作附加的诊断工具。青光眼的视野标准是模式标准偏差(PSD)≥正常的5％，或青光眼半视野测试和平均缺陷(MD)在Humphrey视野机上超出正常范围。高度近视被定义为存在以下一种或更多种情况：近视变性、弥漫性脉络膜视网膜萎缩、斑片状脉络膜视网膜萎缩、漆裂、后葡萄肿和近视性视网膜变性。视网膜静脉阻塞(RVO)包括非缺血性和缺血性、中央和分支静脉阻塞。

迁移学习方法

然后，使用PyTorch框架重新训练在ImageNet数据集上预训练的初始V3架构。重新训练包括用加载的预训练权重以及新初始化的最终softmax层初始化卷积层，并训练该模型来识别我们选择的类。在本研究中，卷积层最初被冻结并用作固定特征提取器，直到训练收敛。然后，卷积层被解冻，并在几个时期内进行微调。训练在一台搭载Intel Xeon CPU的Ubuntu 18.04服务器上进行，使用三个NVIDIA GTX 1080 8Gb GPU进行训练和测试，其中RAM内存为128Gb。通过随机梯度下降分批对25个时期的32幅图像进行层的训练，其中学习率为10-4。在每一步之后，使用包含来自独立于训练分区中表示的患者的患者图像的测试分区，通过使每个图像通过网络而不执行梯度下降和反向传播来执行保持方法测试，并且保留最佳执行模型用于分析。

多类和二元分类

训练和测试集按如下划分：训练图像数量最少的疾病类别被分成20：80的比例。然后，这个数量的测试图像被用来定义每一个其他类别的图像计数。

血管分割

用于实现血管分割的神经网络架构源自于U-net架构。损失函数为交叉熵，并且采用随机梯度下降法进行优化。每个卷积层之后的激活函数是整流器线性单元(ReLU)，并且在两个连续的卷积层之间使用0.2的压差。训练进行了100个时期，其中批次大小为32个小片(patch)。使用GeForce GTX 1080GPU，训练持续了约12个小时。

在训练之前，训练数据集通过顺序执行灰度转换、对比度受限的自适应直方图均衡化(CLAHE)和具有标准偏差除法的均值减法进行预处理。

神经网络的训练在预处理的完整图像的小片上进行。每个尺寸为48×48的小片是通过在整个图像中随机选择其中心获得的。此外，选择部分或完全在视场(FOV)之外的小片，使得神经网络可以学习如何区分FOV边界和血管。

通过在20个DRIVE训练图像的每一个中随机提取9500个小片，获得一组190000个小片。数据集的前80％用于训练，而最后20％用于验证。

在测试和推断期间，仅考虑属于FOV的像素。FOV是用包括在DRIVE数据库中的掩码(mask)来识别的。为了提高性能，通过对多个预测进行平均来获得每个像素的血管概率。以5个像素的高度和宽度为跨度，在每个测试图像中提取多个连续重叠的小片。然后，对于每个像素，通过对覆盖该像素的所有预测小片的概率进行平均来获得血管概率。

使用通过质量检查的108859张眼底图像(包括56626张正常视网膜、2368张AMD、17045张中度至增生性DR、21587张青光眼、7198张高度近视和4035张RVO以及白内障图像)的初始图像集来训练机器学习模型。在糖尿病视网膜病变的图像中，图像被手动加标签为糖尿病黄斑水肿。一些图像来自临床加标签为糖尿病肾功能不全的糖尿病患者群组，定义为肾小球滤过率低于90ml/min，而一些图像临床报告没有其他糖尿病并发症。该群组按性别大致平均分配。基于自我报告的种族/民族，患者的种族构成是中国人。

图像被分成训练数据集和验证数据集。表1示出了每个类别中图像数量的训练数据集特征。表2示出了每个类别中图像数量的验证数据集特征。

表1：训练集特征。

表2验证数据集特征。每个验证数据集中每个类别使用的图像数量。

类别	亚洲群组	高加索群组	巴西群组	手持式相机
					AMD	534	6869	245	50
DR	996	7391	267	50
					青光眼	1029	81	155	50
HM	1001	2595	216	50
					正常	1000	1014	429	50
RVO	1013	153	75	42
					总计	5573	18103	1387	292

有些患者有糖尿病，但没有表现出任何糖尿病的症状。这些患者在其他方面可能难以区分或者可能无法与没有任何临床异常的健康患者区分开来。表3示出了与健康患者相比，没有糖尿病临床症状的糖尿病患者的数据特征。

表3：将没有任何明显糖尿病症状的糖尿病患者与没有任何临床异常的健康患者进行比较的数据特征。

	训练	测试
			NDR	555	98
正常正常	7267	93

模型性能

对AI系统进行评估，以诊断最常见的致盲性眼病，并能够对有AMD、DR、青光眼、高度近视(HM)、RVO、白内障和正常视网膜的图像进行准确分类。25个时期后，由于损失和准确度都没有进一步提高，训练被停止。在多类比较中，该模型达到了98.96％的准确度。生成接受者操作特征(ROC)曲线，以评估模型区分每种疾病的能力。在没有高度近视的亚洲群组中，每个类别的贡献被汇总在一起，产生99.1％的平均ROC(图2A)。

为了确定模型性能的分解，还实施了二元分类器。该分类器区分AMD图像和正常图像的准确率达到100.0％，其中灵敏度为100.0％，特异性为100.0％(图8A)。用于AMD与正常图像的分类的ROC曲线下面积(AUC)为1.000(图9A)。区分DR图像和正常图像的分类器达到了98.5％的准确率，其中灵敏度为97.0％，特异性为100％(图8B)。AUC为0.999(图9B)。该分类器区分青光眼图像和正常图像的准确度达到97.6％，其中灵敏度为95.3％、特异性为99.9％。AUC为0.996。区分RVO图像和正常图像的分类器实现了100.0％的准确度，其中灵敏度为100.0％，特异性为100.0％(图8C)。AUC为1.00(图9C)。

该模型在亚洲群组中得到了验证，并且多类比较产生了以下准确度：在亚洲群组中，AMD为98.3％、DR为95.8％、青光眼为98.0％、高度近视为98.5％、正常为99.2％、RVO为98.5％(图1A)。AMD、DR、青光眼、HM、正常和RVO的AUC-ROC曲线分别为1.000、0.996、0.992、1.000、0.971和0.999(图2A)。

独立外部验证群组中的模型性能

训练的模型在来自不同地理群体的两个独立数据集中进行了外部验证。所有疾病表型都达到了很高的准确度，因此证明了该模型在不同群组上的适用性。表2示出了群组的摘要。该模型使用由5717张图像组成的高加索群组进行了外部验证，准确度达到94.26％。多类比较产生了以下准确度：对于AMD、DR、青光眼、HM、正常和RVO分别为98.5％、99.7％、97.6％、88.3％、85.5％和92.1％(图1B)。AUC-ROC为0.990(图2B)。AMD、DR、青光眼、HM、正常和RVO的AUC-ROC曲线分别为0.998、0.999、0.978、0.963、0.994和0.990(图2B)。

由1278张图像组成的巴西群组也接受了外部验证，准确度达到90.22％。多类比较产生了以下准确度：对于AMD、DR、青光眼、HM、正常和RVO分别为96.8％、96.9％、85.8％、91.3％、85.7％和81.5％(图1C)。AUC-ROC为0.982。(图2C)。AMD、DR、青光眼、HM、正常和RVO的AUC-ROC曲线分别为0.985、0.975、0.966、0.985、0.988和0.995(图2C)。

示例2–白内障检测

该算法用于诊断有或没有白内障的患者群组中是否存在白内障。该模型实现了较高的准确度、敏感性、特异性和AUC。

示例3–训练分类器与人类专家的比较

一组眼科医生选择了2960幅图像的测试集，包括每个类别中的500幅图像，以将由AI网络(如示例1中训练的)生成的分类与独立的高级眼科医生的分类进行比较。指导六名在学术和临床环境中均有多年经验的专家将每张眼底图像诊断为五种疾病类别之一(AMD、DR、青光眼、HM、RVO)、正常类别和“其他”类别。确定模型的性能类似于专家医师的性能。

示例4–糖尿病的检测

通过血管分割隔离脉管系统来训练和评估模型识别重要的全身性状况的能力。首先，将来自非糖尿病患者(定义为糖化血红蛋白(HbA1C)l水平正常且无糖尿病史)的图像与没有视网膜病变的糖尿病患者(定义为HbA1c水平为6.5％或更高但无明显视网膜异常)进行比较。该模型获得了82.7％的准确度，其中灵敏度为80.6％，特异性为84.9％，如图3A中的归一化混淆矩阵所示，并且ROC曲线下面积为0.867(图4)。在图3B中是没有归一化的混淆矩阵，其示出了每个类别中的图像数量。血管分割的可视化可以在图5A和图5B中看到。因此，该模型在视网膜疾病表现出现前识别糖尿病患者方面表现出很强的性能，因此有可能成为有价值的糖尿病筛查工具。

示例5–糖尿病肾病的检测

对该模型进行训练并评估其区分有肾病的糖尿病患者和没有肾病并发症的糖尿病患者的能力。将从临床上定义为糖尿病且无其他全身性并发症的患者获得的眼底图像与有糖尿病肾病的患者进行比较。在比较这些没有任何视网膜病变的患者时，该模型能够以79.25％的准确度、79％的敏感性和80％的特异性预测糖尿病肾病(图6)。ROC曲线下面积为0.873(图7)。模型准确度和随时间的损失可以分别在图10A和图10B中看到。

示例6–心血管风险的检测

对该模型进行训练并评估其诊断心血管风险患者的能力，心血管风险患者定义为收缩压和/或舒张压值分别大于140mmHg和90mmHg、胆固醇值大于阈值、并具有明显的高血压视网膜病变特征，而患者的血压和胆固醇值正常。结果表明，该模型能够有效地对高危患者进行分类，具有较高的准确度、敏感性和特异性以及AUC。

示例7–中风的检测

对该模型进行训练并评估其检测中风的能力。结果表明，该模型能够有效地对高危患者进行分类，具有高水平的准确度、敏感性和特异性以及AUC。

示例8–集成到硬件中的软件

实施深度学习卷积神经网络的诊断软件被安装到医疗诊所处的集成了成像装备和计算设备的系统上，用于分析视网膜扫描以筛查常见的眼睛和全身性疾病。计算设备可操作地耦合到包括立体彩色眼底拍摄的成像装备。在患者就诊期间，成像装备用于采集两个视网膜的眼科图像。图像在本地被存储在可操作地耦合到成像装备的计算设备上。然后，安装在计算设备上的软件应用程序使用训练的卷积神经网络分析图像，以将图像分类为糖尿病阳性或阴性(例如，临床医生可能没有检测到糖尿病视网膜病变的症状)。应用程序通过网络将图像上传到远程服务器进行远程分类或预测，并下载结果。当与远程服务器的通信不可用时，软件应用程序被配置为使用本地存储的卷积神经网络来执行分析。

示例9–便携式诊断系统

将实施深度学习卷积神经网络的诊断软件安装到用户的智能手机上作为移动应用程序，用于分析视网膜扫描以筛查常见的眼睛和全身性疾病。该移动应用程序使智能手机能够上传视网膜扫描，用于远程诊断。该移动应用程序还允许智能手机集成成像装备，以使用智能手机自身的相机采集视网膜图像。一种包括检眼镜的装置可拆卸地耦合到智能手机，使得检眼镜位于智能手机相机上方，使得相机能够采集期望的视网膜扫描。该视网膜扫描图像在本地被存储在智能手机上。然后，安装在手机上的移动应用程序使用训练好的卷积神经网络分析图像，以将图像分类为糖尿病阳性或阴性。分析包括通过网络将图像上传到远程服务器进行远程分类或预测，并下载结果。当与远程服务器的通信不可用时，移动应用程序被配置为使用本地存储的卷积神经网络来执行分析。因此，这种便携式诊断系统利用智能手机的电子设备和相机以及装备和检眼镜来有效地采集视网膜扫描并获得诊断预测。

示例10–诊断硬件

利用包括专用相机和数字处理设备的诊断设备来采集视网膜的眼科图像，并生成常见眼睛或全身性疾病的诊断预测。该设备包括设计用于采集视网膜扫描的专用相机，这些视网膜扫描被存储在数字处理设备的存储器中，随后由该设备进行分析。安装在数字处理设备上的软件应用程序使用训练的卷积神经网络分析图像，以将图像分类为糖尿病视网膜病变阳性或阴性。分析包括通过网络将图像上传到远程服务器进行远程分类或预测，并下载结果。当与远程服务器的通信不可用时，软件应用被配置为使用本地存储的卷积神经网络来执行分析。

示例11–使用智能手机系统对常见眼睛疾病的定点照护诊断

建立了低成本的手持式相机智能手机附件。此外，IOS应用程序被编程为充当用户智能手机相机和AI平台之间的接口。在这项工作中，患者可以轻松地将其自己的眼底图像上传到符合HIPPA的云服务中，在那里AI模型可以自动对传入的诊断请求进行分级。虽然该模型是从标准眼底成像机器中训练出来的，但该模型对现实世界的应用表现出惊人的适应性。手持式相机附件充当外部验证，并产生了91.83％的准确度。多类比较产生了以下准确度：对于AMD、DR、青光眼、HM、正常和RVO分别为95.5％、97.5％、84.9％、94.1％、89.4％、84.0％(图1D)。AUC-ROC为0.981(图2D)。

示例性非限制性实施例

一些实施例的非限制性示例如下：

一种计算机实施的方法，用于分析从受试者获得的眼科成像数据，以确定眼科或全身性疾病、紊乱或状况的存在，该方法包括：获得眼科成像数据；以及用算法处理眼科成像数据，该算法包括使用机器学习过程训练的分类器，以输出对眼科或全身性疾病、紊乱或状况的存在的确定。该确定的灵敏度至少为90％，特异性至少为90％。该确定的AUC至少为0.9。机器学习过程包括使用深度学习过程来训练模型以生成分类器。分类器是卷积神经网络。机器学习过程包括执行迁移学习过程以生成分类器。迁移学习过程包括使用非域图像预训练神经网络，冻结神经网络的至少一个特征层，以及使用域图像训练神经网络。该方法还包括基于该确定做出医疗建议。眼科成像数据包括眼科图像。眼科图像是视网膜图像。眼科图像是眼底图像。眼科疾病或紊乱选自由年龄相关黄斑变性、糖尿病视网膜病、青光眼、白内障、近视、视网膜静脉阻塞、肾病、高血压和中风组成的组。在生成眼科成像数据时，受试者没有表现出眼科或全身性疾病、紊乱或状况的可见异常或症兆。

一种计算机实施的系统，被配置用于分析从受试者获得的眼科成像数据，以确定眼科或全身性疾病、紊乱或状况的存在，该系统包括：电子设备，其包括：处理器、存储器、显示器、相机和被配置为执行可执行指令的操作系统；存储在电子设备的存储器中的计算机程序，该计算机程序包括可由用户电子设备执行以创建应用程序的指令，该应用程序包括：获得眼科成像数据的软件模块；以及软件模块，其利用包括使用机器学习过程训练的分类器的算法来处理眼科成像数据，以输出对眼科或全身性疾病、紊乱或状况的存在的确定。该确定的灵敏度至少为90％，特异性至少为90％。该确定的AUC至少为0.9。机器学习过程包括使用深度学习过程来训练模型以生成分类器。分类器是卷积神经网络。机器学习过程包括执行迁移学习过程以生成分类器。迁移学习过程包括使用非域图像预训练神经网络、冻结神经网络的至少一个特征层、以及使用域图像训练神经网络。该应用还包括基于该确定做出医疗建议的软件模块。眼科成像数据包括眼科图像。眼科图像是视网膜图像。眼科图像是眼底图像。眼科疾病或紊乱选自由年龄相关黄斑变性、糖尿病性视网膜病、青光眼、白内障、近视、视网膜静脉阻塞、肾病、高血压和中风组成的组。在生成眼科成像数据时，受试者没有表现出眼科或全身性疾病、紊乱或状况的可见异常或症状。

一种包括机器可执行代码的非暂时性计算机可读介质，该机器可执行代码在由一个或更多个计算机处理器执行时实施用于处理眼科成像数据的方法，该方法包括：获得眼科成像数据；以及用算法处理眼科成像数据，该算法包括使用机器学习过程训练的分类器，以输出对眼科或全身性疾病、紊乱或状况的存在的确定。该确定的灵敏度至少为90％，特异性至少为90％。该确定的AUC至少为0.9。机器学习过程包括使用深度学习过程来训练模型以生成分类器。分类器是卷积神经网络。机器学习过程包括执行迁移学习过程以生成分类器。迁移学习过程包括使用非域图像预训练神经网络、冻结神经网络的至少一个特征层、以及使用域图像训练神经网络。该应用程序还包括基于该确定做出医疗建议的软件模块。眼科成像数据包括眼科图像。眼科图像是视网膜图像。眼科图像是眼底图像。眼科疾病或紊乱选自由年龄相关黄斑变性、糖尿病视网膜病变、青光眼、白内障、近视、视网膜静脉阻塞、肾病、高血压和中风组成的组。在生成眼科成像数据时，受试者没有表现出眼科或全身性疾病、紊乱或状况的可见异常或症兆。

一种计算机实施的系统，包括：电子设备，其包括：处理器、存储器、显示器、相机和被配置为执行可执行指令的操作系统；包括成像部件的便携式设备，所述便携式设备被配置为接收和定位电子设备，以使相机与成像部件对准，用于采集眼科成像数据；以及存储在电子设备的存储器中的计算机程序，该计算机程序包括可由用户电子设备执行以创建应用程序的指令，该应用程序包括：获得眼科成像数据的软件模块；和利用算法处理眼科成像数据以输出对眼科或全身疾病、紊乱或状况的存在的确定的软件模块，该算法包括使用机器学习过程训练的分类器。处理眼科成像数据包括将眼科图像或视频上传到云网络，以由训练的分类器进行分析。眼科成像数据包括由电子设备使用包括成像部件的便携式设备采集的视网膜图像或视频。该确定的灵敏度至少为90％，特异性至少为90％。该确定的AUC至少为0.9。机器学习过程包括使用深度学习过程来训练模型以生成分类器。分类器是卷积神经网络。机器学习过程包括执行迁移学习过程以生成分类器。迁移学习过程包括使用非域图像预训练神经网络、冻结神经网络的至少一个特征层、以及使用域图像训练神经网络。该应用程序还包括基于该确定做出医疗建议的软件模块。眼科成像数据包括眼科图像。眼科图像是视网膜图像。眼科图像是眼底图像。眼科疾病或紊乱选自由年龄相关黄斑变性、糖尿病视网膜病变、青光眼、白内障、近视、视网膜静脉阻塞、肾病、高血压和中风组成的组。在生成眼科成像数据时，受试者没有表现出眼科或全身性疾病、紊乱或状况的可见异常或症兆。成像部件是使得相机能够从受试者的眼睛采集眼科图像或视频的检眼镜。便携式设备包括适配器，该适配器被配置为接收和定位电子设备。电子设备是智能手机或平板电脑。

一种计算机实施的系统，包括：医学成像设备，其被配置为采集对象的眼科图像；可操作地耦合到医学成像设备的电子设备，包括：处理器、存储器、显示器和被配置为执行可执行指令的操作系统；存储在电子设备的存储器中的计算机程序，该计算机程序包括可由用户电子设备执行以创建应用程序的指令，该应用程序包括：获得眼科成像数据的软件模块；以及利用算法来处理眼科成像数据以输出对眼科或全身性疾病、紊乱或状况的存在的确定的软件模块，该算法包括使用机器学习过程训练的分类器。处理眼科成像数据包括将眼科图像或视频上传到云网络，以由训练的分类器进行分析。该确定的灵敏度至少为90％，特异性至少为90％。该确定的AUC至少为0.9。机器学习过程包括使用深度学习过程来训练模型以生成分类器。分类器是卷积神经网络。机器学习过程包括执行迁移学习过程以生成分类器。迁移学习过程包括使用非域图像预训练神经网络、冻结神经网络的至少一个特征层、以及使用域图像训练神经网络。该应用程序还包括基于该确定做出医疗建议的软件模块。眼科成像数据包括眼科图像。眼科图像是视网膜图像。眼科图像是眼底图像。眼科疾病或紊乱选自由年龄相关黄斑变性、糖尿病视网膜病变、青光眼、白内障、近视、视网膜静脉阻塞、肾病、高血压和中风组成的组。在生成眼科成像数据时，受试者没有表现出眼科或全身性疾病、紊乱或状况的可见异常或症兆。医学成像设备包括检眼镜和眼底相机。便携式设备包括适配器，该适配器被配置为接收和定位电子设备。电子设备是智能手机或平板电脑。该系统被配置成自助服务亭。服务亭包括定位部件，用于将受试者的头部定位在医学成像设备的前面，以采集眼科图像。定位部件被配置成减少或最小化受试者的头部倾斜。该服务亭还包括麦克风和扬声器，并且被配置为提供与远程医疗保健提供者的电话会议，以讨论该确定和可选的治疗建议。服务亭包括用于接收支付信息的接口。该接口包括读卡器、扫描仪、RFID系统、现金接收器、用于输入支付信息的触摸屏或其组合。

一种计算机实施的方法，用于分析从受试者获得的眼底图像以确定眼科或全身性疾病或紊乱的存在，该方法包括：获得眼底图像；以及用算法处理眼底图像，该算法包括使用机器学习过程训练的分类器，以输出对存眼科或全身性疾病或紊乱的存在的确定，其中受试者没有表现出眼科或全身性疾病或紊乱的可见异常或症兆。

一种计算机实施的系统，被配置用于分析从受试者获得的眼底图像，以确定眼科或全身性疾病或紊乱的存在，该系统包括：电子设备，其包括：处理器、存储器、显示器、相机和被配置为执行可执行指令的操作系统；存储在电子设备的存储器中的计算机程序，该计算机程序包括可由用户电子设备执行以创建应用程序的指令，该应用程序包括：获得眼底图像的软件模块；以及用算法处理眼底图像的软件模块，该算法包括使用机器学习过程训练的分类器，以输出对眼科或全身性疾病或紊乱的存在的确定。

一种包括机器可执行代码的非暂时性计算机可读介质，该机器可执行代码在由一个或更多个计算机处理器执行时实施用于处理眼底图像的方法，该方法包括：获得眼底图像；以及用算法处理眼底图像，该算法包括使用机器学习过程训练的分类器，以输出对眼科或全身性疾病或紊乱的存在的确定。

一种计算机实施的系统，包括：电子设备，其包括：处理器、存储器、显示器、相机和被配置为执行可执行指令的操作系统；包括成像部件的便携式设备，所述便携式设备被配置为接收和定位电子设备，以使相机与成像部件对准，用于采集眼底图像；以及存储在电子设备的存储器中的计算机程序，该计算机程序包括可由用户电子设备执行以创建应用程序的指令，该应用程序包括：获得眼底图像的软件模块；以及用算法处理眼底图像的软件模块，该算法包括使用机器学习过程训练的分类器，以输出对眼科或全身性疾病或紊乱的存在的确定。

一种计算机实施的系统，包括：医学成像设备，其被配置为采集受试者的眼睛的眼底图像；可操作地耦合到医学成像设备的电子设备，包括：处理器、存储器、显示器和被配置为执行可执行指令的操作系统；存储在电子设备的存储器中的计算机程序，该计算机程序包括可由用户电子设备执行以创建应用程序的指令，该应用程序包括：获得眼底图像的软件模块；以及用算法处理眼底图像的软件模块，该算法包括使用机器学习过程训练的分类器，以输出对眼科或全身性疾病或紊乱的存在的确定。

实施例1.一种方法，包括使用至少一个硬件处理器以：接收眼科图像数据；应用机器学习分类器，以将接收到的眼科图像数据分类为多个分类中的至少一个，机器学习分类器使用眼科图像的域数据集进行训练，眼科图像已经用多个分类中的一个或更多个分类加标签，其中多个分类包括正常分类和一个或更多个紊乱分类，其中一个或更多个紊乱分类包括以下项中的至少一项：年龄相关黄斑变性(AMD)、糖尿病视网膜病变(DR)、青光眼或视网膜静脉阻塞(RVO)；以及提供指示所接收的眼科图像数据的至少一个分类的报告。

实施例2.根据实施例1所述的方法，其中，在数据集中，正常分类被定义为视盘，该视盘呈现清晰边缘和预定范围内的杯盘比、来自健康视网膜神经纤维层的条纹光泽、无损伤、无明显视网膜下破裂、无色素改变、无肿瘤、无疤痕、无霉菌、和正常的脉管系统，但是指示正常年龄增长的玻璃疣除外。

实施例3.根据实施例1或2所述的方法，其中，在数据集中，正常分类被定义为无临床异常特征、无已知眼病、血红蛋白A1C水平低于6.0％，但是指示正常年龄增长的少于5个的玻璃疣除外。

实施例4.根据实施例1至3中任一项所述的方法，其中，在数据集中，AMD被定义为具有来自干性AMD或湿性AMD的明显黄斑损伤的中晚期和晚期AMD。

实施例5.根据实施例1至4中任一项所述的方法，其中，在数据集中，根据国际临床糖尿病视网膜病变疾病严重程度表所分类的，DR被定义为中度至增生性DR。

实施例6.根据实施例5所述的方法，其中，在数据集中，糖尿病黄斑水肿(DME)被定义为以下项中的一项或更多项：黄斑中心500微米内的视网膜增厚、在黄斑中心500微米内的硬性渗出物伴有邻近视网膜增厚，或者在黄斑中心一个视盘直径内的视网膜增厚的一个或更多个视盘直径。

实施例7.根据实施例1至6中任一项所述的方法，其中，在数据集中，青光眼被定义为具有以下项中的一项或两项：视杯盘比大于或等于0.5的同心扩张、或盘在上缘或下缘处变窄伴有局部神经纤维层缺损。

实施例8.根据实施例1至7中任一项所述的方法，其中，在数据集中，青光眼被定义为具有以下项中的两项或更多项：大于或等于0.8的竖直视杯盘比、上盘或下盘切口或边缘变薄、或从视神经头辐射的视网膜神经纤维层(RNFL)缺损。

实施例9.根据实施例1至8中任一项所述的方法，其中，在数据集中，RVO被定义为非缺血性和缺血性中央RVO和主要的与黄斑分支RVO。

实施例10.根据实施例1至9中任一项所述的方法，其中，机器学习分类器包括卷积神经网络。

实施例11.根据实施例10所述的方法，其中，该方法还包括使用至少一个硬件处理器通过以下步骤训练机器学习分类器：最初训练卷积神经网络，以使用非域数据集来区分对象，非域数据集不包含用一个或更多个紊乱加标签的眼科图像；随后使用域数据集重新训练卷积神经网络中的一个或更多个最终层。

实施例12.根据实施例11所述的方法，其中，非域数据集中的图像数量比域数据集中的图像数量多至少六倍。

实施例13.根据实施例1至12中任一项所述的方法，其中，眼科图像数据包括人眼内部结构的图像。

实施例14.根据实施例1至13中任一项所述的方法，还包括使用所述至少一个硬件处理器，当至少一个分类是一个或更多个紊乱分类之一时，使用回归分析来确定与一个紊乱分类相关联的紊乱的严重程度，其中该报告还指示所确定的紊乱的严重程度。

实施例15.根据实施例1至14中任一项所述的方法，其中，当至少一个分类是一个或更多个紊乱分类之一时，报告包括用于治疗与一个紊乱分类相关的紊乱的一个或更多个建议。

实施例16.根据实施例1至15中任一项所述的方法，其中，当至少一个分类是一个或更多个紊乱分类之一时，报告包括来自眼科图像数据的图像，该图像示出了由机器学习分类器使用的重要区域。

实施例17.根据实施例1至16中任一项所述的方法，其中，报告包括基于Softmax函数的多个分类的概率。

实施例18.根据实施例1至17中任一项所述的方法，还包括，使用至少一个硬件处理器，在接收眼科图像数据之后以及在应用所述机器学习分类器之前以：

确定眼科图像数据的类型；以及

从与多种不同类型的眼科图像数据相关联的多个不同的机器学习分类器中，选择与所确定类型的眼科图像数据相关联的机器学习分类器。

实施例19.根据实施例1至18中任一项所述的方法，其中，应用机器学习分类器包括使用U-net架构分割眼科图像数据中的血管。

实施例20.根据实施例19所述的方法，其中，在U-net架构中的每个卷积层之后的激活函数包括整流器线性单元(ReLU)。

实施例21.根据实施例1至20中任一项所述的方法，其中，眼科图像数据包括视频，并且其中，该方法还包括使用至少一个硬件处理器，在应用所述机器学习分类器之前，将视频的多个帧拼接在一起以生成合成图像，所述机器学习分类器被应用至该合成图像。

实施例22.根据实施例1至21中任一项所述的方法，其中，至少一个硬件处理器被包括在服务器系统内，其中接收眼科图像数据包括通过至少一个网络从用户设备接收眼科图像数据，并且其中提供报告包括通过至少一个网络向用户设备发送报告。

实施例23.根据实施例22所述的方法，其中，用户设备是移动设备。

实施例24.根据实施例1至23中任一实施例的方法，还包括使用在移动设备中的至少一个硬件处理器以：

当到远程服务器的连接经由至少一个网络可用时，将眼科图像数据传输到远程服务器，以由机器学习分类器的远程版本进行分类；以及

当到远程服务器的连接不可用时，将机器学习分类器的本地版本应用于眼科图像数据。

实施例25.根据实施例1至24中任一项所述的方法，其中，接收眼科图像数据包括在移动设备处使用可拆卸地耦合到移动设备的检眼镜采集眼科图像数据。

实施例26.根据实施例1至25中任一项所述的方法，还包括使用至少一个硬件处理器来生成用于移动设备的显示的图形用户界面，其中图形用户界面包括用于使用检眼镜采集眼科图像数据的一个或更多个指令。

实施例27.根据实施例1至26中任一项所述的方法，还包括使用至少一个硬件处理器来训练机器学习分类器，以呈现至少90％的灵敏度和至少90％的特异性。

实施例28.根据实施例1至27中任一项所述的方法，还包括使用至少一个硬件处理器来训练机器学习分类器，以呈现至少0.9的曲线下面积(AUC)。

实施例29.根据实施例1至28中任一项所述的方法，还包括使用至少一个硬件处理器来使用深度学习过程训练机器学习分类器。

实施例30.根据实施例1至29中任一项所述的方法，其中，眼科图像数据包括视网膜图像。

实施例31.根据实施例1至30中任一项所述的方法，其中，眼科图像数据包括眼底图像。

实施例32.根据实施例1至31中任一项所述的方法，其中一个或更多个紊乱分类是多个紊乱分类，并且其中多个紊乱分类还包括白内障、近视、肾病、高血压或中风中的至少一种。

实施例33.一种系统，包括：至少一个硬件处理器；以及一个或更多个软件模块，其被配置为当由至少一个硬件处理器执行时，执行实施例1至32中任一实施例的方法。

实施例34.根据实施例33所述的系统，其中，该系统包括电子服务亭，该电子服务亭包括至少一个硬件处理器和一个或更多个软件模块。

实施例35.根据实施例33或34所述的系统，其中，电子服务亭包括：成像部件，其被配置为采集眼科图像数据；以及头部定位器，其中头部定位器包括下巴支架和前额支架，其被配置为使人眼与成像部件对准。

实施例36.一种非暂时性计算机可读介质，其上存储有指令，其中当指令由处理器执行时使处理器执行实施例1至32中任一实施例的方法。

Claims (36)

1.一种方法，包括使用至少一个硬件处理器以：

接收眼科图像数据；

应用机器学习分类器，以将所接收的眼科图像数据分类成多个分类中的至少一个分类，所述机器学习分类器使用眼科图像的域数据集进行训练，所述眼科图像已经用所述多个分类中的一个或更多个分类加标签，其中所述多个分类包括正常分类和一个或更多个紊乱分类，其中所述一个或更多个紊乱分类包括以下各项中的至少一项：年龄相关黄斑变性(AMD)、糖尿病视网膜病变(DR)、青光眼或视网膜静脉阻塞(RVO)；以及

提供指示所述接收的眼科图像数据的至少一个分类的报告。

2.根据权利要求1所述的方法，其中，在所述数据集中，所述正常分类被定义为视盘，所述视盘呈现清晰边缘和预定范围内的杯盘比、来自健康视网膜神经纤维层的条纹光泽、无损伤、无明显视网膜下破裂、无色素改变、无肿瘤、无疤痕、无霉菌，和正常的脉管系统，但是指示正常年龄增长的玻璃疣除外。

3.根据权利要求1所述的方法，其中，在所述数据集中，所述正常分类被定义为无临床异常特征、无已知眼病、血红蛋白A1C水平低于6.0％，但是指示正常年龄增长的少于5个的玻璃疣除外。

4.根据权利要求1所述的方法，其中，在所述数据集中，AMD被定义为具有来自干性AMD或湿性AMD的明显黄斑损伤的中晚期和晚期AMD。

5.根据权利要求1所述的方法，其中，在所述数据集中，根据国际临床糖尿病视网膜病变疾病严重程度表所分类的，DR被定义为中度至增生性DR。

6.根据权利要求5所述的方法，其中，在所述数据集中，糖尿病黄斑水肿(DME)被定义为以下项中的一项或更多项：黄斑中心500微米内的视网膜增厚、在所述黄斑中心500微米内的硬性渗出物伴有邻近视网膜增厚，或者在所述黄斑中心的一个视盘直径内的视网膜增厚的一个或更多个视盘直径。

7.根据权利要求1所述的方法，其中，在所述数据集中，青光眼被定义为具有以下项中的一项或两项：视杯盘比大于或等于0.5的同心扩张、或盘在上缘或下缘处变窄伴有局部神经纤维层缺损。

8.根据权利要求1所述的方法，其中，在所述数据集中，青光眼被定义为具有以下项中的两项或更多项：大于或等于0.8的竖直视杯盘比、上盘或下盘切口或边缘变薄、或从视神经头辐射的视网膜神经纤维层(RNFL)缺损。

9.根据权利要求1所述的方法，其中，在所述数据集中，RVO被定义为非缺血性和缺血性中央RVO和主要的与黄斑分支RVO。

10.根据权利要求1所述的方法，其中，所述机器学习分类器包括卷积神经网络。

11.根据权利要求10所述的方法，其中，所述方法还包括使用所述至少一个硬件处理器通过以下步骤训练所述机器学习分类器：

最初训练所述卷积神经网络，以使用非域数据集来区分对象，所述非域数据集不包含用一个或更多个紊乱加标签的眼科图像；

随后使用所述域数据集重新训练所述卷积神经网络中的一个或更多个最终层。

12.根据权利要求11所述的方法，其中，所述非域数据集中的图像数量比所述域数据集中的图像数量多至少六倍。

13.根据权利要求1所述的方法，其中，所述眼科图像数据包括人眼内部结构的图像。

14.根据权利要求1所述的方法，还包括使用所述至少一个硬件处理器，当所述至少一个分类是所述一个或更多个紊乱分类之一时，使用回归分析来确定与所述一个紊乱分类相关联的紊乱的严重程度，其中所述报告还指示所确定的紊乱的严重程度。

15.根据权利要求1所述的方法，其中，当所述至少一个分类是所述一个或更多个紊乱分类之一时，所述报告包括用于治疗与所述一个紊乱分类相关的紊乱的一个或更多个建议。

16.根据权利要求1所述的方法，其中，当所述至少一个分类是所述一个或更多个紊乱分类之一时，所述报告包括来自所述眼科图像数据的图像，所述图像示出了由所述机器学习分类器使用的重要区域。

17.根据权利要求1所述的方法，其中，所述报告包括基于Softmax函数的多个分类的概率。

18.根据权利要求1所述的方法，还包括使用所述至少一个硬件处理器以在接收所述眼科图像数据之后以及在应用所述机器学习分类器之前：

确定所述眼科图像数据的类型；以及

从与多种不同类型的眼科图像数据相关联的多个不同的机器学习分类器中，选择与所确定类型的眼科图像数据相关联的所述机器学习分类器。

19.根据权利要求1所述的方法，其中，应用所述机器学习分类器包括使用U-net架构分割所述眼科图像数据中的血管。

20.根据权利要求19所述的方法，其中，在所述U-net架构中的每个卷积层之后的激活函数包括整流器线性单元(ReLU)。

21.根据权利要求1所述的方法，其中，所述眼科图像数据包括视频，并且其中，所述方法还包括使用所述至少一个硬件处理器，在应用所述机器学习分类器之前，将所述视频的多个帧拼接在一起以生成合成图像，所述机器学习分类器被应用至该合成图像。

22.根据权利要求1所述的方法，其中，所述至少一个硬件处理器被包括在服务器系统内，其中接收眼科图像数据包括通过至少一个网络从用户设备接收所述眼科图像数据，并且其中提供报告包括通过所述至少一个网络向所述用户设备发送所述报告。

23.根据权利要求22所述的方法，其中，所述用户设备是移动设备。

24.根据权利要求1所述的方法，还包括使用在移动设备中的至少一个硬件处理器以：

当到远程服务器的连接经由至少一个网络可用时，将所述眼科图像数据传输到所述远程服务器，以由所述机器学习分类器的远程版本进行分类；以及

当到所述远程服务器的连接不可用时，将所述机器学习分类器的本地版本应用于所述眼科图像数据。

25.根据权利要求1所述的方法，其中，接收眼科图像数据包括在移动设备处使用可拆卸地耦合到所述移动设备的检眼镜采集所述眼科图像数据。

26.根据权利要求1所述的方法，还包括使用所述至少一个硬件处理器来生成用于所述移动设备的显示的图形用户界面，其中所述图形用户界面包括用于使用检眼镜采集所述眼科图像数据的一个或更多个指令。

27.根据权利要求1所述的方法，还包括使用所述至少一个硬件处理器来训练所述机器学习分类器，以呈现至少90％的灵敏度和至少90％的特异性。

28.根据权利要求1所述的方法，还包括使用所述至少一个硬件处理器来训练所述机器学习分类器，以呈现至少0.9的曲线下面积(AUC)。

29.根据权利要求1所述的方法，还包括使用所述至少一个硬件处理器来使用深度学习过程训练所述机器学习分类器。

30.根据权利要求1所述的方法，其中，所述眼科图像数据包括视网膜图像。

31.根据权利要求1所述的方法，其中，所述眼科图像数据包括眼底图像。

32.根据权利要求1所述的方法，其中，所述一个或更多个紊乱分类是多个紊乱分类，并且其中，所述多个紊乱分类还包括白内障、近视、肾病、高血压或中风中的至少一种。

33.一种系统，包括：

至少一个硬件处理器；以及

一个或更多个软件模块，其被配置为当由所述至少一个硬件处理器执行时，执行根据权利要求1至32中任一项所述的方法。

34.根据权利要求33所述的系统，其中，所述系统包括电子服务亭，所述电子服务亭包括所述至少一个硬件处理器和所述一个或更多个软件模块。

35.根据权利要求34所述的系统，其中，所述电子服务亭包括：

成像部件，其被配置为采集所述眼科图像数据；以及

头部定位器，其中，所述头部定位器包括下巴支架和前额支架，所述下巴支架和前额支架被配置成使人眼与成像部件对准。

36.一种非暂时性计算机可读介质，其上存储有指令，其中当指令由处理器执行所述指令时使所述处理器执行根据权利要求1至32中任一项所述的方法。

Images