CN109844868A - 使用机器学习模型处理眼底图像 - Google Patents

使用机器学习模型处理眼底图像 Download PDF

Info

Publication number
CN109844868A
CN109844868A CN201780055989.8A CN201780055989A CN109844868A CN 109844868 A CN109844868 A CN 109844868A CN 201780055989 A CN201780055989 A CN 201780055989A CN 109844868 A CN109844868 A CN 109844868A
Authority
CN
China
Prior art keywords
eye fundus
patient
fundus image
machine learning
learning model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201780055989.8A
Other languages
English (en)
Inventor
丽莉·浩·义·彭
达莱·R·韦伯斯特
菲利普·查尔斯·内尔松
瓦伦·古尔尚
马克·阿德莱·科拉姆
马丁·克里斯蒂安·施通佩
德里克·詹梅·吴
阿鲁纳沙拉姆·纳拉亚那斯瓦米
阿维纳什·维迪亚纳坦·瓦拉达拉扬
凯瑟琳·布卢默
刘韵
瑞安·波普兰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Google LLC
Original Assignee
Google LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Google LLC filed Critical Google LLC
Publication of CN109844868A publication Critical patent/CN109844868A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • G06T7/0014Biomedical image inspection using an image reference approach
    • G06T7/0016Biomedical image inspection using an image reference approach involving temporal comparison
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/14Arrangements specially adapted for eye photography
    • A61B3/145Arrangements specially adapted for eye photography by video means
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/044Recurrent networks, e.g. Hopfield networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/30ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for calculating health indices; for individual health risk assessment
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N2800/00Detection or diagnosis of diseases
    • G01N2800/16Ophthalmology
    • G01N2800/164Retinal disorders, e.g. retinopathy
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N2800/00Detection or diagnosis of diseases
    • G01N2800/16Ophthalmology
    • G01N2800/168Glaucoma
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20076Probabilistic image processing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30041Eye; Retina; Ophthalmic

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Pathology (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Ophthalmology & Optometry (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Multimedia (AREA)
  • Eye Examination Apparatus (AREA)
  • Image Analysis (AREA)

Abstract

一种用于使用眼底图像处理机器学习模型处理眼底图像的方法、系统和设备,所述方法、系统和设备包括编码在计算机存储介质上的计算机程序。所述方法中的一个包括:获得包括一个或多个眼底图像的模型输入,每个眼底图像是患者的眼睛的眼底的图像;使用眼底图像处理机器学习模型处理所述模型输入,其中所述眼底图像处理机器学习模型被配置成处理包括所述一个或多个眼底图像的模型输入,以生成模型输出;以及处理所述模型输出以生成健康分析数据。

Description

使用机器学习模型处理眼底图像
技术领域
本说明书涉及使用机器学习模型处理图像。
背景技术
机器学习模型接收输入并且基于接收的输入生成输出,例如预测的输出。一些机器学习模型是参数模型,并且基于接收的输入和模型的参数值生成输出。
一些机器学习模型是深度模型,所述深度模型采用多层模型来为接收的输入生成输出。例如,深度神经网络是深度机器学习模型,所述深度机器学习模型包括输出层和一个或多个隐藏层,所述输出层和一个或多个隐藏层各自对接收的输入应用非线性转变以生成输出。
一些神经网络是递归神经网络。递归神经网络是接收输入序列并且从所述输入序列生成输出序列的神经网络。特别地,在从所述输入序列中的当前输入生成输出中,在处理输入序列中的前一个输入之后,递归神经网络使用网络的内部状态中的一些或全部。
发明内容
本说明书总体上描述一种通过使用眼底图像处理机器学习模型处理包括患者的一个或多个眼底图像的数据来生成有关患者的健康分析数据的系统。
可以实现本说明书中所描述的主题的特定实施例,以便实现以下优点中的一个或多个。健康分析系统可以仅使用患者的眼睛的眼底的一个或多个图像以及最少或没有其它患者数据来有效地分析患者的健康。特别地,健康分析系统可以使用眼底图像有效地分析特定身体状况的存在或可能的进展。替代地或另外,健康分析系统可以有效地预测在治疗身体状况的过程中哪些治疗或后续举措将是最有效的。替代地或另外,健康分析系统可以准确地评估患者出现不期望的健康事件的风险,或者使用眼底图像准确地评估患者的整体健康。替代地或另外,健康分析系统可以使用眼底图像准确地预测导致患者会出现特定一组健康事件的风险的一组因素的值。
在一些实现方式中,系统可以向系统的用户呈现数据,所述数据解释针对由系统生成的预测值的基础,即机器学习模型所专注的以生成特定预测的眼底图像部分。在执行该操作时,所述系统可以允许医师或其他用户洞察预测过程。
附图和下面的描述中阐述了本说明书的主题的一个或多个实施例的细节。根据描述、附图和权利要求,所述主题的其它特征、方面和优点将变得显而易见。
附图说明
图1示出示例眼底图像分析系统。
图2A是用于生成健康分析数据的示例过程的流程图。
图2B示出通过眼底图像处理机器学习模型处理示例眼底图像。
图3是用于生成特定于特定身体状况的健康分析数据的示例过程的流程图。
图4是用于生成识别患者后续举措的健康分析数据的示例过程的流程图。
图5是用于生成预测身体状况的可能进展的健康分析数据的示例过程的流程图。
图6是用于生成预测针对给定患者的身体状况的适当治疗的健康分析数据的示例过程的流程图。
图7是用于生成包括预测的眼底图像的健康分析数据的示例过程的流程图。
图8是用于生成预测健康事件发生的风险的健康分析数据的示例过程的流程图。
图9是用于生成表征患者的整体健康的健康分析数据的示例过程的流程图。
图10是用于生成包括有关一个或多个风险因素的预测值的健康分析数据的示例过程的流程图。
图11是用于生成包括识别眼底图像中的位置的数据的健康分析数据的示例过程的流程图,当生成模型输出时所述眼底图像被机器学习模型所专注。
各种附图中的相同参考编号和名称指示相同的元件。
具体实施方式
本说明书总体上描述一种可以从包括患者的一个或多个眼底图像和可选地其它患者数据的输入生成健康分析数据的系统。眼底图像是患者的眼睛中的一个的眼底的照片。眼睛的眼底是眼睛的与透镜相对的内部表面,并且除其他之外包括视网膜和视神经盘。
一般而言,为了生成针对给定患者的健康分析数据,系统使用眼底图像处理机器学习模型处理一个或多个眼底图像和可选地其它患者数据,以生成有关患者的模型输出,并且然后从所述模型输出生成健康分析数据。
图1示出示例眼底图像分析系统100。眼底图像分析系统100是实现为一个或多个位置处的一个或多个计算机上的计算机程序的系统的示例,其中可以实现下面所描述的系统、组件和技术。
对于给定患者,眼底图像分析系统100接收包括患者的眼睛的一个或多个眼底图像的眼底图像数据122,并且生成表征患者的健康的健康分析数据142。
在一些实现方式中,眼底图像分析系统100包括眼底图像捕获系统110或与其通信,眼底图像捕获系统110生成眼底图像并且将所述眼底图像作为输入眼底图像数据122提供给眼底图像分析系统。特别地,眼底图像捕获系统110包括例如图像捕获装置120的一个或多个图像捕获装置,所述一个或多个图像捕获装置被配置成捕获患者的眼底的图像。一般而言,图像捕获装置120是专用眼底相机,所述专用眼底相机被配置成捕获合适类型的眼底图像,例如使用彩色眼底照相、立体照相术、广域或超广域照相术或扫描激光检眼镜(SLO)。在一些情况下,图像捕获系统110包括捕获不同类型的眼底图像的多个图像捕获装置。
在其它实现方式中,眼底图像分析系统100例如通过数据通信网络从外部系统接收输入眼底图像数据122。
眼底图像分析系统100使用眼底图像处理机器学习模型130处理输入眼底图像数据122和可选的有关给定患者的其它数据。眼底图像处理机器学习模型130是被配置成处理输入眼底图像数据122和可选地其它患者数据124以生成表征患者的健康的模型输出132的机器学习模型。
眼底图像数据122中有多少眼底图像,系统100是否接收其它患者数据124和如果接收,那么接收的其它患者数据124是什么性质,以及模型输出132的组成取决于眼底图像处理机器学习模型130的配置。下面参考图2到图9更加详细地描述眼底图像数据、机器学习模型130的示例配置和模型输出132的示例组成。
眼底图像分析系统100还包括患者健康分析子系统140,所述患者健康分析子系统140接收模型输出132并且生成患者健康分析数据142。一般而言,患者健康分析子系统140以可以呈现给系统用户的方式生成表征模型输出的健康分析数据。患者健康分析子系统140然后可以提供健康分析数据142以便在例如在患者的用户计算机上或者在医学专家的计算机上的用户界面中呈现给用户,存储健康分析数据142供未来使用,或者出于一些其它直接目的提供健康分析数据142供使用。
在一些实现方式中,眼底图像分析系统100通过数据通信网络从用户计算机的远程用户接收对患者健康分析数据142的请求。例如,上面实现了眼底图像捕获系统110的计算机的用户计算机可以能够通过数据通信网络向眼底图像分析系统100提交请求,做法是提供眼底图像数据作为对眼底图像分析系统100进行应用程序编程接口(API)调用的一部分。响应于API调用,眼底图像分析系统100可以生成健康分析数据142,并且通过数据通信网络将健康分析数据传输给用户计算机。
另外,在一些实现方式中,机器学习模型130通过远离眼底图像分析系统100的一个或多个计算机实现。在这些实现方式中,眼底图像分析系统100可以访问机器学习模型130,做法是通过网络做出包括对机器学习模型130的输入的API调用,并且可以响应于API调用接收模型输出132。
虽然本说明书中的描述总体上描述生成特定模型输出的单个机器学习模型130,但是在一些情况下,系统100包括给定类别的模型输出的多个机器学习模型的集合或与其通信。每个机器学习模型130生成相同类别的模型输出,并且系统100或其它系统可以将由所述集合生成的模型输出加以组合,例如通过计算模型输出的集中趋势的度量。然后,可以将组合的输出视为系统100的模型输出132。
图2A是用于生成健康分析数据的示例过程200的流程图。为了方便起见,过程200将被描述成由位于一个或多个位置处的一个或多个计算机的系统执行。例如,眼底图像分析系统(例如图1的眼底图像分析系统100)当被适当地编程时可以执行过程200。
系统接收输入眼底图像数据和可选地其它患者数据(步骤202)。
一般而言,眼底图像数据包括患者的眼睛的一个或多个眼底图像。
在一些实现方式中,眼底图像数据包括单个眼底图像,例如捕获患者的眼底的当前状态的图像。
在一些其它实现方式中,眼底图像数据包括捕获患者的眼底的当前状态的多个眼底图像。例如,眼底图像数据可以包括患者的左眼中的眼底的一个或多个图像和患者的右眼中的眼底的一个或多个图像。举另一示例来说,眼底图像可以包括多个不同类型的眼底照片。例如,眼底图像可以包括以下中的两个或更多个:彩色眼底照片、立体眼底照片、广域或超广域眼底照片或扫描激光检眼镜(SLO)眼底照片。举另一示例来说,眼底图像可以包括使用不同的成像技术(例如光学相干层析成像(OCT)与海德堡视网膜层析成像(HRT))捕获的多个图像。
在其它实现方式中,眼底图像数据包括眼底图像的时间序列所述眼底图像捕获眼底的状态是如何随时间演变的。也就是说,所述时间序列包括多个眼底图像,其中每个眼底图像是在不同的时间拍摄的。在一些实现方式中,眼底图像按照从最远到最近的时间顺序排序。
其它患者数据是表征患者的眼睛的数据,总体上表征患者的数据,或二者。例如,其它患者数据可以包括:眼部测量数据,例如眼压、视野、视敏度、中央角膜厚度等;患者人口统计信息,例如年龄、性别、种族、家族史等;或二者。
系统使用眼底图像处理机器学习模型处理输入眼底图像数据和可选地其它患者数据,以生成模型输出(步骤204)。
可选地,在使用机器学习模型处理眼底图像数据之前,系统可以预处理眼底图像。例如,对于给定图像,系统可以将多种常见图像处理技术中的任何一个应用于图像,以提高由机器学习模型生成的输出的品质。举例来说,系统可以裁剪、缩放、纠偏或使图像回到中心位置。举另一个示例来说,系统可以使用常见图像处理技术从图像移除变形,例如移除模糊或重新聚焦图像。
在眼底图像数据包括单个眼底图像的实现方式中,眼底图像处理机器学习模型是前馈机器学习模型,已经通过在适当标记的训练数据上训练来配置所述前馈机器学习模型以处理眼底图像数据和可选地其它患者数据,以生成表征患者健康的特定方面的模型输出。例如,眼底图像处理机器学习模型可以是深度卷积神经网络。在Szegedy、Christian等人的2015年IEEE计算机视觉和模式识别会议论文集“Going deeper with convolutions”中描述了可以训练以处理眼底图像以生成本说明书中描述的模型输出的深度卷积神经网络的示例。在http://arxiv.org/abs/1602.07261可获得的Szegedy、Christian等人的文章“Inception-v4,Inception-ResNet and the Impact of Residual Connections onLearning”中描述了深度卷积神经网络的其他示例,包括具有残余连接的卷积神经网络,所述卷积神经网络可以被训练以处理眼底图像以生成本说明书中描述的模型输出。
在眼底图像数据包括表征患者的眼底的当前状态的多个眼底图像的实现方式中,眼底图像处理机器学习模型可以是前馈眼底图像处理机器学习模型,已经通过在适当标记的训练数据上训练来配置所述前馈眼底图像处理机器学习模型以处理所有眼底图像,以生成表征患者健康的特定方面的模型输出。例如,眼底图像处理机器学习模型可以是包括多个卷积层塔的深度卷积神经网络。在Yue-Hei Ng、Joe等人的2015年IEEE计算机视觉和模式识别会议论文集“Beyond short snippets:Deep networks for video classification”中描述了可以训练以处理多个眼底图像以生成本说明书中描述的模型输出的深度卷积神经网络的示例。
在眼底图像数据包括眼底图像的时间序列的实现方式中,眼底图像处理机器学习模型可以是递归眼底图像处理机器学习模型,所述递归眼底图像处理机器学习模型已经被配置成逐个处理时间序列中的每个图像,以针对每个图像更新递归眼底图像处理机器学习模型的内部状态,以及在已经处理了时间序列中的最后一个图像之后,生成表征患者健康的特定方面的模型输出。例如,眼底图像处理机器学习模型可以是包括一个或多个长短期记忆(LSTM)层的递归神经网络。在Venugopalan、Subhashini等人的2015年IEEE计算机视觉会议论文集“Sequence to sequence-video to text”中描述了可以被训练以处理眼底图像的序列以生成本说明书中描述的模型输出的递归神经网络。
在一些实现方式中,模型输出特定于特定身体状况。下面参考图3到图6更加详细地描述了特定于特定身体状况的模型输出。
在一些其它实现方式中,模型输出是患者眼睛的眼底的未来状态的预测。下面参考图7更加详细地描述了为眼底的未来状态预测的模型输出。
在其它实现方式中,模型输出是在未来发生的特定健康事件的风险的预测。下面参考图8更加详细地描述了为特定事件发生的风险的预测的模型输出。
在其它实现方式中,模型输出表征患者的整体健康。下面参考图9更加详细地描述了表征患者的整体健康的模型输出。
在其它实现方式中,模型输出是导致特定类别的健康相关风险的因素的值的预测。下面参考图10更加详细地描述了为风险因素的值的预测的模型输出。
系统从模型输出生成健康分析数据(步骤206)。一般而言,健康分析数据以可以呈现给系统的用户的方式表征模型输出。
在一些实现方式中,健康分析数据还包括从机器学习模型的中间输出导出的数据,所述数据解释当生成模型输出时机器学习模型所专注的一个或多个眼底图像的各部分。特别地,在一些实现方式中,机器学习模型包括关注机制,所述关注机制将相应关注权重指派给输入眼底图像的多个区域中的每个,并且然后根据关注权重处理从这些区域提取的特征。在这些实现方式中,系统可以生成识别关注权重的数据,并且包括生成的数据作为健康分析数据的一部分。例如,生成的数据可以是眼底图像的反映指派给图像的各区域的关注权重的关注图表。例如,关注图表可以叠加在眼底图像上方,以识别当生成模型输出时机器学习模型所专注的患者的眼底的区域。下面参考图11更加详细地描述了生成识别机器学习模型所专注的眼底区域的数据。
系统然后可以提供健康分析数据以便在例如在患者的用户计算机上或者在医学专家的计算机上的用户界面中呈现给用户,或存储健康分析数据供未来使用。
图2B示出通过眼底图像处理机器学习模型130处理示例眼底图像150。特别地,在图1B的示例中,眼底图像处理机器学习模型130是深度卷积神经网络,所述深度卷积神经网络被配置成接收眼底图像150和处理眼底图像150,以生成表征患者的健康的特定方面的模型输出。
图2B中示出的卷积神经网络是深度卷积神经网络的简化示例,并且包括一组卷积神经网络层162,后面是一组完全连接的层164和输出层166。应当理解,在实践中,深度卷积神经网络可以包括其它类型的神经网络层,例如池化层、标准化层等,并且可以布置成各种配置,例如作为多个模块、多个子网络等。
在通过卷积神经网络处理眼底图像150期间,输出层166接收由所述一组完全连接的层164中的最后一个完全连接的层生成的输出,并且生成有关眼底图像150的模型输出。在图2B的示例中,模型输出是一组分值170,其中每个分值由输出层166中的对应节点生成。如下面将更加详细地描述,在一些情况下,一组分值170特定于特殊身体状况。在一些其他情况下,所述一组分值170中的每个分值是未来发生的相应健康事件的风险的预测。在其它情况下,所述一组分值170中的分值表征患者的整体健康。
一旦已经生成了所述一组分值170,眼底图像分析系统就根据所述分值170生成表征患者的健康的方面的患者健康分析数据,并且提供健康分析数据142以便在例如在患者的用户计算机上或者在医学专家的计算机上的用户界面中呈现给用户,存储健康分析数据供未来使用,或者出于一些其它直接目的提供健康分析数据供使用。
图3是用于生成特定于特定身体状况的健康分析数据的示例过程300的流程图。为了方便起见,过程300将被描述成由位于一个或多个位置处的一个或多个计算机的系统执行。例如,眼底图像分析系统(例如,图1的眼底图像分析系统100)当被适当编程时可以执行过程300。
系统接收输入眼底图像数据和可选地其它患者数据(步骤302)。
系统使用眼底图像处理机器学习模型处理输入眼底图像数据和可选地其它患者数据,以生成一组状况状态分值(步骤304)。
一般而言,所述一组状况状态分值特定于系统已经被配置成分析的特定身体状况。
在一些实现方式中,身体状况是特定的眼睛相关状况。
例如,特定眼睛相关状况可以是青光眼。一般而言,青光眼是视神经被损坏的状况,可能会导致失明。
举另一示例来说,特定眼睛相关状况可以是年龄相关的黄斑变性。一般而言,年龄相关的黄斑变性是黄斑(视网膜中心附近区域)劣化的状况,这可能会导致部分或全部视力丧失。
举另一示例来说,特定眼睛相关状况可以是视网膜脱落。一般而言,视网膜脱落是视网膜部分或完全脱离其下面的支持组织层的一种疾病。
举另一示例来说,特定眼睛相关状况可以是眼部闭塞。一般而言,眼部闭塞是输送血液进出眼睛的某一部分(例如进出视网膜)的血管的堵塞或闭合。
在一些其它实现方式中,特定状况不是眼睛相关状况,而是神经退行性状况,例如帕金森或阿尔茨海默,或者是可以使用眼底图像有效地分析的另一状况。
在一些实现方式中,所述一组状况状态分值包括单个分值,所述单个分值表示患者具有身体状况的可能性。
例如,在青光眼的情况下,单个分值可以表示患者具有青光眼的可能性。
举另一示例来说,在年龄相关的黄斑变性的情况下,单个分值可以表示患者具有年龄相关的黄斑变性的可能性。
举另一示例来说,在视网膜脱落的情况下,单个分值可以表示患者具有视网膜脱落的可能性。
举另一示例来说,在眼部闭塞的情况下,单个分值可以表示患者具有一个或多个眼部闭塞的可能性。
举另一示例来说,在神经退行性状况的情况下,单个分值可以表示患者具有神经退行性状况(例如,帕金森或阿尔茨海默)的可能性。
在一些其它实现方式中,所述一组状况状态分值包括有关多个可能的等级的身体状况中的每个的相应分值,其中每个状况分值表示对应等级是有关患者的当前状况等级的可能性。
例如,在青光眼的情况下,所述一组分值可以包括有关非青光眼、轻微或早期青光眼、中期青光眼、严重阶段的青光眼和可选地不确定的或未指定阶段的分值。
举另一示例来说,在年龄相关的黄斑变性的情况下,所述一组分值可以包括有关非黄斑变性、早期黄斑变性、中期黄斑变性、晚期黄斑变性和可选地不确定的或未指定阶段的分值。
举另一示例来说,在视网膜脱落的情况下,所述一组分值可以包括有关非视网膜脱落、初始视网膜脱落(即,仅视网膜撕裂或破裂)、晚期视网膜脱落和可选地不确定的或未指定阶段的分值。
举另一示例来说,在眼部闭塞的情况下,所述一组分值可以包括有关非眼部闭塞、轻微眼部闭塞、严重眼部闭塞和可选地不确定的或未指定阶段的分值。
举另一示例来说,在神经退行性状况的情况下,所述一组分值可以包括有关不具有神经退行性状况的分值,有关多个阶段的神经退行性状况中的每个和可选地不确定的或未指定阶段的分值。
所述系统从状况状态分值生成健康分析数据(步骤306)。例如,系统可以生成健康分析数据,所述健康分析数据识别患者具有身体状况或识别具有最高状况状态分值的一个或多个状况等级的可能性。
图4是用于生成识别患者后续举措的健康分析数据的示例过程400的流程图。为了方便起见,过程400将被描述成由位于一个或多个位置处的一个或多个计算机的系统执行。例如,眼底图像分析系统(例如图1的眼底图像分析系统100)当被适当地编程时可以执行过程400。
系统接收输入眼底图像数据和可选地其它患者数据(步骤402)。
系统使用眼底图像处理机器学习模型处理输入眼底图像数据和可选地其它患者数据,以生成一组后续分值(步骤404)。
所述一组后续分值包括有关患者可能会采取以治疗特定身体状况的多个可能的后续举措中的每个的相应分值。例如,所述一组可能的后续举措可以包括在未来的时间执行重新筛查,在未来的时间去看医生,和立即去看医生。每个后续分值表示对应的后续举措是将采取以有效地治疗身体状况的适当举措的可能性。
所述系统根据后续分值生成健康分析数据(步骤406)。例如,系统可以生成推荐患者采取具有最高后续分值的后续举措的健康分析数据。
图5是用于生成预测身体状况的可能进展的健康分析数据的示例过程500的流程图。为了方便起见,过程500将被描述成由位于一个或多个位置处的一个或多个计算机的系统执行。例如,眼底图像分析系统(例如图1的眼底图像分析系统100)当被适当地编程时可以执行过程500。
系统接收输入眼底图像数据和可选地其它患者数据(步骤502)。
系统使用眼底图像处理机器学习模型处理输入眼底图像数据和可选地其它患者数据,以生成一组进展分值(步骤504)。所述一组进展分值特定于系统已经被配置成分析的特定身体状况。所述一组状况状态分值包括有关多个可能的等级的身体状况中的每个的相应分值,其中每个状况分值表示对应等级将是有关患者在预确定未来时间(例如,6个月、1年或5年)的状况等级的可能性。
例如,在青光眼的情况下,所述一组分值可以包括针对非青光眼、轻微或早期青光眼、中期青光眼和严重阶段的青光眼的分值,其中针对每个阶段的分值表示对应阶段将是针对患者在未来时间的青光眼阶段的可能性。
举另一示例来说,在年龄相关的黄斑变性的情况下,所述一组分值可以包括针对非黄斑变性、早期黄斑变性、中期黄斑变性和晚期黄斑变性和可选地不确定的或未指定阶段的分值,其中针对每个阶段的分值表示对应阶段将是针对患者在未来时间的黄斑变性阶段的可能性。
举另一示例来说,在神经退行性状况的情况下,所述一组分值可以包括有关不具有神经退行性状况的分值,和有关多个阶段的神经退行性状况中的每个的分值,其中有关每个阶段的分值表示对应阶段将是有关未来时间患者状况的阶段的可能性。
所述系统根据进展分值生成健康分析数据(步骤506)。健康分析数据识别患者的身体状况的可能进展。例如,系统可以生成识别可能的状况条件等级中的一个或多个的健康分析数据,并且针对每个可能的状况等级识别对应等级将是患者的未来状况等级的可能性。
图6是用于生成预测针对给定患者的身体状况的适当治疗的健康分析数据的示例过程600的流程图。为了方便起见,过程600将被描述成由位于一个或多个位置处的一个或多个计算机的系统执行。例如,眼底图像分析系统(例如图1的眼底图像分析系统100)当被适当地编程时可以执行过程600。
系统接收输入眼底图像数据和任选地其它患者数据(步骤602)。
系统使用眼底图像处理机器学习模型处理输入眼底图像数据和任选地其它患者数据,以生成一组治疗分值(步骤604)。
所述一组治疗分值包括针对给定身体状况的多个可能的治疗中的每个的相应分值,其中每个治疗分值表示对应治疗是针对当前患者的状况的最有效治疗的可能性。
例如,所述一组治疗分值可以包括针对可以向具有身体状况的患者开处方的多个药物中的每个的相应分值。
举另一示例来说,所述一组治疗分值可以包括针对给定身体状况的多个治疗方案中的每个的相应分值,例如针对一个或多个医疗过程的相应分值和针对在不经历该过程的情况下复原的分值。
所述系统根据进展分值生成健康分析数据(步骤606)。例如,健康分析数据可以识别最高得分治疗中的一个或多个。
图7是用于生成包括预测的眼底图像的健康分析数据的示例过程700的流程图。为了方便起见,过程700将被描述成由位于一个或多个位置处的一个或多个计算机的系统执行。例如,眼底图像分析系统(例如图1的眼底图像分析系统100)当被适当地编程时可以执行过程700。
系统接收输入眼底图像数据和任选地其它患者数据(步骤702)。
系统使用眼底图像处理机器学习模型处理输入眼底图像数据和可选地其它患者数据,以生成预测的眼底图像(步骤704)。
预测的眼底图像是将在特定未来时间(例如,六个月、一年或五年)观察的、如预测的患者的眼睛的眼底的图像。
例如,眼底图像处理机器学习模型可以是卷积神经网络,其被配置成通过训练,针对输入眼底图像中的每个像素,预测特定未来时间的像素的颜色。
举另一示例来说,当眼底图像数据包括眼底图像的时间序列时,眼底图像处理机器学习模型可以是递归神经网络,其被配置成通过训练,针对所述序列中的最近眼底图像中的每个像素,预测特定未来时间的像素的颜色。所述系统可以使用针对像素的预测颜色值来生成预测眼底图像。
所述系统根据进展分值生成健康分析数据(步骤706)。例如,健康分析数据可以包括预测的眼底图像和任选地附加健康分析数据。
图8是用于生成预测健康事件发生的风险的健康分析数据的示例过程800的流程图。为了方便起见,过程800将被描述成由位于一个或多个位置处的一个或多个计算机的系统执行。例如,眼底图像分析系统(例如图1的眼底图像分析系统100)当被适当地编程时可以执行过程800。
系统接收输入眼底图像数据和任选地其它患者数据(步骤802)。
系统使用眼底图像处理机器学习模型处理输入眼底图像数据和可选地其它患者数据,以生成一组风险分值(步骤804)。
在一些实现方式中,所述一组风险分值包括单个分值,所述单个分值测量特定类别的风险。例如,所述分值可以测量患者的预测心血管疾病风险,例如可以是测量患者的10年心血管疾病风险的预测的Framingham风险分值。
在一些其它实现方式中,所述一组风险分值可以特定于特定的不良健康事件。
例如,不良健康事件可以是心脏病发作、中风、死亡、住院治疗、摔倒、术前或术后并发症等。在这些实现方式中的一些中,所述一组风险分值包括单个分值,所述单个分值表示未来(例如,在指定的未来时间窗内)发生不良健康事件的可能性。在这些实现方式中的其它实现方式中,所述一组风险分值包括针对健康事件的多个风险等级(例如,低、中和高)中的每个的相应分值,其中每个风险分值表示对应风险等级是发生的健康事件的当前风险等级的可能性。
在其它实现方式中,所述一组分值可以包括多个分值,其中每个分值对应于相应不良健康事件,并且表示未来(例如,在指定的未来时间窗内)将发生对应不良健康事件的可能性。
所述系统根据风险分值生成健康分析数据(步骤806)。例如,在所述一组分值包括单个分值的实现方式中,健康分析数据可以识别单个分值。举另一示例来说,在所述一组分值包括多个分值的情况下,健康分析数据可以识别最高得分风险等级。
图9是用于生成表征患者的整体健康的健康分析数据的示例过程900的流程图。为了方便起见,过程900将被描述成由位于一个或多个位置处的一个或多个计算机的系统执行。例如,眼底图像分析系统(例如图1的眼底图像分析系统100)当被适当地编程时可以执行过程900。
系统接收输入眼底图像数据和任选地其它患者数据(步骤902)。
系统使用眼底图像处理机器学习模型处理输入眼底图像数据和可选地其它患者数据,以生成一组安康(wellness)分值(步骤904)。
在一些实现方式中,所述一组安康分值包括单个分值,所述单个分值以预确定比例测量患者的整体健康。
在一些其它实现方式中,所述一组安康分值可以包括针对多个安康标签中的每个的相应分值,所述多个安康标签各自表征患者的整体健康。例如,安康标签可以是“非常健康”、“健康”、“有点不健康”和“非常不健康”。每个分值表示对应安康标签准确地表征患者的当前健康的可能性。因此,例如针对安康标签“非常健康”的分值表示患者非常健康的可能性,而针对“有点不健康”标签的分值表示患者有点不健康的可能性。
所述系统根据风险分值生成健康分析数据(步骤906)。例如,在所述一组分值包括单个分值的实现方式中,健康分析数据可以识别单个分值。举另一示例来说,在所述一组分值包括多个分值的情况下,健康分析数据可以识别最高得分安康标签。
图10是用于生成包括针对一个或多个风险因素的预测的值的健康分析数据的示例过程1000的流程图。为了方便起见,过程1000将被描述成由位于一个或多个位置处的一个或多个计算机的系统执行。例如,眼底图像分析系统(例如图1的眼底图像分析系统100)当被适当地编程时可以执行过程1000。
系统接收包括一个或多个眼底图像的输入眼底图像数据(步骤1002)。
系统使用眼底图像处理机器学习模型处理输入眼底图像数据,以生成针对一个或多个风险因素中的每个的相应预测值(步骤1004)。
风险因素中的每个是导致患者会出现特定一组健康相关事件中的一个的风险的因素。例如,当风险是心血管疾病风险时,所述特定一组健康相关事件可以是被分类成主要心血管疾病健康事件的健康事件,例如心肌梗死、心脏衰竭、心脏介入治疗、冠状动脉旁路移植术、恶性心律失常、心脏休克、入式心脏复律除颤器、恶性心律失常、心脏相关死亡率等。
继续举心血管疾病风险的示例来说,风险因素可以包括以下中的一个或多个:年龄、性别、体重指数、收缩压、舒张压、HbA1c(糖化血红蛋白)的测量或抽烟状况,即患者是否抽烟。
在一些实现方式中,系统采用多个机器学习模型,所述多个机器学习模型各自生成针对风险因素的不同子集的预测值。例如,一个模型可以生成针对可以仅采用两个值(例如,抽烟状态和性别)中的一个的二元风险因素的预测值,而另一模型可以生成针对可以采用来自某一值范围的连续值(例如年龄、体重指数和血压)的连续风险因素的预测值。两个模型中的每个可以具有类似的架构,但是具有不同的参数值。
系统根据预测值生成健康分析数据(步骤1006)。例如,健康分析数据可以识别每个生成的预测值。在一些情况下,系统可以使用预测值来计算特定风险的测量,并且提供风险的计算的测量作为健康分析数据的一部分。例如,系统可以提供预测值作为到被配置成预测风险的测量的另一机器学习模型,或者到获得计算的测量的硬编码的公式的输入。例如,在心血管疾病风险的情况下,系统可以使用预测值计算Framingham风险分值。或者,系统可以提供预测值作为到机器学习模型的输入,所述机器学习模型已经被训练来基于风险因素的值而预测风险测量。
图11是用于生成包括识别眼底图像中的位置的数据的健康分析数据的示例过程1100的流程图,当生成模型输出时所述眼底图像被机器学习模型所专注。为了方便起见,过程1100将被描述成由位于一个或多个位置处的一个或多个计算机的系统执行。例如,眼底图像分析系统(例如图1的眼底图像分析系统100)当被适当地编程时可以执行过程1100。
系统接收输入眼底图像数据和任选地其它患者数据(步骤1102)。
系统使用眼底图像处理机器学习模型处理输入眼底图像数据和任选地其它患者数据,以生成模型输出(步骤1104)。所述模型输出可以是上面参考图2到图10所描述的模型输出中的任何一个。
特别地,机器学习模型是包括一个或多个初始卷积层的模型,所述一个或多个初始卷积层后面是关注机制,而所述关注机制后面是一个或多个附加神经网络层。
初始卷积层处理眼底图像数据中的每个眼底图像,以提取针对眼底图像中的多个区域中的每个的相应特征向量。
关注机制确定针对眼底图像中的区域中的每个的关注权重,并且然后根据对应关注权重来处理特征向量,以生成关注输出。一般而言,关注机制通过计算特征向量的加权和或加权平均值来处理特征向量,其中针对每个特征向量的权重是针对对应区域的关注权重。为了确定关注权重,系统可以使用多种关注方案中的任何一个来确定特征向量中的每个与生成针对眼底图像的模型输出的关联,并且然后使确定的关联标准化以计算关注权重。示例关注方案包括使用一个或多个完全连接的层来处理特征向量以确定关联,以及通过计算特征向量与学习的语境向量之间的余弦相似性来确定给定特征向量的关联。在https://arxiv.org/abs/1502.03044可获得的Xu等人的“Show,Attend and Tell:NeuralImage Caption Generation with Visual Attention”中描述了可以适于在眼底图像处理机器学习模型中使用的示例关注机制。
在关注机制后面的附加的神经网络层接收针对眼底图像中的每个的一个或多个关注输出,并且根据关注输出生成模型输出。例如,当机器学习模型是递归神经网络时,附加的神经网络层包括一个或多个递归层。当机器学习模型是卷积神经网络时,附加的神经网络层可以包括卷积神经网络层、完全连接的层或其它卷积前馈神经网络层。
系统根据风险分值生成健康分析数据(步骤1106)。特别地,如上所述,健康分析数据以可以呈现给系统用户的方式表征模型输出。
另外,健康分析数据包括表征机器学习模型所专注的眼底图像的区域以生成模型输出的数据。特别地,健康分析数据包括识别指派给眼底图像中的区域的关注权重的数据。例如,系统可以生成关注图表,所述关注图表针对眼底图像中的每个像素识别指派给所述像素的关注权重,即像素所属图像区域的关注权重。例如,关注图表可以是热图,所述热图将关注权重表示成颜色。在一些实现方式中,系统提供关注图表作为对应眼底图像的叠加。
本说明书结合系统和计算机程序组件使用术语“配置”。具有将被配置成执行特定操作或动作的一个或多个计算机的系统意味着所述系统上安装有软件、固件、硬件或以上的组合,在操作中致使系统执行所述特定操作或动作。将被配置成执行特定操作或动作的一个或多个计算机程序意味着一个或多个程序包括指令,所述指令当被数据处理设备实行时致使设备执行所述操作或动作。
本说明书中描述的主题和功能操作的实施例可以在数字电子电路中,在有形地体现的计算机软件或固件中,在计算机硬件中实现,包括本说明书中公开的结构以及其结构等效形式或者它们中的一个或多个的组合。本说明书中描述的主题的实施例可以实现为一个或多个计算机程序,即编码在有形非暂时性存储媒体上以便由数据处理设备实行或者控制数据处理设备的操作的计算机程序指令的一个或多个模块。计算机存储介质可以是机器可读存储装置、机器可读存储衬底、随机或串行存取存储器装置或它们中的一个或多个的组合。可选地或另外,程序指令可以编码在人工生成的传播信号上,例如机器生成的电气、光学或电磁信号,所述信号被生成以编码信息以便传输到合适的接收器设备以供数据处理设备执行。
术语“数据处理设备”表示数据处理硬件,并且涵盖所有类别的设备、装置和机器以便处理数据,包括举例来说可编程处理器、计算机或多个处理器或计算机。所述设备还可以是或另外包括专用逻辑电路,例如FPGA(现场可编程门阵列)或者ASIC(专用集成电路)。除了硬件以外,所述设备可以可选地包括为计算机程序创建实行环境的代码,例如构成处理器固件、协议栈、数据库管理系统、操作系统或它们的一个或多个的组合的代码。
可以被称为或描述为程序、软件、软件应用、应用程序、模块、软件模块、脚本或代码的计算机程序可以以任何形式的编程语言编写,所述编程语言包括编译或解释语言或程序性语言或过程性语言;并且可以部署成任何形式,包括部署成独立程序或部署成模块、组件、子程序或适合于在计算环境中使用的其它单元。程序可以但不必对应于文件系统中的文件。程序可以存储在容纳其它程序或数据的文件的一部分中,例如存储在标记语言文献中的一个或多个脚本,存储在专用于讨论中的程序的单个文件,或者存储在多个协调文件中,例如存储一个或多个模块、子程序或代码的部分的文件。计算机程序可以被部署成在一个计算机或多个计算机上实行,所述一个计算机或多个计算机位于一个地点或跨多个地点分布并且通过数据通信网络互连。
在本说明书中,术语“数据库”被广泛地用于表示数据的任何集合:数据不需要以任何特定方式构建,或者根本不需要构建,并且可以存储在一个或多个位置的存储装置上。因此,例如,索引数据库可以包括数据的多个集合,所述多个集合中的每个可以以不同方式加以组合和访问。
类似地,在本说明书中,术语“引擎”被广泛地用于被编程来执行一个或多个特定功能的基于软件的系统、子系统或过程。一般而言,引擎将被实现为一个或多个软件模块或组件,安装在一个或多个位置处的一个或多个计算机上。在一些情况下,一个或多个计算机将专用于特定引擎;在其它情况下,多个引擎可以在一个或多个相同的计算机上安装和运行。
本说明书中描述的过程和逻辑流可以由实行一个或多个计算机程序的一个或多个可编程计算机执行,以通过对输入数据进行操作和生成输出来执行各功能。过程和逻辑流还可以由例如FPGA或ASIC的专用逻辑电路执行,或者通过专用逻辑电路和一个或多个编程的计算机的组合执行。
适合于实行计算机程序的计算机可以基于通用或专用微处理器或二者,或任何其它类别的中央处理单元。一般而言,中央处理单元将从只读存储器或随机存取存储器或二者接收指令和数据。计算机的主要元件是用于执行或实行指令的中央处理单元和用于存储指令和数据的一个或多个存储器装置。中央处理单元和存储器可以由专用逻辑电路补充或并入专用逻辑电路中。一般而言,计算机还将包括或可操作地联接以从用于存储数据的一个或多个大容量存储装置接收数据或将数据传递给一个或多个大容量存储装置或二者,所述一个或多个大容量存储装置例如为磁盘、磁光盘或光盘。然而,计算机不必具有这种装置。此外,计算机可以嵌在另一装置中,仅举几个示例来说,所述另一装置例如移动电话、个人数字助理(PDA)、移动音频或视频播放器、游戏机、全球定位系统(GPS)接收器或便携式存储装置(例如,通用串行总线(USB)闪存盘)。
适合用于存储计算机程序指令和数据的计算机可读介质包括所有形式的非易失性存储器、介质和存储器装置,包括举例来说半导体存储器装置(例如,EPROM、EEPROM)和快闪存储器装置;磁盘(例如,内部硬盘或可移除盘);磁光盘;以及CD ROM和DVD-ROM盘。
为了提供与用户的交互,本说明书中所描述的主题的实施例可以在计算机上实现,所述计算机具有用于向用户显示信息的显示装置(例如,CRT(阴极射线管)或LCD(液晶显示器)监视器)以及可以被用户用来向计算机提供输入的键盘和指向装置(例如,鼠标或轨迹球)。其它类别的装置也可以被用来提供与用户的交互;例如,提供给用户的反馈可以是任何形式的感觉反馈(例如,视觉反馈、听觉反馈或触觉反馈);并且来自用户的输入可以以任何形式被接收,包括声学、语音或触觉输入。另外,计算机可以通过发送文献给用户所使用的装置和从所述装置接收文献来与用户交互;例如,通过响应于接收到来自网络浏览器的请求而将网页发送到用户的装置上的网络浏览器。而且,计算机可以通过发送文本消息或其它形式的消息给个人装置(例如,正在运行消息应用的智能电话)以及反过来接收来自用户的响应消息来与用户交互。
用于实现机器学习模型的数据处理设备还可以包括例如专用硬件加速器单元,所述专用硬件加速器单元用于处理机器学习训练或生产的常见和计算密集型部分,即推理、工作量。
机器学习模型可以使用机器学习框架(例如,TensorFlow框架、MicrosoftCognitive Toolkit框架、Apache Singa框架或Apache MXNet框架)来实现和部署。
本说明书中所描述的主题的实施例可以在计算机系统中实现,所述计算机系统包括后端组件(例如,作为数据服务器),或包括中间件组件(例如,应用服务器),或包括前端组件(例如,具有图形用户界面、网络浏览器的客户端计算机或可以被用户用来与本说明书中所描述的主题的实现方式交互的应用程序),或者一个或多个这种后端组件、中间件组件或前端组件的任何组合。系统的组件可以通过任何形式或介质的数字数据通信(例如,通信网络)来互连。通信网络的示例包括局域网(LAN)和广域网(WAN),例如互联网。
计算系统可以包括客户端和服务器。客户端和服务器通常彼此远离,并且通常通过通信网络交互。客户端和服务器的关系借助于在相应计算机上运行并且彼此具有客户端-服务器关系的计算机程序而产生。在一些实施例中,服务器将数据(例如,HTML页面)传输给用户装置,例如出于向与装置交互的用户显示数据以及接收来自所述用户的用户输入的目的,所述装置充当客户端。可以在服务器处从装置接收在用户装置处生成的数据,例如用户交互的结果。
虽然本说明书含有许多特定实现方式细节,这些不应被理解成对任何发明的范围或可能要求保护的范围的限制,而是作为可能特定于特定发明的特定实施例的特征的描述。在单独实施例的上下文中在本说明书中描述的某些特征也可以在单个实施例中组合实现。相反,在单个实施例的上下文中描述的各种特征也可以单独地或以任何合适的子组合在多个实施例中实现。此外,尽管上面的特征可以描述为以某些组合起作用并且甚至最初如此要求保护,但是在一些情况下可以从组合中切除来自所要求保护的组合的一个或多个特征,并且所要求保护的组合可以针对子组合或子组合的变化形式。
类似地,虽然在附图中描绘了操作并且以特定顺序在权利要求中叙述,但是这不应该被理解为要求以所示出的特定顺序或先后顺序执行这些操作,或者执行所有示出的操作以实现期望的结果。在某些情形下,多任务和并行处理可能是有利的。此外,上述实施例中的各种系统模块和组件的分离不应被理解为在所有实施例中都需要这种分离,并且应当理解,所描述的程序组件和系统通常可以一起集成在单个软件产品中或包装成多个软件产品。
已经描述了主题的特定实施例。其它实施例在以下权利要求的范围内。例如,可以以不同的顺序执行权利要求中所阐述的动作并且仍然实现期望的结果。举一个示例来说,附图中所阐述的过程不一定要求所示出的特定顺序或先后顺序来实现期望的结果。在一些情况下,多任务和并行处理可以是有利的。

Claims (111)

1.一种方法,包括:
获得包括一个或多个眼底图像的模型输入,每个眼底图像是患者的眼睛的眼底的图像;
使用眼底图像处理机器学习模型处理所述模型输入,其中所述眼底图像处理机器学习模型被配置成处理包括所述一个或多个眼底图像的模型输入,以生成表征所述患者关于青光眼的健康的模型输出;以及
处理所述模型输出以生成健康分析数据,所述健康分析数据对所述患者关于青光眼的所述健康的方面进行分析。
2.根据权利要求1所述的方法,其中所述模型输入还包括其它患者数据,所述其它患者数据包括眼部测量数据、患者人口统计学数据或二者。
3.根据权利要求1或2中任一项所述的方法,其中所述眼底图像处理机器学习模型是前馈机器学习模型,并且其中所述一个或多个眼底图像包括捕获所述患者的所述眼睛的所述眼底的当前状态的单个眼底图像。
4.根据权利要求1或2中任一项所述的方法,其中所述眼底图像处理机器学习模型是前馈机器学习模型,并且其中所述一个或多个眼底图像包括多个眼底图像,所述多个眼底图像各自捕获所述患者的所述眼睛的所述眼底的当前状态的不同方面。
5.根据权利要求1或2中任一项所述的方法,其中所述眼底图像处理机器学习模型是递归机器学习模型,并且其中所述一个或多个眼底图像包括捕获所述患者的所述眼底是如何随时间演变的多个眼底图像的时间序列。
6.根据权利要求1到5中任一项所述的方法,其中所述模型输出包括表示所述患者具有青光眼的可能性的状况状态分值。
7.根据权利要求1到5中任一项所述的方法,其中所述模型输出包括多个状况状态分值,每个状况状态分值对应于青光眼的相应可能的等级,并且每个状况状态分值表示青光眼的所述对应可能的等级是针对所述患者的当前青光眼等级的相应可能性。
8.根据权利要求1到5中任一项所述的方法,其中所述模型输出包括多个后续分值,每个后续分值对应于可以被所述患者采取来治疗所述青光眼的相应可能的后续举措,并且每个后续分值表示所述对应后续举措是将被采取来有效地治疗所述青光眼的适当举措的相应可能性。
9.根据权利要求1到5中任一项所述的方法,其中所述模型输出包括多个进展分值,每个进展分值对应于所述青光眼的相应可能等级,并且每个状况分值表示所述对应等级将是针对所述患者在预确定未来时间的所述青光眼的所述等级的相应可能性。
10.一种系统,包括一个或多个计算机和存储指令的一个或多个存储装置,所述指令当被所述一个或多个计算机实行时致使所述一个或多个计算机执行操作,所述操作包括:
获得包括一个或多个眼底图像的模型输入,每个眼底图像是患者的眼睛的眼底的图像;
使用眼底图像处理机器学习模型处理所述模型输入,其中所述眼底图像处理机器学习模型被配置成处理包括所述一个或多个眼底图像的模型输入,以生成表征所述患者关于青光眼的健康的模型输出;以及
处理所述模型输出以生成健康分析数据,所述健康分析数据对所述患者关于青光眼的所述健康的方面进行分析。
11.根据权利要求10所述的系统,其中所述模型输入还包括其它患者数据,所述其它患者数据包括眼部测量数据、患者人口统计学数据或二者。
12.根据权利要求10或11中任一项所述的系统,其中所述眼底图像处理机器学习模型是前馈机器学习模型,并且其中所述一个或多个眼底图像包括捕获所述患者的所述眼睛的所述眼底的当前状态的单个眼底图像。
13.根据权利要求10或11中任一项所述的系统,其中所述眼底图像处理机器学习模型是前馈机器学习模型,并且其中所述一个或多个眼底图像包括多个眼底图像,所述多个眼底图像各自捕获所述患者的所述眼睛的所述眼底的当前状态的不同方面。
14.根据权利要求10或11中任一项所述的系统,其中所述眼底图像处理机器学习模型是递归机器学习模型,并且其中所述一个或多个眼底图像包括捕获所述患者的所述眼底是如何随时间演变的多个眼底图像的时间序列。
15.根据权利要求10到14中任一项所述的系统,其中所述模型输出包括表示所述患者具有青光眼的可能性的状况状态分值。
16.根据权利要求10到14中任一项所述的系统,其中所述模型输出包括多个状况状态分值,每个状况状态分值对应于青光眼的相应可能的等级,并且每个状况状态分值表示青光眼的所述对应可能的等级是针对所述患者的当前青光眼等级的相应可能性。
17.根据权利要求10到14中任一项所述的系统,其中所述模型输出包括多个后续分值,每个后续分值对应于可以被所述患者采取来治疗所述青光眼的相应可能的后续举措,并且每个后续分值表示所述对应后续举措是将被采取来有效地治疗所述青光眼的适当举措的相应可能性。
18.根据权利要求10到14中任一项所述的系统,其中所述模型输出包括多个进展分值,每个进展分值对应于所述青光眼的相应可能等级,并且每个状况分值表示所述对应等级将是针对所述患者在预确定未来时间的所述青光眼的所述等级的相应可能性。
19.一种编码有指令的计算机存储介质,所述指令当被一个或多个计算机实行时致使所述一个或多个计算机执行操作,所述操作包括:
获得包括一个或多个眼底图像的模型输入,每个眼底图像是患者的眼睛的眼底的图像;
使用眼底图像处理机器学习模型处理所述模型输入,其中所述眼底图像处理机器学习模型被配置成处理包括所述一个或多个眼底图像的模型输入,以生成表征所述患者关于青光眼的健康的模型输出;以及
处理所述模型输出以生成健康分析数据,所述健康分析数据对所述患者关于青光眼的所述健康的方面进行分析。
20.根据权利要求19所述的计算机存储介质,其中所述模型输入还包括其它患者数据,所述其它患者数据包括眼部测量数据、患者人口统计学数据或二者。
21.根据权利要求19或20中任一项所述的计算机存储介质,其中所述眼底图像处理机器学习模型是前馈机器学习模型,并且其中所述一个或多个眼底图像包括捕获所述患者的所述眼睛的所述眼底的当前状态的单个眼底图像。
22.根据权利要求19或20中任一项所述的计算机存储介质,其中所述眼底图像处理机器学习模型是前馈机器学习模型,并且其中所述一个或多个眼底图像包括多个眼底图像,所述多个眼底图像各自捕获所述患者的所述眼睛的所述眼底的当前状态的不同方面。
23.根据权利要求19或20中任一项所述的计算机存储介质,其中所述眼底图像处理机器学习模型是递归机器学习模型,并且其中所述一个或多个眼底图像包括捕获所述患者的所述眼底是如何随时间演变的多个眼底图像的时间序列。
24.根据权利要求19到23中任一项所述的计算机存储介质,其中所述模型输出包括表示所述患者具有青光眼的可能性的状况状态分值。
25.根据权利要求19到23中任一项所述的计算机存储介质,其中所述模型输出包括多个状况状态分值,每个状况状态分值对应于青光眼的相应可能的等级,并且每个状况状态分值表示青光眼的所述对应可能的等级是针对所述患者的当前青光眼等级的相应可能性。
26.根据权利要求19到23中任一项所述的计算机存储介质,其中所述模型输出包括多个后续分值,每个后续分值对应于可以被所述患者采取来治疗所述青光眼的相应可能的后续举措,并且每个后续分值表示所述对应后续举措是将被采取来有效地治疗所述青光眼的适当举措的相应可能性。
27.根据权利要求19到23中任一项所述的计算机存储介质,其中所述模型输出包括多个进展分值,每个进展分值对应于所述青光眼的相应可能等级,并且每个状况分值表示所述对应等级将是针对所述患者在预确定未来时间的所述青光眼的所述等级的相应可能性。
28.一种方法,包括:
获得包括一个或多个眼底图像的模型输入,每个眼底图像是患者的眼睛的眼底的图像;
使用眼底图像处理机器学习模型处理所述模型输入,其中所述眼底图像处理机器学习模型被配置成处理包括所述一个或多个眼底图像的模型输入,以生成表征所述患者关于年龄相关的黄斑变性的健康的模型输出;以及
处理所述模型输出以生成健康分析数据,所述健康分析数据对所述患者关于年龄相关的黄斑变性的所述健康的方面进行分析。
29.根据权利要求28所述的方法,其中所述模型输入还包括其它患者数据,所述其它患者数据包括眼部测量数据、患者人口统计学数据或二者。
30.根据权利要求28或29中任一项所述的方法,其中所述眼底图像处理机器学习模型是前馈机器学习模型,并且其中所述一个或多个眼底图像包括捕获所述患者的所述眼睛的所述眼底的当前状态的单个眼底图像。
31.根据权利要求28或29中任一项所述的方法,其中所述眼底图像处理机器学习模型是前馈机器学习模型,并且其中所述一个或多个眼底图像包括多个眼底图像,所述多个眼底图像各自捕获所述患者的所述眼睛的所述眼底的当前状态的不同方面。
32.根据权利要求28或29中任一项所述的方法,其中所述眼底图像处理机器学习模型是递归机器学习模型,并且其中所述一个或多个眼底图像包括捕获所述患者的所述眼底是如何随时间演变的多个眼底图像的时间序列。
33.根据权利要求28到32中任一项所述的方法,其中所述模型输出包括表示所述患者具有年龄相关的黄斑变性的可能性的状况状态分值。
34.根据权利要求28到32中任一项所述的方法,其中所述模型输出包括多个状况状态分值,每个状况状态分值对应于年龄相关的黄斑变性的相应可能的等级,并且每个状况状态分值表示年龄相关的黄斑变性的所述对应可能的等级是针对所述患者的当前年龄相关的黄斑变性等级的相应可能性。
35.根据权利要求28到32中任一项所述的方法,其中所述模型输出包括多个后续分值,每个后续分值对应于可以被所述患者采取来治疗所述年龄相关的黄斑变性的相应可能的后续举措,并且每个后续分值表示所述对应后续举措是将被采取来有效地治疗所述年龄相关的黄斑变性的适当举措的相应可能性。
36.根据权利要求28到32中任一项所述的方法,其中所述模型输出包括多个进展分值,每个进展分值对应于所述年龄相关的黄斑变性的相应可能等级,并且每个状况分值表示所述对应等级将是针对所述患者在预确定未来时间的所述年龄相关的黄斑变性的所述等级的相应可能性。
37.一种系统,包括一个或多个计算机和存储指令的一个或多个存储装置,所述指令当被所述一个或多个计算机实行时致使所述一个或多个计算机执行操作,所述操作包括:
获得包括一个或多个眼底图像的模型输入,每个眼底图像是患者的眼睛的眼底的图像;
使用眼底图像处理机器学习模型处理所述模型输入,其中所述眼底图像处理机器学习模型被配置成处理包括所述一个或多个眼底图像的模型输入,以生成表征所述患者关于年龄相关的黄斑变性的健康的模型输出;以及
处理所述模型输出以生成健康分析数据,所述健康分析数据对所述患者关于年龄相关的黄斑变性的所述健康的方面进行分析。
38.根据权利要求37所述的系统,其中所述模型输入还包括其它患者数据,所述其它患者数据包括眼部测量数据、患者人口统计学数据或二者。
39.根据权利要求37或38中任一项所述的系统,其中所述眼底图像处理机器学习模型是前馈机器学习模型,并且其中所述一个或多个眼底图像包括捕获所述患者的所述眼睛的所述眼底的当前状态的单个眼底图像。
40.根据权利要求37或38中任一项所述的系统,其中所述眼底图像处理机器学习模型是前馈机器学习模型,并且其中所述一个或多个眼底图像包括多个眼底图像,所述多个眼底图像各自捕获所述患者的所述眼睛的所述眼底的当前状态的不同方面。
41.根据权利要求37或38中任一项所述的系统,其中所述眼底图像处理机器学习模型是递归机器学习模型,并且其中所述一个或多个眼底图像包括捕获所述患者的所述眼底是如何随时间演变的多个眼底图像的时间序列。
42.根据权利要求37到41中任一项所述的系统,其中所述模型输出包括表示所述患者具有年龄相关的黄斑变性的可能性的状况状态分值。
43.根据权利要求37到41中任一项所述的系统,其中所述模型输出包括多个状况状态分值,每个状况状态分值对应于年龄相关的黄斑变性的相应可能的等级,并且每个状况状态分值表示年龄相关的黄斑变性的所述对应可能的等级是针对所述患者的当前年龄相关的黄斑变性等级的相应可能性。
44.根据权利要求37到41中任一项所述的系统,其中所述模型输出包括多个后续分值,每个后续分值对应于可以被所述患者采取来治疗所述年龄相关的黄斑变性的相应可能的后续举措,并且每个后续分值表示所述对应后续举措是将被采取来有效地治疗所述年龄相关的黄斑变性的适当举措的相应可能性。
45.根据权利要求37到41中任一项所述的系统,其中所述模型输出包括多个进展分值,每个进展分值对应于所述年龄相关的黄斑变性的相应可能等级,并且每个状况分值表示所述对应等级将是针对所述患者在预确定未来时间的所述年龄相关的黄斑变性的所述等级的相应可能性。
46.一种编码有指令的计算机存储介质,所述指令当被一个或多个计算机实行时致使所述一个或多个计算机执行操作,所述操作包括:
获得包括一个或多个眼底图像的模型输入,每个眼底图像是患者的眼睛的眼底的图像;
使用眼底图像处理机器学习模型处理所述模型输入,其中所述眼底图像处理机器学习模型被配置成处理包括所述一个或多个眼底图像的模型输入,以生成表征所述患者关于年龄相关的黄斑变性的健康的模型输出;以及
处理所述模型输出以生成健康分析数据,所述健康分析数据对所述患者关于年龄相关的黄斑变性的所述健康的方面进行分析。
47.根据权利要求46所述的计算机存储介质,其中所述模型输入还包括其它患者数据,所述其它患者数据包括眼部测量数据、患者人口统计学数据或二者。
48.根据权利要求46或47中任一项所述的计算机存储介质,其中所述眼底图像处理机器学习模型是前馈机器学习模型,并且其中所述一个或多个眼底图像包括捕获所述患者的所述眼睛的所述眼底的当前状态的单个眼底图像。
49.根据权利要求46或47中任一项所述的计算机存储介质,其中所述眼底图像处理机器学习模型是前馈机器学习模型,并且其中所述一个或多个眼底图像包括多个眼底图像,所述多个眼底图像各自捕获所述患者的所述眼睛的所述眼底的当前状态的不同方面。
50.根据权利要求46或47中任一项所述的计算机存储介质,其中所述眼底图像处理机器学习模型是递归机器学习模型,并且其中所述一个或多个眼底图像包括捕获所述患者的所述眼底是如何随时间演变的多个眼底图像的时间序列。
51.根据权利要求46到50中任一项所述的计算机存储介质,其中所述模型输出包括表示所述患者具有年龄相关的黄斑变性的可能性的状况状态分值。
52.根据权利要求46到50中任一项所述的计算机存储介质,其中所述模型输出包括多个状况状态分值,每个状况状态分值对应于年龄相关的黄斑变性的相应可能的等级,并且每个状况状态分值表示年龄相关的黄斑变性的所述对应可能的等级是针对所述患者的当前年龄相关的黄斑变性等级的相应可能性。
53.根据权利要求46到50中任一项所述的计算机存储介质,其中所述模型输出包括多个后续分值,每个后续分值对应于可以被所述患者采取来治疗所述年龄相关的黄斑变性的相应可能的后续举措,并且每个后续分值表示所述对应后续举措是将被采取来有效地治疗所述年龄相关的黄斑变性的适当举措的相应可能性。
54.根据权利要求46到50中任一项所述的计算机存储介质,其中所述模型输出包括多个进展分值,每个进展分值对应于所述年龄相关的黄斑变性的相应可能等级,并且每个状况分值表示所述对应等级将是针对所述患者在预确定未来时间的所述年龄相关的黄斑变性的所述等级的相应可能性。
55.一种方法,包括:
获得包括一个或多个眼底图像的模型输入,每个眼底图像是患者的眼睛的眼底的图像;
使用眼底图像处理机器学习模型系统处理所述模型输入,其中所述眼底图像处理机器学习模型被配置成处理所述模型输入,以生成包括针对一个或多个风险因素中的每个的相应预测值的模型输出,所述一个或多个风险因素导致所述患者会出现特定一组健康相关事件的风险;以及
处理所述模型输出以生成从针对所述一个或多个风险因素的预测值导出的健康分析数据。
56.根据权利要求55所述的方法,其中所述眼底图像处理机器学习模型系统包括前馈机器学习模型,并且其中所述一个或多个眼底图像包括捕获所述患者的所述眼睛的所述眼底的当前状态的单个眼底图像。
57.根据权利要求55所述的方法,其中所述眼底图像处理机器学习模型系统包括前馈机器学习模型,并且其中所述一个或多个眼底图像包括多个眼底图像,所述多个眼底图像各自捕获所述患者的所述眼睛的所述眼底的当前状态的不同方面。
58.根据权利要求55所述的方法,其中所述眼底图像处理机器学习模型系统包括递归机器学习模型,并且其中所述一个或多个眼底图像包括捕获所述患者的所述眼底是如何随时间演变的多个眼底图像的时间序列。
59.根据权利要求55到58中任一项所述的方法,其中所述风险是心血管疾病风险,并且所述特定一组健康相关事件是主要心血管疾病健康事件。
60.根据权利要求59所述的方法,其中所述风险因素包括以下中的一个或多个:年龄、性别、体重指数、收缩压、舒张压、HbA1c(糖化血红蛋白)的测量或抽烟状况。
61.根据权利要求55到60中任一项所述的方法,其中处理所述模型输出以生成从针对所述一个或多个风险因素的预测值导出的健康分析数据包括:
根据针对所述风险因素的预测值计算所述风险的测量。
62.根据权利要求55到61中任一项所述的方法,其中所述眼底图像处理机器学习模型系统包括:第一机器学习模型,所述第一机器学习模型生成针对二元风险因素的预测值;以及第二机器学习模型,所述第二机器学习模型生成针对风险因素的可以采用连续值的预测值。
63.根据权利要求55到62中任一项所述的方法,其中所述眼底图像处理机器学习模型系统包括机器学习模型的集合。
64.一种系统,包括一个或多个计算机和存储指令的一个或多个存储装置,所述指令当被所述一个或多个计算机实行时致使所述一个或多个计算机执行操作,所述操作包括:
获得包括一个或多个眼底图像的模型输入,每个眼底图像是患者的眼睛的眼底的图像;
使用眼底图像处理机器学习模型系统处理所述模型输入,其中所述眼底图像处理机器学习模型被配置成处理所述模型输入,以生成包括针对一个或多个风险因素中的每个的相应预测值的模型输出,所述一个或多个风险因素导致所述患者会出现特定一组健康相关事件的风险;以及
处理所述模型输出以生成从针对所述一个或多个风险因素的预测值导出的健康分析数据。
65.根据权利要求64所述的系统,其中所述眼底图像处理机器学习模型系统包括前馈机器学习模型,并且其中所述一个或多个眼底图像包括捕获所述患者的所述眼睛的所述眼底的当前状态的单个眼底图像。
66.根据权利要求64所述的系统,其中所述眼底图像处理机器学习模型系统包括前馈机器学习模型,并且其中所述一个或多个眼底图像包括多个眼底图像,所述多个眼底图像各自捕获所述患者的所述眼睛的所述眼底的当前状态的不同方面。
67.根据权利要求64所述的系统,其中所述眼底图像处理机器学习模型系统包括递归机器学习模型,并且其中所述一个或多个眼底图像包括捕获所述患者的所述眼底是如何随时间演变的多个眼底图像的时间序列。
68.根据权利要求64到67中任一项所述的系统,其中所述风险是心血管疾病风险,并且所述特定一组健康相关事件是主要心血管疾病健康事件。
69.根据权利要求68所述的系统,其中所述风险因素包括以下中的一个或多个:年龄、性别、体重指数、收缩压、舒张压、HbA1c(糖化血红蛋白)的测量或抽烟状况。
70.根据权利要求64到69中任一项所述的系统,其中处理所述模型输出以生成从针对所述一个或多个风险因素的预测值导出的健康分析数据包括:
根据针对所述风险因素的预测值计算所述风险的测量。
71.根据权利要求64到70中任一项所述的系统,其中所述眼底图像处理机器学习模型系统包括:第一机器学习模型,所述第一机器学习模型生成针对二元风险因素的预测值;以及第二机器学习模型,所述第二机器学习模型生成针对风险因素的可以采用连续值的预测值。
72.根据权利要求64到71中任一项所述的系统,其中所述眼底图像处理机器学习模型系统包括机器学习模型的集合。
73.一种存储指令的一个或多个非暂时性计算机存储介质,所述指令当被所述一个或多个计算机实行时致使所述一个或多个计算机执行操作,所述操作包括:
获得包括一个或多个眼底图像的模型输入,每个眼底图像是患者的眼睛的眼底的图像;
使用眼底图像处理机器学习模型系统处理所述模型输入,其中所述眼底图像处理机器学习模型被配置成处理所述模型输入,以生成包括针对一个或多个风险因素中的每个的相应预测值的模型输出,所述一个或多个风险因素导致所述患者会出现特定一组健康相关事件的风险;以及
处理所述模型输出以生成从针对所述一个或多个风险因素的预测值导出的健康分析数据。
74.根据权利要求73所述的计算机存储介质,其中所述眼底图像处理机器学习模型系统包括前馈机器学习模型,并且其中所述一个或多个眼底图像包括捕获所述患者的所述眼睛的所述眼底的当前状态的单个眼底图像。
75.根据权利要求73所述的计算机存储介质,其中所述眼底图像处理机器学习模型系统包括前馈机器学习模型,并且其中所述一个或多个眼底图像包括多个眼底图像,所述多个眼底图像各自捕获所述患者的所述眼睛的所述眼底的当前状态的不同方面。
76.根据权利要求73所述的计算机存储介质,其中所述眼底图像处理机器学习模型系统包括递归机器学习模型,并且其中所述一个或多个眼底图像包括捕获所述患者的所述眼底是如何随时间演变的多个眼底图像的时间序列。
77.根据权利要求73到76中任一项所述的计算机存储介质,其中所述风险是心血管疾病风险,并且所述特定一组健康相关事件是主要心血管疾病健康事件。
78.根据权利要求77所述的计算机存储介质,其中所述风险因素包括以下中的一个或多个:年龄、性别、体重指数、收缩压、舒张压、HbA1c(糖化血红蛋白)的测量或抽烟状况。
79.根据权利要求73到78中任一项所述的计算机存储介质,其中处理所述模型输出以生成从针对所述一个或多个风险因素的预测值导出的健康分析数据包括:
根据针对所述风险因素的预测值计算所述风险的测量。
80.根据权利要求73到79中任一项所述的计算机存储介质,其中所述眼底图像处理机器学习模型系统包括:第一机器学习模型,所述第一机器学习模型生成针对二元风险因素的预测值;以及第二机器学习模型,所述第二机器学习模型生成针对风险因素的可以采用连续值的预测值。
81.根据权利要求73到80中任一项所述的计算机存储介质,其中所述眼底图像处理机器学习模型系统包括机器学习模型的集合。
82.一种方法,包括:
获得包括眼底图像的模型输入,所述眼底图像是患者的眼睛的眼底的图像;
使用眼底图像处理机器学习模型处理所述模型输入,
其中所述眼底图像处理机器学习模型被配置成处理所述模型输入,以生成表征所述患者的所述健康的模型输出,
其中所述眼底图像处理机器学习模型包括关注机制,所述关注机制被配置成:
接收针对所述眼底图像中的多个区域中的每个的由所述眼底图像处理机器学习模型的一个或多个初始层生成的相应特征向量,
计算针对所述区域中的每个的相应关注权重,以及
通过根据针对眼底图像中的所述区域的关注权重处理所述特征向量来生成关注输出;以及
处理所述模型输出以生成健康分析数据,所述健康分析数据包括(i)对所述患者的所述健康的方面进行分析的数据,以及(ii)识别由所述关注机制生成的所述关注权重的数据。
83.根据权利要求82所述的方法,其中识别所述关注权重的数据是关注图表,所述关注图表为所述眼底图像中的所述区域指定所述关注权重。
84.根据权利要求83所述的方法,其中所述关注图表叠加在所述眼底图像之上。
85.根据权利要求82到84中任一项所述的方法,其中所述初始层是卷积层。
86.根据权利要求82到85中任一项所述的方法,其中所述眼底图像处理机器学习模型还包括一个或多个附加层,所述一个或多个附加层被配置成接收所述关注输出和处理所述关注输出以生成所述模型输出。
87.根据权利要求82到86中任一项所述的方法,其中所述模型输入还包括其它患者数据,所述其它患者数据包括眼部测量数据、患者人口统计学数据或二者。
88.根据权利要求82到87中任一项所述的方法,其中所述模型输出表征如权利要求1到9中任一项所述的所述患者关于青光眼的健康。
89.根据权利要求82到87中任一项所述的方法,其中所述模型输出表征如权利要求28到36中任一项所述的所述患者关于年龄相关的黄斑变性的健康。
90.根据权利要求82到87中任一项所述的方法,其中所述模型输出包括如权利要求55到63中任一项所述的针对一个或多个风险因素中的每个的相应预测值,所述一个或多个风险因素导致所述患者会出现特定一组健康相关事件的风险。
91.根据权利要求82到87中任一项所述的方法,其中所述模型输出表征所述患者的整体健康。
92.一种系统,包括一个或多个计算机和存储指令的一个或多个存储装置,所述指令当被所述一个或多个计算机实行时致使所述一个或多个计算机执行操作,所述操作包括:
获得包括眼底图像的模型输入,所述眼底图像是患者的眼睛的眼底的图像;
使用眼底图像处理机器学习模型处理所述模型输入,
其中所述眼底图像处理机器学习模型被配置成处理所述模型输入,以生成表征所述患者的所述健康的模型输出,
其中所述眼底图像处理机器学习模型包括关注机制,所述关注机制被配置成:
接收针对所述眼底图像中的多个区域中的每个的由所述眼底图像处理机器学习模型的一个或多个初始层生成的相应特征向量,
计算针对所述区域中的每个的相应关注权重,以及
通过根据针对眼底图像中的所述区域的关注权重处理所述特征向量来生成关注输出;以及
处理所述模型输出以生成健康分析数据,所述健康分析数据包括(i)对所述患者的所述健康的方面进行分析的数据,以及(ii)识别由所述关注机制生成的所述关注权重的数据。
93.根据权利要求92所述的系统,其中识别所述关注权重的数据是关注图表,所述关注图表为所述眼底图像中的所述区域指定所述关注权重。
94.根据权利要求93所述的系统,其中所述关注图表叠加在所述眼底图像之上。
95.根据权利要求92到94中任一项所述的系统,其中所述初始层是卷积层。
96.根据权利要求92到95中任一项所述的系统,其中所述眼底图像处理机器学习模型还包括一个或多个附加层,所述一个或多个附加层被配置成接收所述关注输出和处理所述关注输出以生成所述模型输出。
97.根据权利要求92到96中任一项所述的系统,其中所述模型输入还包括其它患者数据,所述其它患者数据包括眼部测量数据、患者人口统计学数据或二者。
98.根据权利要求92到97中任一项所述的系统,其中所述模型输出表征如权利要求1到9中任一项所述的所述患者关于青光眼的健康。
99.根据权利要求92到97中任一项所述的系统,其中所述模型输出表征如权利要求28到36中任一项所述的所述患者关于年龄相关的黄斑变性的健康。
100.根据权利要求92到97中任一项所述的系统,其中所述模型输出包括如权利要求55到63中任一项所述的针对一个或多个风险因素中的每个的相应预测值,所述一个或多个风险因素导致所述患者会出现特定一组健康相关事件的风险。
101.根据权利要求92到97中任一项所述的系统,其中所述模型输出表征所述患者的整体健康。
102.一种编码有指令的一个或多个计算机存储介质,所述指令当被一个或多个计算机实行时致使所述一个或多个计算机执行操作,所述操作包括:
获得包括眼底图像的模型输入,所述眼底图像是患者的眼睛的眼底的图像;
使用眼底图像处理机器学习模型处理所述模型输入,
其中所述眼底图像处理机器学习模型被配置成处理所述模型输入,以生成表征所述患者的所述健康的模型输出,
其中所述眼底图像处理机器学习模型包括关注机制,所述关注机制被配置成:
接收针对所述眼底图像中的多个区域中的每个的由所述眼底图像处理机器学习模型的一个或多个初始层生成的相应特征向量,
计算针对所述区域中的每个的相应关注权重,以及
通过根据针对眼底图像中的所述区域的关注权重处理所述特征向量来生成关注输出;以及
处理所述模型输出以生成健康分析数据,所述健康分析数据包括(i)对所述患者的所述健康的方面进行分析的数据,以及(ii)识别由所述关注机制生成的所述关注权重的数据。
103.根据权利要求102所述的计算机存储介质,其中识别所述关注权重的数据是关注图表,所述关注图表为所述眼底图像中的所述区域指定所述关注权重。
104.根据权利要求103所述的计算机存储介质,其中所述关注图表叠加在所述眼底图像之上。
105.根据权利要求102到104中任一项所述的计算机存储介质,其中所述初始层是卷积层。
106.根据权利要求102到105中任一项所述的计算机存储介质,其中所述眼底图像处理机器学习模型还包括一个或多个附加层,所述一个或多个附加层被配置成接收所述关注输出和处理所述关注输出以生成所述模型输出。
107.根据权利要求102到106中任一项所述的计算机存储介质,其中所述模型输入还包括其它患者数据,所述其它患者数据包括眼部测量数据、患者人口统计学数据或二者。
108.根据权利要求102到107中任一项所述的计算机存储介质,其中所述模型输出表征如权利要求1到9中任一项所述的所述患者关于青光眼的健康。
109.根据权利要求102到107中任一项所述的计算机存储介质,其中所述模型输出表征如权利要求28到36中任一项所述的所述患者关于年龄相关的黄斑变性的健康。
110.根据权利要求102到107中任一项所述的计算机存储介质,其中所述模型输出包括如权利要求55到63中任一项所述的针对一个或多个风险因素中的每个的相应预测值,所述一个或多个风险因素导致所述患者会出现特定一组健康相关事件的风险。
111.根据权利要求102到107中任一项所述的计算机存储介质,其中所述模型输出表征所述患者的整体健康。
CN201780055989.8A 2016-08-18 2017-08-18 使用机器学习模型处理眼底图像 Pending CN109844868A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201662376860P 2016-08-18 2016-08-18
US62/376,860 2016-08-18
PCT/US2017/047639 WO2018035473A2 (en) 2016-08-18 2017-08-18 Processing fundus images using machine learning models

Publications (1)

Publication Number Publication Date
CN109844868A true CN109844868A (zh) 2019-06-04

Family

ID=60083401

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780055989.8A Pending CN109844868A (zh) 2016-08-18 2017-08-18 使用机器学习模型处理眼底图像

Country Status (7)

Country Link
US (3) US10970841B2 (zh)
EP (1) EP3485411A2 (zh)
JP (1) JP2019528113A (zh)
KR (1) KR102285878B1 (zh)
CN (1) CN109844868A (zh)
DE (1) DE202017104953U1 (zh)
WO (1) WO2018035473A2 (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110135528A (zh) * 2019-06-13 2019-08-16 上海鹰瞳医疗科技有限公司 年龄确定方法、眼部健康程度确定方法和装置
CN110477856A (zh) * 2019-09-03 2019-11-22 中山大学中山眼科中心 一种融合眼底彩照和宽度学习的心肌梗塞的智能预测方法
CN110600053A (zh) * 2019-07-30 2019-12-20 广东工业大学 一种基于ResNet与LSTM网络的脑卒中构音障碍风险预测方法
CN112783520A (zh) * 2019-11-04 2021-05-11 阿里巴巴集团控股有限公司 执行方法、装置、电子设备及存储介质

Families Citing this family (57)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10013808B2 (en) 2015-02-03 2018-07-03 Globus Medical, Inc. Surgeon head-mounted display apparatuses
US11131539B2 (en) * 2017-06-12 2021-09-28 Sightline Innovation Inc. Multimodal image data acquisition system and method
EP3730040A4 (en) 2017-12-20 2021-10-06 Medi Whale Inc. METHOD AND APPARATUS FOR AID IN THE DIAGNOSIS OF CARDIOVASCULAR DISEASE
US20190254753A1 (en) 2018-02-19 2019-08-22 Globus Medical, Inc. Augmented reality navigation systems for use with robotic surgical systems and methods of their use
WO2019171398A1 (en) * 2018-03-08 2019-09-12 Artificial Learning Systems India Private Limited A fundus image analysis system
JP2019177032A (ja) * 2018-03-30 2019-10-17 株式会社ニデック 眼科画像処理装置、および眼科画像処理プログラム
KR102198395B1 (ko) * 2018-05-08 2021-01-06 서울대학교산학협력단 녹내장 조기진단과 의심영역 표시 방법 및 이를 위한 시스템
TW202002888A (zh) * 2018-05-23 2020-01-16 瑞士商愛爾康股份有限公司 利用具有圖形化用戶介面的手術工具器械的系統和方法
JP2019208852A (ja) * 2018-06-04 2019-12-12 株式会社ニデック 眼科画像処理装置、および眼科画像処理プログラム
KR20210015834A (ko) * 2018-06-05 2021-02-10 스미또모 가가꾸 가부시키가이샤 진단 지원 시스템, 진단 지원 방법 및 진단 지원 프로그램
EP3591572B1 (en) * 2018-07-06 2021-09-01 Tata Consultancy Services Limited Method and system for automatic chromosome classification
US10468142B1 (en) * 2018-07-27 2019-11-05 University Of Miami Artificial intelligence-based system and methods for corneal diagnosis
CN109086779B (zh) * 2018-07-28 2021-11-09 天津大学 一种基于卷积神经网络的注意力目标识别方法
JP7328489B2 (ja) * 2018-09-05 2023-08-17 株式会社ニデック 眼科画像処理装置、および眼科撮影装置
JP2020058615A (ja) * 2018-10-10 2020-04-16 キヤノン株式会社 画像処理装置、学習済モデル、画像処理方法およびプログラム
EP3850638B1 (en) * 2018-10-17 2024-04-10 Google LLC Processing fundus camera images using machine learning models trained using other modalities
CN109671049B (zh) * 2018-11-07 2024-03-01 哈尔滨工业大学(深圳) 一种医学图像处理方法、系统、设备、存储介质
US11023360B2 (en) * 2018-11-14 2021-06-01 The Mathworks, Inc. Systems and methods for configuring programmable logic devices for deep learning networks
CN109528155B (zh) * 2018-11-19 2021-07-13 复旦大学附属眼耳鼻喉科医院 一种适用于高度近视并发开角型青光眼的智能筛查系统及其建立方法
KR102281968B1 (ko) * 2019-01-14 2021-07-27 주식회사 에이아이인사이트 안저영상 자동판독을 위한 딥러닝 아키텍처 시스템 및 딥러닝 아키텍쳐 시스템을 이용한 안저영상 자동판독 방법
WO2020149518A1 (ko) * 2019-01-14 2020-07-23 주식회사 에이아이인사이트 안저영상 자동판독을 위한 딥러닝 아키텍처 시스템 및 딥러닝 아키텍쳐 시스템을 이용한 안저영상 자동판독 방법
EP3690888A1 (en) 2019-01-31 2020-08-05 Nidek Co., Ltd. Ophthalmologic image processing device and ophthalmologic image processing program
JP7302184B2 (ja) * 2019-01-31 2023-07-04 株式会社ニデック 眼科画像処理装置、および眼科画像処理プログラム
JP7302183B2 (ja) * 2019-01-31 2023-07-04 株式会社ニデック 眼科画像処理装置、および眼科画像処理プログラム
CN113439278A (zh) 2019-02-12 2021-09-24 新加坡国立大学 视网膜血管测量
WO2020205790A1 (en) * 2019-03-29 2020-10-08 Google Llc Processing fundus images using machine learning models to generate blood-related predictions
WO2020243163A1 (en) * 2019-05-29 2020-12-03 Genentech, Inc. Integrated neural networks for determining protocol configurations
SG11202112969VA (en) * 2019-06-07 2021-12-30 Novartis Ag Method for navigating medical data
KR102285889B1 (ko) * 2019-06-25 2021-08-03 백승빈 망막치료서비스장치 및 그 동작 방법
KR102400568B1 (ko) * 2019-07-19 2022-05-24 울산대학교 산학협력단 인코더를 이용한 이미지의 특이 영역 분석 방법 및 장치
KR102279160B1 (ko) * 2019-07-19 2021-07-20 울산대학교 산학협력단 이미지의 특이 영역 분석 방법 및 장치
KR20210023569A (ko) * 2019-08-23 2021-03-04 삼성에스디에스 주식회사 심혈관 질환 위험 인자 예측 장치 및 방법
CN110598582A (zh) * 2019-08-26 2019-12-20 深圳大学 一种眼图像处理模型构建方法和装置
EP3811332B1 (en) * 2019-08-30 2023-10-04 Google LLC Predicting disease progression from tissue images and tissue segmentation maps
KR20220051369A (ko) * 2019-08-30 2022-04-26 캐논 가부시끼가이샤 정보 처리 장치, 정보 처리 방법, 정보 처리 시스템 및 프로그램
JP2021074095A (ja) * 2019-11-06 2021-05-20 株式会社ニデック 眼科画像処理装置および眼科画像処理プログラム
US11992373B2 (en) 2019-12-10 2024-05-28 Globus Medical, Inc Augmented reality headset with varied opacity for navigated robotic surgery
CN111241673B (zh) * 2020-01-07 2021-10-22 北京航空航天大学 用于噪声环境工业设备的健康状态预测方法
US11464581B2 (en) 2020-01-28 2022-10-11 Globus Medical, Inc. Pose measurement chaining for extended reality surgical navigation in visible and near infrared spectrums
US11382699B2 (en) 2020-02-10 2022-07-12 Globus Medical Inc. Extended reality visualization of optical tool tracking volume for computer assisted navigation in surgery
US11207150B2 (en) 2020-02-19 2021-12-28 Globus Medical, Inc. Displaying a virtual model of a planned instrument attachment to ensure correct selection of physical instrument attachment
JP7459924B2 (ja) 2020-03-12 2024-04-02 日本電気株式会社 画像処理装置、画像認識システム、画像処理方法および画像処理プログラム
KR102372046B1 (ko) * 2020-03-12 2022-03-11 숭실대학교 산학협력단 인공지능 기술을 이용한 혈관 구조 추출 방법, 이를 수행하기 위한 기록 매체 및 장치
US11607277B2 (en) 2020-04-29 2023-03-21 Globus Medical, Inc. Registration of surgical tool with reference array tracked by cameras of an extended reality headset for assisted navigation during surgery
JP7481705B2 (ja) 2020-04-30 2024-05-13 国立研究開発法人理化学研究所 医療システム
US11510750B2 (en) 2020-05-08 2022-11-29 Globus Medical, Inc. Leveraging two-dimensional digital imaging and communication in medicine imagery in three-dimensional extended reality applications
US11153555B1 (en) 2020-05-08 2021-10-19 Globus Medical Inc. Extended reality headset camera system for computer assisted navigation in surgery
US11382700B2 (en) 2020-05-08 2022-07-12 Globus Medical Inc. Extended reality headset tool tracking and control
US11076824B1 (en) * 2020-08-07 2021-08-03 Shenzhen Keya Medical Technology Corporation Method and system for diagnosis of COVID-19 using artificial intelligence
US11737831B2 (en) 2020-09-02 2023-08-29 Globus Medical Inc. Surgical object tracking template generation for computer assisted navigation during surgical procedure
JP2022104239A (ja) * 2020-12-28 2022-07-08 株式会社トプコン 眼科情報処理装置、眼科装置、眼科情報処理方法、及びプログラム
WO2022145542A1 (ko) * 2020-12-30 2022-07-07 주식회사 메디웨일 심혈관 질병 진단 보조 방법 및 장치
KR102537769B1 (ko) * 2021-04-06 2023-05-31 주식회사 알파도 딥러닝을 이용한 반려동물 질환 추론 모듈 및 전자 장치
JPWO2023032162A1 (zh) * 2021-09-03 2023-03-09
CN115082414B (zh) * 2022-07-08 2023-01-06 深圳市眼科医院 一种基于视觉质量分析的便携式检测方法和装置
CN116071292B (zh) * 2022-10-08 2023-09-22 中国人民解放军国防科技大学 基于生成对比学习的眼底镜视网膜图像血管识别方法
CN117275723B (zh) * 2023-09-15 2024-03-15 上海全景医学影像诊断中心有限公司 一种早期帕金森病预测方法、装置及系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103200420A (zh) * 2013-03-19 2013-07-10 宁波大学 一种基于三维视觉注意力的立体图像质量客观评价方法
WO2014186838A1 (en) * 2013-05-19 2014-11-27 Commonwealth Scientific And Industrial Research Organisation A system and method for remote medical diagnosis
CN104921727A (zh) * 2015-06-24 2015-09-23 上海海事大学 基于自适应先验信息指导的脑功能连通性检测系统和方法
CN105547310A (zh) * 2015-12-09 2016-05-04 南京理工大学 一种基于pm2.5健康出行的路径规划装置及方法
CN105559748A (zh) * 2015-11-19 2016-05-11 小红象医疗科技有限公司 利用红外医学影像技术对人体健康进行评估的方法

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2285266B1 (en) * 2008-05-14 2014-04-09 Agency For Science, Technology And Research Automatic cup-to-disc ratio measurement system
WO2010138645A2 (en) * 2009-05-29 2010-12-02 University Of Pittsburgh - Of The Commonwealth System Of Higher Education Blood vessel segmentation with three-dimensional spectral domain optical coherence tomography
SG10201407330UA (en) 2009-11-16 2015-01-29 Agency Science Tech & Res Obtaining data for automatic glaucoma screening, and screening and diagnostic techniques and systems using the data
CN103458772B (zh) * 2011-04-07 2017-10-31 香港中文大学 视网膜图像分析方法和装置
WO2015042476A1 (en) * 2013-09-20 2015-03-26 Georgia Tech Research Corporation Systems and methods for disease progression modeling
EP4057215A1 (en) 2013-10-22 2022-09-14 Eyenuk, Inc. Systems and methods for automated analysis of retinal images
US9554755B2 (en) 2014-10-13 2017-01-31 The University Of North Carolina At Chapel Hill Methods, systems, and computer readable media for predicting early onset glaucoma
US10478130B2 (en) * 2015-02-13 2019-11-19 Siemens Healthcare Gmbh Plaque vulnerability assessment in medical imaging
US10722115B2 (en) * 2015-08-20 2020-07-28 Ohio University Devices and methods for classifying diabetic and macular degeneration
US20190088359A1 (en) * 2016-03-03 2019-03-21 Geisinger Health System System and Method for Automated Analysis in Medical Imaging Applications
EP3730040A4 (en) * 2017-12-20 2021-10-06 Medi Whale Inc. METHOD AND APPARATUS FOR AID IN THE DIAGNOSIS OF CARDIOVASCULAR DISEASE

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103200420A (zh) * 2013-03-19 2013-07-10 宁波大学 一种基于三维视觉注意力的立体图像质量客观评价方法
WO2014186838A1 (en) * 2013-05-19 2014-11-27 Commonwealth Scientific And Industrial Research Organisation A system and method for remote medical diagnosis
CN104921727A (zh) * 2015-06-24 2015-09-23 上海海事大学 基于自适应先验信息指导的脑功能连通性检测系统和方法
CN105559748A (zh) * 2015-11-19 2016-05-11 小红象医疗科技有限公司 利用红外医学影像技术对人体健康进行评估的方法
CN105547310A (zh) * 2015-12-09 2016-05-04 南京理工大学 一种基于pm2.5健康出行的路径规划装置及方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
KELVIN XU: ""Show, Attend and Tell: Neural Image Caption Generation with Visual Attention"", 《ARXIV》, 28 February 2015 (2015-02-28) *
姚毅: "《图像语义信息可视化交互研究》", 31 January 2004, 国家图书馆出版社, pages: 30 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110135528A (zh) * 2019-06-13 2019-08-16 上海鹰瞳医疗科技有限公司 年龄确定方法、眼部健康程度确定方法和装置
CN110600053A (zh) * 2019-07-30 2019-12-20 广东工业大学 一种基于ResNet与LSTM网络的脑卒中构音障碍风险预测方法
CN110477856A (zh) * 2019-09-03 2019-11-22 中山大学中山眼科中心 一种融合眼底彩照和宽度学习的心肌梗塞的智能预测方法
CN112783520A (zh) * 2019-11-04 2021-05-11 阿里巴巴集团控股有限公司 执行方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
US20210209762A1 (en) 2021-07-08
US20190180441A1 (en) 2019-06-13
WO2018035473A2 (en) 2018-02-22
US20230260126A1 (en) 2023-08-17
US10970841B2 (en) 2021-04-06
EP3485411A2 (en) 2019-05-22
KR20190042621A (ko) 2019-04-24
KR102285878B1 (ko) 2021-08-05
JP2019528113A (ja) 2019-10-10
US11636601B2 (en) 2023-04-25
DE202017104953U1 (de) 2017-12-04
WO2018035473A3 (en) 2018-04-05

Similar Documents

Publication Publication Date Title
CN109844868A (zh) 使用机器学习模型处理眼底图像
US20220165418A1 (en) Image-based detection of ophthalmic and systemic diseases
US20220175325A1 (en) Information processing apparatus, information processing method, information processing system, and program
CN106066938B (zh) 一种疾病预防和健康管理方法及系统
US20190139631A1 (en) Estimation and use of clinician assessment of patient acuity
CN112868068B (zh) 使用利用其它模式训练的机器学习模型处理眼底相机图像
Thiagarajan et al. Cause-specific visual impairment and mortality: results from a population-based study of older people in the United Kingdom
KR102250775B1 (ko) 근시 치료를 위한 디지털 장치 및 애플리케이션
CN106777889A (zh) 一种眼视力健康管理系统及方法
CN115398559A (zh) 用于评估患者眼睛中疾病或病症的活动水平的计算机实施的系统和方法
US20220406466A1 (en) A method for determining a risk score for a patient
US20240145088A1 (en) Artificial intelligence-based personalized health maintenance system to generate digital therapeutic environment for multi-modal therapy
KR102330519B1 (ko) 안저 사진을 이용한 뇌동맥류 예측 장치 및 뇌동맥류 예측 결과 제공 방법
Fahad Latif Generative Artificial Intelligence for Retinal Degeneration: A Review
Huang et al. Tele-ophthalmology for Diabetic Retinopathy
Radja E-health Platform for Monitoring Human Life By
Chowdary et al. Detecting Retinopathy of Prematurity Disease Based on Fundus Image Dataset
Dow et al. A Deep-Learning Algorithm to Predict Short-Term Progression to Geographic Atrophy on Spectral-Domain Optical Coherence Tomography
Shazly et al. A Man With Bilateral Peripheral Visual Field Loss
Kim et al. How can we make the most of allied health personnel?
WO2022200985A1 (en) Smart wearable device and method for estimating traditional medicine system parameters
CN116563196A (zh) 一种基于眼底图像进行疾病预测的装置、方法及相关产品
LINKSZ Optics and Visual Physiology: A Partial Review of the Literature of 1956

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination