CN116615761A - 用于光学相干断层扫描图像评估的人工智能 - Google Patents

用于光学相干断层扫描图像评估的人工智能 Download PDF

Info

Publication number
CN116615761A
CN116615761A CN202180062723.2A CN202180062723A CN116615761A CN 116615761 A CN116615761 A CN 116615761A CN 202180062723 A CN202180062723 A CN 202180062723A CN 116615761 A CN116615761 A CN 116615761A
Authority
CN
China
Prior art keywords
images
scan pattern
image
oct
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202180062723.2A
Other languages
English (en)
Inventor
斯蒂芬·怀德尔
马蒂亚斯·普菲斯特
西里尔·斯托勒
菲利普·M·布西密
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Acucela Inc
Original Assignee
Acucela Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Acucela Inc filed Critical Acucela Inc
Publication of CN116615761A publication Critical patent/CN116615761A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformation in the plane of the image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/26Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G06V10/7747Organisation of the process, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/40ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to mechanical, radiation or invasive therapies, e.g. surgery, laser therapy, dialysis or acupuncture
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00ICT specially adapted for the handling or processing of medical images
    • G16H30/40ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10072Tomographic images
    • G06T2207/10101Optical tomography; Optical coherence tomography [OCT]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30041Eye; Retina; Ophthalmic
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03Recognition of patterns in medical or anatomical images

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Public Health (AREA)
  • Software Systems (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Data Mining & Analysis (AREA)
  • Primary Health Care (AREA)
  • Epidemiology (AREA)
  • Radiology & Medical Imaging (AREA)
  • General Engineering & Computer Science (AREA)
  • Molecular Biology (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biophysics (AREA)
  • Databases & Information Systems (AREA)
  • Multimedia (AREA)
  • Quality & Reliability (AREA)
  • Pathology (AREA)
  • Surgery (AREA)
  • Urology & Nephrology (AREA)
  • Eye Examination Apparatus (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)
  • Image Analysis (AREA)

Abstract

训练神经网络来分割干涉图图像。获得第一多个干涉图,其中每个干涉图对应于由OCT系统使用第一扫描图案获取的数据,注释多个干涉图中的每一个以指示视网膜的组织结构,使用多个干涉图和注释训练神经网络,输入对应于由OCT系统使用第二扫描图案获取的数据的第二多个干涉图,并获得指示使用第二扫描图案扫描的视网膜的组织结构的训练神经网络的输出。系统和方法可替代地接收多个A扫描并输出与沿着OCT扫描图案的多个位置相对应的分割图像。

Description

用于光学相干断层扫描图像评估的人工智能
相关申请
本申请要求2021年8月10日提交的美国专利申请第17/444,806号的申请日的权益,该美国专利申请根据35U.S.C.119(e)要求2020年9月11日提交的美国临时专利申请第62/706,800号的权益,这两项申请的标题均为“ARTIFICIAL INTELLIGENCE FOREVALUATION OF OPTICAL COHERENCE TOMOGRAPHY IMAGES”,其公开内容通过引用以其整体并入本文。
本申请的主题涉及2019年12月26日提交的标题为“Optical CoherenceTomography Patient Alignment System for Home Based Ophthalmic Applications”的美国临时专利申请号62/953,827,该美国临时专利申请的全部公开内容通过引用并入本文。
所公开的应用经训练的卷积神经网络(CNN)来辅助分析干涉图的方法可以与许多扫描图案一起使用,例如停走(stop and go)轨迹、星形轨迹、连续轨迹或李萨如(Lissajous)轨迹中的一个或更多个,如2019年6月20日提交的题为“MiniaturizedMobile,Low Cost Optical Coherence Tomography System For Home Based OphthalmicApplications”的PCT/US2019/038270中所描述的,其全部公开内容通过引用结合于此。
背景
眼睛健康对良好的视力至关重要。有各种各样的眼睛疾病和病症可以通过测量眼睛结构的变化来诊断。这种测量还可以提供影响患者其他器官的疾病的指示。眼睛的结构包括角膜和晶状体,它们折射光线并在视网膜上形成图像。视网膜响应于其上形成的图像而产生电信号,并且这些电信号经由视神经传输到大脑。视网膜的视网膜中央凹(fovea)和黄斑相对于视网膜的其他区域具有增加的视锥密度(density of cones),并提供更清晰的图像。
随时间测量视网膜厚度(RT)可用于诊断和监测视网膜、眼睛和患者的健康状况。许多被诊断患有视网膜血管疾病和其他疾病或病症的患者具有升高的视网膜厚度,并接受药物治疗。例如,黄斑水肿是一种当流体聚集在视网膜黄斑上部或下方时发生并导致视网膜厚度升高的疾病。黄斑水肿可能是其他疾病的指征,其他疾病诸如例如糖尿病或年龄相关性黄斑变性、葡萄膜炎、视网膜脉管系统阻塞和青光眼。因此,视网膜厚度的测量和厚度随时间变化的确定可以用作眼睛健康和患者健康的其他方面的变化的指示。
随时间推移的对RT测量也可用于评估药物或处理的有效性,以便在需要时可以进行修改。这样做的一种方法是定期测量患者视网膜的厚度。一种用于测量视网膜厚度的技术是光学相干断层扫描(OCT)。OCT还可以用于生成可用于形成患者视网膜及其组织结构的图像的数据。这种图像可以用于评估视网膜的状况,并通过推断来评估患者的健康状况。
至少一些OCT设备包括测量光束的源、以期望的扫描图案在患者视网膜上移动光束的扫描仪、在测量光束的参考版本和从视网膜反射的光之间产生干涉图案的一组光学元件、以及用于检测干涉光波的检测器。在一些示例中,OCT系统还可以包括处理器,该处理器执行一组指令来操作扫描仪,以便在视网膜上移动测量光束。从一组扫描产生的干涉图案可以被组合以形成表示视网膜的层或区域的图像,称为干涉图。一些干涉仪的工作原理是将来自单一源的光分成两个光束,这两个光束在不同的光路上传播,然后再次组合以产生干涉图案。
干涉图可以进行进一步的图像处理以获得关于视网膜的信息,例如视网膜厚度(“RT”)、视网膜水合作用和流体池化(fluid pooling)的测量。视网膜包括细胞及组织层,例如内界膜(“ILM”)及视网膜色素上皮(“RPE”)层。图像处理可用于更清楚地区分或分割这两层。RT随时间的测量可用于诊断疾病或病症,例如通过检测眼睛中流体积聚或流体池化的证据。
尽管检测视网膜内和周围的流体池化将是有帮助的,但是与本公开相关的工作表明,现有方法至少在某些方面可能不太理想。例如,OCT图像中对应于流体池(pool)的灰度值的细微变化对于健康护理专业人员来说可能难以检测。此外,依赖于高分辨率系统来检测视网膜流体池的现有方法可能过于复杂并且可用性有限,使得至少在一些情况下,池化的检测晚于理想情况。
处理干涉图图像的一种方法是使用称为卷积神经网络(CNN)的神经网络架构。CNN是深度学习网络的一种形式,由输入层和输出层以及多个隐藏层组成。CNN的隐藏层由一系列层组成,这些层使用乘法运算或点积的实现来执行卷积运算。激活函数通常是修正线性单元(rectified linear unit,RELU)层,并且随后被附加层,例如池化层、全连接层和归一化层,跟随。这些被称为隐藏层,因为它们的输入和输出被激活函数和最终卷积所掩盖。经训练的CNN可用于分析图像并执行特定特征的识别。例如,经过适当训练的CNN可用于在称为分割的过程中识别视网膜图像的层或结构。然后,该信息可用于确定视网膜厚度的测量值或以其他方式评估患者的眼睛或整体健康状况。
图像处理中的一个复杂问题是不同的OCT系统在收集数据时可能使用不同的扫描图案。这使得比较使用不同系统获得的干涉图变得困难。如果没有足够的可用数据来正确地训练CNN来处理该类型的扫描数据,也会使干涉图的图像识别的执行变得困难。本公开的实施例旨在克服单独和集体处理干涉图数据的传统方法的这些缺点。
概述
在本文使用的术语“发明”、“该发明”、“本发明”、“此发明”、“本公开”或“公开”意在广义地指代本文档、附图或示图以及权利要求书中描述的所有主题。包含这些术语的陈述应该理解为不限制本文描述的主题或不限制权利要求的含义或范围。由本专利覆盖的本发明的实施例由权利要求书而不是由本概述来限定。本概述是本发明各个方面的高级综述,并且介绍了在下面的详细描述部分中进一步描述的一些概念。本概述不旨在识别所要求保护的主题的关键、基本或必需特征,也不旨在孤立地用于确定所要求保护的主题的范围。应当通过参考本专利的全部说明书的适当部分、任何或所有示图或附图以及每个权利要求来理解主题。
在一些实施例中,系统和方法可用于对从OCT扫描数据获得的干涉图图像执行图像识别和处理。图像识别和处理可以操作来分割视网膜的组织层,以使它们更可区分。扫描数据可以是以特定扫描图案在视网膜上移动测量光束的结果。在一些实施例中,可以使用从使用径向扫描图案执行一组扫描中获得的一组扫描数据来训练模型或神经网络,例如卷积神经网络(CNN)。训练数据还可以包括从不同扫描图案获得的扫描数据,这些扫描数据已经被内插、外推、重采样或以其他方式处理以更接近于将从径向扫描图案获得的数据。例如,另一扫描图案可以是包括多个波瓣的扫描图案。在训练之后,CNN可以用于识别视网膜的层或结构或增强对视网膜的层或结构的识别,其中在一些实施例中,对经训练的CNN的输入是使用具有多个波瓣的扫描图案获得的数据,该数据已经被内插、外推、重采样或以其他方式处理以更接近于将从径向扫描图案获得的数据。
在一些实施例中,系统和方法用于获得第一多个干涉图,其中干涉图中的每一个对应于由使用第一扫描图案执行视网膜扫描的OCT系统所获取的数据,注释由使用第一扫描图案获取的数据形成的多个干涉图中的每一个以指示视网膜的组织结构,使用多个干涉图和注释训练神经网络,输入与使用第二扫描图案执行视网膜扫描的OCT系统获取的数据相对应的第二多个干涉图,并获得经训练的神经网络的输出,该输出指示使用第二扫描图案扫描的视网膜的组织结构。
在一些实施例中,系统和方法用于接收与沿着OCT扫描图案的多个位置相对应的多个A扫描,并输出与沿着OCT扫描图案的多个位置相对应的分割图像,分割图像包括ILM层的边界、RPE层的边界或视网膜内流体池的边界中的一个或更多个。
在一些实施例中,OCT系统可以使用用于测量光束的特定扫描图案来操作,以使得能够收集数据并提供对眼睛的某些区域的更精确的测量。扫描图案可由响应于驱动信号移动作为OCT系统的一部分的反射镜而产生。反射镜拦截由光源产生的测量光束,并引导该光束遵循随反射镜的运动而变化的轨迹,从而形成预定义的扫描图案。在一些实施例中,从使用扫描图案收集的数据可以被内插、外推、重采样或以其他方式处理,以获得将从使用不同扫描图案获得的数据。这可以帮助医生更好地了解眼睛不同区域的状况,或者比较用不同扫描图案进行的扫描,作为监测患者眼睛健康的一部分。
在一些实施例中,当测量光束以扫描图案移动时,扫掠的测量源的波长可以改变,其中所获得的数据在进一步处理之前经受诸如傅立叶变换的变换。
在一些实施例中,处理器可以执行一组计算机可执行指令,以使处理器或设备访问由作为OCT干涉仪一部分的检测器检测的测量数据。在一些实施例中,处理器可以执行指令以使对所访问数据的处理产生将由不同扫描图案产生的测量数据。这可用作神经网络的附加训练数据或作为经训练的神经网络的输入。
在一些实施例中,处理器可以执行指令以访问用于多个A扫描的一组存储数据,其中每个A扫描对应于视网膜的视网膜色素上皮(RPE)和内界膜(ILM)。然后可以处理所存储的数据以增强RPE和ILM之间的区别,并且作为结果,帮助识别由于流体的积聚或流体袋的形成而引起的视网膜厚度的变化。在一些实施例中,该处理可以包括使用经过训练的CNN或其他神经网络或模型来分割由多个分割的A扫描形成的图像。
尽管具体参考了测量视网膜厚度,但本文公开的图像处理系统和方法将在许多领域中找到应用,这些领域例如显微术、计量学、航空航天、天文学、电信、医学、药学、皮肤病学、牙科和心脏病学。
本公开的实施例的其他目的和优点对于本领域的普通技术人员在回顾详细描述和包括的附图后将是明显的。
通过引用并入
本说明书中提及的所有出版物、专利和专利申请通过引用并入本文,其程度如同每一个单独的出版物、专利或专利申请被具体和单独地指明通过引用并入。
附图简述
本发明的新颖特征在所附权利要求中被具体地阐述。通过参考以下详细描述和附图将获得对本发明的特征和优点的较好的理解,该详细描述阐述了其中利用了本发明的原理的例证性实施例,在附图中:
图1示出了人眼的简化图;
图2A示出了根据一些实施例的用于测量用户眼睛的双目OCT设备的透视图;
图2B示出了根据一些实施例的双目OCT设备的框图,其示出了手持单元主体内的各种部件;
图2C示出了根据一些实施例的可以用双目OCT实现的光学配置的示意图;
图3示出了根据一些实施例的可用于收集OCT数据的扫描图案(在本文称为“花形(flower)”图案)的示例;
图4示出了根据一些实施例的OCT使用图3的扫描图案或轨迹获取的一组干涉图或扫描;
图5示出了根据一些实施例的叠加在径向扫描图案上的图3的扫描图案,其数据可通过对从图3的扫描图案获得的数据进行内插而获得;
图6示出了根据一些实施例可以如何将患者眼睛的表面划分成区(zone)或区域以用于通过比较从每个区收集数据所花费的扫描量或扫描时间来比较扫描图案的目的;
图7示出了根据一些实施例的用于训练CNN或其他形式的神经网络以执行干涉图图像的分割的过程;
图8示出了根据一些实施例的可在用于如参考图7描述的生成用于训练CNN或其他形式的神经网络的附加训练数据的过程中使用的一组操作;
图9示出了根据一些实施例的基于径向扫描图案的原始B扫描、将图像退化(imagedegradation)规则集应用于该扫描图案以生成干涉图的结果、以及通过使用第二扫描图案获得的干涉图;
图10A示出了根据一些实施例的原始干涉图和通过使用经训练的CNN处理原始干涉图而获得的分割干涉图;
图10B示出了用于获得图10A的干涉图的图3的花形图案扫描图案的示例,包括产生干涉图的指示部分的扫描图案的部分的指示;
图11A是示出根据一些实施例的用于使用采用第一扫描图案获得的一组OCT干涉图来训练神经网络以确定使用第二扫描图案获得的一组OCT干涉图中的视网膜组织结构的过程、方法、操作或功能的流程图或流程示意图;
图11B是示出了根据一些实施例的用于使用采用第一OCT系统获得的一组OCT干涉图来生成附加训练数据来训练神经网络以确定使用第二OCT系统获得的一组OCT干涉图中的视网膜组织结构的过程、方法、操作或功能的流程图或流程示意图;
图11C是示出实施例的示图,其中从第一OCT系统获得的图像数据及其相关联的注释经受重采样、退化和扩充(augmentation)操作中的一个或更多个,以生成用于训练正在用从第二OCT系统获得的图像数据及其相关联的注释进行训练的模型的附加训练数据;
图11D是示出实施例的一组图,其中从干涉图(视网膜图像)的开放存取数据集获得的训练数据经受扩充和退化处理以生成用于模型的训练数据,该模型旨在与从具有比用于生成干涉图的OCT系统更低分辨率的OCT系统获得的输入数据一起使用;
图12是示出根据一些实施例的卷积神经网络(CNN)架构的示例的示图,其可用于处理干涉图图像和表示分割图像的CNN的输出;
图13是示出根据一些实施例,使用图3的花形扫描图案获得的一组扫描数据如何可以经受进一步的数据处理操作(例如内插和高斯模糊(gaussian blurring))以生成表示视网膜的选定横截面的B扫描的图像的示图;
图14是示出根据一些实施例的通过处理使用图3的花形扫描图案针对穿过图案的不同切片(slice)获得的数据以创建将从光栅扫描获得的视网膜的不同横截面的B扫描而生成的B扫描的另外示例的示图;
图15是示出根据一些实施例的通过处理使用图3的花形扫描图案针对穿过图案的不同切片获得的数据以创建将从径向扫描获得的视网膜的不同横截面的B扫描而生成的B扫描的另外示例的示图;
图16是示出根据一些实施例的视网膜的不同横截面的所创建的B扫描的集合可以如何被组合以产生视网膜的3D可视化或厚度图的示图;
图17A是示出根据一些实施例的常规扫描图案和数据处理方法的性能与使用本文描述的花形扫描图案和利用经训练的CNN的图像处理获得的结果的比较的示图;以及
图17B是示出课程训练过程的示图,其中从第一和第二OCT设备获得的图像数据和/或注释用于在一组训练迭代中进行训练,其中一些数据经受退化。
详细描述
本公开的实施例的主题在本文被具体描述以满足法定要求,但是该描述不旨在限制权利要求的范围。所要求保护的主题可以以其他方式体现,可以包括不同的元素或步骤,并且可以与其他现有的或以后开发的技术结合使用。该描述不应被解释为暗示各种步骤或元素之中或之间的任何所需顺序或排列,除非明确指出需要单独步骤的顺序或元素排列。
本文将参考附图更全面地描述本公开的实施例,附图形成了本公开的一部分,并且通过图示的方式示出了可以实施的示例性实施例。然而,本文公开的实施例可以以不同的形式实施,并且不应被解释为限于本文阐述的实施例;更确切地,提供这些实施例使得本公开将满足本领域技术人员的法定要求。
除其他外,本公开的实施例可以整体或部分地体现为系统、一个或更多个方法、或一个或更多个设备。实施例可以采取硬件实现的实施例、软件实现的实施例或结合软件和硬件方面的实施例的形式。例如,在一些实施例中,本文描述的一个或更多个操作、功能、过程或方法可以由一个或更多个合适的处理元件(例如处理器、微处理器、CPU、GPU、TPU、控制器等)来实现,该处理元件是客户端设备、服务器、网络元件、远程平台(例如SaaS平台)或其他形式的计算或数据处理系统、设备或平台的一部分。
可以用一组可执行指令(例如,软件或计算机可执行指令)对一个或更多个处理元件进行编程,其中指令可以存储在合适的非暂时性数据存储元件中或其上。在一些实施例中,本文描述的一个或更多个操作、功能、过程或方法可以由专用形式的硬件来实现,例如可编程门阵列、专用集成电路(ASIC)等。注意,本发明方法的实施例可以以应用、作为更大应用的一部分的子例程、“插件”、数据处理系统或平台的功能的扩展或任何其他合适的形式来实现。因此,以下详细描述不被认为是限制性的意义。
尽管本文已经显示和描述了多种实施例,但对于本领域技术人员将明显的是,此类实施例仅通过示例的方式提供。在不偏离本公开的情况下,本领域技术人员可以想到许多变化、改变和替换。应当理解,可以采用本文描述的实施例的多种替代选择。例如,尽管提到了测量诸如视网膜的样本的厚度,但是本文公开的方法和装置可以用于测量许多类型的样本,诸如身体的其他组织和非组织材料。虽然提到了生成视网膜厚度图,但本文公开的方法和装置可用于生成视网膜样本的图像,例如横截面图像或断层图像。
目前公开的系统、方法和装置非常适合于与现有图像和成像系统(例如OCT成像系统和OCT图像)组合,以便提供图像结构的改进分类(例如组织类型、流体池化等)。在一些实施例中,使用迁移学习,其中使用在第一设置中训练的人工智能模型(例如神经网络)来改进在第二设置中的性能。在一些实施例中,第一设置包括包含第一分辨率的第一OCT系统配置,和第二OCT系统配置,其中第一OCT系统配置包括比第二OCT系统配置更大的分辨率(例如,解析更小的图像细节)。根据本公开,可以以多种方式配置迁移学习。在一些实施例中,通过在来自第一设置的第一数据集上训练神经网络来生成神经网络的系数,然后将学习的参数迁移到第二设置,例如,从来自第一OCT系统配置的数据生成的参数被应用到来自第二OCT系统配置的数据以分析来自第二OCT系统配置的数据。可替代地或组合地,迁移学习可以包括课程学习,其中使用增加的难度的图像来训练神经网络。在一些实施例中,来自对应于第一OCT系统配置的第一设置的图像被逐步退化并用于训练神经网络,直到图像质量(例如分辨率)对应于来自对应于第二OCT系统的第二设置的图像。
合适的更高分辨率系统的示例包括可从Heidelberg engineering商购的系统。具有较低分辨率OCT成像系统的合适的个性化生物测量系统(PBOS)的示例在2020年4月4日授予的题为“MINIATURIZED MOBILE,LOW COST OPTICALCOHERENCE TOMOGRAPHY SYSTEM FOR HOME BASED OPHTHALMIC APPLICATIONS”的美国专利号10,610,096中描述,其全部公开内容通过引用结合于此。例如,较高分辨率OCT系统可包括在约1微米(um)至约10um范围内的轴向分辨率,较低分辨率OCT系统可包括在约15um至约50um范围内的轴向分辨率。尽管提到了这些分辨率范围,但在一些实施例中,较低分辨率系统包括在约1um至约10um范围内的轴向分辨率,而较高分辨率包括在该范围内的分辨率或甚至更小的轴向分辨率,例如小于1um。
在一些实施例中,本公开所描述的系统、装置和方法旨在识别从OCT系统获得的图像的结构、区域或特征。在一些实施例中,这种识别可以由经训练的模型来执行,该模型可以采取神经网络的形式。神经网络可以被配置或操作以处理输入图像并输出指示输入中每个像素属于特定类别的概率(即,两个类别之间的相对概率)的分割图像或数据,结果是创建将每个像素映射到特定类别的图像。在一些实施例中,该类别可以是例如视网膜中的结构、层、边界、特征或流体池中的一种。
本文描述的技术和方法可用于执行若干任务或目标之一。这些包括将从OCT系统获得的图像输入到经训练的模型中,并且作为响应,输出识别一个或更多个区域、层、边界、特征、流体池等的分割图像。另一项任务是识别区域、层、边界、特征、流体池等中的变化或进展。又一项任务是比较由两个不同的OCT系统产生的图像,以验证其中一个系统的准确性,或者使用从第二OCT系统获得的图像来确定来自第一OCT系统的图像中识别的任何区域等的变化,其中两个OCT系统可以具有不同的分辨率或者在收集图像数据时可以采用不同的扫描图案。
对于所描述的任务中的每一个,可以开发经训练的模型来执行该任务。在一些实施例中,训练模型以执行任务涉及将机器学习算法应用于一组数据和注释。注释按像素将图像分割成两个或更多个类别,并且通常由熟悉图像主题的人提供。机器学习算法从数据和注释中“学习”应用于像素的正确标签或分割,并以神经网络的形式生成模型。
然而,训练模型以获得期望的性能水平(即,期望的精确度和召回水平,有时被表示为特定的度量)可能需要比可用的更多的训练数据。例如,可以从第一类型的OCT系统或具有特定分辨率或扫描图案的OCT系统获得足够的数据来训练模型,但是从用于生成用户想要分割的图像的第二类型的OCT系统获得不了足够的数据。作为另一个示例,来自第一设备的数据的注释可以比来自第二设备的数据的注释更容易或易于获得。在这些情况下,有益的是能够使用从第一类型的OCT系统获得的图像数据来训练模型,然后使用经训练的模型来分类由第二类型的OCT系统生成的图像数据。如上所述,如果两个OCT系统在收集图像数据时具有不同的分辨率或采用不同的扫描图案,就会出现这种情况的示例。
实施例包括数据采集和处理流程,该流程可用于在缺乏足够训练数据的情况下产生用于图像分割的经训练的模型。在这种情况下,足够的训练数据的(不)可用性可能会排除使用由期望的OCT系统生成的相同类型的数据来训练模型。在这种情况下,所公开的技术和方法使得能够生成新的训练数据(以及在一些情况下注释或标签),该新的训练数据可以被用于补充或替代当训练模型以执行从第二OCT系统获得的图像的分割时从第一OCT系统获得的数据。在一些实施例中,训练数据可以来自具有不同(通常更高)分辨率的系统,并且在一些实施例中,训练数据可以来自实现与产生待分割图像的系统不同的扫描图案的系统。
在一些实施例中,由训练数据不足引起的潜在问题或障碍可通过使用本文所述的一个或更多个数据处理技术来克服。这些技术包括:(1)扩充——这些技术可用于通过将一个或更多个操作(例如,几何变换,诸如图8中所示的那些)应用于与图像相关联的一组数据(并且在一些情况下还应用于视网膜层、流体区域等的相关联注释)来生成附加训练数据,以为机器学习算法提供增加的数据可变性,增加模型的稳健性,并防止模型对数据的过度拟合。在某些情况下,几何变换也可以应用于注释;(2)退化——将这些技术应用于从具有较高分辨率的OCT系统获得的原始图像数据,以获得预期从具有较低分辨率的OCT系统获得的数据;(3)重采样——将该技术应用于使用第一扫描图案获得的图像数据,以生成预期使用第二和不同扫描图案获得的图像数据(例如通常由不同的OCT系统产生的图像数据);以及(4)配准或对准——该技术是对齐通过退化第一组图像获得的第二组OCT图像中的特征(边界、区域、流体等)的注释或指示的方式,使得注释与在第一组OCT图像中识别的特征正确相关联。
本公开所描述的系统、装置和方法的实施例涉及训练和使用模型来执行从OCT设备获得的图像的分割。在一些实施例中,模型是神经网络,例如可用于图像处理的卷积神经网络。经训练的神经网络的输出是输入图像的分割,其中分割操作识别由OCT成像的视网膜的一个或更多个元素、层、区域、结构、边界、流体池或其他特征。
如所提到的,开发这种模型的困难之一是它需要可靠的训练数据。这一问题变得更加复杂,因为可用于生成训练数据图像的不同OCT系统可具有不同的特征,其中这些特征可包括扫描图案、轴向分辨率、横向分辨率或对齐方法。这些差异使得为模型获得足够的训练数据更加困难,并且还使得难以比较使用具有不同特征的OCT系统获得的图像,或者难以使用基于从第二和不同类型的OCT系统获得的数据训练的模型可靠地分割使用一种类型的OCT系统获得的图像。
图1示出了人眼的简化图。光通过角膜10进入眼睛。虹膜20通过改变允许光前进到晶状体30的瞳孔25的大小来控制允许通过的光量。前房40包含房水45,房水45确定眼内压(IOP)。晶状体30聚焦用于成像的光。晶状体的聚焦特性由重塑晶状体的肌肉控制。聚焦的光穿过充满玻璃体液55的玻璃体房。玻璃体液维持眼睛的整体形状和结构。然后,光落在具有感光区域的视网膜60上。特别地,黄斑65是负责接收视觉平面中心的光的视网膜区域。在黄斑内,视网膜中央凹70是视网膜对光最敏感的区域。落在视网膜上的光产生电信号,该电信号被传递到视神经80,然后传递到大脑进行处理。
一些疾病导致眼睛的光学性能下降。在某些情况下,眼内压(IOP)过高或过低。例如,这是由前房中房水的产生速率过高或过低或前房中房水的引流引起的。在其他情况下,视网膜太薄或太厚。例如,这是由于视网膜中流体的积聚而产生的。与异常视网膜厚度(RT)相关的疾病包括例如青光眼、黄斑变性、糖尿病性视网膜病、黄斑水肿和糖尿病性黄斑水肿。在某些情况下,RT的健康范围是从175μm厚到225μm厚。一般来说,IOP或RT或两者的异常表明可能存在几种眼科疾病中的一种。此外,IOP或RT根据眼科处理或其他程序而变化。因此,希望有一种测量IOP和/或RT的方法,用于诊断眼科疾病和评估给定患者的处理效果。在一些情况下,希望测量一个或更多个视网膜层的厚度,例如多个层的厚度。此外,期望处理从OCT系统获得的数据以帮助识别眼睛中的流体袋或区域,因为这些可能指示眼睛健康的变化。
如所描述的,所公开的OCT系统可包括扫描仪,其可被控制以使测量光束在患者视网膜上以扫描图案移动。扫描图案可以是各种类型中的一种,包括停走扫描图案、星形扫描图案、连续扫描图案、李萨如扫描图案或有时称为玫瑰线的花形图案。如将进一步详细描述的,花形图案或玫瑰线可用于生成测量数据,测量数据可被处理以生成表示将从不同扫描图案获得的数据的数据。此外,花形图案或玫瑰线可用于生成测量数据,该测量数据可被处理以生成干涉测量数据,该干涉测量数据可被用作经训练的CNN的输入以提供视网膜层的分割。
图2A示出了根据一些实施例的用于测量用户眼睛的双目OCT设备4900的透视图。双目OCT设备4900包括光学耦合到OCT测量系统的第一可调透镜4916-1和配置在手持单元主体4903(例如,外壳)内的第一固视目标,这两者在该图中从视野中隐藏。类似地,第二可调透镜4916-2可以光学耦合到OCT测量系统和第二固视目标(隐藏)。第一可调透镜4916-1可以是第一自由空间光学器件的一部分,其被配置为提供固视目标并测量用户眼睛的视网膜厚度,而第二可调透镜4916-2可以是第二自由空间光学器件的一部分,其被配置为仅提供固视目标以便减少双目OCT设备4900中的部件数量。例如,虽然两个自由空间光学器件都为用户提供了固视目标,但是只有一个自由空间光学器件用于测量视网膜厚度,因为在用户测量第一只眼睛之后,双目OCT设备4900可以上下颠倒,即倒置,使得用户可以测量另一只眼睛。
在该实施例中,双目OCT设备4900包括瞳孔间距(IPD)调节机构4905,该调节机构4905可在手持单元主体4903的外部上接近。在该实施例中,IPD调节机构4905包括两个部件,第一部件4905-1,当眼罩4901-1和4901-2搁置在用户的脸上时,当用户将双目OCT设备4900放置在用户的眼睛前面时,第一部件4905-1调节透镜4916-1和4916-2之间的距离以匹配用户的瞳孔的IPD。
该IPD可由医疗保健专业人员设置并锁定到用户在家测量视网膜厚度的位置。可替代地,IPD可以是用户可调节的。开关(或其他调节方法,例如螺丝或刻度盘)4904可用于调节透镜4916-1和4916-2以匹配用户的屈光,即眼镜处方。可替代地,可以使用诸如平板电脑的移动设备对患者的每只眼睛的屈光进行编程。例如,用户可以用一只眼睛固视第一固视目标,用另一只眼睛固视第二固视目标,并且可移动透镜针对用户的屈光被调整。开关4904可以选择性地调节手持单元主体4903内的透镜4916-1和4916-2的组件,以改变透镜4916-1和4916-2的定位。这些位置可以由医疗护理专业人员输入到设备中,并与来自取向传感器的取向一起存储在处理器中,如本文所述。该设备可以倒置,并重复该过程。可替代地或附加地,每只眼睛的处方可以存储在处理器中,并且透镜响应于取向传感器的取向而针对每只眼睛的适当屈光被调节。
部件4905-1和4905-5两者都可以实现为医疗护理专业人员手动旋转的一个或更多个轮子。可替代地,IPD调节机构4905可以是电动的。就这一点而言,部件4905-1和4905-5可以被配置为方向开关,其基于用户引导开关的方向来致动手持单元主体4903内的电机以旋转手持单元主体4903内的齿轮。
开关4904可用于调节双目OCT设备4900的聚焦。例如,因为由透镜4916-1和4916-2的调节所影响的焦距变化可以通过透镜4916-1和4916-2的调节以惯用的屈光力单位(例如屈光度)来测量。屈光度开关4906还可以包括方向开关,该方向开关基于医疗护理专业人员引导开关调节双目OCT设备4900的屈光力的方向来致动手持单元主体4903内的电机以旋转手持单元主体4903内的齿轮。由于双目OCT设备4900可包括电子设备,因此双目OCT设备4900可包括电源开关4906以控制双目OCT设备4900的供电。
眼罩4901-1和4901-2中的每一个都可以螺纹安装并联接至外壳,以允许在测量期间调节眼睛的位置。与本公开相关的工作表明,眼罩可以由医疗护理专业人员调节并锁定在适当位置,以允许用于视网膜厚度测量的眼睛的充分可再现的定位,如本文所述。可替代地或组合地,眼睛位置传感器,例如浦肯野(Purkinje)图像传感器,可用于确定从眼睛到OCT测量系统的距离。
双目OCT设备4900可包括适当的尺寸和重量,用于在家里测量和用于用户在旅行中携带双目OCT系统。例如,双目OCT系统可以包括合适的长度、合适的宽度和合适的高度。该长度可以沿着对应于用户观看方向的轴线延伸。长度可以在约90mm至约150mm的范围内,例如约130mm。宽度可以横向于长度延伸,并且可以在大约90mm到大约150mm的范围内,例如大约130mm。例如,高度可以在大约20mm到大约50mm的范围内。在一些实施例中,长度在约110mm至210mm的范围内,宽度在约100mm至200mm的范围内,高度在约50mm至约110mm的范围内。在一些实施例中,设备的最大跨越距离在从大约200mm到大约350mm的范围内,例如大约300mm。
双目OCT系统的重量可以在约1磅至2磅的范围内,例如0.5千克至约1千克。
双目OCT设备4900可以被配置为掉落并且仍然正常工作。例如,双目OCT设备可以被配置成从大约30厘米的高度掉落,并且仍然起作用,以便精确地执行视网膜厚度测量,例如,测量的视网膜厚度的变化不超过测量的可重复性。双目OCT系统可以被配置为从大约1米的高度掉落,而不会出现安全危险,例如玻璃破碎。
图2B示出了根据一些实施例的双目OCT设备4900的框图,其示出了手持单元主体4903内的各种部件。例如,双目OCT设备4900包括自由空间光学器件4910-1和4910-2。自由空间光学器件4910-1和4910-2中的每一个包括用于其相应眼睛的固视目标4912,其允许用户在测量用户的视网膜厚度时固视/凝视目标,并允许用另一只眼睛固视,以便提供双眼固视。固视目标可以包括用诸如LED的光源背照的孔(例如,圆形孔以形成圆盘形照明目标,尽管可以使用十字或其他合适的固视刺激)。自由空间光学器件4910-1和4910-2还可以分别包括屈光误差(RE)校正模块4911-1和4911-2,其分别包括透镜4916-1和4916-2。这些透镜可以移动到对应于适当眼睛的屈光误差的预编程位置。自由空间光学模块4910-1和4910-2中的外围板4915-1和4915-2分别提供对电动台4914-1和4914-2的电子控制,以校正观察双目OCT设备4900的固视目标的相应眼睛的屈光误差。
如本文所讨论的,双目OCT设备4900可包括可用于将双目OCT设备4900舒适地搁置在用户脸上的眼罩4901-1和4901-2。它们还可以被配置成在用户凝视双目OCT设备4900时遮挡外部光。眼罩4901还可以包括眼罩调节机构4980-1和4980-2,其允许医疗护理专业人员和可选地用户相对于手持单元主体4903来回移动眼罩4901-1和4901-2,以舒适地将眼罩定位在用户的脸上,并适当地定位每只眼睛用于测量。
在一些实施例中,双目OCT设备4900包括光纤干涉仪模块4950,该光纤干涉仪模块4950包括单个VCSEL或多个VCSEL 4952。一个或更多个VCSEL 4952光学耦合到光纤分配模块4953,光纤分配模块4953光学耦合到光纤马赫-曾德尔(Mach-Zender)干涉仪4951。对于包括多个VCSEL4952的实施例,每个VCSEL可以各自包括与多个VCSEL·4952中的其他VCSEL不同的波长范围,以便扩展光的光谱范围。例如,每个VCSEL 4952可以使激光脉冲化,该激光在一个波长范围内扫频一段时间。如本文所述,多个VCSEL 4952中的每个VCSEL 4952的扫频范围可与另一个VCSEL4952的相邻扫频范围部分重叠。因此,多个VCSEL 4952的波长的总扫频范围可以扩展到更大的波长扫频范围。另外,来自多个VCSEL 4952的激光的发射可以是顺序的。例如,多个VCSEL 4952中的第一VCSEL可以在第一波长上扫掠激光脉冲一段时间。然后,多个VCSEL 4952中的第二VCSEL可以在第二波长上扫掠激光脉冲一个类似的持续时间,然后是第三VCSEL,依此类推。
来自VCSEL 4952的激光被光学地传送到光纤分配模块4953,其中激光的一部分被光学地传送到光纤连接器4960,用于在主电子板4970中进行分析。光纤连接器4960可以将多根光纤从光纤分配模块4953连接到光纤连接器模块4960。激光的另一部分被光学传送到光路距离校正(OPD)模块4940,并最终传送到自由空间视网膜厚度光学器件4910-1,用于传送到用户的眼睛并用马赫-曾德尔干涉仪的测量臂的一部分测量用户的眼睛。例如,OPD校正模块4940可以包括外围板4943,外围板4943由主电子板4970控制以致动电动台4942以改变用户眼睛、马赫-曾德尔干涉仪的耦合器和一个或更多个VCSEL 4952之间的光路距离。OPD校正模块4940还可以包括光纤准直器4941,其在来自VCSEL 4952的激光传送到用户眼睛之前对其进行准直,并且光纤准直器可以随OPD校正模块4940平移。
控制器接口4930可用于接收用户输入以控制双目OCT测量系统。控制器接口可包括第一控制器接口4930-1和第二控制器接口4930-2。控制器接口4930可以包括触发按钮机构,其允许用户启动一系列步骤来对准眼睛并测量视网膜,如本文所述。可替代地或组合地,该设备可以配置有自动捕获功能,使得当该设备在适当的公差内对准眼睛时,数据被自动采集。
另外,双目OCT设备4900可以包括扫描仪模块4990,其以图案(例如,停走扫描图案、星形扫描图案、连续扫描图案、李萨如扫描图案或花形扫描图案(玫瑰线))扫描来自一个或更多个VCSEL 4952的激光。例如,扫描仪模块4990的外围板4991可以通信地耦合到主电子板4970,以接收控制信号,该控制信号指导扫描仪模块4992以图案扫描来自VCSEL4952的脉冲激光,以在用户的眼睛上执行光学相干断层扫描(OCT)。扫描模块4990可包括密封窗口4992,密封窗口4992接收来自光纤准直器4941的激光并光学地将激光传送到自由空间二维扫描仪4993,自由空间二维扫描仪4993提供激光的扫描图案。二维扫描仪可以包括如本文所述的扫描仪,例如双轴电流计或双轴静电扫描仪。当存在时,密封窗口4992可用于保持双目OCT设备4900的内部部件没有灰尘和/或湿气。然后激光被光学传输到中继光学器件4994,使得扫描的激光可以经由自由空间RT光学器件4910-1输入到用户的眼睛。在这点上,扫描的激光可以被传输到热镜4913,使得红外光可以被反射回热镜、扫描镜并聚焦到耦合到准直透镜的光纤尖端。例如,热镜4913通常透射可见光并反射红外光,并且可以包括二向色短通镜(short pass mirror)。
扫描仪和相关联的光学器件可以被配置成扫描视网膜的任何适当大小的区域,例如包括视网膜中央凹的区域。在一些实施例中,扫描仪被配置成响应于存储在诸如控制器的处理器上的指令,以诸如预定扫描图案的扫描图案扫描视网膜。例如,扫描仪可以被配置成在包括例如从大约1.5到3mm的范围内的最大跨越距离的区域上扫描视网膜。视网膜的扫描区域可以包括大于视网膜厚度图的区域,以便考虑对准中的轻微误差,例如眼睛相对于OCT系统的横向定位中高达0.5mm的误差,例如,以便例如通过基于眼睛的测量位置对准图来补偿对准误差。视网膜上的OCT测量光束的大小可以在约25微米至约75微米的范围内。在一些实施例中,反射镜以对应于视网膜上的扫描速率的连续轨迹移动,扫描速率在大约每秒10mm到大约每秒200mm的范围内,并且扫描速率可以在大约每秒50mm到大约每秒200mm的范围内。例如,A扫描期间光束的位移可以在大约2到10微米的范围内。多个A扫描中的每一个的光束可以重叠。在一些实施例中,反射镜以对应于扫描图案的轨迹的一个或更多个旋转连续移动,并且扫频源VCSEL以与光束的大小和光束在视网膜上的速度相关的合适频率开启和关闭。在一些实施例中,在扫描图案的至少一部分期间,多个A扫描中的每一个在视网膜上重叠。
在其中一个或更多个VCSEL包括多个VCSEL的实施例中,对于每个A扫描,可以顺序地扫描多个VCSEL,使得来自多个VCSEL中的每一个的测量光束在视网膜上与先前的扫描重叠。例如,来自第一A扫描的多个VCSEL中的每一个的顺序生成的光束中的每一个可以沿着轨迹与来自第二A扫描的多个VCSEL中的每一个的顺序生成的光束中的每一个重叠。
如本文所述,双目OCT设备4900可包括经由部件4905-1和/或4905-2的IPD调节。这些部件可以通信地耦合到手动平移台IP调节模块4982,手动平移台IP调节模块4982执行自由空间光学模块4910-1和4910-2的致动,以便改变自由空间光学模块之间的间隔距离并调节IPD。
主电子板4970可包括多种部件。例如,光电检测器4972可用于接收通过光纤连接器4960从VCSEL 4952引导的激光以及从用户眼睛反射的干涉光。光纤连接器4960可以包括模块4961,该模块4961将多根光纤(例如四根光纤)耦合到多个检测器(例如五个检测器)。光纤连接器4960还可以包括干涉仪时钟盒4962(例如标准具),其可以用于相位包裹(phasewrapping)从用户眼睛反射回来的光,如本文所示和描述的。一旦被光电检测器4972接收,光电检测器4972可以将光转换成要在主电子板4970和/或另一处理设备上处理的电子信号。例如,多个光电检测器可以包括耦合到光纤马赫-曾德尔干涉仪的平衡检测器对的两个检测器、时钟盒检测器和一对功率测量检测器。
主电子板4970可以包括通信电源模块4973(例如,通用串行总线或“USB”),其可以通信地将双目OCT设备4900耦合到另一处理系统,向双目OCT设备4900提供功率,和/或对双目OCT设备4900的电池充电。当然,双目OCT设备4900可以包括可用于将信息从双目OCT设备4900传送到另一设备的其他模块,包括例如Wi-Fi、蓝牙、以太网、火线等。
主电子板4970还可以包括VCSEL驱动电子器件4971,其指导VCSEL4952如何以及何时朝向用户的眼睛发射。主电子板4970上的其他部件包括模拟块4974和数字块4975,其可分别用于处理和/或生成模拟和数字信号,模拟和数字信号被(例如,从外部处理系统)传输到双目OCT设备4900,从双目OCT设备4900内的各种部件接收,和/或从双目OCT设备4900内的各种部件接收。例如,外围反馈按钮4932可以生成由模拟块4974和/或数字时钟4975处理的模拟信号,模拟块4974和/或数字时钟4975又可以生成用于经由外围板4943刺激电动台模块4942的控制信号。可替换地或附加地,模拟块4974可以处理来自光电检测器4972的模拟信号,使得它们可以由数字块4975转换成数字信号,用于后续的数字信号处理(例如,FFT、相位包裹分析等)。
图2C示出了根据一些实施例的可利用双目OCT 4900实现的光学配置5100的示意图。光学配置5100包括经由光耦合器5126光纤耦合的一个或更多个VCSEL 4952。如上所述,当发射时,一个或更多个VCSEL 4952可以在波长范围内被扫掠。对于具有多个VCSEL 4952的实施例,波长可以与多个VCSEL 4952中的另一个VCSEL 4952的波长扫频范围部分重叠,以便增加VCSEL 4952的总扫频范围。在一些情况下,该总扫频范围以大约850nm为中心。来自一个或更多个VCSEL 4952的激光通过光纤耦合器5126传播到光纤线5127,其中另一个光耦合器5118沿着两条不同的路径分割来自一个或更多个VCSEL 4952的一部分光能。
在第一路径中,大约95%的光能被光学传递到另一个光耦合器5119,其中大约5%的光能被光学传递到光耦合器5120。在第二路径中,通过光耦合器5120再次分离光能。在这点上,来自光耦合器5120的大约75%的光能通过干涉仪例如包括标准具的法布里-珀罗干涉仪传递到相位校正检测器5101-1。标准具和检测器可以包括光学时钟5125的部件。例如,光学时钟5125可以包括单个标准具。标准具可以包括基本平行的平坦表面,并且相对于激光束的传播方向倾斜。表面可包括涂覆或未涂覆的表面。材料可以包括具有合适厚度的任何合适的透光材料。例如,标准具可以包括在从约0.25mm到约5mm的范围内的厚度,例如在从约0.5mm到约4mm的范围内的厚度。标准具表面的反射率可在约3%至约10%的范围内。标准具可以相对于激光束传播方向倾斜,例如以从大约5度到大约12度的范围内的角度倾斜。标准具的精细度(finesse)可以在大约0.5到大约2.0的范围内,例如在大约0.5到1.0的范围内。标准具可以包括任何合适的材料,例如光学玻璃。标准具的厚度、折射率、反射率和倾斜角可以配置成在时钟盒检测器处提供基本上正弦的光信号。在大约0.5到2.0的范围内的精细度可以提供非常适合于本文所述的相位补偿的基本上正弦的检测器信号,尽管可以有效地利用具有更高精细度值的实施例。
在一些实施例中,时钟盒可包括多个标准具。该方法在其中一个或更多个VCSEL包括多个VCSEL,并且多个标准具提供附加相位和时钟信号信息的实施例中是有用的。例如,时钟盒可以包括第一标准具和第二标准具,第一标准具和第二标准具被布置成使得光依次穿过第一标准具,然后穿过第二标准具,例如串联配置,其可以提供时钟盒信号的频率混合,并且减少用于测量扫频源的相位的检测器和相关电路的数量。可替代地,多个标准具可以平行配置地布置,其中多个标准具耦合到多个检测器。
相位校正检测器5101-1可以使用来自光学时钟5125的光信号来校正从用户眼睛5109-1反射的光的相位,方法是通过如本文所述的来自一个或更多个VCSEL 4952的光的相位包裹来匹配一个或更多个VCSEL 4952的相位。为了光学安全,来自光耦合器5120的剩余25%的光能可以光学地传递到检测器5101-2。例如,根据设备的取向,检测器5101-2可以用于确定有多少光能被传递到用户的眼睛5109-1或5109-2。如果双目OCT设备4900确定检测器5101-2接收到太多可能损害用户眼睛的光能,则双目OCT设备4900可以作为关闭VCSEL4952的“关闭开关(kill switch)”来操作。可替代地或附加地,双目OCT设备4900可以监视检测器5101-2,以增加或减少来自VCSEL 4952的光能,这被认为是激光安全和/或信号处理所必需的。OCT设备可以包括第二安全检测器5101-3,以提供用于改善眼睛安全的冗余测量。
传输到光耦合器5119的光能(例如,来自一个或更多个VCSEL 4952的大约95%的光能)也沿着两条路径分裂,其中大约99%的剩余光能沿着光纤被光学传输到光耦合元件5122,并且大约1%的剩余光能也被光学传输到检测器5101-3,用于双目OCT设备4900的激光安全。传输到光耦合器5122的光能部分可以由光耦合器5122在马赫-曾德尔干涉仪的两个光路环5110和5111之间分割,例如每个大约50%。光路环5110可包括干涉仪的参考臂,并提供用于用户眼睛5109-1的视网膜厚度测量的参考光信号(例如,通过光路环5111从用户视网膜反射的测量信号)。
通过光环5111传递的光能部分沿着马赫-曾德尔干涉仪的测量臂传递到用户的左眼5109-1。例如,传输到用户眼睛5109-1的光能可以通过OPD校正模块4940,以执行适合于双目OCT设备4900的干涉仪的任何光路距离校正。然后,当用户的眼睛5109-1固视在固视目标4912-1上(例如,沿着固视路径5106-1)时,该光可以经由扫描仪模块4990的扫描镜5113在用户的眼睛5109-1上扫描,以测量用户的眼睛5109-1的视网膜厚度。
固视目标4912-1可以用LED 5102-1背照,并且光可以沿着光路5106-1传播通过光学元件5103-1和5105-1以及包括热镜的二向色镜5115。在一些情况下,固视目标还可以包括照明光阑(illumination stop)5104,以便在固视目标时向用户的眼睛5109-1提供缓解。
照射用户的眼睛5109-1的视网膜的光可以沿着由OPD校正模块4940、扫描镜5113、聚焦元件5114、二向色镜5115和光学元件4916-1建立的路径反射回来,通过光学环5111,并且回到光耦合器5122。在这种情况下,光耦合器5122可以光学地将反射光能传递到光耦合器5121,光耦合器5121可以将反射光能与被分到光环5110中的光能耦合。然后,光耦合器5121可以将该光能光学地传递到平衡检测器5101-4和5101-5,使得可以执行视网膜厚度测量。在这样做时,光耦合器5121可以将该光能分大约50%到检测器5101-1和5101-4中的每一个,使得干涉信号异相到达平衡检测器上。
光可以通过多个光学元件5112和5114聚焦,经由二向色镜5115被引导到用户的眼睛5109-1,并且经由光学元件4916-1聚焦在用户的视网膜上。来自扫描镜5113的光和从用户眼睛5109反射的光都被示为从二向色镜5115反射,二向色镜5115可以包括热镜4913,热镜4913被配置为通常反射红外光并透射可见光。
如在该示例中可以看到的,用户的右眼5109-2不接收来自一个或更多个VCSEL4972的具有所示取向的任何光能。相反,用户的右眼5109-2用于与目标4912-2的双目固视,目标4912-2可以用另一个LED 5102-2背照。目标4912-2可以具有与目标4912-1相似的尺寸和形状,并且以相似的光学器件呈现给眼睛,以便提供双目固视。就这一点而言,用户的右眼5109-2还可以沿着穿过光学元件4916-2、5105-2、5103-2的光路5106-2和照明光阑5104-2固视在目标4912-2上,照明光阑5104-2包括与沿着光路5106-1的光学器件相似的光功率、分隔距离和尺寸。
双目OCT系统4900可被配置为将光学部件移动到被测量用户的定制配置。透镜4916-1可以根据屈光,例如被测量的眼睛的眼镜处方,沿着光路5106-1被调节。透镜4916-1可以在计算机、用户或其他控制下移动,以调节透镜4916-1,使固视目标4912-1聚焦,并将OCT干涉仪的测量光束聚焦在用户的视网膜上。例如,透镜可以如箭头5146所示平移。透镜4916-2可以在计算机、用户或其他控制下移动,以调整透镜4916-2,使固视目标4912-2聚焦在用户的视网膜上。例如,透镜可以如箭头5144所示平移。如箭头5146所示,OPD校正模块4940可以轴向地朝向和远离反射镜5113平移。OPD校正模块4940可以在计算机控制下移动,以适当地定位测量臂和被测量用户眼睛的参考臂之间的光程差。可以通过使光路5106-2朝向和远离光路5106-1平移来调节瞳孔间距离。
自由空间光学模块4910-2可包括沿着光路5106-2的一个或更多个部件,诸如LED5101-2、固视目标4912-2、透镜5103-2、孔5104-2、透镜5105-2或透镜4916-2。自由空间光学模块4910-2可以朝向和远离沿着光路5106-1定位的光学部件横向平移,以调节瞳孔间距离,如箭头5142所示。自由空间视网膜厚度光学模块4910-1可以包括沿着光路5106-1定位的一个或更多个部件,例如LED 5102-1、固视目标5103-1、孔5104-1、反射镜5116、透镜5105-1、反射镜5115或透镜4916-1。OPD校正模块5146可以包括干涉仪的测量臂的光纤和透镜5112,以基本上准直来自光纤的光并将来自视网膜的光聚焦到光纤中。
在一些实施例中,A扫描表示样本的深度反射率分布,并且可以通过对检测到的干涉图执行傅立叶变换而产生,干涉图是在改变诸如VCSEL之类的光源的波长时获得的,如本文所述。在一些实施例中,B扫描包括对应于沿平面的组织切片的2D图像。在一些实施例中,通过以线性扫描图案沿着样本扫描测量光束来生成B扫描图像,其中B扫描包括沿着扫描图案的多个A扫描。在一些实施例中,用于形成B扫描的多个A扫描中的每一个代表在沿着扫描图案的测量位置或测量点处收集的干涉测量数据。可替代地或组合地,可以从非线性扫描图案生成B扫描,以便例如利用本文所述的非线性扫描图案的内插或映射中的一个或更多个来表示沿着组织的线性部分的组织切片。
如所描述的,OCT系统操作以在视网膜上以特定扫描图案移动测量光束。该扫描图案可以采取几种不同的形式,包括但不限于停走扫描图案、星形扫描图案、连续扫描图案、线性扫描图案、李萨如扫描图案或花形扫描图案。图3示出了根据一些实施例的可用于收集OCT数据的扫描图案(在本文称为“花形”扫描图案)的示例。图中所示的扫描图案300也称为玫瑰线,其中玫瑰线是正弦曲线的极坐标表示。花形扫描图案300包括多个波瓣310或瓣(petal),每个波瓣的一端连接到中心点或位置320并从中心点或位置320径向向外延伸。图中所示的花形图案有12个波瓣或瓣,尽管在扫描图案中可能存在不同的数量。
该图示出了患者眼睛上的扫描图案的叠加,并指示了眼睛组织例如视网膜组织的几个区域。图中的三个同心环或环形区域330(由虚线示出)表示患者眼睛的视网膜的不同区或区域。在一些实施例中,最内环332表示患者眼睛的视网膜中央凹区域的至少一部分,中间环334表示患者眼睛的黄斑区域,并且最外环336表示视网膜中央凹外部的区域。在图中,最内环332和中间环334之间的扇区或区域被划分为4个区。类似地,中间环334和最外环336之间的扇区或区域在图中被分成4个区。在一些实施例中,多个区包括患者视网膜的总共9个识别的区或区域。在一些实施例中,最内环具有大约1mm的直径,并且包含视网膜中央凹,该视网膜中央凹可以具有大约0.35mm的直径。在一些实施例中,中间环具有约2mm的直径并包含黄斑,黄斑可以具有约1.5mm的直径。在一些实施例中,最外环的直径约为2.5mm,代表黄斑外的视网膜区域。
在图3中所示的示例扫描图案中,沿着扫描轨迹的每个斑点表示视网膜上进行测量和收集数据的位置。在一些实施例中,这可能是由于在沿着图案的那些点处打开光源以产生测量光束,并且在沿着图案的其他点处关闭光源,而导致的。注意,测量的密度(即,测量点或斑点之间的间距)沿着轨迹的不同区域或部分变化。
如示例中所示,对于位于最内环332内的波瓣部分,测量密度较小。对于位于最内环332之外的扫描图案的部分,测量点的密度增加,对于环332和334之间的部分,测量点的密度增加,并且对于在该示例中位于中间环334之外的波瓣的末端或尖端的部分,测量点的密度进一步增加。因此,在该示例中,测量和数据收集点的密度沿扫描变化。
在一些实施例中,可以通过改变扫描镜的扫描速度和由扫描镜生成的扫描图案的几何形状来控制沿着扫描图案的测量点的密度,同时保持相同的A扫描采集速率。注意,每个波瓣310包括基本连续的扫描图案,在测量光束的波瓣或扫描路径内具有未扫描区域。如测量点和这些点的密度变化所示,测量光束和/或数据采样不是连续的,而是在扫描过程中被调制(开启和关闭)。
可以通过将电压或电流波形施加到一个或更多个致动器,例如微机电(MEMs)器件,使扫描镜移动。在一些实施例中,可以通过施加静电力使反射镜移动。静电力可以由一个或更多个电容器提供。在一些实施例中,反射镜的位置或取向可通过施加电磁力而引起移动。在一些实施例中,电磁力可以由电流计、静电换能器或压电换能器中的一个或更多个提供。
在OCT系统的操作期间,驱动信号或波形(或多个波形)被输入到扫描仪或扫描镜控制器。驱动信号操作以使一个或更多个致动器移动反射镜。这可以通过使反射镜绕X和/或Y轴线旋转来实现。当反射镜移动时,根据由输入驱动信号或多个信号确定的扫描图案,从反射镜反射的测量光束被重定向并使其在患者的视网膜上移动。从视网膜表面或内层反射的光与测量光束的参考版本干涉,形成由检测器检测的干涉图。因此,可以改变到一个或更多个致动器的驱动信号,以使得测量光束以期望的扫描图案在视网膜上扫描,数据由OCT系统的其他元件检测和存储。
图4示出了根据一些实施例的使用图3的扫描图案或轨迹由OCT获取的一组干涉图或A扫描400。在图中,一组A扫描被堆叠在彼此的顶部,以生成所示的图像。在一些实施例中,当一个或更多个VCSEL随时间在波长上扫掠时,通过测量干涉图的强度,并对测量的干涉图进行傅立叶变换,来生成每个A扫描。因此,在图4中,示出了一组傅立叶变换的干涉图,其中每个傅立叶变换的干涉图对应于A扫描。沿着扫描图案的测量光束的每个A扫描在图中产生一行水平像素。OCT系统能够通过改变参考镜的位置来成像视网膜及其相关组织结构的不同深度。例如,该图示出了通过连接或堆叠在图3的扫描图案的循环期间执行的多个扫描而获得的内界膜(ILM)410和视网膜色素上皮(RPE)420的图像。
在一些实施例中,使用一个扫描图案收集的数据可以经受进一步处理以获得预期由第二扫描图案生成的数据。在一些实施例中,这可涉及内插、外推或以其他方式处理作为图3的扫描图案的结果而获取的测量数据,以产生预期作为第二和不同扫描图案的结果而获取的数据。
作为示例,图5示出了根据一些实施例的叠加在径向扫描图案上的图3的扫描图案,其数据可以通过对从图3的扫描图案获得的数据进行内插来获得。在该示例中,通过测量光束沿着花形扫描图案510的移动获得的数据可以被内插或以其他方式处理,以产生通过在“星形”或径向图案520上执行扫描所期望的数据。用于生成对应于不同扫描图案的数据的内插、外推或其他形式的处理可以基于任何合适的技术或方法,包括但不限于线性内插、多项式内插、最近邻内插或样条内插等。
尽管图5示出了星形或径向扫描图案,但应当理解,通过使用花形或玫瑰线扫描图案获得的测量数据的内插、外推或其他处理可用于生成与其他类型的扫描图案相对应的测量数据,扫描图案包括但不限于停走、圆形、星形、李萨如、线性、光栅和其他图案。在一些实施例中,这允许使用花形、弯曲或波瓣状扫描图案获取的数据用于“模拟”或表示使用径向、线性或其他扫描图案获取的数据。
图6示出了根据一些实施例,可以如何将患者眼睛的表面划分成区或区域以用于通过比较从每个区收集数据所花费的扫描量或扫描时间来比较扫描图案的目的。如图所示,眼睛的表面可以被分成一组区,在这种情况下是9个区。在图中,每个区由标签Z0、Z1至Z8标识。在一些实施例中,每个区可用于生成视网膜厚度图,其中示出了每个区的总厚度,例如平均厚度。在一些实施例中,比较来自同一只眼睛在不同时间的测量数据,以生成示出每个区的视网膜厚度随时间变化的图。
如已经描述的,视网膜厚度的测量和视网膜厚度随时间的变化可以提供疾病或病症的指示,甚至提供对于与眼睛没有直接关系的疾病或病症的指示。这是获得OCT扫描数据并处理该数据以使其能够用于创建可被分析以确定视网膜厚度的图像的价值的一个原因。
尽管一些OCT系统能够收集和处理OCT扫描数据以增强显示视网膜的ILM和RPE层的图像,但是这些图像的解释仍然是困难的并且容易出错。层之间的模糊性或缺乏明显的边界会给视网膜厚度的测量带来不确定性。减少这些不准确性的一种方法是通过训练机器学习模型将图像“分割”成更好定义的ILM和RPE层。这种分割使得能够更精确地测量视网膜厚度,并且如上所述,该信息有助于眼病的诊断和处理。在一些实施例中,使用经过训练的神经网络来执行OCT图像的分割。
如本文所述,经训练的卷积神经网络(CNN)可用于分割干涉图并提供可更有效地用于确定视网膜厚度测量的所得图像。在一些示例中,这是CNN对图像进行操作以增强内界膜(ILM)层的边界的结果,其中ILM是眼睛的视网膜和玻璃体之间的边界。使用CNN或其他形式的经过训练的图像处理模型有助于识别视网膜中组织层的边界,并获得视网膜厚度的更精确的测量值。
然而,如所提到的,训练CNN或其他形式的神经网络需要一组相对较大的适当注释的训练数据。不幸的是,对于由特定类型的OCT设备或系统产生的干涉图,足够大的注释数据集可能是不可用的,该特定类型的OCT设备或系统例如是使用不同于用于生成扫描——对于这些扫描,更多数据是可用的——的扫描图案的扫描图案操作的OCT设备或系统。例如,目前有相对大量的数据可用于使用径向或光栅扫描图案生成的扫描,但是对于使用其他形式的扫描图案生成的扫描,可用的数据相对较少。这使得训练和使用CNN来分割从使用非径向图案的扫描图案导致的扫描生成的图像变得困难。
图7示出了根据一些实施例的用于训练CNN或其他形式的神经网络以执行干涉图图像的分割的过程700。如图所示,在一些实施例中,训练数据包括来自两个源的OCT扫描数据:(1)第一源710(在图中称为“参考B扫描”),以及相关联的注释或标签712(在图中称为“注释”);以及(2)第二源720(在图中称为“PBOS干涉图”),以及相关联的注释或标签722(在图中称为“注释”)。
更一般地,这两个源表示从操作OCT系统并基于以第一扫描图案移动测量光束而获得的第一数据源和从操作OCT系统(其通常是不同的OCT系统,但不要求如此)并基于以第二和不同的扫描图案移动测量光束而获得的第二数据源。在一些实施例中,第一扫描图案是线性(例如,径向)扫描图案,第二扫描图案是弯曲(例如,花形)扫描图案。
在一些实施例中,从两个源中的一个可获得的信息、数据、扫描、图像或干涉图的量对于训练CNN的目的可以是足够的,而从另一个源获得的量相对较少并且被认为对于训练目的是不够的。在一些实施例中,从OCT系统或扫描图案中的一个获得的图像或干涉图可以比从另一个OCT系统或扫描图案获得的图像或干涉图分辨率更高。
在一些实施例中,经训练的神经网络可用于处理使用不存在足够训练数据的扫描图案获得的图像或干涉图。在一些实施例中,这可以是图中称为PBOS干涉图720的扫描类型。在一些实施例中,扫描720可以基于使用弯曲扫描图案获得的数据。结果,如果期望能够对使用从弯曲扫描图案获得的数据形成的图像执行图像分割或另一形式的图像处理,则期望用于训练能够利用从不同扫描图案(例如线性扫描图案)获得的图像的神经网络的过程。图7示出了这种训练过程的示例。
在一些实施例中,从使用两种类型的扫描图案(线性和弯曲扫描图案)获得的数据生成的图像被用作训练过程的一部分。如将更详细地描述的,训练数据源中的一个或两个可以在用于训练CNN之前经受额外的处理。此外,在一些实施例中,输入到经训练的CNN的图像(在这个例子中是PBOS干涉图720)可以在被输入到经训练的CNN之前经受进一步的处理。
因为OCT数据的两个源(710和720)表示从使用不同扫描图案和/或具有不同分辨率的系统获得的数据,从一种类型的扫描图案获得的扫描、干涉图或图像可受益于在被用于训练CNN或被用作经训练的CNN的输入之前的进一步处理。该进一步处理可依赖于相同或不同形式的图像处理(例如,平移、采样、翻转、模糊、内插等)。
在一些实施例中,进一步的处理用于生成更大的扫描数据或图像集合,以用作CNN的训练数据。基于使用第一类型的扫描图案生成的数据,从B扫描图像710形成附加训练数据。如所提到的,在一个示例中,经训练的CNN对从扫描图案数据生成的图像或使用第二扫描图案获得的图像(720)执行图像处理。
在一些实施例中,使用第二扫描图案获得的扫描图案数据或图像可在用于训练目的或作为训练模型的输入之前经受进一步处理。在一些实施例中,该进一步处理可以包括对使用第二扫描图案获得的数据进行内插或外推,以产生预期由使用第一扫描图案产生的数据。在一些实施例中,这包括对使用弯曲扫描图案获得的数据进行内插,以产生预期由使用线性扫描图案产生的数据。
在一些实施例中,进一步的处理可用于改变由使用第一扫描图案获得的数据形成的图像,使得图像更接近于由使用第二扫描图案获得的数据形成的图像。在一些实施例中,这种类型的处理可以用于在原始训练数据集输入到CNN之前对其进行处理。在一些实施例中,这种类型的处理可用于在应用其他处理以生成原始图像集的变化之后生成附加训练数据。
如图中所示,在一些实施例中,从第一扫描图案710获得的带注释的扫描图像在被用作神经网络740的训练数据之前,可以通过应用图像改变规则集730来进行改变。在一些实施例中,神经网络740可以包括CNN并具有被称为U-Net的特定架构。如参考图12更详细地描述的,U-Net神经网络由收缩路径(contracting path)和扩展路径(expanding path)组成,这导致U型架构。收缩路径是一个卷积网络,由重复应用卷积组成,每个卷积之后是一个修正线性单元(ReLU)和一个最大池化操作。在收缩阶段,空间信息减少,而特征信息增加。扩展路径通过与来自收缩路径的高分辨率特征的一系列上卷积和级联来组合特征和空间信息。
图像改变规则集730可包括应用于从扫描710获得的数据或图像的一组图像处理操作,以使该数据或图像能够被用作训练神经网络740的输入。在一些实施例中,经训练的网络然后用于处理或分割从扫描720获得的数据或图像。在一些实施例中,图像改变规则集730可以包括一个或更多个图像处理操作,例如非线性二次采样、缩放、翻转、平移、亮度和对比度适应,或者高斯模糊滤波器的应用。
如所提到的,并且如图7所示,在一些实施例中,基于第二类型扫描图案720的扫描数据或图像也可用于训练过程中。在这种情况下,这些图像被注释722,并且基于两种类型的扫描图案的数据或图像被用作训练数据。此外,在一些实施例中,可以如上所述处理基于第一类型扫描图案的数据或图像,以生成附加训练数据。此外,在一些实施例中,基于第二类型扫描图案的数据可以被内插、外推或以其他方式处理以生成训练数据。在一些实施例中,可以通过内插注释712来导出注释722;当干涉图720由于测量数据的相对低的光学分辨率而不容易或不可靠地被人注释时,这可能是有用的。在这些情况下,由于用于生成扫描710和720的扫描图案不相同,可能需要对注释或标签的内插。
当被训练时,输入到经训练的神经网络740的数据或图像可以是基于第二类型扫描图案的数据或图像,该数据或图像或者是第二类型扫描图案的原始形式的数据或图像,或者是在被内插、外推或以其他方式处理之后的数据或图像。在一些实施例中,内插或其他数据处理可以用于生成更接近于从第一扫描图案获得的数据或图像的数据或图像。在一些实施例中,该内插可以对从弯曲扫描图案获得的数据进行操作,以生成预期将从线性扫描图案获得的数据。
图8示出了根据一些实施例的可在用于如参考图7描述地生成用于训练CNN或其他形式的神经网络的附加训练数据的过程中使用的一组操作。如图中所示,原始图像810(例如从分割基于第一扫描图案710的B扫描获得的图像)可以经受包括随机水平翻转(如820中所示的图像所建议的)、沿x方向的随机移位(830)、沿y轴的随机缩放(840)、沿y方向的随机平移(850)、高斯模糊(860)或可变弹性变换(870)的操作。原始图像的合成过采样产生稍微改变的训练图像,并且将其用作附加训练数据可以最小化模型对训练集的过度拟合的风险。在一些实施例中,这些类型的几何变换可以被称为用于扩充数据集的技术。
图9示出了根据一些实施例的基于径向扫描图案的原始B扫描、将图像退化规则集应用于扫描图案以生成干涉图的结果、以及通过使用第二扫描图案获得的干涉图。该图示出了基于径向扫描图案的原始图像910(在图中称为B扫描)。将图像退化或改变规则集920应用于图像910。如图所示,将图像退化或改变规则集920应用于图像910产生图像930(在图中称为“伪干涉图”)。注意,将图像退化或改变规则集920应用于图像910生成更接近于从执行第二类型扫描图案940(在这种情况下是图3的花形扫描图案)的OCT设备获得的图像的图像930。在一些实施例中,这些类型的数据处理操作可被称为用于退化作为数据集的一部分的图像的技术。
这种相似性是一个实施例的基础,在该实施例中,经训练的神经网络操作以从使用不同于通常用于生成B扫描的扫描图案获得的输入扫描生成B扫描。例如,给定包括从线性扫描图案获得的B扫描图像和从弯曲扫描图案获得的第二组图像的训练数据集,可以训练CNN以将B扫描图像中的注释特征与第二组图像中的相应特征相关联。在一些情况下,B扫描图像可以经受参考图8和图9所示和描述的一个或更多个处理操作。
在一些情况下,从弯曲扫描图案获得的数据在被用作训练数据之前可以被内插或以其他方式处理,以更接近地对应于针对使用线性扫描图案扫描的视网膜的区域或特定线性扫描图案获得的数据。在一些实施例中,这被称为重采样处理或操作。当被训练时,神经网络可以操作以接收使用弯曲扫描图案获得的图像(或从弯曲扫描图案生成的内插数据集)作为输入,并且作为响应,输出对应于B扫描的图像,该图像将针对在视网膜区域执行的特定线性扫描图案而获得。
该实施例允许使用弯曲扫描图案来使用第一OCT设备生成数据,以作为图像的源,该图像的源通常通过使用由第二OCT设备执行的线性扫描图案来生成。类似地,它允许使用由执行第一扫描图案的OCT系统生成的数据作为训练用于分割由执行第二扫描图案的OCT系统生成的数据的模型的一部分。
图10A示出了根据一些实施例的原始干涉图1010和通过使用经训练的CNN处理原始干涉图而获得的分割干涉图1020。原始干涉图1010(在图中标识为“所得干涉图”)由使用图3的扫描图案的多次扫描构建,这些扫描捕获从视网膜内不同深度获得的数据。在图3的扫描图案上的位置处的一个或更多个A扫描(其可以被平均或经受其他信号处理以组合来自多个扫描的扫描数据)产生对应于图中单个垂直线的数据。来自多个扫描的数据被组合以产生所示的干涉图1010。当这种类型的干涉图被输入到参考图7和图12描述的类型的训练过的神经网络时,输出是分割的干涉图图像1020。分割的干涉图图像1020更容易识别某些组织层或层边界,例如ILM和RPE层。这可以提高确定视网膜厚度随时间变化的能力以及识别视网膜中的流体或流体池的能力。干涉图1022是可由经训练的CNN响应于干涉图1010的输入而生成的输出的另一示例。在一些实施例中,输出可以由其他或附加的分割类别,例如,视网膜内液(“IRF”)、视网膜下液(“SRF”)、色素上皮脱离(“PED”)等中的一个或更多个,组成。
注意,在一些实施例中,可以执行干涉图1010的处理以改进分割,例如在2020年8月14日提交的题为“System and Method for Optical Coherence Tomography A-ScanDecurving”的美国临时专利申请62/706,417中描述的被称为去弯曲(decurving)的处理,该美国临时专利申请的全部内容通过引用并入本文。
图10B示出了用于获得图10A的干涉图的图3的花形图案扫描图案的示例,包括产生干涉图的指示部分的扫描图案的部分的指示(在图10A和图10B的每一个中由箭头1030示出)。
图11A是示出根据一些实施例的用于使用采用第一扫描图案获得的一组OCT干涉图来训练神经网络以确定使用第二扫描图案获得的一组OCT干涉图中的视网膜组织结构的过程、方法、操作或功能的流程图或流程示意图1100。图中所示的步骤或阶段可以作为编程处理器或处理单元执行一组指令的结果而全部或部分地执行。如图所示,在步骤1110,获得第一多个干涉图。这些干涉图基于OCT系统使用第一扫描图案(例如径向扫描图案)收集的数据。在步骤1120,对第一多个干涉图中的每一个进行注释或标记以指示视网膜的一个或更多个组织结构。这些组织结构可包括例如ILM或RPE。通常,注释或标记由在干涉图的主题方面具有专业知识的人执行。在一些示例中,注释或标记可以借助于规则集和图像处理软件或另一类型的自动化或半自动化过程来执行。
在一些实施例中,注释可以被分配给图像中的每个像素,并且可以包括背景、前景、视网膜内液、视网膜下液或色素上皮脱离中的一个。
在步骤1130,使用第一多个干涉图和相关联的注释来训练神经网络。在一些实施例中,神经网络可以是CNN,更具体地,可以是参考图12更详细描述的U-Net架构。在步骤1140,第二多个干涉图被输入到经训练的神经网络。第二多个干涉图基于OCT系统使用第二和不同的扫描图案(例如图3的花形扫描图案)收集的数据。在步骤1150,获得经训练的神经网络的输出,其中输出指示使用第二扫描图案扫描的视网膜的组织结构。
图11A的实施例表示可由经过适当训练的模型执行的若干任务或目标中的一个。在图11A的示例实施例中,使用从第一OCT系统获得的训练数据(和相关联的注释)来训练模型,该第一OCT系统操作以使用第一扫描图案来获取图像数据。在训练之后,该模型接受由操作以使用第二扫描图案获取数据的第二OCT系统生成的数据作为输入并分割该图像数据。
然而,如所提到,在一些情况下,可能没有足够的可用训练数据,或者可能需要补充或改变可用训练数据以使其能够用于训练模型以对从第二OCT系统获得的输入数据进行操作。图11B是示出了根据一些实施例的用于使用采用第一OCT系统获得的一组OCT干涉图来生成附加训练数据来训练神经网络以确定使用第二OCT系统获得的一组OCT干涉图中的视网膜组织结构的过程、方法、操作或功能的流程图或流程示意图1102。
如图11B所示,在一些实施例中,在步骤1112,通过使用第一OCT系统扫描一个或更多个视网膜来获得第一多个干涉图。第一OCT系统可以具有相关联的分辨率、扫描图案或其他特征。然后对每个干涉图进行注释或标记,这通常涉及将每个像素映射到一个类别,例如视网膜的结构、层、边界或特征,如步骤1122所建议的。接下来,在步骤1124,生成新的或附加的训练数据。如本文所述,新的或附加的训练数据可以与参考步骤1112和1122描述的第一多个干涉图和注释一起使用,或者代替那些干涉图和注释作为训练数据和相关联注释的替换集。
接下来,在步骤1132,使用第一多个干涉图、原始注释、新训练数据(和相关联的注释)或附加训练数据(和相关联的注释)中的一个或更多个来产生模型(例如经训练的神经网络)。新的或附加的训练数据和注释可以通过以下数据处理技术中的一种或更多种来生成:(1)扩充——这组技术或操作用于通过将一种或更多种操作(几何变换,例如图8中所示的那些)应用于与图像相关联的一组数据来生成附加的训练数据。扩充用于提供增加的数据可变性,增加经训练模型的稳健性,并防止模型过度拟合原始数据集。可以将几何变换应用于相应的注释,以生成由扩充过程产生的图像数据的注释;(2)退化——这组技术或操作(例如模糊)应用于从具有较高分辨率的OCT系统获得的原始图像数据,以获得预期从具有较低分辨率的OCT系统获得的数据。在一些实施例中,退化图像可以用作用于训练模型的课程学习过程的一部分;(3)重采样——将该技术或操作应用于使用第一扫描图案获得的图像数据,以生成预期使用第二和不同扫描图案(通常来自不同的OCT系统)获得的图像数据。重采样操作可以包括最近邻内插、外推、曲线拟合等;以及(4)配准或对准——该技术或操作用于将对第一组图像作出的特征(边界、区域、流体等)的注释或指示与通过退化第一组图像获得的第二组OCT图像中的那些特征的注释或指示对齐。
在被训练之后,如步骤1142所建议的,神经网络(或其他形式的经训练模型)接收从使用第二OCT系统获得的第二多个干涉图作为输入。经训练模型的输出是对输入图像/干涉图的分割,其指示图像的结构、层、边界、特征、流体池或其他方面。可以通过将每个像素映射到一个或多个类别来获得分割图像。
图11C是示出实施例1160的示图,其中从第一OCT系统获得的图像数据及其相关联的注释经受重采样、退化和扩充操作中的一个或更多个,以生成用于训练正在用从第二OCT系统获得的图像数据及其相关联的注释进行训练的模型的附加训练数据。如图所示,从第一OCT系统获得的图像数据1162及其相关联的注释1163都经受重采样处理。重采样处理可以包括内插、外推、曲线拟合或其他合适的数据处理技术。重采样处理的结果是从第一OCT系统获得的一组重采样图像数据1164和一组相关联的重采样注释1165。接下来,如步骤1166所建议的,重采样图像数据1164经受退化或扩充中的一个或更多个。退化可以涉及对初始图像数据进行操作以产生对应于较低分辨率图像的图像数据的模糊或其他变换或处理。扩充可以涉及几何变换或操作,例如参考图8描述的那些。结果是从第一OCT系统获得的图像数据,该图像数据被制造成类似于预期从第二OCT系统获得的图像数据,其中第二OCT系统具有较低的分辨率并且使用与第一OCT系统不同的扫描图案来操作。此外,通过使用扩充操作,已经生成了附加训练数据,以帮助防止模型对原始数据集的过度拟合。另外如图中所示,重采样的注释数据1165经受扩充处理以生成附加注释数据1167,该附加注释数据1167可以作为训练过程的一部分与重采样的、退化的或扩充的数据1166一起使用。
参考图11C描述的处理生成附加训练数据和注释,其可与从第二OCT系统1168获得的图像数据及其相关联的注释1169一起使用以训练模型。经训练的模型用于分割使用第二OCT系统获得的图像数据。然而,因为第二OCT系统(其通常具有与第一OCT系统不同的分辨率并利用不同的扫描图案)可用的训练数据(或数据的注释)不足,所以重采样、退化和扩充技术中的一个或更多个被应用于从第一OCT设备获得的图像数据(并且在一些情况下,应用于注释),以生成与可用的训练数据和注释一起使用的附加训练数据和注释。
从第二OCT系统获得的图像数据的注释1169可以由人直接获得,或者通过对第二OCT系统的图像数据1168的机器注释来获得,或者通过对从第一OCT系统获得的图像数据1162的注释1163的扩充、重采样或配准中的一个或更多个来获得。注释或标签的配准或对准可取决于第一或第二设备的特性,并且可包括考虑扫描之间的倾斜或移位、扫描图案、扫描位置或其他特性。
如所述,原始图像数据和相关联的注释可以单独使用或与附加训练数据和注释一起使用,以训练用于分割图像数据的模型。在一些实施例中,附加训练数据可以通过扩充、退化或重采样操作或处理中的一个或更多个来生成。类似地,与附加训练数据相关联的注释可以基于与原始图像数据相关联的注释的扩充、重采样或配准。
在一些实施例中,迁移学习或课程学习的过程可用作训练用于图像数据分割的模型的一部分。在本文,迁移学习指的是一个过程,其中针对一个任务或目标训练而成的模型(或作为模型的一部分的层)被用于不同的任务或目标。这可能涉及将先前训练的模型的一个或更多个隐藏层插入到新模型中,然后使用训练数据集完成新模型的训练。
课程学习指的是通过在训练周期的每一次迭代中逐步增加任务的难度来训练模型的过程。作为示例,这可以通过对于每个连续迭代或迭代集合逐渐降低训练数据的质量(例如,通过退化)从而增加正确分类数据的难度来实现。在一些实施例中,这可以通过随着迭代次数的增加将更高分辨率的图像数据退化到更大程度和/或随着迭代次数的增加以更高的概率将从不同OCT系统获得的更低分辨率的图像数据添加到训练数据集中来实现。
在这点上,图11C中所示的处理也可以或替代地用作用于训练模型的课程学习过程的一部分,因为其导致生成较低质量的图像和注释数据,所述较低质量的图像和注释数据可以单独使用或与原始图像和注释数据一起用于训练。
图11D是示出实施例的一组图1170,其中从干涉图(视网膜图像)1172的开放存取数据集获得的训练数据经受扩充和退化处理1173以生成用于模型的训练数据,该训练数据旨在与从具有比用于生成干涉图1172的OCT系统更低分辨率的OCT系统获得的输入数据一起使用。初始数据1172被注释以产生指示对应于图像中像素的类别的注释或标记的图像1174。如1174所建议的,注释可以识别原始图像的几个类别或特征,包括诸如视网膜中的组织层、组织边界、流体池或其他结构的特征。可通过移除某些类别标识来简化带注释的图像1174,以产生用于训练模型的一组简化注释1175。在一些实施例中,简化注释1175源于作为数据扩充过程的一部分应用被应用于图像数据1172的一个或更多个几何变换。然后,退化和扩充的图像数据1173和相应的注释1175可以用作模型的训练数据和标签。当训练后,模型1176(描绘为神经网络,更具体地,U-Net架构)操作以从输入图像数据生成分割图像1177,该输入图像数据对应于具有比用于生成原始图像数据1172的分辨率低的分辨率的OCT系统。
图12是示出根据一些实施例的卷积神经网络(CNN)架构的示例的图示,其可用于处理干涉图图像1210和表示分割的图像1220的CNN的输出。如图中所示,CNN包括操作以将图像的空间特征交换为语义特征的收缩器路径(contractor path)1230,随后是操作以将语义特征交换为空间特征的扩展路径1240。
收缩器路径1230可被认为是编码器,其通常包括应用卷积块1232随后是最大池下采样的预训练分类网络。其结果是将输入图像编码成多个不同级别的特征表示。扩展路径1240可以被认为是解码器,其在语义上将由编码器学习的有识别力的特征(即,较低分辨率特征)投影到像素空间上(从而产生较高分辨率)以提供密集分类。典型地,解码器包括上采样和级联操作,然后是卷积运算。上采样可被称为转置卷积、上卷积或反卷积,并且上采样方法包括例如最近邻、双线性内插和转置卷积。
每个卷积运算1232通常被实现为逐点乘法运算(例如图像部分和加权值之间的点积),随后是求和运算,在一些示例中应用了几个加权或滤波层(称为核)。在一个示例实施例中,可用于处理图像数据的CNN的U-Net架构(例如图12中所示的架构)包括18个卷积层、179万个偏差和权重以及32至256个语义特征通道。
在图像处理的每个阶段之后,将结果与在前一个处理阶段创建的数据级联或组合,以形成经处理的图像数据的最终集合。作为示例,在训练之后,图12的CNN可以对所示类型的图像(在该示例中,由通过以弯曲扫描图案操作OCT系统而收集的数据形成的图像)进行操作,以生成分割的输出图像。然后,输出图像可用于更好地识别视网膜中的组织结构,并对视网膜厚度进行更可靠的测量。
如所提到的,可用于实现所描述的经训练模型中的一个或更多个的卷积神经网络架构的示例被称为U-Net架构。特别是,已经发现UNet 3+架构是有益的,因为它将训练期间的深度监督与跳过某些分离的隐藏层之间的连接相结合。这使得高级语义信息与高分辨率空间信息的融合成为可能。UNet 3+架构在一篇题为“Unet 3+:AFull-Scale ConnectedUnet For Me dical Image Segmentation”(https://arxiv.org/ftp/arxiv/papers/2004/2004.08790.pdf)的文章中进行了描述。在一些实施例中,卷积神经网络具有5到19个隐藏层和由ReLU(修正线性单元)组成的激活层。
图13是示出根据一些实施例,使用图3的花形扫描图案获得的一组扫描数据如何可以经受进一步的数据处理操作(诸如涉及内插或高斯模糊的重采样)以生成表示视网膜的选定横截面的B扫描的图像的示图。如图中所示,使用图3的花形扫描图案(1310)收集的数据可用于生成表示B扫描1320的图像,所生成的图像由用户在数据点的花形扫描数据图案上选择感兴趣的特定横截面(如线1312所示)来确定。
如将参考图14和图15进一步描述的,在一些实施例中,用户可以选择使用花形扫描图案(作为示例)获得的数据的期望横截面“切片”,并且作为响应,本文描述的系统和方法可以生成相应的B扫描图像。根据所选择的横截面,可以通过内插或另一处理对花形图案扫描数据进行重采样,以生成通常由线性径向扫描或光栅扫描产生的数据,所生成的数据被用作形成B扫描的一部分。结果,输出图像代表特定类型的线性扫描产生的B扫描,尽管原始数据是使用花形扫描图案获得的。
图14是示出根据一些实施例的通过处理使用图3的花形扫描图案针对穿过图案的不同切片获得的数据以创建将从光栅扫描获得的视网膜的不同横截面的B扫描而生成的B扫描的另外示例的图示。如图所示,通过在使用花形扫描图案生成的数据中选择水平线,可以生成对应于视网膜特定区域的光栅扫描的B扫描图像。
例如,穿过花形扫描图案的切片1410将产生1420所示类型的扫描。类似地,穿过花形扫描图案的切片1430将产生1440所示类型的扫描。穿过花形扫描图案的切片1450将产生1460所示类型的扫描。穿过花形扫描图案的切片1470将产生1480所示类型的扫描。
图15是示出根据一些实施例的通过处理使用图3的花形扫描图案针对穿过图案的不同切片获得的数据以创建将从径向扫描获得的视网膜的不同横截面的B扫描而生成的B扫描的另外示例的图示。如图所示,通过选择在使用花形扫描图案生成的数据中的包括原点的对角线,可以生成对应于视网膜特定区域处的径向扫描的B扫描图像。
例如,穿过花形扫描图案的切片1510将产生1520所示类型的扫描。类似地,穿过花形扫描图案的切片1530将产生1540所示类型的扫描。穿过花形扫描图案的切片1550将产生1560所示类型的扫描。穿过花形扫描图案的切片1570将产生1580所示类型的扫描。
图16是示出根据一些实施例的视网膜的不同横截面的所创建的B扫描的集合可以如何被组合以产生视网膜的3D可视化或厚度图1620的图示。该图示出了从使用扫描图案获得的数据的不同部分生成的图像可以如何被组合,以产生可以在扫描图案上可视化的体积数据。注意,厚度图不限于关于图6描述的9个区域或区。该3D体积数据还可以包括内部结构,例如流体池化。
图17A是示出根据一些实施例的常规扫描图案和数据处理方法的性能与使用本文描述的花形扫描图案和利用经训练的CNN的图像处理获得的结果的比较的图示。曲线图1710示出了使用李萨如扫描图案(在该示例中)和高斯混合模型(GMM)数据拟合方法获得的数据中的变化或分散。如曲线图1710所示,回归模型“拟合”的R2值为0.459,表明数据中有相对较大的变化量。
曲线图1720示出了使用花形扫描图案(在该示例中具有12个瓣或波瓣)和本文描述的用于处理图像的类型的经训练的神经网络获得的数据中的变化或分散。如曲线图1720所示,回归线“拟合”的R2值为0.965,表明数据中的变化量相对较小,并且更好地拟合回归模型。这表明经训练的神经网络能够产生更一致的结果。
图17B是示出课程训练过程的图示,其中从具有较高分辨率的第一OCT设备配置和具有较低分辨率的第二OCT设备配置获得的图像数据和/或注释被用于在一组训练迭代中进行训练,其中一些数据经受退化。示出了与训练迭代相关的训练图像的图像质量和图像退化。在一些实施例中,训练图像退化的增加对应于图像质量的降低。图像数据1770包括来自第二OCT设备配置的多个图像,第二OCT设备配置包括基本固定的降低的图像质量,例如较低的分辨率、增加的失真、噪声等,例如本文所述的个性化生物测量系统(PBOS)。以下示出了三种类型的数据:1)来自第二OCT设备配置的数据1770;2)来自具有高分辨率的第一OCT设备配置的数据1760,其已被重采样,然后退化,其中退化是随机化的并且随时间逐渐增加;以及3)来自具有高分辨率的第一OCT设备配置的数据1750,其被重采样,然后随着退化的线性增加而逐渐退化。在一些实施例中,训练图像的像素分辨率保持基本固定,而退化增加并且相应的图像质量降低。例如,重采样图像的基本固定的像素分辨率可以对应于第二OCT设备配置的分辨率,使得来自第一OCT设备配置的重采样和退化图像可以与来自第二OCT设备配置的图像组合,例如在训练过程的迭代中彼此穿插。
还示出了图像数据的相对质量,其包括目标图像质量1765(用线示出)和重采样图像质量1755(用线示出)。重采样图像质量1755对应于来自具有高分辨率的第一OCT设备配置的重采样图像的图像质量,该重采样图像已经被下采样到较低的横向分辨率并且还没有退化。在一些实施例中,重采样包括横向下采样以提供横向分辨率的降低,并且退化包括轴向下采样以提供轴向分辨率的降低。目标图像质量1765被选择为对应于来自具有较低分辨率的第二OCT设备配置的图像数据1770的图像质量,使得退化的图像数据模仿图像数据1770。例如,图像数据1760和图像数据1750的质量在训练会话1780的结束1780附近向目标图像质量1765收敛。该方法允许经训练的网络接收来自第二低分辨率设备的输入图像,并输出如本文所述的分割图像之类的带注释的图像。
来自较低分辨率系统的图像数据1770的质量用于建立用于神经网络训练的目标图像质量1765。随着神经网络的渐进训练迭代,用于神经网络的退化的输入训练图像的质量向目标图像质量1765收敛。这可以通过退化重采样图像来实现。重采样图像可以包括图像质量1755。这些重采样的图像可以退化适当的量,并用作训练模型的输入。退化的量可以与训练迭代的次数相关。例如,重采样和线性退化的数据1750沿着对应于线性增加的图像退化和线性减少的图像质量的线1785示出。在一些实施例中,图像质量在可变范围1790内,该可变范围1790从目标量1765延伸到线1785所示的退化的较低阈值量。退化量可以随渐进迭代来增加,以提供具有近似与图像数据1770一致的图像质量1765的图像质量的输入训练图像。如箭头1775所示,图像1770的图像质量对应于图像质量1765,使得接近训练过程结束的退化图像的图像质量基本上对应于较低分辨率OCT系统的图像质量。
如图17B所示,随着训练迭代的增加(在x轴上向右移动),用于训练的图像数据的质量降低(如沿y轴的向上箭头所示)。在一些实施例中,数据的分辨率可以随着训练过程的迭代次数的增加而降低。可替代地,该分辨率可以在训练过程期间基本上固定,以便与具有较低分辨率的第二OCT设备配置的分辨率相对应。数据质量(例如,分辨率)的降低可以是以下中的一个或更多个的结果:重采样数据(例如,从具有较低分辨率的OCT设备获得的数据)、退化从具有较高分辨率的OCT设备获得的数据(例如,退化程度可以被随机化并且可以随着迭代次数的增加而增加)或随着迭代次数的增加而逐渐退化从具有较高分辨率的OCT设备获得的数据。随着训练迭代次数的增加,数据质量的下降对应于任务难度的增加。
如参考图11C所讨论的,在使用课程学习的一些实施例中,随着迭代次数的增加,较高分辨率的图像数据可以退化到更大的程度,和/或随着迭代次数的增加,从不同OCT系统获得的较低分辨率的图像数据可以以更高的概率被添加到训练数据集。
在一些实施例中,可以在训练过程中使用迁移学习和课程学习的组合。在这样的实施例中,一组训练图像可以从两个源形成:由较高分辨率OCT系统配置生成的图像和由较低分辨率OCT系统配置生成的图像。该组训练图像中的图像的组合提供了迁移学习的源,作为本文所述的训练过程的输入。由较高分辨率OCT系统生成的图像可以如本文所述的许多方式中的一种或更多种方式退化,例如,重采样到较低分辨率并失真,以更好地近似由较低分辨率OCT系统生成的图像的分辨率和其他属性。为了生成退化图像,来自较高分辨率OCT系统的图像可以随着每个连续的训练迭代经受线性或随机增加的退化量。在一些实施例中,来自具有较高分辨率的OCT系统的图像被重采样,例如下采样,以提供对应于较低分辨率OCT系统配置的较低分辨率,然后进一步退化一定量以对应于较低分辨率OCT系统的图像质量。退化量可以包括对应于逐渐增加的难度的线性增加的退化,或者在难度随机增加至少阈值量时是随机增加的退化。在一些实施例中,整个训练图像集由低分辨率OCT系统生成的图像和通过对由高分辨率OCT系统生成的重采样图像的线性或随机增加的退化量形成的图像的组合形成。
虽然课程迁移学习可以以多种方式配置,但在一些实施例中,确定训练数据集中的下一个图像的难度水平,并且将适当量的退化应用于来自较高分辨率OCT图像的重采样OCT图像,以便将下一个图像提供给训练数据集。退化量可以包括线性增加的量,或者具有逐渐增加的最小退化阈值量的随机量,使得退化程度和相应的难度通常朝着图像质量1765增加。再次参考图17B,可以参考重采样的高分辨率图像的图像质量1755和对应于低分辨率OCT设备的图像质量1765来确定图像质量。具有图像质量1755的重采样图像可以退化适当的量,以对应于特定迭代的适当的难度量。在一些实施例中,难度级别可以用线性增加的难度水平例如参考图像数据1750来确定,其具有线性增加的退化量和线性增加的难度,其中来自第一OCT设备配置的高分辨率图像数据被重采样以对应于图像质量1750,然后退化适当的量以对应于所示的降低的图像数据质量。可替换地或组合地,特定迭代的难度水平可以包括从目标图像质量1765延伸到线1785所示的线性增加阈值量的范围1790内的随机难度量。对于线性增加的难度和随机增加的难度,随着迭代次数的增加,图像质量接近图像质量1765。一旦确定了训练图像的图像质量,例如学习难度,重采样图像可以退化适当的量,以对应于数据集中下一个训练图像的所确定的图像数据质量和/或学习难度。
根据本公开,可以以多种方式配置和组合本文描述的方法。在一些实施例中,初始训练数据集包括来自低分辨率OCT系统的多个图像和来自高分辨率OCT系统的多个重采样图像。用这个初始数据集训练诸如神经网络的人工智能模型。一旦用初始训练数据集完成了训练,就可以用重采样和退化的图像来训练模型。重采样和退化的图像可以包括具有随机选择的难度(例如参考图像数据1760)和线性增加的难度(例如参考图像数据1750)的图像的组合,两者都来自更高分辨率的OCT系统配置。在一些实施例中,增加的难度的重采样和退化图像与来自较低分辨率系统配置的较低分辨率图像(例如参考图像数据1770)组合。
在一些实施例中,训练数据集包括来自第二低分辨率OCT设备配置的图像和来自第一高分辨率OCT设备配置的退化图像的组合。在一些实施例中,训练数据集包括来自第二低分辨率OCT设备配置的图像数据(例如,图像数据1770)、来自第一高分辨率OCT设备配置的重采样和线性退化的图像数据(例如,图像数据1750)、以及来自第一高分辨率OCT设备的重采样和随机退化的图像数据(例如,图像数据1760)的组合。在一些实施例中,训练图像数据的像素分辨率基本上保持固定在第二较低分辨率OCT设备配置的像素分辨率。例如,输入到模型中的图像数据可以包括经历如本文所述的退化和扩充的分割的和灰度级的图像。
所公开的用于生成训练数据和训练模型(例如神经网络)以分割从OCT系统获得的图像数据的技术和方法的实施例包括使用图像数据和相关联的注释的多个组合,其中一个或更多个操作或处理可以应用于图像数据、注释或两者。在一些实施例中,与来自第一OCT设备的图像数据相关联的注释可以被重采样和配准,以提供来自第二OCT设备的图像数据的注释,其中第二设备具有与第一设备不同的扫描图案。然后,第二设备的图像数据和注释可以用于训练模型。如果需要,来自第一设备的图像数据也可以在重采样后用作训练数据。
在另一个实施例中,来自第一设备的图像数据和相关联的注释可以进行退化以生成与分辨率低于第一设备的第二设备相对应的训练数据和相关联的注释。退化的数据和注释可以经受重采样或扩充中的一个或更多个,以生成附加训练数据和注释。注释可以被配准到来自第二设备的图像数据。然后可以使用第二设备的附加训练数据和/或图像数据和注释来训练模型。
在另一个实施例中,来自第一设备的图像数据和相关联的注释可用作迁移学习技术的一部分,以生成用于训练模型以处理来自第二设备的数据的训练数据和注释。在该实施例中,不使用来自第二设备的数据。
在迁移学习过程的另一个实施例和示例中,来自第一设备的图像数据被重采样、退化和扩充,相关联的注释被重采样和扩充,以生成用于模型的训练数据和注释,以处理来自第二设备的数据。在该实施例中,不使用来自第二设备的图像数据和注释。
在另一个实施例中,第一OCT设备的图像数据和相关联的注释可以被用作利用来自第二OCT设备的图像数据和相关联的注释的迁移学习过程的一部分,以训练模型来处理来自第二设备的数据。
在另一实施例中,来自第一设备的图像数据被重采样、退化和扩充,相关联的注释被重采样和扩充,以生成用于模型的训练数据和注释,以处理来自第二设备的数据。在该实施例中,来自第二OCT设备的图像数据和相关联的注释可以用作模型的训练数据的一部分。在这个或其他实施例中,来自第二设备的图像数据的注释可以直接从第二设备的图像数据中获得,或者通过来自第一设备的图像数据的注释的重采样和配准来获得。
本文描述的OCT系统、数据处理方法和设备可以根据各种参数、设置、编程配置等来操作或实现。本文提供的示例性操作参数或特性或参数范围旨在为实施系统和设备(或实施所描述的过程或方法)提供指导,而不意味着提供对操作特性的限制。对于本领域技术人员来说明显的是,操作参数或特性的其他组合或值是可能的,并且包括在本公开中提供的描述中。
作为示例,在一些实施例中,扫描图案是花形图案或玫瑰线并且具有多个波瓣。在一些实施例中,波瓣的数量可以在四(4)和二十四(24)之间变化。在一些实施例中,设备可以在两(2)次和二十(20)次之间重复扫描以收集数据。
在一些实施例中,用于单次扫描的扫描图案的测量光束路径延伸从10mm到100mm的范围内的距离,并且该距离可选地从12mm到60mm。在一些实施例中,重复多次的扫描图案的总测量光束路径延伸在100mm至1000mm的范围内的总距离,并且可选地在120mm至600mm的范围内。在一些实施例中,扫描图案重复多次的总时间在1到3秒的范围内,并且可选地在1.5秒到2.5秒的范围内。在一些实施例中,扫描仪包括一个或更多个致动器,用于改变反射镜的位置以移动视网膜上的测量光束。在一些实施例中,在扫描期间沿着轨迹移动的测量光束的速度在10mm/s到400mm/s的范围内,并且可选地在15mm/s到300mm/s的范围内。在一些实施例中,处理器配置有指令来生成视网膜的多个A扫描,每个A扫描包括扫描仪沿着扫描图案的多个波瓣中的每一个移动测量光束,并且其中A扫描的采样率在10kHz到50kHz的范围内,并且可选地在15kHz到25kHz的范围内。
如本文所用,术语“OCT设备”和“OCT系统”可互换使用。
如本文所述,本文所述和/或示出的计算装置和系统广义地表示能够执行计算机可读指令的任何类型或形式的计算设备或系统,诸如包含在本文所述模块中的那些。在其最基本配置中,这些计算设备可以各自包括至少一个存储器设备和至少一个物理处理器。
本文使用的术语“存储器”或“存储器设备”通常表示能够存储数据和/或计算机可读指令的任何类型或形式的易失性或非易失性存储设备或介质。在一个示例中,存储器设备可以存储、加载和/或维护这里描述的一个或更多个模块。存储器设备的示例包括但不限于随机存取存储器(RAM)、只读存储器(ROM)、闪存、硬盘驱动器(HDD)、固态驱动器(SSD)、光盘驱动器、高速缓存器、其中的一个或更多个的变型或组合,或任何其他合适的存储用的存储器。
此外,本文使用的术语“处理器”或“物理处理器”通常指能够解释和/或执行计算机可读指令的任何类型或形式的硬件实现的处理单元。在一个示例中,物理处理器可以访问和/或修改存储在上述存储器设备中的一个或更多个模块。物理处理器的示例包括但不限于微处理器、微控制器、中央处理单元(CPU)、实现软核处理器的现场可编程门阵列(FPGA)、专用集成电路(ASIC)、其中的一个或更多个的部分、其中的一个或更多个的变型或组合、或任何其他合适的物理处理器。该处理器可以包括分布式处理器系统,例如运行并行处理器或者远程处理器(如服务器)以及其组合。
尽管作为单独的要素示出,但本文描述和/或示出的方法步骤可以表示单个应用的部分。此外,在一些实施例中,这些步骤中的一个或更多个可以表示或对应于一个或更多个软件应用或程序,当由计算设备执行时,这些软件应用或程序可以使计算设备执行一个或更多个任务,比如方法步骤。
此外,本文描述的一个或更多个设备可以将数据、物理设备和/或物理设备的表示从一种形式转换为另一种形式。附加地或可替代地,本文所述的一个或更多个模块可通过在计算设备上执行、在计算设备上存储数据和/或以其他方式与计算设备交互,将处理器、易失性存储器、非易失性存储器和/或物理计算设备的任何其他部分从一种形式的计算设备转换为另一种形式的计算设备。
本文使用的术语“计算机可读介质”通常指能够存储或承载计算机可读指令的任何形式的设备、载体或介质。计算机可读介质的示例包括但不限于,诸如载波的传输型介质和诸如磁存储介质(例如,硬盘驱动器、磁带驱动器和软盘)、光学存储介质(例如,光盘(CD)、数字视频磁盘(DVD)和BLU-RAY磁盘)、电子存储介质(例如,固态驱动器和闪存介质)和其他分配系统的非瞬态型介质。
本领域普通技术人员将认识到,本文公开的任何过程或方法可以以多种方式修改。本文描述和/或说明的步骤的工艺参数和顺序仅作为示例给出,并且可以根据需要改变。例如,虽然本文所示和/或描述的步骤可以以特定顺序示出或讨论,但这些步骤不一定需要以所示或讨论的顺序执行。
本文描述和/或示出的各种示例性方法还可以省略本文描述或示出的步骤中的一个或更多个,或者包括除了披露的那些步骤之外的附加步骤。此外,本文公开的任何方法的步骤可以与本文公开的任何其他方法的任何一个或更多个步骤组合。
如本文所述的处理器可以被配置为执行本文所公开的任何方法的一个或更多个步骤。替代地或结合地,处理器可以被配置成组合如本文所公开的一个或更多个方法的一个或更多个步骤。
除非另有说明,在说明书和权利要求中使用的术语“连接到”和“联接到”(及其派生词)应被解释为允许直接和间接(即,通过其他元件或部件)的连接。此外,在说明书和权利要求书中使用的术语“一个(a)”或“一(an)”应被解释为意味着“至少一个”。最后,为了便于使用,在说明书和权利要求书中使用的术语“包括(including)”和“具有(having)”(及其派生词)可以与“包含(comprising)”一词互换,并应具有与“包含”一词相同的含义。
如本文所公开的处理器可以配置有指令以执行如本文所公开的任何方法的任何一个或更多个步骤。
将理解,尽管术语“第一”、“第二”、“第三”等在此可用于描述各种层、元件、部件、区域或区段,而不涉及任何特定的事件顺序或次序。这些术语仅用于将一个层、元件、部件、区域或区段与另一个层、元件、部件、区域或区段区分开来。本文所描述的第一层、元件、部件、区域或区段可被称为第二层、元件、部件、区域或区段,而不脱离本公开的教导。
如本文所使用的,术语“或”包括地用于指代替代项和组合项。
如本文所用,诸如数字的字符指的是类似的元件。
本公开包括以下编号的条目。
条款1.一种处理从OCT系统获得的数据的方法,所述方法包括:
获得第一多个图像,其中所述第一多个图像中的每个图像对应于由执行视网膜扫描的OCT系统获取的数据;
注释来自所述第一多个图像中的每个图像的多个像素以生成所述视网膜的分割图像数据,其中所述注释标识所述视网膜的一个或更多个结构;
通过使所述第一多个图像退化,从所述第一多个图像生成多个退化图像;以及
使用所述多个退化图像和所述分割图像数据来训练神经网络。
条款2.根据条款1所述的方法,其中,注释包括为来自所述第一多个图像中的所述每个图像的多个像素中的每个像素分配分类,并且可选地,其中所述分类包括整数(integer)。
条款3.根据条款1所述的方法,其中,所述分割图像数据包括多个分割图像,所述多个分割图像中的每一个包括为所述多个图像中的所述每个图像的每个像素定义类别的注释。
条款4.根据条款1所述的方法,其中,所述多个分割图像中的每一个对应于所述多个退化图像中的一个,并且其中所述多个分割图像和相应的退化图像被输入到所述神经网络以训练模型。
条款5.根据条款3所述的方法,其中,所述多个分割图像包括对应于所述第一多个图像的第一多个分割图像和对应于所述多个退化图像的第二多个分割图像。
条款6.根据条款1所述的方法,其中,生成所述多个退化图像包括将变换函数应用于所述第一多个图像以引起对所述第一多个图像的几何变换。
条款7.根据条款5所述的方法,其中,生成所述多个退化图像包括将变换函数应用于所述第一多个图像以引起对所述第一多个图像的几何变换,并且其中将所述变换函数应用于所述第一多个分割图像以获得所述第二多个分割图像。
条款8.根据条款5所述的方法,其中,所述第一多个分割图像中的每一个包括用于所述第一多个分割图像的第一多个像素中的每一个的第一位置处的注释,并且其中,所述第二多个分割图像中的每一个包括用于所述第二多个分割图像的第二多个像素中的每一个的第二位置处的注释。
条款9.根据条款1所述的方法,其中,所述视网膜的一个或更多个结构包括背景、视网膜神经纤维层、神经节细胞层和内丛状层、外丛状层和内核层、外核层和外界膜、视网膜色素上皮和光感受器、脉络膜毛细血管和脉络膜隔,并且任选地,其中所述注释包括背景、视网膜、视网膜内液、视网膜下液或视网膜色素上皮脱离中的一种或更多种。
条款10.根据条款1所述的方法,其中,用重采样、下采样、散斑噪声、Y高斯模糊或A扫描Y抖动中的一个或更多个来退化所述第一多个图像,以生成所述退化图像。
条款11.根据条款1所述的方法,其中,所述多个退化图像包括扩充图像。
条款12.根据条款11所述的方法,其中,通过对所述第一多个图像应用弯曲、水平翻转、X滚动、Y缩放、Y平移、弹性变换或伽马对比中的一个或更多个来生成所述扩充图像。
条款13.根据条款11所述的方法,其中,通过对所述第一多个图像应用几何变换来生成所述扩充图像。
条款14.根据条款13所述的方法,其中,所述几何变换包括弯曲、水平翻转、X滚动、Y缩放、Y平移或弹性变换中的一个或更多个。
条款15.根据条款5所述的方法,还包括:
通过将几何变换函数应用于所述第一多个分割图像来生成第一多个几何变换的分割图像;以及
通过将几何变换函数应用于第二多个分割图像来生成第二多个几何变换的分割图像。
条款16.根据条款1所述的方法,其中,所述OCT系统包括第一配置,并且其中所述多个退化图像和分割图像数据包括被配置为训练所述神经网络以对来自第二OCT系统的数据进行分类的迁移学习数据集,所述第二OCT系统包括不同于所述OCT系统的所述第一配置的第二配置,并且可选地,其中所述第一配置与所述第二配置的不同之处在于轴向分辨率、扫描图案或横向分辨率中的一个或更多个。
条款17.根据条款16所述的方法,其中,所述迁移学习数据集包括退化图像和扩充图像,所述扩充图像是通过对所述第一多个图像应用弯曲、水平翻转、X滚动、Y缩放、Y平移、弹性变换或伽马对比中的一个或更多个而生成的,并且其中所述神经网络用从所述第一多个图像生成的多个逐渐增加退化的图像来迭代训练,并且其中退化量逐渐接近来自所述第二OCT系统的第二配置的图像的轴向分辨率、扫描图案或横向分辨率中的一个或更多个。
条款18.根据条款1所述的方法,其中,所述第一多个图像对应于所述OCT系统的第一分辨率,并且其中所述多个退化图像对应于具有第二分辨率的第二OCT系统的图像,其中所述第一分辨率相比所述第二分辨率与更小的可分辨特征尺寸相关联。
条款19.根据条款1所述的方法,其中,所述第一多个图像被注释以定义用于训练所述神经网络的基础真实数据集,并且其中所述第一多个图像被重采样并与来自第二OCT系统的第二多个图像配准。
条款20.根据条款1所述的方法,其中,所述OCT系统包括第一OCT系统,所述第一OCT系统包括第一配置,并且其中所述神经网络在训练之后用于对来自第二OCT系统的数据进行分类,所述第二OCT系统包括不同于所述第一配置的第二配置,并且可选地,其中所述第一配置在轴向分辨率、扫描图案或横向分辨率中的一个或更多个方面不同于所述第二配置。
条款21.根据条款20所述的方法,其中,所述神经网络不是用来自所述第二OCT系统的数据来训练的。
条款22.根据条款20所述的方法,其中,所述OCT系统的所述第一配置包括第一分辨率,并且所述第二OCT系统的所述第二配置包括第二分辨率,并且其中所述第一分辨率相比所述第二分辨率与更小的可分辨特征尺寸相关联。
条款23.根据条款20所述的方法,其中,所述神经网络用迁移学习数据集来训练,所述迁移学习数据集包括来自所述第一OCT系统的第一退化和扩充OCT图像以及来自所述第一OCT系统的相应注释OCT图像。
条款24.根据条款23所述的方法,其中,所述迁移学习数据集包括来自所述第二OCT系统的第二OCT图像和来自所述第二OCT系统的相应注释OCT图像。
条款25.根据条款23所述的方法,其中,所述迁移学习数据集源自1)来自所述第一OCT系统的重采样和注释的OCT图像数据,2)来自所述第一OCT系统的重采样、退化和扩充的OCT图像数据;以及3)来自所述第二OCT系统的OCT图像数据和注释数据。
条款26.根据条款23所述的方法,其中,所述迁移学习数据集包括来自多只眼睛的OCT数据,并且其中所述多只眼睛中的每一只用所述第一OCT系统和所述第二OCT系统来测量。
条款27.根据条款1所述的方法,其中,根据重采样图像数据确定下一退化图像的难度,并且响应于所述难度生成所述下一退化图像,所述重采样图像数据通过重采样所述第一多个图像而生成。
条款28.根据条款1所述的方法,其中,所述多个退化图像包括具有增加的难度的多个图像。
条款29.根据条款28所述的方法,其中,所述增加的难度包括线性增加的难度。
条款30.根据条款28所述的方法,所述增加的难度包括高于增加的难度阈值的随机难度。
条款31.根据条款28所述的方法,其中,所述增加的难度朝着来自第二OCT系统的图像的难度增加,所述第二OCT系统包括比所述OCT系统更低的分辨率。
条款32.根据条款28所述的方法,其中,所述增加的难度包括线性增加的难度和随机增加的难度的组合。
条款33.一种生成分割的OCT图像的方法,包括:
接收OCT图像,所述OCT图像包括轴向分辨率和第一多个像素,其中所述第一多个像素中的每一个与相应的灰度级相关联;
用经训练的模型处理所接收的OCT图像,以生成包括第二多个像素的分割的OCT图像,其中所述第二多个像素中的每一个由所述经训练的模型分配给一个类别,其中所述类别包括背景、视网膜、视网膜内液、视网膜下液或视网膜色素上皮脱离中的一个;以及
输出所述分割的OCT图像。
条款34.根据条款33所述的方法,其中,所述视网膜类别包括在所接收的OCT图像中不可见的一个或更多个视网膜内液池,并且其中所述一个或更多个视网膜内液池在所述分割的OCT图像中可见。
条款35.根据条款33所述的方法,其中,所述经训练的模型包括神经网络,并且响应于所述神经网络的概率函数将所述多个像素中的每一个分配给所述类别。
条款36.根据条款33所述的方法,其中,所述经训练的模型包括生成神经网络的经训练的机器学习模型。
条款37.根据条款33所述的方法,其中,所述经训练的模型包括神经网络,并且所述神经网络已经用多个OCT图像训练,所述多个OCT图像所具有的分辨率相比所述OCT图像的轴向分辨率与更小的可分辨特征尺寸相关联。
条款38.一种处理从OCT系统获得的数据的方法,所述方法包括:
获得第一多个图像,其中所述第一多个图像中的每个图像对应于由第一OCT系统用第一扫描图案对多个视网膜执行第一多个扫描而获取的数据;
注释来自所述第一多个图像中的每个图像的第一多个像素,其中所述注释包括视网膜的区域的指示;
重采样来自所述第一多个图像中的所述每个图像的所述第一多个像素的数据,以生成第二多个图像,该第二多个图像与第二OCT系统用不同于所述第一扫描图案的第二扫描图案对所述多个视网膜进行扫描所获取的图像相对应;以及
使用所述第二多个图像和所述注释来训练神经网络。
条款39.根据条款38所述的方法,还包括使用所述注释来对齐重采样的数据。
条款40.根据条款39所述的方法,还包括通过在对所述第一多个像素的数据进行重采样之前扩充或退化所述第一多个图像,并使用所述注释来对齐重采样的数据,来生成用于所述神经网络的附加训练数据。
条款41.根据条款40所述的方法,其中,扩充所述第一多个图像还包括对所述第一多个图像应用弯曲、水平翻转、X滚动、Y缩放、Y平移、弹性变换或伽马对比中的一个或更多个。
条款42.根据条款40所述的方法,其中,退化所述第一多个图像还包括将重采样、下采样、散斑噪声、Y高斯模糊或A扫描Y抖动中的一个或更多个应用于所述第一多个图像。
条款43.根据条款38所述的方法,其中,所述第一扫描图案是线性扫描图案,并且所述第二扫描图案包括多个波瓣。
条款44.一种处理从OCT系统获得的数据的方法,包括:
获得第一多个干涉图,其中所述干涉图中的每一个对应于由使用第一扫描图案执行视网膜扫描的第一OCT系统所获取的数据;
注释由使用所述第一扫描图案获取的数据形成的所述第一多个干涉图中的每一个,以指示所述视网膜的组织结构;
使用所述第一多个干涉图和所述注释训练神经网络;
将第二多个干涉图输入到经训练的神经网络中,所述第二多个干涉图对应于由使用第二扫描图案执行视网膜扫描的第二OCT系统所获取的数据;以及
从所述经训练的神经网络获得输出,所述输出指示使用所述第二扫描图案扫描的视网膜的组织结构。
条款45.根据条款44所述的方法,其中,所述第一扫描图案包括线性扫描图案,并且所述第二扫描图案包括弯曲扫描图案。
条款46.根据条款45所述的方法,其中,所述线性扫描图案包括径向扫描图案或光栅扫描图案中的一个或更多个,并且其中所述弯曲扫描图案包括多个波瓣。
条款47.根据条款45所述的方法,其中,所述第一多个干涉图对应于沿所述第一扫描图案对所述视网膜的B扫描,并且所述第二多个干涉图包括沿所述弯曲扫描图案布置的对所述视网膜的多个A扫描。
条款48.根据条款44所述的方法,其中,所述组织结构包括内界膜(ILM)或视网膜色素上皮(RPE)中的一个或更多个。
条款49.根据条款44所述的方法,其中,所述神经网络包括卷积神经网络。
条款50.根据条款44所述的方法,其中,所述第二扫描图案包括玫瑰线。
条款51.根据条款44所述的方法,还包括:
通过对所述第一多个干涉图中的一个或更多个执行一个或更多个处理操作,基于所述第一多个干涉图生成用于所述神经网络的附加训练数据,所述一个或更多个处理操作包括随机水平翻转、沿x方向的随机移位、沿轴的随机缩放、沿方向的随机平移、模糊操作或可变弹性变换中的一个或更多个;
基于应用了所述处理操作的所述第一多个干涉图中的一个或更多个干涉图的注释来注释所述附加训练数据;以及
使用所述附加训练数据和所述附加训练数据的注释来训练所述神经网络。
条款52.根据条款44所述的方法,还包括使用包括基于所述第一扫描图案的所述第一多个干涉图和所述注释的数据以及包括基于所述第二扫描图案的所述第二多个干涉图和所述第二多个干涉图的注释的数据来训练所述神经网络。
条款53.根据条款52所述的方法,还包括在训练所述神经网络之前,处理所述第二多个干涉图以产生对应于所述第一多个干涉图的干涉图。
条款54.根据条款53所述的方法,其中,所述第一扫描图案包括线性扫描图案,并且所述第二扫描图案包括多个波瓣,并且其中处理所述第二多个干涉图包括内插从所述第二扫描图案获取的数据以产生对应于所述线性扫描图案的数据。
条款55.根据条款51所述的方法,其中,使用高斯模糊操作来执行所述模糊操作。
条款56.根据条款52所述的方法,其中,基于所述第一扫描图案的所述第一多个干涉图中的每一个和基于所述第二扫描图案的所述第二多个干涉图中的相应一个是从对同一视网膜的扫描获得的。
条款57.根据条款44所述的方法,其中,相比于基于所述第二扫描图案的所述第二多个干涉图,基于所述第一扫描图案的所述第一多个干涉图包括具有与更小的可分辨特征尺寸相关联的分辨率的更高分辨率扫描。
条款58.根据条款57所述的方法,其中,所述第一扫描图案包括多个线性扫描,并且所述第二扫描图案包括多个波瓣。
条款59.根据条款58所述的方法,其中,在使用所述第一多个干涉图来训练所述神经网络之前,所述第一多个干涉图中的每一个经受模糊操作。
条款60.根据条款44所述的方法,其中,所述第一扫描图案包括线性扫描图案,并且所述第二扫描图案包括多个波瓣,并且在输入所述第二多个干涉图之前,所述方法还包括内插从所述第二扫描图案获取的数据以产生将由线性扫描图案产生的数据。
条款61.根据条款60所述的方法,还包括:
从所述第二扫描图案生成输入数据集合,其中所述集合中的每一个包括表示针对特定平面的对视网膜的径向扫描的内插数据;以及
组合经训练的神经网络的输出以形成所述视网膜的3D图像。
条款62.根据条款49所述的方法,其中,所述卷积神经网络包括U-Net架构,所述U-Net架构包括多个卷积神经网络层。
条款63.根据条款49所述的方法,其中,所述卷积神经网络包括收缩器路径和扩展路径,所述卷积神经网络被配置成沿着所述收缩器路径用语义值交换空间特征,并且沿着所述扩展路径用所述空间特征交换所述语义特征。
条款64.根据条款44所述的方法,其中,所述神经网络包括对应于视网膜的ILM层和RPE层的多个语义特征通道。
条款65.根据条款44所述的方法,其中,所述第一多个干涉图包括B扫描图像,并且所述经训练的神经网络的输出包括利用来自所述第二扫描图案的数据会获得的B扫描图像,所述第二扫描图案不同于所述第一扫描图案。
条款66.根据条款49所述的方法,其中,所述卷积神经网络包括在约10至约40范围内的多个卷积层、在约100万至约400万范围内的多个偏差和权重以及在约10至约500范围内的多个语义特征通道。
条款67.根据条款44所述的方法,其中,所述第一多个干涉图包括在约1微米至约5微米范围内的轴向分辨率,并且其中所述第二多个干涉图包括在约6微米至约30微米范围内的轴向分辨率。
条款68.根据条款44所述的方法,其中,所述第一扫描图案包括线性扫描图案,并且所述第二扫描图案包括所述线性扫描图案。
条款69.根据条款44所述的方法,其中,所述第一扫描图案包括弯曲扫描图案,并且所述第二扫描图案包括所述弯曲扫描图案。
条款70.一种处理视网膜的图像的方法,包括:
接收与沿着OCT扫描图案的多个位置相对应的多个A扫描;
将所述多个A扫描输入到经训练的神经网络中;以及
从所述经训练的神经网络输出与沿着所述OCT扫描图案的所述多个位置相对应的分割图像,所述分割图像包括对ILM层的边界、RPE层的边界或所述视网膜内的流体池的边界中的一个或更多个的标识。
条款71.根据条款70所述的方法,其中,所述多个A扫描被内插以生成多个B扫描图像,并且其中所述多个B扫描图像被输入卷积神经网络以生成多个分割的B扫描图像,并且其中所述多个分割的B扫描图像被内插以生成与沿着所述OCT扫描图案的所述多个位置相对应的分割图像。
条款72.根据条款70所述的方法,其中,所述OCT扫描图案包括弯曲扫描图案,并且其中沿着所述弯曲扫描图案的多个A扫描被输入到经训练的卷积神经网络中,所述经训练的卷积神经网络被配置为输出所述分割图像,所述分割图像包括与沿着所述弯曲扫描图案的所述多个位置相对应的多个分割A扫描。
条款73.根据条款72所述的方法,其中,所述卷积神经网络包括收缩器路径和扩展路径,所述卷积神经网络被配置成沿着所述收缩器路径用语义值交换空间特征,并且沿着所述扩展路径用所述空间特征交换所述语义特征。
条款74.根据条款72所述的方法,其中,所述卷积神经网络包括在约10至约40范围内的多个卷积层、在约100万至约400万范围内的多个偏差和权重以及在约10至约500范围内的多个语义特征通道。
条款75.根据条款70所述的方法,还包括:
处理所述多个A扫描以生成B扫描图像,其中所述B扫描图像对应于针对特定平面对视网膜的径向扫描;
将所述B扫描图像输入卷积神经网络,其中所述卷积神经网络输出所述分割图像;
重复多个A扫描的处理和输入步骤,其中所述多个A扫描中的每一个对应于不同的平面;以及
组合所述卷积神经网络的输出以形成所述视网膜的3D图像。
条款76.根据条款75所述的方法,其中,处理所述多个A扫描以生成B扫描图像还包括对来自所述A扫描的数据进行内插。
条款77.一种处理OCT图像的方法,包括:
接收所述OCT图像;
将接收到的OCT图像输入到经训练的神经网络中;以及
从所述经训练的神经网络接收分割图像作为输出,所述分割图像对应于输入的OCT图像,并且包括对ILM层的边界、RPE层的边界或视网膜内流体池的边界中的一个或更多个的标识。
条款78.根据条款77所述的方法,其中,所述神经网络使用训练数据集和用于所述训练数据集的相应的注释集来训练。
条款79.根据条款78所述的方法,其中,所述训练数据集包括使用第一扫描图案获得的多个OCT图像。
条款80.根据条款79所述的方法,其中,所述训练数据还包括从所述多个OCT图像生成的扩充图像集。
条款81.根据条款80所述的方法,其中,通过对所述多个OCT图像应用弯曲、水平翻转、X滚动、Y缩放、Y平移、弹性变换或伽马对比中的一个或更多个来生成所述扩充图像集。
条款82.根据条款79所述的方法,其中,所述训练数据还包括从所述多个OCT图像生成的退化图像集。
条款83.根据条款82所述的方法,其中,通过将重采样、下采样、散斑噪声、Y高斯模糊或A扫描Y抖动中的一个或更多个应用于所述多个OCT图像来生成所述退化图像集。
条款84.根据条款79所述的方法,其中,所述训练数据还包括通过对使用所述第一扫描图案获得的多个图像进行重采样以产生基于第二扫描图案的多个图像而获得的第二多个OCT图像。
条款85.根据条款84所述的方法,其中,所述第一扫描图案是线性扫描图案,并且所述第二扫描图案包括多个波瓣。
条款86.一种装置,包括:
计算机可执行指令集;
配置有所述计算机可执行指令集的处理器,其中当由所述处理器执行时,所述指令集使所述处理器执行前述条款中任一项的方法。
本公开的实施例已经如本文所述示出和描述,并且仅作为示例提供。本领域的普通技术人员将在不脱离本公开的范围的情况下认识到许多适配、改变、变化和替换。在不脱离本公开和本文公开的发明的范围的情况下,可以使用本文公开的实施例的若干备选方案和组合。因此,本公开发明的范围仅由所附权利要求及其等同物的范围来定义。

Claims (86)

1.一种处理从OCT系统获得的数据的方法,所述方法包括:
获得第一多个图像,其中所述第一多个图像中的每个图像对应于由执行视网膜的扫描的OCT系统获取的数据;
注释来自所述第一多个图像中的每个图像的多个像素以生成所述视网膜的分割图像数据,其中所述注释标识所述视网膜的一个或更多个结构;
通过使所述第一多个图像退化,从所述第一多个图像生成多个退化图像;以及
使用所述多个退化图像和所述分割图像数据来训练神经网络。
2.根据权利要求1所述的方法,其中,注释包括为来自所述第一多个图像中的所述每个图像的多个像素中的每个像素分配分类,并且可选地,其中所述分类包括整数。
3.根据权利要求1所述的方法,其中,所述分割图像数据包括多个分割图像,所述多个分割图像中的每一个包括为所述多个图像中的所述每个图像的每个像素定义类别的注释。
4.根据权利要求1所述的方法,其中,所述多个分割图像中的每一个对应于所述多个退化图像中的一个,并且其中,所述多个分割图像和相应的退化图像被输入到所述神经网络以训练模型。
5.根据权利要求3所述的方法,其中,所述多个分割图像包括对应于所述第一多个图像的第一多个分割图像和对应于所述多个退化图像的第二多个分割图像。
6.根据权利要求1所述的方法,其中,生成所述多个退化图像包括将变换函数应用于所述第一多个图像以引起对所述第一多个图像的几何变换。
7.根据权利要求5所述的方法,其中,生成所述多个退化图像包括将变换函数应用于所述第一多个图像以引起对所述第一多个图像的几何变换,并且其中,将所述变换函数应用于所述第一多个分割图像以获得所述第二多个分割图像。
8.根据权利要求5所述的方法,其中,所述第一多个分割图像中的每一个包括用于所述第一多个分割图像的第一多个像素中的每一个的第一位置处的注释,并且其中,所述第二多个分割图像中的每一个包括用于所述第二多个分割图像的第二多个像素中的每一个的第二位置处的注释。
9.根据权利要求1所述的方法,其中,所述视网膜的一个或更多个结构包括背景、视网膜神经纤维层、神经节细胞层和内丛状层、外丛状层和内核层、外核层和外界膜、视网膜色素上皮和光感受器、脉络膜毛细血管和脉络膜隔,并且任选地,其中所述注释包括背景、视网膜、视网膜内液、视网膜下液或视网膜色素上皮脱离中的一种或更多种。
10.根据权利要求1所述的方法,其中,用重采样、下采样、散斑噪声、Y高斯模糊或A扫描Y抖动中的一个或更多个来退化所述第一多个图像,以生成所述退化图像。
11.根据权利要求1所述的方法,其中,所述多个退化图像包括扩充图像。
12.根据权利要求11所述的方法,其中,通过对所述第一多个图像应用弯曲、水平翻转、X滚动、Y缩放、Y平移、弹性变换或伽马对比中的一个或更多个来生成所述扩充图像。
13.根据权利要求11所述的方法,其中,通过对所述第一多个图像应用几何变换来生成所述扩充图像。
14.根据权利要求13所述的方法,其中,所述几何变换包括弯曲、水平翻转、X滚动、Y缩放、Y平移或弹性变换中的一个或更多个。
15.根据权利要求5所述的方法,还包括:
通过将几何变换函数应用于所述第一多个分割图像来生成第一多个几何变换的分割图像;以及
通过将所述几何变换函数应用于所述第二多个分割图像来生成第二多个几何变换的分割图像。
16.根据权利要求1所述的方法,其中,所述OCT系统包括第一配置,并且其中,所述多个退化图像和分割图像数据包括被配置为训练所述神经网络以对来自第二OCT系统的数据进行分类的迁移学习数据集,所述第二OCT系统包括不同于所述OCT系统的所述第一配置的第二配置,并且可选地,其中所述第一配置与所述第二配置的不同之处在于轴向分辨率、扫描图案或横向分辨率中的一个或更多个。
17.根据权利要求16所述的方法,其中,所述迁移学习数据集包括退化图像和扩充图像,所述扩充图像是通过对所述第一多个图像应用弯曲、水平翻转、X滚动、Y缩放、Y平移、弹性变换或伽马对比中的一个或更多个而生成的,并且其中所述神经网络用从所述第一多个图像生成的多个逐渐增加退化的图像来迭代训练,并且其中,退化量逐渐接近来自所述第二OCT系统的第二配置的图像的轴向分辨率、扫描图案或横向分辨率中的一个或更多个。
18.根据权利要求1所述的方法,其中,所述第一多个图像对应于所述OCT系统的第一分辨率,并且其中所述多个退化图像对应于具有第二分辨率的第二OCT系统的图像,其中所述第一分辨率相比所述第二分辨率与更小的可分辨特征尺寸相关联。
19.根据权利要求1所述的方法,其中,所述第一多个图像被注释以定义用于训练所述神经网络的基础真实数据集,并且其中所述第一多个图像被重采样并与来自第二OCT系统的第二多个图像配准。
20.根据权利要求1所述的方法,其中,所述OCT系统包括第一OCT系统,所述第一OCT系统包括第一配置,并且其中所述神经网络在训练之后用于对来自第二OCT系统的数据进行分类,所述第二OCT系统包括不同于所述第一配置的第二配置,并且可选地,其中所述第一配置在轴向分辨率、扫描图案或横向分辨率中的一个或更多个方面不同于所述第二配置。
21.根据权利要求20所述的方法,其中,所述神经网络不是用来自所述第二OCT系统的数据来训练的。
22.根据权利要求20所述的方法,其中,所述OCT系统的所述第一配置包括第一分辨率,并且所述第二OCT系统的所述第二配置包括第二分辨率,并且其中所述第一分辨率相比所述第二分辨率与更小的可分辨特征尺寸相关联。
23.根据权利要求20所述的方法,其中,所述神经网络用迁移学习数据集来训练,所述迁移学习数据集包括来自所述第一OCT系统的第一退化和扩充OCT图像以及来自所述第一OCT系统的相应注释OCT图像。
24.根据权利要求23所述的方法,其中,所述迁移学习数据集包括来自所述第二OCT系统的第二OCT图像和来自所述第二OCT系统的相应注释OCT图像。
25.根据权利要求23所述的方法,其中,所述迁移学习数据集源自1)来自所述第一OCT系统的重采样和注释的OCT图像数据;2)来自所述第一OCT系统的重采样、退化和扩充的OCT图像数据;以及3)来自所述第二OCT系统的OCT图像数据和注释数据。
26.根据权利要求23所述的方法,其中,所述迁移学习数据集包括来自多只眼睛的OCT数据,并且其中所述多只眼睛中的每一只用所述第一OCT系统和所述第二OCT系统来测量。
27.根据权利要求1所述的方法,其中,根据重采样图像数据确定下一退化图像的难度,并且响应于所述难度生成所述下一退化图像,所述重采样图像数据通过重采样所述第一多个图像而生成。
28.根据权利要求1所述的方法,其中,所述多个退化图像包括具有增加的难度的多个图像。
29.根据权利要求28所述的方法,其中,所述增加的难度包括线性增加的难度。
30.根据权利要求28所述的方法,所述增加的难度包括高于增加的难度阈值的随机难度。
31.根据权利要求28所述的方法,其中,所述增加的难度朝着来自第二OCT系统的图像的难度增加,所述第二OCT系统包括比所述OCT系统更低的分辨率。
32.根据权利要求28所述的方法,其中,所述增加的难度包括线性增加的难度和随机增加的难度的组合。
33.一种生成分割的OCT图像的方法,包括:
接收OCT图像,所述OCT图像包括轴向分辨率和第一多个像素,其中所述第一多个像素中的每一个与相应的灰度级相关联;
用经训练的模型处理所接收的OCT图像,以生成包括第二多个像素的分割的OCT图像,其中所述第二多个像素中的每一个由所述经训练的模型分配给一个类别,其中所述类别包括背景、视网膜、视网膜内液、视网膜下液或视网膜色素上皮脱离中的一个;以及
输出所述分割的OCT图像。
34.根据权利要求33所述的方法,其中,所述视网膜类别包括在所接收的OCT图像中不可见的一个或更多个视网膜内液池,并且其中所述一个或更多个视网膜内液池在所述分割的OCT图像中可见。
35.根据权利要求33所述的方法,其中,所述经训练的模型包括神经网络,并且响应于所述神经网络的概率函数将所述多个像素中的每一个分配给所述类别。
36.根据权利要求33所述的方法,其中,所述经训练的模型包括生成神经网络的经训练机器学习模型。
37.根据权利要求33所述的方法,其中,所述经训练的模型包括神经网络,并且所述神经网络已经用多个OCT图像训练,所述多个OCT图像具有与比所述OCT图像的轴向分辨率更小的可分辨特征尺寸相关联的分辨率。
38.一种处理从OCT系统获得的数据的方法,所述方法包括:
获得第一多个图像,其中所述第一多个图像中的每个图像对应于由第一OCT系统用第一扫描图案对多个视网膜执行第一多个扫描而获取的数据;
注释来自所述第一多个图像中的每个图像的第一多个像素,其中所述注释包括视网膜的区域的指示;
重采样来自所述第一多个图像中的所述每个图像的所述第一多个像素的数据,以生成第二多个图像,所述第二多个图像与第二OCT系统用不同于所述第一扫描图案的第二扫描图案对所述多个视网膜执行扫描所获取的图像相对应;以及
使用所述第二多个图像和所述注释来训练神经网络。
39.根据权利要求38所述的方法,还包括使用所述注释来对齐重采样的所述数据。
40.根据权利要求39所述的方法,还包括通过在对所述第一多个像素的数据进行重采样之前扩充或退化所述第一多个图像,并使用所述注释来对齐重采样的所述数据,来生成用于所述神经网络的附加训练数据。
41.根据权利要求40所述的方法,其中,扩充所述第一多个图像还包括对所述第一多个图像应用弯曲、水平翻转、X滚动、Y缩放、Y平移、弹性变换或伽马对比中的一个或更多个。
42.根据权利要求40所述的方法,其中,退化所述第一多个图像还包括将重采样、下采样、散斑噪声、Y高斯模糊或A扫描Y抖动中的一个或更多个应用于所述第一多个图像。
43.根据权利要求38所述的方法,其中,所述第一扫描图案是线性扫描图案,并且所述第二扫描图案包括多个波瓣。
44.一种处理从OCT系统获得的数据的方法,包括:
获得第一多个干涉图,其中所述干涉图中的每一个对应于由使用第一扫描图案执行视网膜的扫描的第一OCT系统所获取的数据;
注释由使用所述第一扫描图案获取的数据形成的所述第一多个干涉图中的每一个,以指示所述视网膜的组织结构;
使用所述第一多个干涉图和所述注释训练神经网络;
将第二多个干涉图输入到经训练的神经网络中,所述第二多个干涉图对应于由使用第二扫描图案执行视网膜的扫描的第二OCT系统所获取的数据;以及
从所述经训练的神经网络获得输出,所述输出指示使用所述第二扫描图案扫描的视网膜的组织结构。
45.根据权利要求44所述的方法,其中,所述第一扫描图案包括线性扫描图案,并且所述第二扫描图案包括弯曲扫描图案。
46.根据权利要求45所述的方法,其中,所述线性扫描图案包括径向扫描图案或光栅扫描图案中的一个或更多个,并且其中所述弯曲扫描图案包括多个波瓣。
47.根据权利要求45所述的方法,其中,所述第一多个干涉图对应于沿所述第一扫描图案对所述视网膜的B扫描,并且所述第二多个干涉图包括沿所述弯曲扫描图案布置的对所述视网膜的多个A扫描。
48.根据权利要求44所述的方法,其中,所述组织结构包括内界膜(ILM)或视网膜色素上皮(RPE)中的一个或更多个。
49.根据权利要求44所述的方法,其中,所述神经网络包括卷积神经网络。
50.根据权利要求44所述的方法,其中,所述第二扫描图案包括玫瑰线。
51.根据权利要求44所述的方法,还包括:
通过对所述第一多个干涉图中的一个或更多个执行一个或更多个处理操作,基于所述第一多个干涉图生成用于所述神经网络的附加训练数据,所述一个或更多个处理操作包括随机水平翻转、沿x方向的随机移位、沿轴的随机缩放、沿方向的随机平移、模糊操作或可变弹性变换中的一个或更多个;
基于应用了所述处理操作的所述第一多个干涉图中的一个或更多个干涉图的注释来注释所述附加训练数据;以及
使用所述附加训练数据和所述附加训练数据的注释来训练所述神经网络。
52.根据权利要求44所述的方法,还包括使用包括基于所述第一扫描图案的所述第一多个干涉图和所述注释的数据以及包括基于所述第二扫描图案的所述第二多个干涉图和所述第二多个干涉图的注释的数据来训练所述神经网络。
53.根据权利要求52所述的方法,还包括在训练所述神经网络之前,处理所述第二多个干涉图以产生对应于所述第一多个干涉图的干涉图。
54.根据权利要求53所述的方法,其中,所述第一扫描图案包括线性扫描图案,并且所述第二扫描图案包括多个波瓣,并且其中处理所述第二多个干涉图包括内插从所述第二扫描图案获取的数据以产生对应于所述线性扫描图案的数据。
55.根据权利要求51所述的方法,其中,使用高斯模糊操作来执行所述模糊操作。
56.根据权利要求52所述的方法,其中,基于所述第一扫描图案的所述第一多个干涉图中的每一个和基于所述第二扫描图案的所述第二多个干涉图中的相应一个是从对同一视网膜的扫描获得的。
57.根据权利要求44所述的方法,其中,相比于基于所述第二扫描图案的所述第二多个干涉图,基于所述第一扫描图案的所述第一多个干涉图包括具有与更小的可分辨特征尺寸相关联的分辨率的更高分辨率扫描。
58.根据权利要求57所述的方法,其中,所述第一扫描图案包括多个线性扫描,并且所述第二扫描图案包括多个波瓣。
59.根据权利要求58所述的方法,其中,在使用所述第一多个干涉图来训练所述神经网络之前,所述第一多个干涉图中的每一个经受模糊操作。
60.根据权利要求44所述的方法,其中,所述第一扫描图案包括线性扫描图案,并且所述第二扫描图案包括多个波瓣,并且在输入所述第二多个干涉图之前,所述方法还包括内插从所述第二扫描图案获取的数据以产生将由线性扫描图案产生的数据。
61.根据权利要求60所述的方法,还包括:
从所述第二扫描图案生成输入数据集合,其中所述集合中的每一个包括表示针对特定平面的对视网膜的径向扫描的内插数据;以及
组合经训练的神经网络的输出以形成所述视网膜的3D图像。
62.根据权利要求49所述的方法,其中,所述卷积神经网络包括U-Net架构,所述U-Net架构包括多个卷积神经网络层。
63.根据权利要求49所述的方法,其中,所述卷积神经网络包括收缩器路径和扩展路径,所述卷积神经网络被配置成沿着所述收缩器路径用语义值交换空间特征,并且沿着所述扩展路径用所述空间特征交换所述语义特征。
64.根据权利要求44所述的方法,其中,所述神经网络包括对应于视网膜的ILM层和RPE层的多个语义特征通道。
65.根据权利要求44所述的方法,其中,所述第一多个干涉图包括B扫描图像,并且所述经训练的神经网络的输出包括利用来自所述第二扫描图案的数据会获得的B扫描图像,所述第二扫描图案不同于所述第一扫描图案。
66.根据权利要求49所述的方法,其中,所述卷积神经网络包括在约10至约40范围内的多个卷积层、在约100万至约400万范围内的多个偏差和权重以及在约10至约500范围内的多个语义特征通道。
67.根据权利要求44所述的方法,其中,所述第一多个干涉图包括在约1微米至约5微米范围内的轴向分辨率,并且其中所述第二多个干涉图包括在约6微米至约30微米范围内的轴向分辨率。
68.根据权利要求44所述的方法,其中,所述第一扫描图案包括线性扫描图案,并且所述第二扫描图案包括所述线性扫描图案。
69.根据权利要求44所述的方法,其中,所述第一扫描图案包括弯曲扫描图案,并且所述第二扫描图案包括所述弯曲扫描图案。
70.一种处理视网膜的图像的方法,包括:
接收与沿着OCT扫描图案的多个位置相对应的多个A扫描;
将所述多个A扫描输入到经训练的神经网络中;以及
从所述经训练的神经网络输出与沿着所述OCT扫描图案的所述多个位置相对应的分割图像,所述分割图像包括对ILM层的边界、RPE层的边界或所述视网膜内的流体池的边界中的一个或更多个的标识。
71.根据权利要求70所述的方法,其中,所述多个A扫描被内插以生成多个B扫描图像,并且其中所述多个B扫描图像被输入卷积神经网络以生成多个分割的B扫描图像,并且其中所述多个分割的B扫描图像被内插以生成与沿着所述OCT扫描图案的所述多个位置相对应的分割图像。
72.根据权利要求70所述的方法,其中,所述OCT扫描图案包括弯曲扫描图案,并且其中沿着所述弯曲扫描图案的多个A扫描被输入到经训练的卷积神经网络中,所述经训练的卷积神经网络被配置为输出所述分割图像,所述分割图像包括与沿着所述弯曲扫描图案的所述多个位置相对应的多个分割A扫描。
73.根据权利要求72所述的方法,其中,所述卷积神经网络包括收缩器路径和扩展路径,所述卷积神经网络被配置成沿着所述收缩器路径用语义值交换空间特征,并且沿着所述扩展路径用所述空间特征交换所述语义特征。
74.根据权利要求72所述的方法,其中,所述卷积神经网络包括在约10至约40范围内的多个卷积层、在约100万至约400万范围内的多个偏差和权重以及在约10至约500范围内的多个语义特征通道。
75.根据权利要求70所述的方法,还包括:
处理所述多个A扫描以生成B扫描图像,其中所述B扫描图像对应于针对特定平面对视网膜的径向扫描;
将所述B扫描图像输入卷积神经网络,其中所述卷积神经网络输出所述分割图像;
重复多个A扫描的处理和输入步骤,其中所述多个A扫描中的每一个对应于不同的平面;以及
组合所述卷积神经网络的输出以形成所述视网膜的3D图像。
76.根据权利要求75所述的方法,其中,处理所述多个A扫描以生成B扫描图像还包括对来自所述A扫描的数据进行内插。
77.一种处理OCT图像的方法,包括:
接收所述OCT图像;
将接收到的OCT图像输入到经训练的神经网络中;以及
从所述经训练的神经网络接收分割图像作为输出,所述分割图像对应于输入的OCT图像,并且包括对ILM层的边界、RPE层的边界或视网膜内液池的边界中的一个或更多个的标识。
78.根据权利要求77所述的方法,其中,所述神经网络使用训练数据集和用于所述训练数据集的相应的注释集来训练。
79.根据权利要求78所述的方法,其中,所述训练数据集包括使用第一扫描图案获得的多个OCT图像。
80.根据权利要求79所述的方法,其中,所述训练数据还包括从所述多个OCT图像生成的扩充图像集。
81.根据权利要求80所述的方法,其中,通过对所述多个OCT图像应用弯曲、水平翻转、X滚动、Y缩放、Y平移、弹性变换或伽马对比中的一个或更多个来生成所述扩充图像集。
82.根据权利要求79所述的方法,其中,所述训练数据还包括从所述多个OCT图像生成的退化图像集。
83.根据权利要求82所述的方法,其中,通过将重采样、下采样、散斑噪声、Y高斯模糊或A扫描Y抖动中的一个或更多个应用于所述多个OCT图像来生成所述退化图像集。
84.根据权利要求79所述的方法,其中,所述训练数据还包括通过对使用所述第一扫描图案获得的多个图像进行重采样以产生基于第二扫描图案的多个图像而获得的第二多个OCT图像。
85.根据权利要求84所述的方法,其中,所述第一扫描图案是线性扫描图案,并且所述第二扫描图案包括多个波瓣。
86.一种装置,包括:
计算机可执行指令集;
配置有所述计算机可执行指令集的处理器,其中当由所述处理器执行时,所述指令集使所述处理器执行前述权利要求中任一项的方法。
CN202180062723.2A 2020-09-11 2021-09-01 用于光学相干断层扫描图像评估的人工智能 Pending CN116615761A (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US202062706800P 2020-09-11 2020-09-11
US62/706,800 2020-09-11
US17/444,806 2021-08-10
US17/444,806 US11393094B2 (en) 2020-09-11 2021-08-10 Artificial intelligence for evaluation of optical coherence tomography images
PCT/US2021/071342 WO2022056515A2 (en) 2020-09-11 2021-09-01 Artificial intelligence for evaluation of optical coherence tomography images

Publications (1)

Publication Number Publication Date
CN116615761A true CN116615761A (zh) 2023-08-18

Family

ID=80626906

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202180062723.2A Pending CN116615761A (zh) 2020-09-11 2021-09-01 用于光学相干断层扫描图像评估的人工智能

Country Status (7)

Country Link
US (3) US11393094B2 (zh)
EP (1) EP4211650A2 (zh)
JP (1) JP2023541049A (zh)
CN (1) CN116615761A (zh)
AU (1) AU2021338916A1 (zh)
CA (1) CA3191626A1 (zh)
WO (1) WO2022056515A2 (zh)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7019700B2 (ja) 2016-12-21 2022-02-15 アキュセラ インコーポレイテッド 網膜の厚さを測定するための光干渉断層撮影(oct)システム
EP3809948A4 (en) 2018-06-20 2022-03-16 Acucela Inc. MINIATURIZED MOBILE, LOW COST OPTICAL COHERENCE TOMOGRAPHY SYSTEM FOR HOME OPHTHALMIC APPLICATIONS
WO2021134087A1 (en) 2019-12-26 2021-07-01 Acucela Inc. Optical coherence tomography patient alignment system for home based ophthalmic applications
US10959613B1 (en) 2020-08-04 2021-03-30 Acucela Inc. Scan pattern and signal processing for optical coherence tomography
CA3188255A1 (en) 2020-08-14 2022-02-17 Ryo Kubota System and method for optical coherence tomography a-scan decurving
US11393094B2 (en) 2020-09-11 2022-07-19 Acucela Inc. Artificial intelligence for evaluation of optical coherence tomography images
EP4221565A1 (en) 2020-09-30 2023-08-09 Acucela Inc. Myopia prediction, diagnosis, planning, and monitoring device
EP4255282A1 (en) * 2020-12-04 2023-10-11 Aiztech Canada Inc. System and method for detecting a health condition using eye images
US11497396B2 (en) 2021-03-24 2022-11-15 Acucela Inc. Axial length measurement monitor
WO2023200846A1 (en) * 2022-04-15 2023-10-19 United States Government As Represented By The Department Of Veterans Affairs Retinal distance-screening using machine learning

Family Cites Families (293)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5255274A (en) 1989-09-06 1993-10-19 The Board Of Trustees Of The Leland Stanford University Broadband laser source
AU3973093A (en) 1992-04-13 1993-11-18 Alcon Surgical, Inc. Optical coherence domain reflectometer
US5396325A (en) 1993-02-22 1995-03-07 The Mercury Iron & Steel Co. Optical sensor
US6053613A (en) 1998-05-15 2000-04-25 Carl Zeiss, Inc. Optical coherence tomography with new interferometer
US6445944B1 (en) 1999-02-01 2002-09-03 Scimed Life Systems Medical scanning system and related method of scanning
DE10032067A1 (de) 2000-07-01 2002-01-10 Zeiss Carl Scanner
US6362919B1 (en) 2000-08-22 2002-03-26 Axsun Technologies, Inc. Laser system with multi-stripe diode chip and integrated beam combiner
US6325512B1 (en) 2000-10-31 2001-12-04 Carl Zeiss, Inc. Retinal tracking assisted optical coherence tomography
US6778307B2 (en) 2001-02-21 2004-08-17 Beyond 3, Inc. Method and system for performing swept-wavelength measurements within an optical system
US6552796B2 (en) 2001-04-06 2003-04-22 Lightlab Imaging, Llc Apparatus and method for selective data collection and signal to noise ratio enhancement using optical coherence tomography
EP2333521B1 (en) 2001-04-30 2019-12-04 The General Hospital Corporation Method and apparatus for improving image clarity and sensitivity in optical coherence tomography using dynamic feedback to control focal properties and coherence gating
US6409395B1 (en) 2001-05-24 2002-06-25 Axsun Technologies, Inc. Method for fabricating fiber arrays with precision fiber core-to-core pitch and height
US6726325B2 (en) 2002-02-26 2004-04-27 Carl Zeiss Meditec, Inc. Tracking assisted optical coherence tomography
US7113818B2 (en) 2002-04-08 2006-09-26 Oti Ophthalmic Technologies Inc. Apparatus for high resolution imaging of moving organs
US20050140981A1 (en) 2002-04-18 2005-06-30 Rudolf Waelti Measurement of optical properties
CA2390072C (en) 2002-06-28 2018-02-27 Adrian Gh Podoleanu Optical mapping apparatus with adjustable depth resolution and multiple functionality
US7071594B1 (en) 2002-11-04 2006-07-04 Microvision, Inc. MEMS scanner with dual magnetic and capacitive drive
EP2319404B1 (en) 2003-01-24 2015-03-11 The General Hospital Corporation System and method for identifying tissue low-coherence interferometry
WO2004098396A2 (en) 2003-05-01 2004-11-18 The Cleveland Clinic Foundation Method and apparatus for measuring a retinal sublayer characteristic
ES2310744T3 (es) 2003-06-06 2009-01-16 The General Hospital Corporation Fuente de luz sintonizable en longitudes de onda.
EP2293031B8 (en) 2003-10-27 2024-03-20 The General Hospital Corporation Method and apparatus for performing optical imaging using frequency-domain interferometry
GB2412030A (en) 2004-03-11 2005-09-14 Oti Ophthalmic Technologies Image correction in optical coherence tomography
US7126693B2 (en) 2004-03-29 2006-10-24 Carl Zeiss Meditec, Inc. Simple high efficiency optical coherence domain reflectometer design
JP5053845B2 (ja) 2004-08-06 2012-10-24 ザ ジェネラル ホスピタル コーポレイション 光学コヒーレンス断層撮影法を使用して試料中の少なくとも1つの位置を決定するための方法、システムおよびソフトウェア装置
US7324569B2 (en) 2004-09-29 2008-01-29 Axsun Technologies, Inc. Method and system for spectral stitching of tunable semiconductor sources
US7157712B2 (en) 2004-09-29 2007-01-02 Axsun Technologies, Inc. Method and system for noise control in semiconductor spectroscopy system
US7060967B2 (en) 2004-10-12 2006-06-13 Optoplan As Optical wavelength interrogator
JP2008518740A (ja) 2004-11-08 2008-06-05 オプトビュー,インコーポレーテッド 総合的眼診断用光学装置および方法
US7301644B2 (en) 2004-12-02 2007-11-27 University Of Miami Enhanced optical coherence tomography for anatomical mapping
EP1839012B1 (en) 2005-01-20 2014-05-07 Duke University Methods, systems and computer program products for characterizing structures based on interferometric phase data
WO2006078802A1 (en) 2005-01-21 2006-07-27 Massachusetts Institute Of Technology Methods and apparatus for optical coherence tomography scanning
US7365856B2 (en) 2005-01-21 2008-04-29 Carl Zeiss Meditec, Inc. Method of motion correction in optical coherence tomography imaging
US7805009B2 (en) 2005-04-06 2010-09-28 Carl Zeiss Meditec, Inc. Method and apparatus for measuring motion of a subject using a series of partial images from an imaging system
ATE451669T1 (de) 2005-04-28 2009-12-15 Gen Hospital Corp Bewertung von bildmerkmalen einer anatomischen struktur in optischen kohärenztomographiebildern
US7227294B2 (en) 2005-04-29 2007-06-05 Symbol Technologies, Inc. Piezoelectric motor drive circuit and method
EP1889037A2 (en) 2005-06-01 2008-02-20 The General Hospital Corporation Apparatus, method and system for performing phase-resolved optical frequency domain imaging
EP1887946A2 (en) 2005-06-06 2008-02-20 The Board Of Regents, The University Of Texas System Oct using spectrally resolved bandwidth
US7391520B2 (en) 2005-07-01 2008-06-24 Carl Zeiss Meditec, Inc. Fourier domain optical coherence tomography employing a swept multi-wavelength laser and a multi-channel receiver
CN101273261B (zh) 2005-07-28 2012-11-14 拜奥普蒂根公司 具有减小的有效线宽的光学相干成像系统及其使用方法
US7872759B2 (en) 2005-09-29 2011-01-18 The General Hospital Corporation Arrangements and methods for providing multimodality microscopic imaging of one or more biological structures
JP2007101262A (ja) 2005-09-30 2007-04-19 Fujifilm Corp 光断層画像化装置
DE602006001618D1 (de) 2005-09-30 2008-08-14 Fujifilm Corp Vorrichtung zur optischen Tomographie
JP2007101249A (ja) 2005-09-30 2007-04-19 Fujifilm Corp 光断層画像化方法および装置
US7400410B2 (en) 2005-10-05 2008-07-15 Carl Zeiss Meditec, Inc. Optical coherence tomography for eye-length measurement
GB2432066A (en) 2005-11-02 2007-05-09 Oti Ophthalmic Technologies Optical coherence tomography imaging using repeated scan at slowly changing wavelength
US7468997B2 (en) 2006-01-20 2008-12-23 Praevium Research, Inc. System for swept source optical coherence tomography
JP2007271704A (ja) 2006-03-30 2007-10-18 Nec Corp 可変光制御デバイス及び可変光制御方法
WO2007130411A2 (en) 2006-05-01 2007-11-15 Physical Sciences, Inc. Hybrid spectral domain optical coherence tomography line scanning laser ophthalmoscope
US7997728B2 (en) 2006-05-01 2011-08-16 University Of Southern California Mapping and diagnosis of macular edema by optical coherence tomography
EP2019616B1 (en) 2006-05-03 2016-03-09 Melanie C.W. Campbell Method and apparatus for improved fundus imaging through choice of light polarisation
US8175685B2 (en) 2006-05-10 2012-05-08 The General Hospital Corporation Process, arrangements and systems for providing frequency domain imaging of a sample
GB0612096D0 (en) 2006-06-19 2006-07-26 Greater Glasgow Nhs Board Functional imaging of the retina
US7452077B2 (en) 2006-08-29 2008-11-18 Carl Zeiss Meditec, Inc. Image adjustment derived from optical imaging measurement data
US7942527B2 (en) 2006-10-18 2011-05-17 Lawrence Livermore National Security, Llc Compact adaptive optic-optical coherence tomography system
US7573021B2 (en) 2006-10-24 2009-08-11 Micron Optics, Inc. Method and apparatus for multiple scan rate swept wavelength laser-based optical sensor interrogation system with optical path length measurement capability
US8223143B2 (en) 2006-10-27 2012-07-17 Carl Zeiss Meditec, Inc. User interface for efficiently displaying relevant OCT imaging data
JP5340947B2 (ja) 2006-11-02 2013-11-13 ハイデルベルク・エンジニアリング・ゲー・エム・ベー・ハー 網膜画像を取得する方法およびその装置
JP4869877B2 (ja) 2006-11-17 2012-02-08 富士フイルム株式会社 光断層画像化装置
JP5406427B2 (ja) 2006-11-17 2014-02-05 株式会社トプコン 断層画像処理方法、装置およびプログラムならびにこれを用いた光断層画像化システム
JP2008128926A (ja) 2006-11-24 2008-06-05 Fujifilm Corp 光断層画像化装置
US8164748B1 (en) 2006-11-30 2012-04-24 Axsun Technologies, Inc. Widely-tuned semiconductor laser based gas liquid solid analysis system
WO2008091961A2 (en) 2007-01-23 2008-07-31 Volcano Corporation Optical coherence tomography implementation
EP2267403A3 (de) 2007-02-21 2011-04-20 Agfa HealthCare N.V. System und Verfahren zur optischen Kohärenztomographie
US8025403B2 (en) 2007-02-23 2011-09-27 Mimo Ag Ophthalmologic apparatus for imaging an eye by optical coherence tomography
US9176319B2 (en) 2007-03-23 2015-11-03 The General Hospital Corporation Methods, arrangements and apparatus for utilizing a wavelength-swept laser using angular scanning and dispersion procedures
JP4971864B2 (ja) 2007-04-18 2012-07-11 株式会社トプコン 光画像計測装置及びそれを制御するプログラム
US8363783B2 (en) 2007-06-04 2013-01-29 Oraya Therapeutics, Inc. Method and device for ocular alignment and coupling of ocular structures
US8474978B2 (en) 2007-06-15 2013-07-02 University Of Southern California Pattern analysis of retinal maps for the diagnosis of optic nerve diseases by optical coherence tomography
EP2171396B1 (en) 2007-07-12 2020-05-13 Volcano Corporation Apparatus and methods for uniform frequency sample clocking
WO2009018456A2 (en) 2007-07-31 2009-02-05 The General Hospital Corporation Systems and methods for providing beam scan patterns for high speed doppler optical frequency domain imaging
JP5529384B2 (ja) 2007-09-28 2014-06-25 テルモ株式会社 光ロータリアダプタおよびこれを用いる光断層画像化装置
US7997729B2 (en) 2007-10-19 2011-08-16 Oti Ophthalmic Technologies Inc. Method for correcting patient motion when obtaining retina volume using optical coherence tomography
US20090141237A1 (en) 2007-11-02 2009-06-04 Bioptigen, Inc. Integrated Optical Coherence Imaging Systems for Use in Ophthalmic Applications and Related Methods and Computer Program Products
US8081808B2 (en) 2007-11-08 2011-12-20 Topcon Medical Systems, Inc. Retinal thickness measurement by combined fundus image and three-dimensional optical coherence tomography
US8208996B2 (en) 2008-03-24 2012-06-26 Carl Zeiss Meditec, Inc. Imaging of polarization scrambling tissue
US8348429B2 (en) 2008-03-27 2013-01-08 Doheny Eye Institute Optical coherence tomography device, method, and system
WO2010009447A2 (en) 2008-07-18 2010-01-21 Doheny Eye Institute Optical coherence tomography - based ophthalmic testing methods, devices and systems
US11839430B2 (en) 2008-03-27 2023-12-12 Doheny Eye Institute Optical coherence tomography-based ophthalmic testing methods, devices and systems
CA2721224A1 (en) 2008-04-14 2009-10-22 Optovue, Inc. Method of eye registration for optical coherence tomography
ES2665748T3 (es) 2008-04-23 2018-04-27 Bioptigen, Inc. Sistemas de generación de imágenes por tomografía de coherencia óptica (OCT) para uso en aplicaciones oftálmicas pediátricas y métodos y productos de programas informáticos relacionados
US8079711B2 (en) 2008-04-24 2011-12-20 Carl Zeiss Meditec, Inc. Method for finding the lateral position of the fovea in an SDOCT image volume
US8564783B2 (en) 2008-05-15 2013-10-22 Axsun Technologies, Inc. Optical coherence tomography laser with integrated clock
US8259303B2 (en) 2008-05-15 2012-09-04 Axsun Technologies, Inc. OCT combining probes and integrated systems
JP5324839B2 (ja) 2008-06-19 2013-10-23 株式会社トプコン 光画像計測装置
WO2010032202A2 (en) 2008-09-17 2010-03-25 Philips Intellectual Property & Standards Gmbh Wavelength-controlled semiconductor laser device
JP5368765B2 (ja) 2008-10-21 2013-12-18 キヤノン株式会社 撮影制御装置、撮影装置、撮影制御方法、プログラム、記憶媒体
US8500279B2 (en) 2008-11-06 2013-08-06 Carl Zeiss Meditec, Inc. Variable resolution optical coherence tomography scanner and method for using same
JP5632386B2 (ja) 2008-11-26 2014-11-26 カール ツアイス メディテック アクチエンゲゼルシャフト 画像化システム
EP2198771A1 (en) 2008-12-02 2010-06-23 Optopol Technology S.A. Method and apparatus for eye movement tracking in spectral optical coherence tomography (SD-OCT)
DE102008063225A1 (de) 2008-12-23 2010-07-01 Carl Zeiss Meditec Ag Vorrichtung zur Swept Source Optical Coherence Domain Reflectometry
JP5479047B2 (ja) 2008-12-26 2014-04-23 キヤノン株式会社 撮像装置および撮像方法
US8457440B1 (en) 2009-01-27 2013-06-04 Axsun Technologies, Inc. Method and system for background subtraction in medical optical coherence tomography system
WO2010091190A2 (en) 2009-02-04 2010-08-12 The General Hospital Corporation Apparatus and method for utilization of a high-speed optical wavelength tuning source
US20100208194A1 (en) 2009-02-13 2010-08-19 Amitava Gupta Variable focus liquid filled lens apparatus
EP2233065B8 (en) 2009-03-23 2015-11-25 Nidek Co., Ltd. Ophthalmic observation apparatus
JP5738271B2 (ja) 2009-04-03 2015-06-24 エグザロス・アクチェンゲゼルシャフトExalos Ag 光モジュール
WO2010117386A1 (en) 2009-04-10 2010-10-14 Doheny Eye Institute Ophthalmic testing methods, devices and systems
US8139226B2 (en) 2009-04-28 2012-03-20 Axsun Technologies, Inc. Soft clock delay for OCT system and method therefor
EP2427723B1 (en) 2009-05-04 2018-12-19 Duke University Methods and computer program products for quantitative three-dimensional image correction and clinical parameter computation in optical coherence tomography
US8192025B2 (en) 2009-06-26 2012-06-05 Peyman Gholam A Non-contact optical coherence tomography imaging of the central and peripheral retina
JP5432625B2 (ja) 2009-07-29 2014-03-05 株式会社トプコン 眼科観察装置
WO2011037980A2 (en) 2009-09-22 2011-03-31 Bioptigen, Inc. Systems for extended depth frequency domain optical coherence tomography (fdoct) and related methods
JP2011072716A (ja) 2009-10-01 2011-04-14 Osaka Univ 緑内障の診断及び/又は監視をする装置
US8665450B2 (en) 2009-10-02 2014-03-04 Axsun Technologies, Inc. Integrated dual swept source for OCT medical imaging
US8136942B2 (en) 2009-10-14 2012-03-20 Adlens Beacon, Inc. Aspheric fluid filled lens optic
US8594757B2 (en) 2009-11-18 2013-11-26 The Board Of Trustees Of The University Of Illinois Apparatus for biomedical imaging
US8403481B2 (en) 2010-01-20 2013-03-26 Duke University Methods, systems and computer program products for distributed scanning for motion artifact reduction in optical coherence tomography
US7980696B1 (en) 2010-01-21 2011-07-19 Nidek Co., Ltd. Ophthalmic photographing apparatus
US8515221B2 (en) 2010-01-25 2013-08-20 Axsun Technologies, Inc. Silicon optical bench OCT probe for medical imaging
JP5921068B2 (ja) 2010-03-02 2016-05-24 キヤノン株式会社 画像処理装置、制御方法及び光干渉断層撮影システム
CN103096785B (zh) 2010-03-12 2015-09-30 佳能株式会社 眼科设备及其控制方法
JP5752955B2 (ja) 2010-03-16 2015-07-22 株式会社ニデック 光断層像撮影装置
EP2563206B1 (en) 2010-04-29 2018-08-29 Massachusetts Institute of Technology Method and apparatus for motion correction and image enhancement for optical coherence tomography
DE102010019657A1 (de) 2010-05-03 2011-11-03 Carl Zeiss Meditec Ag Anordnung zur verbesserten Abbildung von Augenstrukturen
JP6014026B2 (ja) 2010-06-01 2016-10-25 オプトビュー,インコーポレーテッド 強化された眼科測定方法および装置
JP2011257160A (ja) 2010-06-04 2011-12-22 Canon Inc 光干渉断層撮像装置、光干渉断層撮像方法、およびプログラム
JP6039156B2 (ja) 2010-06-08 2016-12-07 キヤノン株式会社 画像処理装置、画像処理方法、及びプログラム
US8446593B1 (en) 2010-06-16 2013-05-21 The Board Of Trustees Of The Leland Stanford Junior University Optical coherence tomography system and method therefor
US8425037B2 (en) 2010-07-30 2013-04-23 Adventus Technologies, Inc. Intraoperative imaging system and apparatus
WO2012018991A2 (en) 2010-08-05 2012-02-09 Bioptigen, Inc. Compact multimodality optical coherence tomography imaging systems and related methods and computer program products
US9036264B2 (en) 2010-08-12 2015-05-19 Adlens Beacon, Inc. Fluid-filled lenses and their ophthalmic applications
JP5693101B2 (ja) 2010-08-30 2015-04-01 キヤノン株式会社 画像処理装置及び画像処理方法
JP5762712B2 (ja) 2010-09-30 2015-08-12 株式会社ニデック 眼科観察システム
DE102010051281A1 (de) 2010-11-12 2012-05-16 Carl Zeiss Meditec Ag Verfahren zur modellbasierten Bestimmung der Biometrie von Augen
US8608314B2 (en) 2010-11-16 2013-12-17 University Of Rochester Scanning optical system for large axial scan depth anterior segment optical coherence tomography (OCT)
JP5735790B2 (ja) 2010-12-02 2015-06-17 株式会社ニデック 眼科撮影装置
US8437007B2 (en) 2010-12-30 2013-05-07 Axsun Technologies, Inc. Integrated optical coherence tomography system
WO2012103557A2 (en) 2011-01-28 2012-08-02 The Regents Of The University Of Colorado, A Body Corporate Spectral phase analysis for precision ranging
FR2970858B1 (fr) 2011-02-01 2013-02-08 Imagine Eyes Methode et dispositif d'imagerie retinienne a haute resolution
DE102011011277B4 (de) 2011-02-11 2024-05-08 Carl Zeiss Meditec Ag Optimierte Vorrichtung zur Swept Source Optical Coherence Domain Reflectometry und Tomography
US8947648B2 (en) 2011-03-06 2015-02-03 Ninepoint Medical, Inc. Systems and methods for signal processing in optical imaging systems
JP5917004B2 (ja) 2011-03-10 2016-05-11 キヤノン株式会社 撮像装置及び撮像装置の制御方法
US9161690B2 (en) 2011-03-10 2015-10-20 Canon Kabushiki Kaisha Ophthalmologic apparatus and control method of the same
JP5901124B2 (ja) 2011-03-10 2016-04-06 キヤノン株式会社 撮像装置およびその制御方法
US8801185B2 (en) 2011-03-25 2014-08-12 Eos Holdings, Llc Ophthalmic inspection lens
US9033510B2 (en) 2011-03-30 2015-05-19 Carl Zeiss Meditec, Inc. Systems and methods for efficiently obtaining measurements of the human eye using tracking
JP5220208B2 (ja) 2011-03-31 2013-06-26 キヤノン株式会社 制御装置、撮像制御方法、およびプログラム
JP5827024B2 (ja) 2011-03-31 2015-12-02 株式会社吉田製作所 光干渉断層画像生成装置の制御装置、制御方法及び制御プログラム
US9055892B2 (en) 2011-04-27 2015-06-16 Carl Zeiss Meditec, Inc. Systems and methods for improved ophthalmic imaging
JP5767014B2 (ja) 2011-05-07 2015-08-19 株式会社ニデック 眼科観察システム及び画像処理方法
US8913248B2 (en) 2011-06-06 2014-12-16 Carl Zeiss Meditec, Inc. Systems and methods for improved balanced detection in optical coherence tomography imaging
US9433353B2 (en) 2011-06-23 2016-09-06 Nidek Co., Ltd. Optical coherence tomography apparatus
US20130010259A1 (en) 2011-07-05 2013-01-10 Escalon Digital Vision, Inc. Region based vision tracking system for imaging of the eye for use in optical coherence tomography
US8857988B2 (en) 2011-07-07 2014-10-14 Carl Zeiss Meditec, Inc. Data acquisition methods for reduced motion artifacts and applications in OCT angiography
US8873066B2 (en) 2011-07-14 2014-10-28 Insight Photonic Solutions, Inc. System and method for improved resolution, higher scan speeds and reduced processing time in scans involving swept-wavelength interferometry
JP6057567B2 (ja) 2011-07-14 2017-01-11 キヤノン株式会社 撮像制御装置、眼科撮像装置、撮像制御方法及びプログラム
WO2013016249A2 (en) 2011-07-22 2013-01-31 Insight Photonic Solutions, Inc. System and method of dynamic and adaptive creation of a wavelength-continuous and prescribed wavelength versus time sweep from a laser
GB201114330D0 (en) 2011-08-19 2011-10-05 Michelson Diagnostics Ltd Detector circuits for interferometers
WO2013027173A2 (en) 2011-08-21 2013-02-28 Levitz David Attaching optical coherence tomography systems onto smartphones
US9237967B2 (en) 2011-10-21 2016-01-19 Optimedica Corporation Patient interface for ophthalmologic diagnostic and interventional procedures
US8888284B2 (en) 2011-11-04 2014-11-18 Joshua Noel Hogan Field of light based device
US20130158392A1 (en) 2011-12-19 2013-06-20 Michael Papac Reciprocating Drive Optical Scanner for Surgical Endoprobes
US9273950B2 (en) 2011-12-22 2016-03-01 General Electric Company System and method for auto-ranging in optical coherence tomography
JP5900950B2 (ja) 2012-01-05 2016-04-06 国立大学法人 筑波大学 波長走査型光干渉断層計及びその位相安定化プログラム
DE102012000702B3 (de) 2012-01-16 2013-02-21 Karlsruher Institut für Technologie Optische Kohärenztomographie mit erweitertem Dynamikbereich
US8743923B2 (en) 2012-01-31 2014-06-03 Flir Systems Inc. Multi-wavelength VCSEL array to reduce speckle
US9095281B2 (en) 2012-02-10 2015-08-04 Carl Zeiss Meditec, Inc. Segmentation and enhanced visualization techniques for full-range fourier domain optical coherence tomography
WO2013123430A1 (en) 2012-02-17 2013-08-22 The Regents Of The University Of California Directional optical coherence tomography systems and methods
WO2013134554A1 (en) 2012-03-07 2013-09-12 Optovue, Inc. Enhanced biometry using optical coherence tomography
JP6025349B2 (ja) 2012-03-08 2016-11-16 キヤノン株式会社 画像処理装置、光干渉断層撮像装置、画像処理方法および光干渉断層撮像方法
EP2828613B1 (de) 2012-03-21 2019-05-15 Ludwig-Maximilians-Universität München Swept-source-oct-system und -verfahren mit phasengelockter detektion
JP6161237B2 (ja) 2012-03-30 2017-07-12 キヤノン株式会社 眼科装置
US9243885B2 (en) 2012-04-12 2016-01-26 Axsun Technologies, LLC Multi-speed OCT swept source with optimized k-clock
US9192294B2 (en) 2012-05-10 2015-11-24 Carl Zeiss Meditec, Inc. Systems and methods for faster optical coherence tomography acquisition and processing
US9016862B2 (en) 2012-05-10 2015-04-28 Sonomed Ip Holdings, Inc. Multimodality correlation of optical coherence tomography using secondary reference images
JP2015523578A (ja) 2012-07-27 2015-08-13 ソルラブス、インコーポレイテッド 敏捷な画像化システム
EP2692284A1 (en) 2012-07-30 2014-02-05 Canon Kabushiki Kaisha Method and apparatus for geometric correction of OCT data representing a scan obtained by means of optical coherence tomography imaging of a sample
US9163929B2 (en) 2012-08-23 2015-10-20 Samsung Electronics Co., Ltd. Tomographic image generation apparatus having modulation and correction device and method of operating the same
WO2014048573A1 (en) 2012-09-26 2014-04-03 Agfa Healthcare N.V. Method and system for optical coherence tomography
GB201217538D0 (en) 2012-10-01 2012-11-14 Optos Plc Improvements in or relating to scanning laser ophthalmoscopes
US9373933B2 (en) 2012-10-19 2016-06-21 University of Maribor Methods of driving laser diodes, optical wavelength sweeping apparatus, and optical measurement systems
EP4201304A1 (en) 2012-10-24 2023-06-28 Nidek Co., Ltd. Ophthalmic analysis apparatus
JP6236761B2 (ja) 2012-10-24 2017-11-29 株式会社ニデック 眼科解析装置、及び眼科解析プログラム
US9572529B2 (en) 2012-10-31 2017-02-21 Covidien Lp Surgical devices and methods utilizing optical coherence tomography (OCT) to monitor and control tissue sealing
US8953167B2 (en) 2012-11-07 2015-02-10 Volcano Corporation OCT system with tunable clock system for flexible data acquisition
US8836953B2 (en) 2012-11-07 2014-09-16 Axsun Technologies, Inc. OCT system with phase sensitive interference signal sampling
US9677869B2 (en) 2012-12-05 2017-06-13 Perimeter Medical Imaging, Inc. System and method for generating a wide-field OCT image of a portion of a sample
US9612105B2 (en) 2012-12-21 2017-04-04 Volcano Corporation Polarization sensitive optical coherence tomography system
JP6241040B2 (ja) 2013-01-23 2017-12-06 株式会社ニデック 眼科解析装置、及び眼科解析プログラム
JP6217085B2 (ja) 2013-01-23 2017-10-25 株式会社ニデック 眼科撮影装置
US9241626B2 (en) 2013-03-14 2016-01-26 Carl Zeiss Meditec, Inc. Systems and methods for improved acquisition of ophthalmic optical coherence tomography data
US9420945B2 (en) 2013-03-14 2016-08-23 Carl Zeiss Meditec, Inc. User interface for acquisition, display and analysis of ophthalmic diagnostic data
US8922782B2 (en) 2013-03-15 2014-12-30 Axsun Technologies, Inc. OCT medical imaging system using gain waveguide array swept source
CN105188540B (zh) 2013-03-15 2019-03-08 普雷维乌姆研究公司 宽范围可调谐扫频源
US9696132B2 (en) 2013-03-15 2017-07-04 Praevium Research, Inc. Tunable laser array system
US9526415B2 (en) 2013-04-03 2016-12-27 Kabushiki Kaisha Topcon Ophthalmologic apparatus
US9955865B2 (en) 2013-04-11 2018-05-01 Novartis Ag Method and system to detect ophthalmic tissue structure and pathologies
CN105517514B (zh) 2013-04-18 2018-09-21 光学医疗公司 角膜手术程序的角膜形貌测量和对准
JP6207221B2 (ja) 2013-04-30 2017-10-04 キヤノン株式会社 光断層撮像装置
WO2014186534A1 (en) 2013-05-17 2014-11-20 Ninepoint Medical, Inc. Frequency-domain optical coherence tomography with extended field-of-view and reduction of aliasing artifacts
US9683928B2 (en) 2013-06-23 2017-06-20 Eric Swanson Integrated optical system and components utilizing tunable optical sources and coherent detection and phased array for imaging, ranging, sensing, communications and other applications
JP6217185B2 (ja) 2013-07-02 2017-10-25 株式会社ニデック 眼科撮影装置及び眼科画像処理プログラム
KR20160018869A (ko) 2013-07-03 2016-02-17 인피닉스, 인크. Ss-oct 시스템에 대한 파장-튜닝가능 수직 캐비티 표면 방출 레이저
US8939582B1 (en) 2013-07-12 2015-01-27 Kabushiki Kaisha Topcon Optical coherence tomography with dynamic focus sweeping and windowed averaging
CA2915520C (en) 2013-09-02 2017-11-14 Wavelight Gmbh Scanning optical system with multiple optical sources
US9545199B2 (en) 2013-09-24 2017-01-17 Carl Zeiss Meditec, Inc. Apparatus and methods for detecting optical components and their misalignment in optical coherence tomographic systems
US9471975B2 (en) 2013-10-22 2016-10-18 Bioptigen, Inc. Methods, systems and computer program products for dynamic optical histology using optical coherence tomography
EP2865323B1 (en) 2013-10-23 2022-02-16 Canon Kabushiki Kaisha Retinal movement tracking in optical coherence tomography
US9200888B2 (en) 2013-11-01 2015-12-01 Tomey Corporation Multi-channel optical coherence tomography
JP2015103740A (ja) 2013-11-27 2015-06-04 キヤノン株式会社 面発光レーザ、およびそれを用いた光干渉断層計
US9737207B2 (en) 2013-12-05 2017-08-22 Shenzhen Certainn Technology Co., Ltd. Method for quick switching to realize anterior and posterior eye segments imaging
ES2575404T3 (es) 2013-12-05 2016-06-28 Wavelight Gmbh Sistema y procedimiento para determinar las propiedades biométricas de un ojo
JP6125981B2 (ja) 2013-12-10 2017-05-10 株式会社トーメーコーポレーション 光断層画像装置用サンプルクロック発生装置、および光断層画像装置
US9310182B2 (en) 2013-12-30 2016-04-12 Axsun Technologies Llc Spectral filtering of k-clock signal in OCT system and method
US9526412B2 (en) 2014-01-21 2016-12-27 Kabushiki Kaisha Topcon Geographic atrophy identification and measurement
WO2015116981A1 (en) 2014-01-30 2015-08-06 Duke University Systems and methods for eye tracking for motion corrected ophthalmic optical coherenece tomography
US10070788B2 (en) 2014-01-31 2018-09-11 Thorlabs Gmbh Method for filtering reflexes in full-field setups for ophthalmologic imaging by separated illumination and detection apertures
WO2015120055A1 (en) 2014-02-04 2015-08-13 University Of Southern California Optical coherence tomography (oct) system with phase-sensitive b-scan registration
US9778018B2 (en) 2014-02-14 2017-10-03 Carl Zeiss Meditec, Inc. Swept source interferometric imaging systems and methods
JP6465551B2 (ja) 2014-02-20 2019-02-06 株式会社トーメーコーポレーション 光干渉眼寸法測定装置
US9869542B2 (en) 2014-04-21 2018-01-16 Axsun Technologies, Inc. System and method for resampling optical coherence tomography signals in segments
JP2015226579A (ja) 2014-05-30 2015-12-17 キヤノン株式会社 光干渉断層撮影装置及び光干渉断層撮影装置の制御方法
EP3155361A2 (en) 2014-06-10 2017-04-19 Carl Zeiss Meditec, Inc. Improved frequency-domain interferometric based imaging systems and methods
US10405793B2 (en) 2014-07-01 2019-09-10 University Of Washington Systems and methods for in vivo visualization of lymphatic vessels with optical coherence tomography
US20160007857A1 (en) 2014-07-11 2016-01-14 University Of Washington Systems and methods of creating in vivo medical images of tissue near a cavity
US10393502B2 (en) 2014-07-25 2019-08-27 Axsun Technologies, Inc. Real time FPGA resampling for swept source optical coherence tomography
US9638511B2 (en) 2014-08-08 2017-05-02 The Board Of Trustees Of The University Of Illinois Smart phone attachment for 3-D optical coherence tomography imaging
US9759544B2 (en) 2014-08-08 2017-09-12 Carl Zeiss Meditec, Inc. Methods of reducing motion artifacts for optical coherence tomography angiography
DE102014111630A1 (de) 2014-08-14 2016-02-18 Carl Zeiss Meditec Ag Augenchirurgievorrichtung zum Einsetzen von Intraokularlinsen in Augen
BR112017004679B1 (pt) 2014-09-09 2023-02-28 Lumithera, Inc Dispositivo para aplicação de fotobiomudulação (pbm) para tratamento de tecido ocular
US9267783B1 (en) 2014-09-10 2016-02-23 Carl Zeiss Meditec, Inc. Split integration mode acquisition for optimized OCT imaging at multiple speeds
WO2016041640A1 (de) 2014-09-19 2016-03-24 Carl Zeiss Meditec Ag System zur optischen kohärenztomographie, umfassend ein zoombares kepler-system
US20160082129A1 (en) 2014-09-24 2016-03-24 Aerpio Therapeutics, Inc. VE-PTP Extracellular Domain Antibodies Delivered by a Gene Therapy Vector
JP6469413B2 (ja) 2014-10-20 2019-02-13 株式会社トプコン データ処理方法及びoct装置
JP6426974B2 (ja) 2014-10-20 2018-11-21 株式会社トプコン データ処理方法及びoct装置
WO2016073840A1 (en) 2014-11-07 2016-05-12 Bioptigen, Inc. Configurable optical beam scan drive systems
EP3021071B1 (de) 2014-11-12 2020-09-23 Haag-Streit Ag Vermessungsverfahren in der Ophthalmologie
US10478058B2 (en) 2014-11-20 2019-11-19 Agency For Science, Technology And Research Speckle reduction in optical coherence tomography images
JP2016112267A (ja) 2014-12-16 2016-06-23 キヤノン株式会社 眼科装置、画像生成方法およびプログラム
US10117568B2 (en) 2015-01-15 2018-11-06 Kabushiki Kaisha Topcon Geographic atrophy identification and measurement
WO2016115387A1 (en) 2015-01-16 2016-07-21 Oregon Health & Science University Post-processing reduction of fixed pattern artifacts and trigger jitter in swept-source optical coherence tomography
WO2016123138A1 (en) 2015-01-26 2016-08-04 Visunex Medical Systems Co. Ltd. A disposable cap for an eye imaging apparatus and related methods
WO2016127140A1 (en) 2015-02-05 2016-08-11 Duke University Compact telescope configurations for light scanning systems and methods of using the same
JP6730783B2 (ja) 2015-02-05 2020-07-29 キヤノン株式会社 波長可変レーザ装置及び光干渉断層計
US10368734B2 (en) 2015-02-19 2019-08-06 Carl Zeiss Meditec, Inc. Methods and systems for combined morphological and angiographic analyses of retinal features
US10113857B2 (en) 2015-02-27 2018-10-30 3Shape A/S Selective amplification of optical coherence tomography signals
NZ773822A (en) 2015-03-16 2022-07-29 Magic Leap Inc Methods and systems for diagnosing and treating health ailments
EP3069653A1 (en) 2015-03-19 2016-09-21 Nederlandse Organisatie voor toegepast- natuurwetenschappelijk onderzoek TNO Optical coherence tomography method, system and computer program product therefor
ES2767054T3 (es) 2015-04-15 2020-06-16 Alcon Inc Un aparato para modelar estructuras oculares
JP6765786B2 (ja) 2015-05-01 2020-10-07 キヤノン株式会社 撮像装置、撮像装置の作動方法、情報処理装置、及び情報処理装置の作動方法
WO2016178298A1 (en) 2015-05-01 2016-11-10 Canon Kabushiki Kaisha Imaging apparatus
US10973405B2 (en) 2015-05-05 2021-04-13 Duke University Systems and methods for long working distance optical coherence tomography (OCT)
US9778020B2 (en) 2015-05-22 2017-10-03 Carl Zeiss Meditec, Inc. Efficient interferometer designs for optical coherence tomography
JP6713149B2 (ja) 2015-06-01 2020-06-24 サンテック株式会社 2つの波長を合成する光コヒーレンストモグラフィーシステム
WO2016203245A1 (en) 2015-06-16 2016-12-22 Spectra Medical Limited High resolution remote imaging system
JP6499937B2 (ja) 2015-06-30 2019-04-10 株式会社トプコン 眼科用顕微鏡システム
WO2017025583A1 (en) 2015-08-12 2017-02-16 Carl Zeiss Meditec, Inc. Alignment improvements for ophthalmic diagnostic systems
US9918630B2 (en) 2015-09-01 2018-03-20 Ou Tan Systems and methods of glaucoma diagnosis based on frequency analysis of inner retinal surface profile measured by optical coherence tomography
JP6632266B2 (ja) 2015-09-04 2020-01-22 キヤノン株式会社 撮像装置
CN108474643B (zh) 2015-09-14 2020-04-24 统雷有限公司 用于一个或多个波长扫描激光器的设备和方法及其信号检测
CN108027229A (zh) 2015-09-17 2018-05-11 卡尔蔡司医疗技术公司 利用脉冲加宽二极管激光器的干涉测量法
US9892334B2 (en) 2015-11-01 2018-02-13 Joshua Noel Hogan Optical coherence tomography array based subdermal imaging device
US10912456B2 (en) 2016-01-27 2021-02-09 Johnson & Johnson Vision Care, Inc. Ametropia treatment tracking methods and system
US10251549B2 (en) 2016-02-07 2019-04-09 Marinko Sarunic System and method for dynamic focus control
US10045692B2 (en) 2016-02-11 2018-08-14 Carl Zeiss Meditec, Inc. Self-referenced optical coherence tomography
US10307052B2 (en) 2016-02-17 2019-06-04 Canon Kabushiki Kaisha Ophthalmologic apparatus, method of controlling ophthalmologic apparatus, and program
US10788310B2 (en) 2016-02-24 2020-09-29 Kabushiki Kaisha Topcon Methods and apparatus for phase stabilized swept-source optical coherence tomography (SS-OCT) including rescaling and dynamic range enhancement
EP3432783B1 (en) 2016-03-25 2024-02-14 Thorlabs, Inc. Mems tunable vcsel powered swept source oct for 3d metrology applications
JP6767762B2 (ja) 2016-03-29 2020-10-14 キヤノン株式会社 情報処理装置、情報処理装置の制御方法、及び該制御方法の実行プログラム
EP3439535A1 (en) 2016-04-06 2019-02-13 Carestream Dental Technology Topco Limited Hybrid oct and surface contour dental imaging
JP6758900B2 (ja) 2016-04-28 2020-09-23 キヤノン株式会社 眼科撮像装置
WO2017206929A1 (en) 2016-06-01 2017-12-07 The University Of Hong Kong Airy-beam optical swept source
US9909862B2 (en) 2016-06-13 2018-03-06 Google Llc Curved array of light-emitting elements for sweeping out an angular range
WO2017216242A1 (en) 2016-06-15 2017-12-21 Carl Zeiss Meditec Ag Efficient sampling of optical coherence tomography data for explicit ranging over extended depth
US20180012359A1 (en) 2016-07-06 2018-01-11 Marinko Venci Sarunic Systems and Methods for Automated Image Classification and Segmentation
US9993153B2 (en) 2016-07-06 2018-06-12 Santec Corporation Optical coherence tomography system and method with multiple apertures
JP6764728B2 (ja) 2016-08-26 2020-10-07 株式会社トプコン 眼科装置、及び眼科装置のアライメント方法
JP6812740B2 (ja) 2016-10-13 2021-01-13 株式会社ニデック Oct装置
DE102016121246A1 (de) 2016-11-07 2018-05-09 Carl Zeiss Ag Verfahren zur Selbstuntersuchung eines Auges und ophthalmologische Selbstuntersuchungsvorrichtung
US10555669B2 (en) 2016-11-09 2020-02-11 Amo Wavefront Sciences, Llc Optical coherence tomography systems and methods with dispersion compensation
US9977184B1 (en) 2016-11-09 2018-05-22 The University Of Hong Kong Spatio-temporally incremental fiber swept source
CN109963494B (zh) 2016-11-30 2022-03-08 南加州大学 具有改进的图像质量的光相干断层成像系统
EP4191808A1 (en) 2016-12-09 2023-06-07 Nippon Telegraph And Telephone Corporation Swept light source and drive data generation method and optical deflector for swept light source
CN110035689B (zh) 2016-12-20 2021-12-07 爱尔康公司 用于宽视野光学相干断层成像的系统和方法
JP7019700B2 (ja) 2016-12-21 2022-02-15 アキュセラ インコーポレイテッド 網膜の厚さを測定するための光干渉断層撮影(oct)システム
CN115736812A (zh) 2017-01-28 2023-03-07 赛莱特私人有限公司 具有改进记录的光学相干计量及断层成像
US10674905B2 (en) 2017-03-31 2020-06-09 Nidek Co., Ltd. OCT apparatus
EP3404611A1 (en) 2017-05-19 2018-11-21 RetinAI Medical GmbH Reducing noise in an image
EP3784112A4 (en) 2018-04-26 2022-01-12 Voxeleron LLC METHODS AND SYSTEM FOR DISEASE ANALYSIS AND INTERPRETATION
EP3809948A4 (en) 2018-06-20 2022-03-16 Acucela Inc. MINIATURIZED MOBILE, LOW COST OPTICAL COHERENCE TOMOGRAPHY SYSTEM FOR HOME OPHTHALMIC APPLICATIONS
WO2020036182A1 (ja) 2018-08-14 2020-02-20 キヤノン株式会社 医用画像処理装置、医用画像処理方法及びプログラム
US20210319556A1 (en) * 2018-09-18 2021-10-14 MacuJect Pty Ltd Method and system for analysing images of a retina
JP7213048B2 (ja) 2018-09-25 2023-01-26 株式会社トプコン 眼科情報処理装置、眼科装置、及び眼科情報処理方法
JP2022520708A (ja) 2019-02-08 2022-04-01 カール ツァイス メディテック インコーポレイテッド 広角自発蛍光画像における加齢黄斑変性症患者の地図状委縮パターンのセグメントテーションおよび分類
US11263747B2 (en) * 2019-04-26 2022-03-01 Oregon Health & Science University Detecting avascular areas using neural networks
US11195271B2 (en) * 2019-05-20 2021-12-07 Macuject Pty Ltd. Confidence-based method and system for analyzing images of a retina
EP3763280A1 (de) 2019-07-11 2021-01-13 Carl Zeiss Vision International GmbH Bestimmung einer veränderung eines refraktionsfehlers eines auges
WO2021134087A1 (en) 2019-12-26 2021-07-01 Acucela Inc. Optical coherence tomography patient alignment system for home based ophthalmic applications
EP4084669A1 (en) 2019-12-30 2022-11-09 AMO Development, LLC Optical measurement systems and processes with fixation target having bokeh compensation
CN111257282B (zh) * 2020-01-22 2022-11-15 杭州捷诺飞生物科技股份有限公司 Oct成像系统、电子设备和机器可读存储介质
US10959613B1 (en) 2020-08-04 2021-03-30 Acucela Inc. Scan pattern and signal processing for optical coherence tomography
US11393094B2 (en) 2020-09-11 2022-07-19 Acucela Inc. Artificial intelligence for evaluation of optical coherence tomography images
US11497396B2 (en) 2021-03-24 2022-11-15 Acucela Inc. Axial length measurement monitor

Also Published As

Publication number Publication date
JP2023541049A (ja) 2023-09-27
US11393094B2 (en) 2022-07-19
US20230206440A1 (en) 2023-06-29
US11798164B2 (en) 2023-10-24
EP4211650A2 (en) 2023-07-19
WO2022056515A3 (en) 2022-04-21
US11620749B2 (en) 2023-04-04
US20220301161A1 (en) 2022-09-22
WO2022056515A2 (en) 2022-03-17
US20220084197A1 (en) 2022-03-17
AU2021338916A1 (en) 2023-04-20
CA3191626A1 (en) 2022-03-17

Similar Documents

Publication Publication Date Title
US11798164B2 (en) Artificial intelligence for evaluation of optical coherence tomography images
US10105052B2 (en) Ophthalmic imaging apparatus and ophthalmic information processing apparatus
US11684254B2 (en) Scan pattern and signal processing for optical coherence tomography
US11730363B2 (en) Optical coherence tomography patient alignment system for home based ophthalmic applications
US10881294B2 (en) Ophthalmic apparatus
JP7286422B2 (ja) 眼科情報処理装置、眼科装置、眼科情報処理方法、及びプログラム
US11974807B2 (en) System and method for optical coherence tomography a-scan decurving
EP3683766B1 (en) Ophthalmologic information processing apparatus, ophthalmologic apparatus, ophthalmologic information processing method, and program
JP2020151089A (ja) 眼科情報処理装置、眼科装置、眼科情報処理方法、及びプログラム
Hu et al. Megahertz multi-parametric ophthalmic OCT system for whole eye imaging

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20230818

WD01 Invention patent application deemed withdrawn after publication