CN111353970B - 眼部图像的病理检测 - Google Patents

眼部图像的病理检测 Download PDF

Info

Publication number
CN111353970B
CN111353970B CN201911301768.1A CN201911301768A CN111353970B CN 111353970 B CN111353970 B CN 111353970B CN 201911301768 A CN201911301768 A CN 201911301768A CN 111353970 B CN111353970 B CN 111353970B
Authority
CN
China
Prior art keywords
eye
image
pathology
measurement
image data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911301768.1A
Other languages
English (en)
Other versions
CN111353970A (zh
Inventor
亚诺·范赫默特
德里克·斯万
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Optos PLC
Original Assignee
Optos PLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Optos PLC filed Critical Optos PLC
Priority to CN202410550475.1A priority Critical patent/CN118351103A/zh
Publication of CN111353970A publication Critical patent/CN111353970A/zh
Application granted granted Critical
Publication of CN111353970B publication Critical patent/CN111353970B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/102—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for optical coherence tomography [OCT]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/0016—Operational features thereof
    • A61B3/0025—Operational features thereof characterised by electronic signal processing, e.g. eye models
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/02—Subjective types, i.e. testing apparatus requiring the active assistance of the patient
    • A61B3/06—Subjective types, i.e. testing apparatus requiring the active assistance of the patient for testing light sensitivity, e.g. adaptation; for testing colour vision
    • A61B3/063—Subjective types, i.e. testing apparatus requiring the active assistance of the patient for testing light sensitivity, e.g. adaptation; for testing colour vision for testing light sensitivity, i.e. adaptation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/12—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for looking at the eye fundus, e.g. ophthalmoscopes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/14—Arrangements specially adapted for eye photography
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/48—Other medical applications
    • A61B5/4842—Monitoring progression or stage of a disease
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A61B5/7267—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10101—Optical tomography; Optical coherence tomography [OCT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30041—Eye; Retina; Ophthalmic
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Medical Informatics (AREA)
  • General Physics & Mathematics (AREA)
  • Ophthalmology & Optometry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biomedical Technology (AREA)
  • Public Health (AREA)
  • Animal Behavior & Ethology (AREA)
  • Surgery (AREA)
  • Molecular Biology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Veterinary Medicine (AREA)
  • Biophysics (AREA)
  • Evolutionary Computation (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Human Computer Interaction (AREA)
  • Signal Processing (AREA)
  • Quality & Reliability (AREA)
  • Pathology (AREA)
  • Fuzzy Systems (AREA)
  • Mathematical Physics (AREA)
  • Physiology (AREA)
  • Psychiatry (AREA)
  • Eye Examination Apparatus (AREA)
  • Image Analysis (AREA)

Abstract

本申请涉及眼部图像的病理检测。一种在眼睛的一部分的由眼部成像系统(520)获取的图像(400)中搜索指示病理的区域(410)的计算机实现的方法，该方法包括：接收(S10)定义图像的图像数据；通过使用学习算法处理接收的图像数据来在图像中搜索(S12)所述区域；并且在图像中的指示病理的区域被发现的情况下：确定(S14)该区域在图像中的位置；生成(S16)对于眼睛测量装置使用用于在眼睛的一部分上设置测量位置的基于所确定的位置的参考点在眼睛的一部分上执行测量以生成测量数据的指令；以及从眼睛测量装置接收(S18)测量数据。

Description

眼部图像的病理检测
领域
本文的示例方面总体上涉及图像处理领域，并且更具体地，涉及眼部图像(ocularimage)的处理，以便于识别在眼睛的成像部分中病理的存在和/或位置。
背景
由眼部成像系统获取的受试者的眼睛的一部分的眼部图像可以具有包含健康眼睛的可比较图像中不存在的某个病理指示的一个或更多个区域，并且这些区域的存在可以指示受试者的疾病或其他不健康状态。举例来说，受试者的视网膜的荧光素血管造影片可以包含似乎已经发生血管渗漏的一个或更多个区域，这可能是黄斑水肿的迹象。眼部图像需要有经验的眼科医生来获取和评估。然而，现有技术对于眼科医生和/或患者来说是耗时的，并且所执行的评估可能容易出错。
概述
根据本文的第一示例方面，本发明人已经设计了一种在眼睛的一部分的由眼部成像系统获取的图像中搜索指示病理的区域的计算机实现的方法。该方法包括接收定义图像的图像数据，并通过使用在定义健康眼睛的一部分的图像的图像数据和定义不健康眼睛的一部分的图像的图像数据上进行训练的学习算法处理所接收的图像数据来在图像中搜索所述区域，所述不健康眼睛的一部分的图像中的每个图像具有指示病理的至少一个区域。在搜索中发现图像中指示病理的区域的情况下，该区域在图像中的位置被确定，使用参考点基于用于在眼睛的一部分上设置测量位置的所确定的位置针对眼睛测量装置生成指令以在眼睛的该一部分上执行测量，并且所述测量数据从眼睛测量装置被接收。
根据本文的第二示例方面，本发明人还设计了一种在眼睛的一部分的由眼部成像系统获取的图像中搜索病理的存在的计算机实现的方法。该方法包括接收定义图像的图像数据，并且通过使用在定义健康眼睛的图像和不健康眼睛的图像的图像数据上进行训练的学习算法处理所接收的图像数据来在图像中搜索多种不同类型的病理中的至少一种类型的病理的存在，每个不健康眼睛的图像具有不同类型的病理中的相应一种。该方法还包括，在发现图像中存在多种不同类型的病理中的至少一种类型的病理的情况下，进行以下处理：对于发现图像中存在的至少一种类型的病理中的每一种，选择用于在眼睛的一部分上执行测量的多种不同类型的测量模态中的相应一种；针对至少一种类型的病理中的每一种被发现存在于图像中，生成用于具有相应选择的测量模态的眼睛测量装置在眼睛的该一部分上执行测量的相应指令；以及接收由具有每个选择的测量模态的眼睛测量装置执行的测量的测量数据。
根据本文的第三示例方面，本发明人还设计了一种计算机程序，该计算机程序当由计算机执行时，使得计算机执行根据本文的第一示例方面或第二示例方面所述的方法。
根据本文的第四示例方面，本发明人还设计了一种存储根据本文的第三示例方面的计算机程序的非暂时性计算机可读存储介质。
根据本文的第五示例方面，本发明人还设计了一种携带根据本文的第三示例方面的计算机程序的信号。
根据本文的第六示例方面，本发明人还设计了一种用于在眼睛的一部分的由眼部成像系统获取的图像中搜索指示病理的区域的装置。该装置包括接收器模块，其被配置为接收定义图像的图像数据。该装置还包括搜索模块，该搜索模块被配置为通过使用在定义健康眼睛的一部分的图像的图像数据和定义不健康眼睛的一部分的图像的图像数据上进行训练的学习算法处理所接收的图像数据来在图像中搜索所述区域，每个不健康眼睛的一部分的图像具有指示病理的至少一个区域。该装置还包括指令生成模块，该指令生成模块被配置为响应于在图像中指示由搜索模块发现的病理的区域而执行以下过程：确定该区域在图像中的位置；以及生成用于眼睛测量装置使用用于在眼睛的该一部分上设置测量位置的基于所确定的位置的参考点在眼睛的该一部分上执行测量以生成测量数据的指令。接收器模块还被配置成从眼睛测量装置接收测量数据。
根据本文的第七示例方面，本发明人还设计了一种用于在眼睛的一部分的由眼部成像系统获取的图像中搜索病理的存在的装置。该装置包括接收器模块和搜索模块，所述接收器模块被配置为接收定义图像的图像数据，所述搜索模块被配置为通过使用在定义健康眼睛的图像和不健康眼睛的图像的图像数据上进行训练的学习算法处理所接收的图像数据来在图像中搜索多种不同类型的病理中的至少一种类型的病理的存在，每个不健康眼睛的图像均具有不同类型的病理中的相应一种。该装置还包括指令生成模块，该指令生成模块被配置为响应于多种不同类型的病理中的至少一种类型的病理被搜索模块发现存在于图像中，执行以下过程：对于至少一种类型的病理中的每一种被发现存在于图像中，选择将被用于在眼睛的该一部分上执行测量的多种不同类型的测量模态中的相应一种；以及针对至少一种类型的病理中的每一种被发现存在于图像中，生成用于具有相应选择的测量模态的眼睛测量装置对眼睛的该一部分执行测量的相应指令。接收器模块还被配置为接收由具有每个选择的测量模态的眼睛测量装置执行的测量的测量数据。
附图说明
现在将仅通过非限制性示例的方式参考下面描述的附图来详细解释本发明的实施例。在所述附图中的不同附图中出现的相似的参考数字可以表示相同的或在功能上相似的元素，除非另有指示。
图1是根据本文的第一示例实施例的用于在眼部图像中搜索指示病理的区域的装置的示意图。
图2是根据本文的示例实施例示出图1的装置的示例信号处理硬件配置的框图。
图3是根据本文的第一示例实施例示出图1的装置在眼部图像中搜索指示病理的区域的过程的流程图。
图4(a)是眼睛的一部分的由眼部成像系统获取的图像的示意图。
图4(b)是图4(a)中示出的图像的注释版本，其根据本文的示例方面显示了指示已经被发现的病理的区域。
图5是根据本文的第一示例方面示出学习算法如何可以在定义健康眼睛的一部分的图像的图像数据和定义不健康眼睛的一部分的图像的图像数据上进行训练的示意图，每个不健康眼睛的一部分的图像具有指示病理的至少一个区域。
图6是根据本文的第二示例方面示出学习算法如何可以在定义健康眼睛的一部分的图像的图像数据和定义不健康眼睛的一部分的图像的图像数据上进行训练的示意图，每个不健康眼睛的一部分的图像具有指示多种不同类型的病理中的相应一种的至少一个区域。
图7是包括输入层、隐藏层和输出层中的人工神经元的卷积神经网络的示意图。
图8是根据本文的示例实施例示出图1的装置的搜索模块可以在图像中搜索指示病理的区域的过程的流程图。
图9是根据本文的示例实施例的用于在眼部图像中搜索病理的存在的装置的示意图。
图10是根据本文的示例实施例示出图9的装置在眼部图像中搜索病理的存在的过程的流程图。
实施例的详细描述
在本文所述的某些示例实施例中，使用下文所述的图像处理技术来处理眼部图像以自动检测眼部图像中的病理，且然后自动指示对眼睛的进一步测量，以便获取能够允许以更高的置信度确定病理的存在(和/或允许病理被表征)的补充数据。例如，可以使用不同的成像模态(例如，光学相干断层摄影，OCT)对眼睛成像，或者测量眼睛对光刺激的功能响应。作为另外的示例，在其中图像处理检测到视网膜区域中已经发生血管泄漏的可能指示的荧光素血管造影片的情况下，可以指示对该区域的OCT扫描，并且可以从OCT扫描的数据中获得厚度或体积测量结果，以便确认黄斑水肿的存在，并且如果存在，可选地诊断其严重性。因此，实施例可以有助于快速且可靠地检测病理以用于对疾病的早期检测，当眼部图像是覆盖视网膜的大部分或眼睛的其他部分的宽视场或超宽视场图像时，其优势是最为明显的。
现在将参考附图详细描述本发明的实施例。
[实施例1]
图1是根据第一示例实施例的用于在眼睛的一部分的由眼部成像系统获取的图像中搜索指示病理的区域(在图5的示意图中以520示出)的装置100的示意图。装置100包括接收器模块110和搜索模块120，接收器模块110被配置为接收定义由眼部成像系统520产生的图像的图像数据，搜索模块120被配置为通过使用以下详细描述的学习算法处理所接收的图像数据来在图像中自动搜索指示病理的至少一个区域。装置100还包括指令生成模块130，该指令生成模块130被配置为响应于图像中指示病理的区域被搜索模块120发现，而自动执行以下过程：确定该区域在图像中的位置，并生成对于眼睛测量装置使用用于在眼睛的该一部分上设置测量位置的基于所确定的位置的参考点在眼睛的该一部分上执行测量以生成测量数据的指令。在搜索模块120发现两个或更多个这样的区域的情况下，可以对每个区域执行这些过程。接收器模块110还被配置成从眼睛测量装置接收测量数据。可选地，如在当前示出的实施例中，装置100可以包括显示控制信号生成器140(该可选部件由图1中的虚线示出)。
指示病理的区域可以是由包含不会出现在健康眼睛的类似获取的图像中的指示病变、结构损伤或任何其他异常的图像特征的所接收的图像数据所定义的图像的区域。
装置100可以被配置为搜索指示眼睛中可能发生的任何病理的区域，该任何病理可能包括(但不限于)例如青光眼、中度糖尿病视网膜病变、重度糖尿病视网膜病变、肿瘤、玻璃膜疣、水肿和萎缩。
在本示例实施例中，接收器模块110被配置成接收定义眼睛视网膜的一部分的已经由眼部成像系统520生成的图像的图像数据。然而，在其他示例实施例中，所接收的图像数据可以定义眼睛的除视网膜之外的一部分(例如眼前段的一部分、或者眼后段的一部分)的图像。此外，如在本示例实施例中，所接收的图像数据可以定义二维图像，或者它可以可选地定义眼睛的成像部分的三维图像。所接收的图像数据可以以本领域技术人员已知的任何合适的格式(无论是压缩的还是未压缩的)被提供。由接收器模块110接收的图像数据具有第一成像模态(在下文中更详细地讨论)，并且表示使用适当选择的成像参数值对眼睛视网膜成像的结果，该成像参数值可以包括成像分辨率、孔径大小和波长。
眼部成像系统520可以是适于对眼睛的视网膜(或其他选择的部分)成像的任何眼部成像系统。眼部成像系统520可以是例如眼底相机或一种扫描成像系统。举例来说，本示例实施例的眼部成像系统520是扫描激光检眼镜(SLO)的示例性形式的扫描成像系统，其被配置为获取受试者的眼睛的视网膜图像。本示例实施例的SLO被配置为捕获自发荧光(AF)图像(其可以被配置为捕获红绿(RG)反射图像或来自其他荧光模式的图像)，但是其可以可选地或附加地被配置为获取一种或更多种其他类型的图像。例如，SLO可以是能够生成高达80％的视网膜表面的超宽场图像的超宽场SLO(UWF-SLO)。可选地，眼部成像系统520可以具有另一种成像模态，例如光学相干断层摄影(OCT)扫描仪，在这种情况下，本文描述的图像处理技术适用于由OCT扫描仪获取的断层图像。作为另一种可选方案，眼部成像系统520可以是组合SLO-OCT扫描仪，在这种情况下，本文描述的图像处理技术适用于由组合SLO-OCT扫描仪获取的SLO视网膜扫描和OCT扫描二者。
接收器模块110可以被配置为通过本领域中的技术人员已知的任何合适的手段来接收定义由眼部成像系统520获取的图像的图像数据。例如，接收器模块110可以经由直接通信链路(其可以由任何合适的有线或无线连接(例如通用串行总线(USB)或BluetoothTM连接)来提供)或间接通信链路(其可以由包括局域网(LAN)、广域网(WAN)和/或互联网的网络来提供)从眼部成像系统520接收图像数据。此外，图像数据可以由在这样的图像数据已经被眼部成像系统获取之后(例如，通过从诸如CD或硬盘的存储介质中读取，或者经由诸如互联网的网络接收)接收这样的图像数据的接收器模块110来接收。
此外，当图像数据由眼部成像系统正在生成时，该图像数据可以被接收器模块110接收(并且可以此外随后被处理以在眼睛的一部分的图像中搜索指示病理的区域，如下所述)，即图像数据可以“在运行中”被获取而无需等待眼部成像系统520完成对形成视网膜的一部分的图像的所有图像数据的生成。然而，在本示例实施例中并且为了这个描述的目的，接收器模块110被配置为在搜索模块120开始处理定义眼睛的该一部分的图像的图像数据之前接收所有的该图像数据。
在如本示例实施例的实施例中，其中装置100包括显示控制信号生成器140，显示控制信号生成器140可以被布置成生成显示控制信号以用于控制显示设备(例如LCD屏幕或其他类型的视觉显示单元)(如在图2中以215所示)，以显示指示病理在眼睛的该一部分的图像中的区域的位置和所接收的测量数据的表示二者。
图2是可编程信号处理硬件200的示意图，如在本示例实施例中，可编程信号处理硬件200可以被配置为用作图1的装置100。可编程信号处理硬件200包括通信接口(I/F)210，以用于接收上述图像数据，生成对于眼睛测量装置300在眼睛的一部分上执行测量以生成测量数据的指令，接收来自眼睛测量装置300的测量数据，并且可选地，用于输出显示控制信号以控制显示设备215显示眼睛的一部分的图像和测量数据的表示。信号处理装置200还包括处理器(例如中央处理单元CPU或图形处理单元GPU)220、工作存储器230(例如随机存取存储器)和存储包括计算机可读指令的计算机程序的指令储存装置240，计算机可读指令当由处理器220执行时使处理器220执行包括上文描述的搜索模块120、指令生成模块130以及可选的显示控制信号生成器140的功能的各种功能。指令储存装置240可以包括预加载有计算机可读指令的(例如，电可擦除可编程只读存储器(EEPROM)或闪存的形式的)ROM。可选地，指令储存装置240可以包括RAM或类似类型的存储器，并且计算机程序的计算机可读指令可以从计算机程序产品(例如CD-ROM、DVD-ROM等形式的非暂时性计算机可读存储介质250)或者携带计算机可读指令的计算机可读信号260被输入到其。在任何情况下，计算机程序当由处理器执行时，使得处理器执行在眼睛的一部分的由本文所述的眼部成像系统获取的图像中搜索指示病理或病理存在的区域的方法中的至少一种。然而，应当注意的是，装置100可以可选地在不可编程硬件(例如专用集成电路(ASIC))中被实现。
在本示例实施例中，包括处理器220、工作存储器230和指令储存装置240的在图2中所示的硬件部件的组合270被配置为执行搜索模块120和指令生成模块130的功能，这些功能现在将在下面被详细描述。在如其中装置100包括显示控制信号生成器140的当前示出的实施例的实施例中，该可选部件的功能可以由硬件部件的组合270与通信接口I/F 210一起提供。
从对本示例实施例的装置100执行的操作的以下描述中将更加明显的是，装置100自动处理定义眼睛的一部分的由眼部成像系统520获取的图像的图像数据，以找到并记录指示病理的每个区域在图像中的位置，并且生成对于眼睛测量装置300使用用于在眼睛的该一部分上设置测量的相应位置的基于相应区域的记录位置的参考点在眼睛的该一部分上执行测量以生成测量数据的相对应的指令。装置100因此获取被怀疑包含病理的每个图像区域的位置以及与相应区域相关的附加测量数据。由装置100自动获取的这些不同但互补类型的信息可以一起被呈现给医务人员进行检查，并且因此可以允许比单独检查眼部图像更快且置信度更高地识别所接收的眼部图像的任何包含病理的区域。例如，在图像中该区域的记录位置和所接收的测量数据的表示二者都被显示在显示设备215上(优选彼此重叠)的示例实施例中，显示设备215的观看者可以能够容易地识别在图像中这样的区域是否被发现以及在哪里被发现。当任一类型的信息单独显示在显示设备215上时，从查看图像中的区域的记录位置或所接收的测量数据的表示来看，这样做可能不容易。类似的优点可以出现在可选的示例实施例中，其中图像中该区域的记录位置和所接收的测量数据被自动处理以识别感兴趣的区域。
图3是根据本文的第一示例实施例示出图1的装置100在眼睛的一部分的由眼部成像系统520获取的图像中搜索指示病理的区域的过程的流程图。
在图3的过程S10中，接收器模块110接收已经由眼部成像系统520获取的第一成像模态的图像数据。眼部成像系统的成像模态可以例如采用本领域技术人员已知的许多不同形式中的一种，包括OCT、彩色眼底照相、荧光素血管造影术(FA)、吲哚青绿血管造影术(ICG)和自发荧光术(AF)等。所接收的图像数据定义眼睛的一部分的(在该示例实施例中，视网膜)由眼部成像系统520获取的图像。图4(a)是由所接收的图像数据定义的视网膜的一部分的、由眼部成像系统520获取的图像400的示意图。
在图3的过程S12中，搜索模块120通过使用学习算法处理所接收的图像数据来在图像400中搜索指示单一类型的病理的区域(图4(a)中的410)，该学习算法在定义健康眼睛的视网膜的图像的图像数据和定义不健康眼睛的视网膜的图像的图像数据上训练，每个不健康眼睛的视网膜的图像具有指示病理的至少一个区域。搜索中发现的每个区域410在图像400中的位置由搜索模块120记录，例如在装置100在图2的可编程信号处理硬件200中被实现的情况下记录在工作存储器230中。
图5是示出学习算法可以如何在定义健康眼睛的图像的图像数据502和定义不健康眼睛的图像的图像数据501上进行训练的示意表示。学习算法530被配置为通过从输入数据的示例训练集500构建模型540来从输入数据中进行学习并基于输入数据做出预测，输入数据包括定义健康眼睛的视网膜的图像的图像数据502和定义不健康眼睛的视网膜的图像的图像数据501。举例来说，图像数据501定义不健康眼睛的一部分的图像，每个不健康眼睛的一部分的图像具有指示严重糖尿病视网膜病变的区域。由示例训练集500中的图像数据501定义的图像可以通过获取多个受试者的视网膜的图像来收集。更一般地，每个图像与由所接收的图像数据定义的图像具有眼睛的相同部分(或眼睛510的基本相同部分或包含相同部分的眼睛部分)。此外，由示例训练集500中的图像数据定义的每个图像是由眼部成像系统520或由相同类型的眼部成像系统获取的，并且以相同的成像模态操作。举例来说，图像数据501定义不健康眼睛的一部分的图像，不健康眼睛的一部分的图像中的每一个具有指示严重糖尿病视网膜病变的区域。
在学习算法530是监督学习算法(例如神经网络、支持向量机或进化算法)的实施例中，示例训练集500中的每个示例图像是由定义眼睛的一部分的图像的输入图像数据和指示图像是“健康”眼睛还是“不健康”眼睛的一部分的期望输出值组成的对。监督学习算法530分析示例训练集500中的图像数据，并产生模型540，模型540可用于将定义眼睛的一部分的图像的新的看不见的图像数据分类为“健康”或“不健康”。由于学习算法530在定义仅具有单一类型的病理的不健康眼睛的图像的图像数据501上进行训练，因此模型540不能区分病理。其只能确定是否存在指示病理的区域，例如严重的糖尿病视网膜病变。
在图3的过程S12中，在本示例实施例的修改中，搜索模块120可以通过使用学习算法处理所接收的图像数据，通过在图像中搜索指示不是具有单种类型的病理而是具有多种不同类型的病理中的一种类型的病理的区域410来在图像中搜索区域410。因此，在本示例实施例的修改中，学习算法可以在定义不健康眼睛的一部分的图像的图像数据上进行训练，每个不健康眼睛的一部分的图像具有不同类型的病理中的相应一种。
图6是示出修改的学习算法630如何在定义健康眼睛的视网膜的图像的图像数据604和定义不健康眼睛的视网膜的图像的图像数据601、602、603上进行训练的示意图，每个不健康眼睛的视网膜的图像具有指示多种不同类型的病理中的相应一种病理的至少一个区域。举例来说，图像数据601定义患有青光眼的不健康眼睛的一部分的图像，图像数据602定义患有中度糖尿病视网膜病变的不健康眼睛的一部分的图像，以及图像数据603定义患有严重糖尿病视网膜病变的不健康眼睛的一部分的图像。
学习算法630被配置为通过从输入数据的示例训练集600构建模型640来从输入数据中进行学习并基于输入数据做出预测，输入数据包括定义健康眼睛的视网膜的图像的图像数据604和定义不健康眼睛的视网膜的图像的图像数据601、602、603。由示例训练集600中的图像数据601至604定义的图像可以通过获取多个受试者的视网膜的图像来进行收集。更一般地，每个图像与由所接收的图像数据定义的图像具有眼睛的相同部分(或眼睛510的基本相同部分或包含相同部分的眼睛的部分)。此外，由示例训练集600中的图像数据601至604定义的每个图像由眼部成像系统520或由相同类型的眼部成像系统获取，并且以相同的成像模态操作。
学习算法630可以是监督学习算法。因此，示例训练集600中眼睛510的一部分的每个示例图像与指示该图像具有“健康”眼睛的一部分还是“不健康”眼睛的一部分的指示符相关联，并且在图像具有“不健康”眼睛的一部分的情况下，还与指示图像中存在多个病理中的哪一个病理的第二指示符相关联。监督学习算法分析示例训练集600中的图像数据，并产生模型640，该模型640可用于将定义眼睛的一部分的图像的新的(先前看不见的)图像数据分类为例如以下之一：“健康”；“不健康–青光眼”；“不健康-中度糖尿病视网膜病变”；和“不健康-严重糖尿病视网膜病变”。
对于本领域技术人员来说明显的是，装置100可以适于通过扩展训练集600来分类额外的病理，以包括针对额外病理中的每一个的定义具有该病理的不健康眼睛的视网膜(或其他部分)的图像的图像数据以及如上所述的相关联的指示符。例如，训练集600可以被扩展为包括定义具有肿瘤的不健康眼睛的一部分的图像的图像数据和/或定义具有水肿的不健康眼睛的一部分的图像的图像数据。此外，定义不健康眼睛的一部分的图像的图像数据601、602、603中的任何一个可以被移除或者被定义具有不同病理的不健康眼睛的一部分的图像的图像数据所替换。然后，可以基于修改的训练集600产生模型640的修改版本。
如在本示例实施例中，监督学习算法630可以是神经网络。神经网络通过处理输入数据(例如，示例训练集600中的图像数据)在无需任何先验知识的情况下自动生成识别特征。
如在本示例实施例中，神经网络可以是卷积神经网络。卷积神经网络特别适用于图像和视频识别任务。
如图7所示，通常，卷积神经网络由输入层和输出层以及多个隐藏层组成。每个层由多个人工神经元组成(在图7中标记为A至F)，并且每个层可以对它们的输入执行不同种类的变换。每个人工神经元可以连接到相邻层中的多个人工神经元。每个人工神经元的输出通过其输入之和的某个非线性函数来计算。人工神经元及其之间的连接通常具有确定在给定连接处的信号强度的相应的权重(在图7中的WAD、WAE等)。随着学习的推进，这些权重被调整，从而调整卷积神经网络的输出。信号从第一层(输入层)行进到最后一层(输出层)，并且可以多次遍历这些层。
神经网络的输出可以被视为输入图像数据包含病理的识别特征的概率，并且分类可以如在本示例实施例中那样包括确定训练模型640的输出是否超过预定阈值。预定阈值可以表示输入图像数据包含病理的识别特征的可接受的低概率，以及因此，受试者的眼睛是健康的高概率。
在学习算法是神经网络的情况下，如在本示例实施例中，作为图3的过程S12的一部分，搜索模块120可以被配置为通过解构神经网络来搜索指示在图像中的病理的区域410。
当定义眼睛的一部分的图像410的图像数据被输入到训练模型640时，训练模型640将该图像分类为“健康”或分类为“不健康”并且具有特定病理(即，模型640确定输入图像数据是否包含病理的识别特征)。传统的卷积神经网络不输出这种分类的解释。因此，卷积神经网络可以被解构，即，被处理以确定输入图像数据的哪些输入变量(即，图像400的像素)与神经网络的输出相关。与作为“不健康”的分类最相关的并且具有由所接收的图像数据定义的图像400的特定病理的输入变量对应于指示病理的区域410(或多个区域)。
在训练模型640将由所接收的图像数据定义的图像400分类为“健康”(即，不包含任何指示病理的区域)的情况下，如在本示例实施例中，搜索模块120可以被配置为不解构神经网络。
在类似于其中神经网络是卷积神经网络的当前示出实施例的实施例中，如在本示例性实施例中，搜索模块120可以被配置为通过执行图8的流程图中所示的过程来解构卷积神经网络。
在图8的S122中，搜索模块120针对图像400的多个不同部分中的每个部分执行遮蔽图像的部分以生成遮蔽图像的过程。
在图8的S124中，搜索模块120通过使用学习算法处理定义遮蔽图像的图像数据，针对图像400的多个不同部分中的每一个部分执行在遮蔽图像中搜索该区域的过程。
在图8的S126中，搜索模块120针对图像400的多个不同部分中的每个部分执行确定第一结果和第二结果之间的差异的过程，第一结果是使用定义遮蔽图像的图像数据执行的搜索的结果，第二结果是使用所接收的图像数据(即，所接收的图像数据，其中图像的部分未被遮蔽)执行的搜索的结果。
在图8的S128中，搜索模块120将所确定的差异最大的部分的位置确定为在区域410在图像400中的位置。
可选地，在神经网络是卷积神经网络的情况下，搜索模块120可以被配置成通过以下方式解构卷积神经网络：
(i)通过将泰勒分解应用于神经网络从神经网络的顶层到神经网络的输入层的每一层，确定神经网络的每个输入变量与神经网络的输出的相关性；和
(ii)确定基于所接收的图像数据的、对应于神经网络的最相关输入变量的至少一部分而将要被记录的位置。
泰勒分解是一种通过基于其输入变量分解神经网络的输出来解释各个神经网络预测的方法。该方法将图像400视为像素值的集合x＝{xp}，其中p表示特定像素。函数f(x)量化图像400中特定类型对象的存在，这里是指示病理的区域410。函数值f(x)＝0表示其不存在。另一方面，函数值f(x)>0表示具有一定程度的确定性或以一定量表示它的存在。泰勒分解方法给图像中的每个像素p分配相关性分数Rp(x)，其指示对于图像x，像素p在多大程度上有助于解释分类决策f(x)。每个像素的相关性可以被存储在由与x相同维度的R(x)＝{Rp(x)}表示的热图中，并且可以可视化为图像。因此，该区域的位置可以被确定为热图中最相关像素的位置。
作为另一可选实施例，在神经网络是卷积神经网络的情况下，搜索模块120可以被配置为通过确定卷积神经网络的去卷积来解构卷积神经网络。特别地，卷积神经网络可以通过训练多层去卷积网络来解构，该多层去卷积网络以卷积神经网络的输出作为输入，并且提供与输入到卷积神经网络的图像相同大小的概率图作为输出，该概率图指示每个像素属于预定类别之一的概率。因此，区域的位置可以被确定为具有属于预定类别之一的最高概率(即，具有多种不同类型的病理之一的最高概率)的像素的位置。
因此，如在本示例实施例中，搜索模块120可以被配置为通过将由所接收的图像数据定义的图像400的与神经网络的输出最相关的像素识别为指示病理的区域410来搜索图像中指示病理的区域410。
再次参考图3，在过程S13中，搜索模块120将在图像中指示病理的区域是否已经被发现确定为在过程S12中执行的搜索的结果。如果在图像中指示病理的区域已经被发现作为在过程S12中执行的搜索的结果，则过程前进到S14，否则过程结束。
在图3的过程S14中，指令生成模块130确定搜索模块120已经发现区域410在图像中的位置。该位置可以例如由搜索模块120记录在图2所示的硬件配置200的工作存储器230中，并且在S14中由指令生成模块130从工作存储器中读取。
在如其中装置100的处理结果如本文所述被显示在显示设备215上的本示例性实施例的实施例中，如图4(a)所示，所确定的位置可以用于将覆盖图形元素(例如图4(b)所示的边界框440)居中或以其他方式定位在图像400的被发现包含病理的区域410上方。
在图3的过程S16中，指令生成模块130生成对于眼睛测量装置300使用用于在眼睛的一部分上设置测量位置的基于所确定的位置的参考点在眼睛的一部分上执行测量以生成测量数据的指令。在图3的过程S16中生成的指令可以通过本领域技术人员已知的任何合适的方式提供给眼睛测量装置300。
在如当前所示的实施例的实施例中，所确定的位置是图像400中构成区域410的一个或更多个像素组的位置。为了确定可用于设置将由眼睛测量装置300在眼睛的一部分上执行的测量位置的参考点，在S12中由搜索模块120记录的位置可被变换成一个或更多个控制参数的相对应的集合，以用于操纵眼睛测量装置300在眼睛中/在眼睛上与由眼部成像系统520成像的位置基本相同的位置处执行其测量。这可以通过多个不同的方式之一来实现。
例如，指令生成模块130可以使用来自由SLO获取的图像的像素坐标值和控制参数的相对应的值之间的映射，例如，该映射可以以查找表或由参数的集合定义的函数的形式来被提供。可以使用本领域技术人员已知的技术通过校准来确定映射。
在图3的过程S18中，接收器模块110从眼睛测量装置300接收测量数据，且然后该过程结束。
眼睛测量装置300可以具有允许对受试者的眼睛进行补充测量的任何类型的装置，该补充测量可以用于验证由搜索模块120发现的区域确实(或者非常可能)包含成像的病理。眼睛测量装置300可以例如响应于指令生成模块130生成的指令，测量受试者眼睛对光刺激的功能响应，并将表示测量的功能响应的数据传送给接收器模块110。
可选地，如在本实施例中，眼睛测量装置300可以被配置为使用用于将在图像捕获过程中要被成像的视网膜的区域的位置设置为测量位置的前述参考点，执行第二成像模态的图像捕获过程以对视网膜的区域进行成像，作为对视网膜(或眼睛的其他选择的部分，如上所述)的测量，其中第二成像模态不同于第一成像模态(即，在本示例实施例中的SLO)。因此，在其中在图3的S12中发现图像中指示病理的区域的本示例实施例中，指令生成模块120在图3的S16中生成对于眼睛测量装置300使用用于将在图像捕获过程中要成像的眼睛的一部分中的区域的位置设置为测量位置的参考点来执行图像捕获过程的指令，作为对于眼睛测量装置300对眼睛的一部分执行测量的指令。接收器模块110然后在图3的过程S18中接收由眼睛测量装置300获取的第二成像模态的图像数据作为测量数据。注意，能够获取两个或更多个不同成像模态的眼部图像的单模态、多模态眼部成像系统(例如，组合的SLO-OCT成像系统)可以提供眼部成像系统520和眼睛测量装置300的功能。眼部成像系统520和眼睛测量装置可以可选地作为单独的部件被提供。
上面讨论的映射可以依赖于受试者的眼睛相对于眼睛测量装置以预定方式被定位和取向。虽然这在任何实际应用中都是一个很好的假设，但并不是在所有情况下都适用。在该假设不适用的情况下，优选地，定义由搜索模块120发现的区域相对于在由眼部成像系统520获取的图像和由本示例性实施例的眼睛测量装置300获取的不同模态的图像中都是可识别的解剖特征(例如视网膜中央凹420)的位置。然后，该区域相对于图像400中视网膜中央凹的定位的位置可以被变换成相对于视网膜中央凹在由眼睛测量装置300获取的图像中的定位的相对应的位置。
参考点可以用于以任何合适的方式设置对眼睛的一部分的测量位置。例如，可以控制眼睛测量装置300对预定大小的区域进行成像(或者更一般地对其执行任何其他类型的测量)，该预定大小的区域以受试者的视网膜上对应于参考点的位置为中心。
在上述第一示例实施例的修改中，其中搜索模块120通过使用学习算法处理所接收的图像数据来在图像中指示多种不同类型的病理之一的区域410，指令生成模块130响应于在图像400中被搜索模块120发现指示多种不同类型的病理之一的区域410而执行以下过程：从多种不同类型的成像模态中选择关于多种不同类型的病理之一且作为第二成像模态的相应的一种类型的成像模态，其用于在眼睛的视网膜上执行图像捕获过程。在第一实施例的修改中，例如，指令生成模块130可以通过查阅查找表(LUT)并且使用由搜索模块120发现的多种不同类型的病理中的一种类型的病理作为搜索关键字，从多种不同类型的成像模态中选择相应的一种类型的成像模态，其将用于在受试者的视网膜上执行图像捕获过程，在所述查找表中多种不同类型的病理中的每一种的指示符与多种不同类型的成像模态中的一种类型的成像模态的相应指示符相关联地被存储。
例如，在多种不同类型的病理之一是青光眼的情况下，指令生成模块130可以生成对于眼睛测量装置300执行对受试者的眼睛的视网膜上的区域的OCT扫描作为第二成像模态的图像捕获过程的指令。接收器模块110然后可以在图3的S18中接收OCT扫描的图像数据作为测量数据，装置100可以处理该测量数据以获得对检测青光眼(并可选地估计其严重性)有用的补充数据，即视网膜神经纤维层和/或眼睛的视神经头的测量。
作为另一示例，在多种不同类型的病理之一是严重糖尿病视网膜病变的情况下，指令生成模块130可以生成对于眼睛测量装置300执行对眼睛的视网膜的区域的OCT扫描作为第二成像模态的图像捕获过程的指令。接收器模块110然后可以在图3的S18中接收OCT扫描的图像数据作为测量数据，装置100可以处理该测量数据以获得对检测严重糖尿病视网膜病变(并可选地估计其严重性)有用的补充数据，即黄斑厚度的测量。
作为另一示例，在多种不同类型的病理中的一种类型的病理是肿瘤的情况下，指令生成模块130可以生成对于眼睛测量装置300执行对眼睛的视网膜中的区域的高密度OCTB-扫描作为第二成像模态的图像捕获过程的指令。接收器模块110然后可以在图3的S18中接收高密度OCT B-扫描的图像数据作为测量数据，该测量数据可以用于检测肿瘤(并且可选地估计其大小)。
作为又一示例，在多种不同类型的病理中的一种类型的病理是玻璃膜疣的情况下，指令生成模块130可以生成对于眼睛测量装置300执行对眼睛的视网膜中的区域的OCTB-扫描作为第二成像模态的图像捕获过程的指令。接收器模块110然后可以在图3的S18中接收OCT B-扫描的图像数据作为测量数据，该测量数据可用于检测玻璃膜疣的存在或者估计其大小和/或数量。例如，这样的数据在早期诊断年龄相关性黄斑变性时可能是有价值的。
此外，在多种不同类型的病理之一是水肿或萎缩的情况下，指令生成模块130可以生成对于眼睛测量装置300执行对眼睛的视网膜中的区域的OCT扫描作为第二成像模态的图像捕获过程的指令。然后，在图3的S18中，接收器模块110可以接收OCT扫描的图像数据作为测量数据，该测量数据可以用于检测水肿(或萎缩，视情况而定)，并且可选地估计其严重性。
在上述第一示例实施例的修改中，搜索模块120通过使用学习算法处理所接收的图像数据来在图像中搜索指示多种不同类型的病理之一的区域410，并且指令生成模块130响应于搜索模块120在图像400中发现指示多种不同类型的病理之一的区域410而执行以下过程：从多种不同类型的成像模态中选择关于多种不同类型的病理之一且作为第二成像模态的相应的一种类型的成像模态，其用于在眼睛的视网膜上执行图像捕获过程。然而，如上所述，眼睛测量装置300不需要被配置成获取视网膜(或者，更一般地，眼睛的任何其他选择的部分)的图像，而是可以在眼睛上执行不同类型的测量。此外，眼睛测量装置300在多个不同测量模态中的选择的一个测量模态中可操作的意义上可以是多模态的。在这样的变型中，指令生成模块130可以响应于在图像400中被搜索模块120发现指示多种不同类型的病理之一的区域410而执行以下过程：从多种不同类型的测量模态中选择关于多种不同类型的病理之一的相应的一种类型的测量模态以用于对眼睛执行测量；以及生成对于具有所选择的测量模态的眼睛测量装置300使用用于在眼睛的一部分上设置测量位置的参考点在眼睛的一部分上执行测量的指令，作为眼睛测量装置300在眼睛的一部分上执行测量的指令。
在第一示例实施例的第二修改中，眼睛测量装置300可以是与眼部成像系统520具有相同成像模态的眼部成像装置，其与第一实施例相似，不区分不同类型的病理。在该第二修改中，接收器模块110被配置为接收表示使用成像参数的第一值对眼睛的一部分成像的结果的图像数据，该成像参数是成像中使用的成像分辨率、孔径大小或波长。指令生成模块130被配置为响应于图像400中指示由搜索模块120发现的病理的区域410而执行以下过程：生成对于眼睛测量装置300使用成像参数的第二值以对眼睛的一部分中的区域进行成像来执行图像捕获过程的指令作为眼睛测量装置300在眼睛的该一部分上执行测量的指令，再次使用参考点来设置在图像捕获过程中将被成像的眼睛的一部分中的区域的位置作为测量位置，其中成像参数的第二值不同于成像参数的第一值。接收器模块110被配置为从眼睛测量装置300接收表示使用成像参数的第二值对眼睛的一部分中的区域成像的结果的图像数据作为测量数据，并且所接收的图像数据和所接收的测量数据具有相同的成像模态。
例如，在第二修改中，眼部成像系统520可以被配置为通过以第一成像分辨率对眼睛的该一部分成像来获取定义图像的图像数据，并且指令生成模块130可以被配置为响应于图像中指示由搜索模块120发现病理的区域而生成对于眼睛测量装置300以第二、更高的成像分辨率更详细地对该区域成像来执行图像捕获过程的指令。
[实施例2]
图9是根据本文第二示例实施例的用于在眼睛的一部分的由眼部成像系统(图5中的520)获取的图像中搜索病理的存在的装置800的示意图。第二示例实施例的装置800与图1的装置100的不同之处在于，图9的装置不需要确定指示病理的区域在所接收的图像400中的位置。
装置800包括接收器模块810和搜索模块820，接收器模块810被配置为接收定义由眼部成像系统520产生的图像的图像数据，搜索模块820被配置为在图像中搜索多种不同类型的病理中的至少一种类型的病理的存在。装置800还包括指令生成模块830，其被配置为响应于搜索模块820发现图像中存在多种不同类型的病理中的至少一种而执行以下过程：对于被发现存在于图像中的至少一种类型的病理中的每一种，从多种不同类型的测量模态中选择将用于对眼睛的该一部分执行测量的相应一种类型的测量模态；以及针对被发现存在于图像中的至少一种类型的病理中的每一种，生成对于具有相应选择的测量模态的眼睛测量装置执行对眼睛的一部分的测量的相应的指令。接收器模块810还被配置为接收由具有每个选择的测量模态的眼睛测量装置执行的测量的测量数据。可选地，如在当前示出的实施例中，装置800可以包括显示控制信号生成器840(该可选部件由图9中的虚线示出)。
如以上关于第一实施例所讨论的，装置800可以被配置为搜索任何病理(例如，包括青光眼、中度糖尿病视网膜病变、重度糖尿病视网膜病变、肿瘤、玻璃膜疣、水肿和萎缩)的存在。
在本示例实施例中，接收器模块810被配置成接收定义眼睛的视网膜的一部分的由眼部成像系统520生成的图像的图像数据。然而，在其他示例实施例中，所接收的图像数据可以定义眼睛的除视网膜之外的一部分的图像，例如眼前段的一部分，或者眼后段的一部分。
如在本示例实施例中，眼部成像系统520可以是扫描激光检眼镜。可选地，眼部成像系统可以是以上关于第一实施例描述的任何眼部成像系统。
接收器模块810可以被配置成接收定义由眼部成像系统520通过以上关于第一实施例讨论的任何手段获取的图像的图像数据。
从以下对示例实施例中的装置800执行的操作的描述中将变得更加明显的是，装置800自动处理定义眼睛的一部分的由眼部成像系统520获取的图像的图像数据，以在图像中搜索多种不同类型的病理中的至少一种类型的病理的存在，并且当发现图像中存在多种不同类型的病理中的至少一种时，从多种不同类型的测量模态中选择关于被发现存在于图像中的至少一种类型的病理中的每一种的用于对眼睛的该一部分执行测量的相应的一种类型的测量模态。然后，针对被发现存在图像中的至少一种类型的病理中的每一种，生成对于具有相应选择的测量模态的眼睛测量装置对眼睛的一部分执行测量的相应指令。装置800因此获取被怀疑包含特定类型的病理的图像以及与被怀疑的病理的类型相关的测量模态的附加测量数据。由装置800自动获取的这些不同但互补的信息类型可以允许快速且高置信度地识别任何包含病理的眼部图像。
图9的装置800可以通过信号处理硬件配置(例如图2所示的配置)或者通过任何其他合适的手段来实现。
图10是根据本文的第二示例实施例示出图9的装置800在眼睛的一部分的由眼部成像系统520获取的图像中搜索病理的存在的过程的流程图。
在图10的过程S20中，接收器模块810接收定义眼睛的一部分的由SLO获取的图像的图像数据(如眼部成像系统520的示例)。
在图10的过程S22中，搜索模块820通过使用在定义健康眼睛的图像和不健康眼睛的图像的图像数据上进行训练的学习算法处理所接收的图像数据来在图像中搜索多种不同类型的病理中的至少一种的存在，每个不健康眼睛的图像具有不同类型的病理中的相应一种。学习算法可以如上面结合图6所讨论的那样被训练，以便将定义眼睛的一部分的图像的输入图像数据分类为“健康”或“不健康”且具有特定病理。
装置800不需要记录指示病理的区域在图像中的位置。因此，如在本示例实施例中，装置800可以不处理学习算法以便确定输入图像数据的哪些输入变量(即，由所接收的图像数据定义的图像的像素)与输出相关(即，发现存在多种不同类型的病理之一)。可选地，在其他实施例中，这种处理可以可选地由装置800来执行作为图10的S22的一部分，以便识别参考点。
在过程S23中，作为过程S22中执行的搜索的结果，搜索模块820确定是否已经发现图像中存在不同类型的病理中的至少一种。如果作为在过程S22中执行的搜索的结果已经发现图像中存在不同类型的病理中的至少一种，则过程前进到S24，否则过程结束。
在图10的过程S24中，响应于搜索模块820发现图像中存在多种不同类型的病理中的至少一种，指令生成模块830执行以下过程：针对被发现存在于图像中的至少一种类型的病理中的每一种，从多种不同类型的测量模态中选择将用于对眼睛的一部分执行测量的相应的一种类型的测量模态。
指令生成模块830可以通过以上关于图1的装置100描述的任何手段从多种不同类型的测量模态中选择相应一种类型的测量模态。
在图10的过程S26中，响应于搜索模块820发现图像中存在多种不同类型的病理中的至少一种，指令生成模块830执行以下过程：针对被发现存在于图像中的至少一种类型的病理中的每一种，生成对于具有相应选择的测量模态的眼睛测量装置执行对眼睛的一部分的测量的相应指令。
该指令可以基本上如上面关于图1的装置100所讨论的那样被生成。然而，在如其中装置800不搜索指示病理的区域的当前示出实施例的实施例中，指令生成模块830不需要使用基于指示病理的区域的记录位置的参考点来设置在眼睛的一部分上的测量位置。作为图10的过程S26的一部分，如在本示例实施例中，指令生成模块130可以针对被发现存在于图像中的至少一种类型的病理中的每一种生成对于具有相应选择的测量模态的眼睛测量装置在眼睛的与眼部成像系统成像的相同部分上执行测量的相应指令。
在图10的过程S28中，接收器模块810接收由具有每个选择的测量模态的眼睛测量装置执行的测量的测量数据。接收器模块810可以通过上面结合第一实施例讨论的任何手段接收测量数据。
在以下示例E1至E52中对上面描述的一些实施例进行了总结：
E1.一种在眼睛的一部分的由眼部成像系统(520)获取的图像(400)中搜索指示病理的区域(410)的计算机实现的方法，该方法包括：
接收(S10)定义图像的图像数据(400)；
通过使用学习算法(530；630)处理所接收的图像数据，在图像(400)中搜索(S12)区域(410)，所述学习算法在定义健康眼睛的一部分的图像的图像数据(502；604)和定义不健康眼睛的一部分的图像的图像数据(601，602，603；501)上进行训练，每个不健康眼睛的一部分的图像具有指示病理的至少一个区域；和
在图像(400)中的指示病理的区域(410)在搜索时被发现的情况下：
确定(S14)区域(410)在图像(400)中的位置；
生成(S16)对于眼睛测量装置(300)使用用于在眼睛的一部分上设置测量位置的基于所确定的位置的参考点在眼睛的该一部分上执行测量以生成测量数据的指令；和
从眼睛测量装置(300)接收(S18)测量数据。
E2.根据E1所述的计算机实现的方法，其中
在图像(400)中搜索(S12)区域(410)包括通过使用学习算法(630)处理所接收的图像数据，在图像(400)中搜索指示多种不同类型的病理中的一种类型的病理的区域(410)，所述学习算法在图像数据(601，602，603)上进行训练，所述图像数据(601，602，603)定义不健康眼睛的一部分的图像，每个不健康眼睛的一部分的图像具有不同类型的病理中的相应一种类型的病理，以及
在图像(400)中的指示多种不同类型的病理中的一种类型的病理的区域(410)在搜索(S12)时被发现的情况下：
该方法还包括针对多种不同类型的病理中的一种类型的病理，从多种不同类型的测量模态中选择相应的一种类型的测量模态以用于对眼睛执行测量；和
该方法包括生成(S16)对于具有所选择的测量模态的眼睛测量装置(300)使用用于在眼睛的一部分上设置测量位置的参考点在眼睛的一部分上执行测量的指令，作为对于眼睛测量装置(300)在眼睛的一部分上执行测量的指令。
E3.根据E1所述的计算机实现的方法，其中
所接收的图像数据是第一成像模态的图像数据，
所述眼睛测量装置(300)被配置为执行对眼睛的一部分中的区域成像的第二成像模态的图像捕获过程作为对眼睛的一部分的测量，以及被配置为获取第二成像模态的图像数据作为测量数据，所述第二成像模态不同于所述第一成像模态，并且
在图像(400)中的指示病理的区域(410)在搜索(S12)时被发现的情况下，该方法包括：
生成(S16)对于眼睛测量装置(300)使用用于将在图像捕获过程中成像的眼睛的一部分中的区域的位置设置为测量位置的参考点执行图像捕获过程的指令，作为对于眼睛测量装置(300)对眼睛的一部分执行测量的指令；和
从眼睛测量装置(300)接收(S18)定义在眼睛的一部分中的区域的图像的第二成像模态的图像数据作为测量数据。
E4.根据E3所述的计算机实现的方法，其中
在图像(400)中搜索(S12)区域(410)包括通过使用学习算法(630)处理所接收的图像数据，在图像(400)中搜索指示多种不同类型的病理中的一种类型的病理的区域(410)，该学习算法在定义不健康眼睛的一部分的图像的图像数据(601，602，603)上进行训练，每个不健康眼睛的一部分的图像具有不同类型的病理中的相应一种类型的病理，并且
在图像(400)中的指示多种不同类型的病理中的一种类型的病理的区域(410)在搜索(S12)时被发现的情况下，该方法还包括：针对多种不同类型的病理中的一种类型的病理且作为第二成像模态，从多种不同类型的成像模态中选择用于在眼睛的一部分上执行图像捕获过程的相应的一种类型的成像模态。
E5.根据E4所述的计算机实现的方法，其中：
在多种不同类型的病理中的一种类型的病理是青光眼的情况下，该方法包括：生成(S16)对于眼睛测量装置对在眼睛的一部分中的区域执行光学相干断层OCT扫描作为第二成像模态的图像捕获过程并且获取OCT扫描的图像数据作为测量数据的指令；
在多种不同类型的病理中的一种类型的病理是严重糖尿病视网膜病变的情况下，该方法包括：生成(S16)对于眼睛测量装置对眼睛的视网膜的区域执行光学相干断层OCT扫描作为第二成像模态的图像捕获过程并且获取OCT扫描的图像数据作为测量数据的指令；
在多种不同类型的病理中的一种类型的病理是肿瘤的情况下，该方法包括：生成(S16)对于眼睛测量装置对在眼睛的一部分中的区域执行高密度光学相干断层OCT B-扫描作为第二成像模态的图像捕获过程并且获取高密度OCT B-扫描的图像数据作为测量数据的指令；
在多种不同类型的病理中的一种类型的病理是玻璃膜疣的情况下，该方法包括：生成(S16)对于眼睛测量装置对在眼睛的一部分中的区域执行光学相干断层OCT B-扫描作为第二成像模态的图像捕获过程并且获取OCT B-扫描的图像数据作为测量数据的指令；
在多种不同类型的病理中的一种类型的病理是水肿或萎缩的情况下，该方法包括：生成(S16)对于眼睛测量装置对在眼睛的一部分中的区域执行光学相干断层OCT扫描作为第二成像模态的图像捕获过程并且获取OCT扫描的图像数据作为测量数据的指令。
E6.根据E1所述的计算机实现的方法，其中，在图像(400)中的指示病理的区域(410)在搜索时被发现的情况下，该方法包括：生成(S16)对于眼睛测量装置使用用于设置基于所确定的位置的测量位置的参考点测量眼睛对光刺激的功能响应的指令，作为对于眼睛测量装置对眼睛的一部分执行测量的指令。
E7.根据E1所述的计算机实现的方法，其中，
所接收的图像数据表示使用成像参数的第一值对眼睛的一部分成像的结果，该成像参数是成像中使用的成像分辨率、孔径大小和波长中的一者，
所述眼睛测量装置被配置为使用所述成像参数的第二值对眼睛的一部分中的区域成像来执行图像捕获过程作为对所述眼睛部分的测量，并且被配置为获取表示使用所述成像参数的第二值对所述区域的成像的结果的图像数据作为测量数据，其中，所述成像参数的第二值不同于所述成像参数的第一值，并且所接收的图像数据和所获取的图像数据具有相同的成像模态，并且
在图像(400)中的指示病理的区域(410)在搜索时被发现的情况下，该方法包括：
生成(S16)对于眼睛测量装置使用用于将在图像捕获过程中被成像的眼睛的该一部分中的区域的位置设置为测量位置的参考点执行图像捕获过程的指令，作为对于眼睛测量装置在眼睛的该一部分上执行测量的指令；和
从眼睛测量装置接收(S18)表示使用成像参数的第二值对在眼睛的一部分中的区域(410)成像的结果的图像数据作为测量数据。
E8.根据E1至E7中任一项所述的计算机实现的方法，还包括生成对于控制显示单元(215)显示眼睛的一部分的图像(400)中的区域(410)的位置和所接收的测量数据的表示的指令。
E9.根据E1至E8中任一项所述的计算机实现的方法，其中，所述学习算法(530；630)是监督学习算法。
E10.根据E9所述的计算机实现的方法，其中，所述监督学习算法包括神经网络，并且通过解构神经网络在图像(400)中搜索指示病理的区域(410)。
E11.根据E10所述的计算机实现的方法，其中，所述神经网络是卷积神经网络，并且所述神经网络通过以下方式被解构：
对于由所接收的图像数据定义的图像(400)的多个不同部分中的每个部分，执行以下过程：
遮蔽(S122)图像(400)的一部分以生成遮蔽图像；
通过使用学习算法处理定义遮蔽图像的图像数据来在所述遮蔽图像中搜索(S124)该区域；和
确定(S126)使用定义遮蔽图像的图像数据执行的搜索的结果和使用所接收的图像数据执行的搜索的结果之间的差异；和
将所确定的差异最大的部分的位置确定(S128)为区域(410)在图像(400)中的位置。
E12.根据E10所述的计算机实现的方法，其中，所述神经网络是卷积神经网络，并且该卷积神经网络通过以下方式被解构：
通过将泰勒分解应用于神经网络的从神经网络的顶层到神经网络的输入层的每一层，确定神经网络的每个输入变量与神经网络的输出的相关性；和
基于对应于神经网络的最相关的输入变量的接收图像数据的至少一部分，确定区域(410)在图像(400)中的位置。
E13.根据E10所述的计算机实现的方法，其中，神经网络是卷积神经网络，并且通过确定卷积神经网络的去卷积来解构卷积神经网络。
E14.一种在眼睛的一部分的由眼部成像系统(520)获取的图像(400)中搜索病理的存在的计算机实现的方法，该方法包括：
接收(S20)定义图像(400)的图像数据；
通过使用在定义健康眼睛的图像的图像数据(502)和定义不健康眼睛的图像的图像数据(601，602，603)上进行训练的学习算法(630)处理所接收的图像数据，在图像(400)中搜索(S22)多种不同类型的病理的至少一种类型的病理的存在，每个不健康眼睛的图像具有不同类型的病理中的相应的一种类型的病理；和
在多种不同类型的病理中的至少一种类型的病理被发现存在于图像(400)中的情况下：
对于被发现存在于图像(400)中的至少一种类型的病理中的每一种类型的病理，从多种不同类型的测量模态中选择(S24)将被用于在眼睛的一部分上执行测量的相应的一种类型的测量模态；
对于被发现存在于图像(400)中的至少一种类型的病理中的每一种类型的病理，生成(S26)对于具有相应选择的测量模态的眼睛测量装置(300)在眼睛的该一部分上执行测量的相应指令；和
接收(S28)由具有每个选择的测量模态的眼睛测量装置(300)执行的测量的测量数据。
E15.根据E14所述的计算机实现的方法，还包括，在多种不同类型的病理中的至少一种类型的病理被发现存在于图像(400)中的情况下：
对于被发现存在于图像(400)中的不同类型的病理中的至少一种类型的病理，通过使用学习算法(630)处理所接收的图像数据在图像(400)中搜索指示相应类型的病理的相应区域(410)，并且记录相应区域(410)在图像(400)中的位置，其中，
对于具有每个选择的测量模态的眼睛测量装置(300)使用用于定位测量的基于相应记录的位置的参考点在眼睛上执行测量的相应指令被生成。
E16.根据E15所述的计算机实现的方法，其中，在多种不同类型的病理中的至少一种类型的病理被发现存在于图像(400)中的情况下，
对于被发现存在于图像(400)中的不同类型的病理中的至少一种类型的病理中的每一种类型的病理：
将多种不同类型的成像模态中的被用于对眼睛的一部分成像的相应一种类型的成像模态被选择作为多种不同类型的测量模态中的相应一种类型的测量模态；
对于具有所选择的成像模态的眼睛测量装置(300)使用用于定位将被成像的眼睛的区域的基于相应记录位置的参考点对眼睛的一部分成像的相应指令被生成作为对于具有所选择的测量模态的眼睛测量装置(300)的相应指令；和
由对于具有所选择的成像模态的眼睛测量装置(300)执行的成像的相应图像数据被接收作为由眼睛测量装置(300)执行的测量的测量数据。
E17.根据E16所述的计算机实现的方法，其中：
在被发现存在于图像(400)中的多种不同类型的病理中的一种类型的病理是青光眼的情况下，该方法包括：生成(S26)对于眼睛测量装置(300)对在眼睛的一部分中的区域执行光学相干断层OCT扫描以及获取OCT扫描的图像数据作为测量数据的指令，作为对于具有所选择的成像模态的眼睛测量装置(300)对眼睛的一部分成像的相应指令；
在被发现存在于图像(400)中的多种不同类型的病理中的一种类型的病理是严重糖尿病视网膜病变的情况下，该方法包括：生成(S26)对于眼睛测量装置(300)对眼睛的视网膜的区域执行光学相干断层OCT扫描以及获取OCT扫描的图像数据作为测量数据的指令，作为对于具有所选择的成像模态的眼睛测量装置(300)对眼睛的一部分成像的相应指令；
在被发现存在于图像(400)中的多种不同类型的病理中的一种类型的病理是肿瘤的情况下，该方法包括：生成(S26)对于眼睛测量装置(300)对在眼睛的一部分中的区域执行高密度光学相干断层OCT B-扫描并且获取高密度OCT B-扫描的图像数据作为测量数据的指令，作为对于具有所选择的成像模态的眼睛测量装置(300)对眼睛的一部分成像的相应指令；
在被发现存在于图像(400)中的多种不同类型的病理中的一种类型的病理是玻璃膜疣的情况下，该方法包括：生成(S26)对于眼睛测量装置(300)对在眼睛的一部分中的区域执行光学相干断层OCT B-扫描以及获取OCT B-扫描的图像数据作为测量数据的指令，作为对于具有所选择的成像模态的眼睛测量装置(300)对眼睛的一部分成像的相应指令；和
在被发现存在于图像(400)中的多种不同类型的病理中的一种类型的病理是水肿或萎缩的情况下，该方法包括：生成(S26)对于眼睛测量装置(300)对在眼睛的一部分中的区域执行光学相干断层OCT扫描以及获取OCT扫描的图像数据作为测量数据的指令，作为对于具有所选择的成像模态的眼睛测量装置(300)对眼睛的一部分成像的相应指令。
E18.根据E14所述的计算机实现的方法，其中，在多种不同类型的病理中的至少一种类型的病理被发现存在于图像(400)中的情况下，生成的指令中的至少一个指令是对于具有所选择的测量模态的眼睛测量装置(300)测量眼睛对光刺激的功能响应的指令。
E19.根据E15至E17中任一项所述的计算机实现的方法，还包括生成对于控制显示单元(215)显示区域(410)在眼睛的一部分的的图像(400)中的记录位置和所接收的测量数据的表示的指令。
E20.根据E15至E17中任一项所述的计算机实现的方法，其中，所述学习算法(630)是监督学习算法。
E21.根据E20所述的计算机实现的方法，其中，所述监督学习算法包括神经网络，并且通过解构神经网络在图像中搜索被发现存在于图像(400)中的指示不同类型的病理中的一种类型的病理的区域。
E22.根据E21所述的计算机实现的方法，其中，所述神经网络是卷积神经网络，并且所述神经网络通过以下方式解构：
对于由接收的图像数据定义的图像(400)的多个不同部分中的每一个部分，执行以下处理：
遮蔽(S122)图像(400)的部分以生成遮蔽图像；
通过使用学习算法处理定义遮蔽图像的图像数据来在遮蔽图像中搜索(S124)该区域；和
确定(S126)使用定义遮蔽图像的图像数据执行的搜索的结果和使用所接收的图像数据执行的搜索的结果之间的差异；和
确定(S128)所确定的差异最大的部分的位置作为要被记录的位置。
E23.根据E21所述的计算机实现的方法，其中，所述神经网络是卷积神经网络，并且卷积神经网络通过以下方式解构：
通过将泰勒分解应用于神经网络的从神经网络的顶层到神经网络的输入层的每一层，确定神经网络的每个输入变量与神经网络的输出的相关性；和
基于对应于神经网络的最相关输入变量的所接收的图像数据的至少一部分来确定要被记录的位置。
E24.根据E21所述的计算机实现的方法，其中，神经网络是卷积神经网络，并且通过确定卷积神经网络的去卷积来解构卷积神经网络。
E25.一种计算机程序，所述计算机程序当由计算机执行时，使计算机执行根据E1到E24中至少一项中所述的方法。
E26.一种存储根据E25所述的计算机程序的计算机可读存储介质(250)。
E27.一种携带根据E25所述的计算机程序的信号(260)。
E28.一种用于在眼睛的一部分的由眼部成像系统(520；720)获取的图像(400)中搜索指示病理的区域的装置(100)，该装置(100)包括：
接收器模块(110)，其被配置为接收定义图像(400)的图像数据；
搜索模块(120)，其被配置为通过使用学习算法(530；630)处理所接收的图像数据来在图像(400)中搜索区域，所述学习算法在定义健康眼睛的一部分的图像的图像数据(502；604)和定义不健康眼睛的一部分的图像的图像数据(601，602，603；501)上进行训练，每个不健康眼睛的一部分的图像具有指示病理的至少一个区域；和
指令生成模块(130)，其被配置为响应于在图像(400)中指示病理的区域(410)被搜索模块(120)发现，执行以下过程：
确定区域(410)在图像(400)中的位置；和
生成对于眼睛测量装置(300)使用用于在眼睛的一部分上设置测量位置的基于所确定的位置的参考点在眼睛的一部分上执行测量以生成测量数据的指令，
其中，接收器模块(110)还被配置成从眼睛测量装置(300)接收测量数据。
E29.根据E28所述的装置(100)，其中，
搜索模块(120)被配置为通过使用学习算法(630)处理所接收的图像数据来在图像(400)中搜索指示多种不同类型的病理中的一种类型的病理的区域(410)来在图像(400)中搜索区域(410)，所述学习算法(630)在定义不健康眼睛的一部分的图像的图像数据(601，602，603)上进行训练，每个不健康眼睛的一部分的图像具有不同类型的病理中的相应一种类型的病理，
指令生成模块(130)被配置为响应于在图像(400)中指示多种不同类型的病理中的一种类型的病理的区域(410)被搜索模块(120)发现，执行以下处理：
针对所述多种不同类型的病理中的一种类型的病理，从多种不同类型的测量模态中选择用于在眼睛上执行测量的相应的一种类型的测量模态；和
生成对于具有所选择的测量模态的眼睛测量装置(300)使用用于在眼睛的一部分上设置测量位置的参考点在眼睛的一部分上执行测量的指令，作为对于眼睛测量装置(300)在眼睛的一部分上执行测量的指令。
E30.根据E28所述的装置(100)，其中，
接收器模块(110)被配置为接收第一成像模态的图像数据作为图像数据，
指令生成模块(130)被配置为响应于在图像(400)中指示病理的区域(410)被搜索模块(120)发现，生成对于眼睛测量装置(300)使用用于将在要在图像捕获过程中被成像的眼睛的一部分中的区域的位置设置为测量位置的参考点来执行第二成像模态的图像捕获过程以对在眼睛的一部分中的区域成像的指令，并且作为对于眼睛测量装置(300)对眼睛的一部分上执行测量的指令，所述第二成像模态不同于所述第一成像模态，以及
接收器模块(110)被配置为从眼睛测量装置(300)接收由眼睛测量装置(300)获取的第二成像模态的图像数据作为测量数据。
E31.根据E30所述的装置(100)，其中，
搜索模块(120)被配置为通过使用学习算法(630)处理所接收的图像数据，在图像(400)中搜索指示多种不同类型的病理中的一种类型的病理的区域(410)，所述学习算法在定义不健康眼睛的一部分的图像的图像数据(601，602，603)上进行训练，每个不健康眼睛的一部分的图像具有不同类型的病理中的相应一种类型的病理，并且
指令生成模块(130)被配置为响应于在图像(400)中指示多种不同类型的病理中的一种类型的病理的区域(410)被搜索模块(120)发现，执行以下过程：针对多种不同类型的病理中的一种类型的病理且作为第二成像模态，从多种不同类型的成像模态中选择用于在眼睛的一部分上执行图像捕获过程的相应的一种类型的成像模态。
E32.根据E31所述的装置(100)，其中，
指令生成模块(130)被配置为在多种不同类型的病理中的一种类型的病理是青光眼的情况下，生成对于眼睛测量装置(300)对在眼睛的一部分中的区域执行光学相干断层OCT扫描作为第二成像模态的图像捕获过程的指令，并且接收器模块(110)被配置为接收OCT扫描的图像数据作为测量数据；
指令生成模块(130)被配置为在多种不同类型的病理中的一种类型的病理是严重糖尿病视网膜病变的情况下，生成对于眼睛测量装置(300)对眼睛的视网膜执行光学相干断层OCT扫描作为第二成像模态的图像捕获过程的指令，并且接收器模块(110)被配置为接收OCT扫描的图像数据作为测量数据；
指令生成模块(130)被配置为在多种不同类型的病理中的一种类型的病理是肿瘤的情况下，生成对于眼睛测量装置(300)对在眼睛的一部分中的区域执行高密度光学相干断层OCT B-扫描作为第二成像模态的图像捕获过程的指令，并且接收器模块(110)被配置为接收高密度OCT扫描的图像数据作为测量数据；
指令生成模块(130)被配置为在多种不同类型的病理中的一种类型的病理是玻璃膜疣的情况下，生成对于眼睛测量装置(300)对在眼睛的一部分中的区域执行光学相干断层OCT B-扫描作为第二成像模态的图像捕获过程的指令，并且接收器模块(110)被配置为接收OCT B-扫描的图像数据作为测量数据；和
指令生成模块(130)被配置为在多种不同类型的病理中的一种类型的病理是水肿的情况下，生成对于眼睛测量装置(300)对在眼睛的一部分中的区域执行光学相干断层OCT扫描作为第二成像模态的图像捕获过程的指令，并且接收器模块(110)被配置为接收OCT扫描的图像数据作为测量数据。
E33.根据E28所述的装置(100)，其中，指令生成模块(130)被配置为响应于在图像(400)中指示病理的区域(410)被搜索模块(120)发现，生成对于眼睛测量装置(300)使用用于设置测量位置的基于确定的位置的参考点来测量眼睛对光刺激的功能响应的指令，并且作为对于眼睛测量装置(300)在眼睛的一部分上执行测量的指令。
E34.根据E28所述的装置(100)，其中，
接收器模块(110)被配置为接收表示使用成像参数的第一值对眼睛的一部分成像的结果的图像数据，该成像参数是成像中使用的成像分辨率、孔径大小和波长中的一者，
指令生成模块(130)被配置为响应于在图像(400)中指示病理的区域(410)被搜索模块(120)发现，执行以下过程：生成对于所述眼睛测量装置(300)使用成像参数的第二值来对眼睛的一部分中的区域成像、使用将在图像捕获过程中被成像的眼睛的一部分中的区域的位置作为测量位置来执行图像捕获过程的指令，作为对于眼睛测量装置(300)在眼睛的一部分上执行测量的指令，其中，所述成像参数的第二值不同于所述成像参数的第一值，并且
接收器模块(110)被配置为从眼睛测量装置(300)接收表示使用成像参数的第二值对眼睛的一部分中的区域成像的结果的图像数据作为测量数据，并且所接收的图像数据和所接收的测量数据具有相同的成像模态。
E35.根据E28至E34中任一项所述的装置(100)，其中，所述指令生成模块(130)还被配置为生成对于控制显示单元(215)显示区域(410)在眼睛的一部分的图像(400)中的所确定位置和所接收的测量数据的表示的指令。
E36.根据E28至E35中任一项所述的装置(100)，其中，所述学习算法(630)是监督学习算法。
E37.根据E36所述的装置(100)，其中，所述监督学习算法包括神经网络，并且搜索模块(120)被配置为通过解构神经网络来在图像中搜索指示病理的区域。
E38.根据E37所述的装置(100)，其中，所述神经网络是卷积神经网络，并且所述搜索模块(120)被配置为通过以下方式解构所述神经网络：
对于由所接收的图像数据定义的图像(400)的多个不同部分中的每一个部分，执行以下过程：
遮蔽图像(400)的部分以生成遮蔽图像；
通过使用学习算法处理定义遮蔽图像的图像数据来在遮蔽图像中搜索该区域；和
确定使用定义遮蔽图像的图像数据执行的搜索的结果和使用接收的图像数据执行的搜索的结果之间的差异；和
将所确定的差异最大的部分的位置确定为区域(410)在图像(400)中的位置。
E39.根据E37所述的装置(100)，其中，所述神经网络是卷积神经网络，并且所述搜索模块(120)被配置为通过以下方式解构卷积神经网络：
通过将泰勒分解应用于神经网络的从神经网络的顶层到神经网络的输入层的每一层，确定神经网络的每个输入变量与神经网络的输出的相关性；和
基于对应于神经网络的最相关输入变量的接收的图像数据的至少一部分，确定区域(410)在图像(400)中的位置。
E40.根据E37所述的装置(100)，其中，所述神经网络是卷积神经网络，并且所述搜索模块(120)被配置为通过确定卷积神经网络的去卷积来解构卷积神经网络。
E41.一种用于在眼睛的一部分的由眼部成像系统(520)获取的图像(400)中搜索病理的存在的装置(800)，该装置(800)包括：
接收器模块(810)，其被配置为接收定义图像(400)的图像数据；
搜索模块(820)，其被配置为通过使用在定义健康眼睛的图像的图像数据(604)和定义不健康眼睛的图像的图像数据(601，602，603)上进行训练的学习算法(630)处理接收的图像数据来在图像(400)中搜索多种不同类型的病理中的至少一种类型的病理的存在，每个不健康眼睛的图像具有不同类型的病理中的相应的一种类型的病理；和
指令生成模块(830)，其被配置为响应于多种不同类型的病理中的至少一种类型的病理被搜索模块(820)发现存在于图像(400)中，执行以下处理：
对于被发现存在于图像(400)中的至少一种类型的病理中的每一种类型的病理，从多种不同类型的测量模态中选择将用于在眼睛的一部分上执行测量的相应的一种类型的测量模态；和
对于被发现存在于图像(400)中的至少一种类型的病理中的每一种类型的病理，生成对于具有相应选择的测量模态的眼睛测量装置(300)在眼睛的一部分上执行测量的相应指令，
其中，接收器模块(810)还被配置为接收由具有每个选择的测量模态的眼睛测量装置(300)执行的测量的测量数据。
E42.根据E41所述的装置(800)，其中，所述搜索模块(820)还被配置成响应于发现多种不同类型的病理中的至少一种类型的病理存在于图像(400)中，执行以下过程：
对于被发现存在于图像(400)中的多种不同类型的病理中的至少一种类型的病理中的每种类型的病理，通过使用学习算法(630)处理接收的图像数据在图像(400)中搜索指示相应的病理类型的相应的区域(410)，并记录相应的区域(410)在图像(400)中的位置，以及
指令生成模块(830)被配置为生成对于具有每个所选择的测量模态的眼睛测量装置(300)使用基于相应位置的用于定位测量的参考点来在眼睛上执行测量的相应指令。
E43.根据E42所述的装置(800)，其中，指令生成模块(830)被配置为响应于多种不同类型的病理中的至少一种类型的病理被搜索模块(820)发现存在于图像(400)中，并且对于被发现存在于图像(400)中的多种不同类型的病理中的至少一种类型的病理中的每种类型的病理，执行以下处理：
从多种不同类型的成像模态中选择用于对眼睛的一部分成像的相应的一种类型的测量模态作为多种不同类型的测量模态中的相应一种类型的测量模态；和
生成对于具有所选择的成像模态的眼睛测量装置(300)使用基于相应记录位置的用于定位将被成像的眼睛的区域的参考点对眼睛的一部分成像的相应指令，作为对于具有所选择的测量模态的眼睛测量装置(300)的相应指令，并且其中，
接收器模块(810)被配置为接收具有由所选择的成像模态的眼睛测量装置(300)执行的成像的相应图像数据，作为由眼睛测量装置(300)执行的测量的测量数据。
E44.根据E43所述的装置(800)，其中：
指令生成模块(830)被配置为在被发现存在于图像(400)中的多种不同类型的病理中的一种类型的病理是青光眼的情况下，生成对于眼睛测量装置(300)对在眼睛的一部分中的区域执行光学相干断层OCT扫描的指令，且作为对于具有所选择的成像模态的眼睛测量装置(300)对眼睛的一部分成像的相应指令，并且接收器模块(810)被配置为接收OCT扫描的图像数据作为测量数据；
指令生成模块(830)被配置为在被发现存在于图像(400)中的多种不同类型的病理中的一种类型的病理是严重糖尿病视网膜病变的情况下，生成对于眼睛测量装置(300)对眼睛的视网膜的区域执行光学相干断层OCT扫描的指令，且作为对于具有所选择的成像模态的眼睛测量装置(300)对眼睛的一部分成像的相应指令，并且接收器模块(810)被配置为接收OCT扫描的图像数据作为测量数据；
指令生成模块(830)被配置为在被发现存在于图像(400)中的多种不同类型的病理中的一种类型的病理是肿瘤的情况下，生成对于眼睛测量装置(300)对在眼睛的一部分中的区域执行高密度光学相干断层OCT B-扫描的指令，且作为对于具有所选择的成像模态的眼睛测量装置(300)对眼睛的一部分成像的相应指令，并且接收器模块(810)被配置为接收高密度OCT B-扫描的图像数据作为测量数据；
指令生成模块(830)被配置为在被发现存在于图像(400)中的多种不同类型的病理中的一种类型的病理是玻璃膜疣的情况下，生成对于眼睛测量装置(300)对在眼睛的一部分中的区域执行光学相干断层OCT B-扫描的指令，且作为对于具有所选择的成像模态的眼睛测量装置(300)对眼睛的一部分成像的相应指令，并且接收器模块(810)被配置为接收OCT B-扫描的图像数据作为测量数据；和
指令生成模块(830)被配置为在被发现存在于图像(400)中的多种不同类型的病理中的一种类型的病理是水肿的情况下，生成对于眼睛测量装置(300)对在眼睛的一部分中的区域执行光学相干断层OCT扫描的指令，且作为对于具有所选择的成像模态的眼睛测量装置(300)对眼睛的一部分成像的相应指令，并且接收器模块(810)被配置为接收OCT扫描的图像数据作为测量数据。
E45.根据E41所述的装置(800)，其中，指令生成模块(830)被配置为响应于多种不同类型的病理中的至少一种类型的病理被搜索模块(820)发现存在于图像中，生成对于具有所选择的测量模态的眼睛测量装置(300)测量眼睛对光刺激的功能响应的指令。
E46.根据E42至E44中任一项所述的装置(800)，其中，所述指令生成模块(830)还被配置为生成对于控制显示单元(215)显示所述区域(410)在眼睛的一部分的图像(400)中的记录位置和所接收的测量数据的表示的指令。
E47.根据E42至E44中任一项所述的装置(800)，其中，所述学习算法(630)是监督学习算法。
E48.根据E47所述的装置(800)，其中，所述监督学习算法包括神经网络，并且搜索模块(820)被配置为通过解构神经网络来搜索被发现存在于图像(400)中的指示不同类型的病理中的一种类型的病理的区域(410)。
E49.根据E48所述的装置，其中，所述神经网络是卷积神经网络，并且所述搜索模块(820)被配置为通过以下方式解构所述神经网络：
对于由接收的图像数据定义的图像(400)的多个不同部分中的每一个部分，执行以下过程：
遮蔽图像(400)的一部分以生成遮蔽图像；
通过使用学习算法处理定义遮蔽图像的图像数据来在遮蔽图像中搜索该区域；和
确定使用定义遮蔽图像的图像数据执行的搜索的结果和使用接收的图像数据执行的搜索的结果之间的差异；和
确定所确定的差异最大的部分的位置作为要被记录的位置。
E50.根据E48所述的装置(800)，其中，所述神经网络是卷积神经网络，并且所述搜索模块(820)被配置为通过以下方式解构卷积神经网络：
通过将泰勒分解应用于神经网络的从神经网络的顶层到神经网络的输入层的每一层，确定神经网络的每个输入变量与神经网络的输出的相关性；和
基于对应于神经网络的最相关输入变量的接收的图像数据的至少一部分来确定要被记录的位置。
E51.根据E48所述的装置(800)，其中，所述神经网络是卷积神经网络，并且搜索模块(820)被配置为通过确定卷积神经网络的去卷积来解构卷积神经网络。
E52.一种用于在眼睛的一部分的由眼部成像系统(520；720)获取的图像(400)中搜索指示病理的区域的装置，该装置(100)包括处理器和存储计算机程序指令的存储器，计算机程序指令当由处理器执行时，使得处理器执行在E1至E24中的至少一个中阐述的方法。
在前述描述中，参考几个示例实施例描述了示例方面。因此，说明书应被视为说明性的而不是限制性的。类似地，在附图中示出的突出示例实施例的功能和优点的附图仅仅是为了示例目的而被呈现的。示例实施例的体系结构是足够灵活且可配置的，使得它可以以除了在附图中所示的方式以外的方式被利用(和导航)。
在一个示例实施例中，在本文呈现的示例的软件实施例可以被提供为计算机程序或软件，例如具有被包括或存储在制品(例如机器可访问或机器可读介质、指令储存装置或计算机可读存储设备，其中每一个制品都可以是非暂时性的)中的指令或指令序列的一个或更多个程序。在非暂时性机器可访问介质、机器可读介质、指令储存装置或计算机可读存储设备上的程序或指令可用于对计算机系统或其他电子设备编程。机器或计算机可读介质、指令储存装置和存储设备可以包括但不限于软盘、光盘和磁光盘或适合于存储或传输电子指令的其他类型的介质/机器可读介质/指令储存装置/存储设备。本文描述的技术不限于任何特定的软件配置。它们可能在任何计算或处理环境中得到应用。本文使用的术语“计算机可读”、“机器可访问介质”、“机器可读介质”、“指令储存装置”和“计算机可读存储设备”应当包括能够存储、编码或传输指令或指令序列以由机器、计算机或计算机处理器执行并且使机器/计算机/计算机处理器执行本文描述的方法中的任一个的任何介质。此外，在本领域中将以一种或另一种形式(例如，程序(program)、例程(procedure)、过程、应用、模块、单元、逻辑等)的软件谈到为采取动作或引起结果是常见的。这种表达仅仅是陈述由处理系统执行软件使处理器执行动作以产生结果的简略方式。
一些实施例也可以通过准备专用集成电路、现场可编程门阵列或者通过使常规部件电路的适当网络互连来实现。
一些实施例包括计算机程序产品。计算机程序产品可以是在其上或其中存储有可用于控制或促使计算机或计算机处理器执行本文所述的示例实施例的任何过程的指令的一种或更多种存储介质、指令储存装置或存储设备。存储介质/指令储存装置/存储设备可以作为示例且非限制性地包括光盘、ROM、RAM、EPROM、EEPROM、DRAM、VRAM、闪存、闪存卡、磁卡、光卡、纳米系统、分子存储器集成电路、RAID、远程数据存储/存档/仓储装置、和/或适合于存储指令和/或数据的任何其他类型的设备。
存储在一种或更多种计算机可读介质、指令储存装置或储存设备中的任一个上的一些实现方式包括用于控制系统的硬件和用于使系统或微处理器能够利用本文描述的示例实施例的结果与人类用户或其他机构交互的软件。这种软件可以非限制性地包括设备驱动器、操作系统和用户应用。最终，如上所述，这种计算机可读介质或存储设备还包括用于执行本发明的示例方面的软件。
在系统的编程和/或软件中包括用于实现本文描述的例程的软件模块。在本文的一些示例实施例中，模块包括软件，但是在本文的其他示例实施例中，模块包括硬件或硬件和软件的组合。
虽然上面描述了本发明的各种示例实施例，但是应当理解，它们作为示例而不是限制被呈现。对在相关领域中的技术人员将明显的是，可以在形式和细节上被做出各种改变。因此，本发明不应受上述示例实施例中的任一个的限制，而应仅根据随附的权利要求及其等同物来被定义。
此外，摘要的目的是使通常专利局和公众、以及尤其是不熟悉专利或法律术语或措辞的本领域中的科学家、工程师和从业人员能够根据粗略的检查快速确定本申请的技术公开的性质和本质。摘要并不意欲以任何方式关于在本文呈现的示例实施例的范围进行限制。还应该理解的是，在权利要求中叙述的过程不需要以所呈现的顺序来执行。
虽然本说明书包含很多具体的实施例细节，但这些不应该理解为是对可要求保护的任何发明的范围或可要求保护的内容的限制，而应该理解为是对特定于本文所述的特定实施例的特征的描述。在单独的实施例的背景下，本说明书中所描述的某些特征也可在单个实施例中结合实施。相反地，也可以在多个实施例中单独地或以任何合适的子组合实现在单一实施例的背景下描述的各种特征。此外，尽管特征在上文中可被描述为作用在特定组合中并甚至起初如此要求保护，但是来自所要求保护的组合的一个或更多个特征可在一些情况下从组合中删除，且所要求保护的组合可针对子组合或子组合的变体。
在某些情况下，多任务处理和并行处理可能是有利的。此外，上述实施例中各种部件的分离不应理解为在所有实施例中都需要这种分离，并且应理解，所描述的程序部件和系统通常可以集成在单个软件产品中或者打包到多个软件产品中。
现在已经描述了一些说明性的实施例和实施例，显然前述内容是说明性的而不是限制性的，是通过示例的方式给出的。具体而言，尽管本文呈现的许多示例涉及装置或软件元素的特定组合，但是这些元素可以以其他方式进行组合以实现相同的目标。结合一个实施例讨论的动作、元素和特征并不意欲从任何其它的一个或更多个实施例中的类似角色中被排除。
在不脱离其特征的情况下，本文描述的装置和计算机程序可以以其他特定形式被实施。前述实施例是说明性的，而不是对所描述的系统和方法的限制。因此，本文所述的装置和计算机程序的范围由所附权利要求而不是前述描述来指示，并且因此落入权利要求的等价物的意义和范围内的所有变化都旨在被包括在其中。

Claims (17)

1.一种在眼睛的一部分的由眼部成像系统（520）获取的图像（400）中搜索指示病理的区域（410）的计算机实现的方法，所述计算机实现的方法包括：
接收（S10）定义所述图像（400）的图像数据；
通过使用学习算法（530；630）处理所接收的图像数据，在所述图像（400）中搜索（S12）所述区域（410），所述学习算法（530；630）在定义健康眼睛的一部分的图像的图像数据（502；604）和定义不健康眼睛的一部分的图像的图像数据（601，602，603；501）上进行训练，每个不健康眼睛的一部分的图像具有指示所述病理的至少一个区域；和
在所述图像（400）中的指示所述病理的区域（410）在搜索时被发现的情况下：
确定（S14）所述区域（410）在所述图像（400）中的位置；
生成（S16）对于眼睛测量装置（300）使用用于在所述眼睛的一部分上设置测量位置的基于所确定的位置的参考点在所述眼睛的一部分上执行测量以生成测量数据的指令；和
从所述眼睛测量装置（300）接收（S18）所述测量数据，
其中，在所述图像（400）中搜索（S12）所述区域（410）包括通过使用所述学习算法（630）处理所接收的图像数据，在所述图像（400）中搜索指示多种不同类型的病理中的一种类型的病理的区域（410），所述学习算法在定义所述不健康眼睛的一部分的图像的图像数据（601，602，603）上进行训练，每个所述不健康眼睛的一部分的图像具有所述不同类型的病理中的相应的一种类型的病理，以及
在所述图像（400）中指示所述多种不同类型的病理中的一种类型的病理的区域（410）在搜索（S12）时被发现的情况下：
所述计算机实现的方法还包括针对所述多种不同类型的病理中的一种类型的病理，从多种不同类型的测量模态中选择用于在所述眼睛上执行测量的相应的一种类型的测量模态；和
所述计算机实现的方法包括生成（S16）对于具有所选择的测量模态的眼睛测量装置（300）使用用于在所述眼睛的一部分上设置所述测量位置的所述参考点在所述眼睛的一部分上执行所述测量的指令，作为对于所述眼睛测量装置（300）在所述眼睛的一部分上执行所述测量的指令。
2.根据权利要求1所述的计算机实现的方法，其中：
所述接收的图像数据是第一成像模态的图像数据，
所述眼睛测量装置（300）被配置为执行第二成像模态的图像捕获过程以对所述眼睛的一部分中的区域成像作为对所述眼睛的一部分的测量，并且被配置为获取所述第二成像模态的图像数据作为所述测量数据，所述第二成像模态不同于所述第一成像模态，
在所述多种不同类型的病理中的一种类型的病理是青光眼的情况下，所述计算机实现的方法包括：生成（S16）对于所述眼睛测量装置（300）对在所述眼睛的一部分中的所述区域执行光学相干断层OCT扫描作为所述第二成像模态的图像捕获过程以及获取所述OCT扫描的图像数据作为所述测量数据的指令；
在所述多种不同类型的病理中的一种类型的病理是严重糖尿病视网膜病变的情况下，所述计算机实现的方法包括：生成（S16）对于所述眼睛测量装置（300）对所述眼睛的视网膜的区域执行光学相干断层OCT扫描作为所述第二成像模态的图像捕获过程以及获取所述OCT扫描的图像数据作为所述测量数据的指令；
在所述多种不同类型的病理中的一种类型的病理是肿瘤的情况下，所述计算机实现的方法包括：生成（S16）对于所述眼睛测量装置（300）对所述眼睛的一部分中的所述区域执行高密度光学相干断层OCT B-扫描作为所述第二成像模态的图像捕获过程以及获取所述高密度光学相干断层OCT B-扫描的图像数据作为所述测量数据的指令；
在所述多种不同类型的病理中的一种类型的病理是玻璃膜疣的情况下，所述计算机实现的方法包括：生成（S16）对于所述眼睛测量装置（300）对所述眼睛的一部分中的所述区域执行光学相干断层OCT B-扫描作为所述第二成像模态的图像捕获过程以及获取所述OCTB-扫描的图像数据作为所述测量数据的指令；
在所述多种不同类型的病理中的一种类型的病理是水肿或萎缩的情况下，所述计算机实现的方法包括生成（S16）对于所述眼睛测量装置（300）对所述眼睛的一部分中的所述区域执行光学相干断层OCT扫描作为所述第二成像模态的图像捕获过程以及获取所述OCT扫描的图像数据作为所述测量数据的指令。
3.根据权利要求1或2所述的计算机实现的方法，还包括生成对于控制显示单元（215）显示在所述眼睛的一部分的图像（400）中的所述区域（410）的位置和所接收的测量数据的表示的指令。
4.根据权利要求1或2所述的计算机实现的方法，其中，所述学习算法（530，630）是监督学习算法。
5.根据权利要求4所述的计算机实现的方法，其中，所述监督学习算法包括神经网络，并且通过解构所述神经网络在所述图像（400）中搜索指示病理的所述区域（410）。
6.根据权利要求5所述的计算机实现的方法，其中，所述神经网络是卷积神经网络，并且所述神经网络通过以下方式被解构：
对于由所述接收的图像数据定义的所述图像（400）的多个不同部分中的每个部分，执行以下过程：
遮蔽（S122）所述图像（400）的所述部分以生成遮蔽图像；
通过使用所述学习算法处理定义所述遮蔽图像的图像数据来在所述遮蔽图像中搜索（S124）所述区域；以及
确定（S126）使用定义所述遮蔽图像的所述图像数据执行的搜索的结果和使用所述接收的图像数据执行的搜索的结果之间的差异；以及
将所确定的差异最大的部分的位置确定为所述区域（410）在所述图像（400）中的位置。
7.根据权利要求5所述的计算机实现的方法，其中，所述神经网络是卷积神经网络，并且所述卷积神经网络是通过以下方式来解构的：
通过将泰勒分解应用于所述神经网络的从所述神经网络的顶层到所述神经网络的输入层的每一层，确定所述神经网络的每个输入变量与所述神经网络的输出的相关性；和
基于对应于所述神经网络的最相关的输入变量的所述接收的图像数据的至少一部分确定所述区域（410）在所述图像（400）中的位置。
8.根据权利要求5所述的计算机实现的方法，其中，所述神经网络是卷积神经网络，并且所述卷积神经网络是通过确定所述卷积神经网络的去卷积来解构的。
9.一种在眼睛的一部分的由眼部成像系统（520）获取的图像（400）中搜索病理的存在的计算机实现的方法，所述计算机实现的方法包括：
接收（S20）定义所述图像（400）的图像数据；
通过使用在定义健康眼睛的图像的图像数据（502）和定义不健康眼睛的图像的图像数据（601，602，603）上进行训练的学习算法（630）处理所接收的图像数据，在所述图像（400）中搜索（S22）多种不同类型的病理中的至少一种类型的病理的存在，每个所述不健康眼睛的图像具有所述不同类型的病理中的相应的一种类型的病理；和
在所述多种不同类型的病理中的至少一种类型的病理被发现存在于所述图像（400）中的情况下：
对于被发现存在于所述图像（400）中的至少一种类型的病理中的每一种类型的病理，从多种不同类型的测量模态中选择（S24）将被用于在所述眼睛的一部分上执行测量的相应的一种类型的测量模态；
对于被发现存在于所述图像（400）中的至少一种类型的病理中的每一种类型的病理，生成（S26）对于具有相应选择的测量模态的眼睛测量装置（300）在所述眼睛的一部分上执行所述测量的相应指令；和
接收（S28）由具有每个所选择的测量模态的所述眼睛测量装置（300）执行的测量的测量数据。
10.根据权利要求9所述的计算机实现的方法，还包括，在所述多种不同类型的病理中的至少一种类型的病理被发现存在于所述图像（400）中的情况下：
对于被发现存在于所述图像中的所述不同类型的病理中的至少一种类型的病理中的每一种类型的病理，通过使用所述学习算法（630）处理所述接收的图像数据在所述图像（400）中搜索指示相应类型的病理的相应区域（410），并且记录所述相应区域（410）在所述图像（400）中的位置，其中，
对于具有每个所选择的测量模态的所述眼睛测量装置（300）使用用于定位所述测量的基于相应记录的位置的参考点在所述眼睛上执行测量的相应指令被生成。
11.根据权利要求10所述的计算机实现的方法，其中，在所述多种不同类型的病理中的至少一种类型的病理被发现存在于所述图像（400）中的情况下，
对于被发现存在于所述图像（400）中的所述不同类型的病理中的至少一种类型的病理中的每一种类型的病理：
多种不同类型的成像模态中的将被用于对所述眼睛的一部分成像的相应的一种类型的成像模态被选择作为所述多种不同类型的测量模态中的相应一种类型的测量模态；
对于具有所选择的成像模态的眼睛测量装置（300）使用用于定位将被成像的所述眼睛的区域的基于所述相应记录的位置的参考点对所述眼睛的一部分成像的相应指令被生成作为对于具有所选择的测量模态的所述眼睛测量装置（300）的相应指令；和
由具有所述选择的成像模态的所述眼睛测量装置（300）执行的成像的相应图像数据被接收作为由所述眼睛测量装置（300）执行的测量的测量数据。
12.根据权利要求11所述的计算机实现的方法，其中：
在被发现存在于所述图像（400）中的所述多种不同类型的病理中的一种类型的病理是青光眼的情况下，所述计算机实现的方法包括：生成（S26）对于所述眼睛测量装置（300）对在所述眼睛的一部分中的所述区域执行光学相干断层OCT扫描以及获取所述OCT扫描的图像数据作为所述测量数据的指令，作为对于具有所述选择的成像模态的所述眼睛测量装置（300）对所述眼睛的一部分成像的相应指令；
在被发现存在于所述图像（400）中的所述多种不同类型的病理中的一种类型的病理是严重糖尿病视网膜病变的情况下，所述计算机实现的方法包括：生成（S26）对于所述眼睛测量装置（300）对所述眼睛的视网膜的区域执行光学相干断层OCT扫描以及获取所述OCT扫描的图像数据作为所述测量数据的指令，作为对于具有所述选择的成像模态的所述眼睛测量装置（300）对所述眼睛的一部分成像的相应指令；
在被发现存在于所述图像（400）中的所述多种不同类型的病理中的一种类型的病理是肿瘤的情况下，所述计算机实现的方法包括：生成（S26）对于所述眼睛测量装置（300）对在所述眼睛的一部分中的所述区域执行高密度光学相干断层OCT B-扫描以及获取所述高密度光学相干断层OCT B-扫描的图像数据作为所述测量数据的指令，作为对于具有所述选择的成像模态的所述眼睛测量装置（300）对所述眼睛的一部分成像的相应指令；
在被发现存在于所述图像（400）中的所述多种不同类型的病理中的一种类型的病理是玻璃膜疣的情况下，所述计算机实现的方法包括：生成（S26）对于所述眼睛测量装置（300）对在所述眼睛的一部分中的所述区域执行光学相干断层OCT B-扫描以及获取所述OCT B-扫描的图像数据作为所述测量数据的指令，作为对于具有所述选择的成像模态的所述眼睛测量装置（300）对所述眼睛的一部分成像的相应指令；和
在被发现存在于所述图像（400）中的所述多种不同类型的病理中的一种类型的病理是水肿或萎缩的情况下，所述计算机实现的方法包括：生成（S26）对于所述眼睛测量装置（300）对在所述眼睛的一部分中的所述区域执行光学相干断层OCT扫描以及获取所述OCT扫描的图像数据作为所述测量数据的指令，作为对于具有所述选择的成像模态的所述眼睛测量装置（300）对所述眼睛的一部分成像的相应指令。
13.根据权利要求9所述的计算机实现的方法，其中，在所述多种不同类型的病理中的至少一种类型的病理被发现存在于所述图像（400）中的情况下，所生成的指令中的至少一个指令是对于具有所选择的测量模态的眼睛测量装置（300）测量所述眼睛对光刺激的功能响应的指令。
14.根据权利要求10至12中任一项所述的计算机实现的方法，还包括：生成对于控制显示单元（215）显示在所述眼睛的一部分的所述图像（400）中所述相应区域（410）的记录的位置和所接收的测量数据的表示的指令。
15.一种用于在眼睛的一部分的由眼部成像系统（520；720）获取的图像（400）中搜索指示病理的区域的装置（100），所述装置（100）包括：
接收器模块（110），所述接收器模块（110）被配置为接收定义所述图像（400）的图像数据；
搜索模块（120），所述搜索模块（120）被配置为通过使用学习算法（530；630）处理所接收的图像数据来在所述图像（400）中搜索所述区域，所述学习算法（530；630）在定义健康眼睛的一部分的图像的图像数据（502；604）和定义不健康眼睛的一部分的图像的图像数据（601，602，603；501）上进行训练，每个所述不健康眼睛的一部分的图像具有指示所述病理的至少一个区域；和
指令生成模块（130），所述指令生成模块（130）被配置为响应于在所述图像（400）中的指示所述病理的区域（410）被所述搜索模块（120）发现，执行以下过程：
确定所述区域（410）在所述图像（400）中的位置；和
生成对于眼睛测量装置（300）使用基于所确定的位置用于在所述眼睛的一部分上设置测量的位置的参考点在所述眼睛的一部分上执行所述测量以生成测量数据的指令，
其中，所述接收器模块（110）还被配置成从所述眼睛测量装置（300）接收所述测量数据，
所述搜索模块（120）被配置为通过使用所述学习算法（630）处理所述接收的图像数据来在所述图像（400）中搜索指示多种不同类型的病理中的一种类型的病理的区域（410）来在所述图像（400）中搜索所述区域（410），所述学习算法（630）在定义不健康眼睛的一部分的图像的图像数据（601，602，603）上进行训练，每个不健康眼睛的一部分的图像具有不同类型的病理中的相应一种类型的病理，以及
所述指令生成模块（130）被配置为响应于在所述图像（400）中指示多种不同类型的病理中的一种类型的病理的所述区域（410）被所述搜索模块（120）发现，执行以下处理：
针对所述多种不同类型的病理中的一种类型的病理，从多种不同类型的测量模态中选择用于在眼睛上执行测量的相应的一种类型的测量模态；和
生成对于具有所选择的测量模态的眼睛测量装置（300）使用用于在眼睛的一部分上设置测量位置的参考点在眼睛的一部分上执行测量的指令，作为对于所述眼睛测量装置（300）在眼睛的一部分上执行测量的指令。
16.一种用于在眼睛的一部分的由眼部成像系统（520）获取的图像（400）中搜索病理的存在的装置（800），所述装置（800）包括：
接收器模块（810），所述接收器模块（810）被配置为接收定义所述图像（400）的图像数据；
搜索模块（820），所述搜索模块（820）被配置为通过使用在定义健康眼睛的图像的图像数据（604）和定义不健康眼睛的图像的图像数据（601，602，603）上进行训练的学习算法（630）处理所接收的图像数据来在所述图像（400）中搜索多种不同类型的病理中的至少一种类型的病理的存在，每个所述不健康眼睛的图像具有所述不同类型的病理中的相应的一种类型的病理；和
指令生成模块（830），所述指令生成模块（830）被配置为响应于所述多种不同类型的病理中的至少一种类型的病理被所述搜索模块（820）发现存在于所述图像（400）中，执行以下过程：
针对被发现存在于所述图像（400）中的至少一种类型的病理中的每一种类型的病理，从多种不同类型的测量模态中选择将被用于在所述眼睛的一部分上执行测量的相应的一种类型的测量模态；和
针对被发现存在于所述图像（400）中的所述至少一种类型的病理中的每一种类型的病理，生成对于具有所选择的相应的一种类型的测量模态的眼睛测量装置（300）在所述眼睛的一部分上执行所述测量的相应指令，
其中，所述接收器模块（810）还被配置为接收由具有每个选择的测量模态的所述眼睛测量装置（300）执行的测量的测量数据。
17.一种非暂时性计算机可读存储介质，其存储计算机程序，所述计算机程序当由计算机执行时，使得所述计算机执行根据权利要求1-14中的任一项所述的计算机实现的方法。
CN201911301768.1A 2018-12-20 2019-12-17 眼部图像的病理检测 Active CN111353970B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202410550475.1A CN118351103A (zh) 2018-12-20 2019-12-17 眼部图像的病理检测

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP18214689.4 2018-12-20
EP18214689.4A EP3671536B1 (en) 2018-12-20 2018-12-20 Detection of pathologies in ocular images

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN202410550475.1A Division CN118351103A (zh) 2018-12-20 2019-12-17 眼部图像的病理检测

Publications (2)

Publication Number Publication Date
CN111353970A CN111353970A (zh) 2020-06-30
CN111353970B true CN111353970B (zh) 2024-05-14

Family

ID=64755198

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201911301768.1A Active CN111353970B (zh) 2018-12-20 2019-12-17 眼部图像的病理检测
CN202410550475.1A Pending CN118351103A (zh) 2018-12-20 2019-12-17 眼部图像的病理检测

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN202410550475.1A Pending CN118351103A (zh) 2018-12-20 2019-12-17 眼部图像的病理检测

Country Status (14)

Country Link
US (3) US11503994B2 (zh)
EP (2) EP4310800A3 (zh)
JP (4) JP6996682B2 (zh)
KR (2) KR102387820B1 (zh)
CN (2) CN111353970B (zh)
AU (2) AU2019280075B2 (zh)
CA (2) CA3223918A1 (zh)
DK (1) DK3671536T3 (zh)
ES (1) ES2980396T3 (zh)
FI (1) FI3671536T3 (zh)
MX (1) MX2021007346A (zh)
SA (1) SA521422312B1 (zh)
SG (1) SG11202106261TA (zh)
WO (1) WO2020127233A1 (zh)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU2019340215B2 (en) * 2018-09-12 2022-08-18 Toku Eyes Limited Methods and systems for ocular imaging, diagnosis and prognosis
US11361434B2 (en) * 2019-01-25 2022-06-14 Otonexus Medical Technologies, Inc. Machine learning for otitis media diagnosis
EP3690888A1 (en) * 2019-01-31 2020-08-05 Nidek Co., Ltd. Ophthalmologic image processing device and ophthalmologic image processing program
JP7332463B2 (ja) * 2019-12-25 2023-08-23 キヤノン株式会社 制御装置、光干渉断層撮影装置、光干渉断層撮影装置の制御方法、及びプログラム
CN113538208B (zh) * 2020-04-20 2024-09-17 华为技术有限公司 图片加载方法及相关装置
WO2022072513A1 (en) 2020-09-30 2022-04-07 Ai-Ris LLC Retinal imaging system
WO2022158908A1 (ko) * 2021-01-22 2022-07-28 주식회사 루닛 병리 이미지 분석 방법 및 시스템
JP7513239B2 (ja) 2021-06-30 2024-07-09 サイロスコープ インコーポレイテッド 活動性甲状腺眼症の医学的治療のための病院訪問ガイダンスのための方法、及びこれを実行するためのシステム
WO2023277589A1 (ko) * 2021-06-30 2023-01-05 주식회사 타이로스코프 활동성 갑상선 눈병증 진료를 위한 내원 안내 방법 및 이를 수행하는 시스템
JP7521748B1 (ja) 2021-06-30 2024-07-24 サイロスコープ インコーポレイテッド 眼球突出の度合いの分析のための側方画像を取得するための方法及び撮影デバイス、及びそのための記録媒体
KR102379061B1 (ko) * 2021-06-30 2022-04-05 주식회사 타이로스코프 활동성 갑상선 눈병증 진료를 위한 내원 안내 방법 및 이를 수행하는 장치
WO2023167102A1 (ja) 2022-03-04 2023-09-07 三菱ケミカル株式会社 炭素繊維束コンポジットの製造方法および炭素繊維束コンポジット
US20240016378A1 (en) * 2022-07-13 2024-01-18 Alcon Inc. Machine learning to assess the clinical significance of vitreous floaters

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011120656A (ja) * 2009-12-08 2011-06-23 Canon Inc 画像処理装置及び画像処理方法
CN102525403A (zh) * 2010-12-17 2012-07-04 佳能株式会社 眼科设备及其控制方法
CN105377171A (zh) * 2013-04-11 2016-03-02 诺华股份有限公司 用于检测眼部组织结构和病理的方法和系统
CN106231990A (zh) * 2014-03-14 2016-12-14 Lkc科技有限公司 视网膜病变检测系统和方法
CN107368774A (zh) * 2016-03-31 2017-11-21 富士通株式会社 注视检测设备和注视检测方法
CN107636693A (zh) * 2015-03-20 2018-01-26 弗劳恩霍夫应用研究促进协会 针对人工神经网络的相关性分数指派
CN108712876A (zh) * 2016-02-05 2018-10-26 卡尔蔡司医疗技术公司 用于眼科图像数据获取的报告驱动的工作流程
DE102017208994A1 (de) * 2017-05-29 2018-11-29 Audi Ag Verfahren zur Ermittlung von Ergebnisbilddaten

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4819851B2 (ja) 2008-07-31 2011-11-24 キヤノン株式会社 診断支援装置およびその方法、プログラム、記録媒体
US8712505B2 (en) * 2010-11-11 2014-04-29 University Of Pittsburgh-Of The Commonwealth System Of Higher Education Automated macular pathology diagnosis in three-dimensional (3D) spectral domain optical coherence tomography (SD-OCT) images
JP6025311B2 (ja) * 2011-08-01 2016-11-16 キヤノン株式会社 眼科診断支援装置および方法
US8553965B2 (en) * 2012-02-14 2013-10-08 TerraRecon, Inc. Cloud-based medical image processing system with anonymous data upload and download
US8682049B2 (en) * 2012-02-14 2014-03-25 Terarecon, Inc. Cloud-based medical image processing system with access control
US20140276025A1 (en) 2013-03-14 2014-09-18 Carl Zeiss Meditec, Inc. Multimodal integration of ocular data acquisition and analysis
JP2014188254A (ja) 2013-03-28 2014-10-06 Nidek Co Ltd 視野検査装置
US9002085B1 (en) 2013-10-22 2015-04-07 Eyenuk, Inc. Systems and methods for automatically generating descriptions of retinal images
JP6588444B2 (ja) * 2014-01-28 2019-10-09 ベンタナ メディカル システムズ， インコーポレイテッド 全スライド組織セグメント化のための適応分類
US10249040B2 (en) 2016-11-21 2019-04-02 International Business Machines Corporation Digital data processing for diagnosis of a subject
US10123747B2 (en) 2016-11-21 2018-11-13 International Business Machines Corporation Retinal scan processing for diagnosis of a subject
JP6907563B2 (ja) 2017-01-31 2021-07-21 株式会社ニデック 画像処理装置、および画像処理プログラム

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011120656A (ja) * 2009-12-08 2011-06-23 Canon Inc 画像処理装置及び画像処理方法
CN102525403A (zh) * 2010-12-17 2012-07-04 佳能株式会社 眼科设备及其控制方法
CN105377171A (zh) * 2013-04-11 2016-03-02 诺华股份有限公司 用于检测眼部组织结构和病理的方法和系统
CN106231990A (zh) * 2014-03-14 2016-12-14 Lkc科技有限公司 视网膜病变检测系统和方法
CN107636693A (zh) * 2015-03-20 2018-01-26 弗劳恩霍夫应用研究促进协会 针对人工神经网络的相关性分数指派
CN108712876A (zh) * 2016-02-05 2018-10-26 卡尔蔡司医疗技术公司 用于眼科图像数据获取的报告驱动的工作流程
CN107368774A (zh) * 2016-03-31 2017-11-21 富士通株式会社 注视检测设备和注视检测方法
DE102017208994A1 (de) * 2017-05-29 2018-11-29 Audi Ag Verfahren zur Ermittlung von Ergebnisbilddaten

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
ABHIJIT GUHA ROY等.ReLayNet: Retinal Layer and Fluid Segmentation of Macular Optical Coherence Tomography using Fully Convolutional Network.《BIOMEDICAL OPTICS EXPRESS》.2017,第3631-3642页. *
Kermany D S等.Identifying Medical Diagnoses and Treatable Diseases by Image-Based Deep Learning.《cell》.2018,第1122-1131页 . *
ReLayNet: Retinal Layer and Fluid Segmentation of Macular Optical Coherence Tomography using Fully Convolutional Network;ABHIJIT GUHA ROY等;《BIOMEDICAL OPTICS EXPRESS》;第3631-3642页 *

Also Published As

Publication number Publication date
US20200196853A1 (en) 2020-06-25
KR20220027927A (ko) 2022-03-08
JP2024119998A (ja) 2024-09-03
ES2980396T3 (es) 2024-10-01
EP4310800A2 (en) 2024-01-24
AU2019280075A1 (en) 2020-07-09
US12042225B2 (en) 2024-07-23
JP2023021440A (ja) 2023-02-10
EP3671536A1 (en) 2020-06-24
US20240341589A1 (en) 2024-10-17
AU2021232682A1 (en) 2021-10-07
CN111353970A (zh) 2020-06-30
KR20200077461A (ko) 2020-06-30
SA521422312B1 (ar) 2024-01-08
JP6996682B2 (ja) 2022-01-17
JP2022033126A (ja) 2022-02-28
SG11202106261TA (en) 2021-07-29
AU2021232682A9 (en) 2021-12-02
US11503994B2 (en) 2022-11-22
AU2019280075B2 (en) 2021-07-22
US20230000338A1 (en) 2023-01-05
EP4310800A3 (en) 2024-03-20
AU2021232682B2 (en) 2022-11-24
CN118351103A (zh) 2024-07-16
CA3064885A1 (en) 2020-06-20
JP2020124472A (ja) 2020-08-20
EP3671536B1 (en) 2024-05-22
WO2020127233A1 (en) 2020-06-25
CA3223918A1 (en) 2020-06-20
JP7279291B2 (ja) 2023-05-23
FI3671536T3 (fi) 2024-06-18
JP7509505B2 (ja) 2024-07-02
MX2021007346A (es) 2021-09-30
KR102494503B1 (ko) 2023-01-31
DK3671536T3 (da) 2024-06-17
KR102387820B1 (ko) 2022-04-15

Similar Documents

Publication Publication Date Title
CN111353970B (zh) 眼部图像的病理检测
US12040079B2 (en) Medical image processing apparatus, medical image processing method and computer-readable medium
JP7229881B2 (ja) 医用画像処理装置、学習済モデル、医用画像処理方法及びプログラム
JP7269413B2 (ja) 医用画像処理装置、医用画像処理システム、医用画像処理方法及びプログラム
US11922601B2 (en) Medical image processing apparatus, medical image processing method and computer-readable medium
JP2019118814A (ja) 機械学習ガイド付き撮影システム
US11284791B2 (en) Image processing method, program, and image processing device
CN113226153A (zh) 图像处理装置、图像处理方法和程序
CN113557714A (zh) 医学图像处理装置、医学图像处理方法和程序

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant