CN111481166B - 基于眼底筛查的自动识别系统 - Google Patents

基于眼底筛查的自动识别系统 Download PDF

Info

Publication number
CN111481166B
CN111481166B CN202010359208.8A CN202010359208A CN111481166B CN 111481166 B CN111481166 B CN 111481166B CN 202010359208 A CN202010359208 A CN 202010359208A CN 111481166 B CN111481166 B CN 111481166B
Authority
CN
China
Prior art keywords
fundus image
fundus
image
neural network
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010359208.8A
Other languages
English (en)
Other versions
CN111481166A (zh
Inventor
王娟
胡志钢
夏斌
赵瑜
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Sibionics Intelligent Technology Co Ltd
Original Assignee
Shenzhen Sibionics Intelligent Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Sibionics Intelligent Technology Co Ltd filed Critical Shenzhen Sibionics Intelligent Technology Co Ltd
Publication of CN111481166A publication Critical patent/CN111481166A/zh
Application granted granted Critical
Publication of CN111481166B publication Critical patent/CN111481166B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/12—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for looking at the eye fundus, e.g. ophthalmoscopes
    • A61B3/1208—Multiple lens hand-held instruments
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/14—Arrangements specially adapted for eye photography
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/0016—Operational features thereof
    • A61B3/0025—Operational features thereof characterised by electronic signal processing, e.g. eye models
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/12—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for looking at the eye fundus, e.g. ophthalmoscopes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/254—Fusion techniques of classification results, e.g. of results related to same input data
    • G06F18/256—Fusion techniques of classification results, e.g. of results related to same input data of results relating to different input data, e.g. multimodal recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/285—Selection of pattern recognition techniques, e.g. of classifiers in a multi-classifier system
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G06T7/0014—Biomedical image inspection using an image reference approach
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/809—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of classification results, e.g. where the classifiers operate on the same input data
    • G06V10/811—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of classification results, e.g. where the classifiers operate on the same input data the classifiers operating on different input data, e.g. multi-modal recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/87—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using selection of the recognition techniques, e.g. of a classifier in a multiple classifier system
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/193—Preprocessing; Feature extraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/197—Matching; Classification
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30041—Eye; Retina; Ophthalmic
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Multimedia (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Biomedical Technology (AREA)
  • Databases & Information Systems (AREA)
  • Ophthalmology & Optometry (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Public Health (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Veterinary Medicine (AREA)
  • Animal Behavior & Ethology (AREA)
  • Surgery (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Pathology (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Probability & Statistics with Applications (AREA)
  • Signal Processing (AREA)

Abstract

本发明提供了一种基于眼底筛查的自动识别系统，其特征在于，包括：图像采集装置，其用于采集眼底图像，眼底图像包括来自于同一个人的目标眼底图像和参考眼底图像；以及自动识别装置，其基于深度学习方法对来自于图像采集装置的眼底图像进行处理，基于目标眼底图像和参考眼底图像来自动判断目标眼底图像是否存在病变并输出判断结果并对判断结果进行评级处理。在本发明中，其利用深度学习方法对眼底图像进行自动判定并输出判断结果对判断结果进行评级处理，因此，能够辅助医生对眼底图像进行病变识别的诊断，大幅度地提高识别效率，而且特别适用于大范围的眼底病变筛查。

Description

基于眼底筛查的自动识别系统
本申请是申请日为2017年08月05日、申请号为201710663218.9、发明名称为基于 眼底图像的病变识别系统的专利申请的分案申请。
技术领域
本发明涉及一种基于眼底筛查的自动识别系统。
背景技术
近年，以深度学习为代表的人工智能技术得到了显著的发展，其在医学影像诊断领域等应用也越来越得到关注。深度学习利用了多层人工神经网络，其通过组合低层特征来形成更加抽象的高层特征，以发现数据的分布式特征表示。深度学习能够更好地反映数据的本质特征，其效果明显优于专家系统等人为设计的特征。目前，深度学习等已经在乳腺癌病理检查、肺癌检测、心血管成像等医学成像领域得到了广泛的研究。
众所周知，医学影像包含了丰富的身体结构或组织的诸多细节，通过识别和理解医学影像中的这些细节，能够帮助医生等进行相关的诊断。以医学影像中的眼底图像为例，在眼底图像中包括丰富的玻璃体、视网膜和脉络膜等的细节，如果眼底发生相关病变，则会在所获取的眼底图像中呈现出微血管瘤、出血、硬性渗出等病变。例如，糖尿病性视网膜(DR)病变属于常见的眼底病变，已成为工作年龄段的成年人致盲的主要原因之一。如果能够尽早对DR患者进行早期诊断和治疗，则能够有效防止视觉的损失以及失明。
然而，例如眼底图像(例如糖尿病视网膜病变)识别方式需要通过眼底照相机获取眼底图像后，由眼科医生依靠肉眼观察来作出诊断，工作量甚大，这种识别方式不利于大规模地推广，例如，目前世界上超过50％糖尿病患者并没有接受或者没有机会接受任何形式的眼部检查。因此，在眼底图像的病变识别的临床上，提供能够降低医生工作量，辅助医生帮助完成眼底图像判断的自动识别系统也变得极为迫切。
发明内容
本发明针对上述现有状况，其目的在于提供一种易于推广且能够提高筛查率和准确率的基于眼底图像的病变识别系统。
为此，本发明提供了一种基于眼底筛查的自动识别系统，其特征在于，包括：图像采集装置，其用于采集眼底图像，所述眼底图像包括来自于同一个人的目标眼底图像和参考眼底图像；以及自动识别装置，其基于深度学习方法对来自于所述图像采集装置的所述眼底图像进行处理，基于所述目标眼底图像和所述参考眼底图像来自动判断所述目标眼底图像是否存在病变并输出判断结果并对所述判断结果进行评级处理。
在本发明所涉及的自动识别系统中，其基于深度学习方法对目标眼底图像和参考眼底图像进行自动判定并输出判断结果，因此，能够辅助医生对眼底图像进行病变识别的诊断，大幅度地提高识别效率，而且特别适用于大范围的眼底病变筛查。
另外，在本发明所涉及的自动识别系统中，可选地，所述眼底图像有多幅，将多幅所述眼底图像中的任意一幅作为所述目标眼底图像，剩下的所述眼底图像作为所述参考眼底图像。在这种情况下，能够获得有效的病变判断结果。
另外，在本发明所涉及的自动识别系统中，可选地，所述自动识别装置通过所述评级处理对所述目标眼底图像的病变进行判断并提供首次评级的筛查报告，以辅助医生基于所述筛查报告进行二次评级。在这种情况下，能够更加准确和可靠地获得病变的筛查结果。
另外，在本发明所涉及的自动识别系统中，可选地，所述自动识别装置可以布置在云端服务器，所述图像采集装置与所述自动识别装置之间基于网络通信方式进行交互。在这种情况下，将图像采集装置与所述自动识别装置经由网络通信方式来交互，因此有利于靠近图像采集装置侧的医生或操作员等与自动识别装置进行交互。
另外，在本发明所涉及的自动识别系统中，可选地，所述自动识别装置可以包括：预处理模块，其用于对所述目标眼底图像和所述参考眼底图像分别进行预处理；第一神经网络，其用于从所述目标眼底图像产生第一高级特征集；第二神经网络，其用于从所述参考眼底图像产生第二高级特征集；特征组合模块，其用于将所述第一高级特征集与所述第二高级特征集进行融合而形成特征组合集；以及第三神经网络，其用于根据所述特征组合集产生对病变的诊断结果。在这种情况下，由于自动识别装置模拟医生的诊断过程，参考了来自同一个人的其他眼底图像对目标图像进行判断，从而有利于提高对眼底图像病变的判断准确率。
另外，在本发明所涉及的自动识别系统中，可选地，所述预处理模块包括：用于检测所述目标眼底图像和所述参考眼底图像的规定眼底区域的区域检测单元；用于对所述目标眼底图像和所述参考眼底图像进行剪裁和尺寸调整的调整单元；以及对所述目标眼底图像和所述参考眼底图像进行归一化的归一化单元。由此，能够对目标眼底图像和参考眼底图像进行有效的预处理，提高后续各个神经网络对图像特征的提取的准确度，从而改善对眼底图像病变的判断效果。
另外，在本发明所涉及的自动识别系统中，可选地，所述预处理模块包括扩增单元，所述扩增单元通过对所述眼底图像进行各种图像变换来进行样本扩增，所述图像变换的方式是对称变换、倒立变换、旋转变换、像素平移、图像对比度调整、图像亮度调整、图像颜色调整或图像锐度调整中的任一种。由此，能够有助于克服过拟合问题，提高神经网络的性能。
另外，在本发明所涉及的自动识别系统中，可选地，所述特征组合模块对所述第一高级特征集和所述第二高级特征集进行线性或非线性变换来获得特征组合集。由此，能够便于后续第三神经网络的处理。
另外，在本发明所涉及的自动识别系统中，可选地，在所述深度学习方法中，将所述目标眼底图像和所述参考眼底图像分别独立作为输入。由此，能够准确且全面地评价眼底病变的状况。
另外，在本发明所涉及的自动识别系统中，可选地，所述第三神经网络具有两层卷积层、两层池化层、三层全连接层和输出层。由此，能够提高判断结果的准确率。
根据本发明，能够提供一种可以提高筛查率和准确率的基于眼底筛查的自动识别系统。
附图说明
图1示出了本发明的第1实施方式所涉及的眼底图像的病变状态的示意图，其中，图1(a)示出了正常状态的眼底图像的示例图，图1(b)示出了异常眼底的眼底图像的示例图。
图2示出了本发明的第1实施方式所涉及的具有眼底病变的眼底图像的示例图，其中，图2(a)示出了糖尿病视网膜病变的眼底图像的示例图，图2(b)示出了高血压眼底病变的眼底图像的示例图。
图3示出了本发明的第1实施方式所涉及的基于眼底图像的病变识别系统的示意图；
图4示出了本发明的第1实施方式所涉及的用于识别眼底图像病变的人工神经网络的示意图。
图5示出了本发明的第1实施方式所涉及的人工神经网络的眼底图像的预处理模块的框图。
图6示出了图5的预处理模块的变形例的示意图。
图7示出了本发明的第1实施方式所涉及的人工神经网络的网络结构示例的示意图。
图8示出了图7中的人工神经网络中所采用的卷积核的示例的示意图。
图9示出了本发明的第1实施方式所涉及的人工神经网络识别眼底图像病变的方法的流程图。
图10示出了本发明的第2实施方式所涉及的人工神经网络的框图。
图11示出了本发明的第2实施方式所涉及的第三神经网络的示例图。
图12示出了本发明的第2实施方式所涉及的人工神经网络的预处理模块的框图。
具体实施方式
以下，参考附图，详细地说明本发明的优选实施方式。在下面的说明中，对于相同的部件赋予相同的符号，省略重复的说明。另外，附图只是示意性的图，部件相互之间的尺寸的比例或者部件的形状等可以与实际的不同。
需要说明的是，本发明中的术语“包括”和“具有”以及它们的任何变形，例如所包括或所具有的一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可以包括或具有没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
另外，在本发明的下面描述中涉及的小标题等并不是为了限制本发明的内容或范围，其仅仅是作为阅读的提示作用。这样的小标题既不能理解为用于分割文章的内容，也不应将小标题下的内容仅仅限制在小标题的范围内。
本发明涉及能够提高眼底病变筛查率和准确率的基于眼底图像的病变识别系统。在本发明中，采用了目标眼底图像与参考眼底图像(以下有时也将“目标眼底图像和参考眼底图像”称为“眼底图像对”)分别独立作为输入信息，也即对于“目标眼底图像”的眼底病变的识别，同时参考了来自于同一个人的“参考眼底图像”，因此能够准确且全面地评价眼底病变的状况。这里，“目标眼底图像”是指需要诊断是否存在病变或者存在什么病变的眼底图像；而“参考眼底图像”是指与“目标眼底图像”同样来自于同一个人的眼底图像，在本发明中同时使用目标眼底图像和参考眼底图像可以模拟医生的实际诊断过程，从而可以提高眼底病变判断的准确度。
[第1实施方式]
(病变识别系统)
图1示出了本实施方式所涉及的眼底图像的病变状态的示意图，其中，图1(a)示出了正常状态的眼底图像的示例图，图1(b)示出了异常眼底的眼底图像的示例图。图2示出了本实施方式所涉及的具有眼底病变的眼底图像的示例图，其中，图2(a)示出了糖尿病视网膜病变的眼底图像的示例图，图2(b)示出了高血压眼底病变的眼底图像的示例图。
在本实施方式中，病变识别系统S能够判断是否有病变的眼底图像的能力。另外，在本实施方式中，病变识别系统S也可以判断是哪种病变并进行分级。常见的眼底病变有糖尿病视网膜病变(参见图2(a))、高血压及动脉硬化性眼底病变(参见图2(b))、年龄相关性黄斑变性眼底病变、视网膜静脉阻塞眼底病变、视网膜动脉阻塞眼底病变、高度近视眼底病变，甚至心血管病等相关的眼底病变等。在本实施方式中，病变识别系统S特别适用于眼底的糖尿病视网膜病变。
如上所述，本实施方式所涉及的病变识别系统S可以实现无病和有病的两种判断的待分类类别，也可以实现无病和具体病变类型的待分类类别。另外，本实施方式所涉及的病变识别系统S的待分类类别也可以根据具体情况进行调整。
本实施方式所涉及的病变识别系统S能够大量节约医生眼底筛查的时间(读片时间)，有利于使眼底筛查能够得到推广和应用，提高筛查率，从而推动医疗卫生特别是基层医疗卫生的发展。
图3示出了本实施方式所涉及的基于眼底图像的病变识别系统S的示意图。例如，如图3所示，本实施方式所涉及的病变识别系统S可以用于识别眼底图像病变。在本实施方式中，眼底图像病变可以包括但不限于例如糖尿病视网膜病变、年龄相关性黄斑变性眼底病变、视网膜静脉阻塞眼底病变等，尤其适用于糖尿病视网膜病变。
本实施方式所涉及的基于眼底图像的病变识别系统S可以包括图像采集装置1和自动识别装置2。图像采集装置1可以用于采集眼底图像，其中，所采集的眼底图像可以包括来自于同一个人的目标眼底图像和参考眼底图像。另外，自动识别装置2可以利用或基于深度学习方法对来自于图像采集装置1的眼底图像进行处理，并自动判断眼底图像是否存在病变并输出判断结果(例如筛查报告)。
另外，在本实施方式中，图像采集装置1没有特别限制，只要能够采集眼底图像的设备即可，例如可以采用台式眼底照相机(或摄像机)、手持式眼底照相机(或摄像机)等。出于方便操作的观点，图像采集装置1可以为便携式眼底照相机，优选为手持式眼底照相机。在这种情况下，能够方便医生或操作员等采集患者的眼底图像(照片)。
在本实施方式中，病变识别系统S采集患者的眼底图像后，可以利用或基于深度学习方法对眼底图像进行自动判定并输出判断结果，因此，能够辅助医生对眼底图像进行病变识别的诊断，大幅度地提高识别效率，而且特别适用于大范围的眼底病变筛查。众所周知，深度学习是机器学习的一种，其基于对数据进行表征学习。在深度学习中，通过组合低层特征形成更加抽象的高层表示属性类别或特征，以发现数据的分布式特征表示。在本实施方式中，通过利用深度学习方法，能够提高病变识别系统S的准确率。
在本实施方式中，病变识别系统S可以通过敏感性和特异性来体现。具体而言，在筛查结果中，包括真阴性、真阳性、假阴性和假阳性四种。真阴性是指眼底图像正常，筛查报告也是正常；真阳性是指眼底图像存在病变，筛查报告显示出了病变；假阴性是眼底图像存在病变，但是筛查报告正常；假阳性是指眼底图像正常，但是筛查报告错误地显示有病变。于是，敏感性和特异性分别定义如下：
Figure BDA0002474474750000071
Figure BDA0002474474750000072
一般而言，敏感性和特异性越高，则认为病变识别系统S的筛查准确率越高。在一些筛查标准中，例如敏感性为80％以上和特异性为90％则已经认为是比较合理的筛查模式。相对而言，对于本实施方式所涉及的病变识别系统S，其敏感性可以达到85％以上，特异性可以达到90％以上。
另外，在本实施方式所涉及的病变识别系统S中，还可以包括根据判断结果输出分析报告的输出装置3。在本实施方式中，输出装置3没有特别限制，其可以是显示屏、具有显示功能的终端(例如智能手机、平板电脑)、打印机、投影仪等，只要能够显示判断结果即可。在这种情况下，能够让医生或患者等迅速地了解病变结果，并将符合规定标准的报告提供给患者。
另外，在一些示例中，输出装置3可以设置在图像采集装置1上。例如输出装置3可以搭载在图像采集装置1上。此时，一方面，输出装置3可以作为例如显示屏设置在图像采集装置1上；另一方面，输出装置3能够接收自动识别装置2的处理结果，并将结果呈现在输出装置3上。在这种情况下，能够将判断结果通过设置在图像采集装置1上的输出装置3直观地提供给患者，从而便于医生与患者之间的现场沟通交流。
另外，在本实施方式中，对于眼底图像病变的判断可以通过评级处理。在一些示例中，可以采用首次评级和二次评级。例如，由自动识别装置2提供的筛查报告可以作为首次评级，然后，医生基于该筛查报告进行二次评级。由此，能够更加准确和可靠地获得病变的筛查结果。
另外，在本实施方式中，自动识别装置2可以布置在云端服务器(未图示)，图像采集装置1可以与自动识别装置2之间基于网络通信方式进行交互。在这种情况下，将图像采集装置与自动识别装置经由网络通信方式来交互，因此有利于靠近图像采集装置侧的医生或操作员等与自动识别装置进行交互。这里，网络通信的方式可以是无线网络例如wifi、移动通信网等，也可以是有线网络例如有线宽带网等。
另外，布置自动识别装置2的云端服务器也可以是自己搭设的连接网络的服务器，也可以是由供应商提供的连接网络的大型服务器里的一部分。出于数据安全的考虑，云端服务器优选是自己搭设的连接网络的服务器。
在本实施方式中，自动识别装置2可以包括人工神经网络10A。人工神经网络10A所采用的神经网络结构没有特别限制。在一些示例中，本实施方式所涉及的人工神经网络10A可以使用深度神经网络，例如稍后描述的第一神经网络12和第二神经网络22可以采用深度神经网络的结构。在这种情况下，可以针对特定医学影像(例如眼底图像)提取出抽象的图像特征，从而有助于对病变的判断。
图4示出了本发明的第1实施方式所涉及的用于识别眼底图像病变的人工神经网络的示意图。如图4所示，本实施方式所涉及的人工神经网络10A可以包括预处理模块、第一神经网络12、第二神经网络22、特征组合模块13、以及第三神经网络14。这里，预处理模块可以具体包括第一预处理模块11和第二预处理模块21。
在本实施方式中，预处理模块(第一预处理模块11和第二预处理模块21)可以用于对来自于同一个人的目标眼底图像和参考眼底图像(眼底图像对)分别进行预处理。也即，预处理模块11可以对目标眼底图像进行预处理，预处理模块21可以对参考眼底图像进行预处理。另外，在本实施方式中，预处理模块11和预处理模块21可以在形成在同一模块中，也可以独立形成为模块。
如上所述，在本实施方式中，使用了来自于同一个人的目标眼底图像和参考眼底图像来作为诊断的输入，也即，目标眼底图像作为第一输入，参考眼底图像作为第二输入(参见图4)。如上所述，在本实施方式中，对于目标图像眼底病变的诊断，不仅使用了目标眼底图像本身，还使用了参考眼底图像作为诊断参考，该过程模拟了医生在实际诊断中会同时比较和参考多幅眼底图像进行诊断的实际情况，因此能够提高对眼底图像病变的判断准确度。
此外，在本实施方式所涉及的人工神经网络10A中，本发明人等还考虑了以下事实：1)来自于相同眼睛的不同图像(目标眼底图像和参考眼底图像)应该有相同的诊断结果；2)从统计上看，来自同一个人(患者)的左右眼睛的眼底病变相似。因此，在对目标眼底图像进行诊断时，使用来自该患者的其他眼底图像作为辅助可以提高诊断准确度。
另外，在人工神经网络10A的训练或者测试过程中，在一些示例中，可以使用来自于同一个人的单眼(左眼或右眼)两幅眼底图像，在这种情况下，可以将这两幅眼底图像中的任意一幅作为目标眼底图像，另一幅作为参考眼底图像。在另外一些示例中，也可以使用来自于同一个人分别属于双眼的两幅眼底图像。同样地，在这种情况下，可以将这两幅眼底图像中的任意一幅作为目标眼底图像，另一幅作为参考眼底图像。
另外，在本实施方式所涉及的人工神经网络10A中，在一些示例中，目标眼底图像与参考眼底图像可以相同(即第一输入与第二输入可以相同)。在这种情况下，即使本实施方式所涉及的人工神经网络10A在训练或测试过程中仅使用来自患者的一幅眼底图像，此时，可以将这一幅眼底图像(例如通过复制变成两幅眼底图像)分别作为目标眼底图像和参考眼底图像，由此也能够获得有效的病变判断结果。
另外，在本实施方式中，还可以使用四幅眼底图像即包括两幅来自于左眼的眼底图像以及两幅来自于右眼的眼底图像。在这种情况下，可以将这四幅眼底图像中的任意一幅作为目标眼底图像，剩下的三幅作为参考眼底图像。
此外，在一些示例中，在利用图像采集装置采集眼底图像的过程中，可以获取多幅(例如五幅以上)眼底图像。在这种情况下，可以将这多幅眼底图像中的任意一幅作为目标眼底图像，剩下的眼底图像作为参考眼底图像。在另一些示例中，进一步地，可以使用相等数量的来自于左右两眼的眼底图像。
另外，本实施方式所使用的眼底图像(包括目标眼底图像或参考眼底图像)没有特别限制，可以是彩色图像(例如RGB图像)，也可以是灰度图像。
在本实施方式中，将由目标眼底图像和参考眼底图像构成的眼底图像对作为输入(第一输入和第二输入)。在这种情况下，由于目标眼底图像和参考眼底图像(眼底图像对)为近似或相同的图像，因此，通过让目标眼底图像和参考眼底图像各自经过第一神经网络和第二神经网络(即，目标眼底图像作为第一输入经过第一神经网络，参考眼底图像作为第二输入经过第二神经网络，参见图4)以分别提取眼底图像的特征，由此能够提高人工神经网络后续的筛查能力。
另外，在本实施方式所涉及的人工神经网络10A中，目标眼底图像与参考眼底图像可以分别属于不同眼睛的眼底图像。在这种情况下，有利于提高训练后的人工神经网络10A更加接近于真实的诊断情形。
(预处理模块)
图5示出了本实施方式所涉及的人工神经网络10A的预处理模块的框图。
如上所述，预处理模块(包括第一预处理模块11和第二预处理模块21)可以用于对来自于同一个人的目标眼底图像和参考眼底图像(眼底图像对)分别进行预处理。具体而言，第一预处理模块11和第二预处理模块21可以对眼底图像进行眼底区域检测、图像剪裁、尺寸调整、归一化等预处理。也即，第一预处理模块11可以对目标眼底图像进行眼底区域检测、图像剪裁、尺寸调整、归一化等；第二预处理模块21可以对参考眼底图像进行眼底区域检测、图像剪裁、尺寸调整、归一化等。
在本实施方式中，由于第一预处理模块11和第二预处理模块21可以设置成相同的模块，因此，以下仅针对第一预处理模块11进行详细描述，第二预处理模块12的结构可以与第一预处理模块11完全相同。
如图5所示，人工神经网络10A的第一预处理模块11主要包括区域检测单元111、调整单元112和归一化单元113。
在第一预处理模块11中，区域检测单元111可以从各类眼底图像中检测出眼底区域。在本实施方式中，所要检测的眼底区域例如可以是以视盘为中心的眼底区域，或者是包含视盘且以黄斑中心的眼底区域等。在本实施方式中，无论以视盘为中心的区域或者包含视盘且以黄斑为中心的区域等均能够有效地呈现眼底病变。在一些例子中，区域检测单元111可以通过例如采样阈值法、霍夫(Hough)变换来探测眼底图像中的特定区域，以供后续人工神经网络的使用。例如，参考图1(a)和图1(b)所示的眼底图像等，眼底图像中最亮的圆圈便是视盘(optic disk)，最黑的那块是黄斑(macula)或视网膜中央凹(fovea)，还有从视盘引出的血管。
此外，如图5所示，调整单元112可以用于对眼底图像(目标眼底图像)进行剪裁和尺寸调整。由于人眼大小的不同和所使用的眼底相机设备的不同，所获得的眼底图像在分辨率、眼底区域尺寸等方面上均可能存在差异。因此，有必要对这些眼底图像进行调整。例如通过调整单元112，可以对眼底图像按照特定规格进行剪裁，在一些示例中，通过剪裁可以获得例如方形的眼底图像。另外，本实施方式的眼底图像也不限于方形，例如也可以为矩形、圆形、椭圆形等。另外，在调整单元112还可以针对眼底图像进行其他处理例如区分眼底图像上眼底区域与患者信息区域(例如有些眼底图像上可能包括姓名、医保号码等)，调整由不同眼底相机设备使用不同算法处理后的眼底图像，实现眼底背景一致化等问题。
另外，在一些示例中，通过调整单元112，能够将眼底图像的尺寸调整至规定的尺寸(例如像素尺寸)例如256×256、512×512、1024×1024等。然而，本实施方式不限于此，根据特定需要，眼底图像的尺寸也可以是任意其他规格的大小(像素大小)例如128×128、768×768、2048×2048等。
尽管本实施方式没有限定眼底图像的尺寸，但是出于能够更加准确地识别眼底图像的更多细节的方面考虑，本实施方式的眼底图像的图像尺寸优选大于或等于512×512。如上所述，在专利文献1中所涉及的深度学习框架Inception-v3中，使用了仅299×299的图像，但是由于许多眼底病症(例如糖尿病性视网膜早期病变的特征)在这样的像素级层面上的表现可能不明显，在这种情况下，可能会导致在后续下采样过程中(特别是大比例下采样时)丢失重要图像细节信息例如丢失低等级的眼底病变(例如1级糖尿病性视网膜病变)信息。基于此，在专利文献1中，1级糖尿病性视网膜病变被当作健康眼处理，如此可能会导致眼底图像病变诊断不充分，临床效果欠佳。相对而言，在本实施方式中，通过如上所述限定眼底图像的尺寸，从而能够有效地抑制眼底图像细节信息的丢失，提高对眼底病变的判断准确度。
另外，在第一预处理模块11中，归一化单元113可以用于对眼底图像(目标眼底图像)进行归一化。由于不同人种间眼底的差异和眼底成像设备或条件的不同，眼底图像可能存在很大差异，因此，有必要针对图像进行归一化处理。
在本实施方式中，归一化单元113的归一化方式没有特别限定，例如可以采用零均值(zero mean)、单位标准方差(unit standard deviation)等进行。另外，在一些示例中，也可以归一化在[0,1]的范围内。通过归一化，能够可以克服不同眼底图像的差异性，提高人工神经网络的性能。
图6示出了本实施方式所涉及的预处理模块11的变形例的示意图。如图6所示，第一预处理模块11还可以具有扩增单元110。扩增单元110可以设置在区域检测单元111之前，但本实施方式不限于此。
在本实施方式中，扩增单元110可以用于在神经网络的训练阶段对眼底图像进行数据扩增。通过扩增单元110，可以对所获得的眼底图像(目标眼底图像)进行数据扩增以扩大眼底图像的样本量，从而有助于克服过拟合问题，提高人工神经网络的性能。另外，需要说明的是，扩增单元110一般限于在稍后描述的神经网络的训练阶段时对数据样本进行扩增，在神经网络的测试阶段时可以不使用扩增单元110。
另外，扩增单元110所采用的扩增方式没有特别限制，例如在一些示例中，可以通过对眼底图像进行各种图像变换来进行样本扩增。这样的图像变换方式可以包括对称变换、倒立变换、旋转变换、像素平移等，还可以包括对图像的对比度、亮度、颜色、锐度等进行调整。
以上，已经描述了第一预处理模块11的构成和功能，同样地，第二预处理模块21也可以具有与第一预处理模块11完全相同的构成和功能。在这种情况下，参考眼底图像作为第二输入经过第二预处理模块21也能够得到有效的预处理，以满足后续人工神经网络(第二神经网络和第三神经网络)对参考眼底图像的处理。
如上所述，通过第一预处理模块11和第二预处理模块21，能够分别对目标眼底图像和参考眼底图像进行有效的预处理，从而有助于后续各个神经网络对眼底图像中的进一步处理(例如特征提取等)。
(第一/第二神经网络)
在本实施方式中，第一神经网络12可以用于从经过预处理后的目标眼底图像产生第一高级特征集。同样地，第二神经网络22可以用于从经过预处理后的参考眼底图像产生第二高级特征集。其中，第一神经网络和第二神经网络可以通过例如组合多层低级特征(像素级特征)，实现了对目标眼底图像和参考眼底图像的抽象描述。这里，高级特征仅指示经过人工神经网络的处理后相对于原始图像的初级特征(例如像素级的特征)而言，并非为了精确描述特征的高级性，但一般而言，经过神经网络处理，随着神经网络越往深层次会呈现出越高层次和越抽象的趋势。另外，特征集一般是指包括了两个或两个以上的特征，在本发明中有时也可以称为“特征矩阵”。另外，在一些特殊的情况下，特征集也可以仅有1个特征例如中间结果，这时“特征集”可以仅特指单个“特征”。
另外，在本实施方式中，第一神经网络12和第二神经网络22均可以采用卷积神经网络(Convolutional Neural Network，CNN)。由于卷积神经网络具有局部感受野和权值共享等优点，能够极大地减小参数的训练，因此能够提高处理速度和节约硬件开销。另外，卷积神经网络能够更加有效的处理图像的识别。
图7示出了本发明的第1实施方式所涉及的人工神经网络的网络结构示例的示意图。图8示出了图7中的人工神经网络中所采用的卷积核的示例的示意图。
在一些示例中，可以使用卷积神经网络分别作为第一神经网络12和第二神经网络22。例如可以令第一神经网络12和第二神经网络的网络结构分别为图6和图7所示的神经网络结构(简化表示)：
-C1-S1-C2-S2-C3-S3-C4-
这里，C(包括C1、C2、C3和C4)表示卷积层，S(包括S1、S2和S3)表示池化(pooling)层(有时也称为“下采样层”)。在一些示例中，除了C1层使用5×5的卷积核外，其他卷积层均可以使用3×3的卷积核。在这种情况下，对于规定尺寸例如256×256、512×512的医学图像(眼底图像)，可以大大抑制了训练参数的增加，提高训练效率。
另外，在上述卷积神经网络中，池化(pooling)的方式可以使用最大池化(max-pooling)、平均池化(mean-pooling)、随机池化(stochastic-pooling)等。通过池化操作，一方面可以降低特征维度，提高运算效率，另外，也可以使神经网络提取更加抽象的高层特征，以提高对眼底病变的判断准确度。
另外，在在上述卷积神经网络中，也可以根据情况对应地增加卷积层和池化层的层数。在这种情况下，也可以使神经网络提取更加抽象的高层特征，以进一步提高对眼底病变的判断准确度。
另外，在本实施方式所涉及的人工神经网络10A中，第一神经网络12与第二神经网络22可以完全相同。具体而言，第一神经网络12的网络结构与第二神经网络22的网络结构可以完全相同。在这种情况下，能够减少人工神经网络的参数数目，有利于抑制神经网络的过拟合。
另外，第一神经网络12和第二神经网络22所采用的卷积神经网络结构不限于此，也可以采用其他卷积神经网络结构，只要能够确保从原始的眼底图像(目标眼底图像和参考眼底图像)提取出高级特征即可。此外，注意到，本实施方式所涉及的第一神经网络12和第二神经网络22主要用于特征提取，并非直接输出病变的判断结果。
(特征组合模块)
在本实施方式中，如图4所示，特征组合模块13可以用于将由第一神经网络12产生的第一高级特征集与由第二神经网络22产生的第二高级特征集进行融合而形成特征组合集。这里，本实施方式的“特征集”可以指“特征序列”、“特征矢量”、“特征值的集合”等，其意义应该以最广泛的方式理解。
在一些示例中，特征组合模块13可以将第一高级特征集和第二高级特征集组合成一维特征矢量(特征组合集)。另外，在另一些示例中，特征组合模块13也可以计算第一高级特征集与第二高级特征集的差异来获得特征组合集。另外，在另一些示例中，特征组合模块13还可以计算第一高级特征集和第二高级特征集的均值来获得特征组合集。此外，在另一些示例中，特征组合模块13可以对第一高级特征集和第二高级特征集进行线性或非线性变换来获得特征组合集等。
在本实施方式中，通过特征组合模块13，能够使从第一神经网络12产生的特征与从第二神经网络22产生的特征进行融合，便于后续第三神经网络14的处理。
(第三神经网络)
在本实施方式中，第三神经网络14可以用于根据特征融合的结果(特征组合集)产生对病变的判断结果。如图4所示，第三神经网络14可以基于特征组合模块13所获得的结果，对所输入的目标眼底图像形成判断结果。也即，第三神经网络14根据特征组合集产生对病变的判断结果。
在本实施方式中，第三神经网络14的输出维度与待分类类别(例如病变类型)一致。也即，例如待分类类别为无病和有病两种类别时，第三神经网络14的输出维度可以为2；如果待分类类别为无病和具体病症(例如5种)时，第三神经网络14的输出维度可以为6。另外，第三神经网络14的输出维度可以根据实际情况调整。
在一些示例中，第三神经网络14的输出可以是0到1之间的值(百分比)，这些值可以解释为目标眼底图像被分为某个类别(病变类型)的概率。此时，第三神经网络14的输出之和为1(概率和)。
在本实施方式中，第三神经网络14的输出概率用来实现最终诊断。在一些示例中，当某个类别的概率最高时，则判断该眼底具有对应的类别病变。例如，在所有待分类类别中，如果无病变的概率最高，则该目标眼底图像被判断为无病变。如果糖尿病视网膜病变的概率最高，则该目标眼底图像被判断为糖尿病视网膜病变。
另外，第三神经网络14的网络结构没有特别限制。在一些示例中，第三神经网络14可以使用卷积层、全连接层和其他辅助层(例如批归一化层(batch normalization)、池化层(pooling)等)的各种组合来实现。例如，在一些情况下，第三神经网络14的输出层可以使用单层的卷积层、两层全连接层和输出层(softmax层)。另外，在另一些情况下，第三神经网络14的输出层也可以使用两层卷积层、两层池化层、三层全连接层和输出层(例如softmax层)。
如上所述，在本实施方式中，由于采用了目标眼底图像与参考眼底图像分别独立作为输入信息，因此，能够有利于第一神经网络从目标眼底图像提取出高级特征，有利于第二神经网络从参考眼底图像提取出高级特征。而且，通过将从第一神经网络和第二神经网络分别获得的高级特征组合后，继续通过第三神经网络来获得对病变的判断结果，由此能够显著地提高对眼底图像病变的诊断性能。
(训练和测试)
在本实施方式中，第一神经网络12、第二神经网络22和第三神经网络14可以一起训练，以获得最优的神经网络结构。例如在使用卷积神经网络作为第一神经网络12和第二神经网络22的情况下，在训练上述神经网络时，可以使用训练集的眼底图像对(包括目标眼底图像和参考眼底图像)对卷积神经网络进行训练。
此外，上面描述了本实施方式所涉及的第一神经网络12、第二神经网络22和第三神经网络14可以同时一起训练，但本实施方式不限于此，例如也可以通过训练自编码(auto-encoder)网络的方式先训练第一神经网络12和第二神经网络22，然后再与第三神经网络14一起训练。
另外，在本实施方式中，对于眼底图像而言，在人工神经网络10A的训练或者测试过程中，可以使用来自于同一个人的单眼两幅眼底图像，也可以使用来自于同一个人分别属于双眼的两幅眼底图像。
另外，在人工神经网络10A的训练或者测试过程中，还可以使用四幅眼底图像包括两幅来自于左眼的眼底图像以及两幅来自于右眼的眼底图像。在这种情况下，能够与眼底图像病变判断的真实诊断情况更加匹配。顺便提一下，目前国际上比较推行的眼底图像病变判断的金标准是采用七幅不同眼底区域且视角30度的眼底图像。然而，本发明人等在长期的实践发现，例如采用四幅双眼45度且规定区域的眼底图像也能达到相当的病变判断效果。
此外，本实施方式不限于此，还可以使用更多幅来自于同一个人双眼的眼底图像，更加优选地使用来自于相等数量的来自于左右两眼的眼底图像。
在本实施方式所涉及的人工神经网络10A的训练过程中，选择来自合作医院且去除患者信息的例如5-20万幅眼底图像作为训练集(training set)，例如5000-20000幅眼底图像作为测试集(testing set)。在训练或测试过程中，眼底图像经过预处理后尺寸例如统一为512×512或1024×1024像素的RGB彩色眼底图像。
在训练过程中使用随机梯度下降法进行参数调节，由此获得最终的训练结果。然后，将训练后的人工神经网络10A对测试集中的眼底图像进行识别，获得平均识别准确率例如高达90％以上。由此可见，本实施方式所涉及的人工神经网络10A能够在兼顾眼底临床情况下获得改善的病变判断准确率。
(识别病变的流程)
图9示出了本实施方式所涉及的人工神经网络10A识别眼底图像病变的方法的流程图。以下，参考图9，详细地描述本实施方式所涉及的人工神经网络10A识别眼底图像病变的方法。
在本实施方式所涉及的用于识别眼底图像病变的方法中，首先，对包括目标眼底图像和参考眼底图像的眼底图像对分别进行预处理(步骤S100)，以获得满足规定条件的眼底图像。
在步骤S100中，例如可以对眼底图像进行区域检测、图像剪裁、尺寸调整和归一化处理等。另外，在步骤S100中，还可以在神经网络训练时对眼底图像对(包括目标眼底图像和参考眼底图像)进行数据扩增，以提高训练的数据样本量，从而提高对眼底病变判断的准确率。在一些示例中，目标眼底图像与参考眼底图像可以为相同的图像。
接着，在步骤S100之后，可以利用深度学习方法对目标眼底图像和参考眼底图像分别进行操作，以获取目标眼底图像的特征和参考眼底图像的特征(步骤S200)。在步骤S200中，可以通过例如卷积神经网络来获得目标眼底图像的高级特征和参考眼底图像的高级特征。由于卷积神经网络有利于具有局部感受野和权值共享的优点，并且有利于提取眼底图像的高级特征，因此能够提高运算效率，节约硬件开销。
在步骤S200之后，可以将目标眼底图像的特征和参考眼底图像的特征进行融合而形成特征组合集(步骤S300)。如上所述，形成特征组合集有利于目标眼底图像的特征和参考眼底图像的特征的综合，以便于后续的分类和判断。
最后，再利用深度学习方法识别特征组合集，以获得对眼底图像病变的判断结果(步骤S400)。在步骤S400中，可以采用例如平均操作器(Average Operator)、最大值操作器(Maximum Operator)、逻辑回归(Logistic Regression)、随机森林(Random Forest)、支持向量机(SVM)等来获得对眼底病变的判断结果。
[第2实施方式]
图10示出了本发明的第2实施方式所涉及的人工神经网络10B的框图。图11示出了本发明的第2实施方式所涉及的第三神经网络14的示例图。图12示出了本发明的第2实施方式所涉及的人工神经网络10B的第三预处理模块31的框图。
本实施方式涉及人工神经网络10B与第1实施方式所涉及的人工神经网络10A的不同点在于：人工神经网络10B包括第三预处理模块31；第三神经网络14可以根据上述特征组合集和患者信息来产生对病变的判断结果(参见图10)。本实施方式所涉及的人工神经网络10B同样能够提高眼底病变筛查准确率(包括敏感性和特异性)。
关于特征组合集已经在第1实施方式中进行了详细的描述，因此在本实施方式中不再赘述。在本实施方式中，特征组合模块13所得到的特征组合集输入到第三神经网络14，进一步地，第三神经网络14根据该特征组合集以及患者信息来产生对病变的判断结果。
在本实施方式中，第三神经网络14的输出维度与待分类类别(例如病变类型)一致。也即，例如待分类类别为无病和有病两种类别时，第三神经网络14的输出维度可以为2；如果待分类类别为无病和具体病症(例如5种)时，第三神经网络14的输出维度可以为6。另外，第三神经网络14的输出维度可以根据实际情况调整。
在一些示例中，第三神经网络14的输出可以是0到1之间的值(百分比)，这些值可以解释为目标眼底图像被分为某个类别(病变类型)的概率。此时，第三神经网络14的输出之和为1(概率和)。
在本实施方式中，第三神经网络14的输出概率用来实现最终诊断。在一些示例中，当某个类别的概率最高时，则判断该眼底具有对应的类别病变。例如，在所有待分类类别中，如果无病变的概率最高，则该目标眼底图像被判断为无病变。如果糖尿病视网膜病变的概率最高，则该目标眼底图像被判断为糖尿病视网膜病变。
另外，在一些示例中，患者信息可以包括患者视力、年龄、性别和既往病史当中的至少一种以上。另外，患者信息还可以包括体重等。根据本发明人等在多年的眼科实践中发现，患者的视力、年龄、性别、既往病史和体重等均与眼底病变有密切的关系，也即，患者的视力、年龄、性别和既往病史等因素也是眼底病变诊断的重要参考因素。
另外，人工神经网络10B可以包括第三预处理模块31，通过第三预处理模块31可以对患者信息进行预处理。第三预处理模块31可以包括特征归一化单元311，通过特征归一化单元311，例如能够将患者信息所包括的值归一化到[0,1]区间，从而避免患者信息对后续神经网络处理可能产生的不利影响。
在本实施方式中，通过在人工神经网络10B中添加患者信息作为第三输入提供给第三神经网络14A，以提高人工神经网络10B的病变识别能力。在第三神经网络14中，除了特征组合模块13所输出的特征作为第三神经网络14的输入之外，还将患者信息作为特征输出到第三神经网络14。由此，第三神经网络14能够根据特征组合集和患者信息来产生对病变的判断结果
另外，第三神经网络14的网络结构没有特别限制。在一些示例中，第三神经网络14可以使用卷积层、全连接层和其他辅助层(例如批归一化层(batch normalization)、池化层(pooling)等)的各种组合来实现。例如，在一些情况下，第三神经网络14的输出层可以使用单层的卷积层、两层全连接层和输出层(例如softmax层)。另外，在另一些情况下，第三神经网络14的输出层也可以使用两层卷积层、两层池化层、三层全连接层和输出层例如softmax层(参见图11)。
另外，在本实施方式中，第三神经网络14可以包括全连接层，并且患者信息作为全连接层的输入。具体而言，例如当第三神经网络14使用卷积层、池化层和全连接层作为神经网络结构时，患者信息可以作为全连接层的输入(参见图11)。在本实施方式中，当第三神经网络14具有全连接层患者信息既可以作为其第一个全连接层的输入，也可以作为其他任何一个全连接层的输入。在这种情况下，人工神经网络10B同时结合眼底图片信息(特征组合信息)和患者信息进行诊断，更加接近于医生的实际临床诊断过程，从而能够提高识别眼底图像病变的准确率。
需要说明的是，对于前述的各个方法示例，为了简单描述，将其表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明并不受所描述的动作顺序的限制，因为依据本申请，某一些步骤可以采用其他顺序或者同时进行。
在上述实施方式或示例中，对各个实施方式或示例的描述都各有侧重，某个实施方式或示例中没有详细描述的部分，可以参见其他实施方式或示例的相关描述。
另外，本发明所涉及的方法步骤可以根据实际需要进行顺序调整、合并和删减。本发明所涉及的装置中的单元或子单元可以根据实际需要进行合并、划分和删减。
本领域普通技术人员可以理解上述实施方式中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于计算机可读存储介质中，存储介质包括只读存储器(Read-Only Memory，ROM)、随机存储器(Random Access Memory，RAM)、可编程只读存储器(Programmable Read-only Memory，PROM)、可擦除可编程只读存储器(ErasableProgrammable Read Only Memory，EPROM)、一次可编程只读存储器(One-timeProgrammable Read-Only Memory，OTPROM)、电子抹除式可复写只读存储器(Electrically-Erasable Programmable Read-Only Memory，EEPROM)、只读光盘(CompactDisc Read-Only Memory，CD-ROM)或其他光盘存储器、磁盘存储器、磁带存储器、或者能够用于携带或存储数据的计算机可读的任何其他介质。
虽然以上结合附图和实施例对本发明进行了具体说明，但是可以理解，上述说明不以任何形式限制本发明。本领域技术人员在不偏离本发明的实质精神和范围的情况下可以根据需要对本发明进行变形和变化，这些变形和变化均落入本发明的范围内。

Claims (10)

1.一种基于眼底筛查的自动识别系统，其特征在于，包括：图像采集装置，其用于采集眼底图像，所述眼底图像包括来自于同一个人的目标眼底图像和参考眼底图像；以及自动识别装置，其基于深度学习方法对来自于所述图像采集装置的所述眼底图像进行处理，基于所述目标眼底图像和所述参考眼底图像来自动判断所述目标眼底图像是否存在病变并输出判断结果并对所述判断结果进行评级处理，所述目标眼底图像与所述参考眼底图像分别属于不同眼睛的眼底图像。
2.根据权利要求1所述的自动识别系统，其特征在于：
所述眼底图像有多幅，将多幅所述眼底图像中的任意一幅作为所述目标眼底图像，剩下的所述眼底图像作为所述参考眼底图像。
3.根据权利要求1所述的自动识别系统，其特征在于：
所述自动识别装置通过所述评级处理对所述目标眼底图像的病变进行判断并提供首次评级的筛查报告，以辅助医生基于所述筛查报告进行二次评级。
4.根据权利要求1所述的自动识别系统，其特征在于：
所述自动识别装置布置在云端服务器，所述图像采集装置与所述自动识别装置之间基于网络通信方式进行交互。
5.根据权利要求1所述的自动识别系统，其特征在于：
所述自动识别装置包括：预处理模块，其用于对所述目标眼底图像和所述参考眼底图像分别进行预处理；第一神经网络，其用于从所述目标眼底图像产生第一高级特征集；第二神经网络，其用于从所述参考眼底图像产生第二高级特征集；特征组合模块，其用于将所述第一高级特征集与所述第二高级特征集进行融合而形成特征组合集；以及第三神经网络，其用于根据所述特征组合集产生对病变的诊断结果。
6.根据权利要求5所述的自动识别系统，其特征在于：
所述预处理模块包括：用于检测所述目标眼底图像和所述参考眼底图像的规定眼底区域的区域检测单元；用于对所述目标眼底图像和所述参考眼底图像进行剪裁和尺寸调整的调整单元；以及对所述目标眼底图像和所述参考眼底图像进行归一化的归一化单元。
7.根据权利要求5所述的自动识别系统，其特征在于：
所述预处理模块包括扩增单元，所述扩增单元通过对所述眼底图像进行各种图像变换来进行样本扩增，所述图像变换的方式是对称变换、倒立变换、旋转变换、像素平移、图像对比度调整、图像亮度调整、图像颜色调整或图像锐度调整中的任一种。
8.根据权利要求5所述的自动识别系统，其特征在于：
所述特征组合模块对所述第一高级特征集和所述第二高级特征集进行线性或非线性变换来获得特征组合集。
9.根据权利要求1所述的自动识别系统，其特征在于：
在所述深度学习方法中，将所述目标眼底图像和所述参考眼底图像分别独立作为输入。
10.根据权利要求5所述的自动识别系统，其特征在于：
所述第三神经网络具有两层卷积层、两层池化层、三层全连接层和输出层。
CN202010359208.8A 2017-05-04 2017-08-05 基于眼底筛查的自动识别系统 Active CN111481166B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN2017103098344 2017-05-04
CN201710309834 2017-05-04
CN201710663218.9A CN108553079B (zh) 2017-05-04 2017-08-05 基于眼底图像的病变识别系统

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN201710663218.9A Division CN108553079B (zh) 2017-05-04 2017-08-05 基于眼底图像的病变识别系统

Publications (2)

Publication Number Publication Date
CN111481166A CN111481166A (zh) 2020-08-04
CN111481166B true CN111481166B (zh) 2021-11-26

Family

ID=60437270

Family Applications (5)

Application Number Title Priority Date Filing Date
CN201710653663.7A Active CN107423571B (zh) 2017-05-04 2017-08-03 基于眼底图像的糖尿病视网膜病变识别系统
CN201810242376.1A Active CN108172291B (zh) 2017-05-04 2017-08-03 基于眼底图像的糖尿病视网膜病变识别系统
CN201710663218.9A Active CN108553079B (zh) 2017-05-04 2017-08-05 基于眼底图像的病变识别系统
CN202010359208.8A Active CN111481166B (zh) 2017-05-04 2017-08-05 基于眼底筛查的自动识别系统
CN202010359211.XA Active CN111493814B (zh) 2017-05-04 2017-08-05 眼底病变的识别系统

Family Applications Before (3)

Application Number Title Priority Date Filing Date
CN201710653663.7A Active CN107423571B (zh) 2017-05-04 2017-08-03 基于眼底图像的糖尿病视网膜病变识别系统
CN201810242376.1A Active CN108172291B (zh) 2017-05-04 2017-08-03 基于眼底图像的糖尿病视网膜病变识别系统
CN201710663218.9A Active CN108553079B (zh) 2017-05-04 2017-08-05 基于眼底图像的病变识别系统

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN202010359211.XA Active CN111493814B (zh) 2017-05-04 2017-08-05 眼底病变的识别系统

Country Status (3)

Country Link
US (2) US11210789B2 (zh)
CN (5) CN107423571B (zh)
WO (1) WO2018201633A1 (zh)

Families Citing this family (71)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107423571B (zh) * 2017-05-04 2018-07-06 深圳硅基仿生科技有限公司 基于眼底图像的糖尿病视网膜病变识别系统
CN108771530B (zh) 2017-05-04 2021-03-30 深圳硅基智能科技有限公司 基于深度神经网络的眼底病变筛查系统
WO2019024568A1 (zh) * 2017-08-02 2019-02-07 上海市第六人民医院 眼底图像处理方法、装置、计算机设备和存储介质
CN108154505A (zh) * 2017-12-26 2018-06-12 四川大学 基于深度神经网络的糖尿病视网膜病变检测方法及装置
CN108197548A (zh) * 2017-12-27 2018-06-22 苏州体素信息科技有限公司 一种检测人眼屈光不正的方法、客户端和服务器
US11132797B2 (en) 2017-12-28 2021-09-28 Topcon Corporation Automatically identifying regions of interest of an object from horizontal images using a machine learning guided imaging system
JP7143862B2 (ja) * 2018-01-19 2022-09-29 株式会社ニコン 診断支援装置、学習装置、診断支援方法、学習方法及びプログラム
CN110097966B (zh) * 2018-01-30 2021-09-14 中国移动通信有限公司研究院 一种信息提醒方法、装置及终端设备
CN108305251A (zh) * 2018-02-01 2018-07-20 四川大学 一种乳腺癌检测方法与装置
US11948345B2 (en) * 2018-04-09 2024-04-02 Koninklijke Philips N.V. Ultrasound system with artificial neural network for retrieval of imaging parameter settings for recurring patient
CN108615051B (zh) * 2018-04-13 2020-09-15 博众精工科技股份有限公司 基于深度学习的糖尿病视网膜图像分类方法及系统
CN108392174B (zh) * 2018-04-19 2021-01-19 梁建宏 一种早产儿视网膜病变的自动检查方法及系统
CN108596895B (zh) * 2018-04-26 2020-07-28 上海鹰瞳医疗科技有限公司 基于机器学习的眼底图像检测方法、装置及系统
CN108634934B (zh) * 2018-05-07 2021-01-29 北京长木谷医疗科技有限公司 对脊柱矢状位图像进行处理的方法和设备
CN110335269A (zh) * 2018-05-16 2019-10-15 腾讯医疗健康(深圳)有限公司 眼底图像的类别识别方法和装置
CN109344808A (zh) * 2018-07-24 2019-02-15 中山大学中山眼科中心 一种基于深度学习的眼部图像处理系统
CN109119165A (zh) * 2018-08-27 2019-01-01 珠海为凡医疗信息技术有限公司 一种白内障患病风险检测方法、装置及电子设备
CN110875092B (zh) * 2018-08-31 2023-10-20 福州依影健康科技有限公司 一种基于远程眼底筛查的健康大数据服务方法和系统
CN109106333A (zh) * 2018-09-29 2019-01-01 广西南宁园丁医疗器械有限公司 一种自动调节式自助视力筛查系统及装置
CN109431452B (zh) * 2018-10-25 2021-08-13 武汉目明乐视健康科技有限公司 无人眼健康筛查仪
CN109472781B (zh) * 2018-10-29 2022-02-11 电子科技大学 一种基于串行结构分割的糖尿病视网膜病变检测系统
CN109464120A (zh) * 2018-10-31 2019-03-15 深圳市第二人民医院 一种糖尿病视网膜病变筛查方法、装置及存储介质
CN111199794B (zh) * 2018-11-19 2024-03-01 复旦大学附属眼耳鼻喉科医院 一种适用于高度近视白内障的手术智能决策系统及其建立方法
CN111292286B (zh) * 2018-11-21 2023-07-11 福州依影健康科技有限公司 糖网眼底特征数据变化的分析方法与系统，及存储设备
CN109658385A (zh) * 2018-11-23 2019-04-19 上海鹰瞳医疗科技有限公司 眼底图像判断方法及设备
EP3891697A1 (en) * 2018-12-05 2021-10-13 Stryker Corporation Systems and methods for displaying medical imaging data
CN109493954B (zh) * 2018-12-20 2021-10-19 广东工业大学 一种基于类别判别定位的sd-oct图像视网膜病变检测系统
CN109686440B (zh) * 2018-12-20 2023-12-05 深圳市新产业眼科新技术有限公司 一种在线智能诊断云平台及其运行方法和可读存储介质
CN109411086A (zh) * 2018-12-26 2019-03-01 深圳硅基智能科技有限公司 眼底图像病变的筛查系统
CN109767828B (zh) * 2019-01-23 2023-09-12 深圳市新产业眼科新技术有限公司 交互式在线诊断云平台及其运行方法和可读存储介质
CN111481165A (zh) * 2019-01-28 2020-08-04 上海市眼病防治中心 全自动智能眼底疾病诊断系统
CN111507981B (zh) * 2019-01-31 2021-07-13 数坤(北京)网络科技股份有限公司 图像处理方法和装置、电子设备、计算机可读存储介质
CN111724450B (zh) * 2019-03-20 2024-07-26 上海科技大学 基于深度学习的医学图像重构系统、方法、终端、及介质
CN109977905B (zh) * 2019-04-04 2021-08-06 北京百度网讯科技有限公司 用于处理眼底图像的方法和装置
CN109998476A (zh) * 2019-04-15 2019-07-12 上海交通大学医学院附属第九人民医院 一种用于眼部健康管理的便携式装置及其使用方法
CN109998474A (zh) * 2019-04-15 2019-07-12 上海交通大学医学院附属第九人民医院 一种识别血管痉挛的便携式装置及其使用方法
CN110327013B (zh) * 2019-05-21 2022-02-15 北京至真互联网技术有限公司 眼底图像检测方法、装置及设备和存储介质
CN110176297B (zh) * 2019-05-24 2020-09-15 南京博视医疗科技有限公司 一种智能眼底激光手术辅助诊断系统
CN110164552A (zh) * 2019-05-27 2019-08-23 苏州嘉展科技有限公司 一种大规模筛查糖尿病患者及追踪治疗成效的系统及方法
US11915826B2 (en) 2019-06-07 2024-02-27 Welch Allyn, Inc. Digital image screening and/or diagnosis using artificial intelligence
CN110432860B (zh) * 2019-07-01 2022-03-11 中山大学 基于深度学习识别广域眼底图中格变裂孔的方法和系统
CN110459299B (zh) * 2019-07-10 2023-06-27 中山大学 一种视网膜眼底彩色照片图像筛选方法
JP7558946B2 (ja) * 2019-07-31 2024-10-01 株式会社ニコン 情報処理システム、情報処理装置、情報処理方法、及びプログラム
CN110598652B (zh) * 2019-09-18 2022-04-22 上海鹰瞳医疗科技有限公司 眼底数据预测方法和设备
CN110729044B (zh) * 2019-10-08 2023-09-12 腾讯医疗健康(深圳)有限公司 糖网病变阶段识别模型的训练方法及糖网病变识别设备
CN111080630B (zh) * 2019-12-20 2024-03-08 腾讯医疗健康(深圳)有限公司 眼底图像检测设备、方法、装置及存储介质
CN111460991A (zh) * 2020-03-31 2020-07-28 科大讯飞股份有限公司 异常检测方法、相关设备及可读存储介质
CN111951933B (zh) * 2020-08-07 2023-01-17 平安科技（深圳）有限公司 眼底彩照图像分级方法、装置、计算机设备及存储介质
CN112053348A (zh) * 2020-09-03 2020-12-08 宁波市眼科医院 一种白内障诊断用眼底图像处理系统及方法
CN112006651A (zh) * 2020-09-10 2020-12-01 孙礼华 一种白内障手术辅助诊断系统及其方法
WO2022072513A1 (en) 2020-09-30 2022-04-07 Ai-Ris LLC Retinal imaging system
CN112381821A (zh) * 2020-12-08 2021-02-19 北京青燕祥云科技有限公司 一种智能手持式眼底相机以及图像分析方法
CN112233118A (zh) * 2020-12-15 2021-01-15 南京可信区块链与算法经济研究院有限公司 一种基于增量学习的眼底病变图像识别方法和系统
CN112652392A (zh) * 2020-12-22 2021-04-13 成都市爱迦科技有限责任公司 一种基于深度神经网络的眼底异常预测系统
CN113160119A (zh) * 2021-02-04 2021-07-23 广州中医药大学第一附属医院 一种基于深度学习的糖尿病视网膜病变图像分类方法
CN112869705A (zh) * 2021-02-05 2021-06-01 佛山科学技术学院 一种基于U-Net神经网络的眼底视盘分割方法
CN112869706A (zh) * 2021-02-24 2021-06-01 复旦大学 一种基于深度学习的双视野眼底图像融合方法
KR102569987B1 (ko) * 2021-03-10 2023-08-24 삼성전자주식회사 생체정보 추정 장치 및 방법
CN113011485B (zh) * 2021-03-12 2023-04-07 北京邮电大学 多模态多病种长尾分布眼科疾病分类模型训练方法和装置
CN115132326B (zh) * 2021-03-24 2024-08-30 深圳硅基智能科技有限公司 基于眼底图像的糖尿病视网膜病变的评估系统及评估方法
CN113077889A (zh) * 2021-03-31 2021-07-06 武开寿 一种人工智能眼病筛查服务方法和系统
CN113378794A (zh) * 2021-07-09 2021-09-10 博奥生物集团有限公司 一种眼象与症状信息的信息关联方法
CN113506284B (zh) * 2021-07-26 2023-05-09 电子科技大学 一种眼底图像微血管瘤检测装置、方法及存储介质
CN114451860A (zh) * 2022-01-27 2022-05-10 广东康软科技股份有限公司 一种基于深度学习的眼底病变诊断方法、系统及设备
CN114283143B (zh) * 2022-03-04 2022-05-06 北京鹰瞳科技发展股份有限公司 对眼底疾病的治疗效果进行预测的方法及其相关产品
CN114782452B (zh) * 2022-06-23 2022-11-01 中山大学中山眼科中心 一种荧光素眼底血管造影图像的处理系统及装置
CN114847871B (zh) * 2022-07-06 2022-10-18 北京鹰瞳科技发展股份有限公司 用于分析被检者的眼底变化趋势的方法、系统和相关产品
CN115482933B (zh) * 2022-11-01 2023-11-28 北京鹰瞳科技发展股份有限公司 用于对驾驶员的驾驶风险进行评估的方法及其相关产品
CN117274278B (zh) * 2023-09-28 2024-04-02 武汉大学人民医院（湖北省人民医院） 基于模拟感受野的视网膜图像病灶部位分割方法及系统
CN117877692B (zh) * 2024-01-02 2024-08-02 珠海全一科技有限公司 一种视网膜病变个性化差异分析方法
CN118675219A (zh) * 2024-08-23 2024-09-20 杭州聚秀科技有限公司 基于眼底图像的糖尿病视网膜病变小病灶检测方法及系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102930286A (zh) * 2012-09-18 2013-02-13 重庆大学 老年痴呆症图像早期诊断系统
CN104881683A (zh) * 2015-05-26 2015-09-02 清华大学 基于组合分类器的白内障眼底图像分类方法及分类装置
CN104992183A (zh) * 2015-06-25 2015-10-21 中国计量学院 自然场景中的显著目标的自动检测方法
CN106344005A (zh) * 2016-10-28 2017-01-25 张珈绮 一种可移动心电图监测系统及监测方法
CN106408562A (zh) * 2016-09-22 2017-02-15 华南理工大学 基于深度学习的眼底图像视网膜血管分割方法及系统
CN106530295A (zh) * 2016-11-07 2017-03-22 首都医科大学 一种视网膜病变的眼底图像分类方法和装置

Family Cites Families (40)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE10225855A1 (de) * 2002-06-07 2003-12-24 Zeiss Carl Jena Gmbh Verfahren und Anordnung zur Auswertung von mit einer Funduskamera aufgenommenen Bildern
JP4095494B2 (ja) * 2003-05-30 2008-06-04 キヤノン株式会社 眼科画像処理装置及び処理方法
JP4458935B2 (ja) * 2004-06-01 2010-04-28 株式会社ニデック 視野計
US8243999B2 (en) * 2006-05-03 2012-08-14 Ut-Battelle, Llc Method and system for the diagnosis of disease using retinal image content and an archive of diagnosed human patient data
JP2008206536A (ja) * 2007-02-23 2008-09-11 Iwasaki Gakuen 網膜画像による個人認証方式
CN101743566A (zh) * 2007-07-06 2010-06-16 布拉科成像S.P.A.公司 使用神经网络的图像处理
US20100211408A1 (en) * 2009-02-17 2010-08-19 Carl Hyunsuk Park Systems and methods for generating medical diagnoses
US20110103655A1 (en) * 2009-11-03 2011-05-05 Young Warren G Fundus information processing apparatus and fundus information processing method
SG10201407330UA (en) * 2009-11-16 2015-01-29 Agency Science Tech & Res Obtaining data for automatic glaucoma screening, and screening and diagnostic techniques and systems using the data
WO2011069137A1 (en) * 2009-12-04 2011-06-09 Lumetrics, Inc. Portable fundus camera
JP5725706B2 (ja) * 2009-12-16 2015-05-27 キヤノン株式会社 眼科装置、画像生成方法およびプログラム。
BR112013012981A2 (pt) * 2010-11-26 2016-12-06 Koninkl Philips Electronics Nv aparelho de processamento de imagem, estação de trabalho, aparelhos de imagem, método de criação e produto de programa de computador
JP5687073B2 (ja) * 2011-01-07 2015-03-18 株式会社トプコン 走査型眼科撮影装置
JP5546593B2 (ja) * 2011-09-02 2014-07-09 キヤノン株式会社 画像表示装置及びその制御方法
JP6188297B2 (ja) * 2012-01-25 2017-08-30 キヤノン株式会社 画像処理装置、画像処理方法およびプログラム
US8985771B2 (en) * 2013-01-08 2015-03-24 Altek Corporation Image capturing apparatus and capturing method
JP6222835B2 (ja) * 2013-02-14 2017-11-01 東芝メディカルシステムズ株式会社 Ｘ線診断装置
US9462945B1 (en) * 2013-04-22 2016-10-11 VisionQuest Biomedical LLC System and methods for automatic processing of digital retinal images in conjunction with an imaging device
CN103500331B (zh) * 2013-08-30 2017-11-10 北京智谷睿拓技术服务有限公司 提醒方法及装置
KR20150029451A (ko) * 2013-09-10 2015-03-18 엘지전자 주식회사 이동 단말기 및 이의 제어방법
CN103499886B (zh) * 2013-09-30 2015-07-08 北京智谷睿拓技术服务有限公司 成像装置和方法
US9905008B2 (en) * 2013-10-10 2018-02-27 University Of Rochester Automated fundus image field detection and quality assessment
US9002085B1 (en) * 2013-10-22 2015-04-07 Eyenuk, Inc. Systems and methods for automatically generating descriptions of retinal images
US9737207B2 (en) * 2013-12-05 2017-08-22 Shenzhen Certainn Technology Co., Ltd. Method for quick switching to realize anterior and posterior eye segments imaging
CN104102349B (zh) * 2014-07-18 2018-04-27 北京智谷睿拓技术服务有限公司 内容分享方法和装置
WO2016040317A1 (en) * 2014-09-08 2016-03-17 The Cleveland Clinic Foundation Automated analysis of angiographic images
US10405739B2 (en) * 2015-10-23 2019-09-10 International Business Machines Corporation Automatically detecting eye type in retinal fundus images
CN106056595B (zh) * 2015-11-30 2019-09-17 浙江德尚韵兴医疗科技有限公司 基于深度卷积神经网络自动识别甲状腺结节良恶性的辅助诊断系统
CN105513077B (zh) * 2015-12-11 2019-01-04 北京大恒图像视觉有限公司 一种用于糖尿病性视网膜病变筛查的系统
CN106096616A (zh) * 2016-06-08 2016-11-09 四川大学华西医院 一种基于深度学习的磁共振影像特征提取及分类方法
US10755171B1 (en) * 2016-07-06 2020-08-25 Google Llc Hiding and detecting information using neural networks
WO2018045363A1 (en) * 2016-09-02 2018-03-08 Gargeya Rishab Screening method for automated detection of vision-degenerative diseases from color fundus images
CN106408564B (zh) * 2016-10-10 2019-04-02 北京新皓然软件技术有限责任公司 一种基于深度学习的眼底图像处理方法、装置及系统
CN106570530A (zh) * 2016-11-10 2017-04-19 西南交通大学 一种眼底影像中硬性渗出提取的方法
CN110235138B (zh) * 2016-12-05 2023-09-05 摩托罗拉解决方案公司 用于外观搜索的系统和方法
US11200973B2 (en) * 2017-01-09 2021-12-14 International Business Machines Corporation System, for food intake control
US10660576B2 (en) * 2017-01-30 2020-05-26 Cognizant Technology Solutions India Pvt. Ltd. System and method for detecting retinopathy
CN106934798B (zh) * 2017-02-20 2020-08-21 苏州体素信息科技有限公司 基于深度学习的糖尿病视网膜病变分类分级方法
CN108771530B (zh) * 2017-05-04 2021-03-30 深圳硅基智能科技有限公司 基于深度神经网络的眼底病变筛查系统
CN107423571B (zh) 2017-05-04 2018-07-06 深圳硅基仿生科技有限公司 基于眼底图像的糖尿病视网膜病变识别系统

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102930286A (zh) * 2012-09-18 2013-02-13 重庆大学 老年痴呆症图像早期诊断系统
CN104881683A (zh) * 2015-05-26 2015-09-02 清华大学 基于组合分类器的白内障眼底图像分类方法及分类装置
CN104992183A (zh) * 2015-06-25 2015-10-21 中国计量学院 自然场景中的显著目标的自动检测方法
CN106408562A (zh) * 2016-09-22 2017-02-15 华南理工大学 基于深度学习的眼底图像视网膜血管分割方法及系统
CN106344005A (zh) * 2016-10-28 2017-01-25 张珈绮 一种可移动心电图监测系统及监测方法
CN106530295A (zh) * 2016-11-07 2017-03-22 首都医科大学 一种视网膜病变的眼底图像分类方法和装置

Also Published As

Publication number Publication date
CN111493814B (zh) 2021-11-12
CN108172291B (zh) 2020-01-07
CN107423571A (zh) 2017-12-01
US20200160521A1 (en) 2020-05-21
CN107423571B (zh) 2018-07-06
WO2018201633A1 (zh) 2018-11-08
CN111481166A (zh) 2020-08-04
CN108553079B (zh) 2020-06-02
US20220076420A1 (en) 2022-03-10
US11210789B2 (en) 2021-12-28
CN108172291A (zh) 2018-06-15
US12114929B2 (en) 2024-10-15
CN108553079A (zh) 2018-09-21
CN111493814A (zh) 2020-08-07

Similar Documents

Publication Publication Date Title
CN111481166B (zh) 基于眼底筛查的自动识别系统
CN108771530B (zh) 基于深度神经网络的眼底病变筛查系统
US11276497B2 (en) Diagnosis assistance system and control method thereof
KR102212500B1 (ko) 안저 이미지 관리 장치 및 안저 이미지의 품질 판단 방법
US20180360305A1 (en) Method and system for classifying optic nerve head
CN112017185B (zh) 病灶分割方法、装置及存储介质
US11887299B2 (en) Image processing system and image processing method
Phridviraj et al. A bi-directional Long Short-Term Memory-based Diabetic Retinopathy detection model using retinal fundus images
Raga A smartphone based application for early detection of diabetic retinopathy using normal eye extraction
Vij et al. A Systematic Review on Deep Learning Techniques for Diabetic Retinopathy Segmentation and Detection Using Ocular Imaging Modalities
Hakeem et al. Inception V3 and CNN Approach to Classify Diabetic Retinopathy Disease
Ali et al. Classifying Three Stages of Cataract Disease using CNN
Abbood et al. Automatic classification of diabetic retinopathy through segmentation using cnn
Kaur et al. Survey on various Feature Detection and Feature Selection Methods using Retinopathy Images
Sitienei Applying Artificial Intelligence and Mobile Technologies to Enable Practical Screening for Diabetic Retinopathy
Abualigah et al. Hybrid Classification Approach Utilizing DenseUNet+ for Diabetic Macular Edema Disorder Detection.
CN114764777A (zh) 影像处理系统及影像处理方法
CN114187646A (zh) 一种眼外观图像的识别系统
CN116596871A (zh) 一种眼科图像的质量评价方法
Anber Diagnosing Diabetic Retinopathy from Colored Fundus Images
Phridviraj et al. Healthcare Analytics
Giancardo Docteur de l’université

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant