CN111863241B - 一种基于集成深度学习的眼底照分类系统 - Google Patents

一种基于集成深度学习的眼底照分类系统 Download PDF

Info

Publication number
CN111863241B
CN111863241B CN202010662283.1A CN202010662283A CN111863241B CN 111863241 B CN111863241 B CN 111863241B CN 202010662283 A CN202010662283 A CN 202010662283A CN 111863241 B CN111863241 B CN 111863241B
Authority
CN
China
Prior art keywords
cup
fundus
target
optic
fiber layer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010662283.1A
Other languages
English (en)
Other versions
CN111863241A (zh
Inventor
徐永利
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Suzhou Zichuan Information Technology Co ltd
Original Assignee
Beijing University of Chemical Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing University of Chemical Technology filed Critical Beijing University of Chemical Technology
Priority to CN202010662283.1A priority Critical patent/CN111863241B/zh
Publication of CN111863241A publication Critical patent/CN111863241A/zh
Application granted granted Critical
Publication of CN111863241B publication Critical patent/CN111863241B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/70—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30041—Eye; Retina; Ophthalmic
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Biomedical Technology (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Primary Health Care (AREA)
  • Epidemiology (AREA)
  • Computational Linguistics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Radiology & Medical Imaging (AREA)
  • Databases & Information Systems (AREA)
  • Molecular Biology (AREA)
  • Pathology (AREA)
  • Biophysics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Multimedia (AREA)
  • Quality & Reliability (AREA)
  • Eye Examination Apparatus (AREA)

Abstract

本发明实施例提供一种基于集成深度学习的眼底照分类系统，包括：预诊断分类网络、分割网络和最终诊断模块，其中：预诊断分类网络基于目标眼底照的全局信息获得初始诊断结果；分割网络基于初始诊断结果，对目标眼底照的视盘、视杯和视神经纤维层状态做图像分割；最终诊断模块基于视盘、视杯和视神经纤维层状态分割的结果，提取垂直杯盘比和ISNT评分，并基于垂直杯盘比、ISNT评分和视神经纤维层缺损状态，获取并显示目标眼底照的最终类别。本发明实施例首先对目标眼底照进行青光眼的预诊断，并选择合适的目标分割网络，从而提高了分割精度；进行青光眼判断时，结合多种能反应盘沿形态的量化指标，进一步提高了分类结果的准确度。

Description

一种基于集成深度学习的眼底照分类系统
技术领域
本发明涉及计算机技术领域，尤其涉及一种基于集成深度学习的眼底照分类系统。
背景技术
在基于眼底照的青光眼的AI诊断领域，主要有两类深度学习方法：深度分类网络和深度分割网络。深度分类网络是一类端到端的青光眼诊断网络，这类深度网络能够从眼底照提取特征并做出青光眼诊断。然而，这类网络所提取的特征及其诊断逻辑对医生是不透明的。另外，这类网络的训练需要数万例的训练样本。
深度分割网络是一类图像分割网络，能够从眼底照分割出视盘和视杯。进而，计算垂直杯盘比(vertical cup-to-disk ratio，简称VCDR)并基于VCDR做出青光眼诊断。这类方法有三点限制：首先，这类网络分割的视杯与医生标注的视杯还具有较大的偏差；其次，仅利用VCDR不足以反映盘沿形态的完整信息；最后，没有利用视盘以外的信息。从而导致现有技术中利用AI诊断青光眼的准确率不高。
因此，亟需一种具有精准性和可解释性的眼底照分类系统。
发明内容
为了解决上述问题，本发明实施例提供一种基于集成深度学习的眼底照分类系统。
第一方面，本发明实施例提供一种基于集成深度学习的眼底照分类系统，所述眼底照分类系统为融合深度分类网络和深度分割网络的集成系统，包括：预诊断分类网络、分割网络和最终诊断模块，其中：
所述预诊断分类网络用于基于目标眼底照的全局信息获得初始诊断结果；
所述分割网络用于基于所述初始诊断结果，对所述目标眼底照的视盘、视杯和视神经纤维层状态做图像分割；
所述最终诊断模块用于基于视盘、视杯和视神经纤维层状态分割的结果，提取所述目标眼底照的垂直杯盘比和所述目标眼底照的ISNT评分，并基于所述垂直杯盘比、所述ISNT评分和视神经纤维层缺损状态，获取并显示所述目标眼底照的最终类别，所述最终诊断模块具备透明性和可解释性，所述眼底照分类系统预测的中间过程和医生的诊断逻辑相对应。
优选地，所述预诊断分类网络和所述分割网络进行配合，以提高所述目标眼底照中视杯分割准确性的方法，具体如下：
所述分割网络对目标眼底照中的视杯进行分割时，分为通用视杯分割网络和优化视杯分割网络两种，所述通用视杯分割网络对正常眼的预测准确性大于对青光眼的预测准确性；所述优化视杯分割网络对正常眼的预测准确性小于对青光眼的预测准确性，配合使用所述预诊断分类网络、通用视杯分割网络、优化视杯分割网络，使得对正常眼和青光眼的视杯分割准确度都提高。
优选地，所述预诊断分类网络用于基于目标眼底照的全局信息获得初始诊断结果，具体包括：将目标眼底照输入到训练后的深度学习分类网络中，得到所述目标眼底照的初始预测类别，所述初始预测类别包括青光眼和正常眼，训练后的深度学习分类网络以眼底照为样本、以眼底照的实际类别为标签进行训练得到；
所述分割网络用于基于所述初始诊断结果，对所述目标眼底照的视盘、视杯和视神经纤维层状态做图像分割，具体包括：将所述目标眼底照输入到训练后的目标视盘分割网络中，获取所述目标眼底照的视盘，将所述目标眼底照输入到训练后的目标视杯分割网络中，获取所述目标眼底照的视杯，将所述目标眼底照输入到训练后的视神经纤维层分割网络中，获取所述目标眼底照的视神经纤维层状态，并将分割出的所述目标眼底照的视盘、视杯和视神经纤维层状态显示出来，训练后的目标视杯分割网络与所述初始预测类别对应，训练后的目标视盘分割网络以眼底照为样本、以眼底照中视盘实际位置为标签进行训练得到，训练后的目标视杯分割网络以眼底照为样本、以眼底照中的视杯实际位置为标签进行训练得到，训练后的视神经纤维层分割网络以眼底照为样本、以眼底照中视神经纤维的实际状态为标签进行训练得到，所述视神经纤维层状态包括存在视神经纤维层缺损和不存在视神经纤维层缺损；
所述最终诊断模块用于基于视盘、视杯和视神经纤维层状态分割的结果，提取所述目标眼底照的垂直杯盘比和所述目标眼底照的ISNT评分，并基于所述垂直杯盘比、所述ISNT评分和视神经纤维层缺损状态，获取并显示所述目标眼底照的最终类别；
所述最终诊断模块具备透明性和可解释性，所述眼底照分类系统预测的中间过程和医生的诊断逻辑相对应，具体包括：
根据所述目标眼底照的视盘、视杯和视神经纤维层状态，获取反映盘沿尺度的垂直杯盘比和反映盘沿形态的ISNT评分，并将所述垂直杯盘比和所述ISNT评分显示出来；
根据所述垂直杯盘比、所述ISNT评分和所述视神经纤维层状态，获取并显示所述目标眼底照的最终类别。
优选地，所述将所述目标眼底照输入到训练后的视神经纤维层分割网络中，获取所述目标眼底照的视神经纤维层状态，具体包括：
将所述目标眼底照输入到训练后生成器的卷积神经分割网络中，获取所述目标眼底照的视神经纤维层缺损概率图，其中，生成器由shuffle模块和所述卷积神经分割网络组成，shuffle模块用于随机改变所述训练眼底照中的RGB通道的顺序，并将重新排序后的训练眼底照输入到所述卷积神经分割网络中，以对所述卷积神经分割网络进行训练；
根据所述目标眼底照的视神经纤维层缺损概率图，获取所述目标眼底照的视神经纤维层状态；
其中，所述视神经纤维层分割网络由所述生成器和判别器组成，所述生成器和所述判别器在训练过程中进行对抗训练。
优选地，所述生成器的自适应加权损失函数如下：
Figure BDA0002579045200000041
其中，
Figure BDA0002579045200000042
表示第i个样本的第k类特征的权重，当眼底照训练样本中不存在视神经纤维层缺损时，则/>
Figure BDA0002579045200000043
当眼底照训练样本中存在视神经纤维层缺损时，则
Figure BDA0002579045200000044
θ、γ为平衡难易样本的权重参数，/>
Figure BDA0002579045200000045
表示第i个样本的第k类特征的预测结果和对应标注的相似程度，ε2表示无穷小量。
优选地，shuffle模块用于随机改变训练眼底照中的RGB通道的顺序具体包括：
所述shuffle模块对所述训练眼底照的RGB三个通道进行重新排序，将重排后的RGB三通道与紧邻卷积神经网络的特征图之间的连接按照预设概率随机失活，具体如下：
X＝[x1,x2,x3]表示所述训练眼底照的特征图，
Figure BDA0002579045200000046
表示重新排序后的训练眼底照的特征图；
Figure BDA0002579045200000047
eij∈{0,1}表示随机二值权重，eij满足如下条件：∑ieij＝1，∑jeij＝1，i＝1,2,3，j＝1,2,3；
Y＝[y1,y2,…,yn-1,yn]为所述卷积神经分割网络的第一层特征，n为所述卷积神经分割网络第一层特征的数量；
Figure BDA0002579045200000048
其中，wij表示所述卷积神经分割网络的权重，ri～Bernoulli(p),p∈[0,1]，ri表示出现的概率，当ri满足随机数∑iri≥2,i＝1,2,3时，ri才能用于所述卷积神经分割网络的训练，否则重新随机产生ri，bj是第j个特征的偏置，f表示ReLU激活函数。
优选地，所述根据所述垂直杯盘比、所述ISNT评分和所述视神经纤维层状态，获取并显示所述目标眼底照的最终类别，之前还包括：
利用SVM分类器对所述垂直杯盘比和所述ISNT评分进行分类，获取分类结果。
优选地，所述根据所述垂直杯盘比、所述ISNT评分和所述视神经纤维层状态，获取并显示所述目标眼底照的最终类别，具体包括：
若所述垂直杯盘比不小于第一预设阈值，判断所述目标眼底照为青光眼；
若所述垂直杯盘比不大于第二预设阈值，判断所述目标眼底照为正常眼；
若所述垂直杯盘比位于所述第一预设阈值和所述第二预设阈值之间，且存在视神经纤维层缺损，判断所述目标眼底照为青光眼；
若所述垂直杯盘比位于所述第一预设阈值和所述第二预设阈值之间，且不存在视神经纤维层缺损，且所述分类结果在预设分类线之上，判断所述目标眼底照为正常眼；
若所述垂直杯盘比位于所述第一预设阈值和所述第二预设阈值之间，且不存在视神经纤维层缺损，且所述分类结果在预设分类线之下，判断所述目标眼底照为青光眼。
本发明实施例提供的一种基于集成深度学习的眼底照分类系统，首先对目标眼底照进行青光眼的预诊断，并且根据预诊断的结果选择合适的目标分割网络，从而提高了视杯、视盘和视神经纤维层状态的分割精度；另外，最后进行青光眼判断时，结合多种能反应盘沿形态的量化指标，根据多个量化指标，综合对目标眼底照是否为青光眼进行判断，进一步提高了分类结果的准确度。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为医生判断青光眼的过程示意图；
图2为本发明实施例提供的一种基于集成深度学习的眼底照分类系统的结构示意图；
图3为本发明实施例中视神经纤维层缺损分割的生成器和判别器的网络结构示意图；
图4为本发明实施例展示的眼底照分类系统的中间结果示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
医生一般基于眼底照做青光眼判断，需要以视盘为主的多方面特征进行综合判断，如：视盘特征、盘沿形态、杯盘比、盘沿出血、萎缩弧、神经纤维层缺损(RNFLD)等等。其中，视杯的分割是判断的关键和难点，对于一张二维图像来说，其有限的信息量使得医生对有些眼底像进行准确的视盘界限分割仍旧十分困难。
而青光眼视盘特征往往并非孤立存在，如盘沿出血处往往伴随相应处盘沿的丢失以及神经纤维层的缺损，这些其它特征的存在对于盘沿位置的界定提供了提示和帮助。因此，本发明实施例综合多种能反应盘沿状态的量化指标，根据多种量化指标对目标眼底照是否为青光眼进行综合判断，从而与传统单一指标相比，提高了青光眼的判断准确率。并且本发明实施例按照医生的诊断思维，从众多指标中选取出垂直杯盘比和ISNT评分两个指标，因为这两个指标是医生在用肉眼诊断病人时主要观察的两个方面，本发明实施例将医生的抽象诊断思维量化出来，用这两个指标表示，将专家的思想提炼成数学指标，体现了专家思维逻辑。最后还可以展示出符合医师习惯的AI预测的中间过程，有助于医师了解AI预测的诊断逻辑。
本发明实施例设计了一种基于集成深度学习的眼底照分类系统，这一系统全面模拟青光眼专家的判断思维，融合眼底照中的视杯、视盘、视神经纤维层缺损等特征，最终以医生可理解的形式输出判断依据和判断结果。
图1为医生判断青光眼的过程示意图，如图1所示，首先，医生确定目标眼底照中的视盘的位置，是否存在萎缩弧和出血等症状，进而确定视杯的位置和是否存在RNFLD，最终综合分析以上信息做出青光眼诊断。然而，二维眼底照所包含的视杯的三维信息是不完全的，这使得医生对有些眼底像进行准确的视杯分割十分困难。此时，医生会综合考虑眼底照的全局信息，特别是根据RNFLD来确定视杯位置。实际上，视杯的确定和青光眼的诊断是同一个过程，这一过程是一个从“假设”到“确认”的过程。
本发明实施例设计的集成深度学习分类系统模拟青光眼专家的分类思维，这一系统包含预诊断分类网络、基于预诊断的图像分割网络以及基于专家知识的最终诊断三个步骤。
图2为本发明实施例提供的一种基于集成深度学习的眼底照分类系统的结构示意图，如图2所示，该系统包括预诊断分类网络201、分割网络202和最终诊断模块203，其中：
所述预诊断分类网络201用于基于目标眼底照的全局信息获得初始诊断结果；
所述分割网络202用于基于所述初始诊断结果，对所述目标眼底照的视盘、视杯和视神经纤维层状态做图像分割；
所述最终诊断模块203用于基于视盘、视杯和视神经纤维层状态分割的结果，提取所述目标眼底照的垂直杯盘比和所述目标眼底照的ISNT评分，并基于所述垂直杯盘比、所述ISNT评分和视神经纤维层缺损状态，获取并显示所述目标眼底照的最终类别，所述最终诊断模块具备透明性和可解释性，所述眼底照分类系统预测的中间过程和医生的诊断逻辑相对应。
具体地，预诊断分类网络具体过程如下：将目标眼底照输入到训练后的深度学习分类网络中，得到所述目标眼底照的初始预测类别，所述初始预测类别包括青光眼和正常眼，训练后的深度学习分类网络以眼底照为样本、以眼底照的实际类别为标签进行训练得到。
首先将目标眼底照输入到训练后的深度学习分类网络中，得到该目标眼底照是正常眼还是青光眼，训练后的深度学习分类网络是利用多张训练样本对深度学习分类网络进行训练后得到，具体地，本发明实施例中利用2000张眼底照为样本、每张眼底照的实际类别为标签进行训练得到，这2000张眼底照中，既包括正常眼的眼底照，也包括青光眼的眼底照，正常眼的眼底照对应的标签为0，青光眼的眼底照对应的标签为1，对深度学习分类网络进行训练，得到训练后的深度学习分类网络。
分割网络具体过程如下：将所述目标眼底照输入到训练后的目标视盘分割网络中，获取所述目标眼底照的视盘，将所述目标眼底照输入到训练后的目标视杯分割网络中，获取所述目标眼底照的视杯，将所述目标眼底照输入到训练后的视神经纤维层分割网络中，获取所述目标眼底照的视神经纤维层状态，并将分割出的所述目标眼底照的视盘、视杯和视神经纤维层状态显示出来，训练后的目标视杯分割网络与所述初始预测类别对应，训练后的目标视盘分割网络以眼底照为样本、以眼底照中视盘实际位置为标签进行训练得到，训练后的目标视杯分割网络以眼底照为样本、以眼底照中的视杯实际位置为标签进行训练得到，训练后的视神经纤维层分割网络以眼底照为样本、以眼底照中视神经纤维的实际状态为标签进行训练得到，所述视神经纤维层状态包括存在视神经纤维层缺损和不存在视神经纤维层缺损。
首先对目标眼底照中的视盘进行分割，将目标眼底照输入到训练后的目标视盘分割网络中，得到目标眼底照中的视盘。
将目标眼底照输入到训练后的目标视杯分割网络中，得到目标眼底照分割出的视杯。由于视杯的分割会受到青光眼和正常眼的影响，因此，在对视杯进行分割之前，需要先根据初始预测类别选择相应的目标视杯分割网络，具体地，初始预测类别为正常眼和初始预测类别为青光眼对应的目标视杯分割网络的网络参数是不同的，本发明实施例根据预诊断的不同结果，选择相应的目标视杯分割网络，与传统的分割方法相比，提高了分割精度。
将目标眼底照输入到训练后的视神经纤维层分割网络中，得到目标眼底照中的视神经纤维层状态，视神经纤维层状态包括缺损和不缺损两种状态，训练后的视神经纤维层分割网络以多张正常眼和青光眼的眼底照为样本，每张眼底照的视神经纤维层状态也被标注出来，以被标注出来的视神经纤维层状态作为标签，对视神经纤维层分割网络进行训练，得到训练后的视神经纤维层分割网络。
最终分割模块203具体过程如下：根据所述目标眼底照的视盘、视杯和视神经纤维层状态，获取反映盘沿尺度的垂直杯盘比和反映盘沿形态的ISNT评分，并将所述垂直杯盘比和所述ISNT评分显示出来。
根据目标眼底照中分割出的视杯和视盘，计算出能反映盘沿形态的多个量化指标，用来刻画盘沿尺度的垂直杯盘比(VCDR)指标和用来体现盘沿形态符合ISNT rule程度的ISNT评分指标，本申请中根据目标眼底照的VCDR指标和ISNT评分指标，通过这两个指标的取值、以及分类后所在的类别，再结合前面分割得到的视神经纤维层状态，对目标眼底照进行一个最终的分类，判断出目标眼底照是正常眼还是青光眼。
根据所述垂直杯盘比、所述ISNT评分和所述视神经纤维层状态，获取并显示所述目标眼底照的最终类别。
根据得到的垂直杯盘比、ISNT评分和视神经纤维层状态，显示目标眼底照的最终类别。
本发明实施例提供的一种基于集成深度学习的眼底照分类系统，首先对目标眼底照进行青光眼的预诊断，并且根据预诊断的结果选择合适的目标分割网络，从而提高了视杯、视盘和视神经纤维层状态的分割精度；另外，最后进行青光眼判断时，结合多种能反应盘沿形态的量化指标，根据多个量化指标，综合对目标眼底照是否为青光眼进行判断，进一步提高了分类结果的准确度。
具体地，对目标视盘分割网络的训练过程如下：
将2000张既包括正常眼眼底照也包括青光眼眼底照，对眼底照的视盘、位置进行手动标注，作为视盘实际位置，对目标视盘分割网络进行训练，得到训练后的目标视盘分割网络。训练后的目标视盘分割网络用于模拟医生对视盘的精准分割。
对目标视杯分割网络、视神经纤维层分割网络的训练过程同理。
具体地，本发明实施例中深度学习分类网络的模型为InceptionV3经典卷积神经网络。在本发明实施例中，InceptionV3的输入是眼底照，Inception V3的输出是[0，1]之间的概率值。0标签代表正常眼和1标签代表青光眼。本发明实施例将2000张眼底照和其对应的青光眼标签作为训练集，来训练InceptionV3。训练集和测试集的眼底照是2D彩色眼底照。
由于原始眼底照尺寸太大，直接作为InceptionV3网络会占用大量的计算内存，本发明实施例将训练集和测试集经过一致的预处理压缩到256×256的尺度。训练过程中为了增强InceptionV3的泛化性能，通用的数据增强技术被使用，如平移、旋转和翻转等技术。InceptionV3的损失函数使用的是交叉熵损失函数，其相应的优化方法是Adam的优化方法。
在上述实施例的基础上，优选地，所述将所述目标眼底照输入到训练后的目标视杯分割网络中，获取所述目标眼底照的视杯，具体包括：
若所述初始预测类别为正常眼，目标视杯分割网络为通用视杯分割网络，将所述目标眼底照输入到训练后的通用视杯分割网络中，获取所述目标眼底照的视杯，所述训练后的通用视杯分割网络以眼底照为样本、以眼底照中的视杯实际位置为标签进行训练得到；
若所述初始预测类别为青光眼，将所述目标眼底照输入到训练后的优化视杯分割网络中，获取所述目标眼底照的视杯，其中，训练后的优化视杯分割网络通过如下方式获得：
以青光眼的眼底照为样本、以青光眼的眼底照中视杯实际位置为标签，对训练后的通用视杯分割网络重新进行训练，获取训练后的优化视杯分割网络。
如果初始预测类别为青光眼，本发明实施例中需要对前面得到的通用视杯分割网络进行优化，使得优化后的通用视杯分割网络对青光眼的眼底照分割能力更强，精度更高，进一步将优化后的通用视杯分割网络重新作为青光眼对应的目标视杯分割网络，此时，目标视杯网络即为优化视杯分割网络。
本发明实施例中利用青光眼的眼底照对通用视杯分割网络加强训练，提高了对青光眼眼底照的分割精度。对于初始预测类别为正常眼的眼底照，使用通用视杯分割网络进行视杯分割；对于初始预测类别为青光眼的眼底照，使用优化视杯分割网络进行视杯分割，这样使得对某些疑似青光眼然而二维信息不足的视杯的分割更为精准。
具体地，使用经典的医学图像分割网络U-Net来提取视盘或视杯的区域，视盘或视杯的分割是对眼底照中像素对像素的区域分类。本发明实施例视盘和视杯的分割目标共有三类，分别为：视盘、视杯和背景。U-Net医学图像分割网络的输入是眼底照原图，其输出是视盘或视杯的分割图。训练集由2000张眼底照和其对应的视盘、视杯的标注组成。通过通用的卷积神经网络训练策略，训练出一个通用的视盘、视杯分割网络U-Net。
在上述实施例的基础上，优选地，所述将所述目标眼底照输入到训练后的视神经纤维层分割网络中，获取所述目标眼底照的视神经纤维层状态，具体包括：
将所述目标眼底照输入到训练后生成器的卷积神经分割网络中，获取所述目标眼底照的视神经纤维层缺损概率图，其中，生成器由shuffle模块和所述卷积神经分割网络组成，shuffle模块用于随机改变训练眼底照中的RGB通道的顺序，并将重新排序后的训练眼底照输入到所述卷积神经分割网络中，以对所述卷积神经分割网络进行训练；
根据所述目标眼底照的视神经纤维层缺损概率图，获取所述目标眼底照的视神经纤维层状态；
其中，所述视神经纤维层分割网络由所述生成器和判别器组成，所述生成器和所述判别器在训练过程中进行对抗训练。
视神经纤维层分割网络中包括判别器和生成器，将目标眼底照输入到视神经纤维层分割网络中，得到目标眼底照的视神经纤维层状态，具体如下：
将目标眼底照输入到训练后生成器的卷积神经分割网络中，得到目标眼底照的视神经纤维层缺损概率图，并根据该视神经纤维缺损概率图，可以计算出目标眼底照中视神经纤维层状态是缺损还是未缺损的。
具体地，本发明实施例中，生成器由shuffle模块和卷积神经分割网络组成，视神经纤维层分割网络由生成器和判别器组成。对生成器进行训练时，要结合视神经纤维层分割网络中的判别器，一起进行对抗训练。
在上述实施例的基础上，优选地，对抗训练中所述生成器的自适应加权损失函数如下：
Figure BDA0002579045200000121
其中，
Figure BDA0002579045200000122
表示第i个样本的第k类特征的权重，当眼底照训练样本中不存在视神经纤维层缺损时，则/>
Figure BDA0002579045200000123
当眼底照训练样本中存在视神经纤维层缺损时，则
Figure BDA0002579045200000124
θ、γ为平衡难易样本的权重参数，/>
Figure BDA0002579045200000125
表示第i个样本的第k类特征的预测结果和对应标注的相似程度，ε2表示无穷小量。
具体地，图3为本发明实施例中视神经纤维层缺损分割的生成器和判别器的网络结构示意图，如图3所示，本发明实施例中的生成器的作用是根据输入的眼底照，得到该眼底照的视神经纤维层缺损概率图。判别器的作用为判断输入的眼底照是来自医生标注的视神经纤维层缺损概率图，还是来自生成器得到的视神经纤维层缺损概率图。
由于生成器的损失函数由判别器的对抗损失和生成器的分割精度损失两部分组成，训练的目的是为了使生成器的损失函数最小，当训练后，生成器得到的视神经纤维层缺损概率图和医生标注的视神经纤维层缺损概率图的相似度较高，使得判别器无法判断出视神经纤维层缺损概率图来自哪里。
通过优化混合的损失函数，使得判别提高区分输入的视神经纤维层缺损来源的能力。通过这种对抗学习，生成器和判别器的能力都得到增强，从而使得生成器能预测出符合医生感知的视神经纤维层状态分割结果，最大程度的提高了生产期对视神经纤维层状态的分割能力。
具体地，本发明实施例中生成器的模型结构如下：
首先，生成器由shuffle模块和U-Net网络组成。shuffle模块的输入是原始眼底照的RGB三个通道。RGB三个通道在shuffle模块中首先会随机改变位置顺序进行重新排序，随机排序共有6种全排列排序的方式，例如BGR、GRB等排序方式。特征重排可以有效避免编码网络只关注某一个缺损信息显著的通道。同时，随机打乱后的特征通道和U-Net网络的输入特征通道之间的连接按照一定概率出现随机失活。
在上述实施例的基础上，优选地，shuffle模块用于随机改变训练眼底照中的RGB通道的顺序具体包括：
所述shuffle模块对所述训练眼底照的RGB三个通道进行重新排序，将重排后的RGB三通道与紧邻卷积神经网络的特征图之间的连接按照预设概率随机失活，具体如下：
X＝[x1,x2,x3]表示所述训练眼底照的特征图，
Figure BDA0002579045200000141
表示重新排序后的训练眼底照的特征图，X以0.5的概率发生特征重排变换成/>
Figure BDA0002579045200000142
Figure BDA0002579045200000143
eij∈{0,1}表示随机二值权重，eij满足如下条件：∑ieij＝1，∑jeij＝1，i＝1,2,3，j＝1,2,3；
Y＝[y1,y2,…,yn-1,yn]为所述卷积神经分割网络的第一层特征，n为所述卷积神经分割网络第一层特征的数量；
Figure BDA0002579045200000144
其中，wij表示所述卷积神经分割网络的权重，ri～Bernoulli(p),p∈[0,1]，ri表示出现的概率，当ri满足随机数∑iri≥2,i＝1,2,3时，ri才能用于所述卷积神经分割网络的训练，否则重新随机产生ri，bj是第j个特征的偏置，f表示ReLU激活函数。
本发明实施例中判别器的模型结构如下：本框架的判别器网络是一个卷积分类网络。它的主体部分由10个卷积层、4个池化层和1个全局池化层组成。卷积层是由步长为2的3×3的卷积核构成。每个卷积层后都紧跟着一个ReLU激活函数。通过使用padding操作，卷积运算不改变特征图的大小。特征图经过池化层后，特征图的高度和宽度都减小到了原来的1/2。
此外本发明实施例使用了全局池化层代替了传统的全连接层。其网络结构如图3所示。判别器网络的输入为眼底照(x)和视神经纤维层缺损分割概率图构成的四通道结构体。
其中，医生标注的样本表示为(x,y)，生成器产生的样本表示为(x,G(x))。这里，x、y、G(x)的大小分别是(H,W,3)、(H,W,1)和(H,W,1)。其中，H和W分别表示眼底照的高度和宽度。
判别器的输出是由sigmoid函数映射到[0,1]之间的实数值，表示判别器网络将输入判别为Groundtruth的概率。判别器的损失函数为：
Figure BDA0002579045200000145
在训练判别器的过程中，生成器G的参数保持不变，通过最小化判别器的损失函数LossD来优化更新判别器D的网络参数。
判别器的优化目标是将生成器产生的视神经纤维层缺损概率图和视神经纤维层缺损的Groundtruth准确区分开，并将判别的结果反馈给生成器，辅助生成器产生在几何形态上更相似于Groundtruth的视神经纤维层缺损概率图。
与传统的U-Net网络相比较，本发明实施例在U-Net的编码网络和解码网络中有以下不同。首先本发明实施例使用了深度可分离卷积代替了传统的卷积。每个可分离卷机后面都紧跟着一个ReLU激活函数和BN层。相邻的两个可分离卷积之间引入了短接用于残差修正。深度可分离卷积可以将卷积层通道间的相关性和空间相关性解耦，将它们分开映射，实现了更高效的特征提取。
其次本发明实施例组合了多层语义信息用于最终的特征预测。它的优点是能够融合由粗特征到细的特征进一步提升了分割的性能，同时它的损失能够直接反向传播到编码网络进而加速了网络的训练。
生成器的总损失构成如下：
生成器的总的损失函数LossG包括对抗损失Lossadv和分割精度损失Lseg两部分：
LossG＝Lossadv+λLseg(G)，
其中，对抗损失是基于判别器的预测结果定义的：
Figure BDA0002579045200000151
分割精度损失Lseg是基于生成器产生的概率图与医生标注在像素级别的差异定义的，λ是用于平衡Lossadv和Lseg的参数。
在对抗损失Lossadv的表达式中，1-D(x,G(x))表示判别器将G(x)判别为“伪样本”的概率。生成器通过最小化Lossadv调整网络参数，产生使得判别器难于区分的视神经纤维层缺损概率图。
分割精度损失Lseg(G)由目标(视神经纤维层缺损)分割损失和背景分割损失构成。它将视纤维层缺损目标定义为第1类对象，将背景定义为第2类对象，k代表类别(k＝1,2)。
首先定义在一张眼底照中，这两类对象分割的真阳性和假阴性，假阳性如下：
Figure BDA0002579045200000161
Figure BDA0002579045200000162
Figure BDA0002579045200000163
其中，k表示对象类别的标号，i表示样本的序号，j表示像素的序号，N表示第i个样本像素的总个数。
这里，
Figure BDA0002579045200000164
表示生成网络预测第i个样本的第j个像素属于第k类特征的目标区域的概率，/>
Figure BDA0002579045200000165
表示第i个样本的第j个像素作为第k类特征的真正标号。基于以上/>
Figure BDA0002579045200000166
的定义，可以定义第i个样本的第k类特征的DICE值：
Figure BDA0002579045200000167
考虑到正常人的眼底照不存在视纤维层缺损，此时可能出现
Figure BDA0002579045200000168
Figure BDA0002579045200000169
均为0的情况。为了避免/>
Figure BDA00025790452000001610
的表达式中分母为0的情况出现，本发明实施例在其分母上加上小量1(在本发明实施例的实验中，1＝10-7)。引入的小量∈1解决了传统Dice损失在无视神经纤维层缺损的眼底照数据集上无法计算的问题。其中，αk andβk是用于惩罚第k类的假阴性和假阳性的。
由于正常眼的标注全是背景，当生成器过预测出小块的视纤维层缺损时，此时
Figure BDA00025790452000001611
为0而/>
Figure BDA00025790452000001612
远大于/>
Figure BDA00025790452000001613
不带有αk andβk的DICE损失对这种情况的惩罚很小。因此为了对正常眼的视纤维层缺损的过预测增大惩罚，所以本专利将α1设置为大于1的参数。/>
Figure BDA00025790452000001614
是改进的Dice指标，它被用来刻画第i个样本的第k类特征的预测结果和对应标注的相似程度。进而，本发明实施例可以定义生成器的分割精度损失：
Figure BDA0002579045200000171
这里，
Figure BDA0002579045200000172
表示第i个样本的第k类特征的权重：当一个眼底照不存在视纤维层缺损时，则取/>
Figure BDA0002579045200000173
当一个眼底照存在视纤维层缺损时，则取/>
Figure BDA0002579045200000174
在Lseg(G)的表达式中，/>
Figure BDA0002579045200000175
是一种新颖的自适应的样本权重加权方法。θ和γ是平衡难易样本的权重的参数。
在上述实施例的基础上，优选地，所述根据所述垂直杯盘比、所述ISNT评分和所述视神经纤维层状态，获取并显示所述目标眼底照的最终类别，之前还包括：
利用SVM分类器对所述垂直杯盘比和所述ISNT评分进行分类，获取分类结果。
具体地，分割出目标眼底照的视杯和视盘后，根据视杯和视盘的相关信息，计算出目标眼底照的VCDR指标和ISNT评分指标，然后利用SVM分类器对这两个指标进行分类，得到分类结果。
其中，VCDR是视杯和视盘垂直直径的比例，ISNT评分是ISNT rule的量化指标，ISNT评分越大表明盘沿形态越符合ISNT rule。ISNT评分的具体计算方法是：对盘沿一周360度范围内的CDR向量进行标准化(通过减去均值除以标准差)，并计算这个标准化向量与典型正常眼的CDR向量的内积。
进而，基于上面提取的两个特征，SVM被用来对盘沿形态进行分类。SVM可以使用所谓的内核技巧有效地执行线性或非线性分类，其中将输入隐式映射到高维特征空间。在这项研究中，输入空间是一个由VCDR和ISNT评分组成的二维空间。SVM用于创建预设分类线，以将训练数据集中的青光眼和正常受试者分开，以所有受试者之间的最大距离进行分类。
在上述实施例的基础上，优选地，所述并根据每一量化指标、分类结果和视神经纤维层状态，获取所述目标眼底照的最终类别，具体包括：
若VCDR指标不小于第一预设阈值，判断所述目标眼底照为青光眼；
若VCDR指标不大于第二预设阈值，判断所述目标眼底照为正常眼；
若VCDR指标位于所述第一预设阈值和所述第二预设阈值之间，且存在视神经纤维层缺损，判断所述目标眼底照为青光眼；
若VCDR指标位于所述第一预设阈值和所述第二预设阈值之间，且不存在视神经纤维层缺损，且所述分类结果在预设分类线之上，判断所述目标眼底照为正常眼；
若VCDR指标位于所述第一预设阈值和所述第二预设阈值之间，且不存在视神经纤维层缺损，且所述分类结果在预设分类线之下，判断所述目标眼底照为青光眼。
具体地，本发明实施例中利用VCDR指标、ISNT评分指标、SVM分类结果和步骤S2中得到的视神经纤维层状态，获取目标眼底照的最终类别，其具体分类方法如下：
(1)VCDR≥第一预设阈值，最终类别结果为青光眼，本发明实施例中第一预设阈值的取值为0.7，具体可以根据实际情况进行调整。
(2)VCDR≤第二预设阈值，最终类别结果为正常眼，本发明实施例中第二预设阈值的取值为0.3，具体可以根据实际情况进行调整。
(3)第二预设阈值<VCDR<第一预设阈值，需要结合SVM分类结果和视神经纤维层状态进行最终评价。
(i)视神经纤维层状态为缺损，最终类别结果为青光眼。
(ii)视神经纤维层状态为未缺损，且分类结果在预设分类线之上，最终类别结果为正常眼。
(iii)视神经纤维层状态为未缺损，且分类结果在预设分类线之下，最终类别结果为青光眼。
本发明实施例借助于色泽以及血管弯曲度的变化去进行判断视杯，并且结合VCDR、ISNT评分和视神经纤维层状态三个维度进行综合判断，进一步提高了分类的准确度。
优选地，图4为本发明实施例展示的眼底照分类系统的中间结果示意图，如图4所示，本发明实施例展示了眼底照分类系统过程中的中间结果，能以医生能够理解的形式给出分类依据。
第一部分是视杯、视盘和纤维层缺损的分割结果。
第二部分是基于图像分割获得的三维特征展示，三个维度分别是VCDR、ISNT评分和视神经纤维层状态，其中，VCDR用来刻画盘沿尺度，ISNT评分用来体现盘沿形态符合ISNTrule的程度。
在VCDR和ISNT评分构成的二维平面内，VCDR指标和ISNT评分指标的不同取值表示分类的可靠程度。
第三部分是从VCDR、ISNT评分和视神经纤维层状态三个维度来展示与当前图片最相近的同类诊断眼底照和不同类诊断眼底照。
综上，本发明实施例设计的集成深度学习诊断系统模拟青光眼专家的诊断思维，这一系统包含预诊断分类网络，基于预诊断的分割网络，基于专家知识的最终诊断模块这三个模块。其中，预诊断分类网络用于模拟医生基于整张眼底照的初步诊断过程；分割网络用于模拟医生对视杯、视盘和RNFLD的精准分割；基于专家知识的最终诊断模块用于从盘沿分割结果提取反映盘沿形态的量化指标和做出基于规则的最终诊断。
诊断准则为：
(1)VCDR≥0.7，最终类别结果为青光眼。
(2)VCDR≤0.3，最终类别结果为正常眼。
(3)0.3<VCDR<0.7，需要结合SVM分类结果和视神经纤维层状态进行最终评价。
(i)视神经纤维层状态为缺损，最终类别结果为青光眼。
(ii)视神经纤维层状态为未缺损，且分类结果在预设分类线之上，最终类别结果为正常眼。
(iii)视神经纤维层状态为未缺损，且分类结果在预设分类线之下，最终类别结果为青光眼。
这一系统可以实现完全自动的青光眼诊断，还能以医生能够理解的形式给出诊断依据。诊断依据包括三个部分，如图4所示。第一部分是视杯、视盘和纤维层缺损的分割结果。第二部分是基于图像分割获得的三维特征展示，三个维度分别是VCDR、ISNT评分和RNFLD状态，VCDR用来刻画盘沿尺度，ISNT评分用来体现盘沿形态符合ISNT rule的程度。在VCDR和ISNT评分构成的二维平面内，用不同区域表示诊断的可靠程度(左上方区域表示以高置信度判别为青光眼，右下方表示以高置信度判别为正常眼，中间区域表示诊断置信度较低)。第三部分是从VCDR、ISNT评分和RNFLD三个维度来展示与当前图片最相近的同类诊断眼底照和不同类诊断眼底照。
本发明实施例中除了给出目标眼底照的最终类别结果，还给出了分类的中间过程，显示了中间结果，使得医生能对分类的过程一目了然，并且根据中间结果和最终分类结果，方便对青光眼采取相应的治疗措施。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (5)

1.一种基于集成深度学习的眼底照分类系统，其特征在于，所述眼底照分类系统为融合深度分类网络和深度分割网络的集成系统，包括：预诊断分类网络、分割网络和最终诊断模块，其中：
所述预诊断分类网络用于基于目标眼底照的全局信息获得初始诊断结果；
所述分割网络用于基于所述初始诊断结果，对所述目标眼底照的视盘、视杯和视神经纤维层状态做图像分割；
所述最终诊断模块用于基于视盘、视杯和视神经纤维层状态分割的结果，提取所述目标眼底照的垂直杯盘比和所述目标眼底照的ISNT评分，并基于所述垂直杯盘比、所述ISNT评分和视神经纤维层缺损状态，获取并显示所述目标眼底照的最终类别，所述最终诊断模块具备透明性和可解释性，所述眼底照分类系统预测的中间过程和医生的诊断逻辑相对应；
所述预诊断分类网络用于基于目标眼底照的全局信息获得初始诊断结果，具体包括：
将所述目标眼底照输入到训练后的深度学习分类网络中，得到所述目标眼底照的初始预测类别，所述初始预测类别包括青光眼和正常眼，训练后的深度学习分类网络以眼底照为样本、以眼底照的实际类别为标签进行训练得到；
所述分割网络用于基于所述初始诊断结果，对所述目标眼底照的视盘、视杯和视神经纤维层状态做图像分割，具体包括：将所述目标眼底照输入到训练后的目标视盘分割网络中，获取所述目标眼底照的视盘，将所述目标眼底照输入到训练后的目标视杯分割网络中，获取所述目标眼底照的视杯，将所述目标眼底照输入到训练后的视神经纤维层分割网络中，获取所述目标眼底照的视神经纤维层状态，并将分割出的所述目标眼底照的视盘、视杯和视神经纤维层状态显示出来，训练后的目标视杯分割网络与所述初始预测类别对应，训练后的目标视盘分割网络以眼底照为样本、以眼底照中视盘实际位置为标签进行训练得到，训练后的目标视杯分割网络以眼底照为样本、以眼底照中的视杯实际位置为标签进行训练得到，训练后的视神经纤维层分割网络以眼底照为样本、以眼底照中视神经纤维的实际状态为标签进行训练得到，所述视神经纤维层状态包括存在视神经纤维层缺损和不存在视神经纤维层缺损；
所述最终诊断模块用于基于视盘、视杯和视神经纤维层状态分割的结果，提取所述目标眼底照的垂直杯盘比和所述目标眼底照的ISNT评分，并基于所述垂直杯盘比、所述ISNT评分和视神经纤维层缺损状态，获取并显示所述目标眼底照的最终类别；
所述最终诊断模块具备透明性和可解释性，所述眼底照分类系统预测的中间过程和医生的诊断逻辑相对应，具体包括：
根据所述目标眼底照的视盘、视杯和视神经纤维层状态，获取反映盘沿尺度的垂直杯盘比和反映盘沿形态的ISNT评分，并将所述垂直杯盘比和所述ISNT评分显示出来；
根据所述垂直杯盘比、所述ISNT评分和所述视神经纤维层状态，获取并显示所述目标眼底照的最终类别；
所述将所述目标眼底照输入到训练后的目标视杯分割网络中，获取所述目标眼底照的视杯，具体包括：
若所述初始预测类别为正常眼，将所述目标眼底照输入到训练后的通用视杯分割网络中，获取所述目标眼底照的视杯，所述训练后的通用视杯分割网络以眼底照为样本、以眼底照中的视杯实际位置为标签进行训练得到；
若所述初始预测类别为青光眼，将所述目标眼底照输入到训练后的优化视杯分割网络中，获取所述目标眼底照的视杯，其中，训练后的优化视杯分割网络通过如下方式获得：
以青光眼的眼底照为样本、以青光眼的眼底照中视杯实际位置为标签，对训练后的通用视杯分割网络重新进行训练，获取训练后的优化视杯分割网络；
所述将所述目标眼底照输入到训练后的视神经纤维层分割网络中，获取所述目标眼底照的视神经纤维层状态，具体包括：
将所述目标眼底照输入到训练后生成器的卷积神经分割网络中，获取所述目标眼底照的视神经纤维层缺损概率图，其中，生成器由shuffle模块和所述卷积神经分割网络组成，shuffle模块用于随机改变训练眼底照中的RGB通道的顺序，并将重新排序后的训练眼底照输入到所述卷积神经分割网络中，以对所述卷积神经分割网络进行训练；
根据所述目标眼底照的视神经纤维层缺损概率图，获取所述目标眼底照的视神经纤维层状态；
其中，所述视神经纤维层分割网络由所述生成器和判别器组成，所述生成器和所述判别器在训练过程中进行对抗训练；
对抗训练中所述生成器的自适应加权损失函数如下：
Figure QLYQS_1
，
其中，
Figure QLYQS_2
表示第i个样本的第k类特征的权重，当眼底照训练样本中不存在视神经纤维层缺损时，则/>
Figure QLYQS_4
，/>
Figure QLYQS_5
，当眼底照训练样本中存在视神经纤维层缺损时，则
Figure QLYQS_7
，/>
Figure QLYQS_8
，/>
Figure QLYQS_9
、/>
Figure QLYQS_10
为平衡难易样本的权重参数，/>
Figure QLYQS_3
表示第i个样本的第k类特征的预测结果和对应标注的相似程度，/>
Figure QLYQS_6
表示无穷小量。
2.根据权利要求1所述的基于集成深度学习的眼底照分类系统，其特征在于，所述预诊断分类网络和所述分割网络进行配合，以提高所述目标眼底照中视杯分割准确性的方法，具体如下：
所述分割网络对所述目标眼底照中的视杯进行分割时，分为通用视杯分割网络和优化视杯分割网络两种，所述通用视杯分割网络对正常眼的预测准确性大于对青光眼的预测准确性；所述优化视杯分割网络对正常眼的预测准确性小于对青光眼的预测准确性，配合使用所述预诊断分类网络、通用视杯分割网络、优化视杯分割网络，使得对正常眼和青光眼的视杯分割准确度都提高。
3.根据权利要求1所述的基于集成深度学习的眼底照分类系统，其特征在于，shuffle模块用于随机改变训练眼底照中的RGB通道的顺序具体包括：
所述shuffle模块对所述训练眼底照的RGB三个通道进行重新排序，将重排后的RGB三通道与紧邻卷积神经网络的特征图之间的连接按照预设概率随机失活，具体如下：
Figure QLYQS_11
表示所述训练眼底照的特征图，/>
Figure QLYQS_12
表示重新排序后的训练眼底照的特征图；
Figure QLYQS_13
，/>
Figure QLYQS_14
表示随机二值权重，/>
Figure QLYQS_15
满足如下条件：/>
Figure QLYQS_16
，/>
Figure QLYQS_17
；
Figure QLYQS_18
为所述卷积神经分割网络的第一层特征，/>
Figure QLYQS_19
为所述卷积神经分割网络第一层特征的数量；
Figure QLYQS_21
，其中，/>
Figure QLYQS_23
表示所述卷积神经分割网络的权重，
Figure QLYQS_25
，/>
Figure QLYQS_27
表示出现的概率，当/>
Figure QLYQS_28
满足随机数/>
Figure QLYQS_29
时，/>
Figure QLYQS_30
才能用于所述卷积神经分割网络的训练，否则重新随机产生/>
Figure QLYQS_20
，/>
Figure QLYQS_22
是第/>
Figure QLYQS_24
个特征的偏置，/>
Figure QLYQS_26
表示ReLU激活函数。
4.根据权利要求1所述的基于集成深度学习的眼底照分类系统，其特征在于，所述根据所述垂直杯盘比、所述ISNT评分和所述视神经纤维层状态，获取并显示所述目标眼底照的最终类别，之前还包括：
利用SVM分类器对所述垂直杯盘比和所述ISNT评分进行分类，获取分类结果。
5.根据权利要4所述的基于集成深度学习的眼底照分类系统，其特征在于，所述根据所述垂直杯盘比、所述ISNT评分和所述视神经纤维层状态，获取并显示所述目标眼底照的最终类别，具体包括：
若所述垂直杯盘比不小于第一预设阈值，判断所述目标眼底照为青光眼；
若所述垂直杯盘比不大于第二预设阈值，判断所述目标眼底照为正常眼；
若所述垂直杯盘比位于所述第一预设阈值和所述第二预设阈值之间，且存在视神经纤维层缺损，判断所述目标眼底照为青光眼；
若所述垂直杯盘比位于所述第一预设阈值和所述第二预设阈值之间，且不存在视神经纤维层缺损，且所述分类结果在预设分类线之上，判断所述目标眼底照为正常眼；
若所述垂直杯盘比位于所述第一预设阈值和所述第二预设阈值之间，且不存在视神经纤维层缺损，且所述分类结果在预设分类线之下，判断所述目标眼底照为青光眼。
CN202010662283.1A 2020-07-10 2020-07-10 一种基于集成深度学习的眼底照分类系统 Active CN111863241B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010662283.1A CN111863241B (zh) 2020-07-10 2020-07-10 一种基于集成深度学习的眼底照分类系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010662283.1A CN111863241B (zh) 2020-07-10 2020-07-10 一种基于集成深度学习的眼底照分类系统

Publications (2)

Publication Number Publication Date
CN111863241A CN111863241A (zh) 2020-10-30
CN111863241B true CN111863241B (zh) 2023-06-30

Family

ID=73152746

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010662283.1A Active CN111863241B (zh) 2020-07-10 2020-07-10 一种基于集成深度学习的眼底照分类系统

Country Status (1)

Country Link
CN (1) CN111863241B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI746287B (zh) 2020-11-26 2021-11-11 宏碁股份有限公司 影像處理系統及影像處理方法
CN113487582A (zh) * 2021-07-16 2021-10-08 依未科技(北京)有限公司 图像评估方法及装置、计算机可读存储介质及电子设备
CN117475270A (zh) * 2023-11-20 2024-01-30 深圳市眼科医院(深圳市眼病防治研究所) 糖尿病视网膜病变图像的病灶识别方法及系统

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106446805A (zh) * 2016-09-08 2017-02-22 北京化工大学 一种眼底照中视杯的分割方法及系统
CN108520522A (zh) * 2017-12-31 2018-09-11 南京航空航天大学 基于深度全卷积神经网络的视网膜眼底图像分割方法
CN108717868A (zh) * 2018-04-26 2018-10-30 博众精工科技股份有限公司 基于深度学习的青光眼眼底图像筛查方法及系统
WO2018215855A1 (en) * 2017-05-23 2018-11-29 Indian Institute Of Science Automated fundus image processing techniques for glaucoma prescreening
CN109215039A (zh) * 2018-11-09 2019-01-15 浙江大学常州工业技术研究院 一种基于神经网络的眼底图片的处理方法
CN109697716A (zh) * 2018-12-19 2019-04-30 上海鹰瞳医疗科技有限公司 青光眼图像识别方法、设备和筛查系统
CN109919938A (zh) * 2019-03-25 2019-06-21 中南大学 青光眼的视盘分割图谱获取方法
CN110992382A (zh) * 2019-12-30 2020-04-10 四川大学 用于辅助青光眼筛查的眼底图像视杯视盘分割方法及系统
WO2020125319A1 (zh) * 2018-12-19 2020-06-25 上海鹰瞳医疗科技有限公司 青光眼图像识别方法、设备和筛查系统

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11080850B2 (en) * 2018-01-16 2021-08-03 Electronics And Telecommunications Research Institute Glaucoma diagnosis method using fundus image and apparatus for the same

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106446805A (zh) * 2016-09-08 2017-02-22 北京化工大学 一种眼底照中视杯的分割方法及系统
WO2018215855A1 (en) * 2017-05-23 2018-11-29 Indian Institute Of Science Automated fundus image processing techniques for glaucoma prescreening
CN108520522A (zh) * 2017-12-31 2018-09-11 南京航空航天大学 基于深度全卷积神经网络的视网膜眼底图像分割方法
CN108717868A (zh) * 2018-04-26 2018-10-30 博众精工科技股份有限公司 基于深度学习的青光眼眼底图像筛查方法及系统
CN109215039A (zh) * 2018-11-09 2019-01-15 浙江大学常州工业技术研究院 一种基于神经网络的眼底图片的处理方法
CN109697716A (zh) * 2018-12-19 2019-04-30 上海鹰瞳医疗科技有限公司 青光眼图像识别方法、设备和筛查系统
WO2020125319A1 (zh) * 2018-12-19 2020-06-25 上海鹰瞳医疗科技有限公司 青光眼图像识别方法、设备和筛查系统
CN109919938A (zh) * 2019-03-25 2019-06-21 中南大学 青光眼的视盘分割图谱获取方法
CN110992382A (zh) * 2019-12-30 2020-04-10 四川大学 用于辅助青光眼筛查的眼底图像视杯视盘分割方法及系统

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
"Feature extraction from optic disc and cup boundary lines in fundus images based on ISNT rule for glaucoma diagnosis";Yongli Xu等;《American Scientific Publishers》》;全文 *
"基于集成学习的计算机辅助诊断青光眼算法研究";柯士园等;《北京化工大学学报（自然科学版）》;第地46卷卷(第第4期期);全文 *
"青光眼视神经头参数与视网膜神经纤维层的相关性分析";徐军等;《计算机辅助设计与图形学学报》;第第29卷卷(第第6期期);全文 *
REFUGE Challenge：A unified framework for evaluating automated methods for glaucoma assessment from fundus photographs;Jose Ignacio Orlando等;《Medical Image Analysis》》;全文 *

Also Published As

Publication number Publication date
CN111863241A (zh) 2020-10-30

Similar Documents

Publication Publication Date Title
CN111863241B (zh) 一种基于集成深度学习的眼底照分类系统
CN110992382B (zh) 用于辅助青光眼筛查的眼底图像视杯视盘分割方法及系统
Dai et al. Clinical report guided retinal microaneurysm detection with multi-sieving deep learning
Chakrabarty A deep learning method for the detection of diabetic retinopathy
Yang et al. Efficacy for differentiating nonglaucomatous versus glaucomatous optic neuropathy using deep learning systems
CN111279421A (zh) 人类胚胎的自动评价
CN114821189B (zh) 一种基于眼底图像的病灶图像分类与识别方法
CN111461218B (zh) 糖网病眼底图像的样本数据标注系统
Tu et al. SUNet: A lesion regularized model for simultaneous diabetic retinopathy and diabetic macular edema grading
CN112580580A (zh) 一种基于数据增强与模型融合的病理性近视识别方法
Zhang et al. DeepUWF: an automated ultra-wide-field fundus screening system via deep learning
CN113240655A (zh) 一种自动检测眼底图像类型的方法、存储介质及装置
CN111462093A (zh) 一种基于眼底图像进行疾病分类的方法
Sharma et al. Harnessing the Strength of ResNet50 to Improve the Ocular Disease Recognition
Wu et al. Artificial intelligence model for antiinterference cataract automatic diagnosis: a diagnostic accuracy study
US11723630B2 (en) Method for positioning key features of a lens based on ocular B-mode ultrasound images
Kumar et al. [Retracted] A Multi‐Thresholding‐Based Discriminative Neural Classifier for Detection of Retinoblastoma Using CNN Models
Khan et al. Ddnet: Diabetic retinopathy detection system using skip connection-based upgraded feature block
Zheng et al. Rapid screening of children with autism spectrum disorders through face image classification
CN117237711A (zh) 一种基于对抗学习的双模态眼底图像分类方法
CN116824212A (zh) 基于小样本学习的眼底照片分类方法
Londhe Classification of eye diseases using hybrid CNN-RNN models
CN113052012B (zh) 一种基于改进d-s证据的眼疾图像识别方法及系统
Deepa et al. Pre-Trained Convolutional Neural Network for Automated Grading of Diabetic Retinopathy
Kurilová et al. Detecting glaucoma from fundus images using ensemble learning

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20231205

Address after: 215000 Bamboo Garden Road, Suzhou high tech Zone, Jiangsu Province, No. 209

Patentee after: Suzhou Zichuan Information Technology Co.,Ltd.

Address before: 100029, No. 15 East Third Ring Road, Chaoyang District, Beijing

Patentee before: BEIJING University OF CHEMICAL TECHNOLOGY

TR01 Transfer of patent right