CN112869697A - 同时识别糖尿病视网膜病变的分期和病变特征的判断方法 - Google Patents
同时识别糖尿病视网膜病变的分期和病变特征的判断方法 Download PDFInfo
- Publication number
- CN112869697A CN112869697A CN202110078231.4A CN202110078231A CN112869697A CN 112869697 A CN112869697 A CN 112869697A CN 202110078231 A CN202110078231 A CN 202110078231A CN 112869697 A CN112869697 A CN 112869697A
- Authority
- CN
- China
- Prior art keywords
- network
- diabetic retinopathy
- fundus image
- stage
- feature
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 206010012689 Diabetic retinopathy Diseases 0.000 title claims abstract description 138
- 238000000034 method Methods 0.000 title claims abstract description 58
- 230000036285 pathological change Effects 0.000 title claims description 30
- 231100000915 pathological change Toxicity 0.000 title claims description 30
- 230000003902 lesion Effects 0.000 claims abstract description 119
- 238000010586 diagram Methods 0.000 claims abstract description 41
- 230000004927 fusion Effects 0.000 claims abstract description 15
- 238000013135 deep learning Methods 0.000 claims abstract description 12
- 238000012549 training Methods 0.000 claims description 85
- 230000006870 function Effects 0.000 claims description 26
- 230000004913 activation Effects 0.000 claims description 15
- PCHJSUWPFVWCPO-UHFFFAOYSA-N gold Chemical compound [Au] PCHJSUWPFVWCPO-UHFFFAOYSA-N 0.000 claims description 11
- 208000037111 Retinal Hemorrhage Diseases 0.000 claims description 10
- 230000005856 abnormality Effects 0.000 claims description 10
- 238000002372 labelling Methods 0.000 claims description 10
- 201000007917 background diabetic retinopathy Diseases 0.000 claims description 8
- 230000001575 pathological effect Effects 0.000 claims description 8
- 230000002207 retinal effect Effects 0.000 claims description 7
- 206010038848 Retinal detachment Diseases 0.000 claims description 5
- 230000005284 excitation Effects 0.000 claims description 5
- 208000010746 intraretinal hemorrhage Diseases 0.000 claims description 5
- 238000011176 pooling Methods 0.000 claims description 5
- 230000004264 retinal detachment Effects 0.000 claims description 5
- 208000034698 Vitreous haemorrhage Diseases 0.000 claims description 4
- 206010012601 diabetes mellitus Diseases 0.000 claims description 4
- 201000007914 proliferative diabetic retinopathy Diseases 0.000 claims description 4
- 201000003772 severe nonproliferative diabetic retinopathy Diseases 0.000 claims description 4
- 206010029113 Neovascularisation Diseases 0.000 claims description 3
- 208000007135 Retinal Neovascularization Diseases 0.000 claims description 3
- 230000006835 compression Effects 0.000 claims description 3
- 238000007906 compression Methods 0.000 claims description 3
- 230000001364 causal effect Effects 0.000 abstract description 9
- 210000003128 head Anatomy 0.000 description 81
- 238000012360 testing method Methods 0.000 description 8
- 238000013528 artificial neural network Methods 0.000 description 6
- 238000012545 processing Methods 0.000 description 6
- 230000015654 memory Effects 0.000 description 5
- 238000010606 normalization Methods 0.000 description 5
- 238000012795 verification Methods 0.000 description 5
- 201000004569 Blindness Diseases 0.000 description 4
- 238000004590 computer program Methods 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 210000005252 bulbus oculi Anatomy 0.000 description 3
- 238000003745 diagnosis Methods 0.000 description 3
- 210000001508 eye Anatomy 0.000 description 3
- 230000000737 periodic effect Effects 0.000 description 3
- 210000004204 blood vessel Anatomy 0.000 description 2
- 210000004027 cell Anatomy 0.000 description 2
- 238000013434 data augmentation Methods 0.000 description 2
- 238000007499 fusion processing Methods 0.000 description 2
- 201000001421 hyperglycemia Diseases 0.000 description 2
- 239000012528 membrane Substances 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 210000001525 retina Anatomy 0.000 description 2
- 208000032843 Hemorrhage Diseases 0.000 description 1
- 206010025421 Macule Diseases 0.000 description 1
- 208000017442 Retinal disease Diseases 0.000 description 1
- 206010038923 Retinopathy Diseases 0.000 description 1
- 206010038926 Retinopathy hypertensive Diseases 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 239000008280 blood Substances 0.000 description 1
- 210000004369 blood Anatomy 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000006378 damage Effects 0.000 description 1
- 238000002059 diagnostic imaging Methods 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 238000013399 early diagnosis Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 208000030533 eye disease Diseases 0.000 description 1
- 230000002349 favourable effect Effects 0.000 description 1
- 238000010304 firing Methods 0.000 description 1
- 201000001948 hypertensive retinopathy Diseases 0.000 description 1
- 208000018769 loss of vision Diseases 0.000 description 1
- 231100000864 loss of vision Toxicity 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 210000002189 macula lutea Anatomy 0.000 description 1
- 210000004379 membrane Anatomy 0.000 description 1
- 208000030159 metabolic disease Diseases 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 238000004321 preservation Methods 0.000 description 1
- 230000002035 prolonged effect Effects 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 230000000451 tissue damage Effects 0.000 description 1
- 231100000827 tissue damage Toxicity 0.000 description 1
- 230000009092 tissue dysfunction Effects 0.000 description 1
- 210000003462 vein Anatomy 0.000 description 1
- 230000004393 visual impairment Effects 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
- A61B3/0016—Operational features thereof
- A61B3/0025—Operational features thereof characterised by electronic signal processing, e.g. eye models
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
- A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
- A61B3/12—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for looking at the eye fundus, e.g. ophthalmoscopes
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
- A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
- A61B3/14—Arrangements specially adapted for eye photography
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20076—Probabilistic image processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30041—Eye; Retina; Ophthalmic
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30096—Tumor; Lesion
Landscapes
- Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Health & Medical Sciences (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Evolutionary Computation (AREA)
- Medical Informatics (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Surgery (AREA)
- Ophthalmology & Optometry (AREA)
- Veterinary Medicine (AREA)
- Public Health (AREA)
- Animal Behavior & Ethology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Heart & Thoracic Surgery (AREA)
- Computing Systems (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Mathematical Physics (AREA)
- Evolutionary Biology (AREA)
- Software Systems (AREA)
- Computational Linguistics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Signal Processing (AREA)
- Probability & Statistics with Applications (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Quality & Reliability (AREA)
- Eye Examination Apparatus (AREA)
- Image Analysis (AREA)
Abstract
本公开描述了一种同时识别糖尿病视网膜病变的分期和病变特征的判断方法，该判断方法包括获取眼底图像；并且将眼底图像输入基于深度学习的多任务网络以同时识别眼底图像所属的分期和眼底图像的病变特征，多任务网络至少包括骨干网络、特征头部网络和分期头部网络，骨干网络接收眼底图像并输出第一特征图，特征头部网络接收第一特征图并判断眼底图像的病变特征，并通过特征头部网络的中间层得到第二特征图，分期头部网络接收第一特征图并基于分期头部网络的中间层得到第三特征图，然后对第三特征图和第二特征图进行特征融合以判断眼底图像所属的分期。由此，能够模拟病变特征和分期之间的因果关系从而同时提高对分期和病变特征进行识别的性能。
Description
技术领域
本公开大体涉及一种同时识别糖尿病视网膜病变的分期和病变特征的判断方法及判断系统。
背景技术
糖尿病是一组以高血糖为特征的代谢性疾病。长期的高血糖会导致各种组织损害或功能障碍，尤其是对眼睛的损害，严重时可能会引致眼底出血而令患者视力模糊或完全失去视觉。据统计，大约有80％以上的糖尿病患者会发生糖尿病视网膜病变，其失明的危险性比正常人高25倍。糖尿病视网膜病变是可以避免失明的眼病，而在早期视网膜的病变并不明显，但是若能够在发病初期定期进行眼底检查，由糖尿病视网膜病变引起的失明风险可以下降90％以上。因此，早筛查、早诊断、早治疗是糖尿病视网膜病变患者保留视力的关键。
近年，以深度学习为代表的人工智能技术得到了显著的发展，其在医学影像例如眼底图像诊断领域等应用也越来越得到关注。研究者们利用深度学习技术进行眼底图像的糖尿病视网膜病变的自动识别并取得了良好的效果。
然而，基于深度学习的医疗影像诊断技术一个最大问题是深度学习自动学习的图像特征缺乏解释性，因而医生不能很好的理解和接受基于深度学习的诊断结果。同样地，对于糖尿病视网膜病变的识别而言，当前已有的技术也无法提供可理解的证据(例如与糖尿病视网膜病变的分期相关的病变特征)以支持识别结果(也即眼底图像所属的糖尿病视网膜病变的分期)，因而阻碍了该技术的应用。
发明内容
本公开是有鉴于上述的状况而提出的，其目的在于提供一种能够模拟糖尿病视网膜病变的病变特征和分期之间的因果关系从而同时提高对糖尿病视网膜病变的分期和病变特征进行识别的性能的同时识别糖尿病视网膜病变的分期和病变特征的判断方法及判断系统。
为此，本公开第一方面提供了一种同时识别糖尿病视网膜病变的分期和病变特征的判断方法，包括：获取眼底图像；并且将所述眼底图像输入基于深度学习的多任务网络以同时识别所述眼底图像所属的糖尿病视网膜病变的分期和所述眼底图像的糖尿病视网膜病变的病变特征，所述多任务网络至少包括骨干网络、特征头部网络和分期头部网络的三类子网络，所述多任务网络的网络参数通过多任务联合训练得到，在所述多任务联合训练中，通过反向传播调整所述三类子网络的网络参数，所述骨干网络接收所述眼底图像并输出第一特征图，所述特征头部网络接收所述第一特征图并判断所述眼底图像的糖尿病视网膜病变的病变特征，并通过所述特征头部网络的中间层得到第二特征图，所述分期头部网络接收所述第一特征图并基于所述分期头部网络的中间层得到第三特征图，然后对所述第三特征图和所述第二特征图进行特征融合以判断所述眼底图像所属的糖尿病视网膜病变的分期。在本公开中，多任务网络包括骨干网络、特征头部网络和分期头部网络的三类子网络，多任务网络的网络参数通过多任务联合训练得到，利用骨干网络提取第一特征图并输入特征头部网络和分期头部网络进行处理，然后将特征头部网络的中间层和分期头部网络的中间层输出的特征图进行特征融合处理，分期头部网络基于融合后的特征图获取眼底图像所属的糖尿病视网膜病变的分期，特征头部网络获取眼底图像的糖尿病视网膜病变的病变特征。在这种情况下，多任务网络模拟糖尿病视网膜病变的病变特征和分期之间的因果关系，通过多任务联合学习，能够同时提高识别糖尿病视网膜病变的分期和病变特征的性能。由此，可以更好地为糖尿病视网膜病变的识别提供更好的解释和支持。
另外，在本公开第一方面所涉及的判断方法中，可选地，通过跳跃连接将所述第二特征图输入至所述分期头部网络以使所述分期头部网络基于所述第三特征图和所述第二特征图判断所述眼底图像所属的糖尿病视网膜病变的分期。由此，能够基于跳跃连接将第二特征图输入至分期头部网络以进行特征融合。
另外，在本公开第一方面所涉及的判断方法中，可选地，所述分期头部网络包括拼接层，所述拼接层接收所述第二特征图和所述第三特征图并进行特征融合以获得第四特征图，基于所述第四特征图判断所述眼底图像所属的糖尿病视网膜病变的分期。由此，能够利用分期头部网络的拼接层对第二特征图和第三特征图并进行特征融合。
另外，在本公开第一方面所涉及的判断方法中，可选地，所述骨干网络包括卷积层、批标准化层、池化层、修正线性单元层和压缩激发块；所述特征头部网络包括全连接层、修正线性单元层和激活层；所述分期头部网络包括全连接层、修正线性单元层、所述拼接层和激活层。
另外，在本公开第一方面所涉及的判断方法中，可选地，在所述多任务联合训练中，构建由待训练的眼底图像和所述待训练的眼底图像的标注结果组成的训练集，基于所述训练集对所述多任务网络进行训练以同时预测所述待训练的眼底图像的各个糖尿病视网膜病变的病变特征的概率并作为病变特征预测概率和预测所述待训练的眼底图像的属于各个糖尿病视网膜病变的分期的概率并作为分期预测概率，利用总损失函数对所述多任务网络进行优化，其中，所述标注结果包括病变标签和分期标签并作为金标准，所述病变标签描述所述待训练的眼底图像的糖尿病视网膜病变的病变特征，所述分期标签描述所述待训练的眼底图像所属的糖尿病视网膜病变的分期。由此，能够利用训练集对多任务网络进行训练并优化。
另外，在本公开第一方面所涉及的判断方法中，可选地，所述总损失函数包括用于优化所述分期头部网络的分期损失项和用于优化所述特征头部网络的特征损失项。在这种情况下，能够利用总损失函数同时对多任务网络进行训练以优化多任务网络的网络参数。
另外，在本公开第一方面所涉及的判断方法中，可选地，所述分期损失项包括基于交叉熵损失函数的交叉熵损失项和用于测量所述待训练的眼底图像的所述分期标签和所述分期预测概率的一致性的所述一致性损失项。由此，能够确定交叉熵损失项和一致性损失项。
另外，在本公开第一方面所涉及的判断方法中，可选地，所述一致性损失项是基于kappa系数获取所述待训练的眼底图像的所述分期标签和所述分期预测概率的一致性，所述一致性损失项κ满足公式：
其中，C为糖尿病视网膜病变的分期的数量，Wuv表示加权系数，Xuv满足公式
Euv满足公式
N为所述训练集中的眼底图像的数量，pnu为所述训练集中第n张眼底图像属于第u个糖尿病视网膜病变的分期的概率，ynv为所述训练集中第n张眼底图像是否属于第v个糖尿病视网膜病变的分期的金标准。由此，能够基于kappa系数获得一致性损失项。
另外，在本公开第一方面所涉及的判断方法中，可选地，所述特征损失项包括各个病变特征对应的损失，第j个病变特征对应的损失Lj满足公式：
其中，N1j为所述训练集中存在第j个病变特征的眼底图像的数量，N2j为所述训练集中不存在第j个病变特征的眼底图像的数量，znj为所述训练集中第n张眼底图像是否存在第j个病变特征的金标准，qnj为所述训练集中第n张眼底图像存在第j个病变特征的概率。由此，能够确定各个病变特征对应的损失。
另外，在本公开第一方面所涉及的判断方法中，可选地，所述糖尿病视网膜病变的分期包括无糖尿病视网膜病变、轻度非增生性糖尿病视网膜病变、中度非增生性糖尿病视网膜病变、重度非增生性糖尿病视网膜病变和增生性糖尿病视网膜病变。由此，能够确定糖尿病视网膜病变的分期。
另外，在本公开第一方面所涉及的判断方法中，可选地，所述糖尿病视网膜病变的病变特征包括微血管瘤、视网膜内出血、视网膜浅表出血、硬性渗出、棉绒斑、静脉异常、视网膜内微血管异常、视网膜新生血管、视乳头新生血管、视网膜前纤维增生、玻璃体积血或视网膜前出血以及牵拉性视网膜脱离中的至少一种。由此，能够确定糖尿病视网膜病变的病变特征。
本公开第二方面提供了一种同时识别糖尿病视网膜病变的分期和病变特征的判断系统，包括：获取模块和判断模块；所述获取模块用于获取眼底图像；以及所述判断模块用于将所述眼底图像输入基于深度学习的多任务网络以同时识别所述眼底图像所属的糖尿病视网膜病变的分期和所述眼底图像的糖尿病视网膜病变的病变特征，所述多任务网络至少包括骨干网络、特征头部网络和分期头部网络的三类子网络，所述多任务网络的网络参数通过多任务联合训练得到，在所述多任务联合训练中，通过反向传播调整所述三类子网络的网络参数，所述骨干网络接收所述眼底图像并输出第一特征图，所述特征头部网络接收所述第一特征图并判断所述眼底图像的糖尿病视网膜病变的病变特征，并通过所述特征头部网络的中间层得到第二特征图，所述分期头部网络接收所述第一特征图并基于所述分期头部网络的中间层得到第三特征图，然后对所述第三特征图和所述第二特征图进行特征融合以判断所述眼底图像所属的糖尿病视网膜病变的分期。在本公开中，多任务网络包括骨干网络、特征头部网络和分期头部网络的三类子网络，多任务网络的网络参数通过多任务联合训练得到，利用骨干网络提取第一特征图并输入特征头部网络和分期头部网络进行处理，然后将特征头部网络的中间层和分期头部网络的中间层输出的特征图进行特征融合处理，分期头部网络基于融合后的特征图获取眼底图像所属的糖尿病视网膜病变的分期，特征头部网络获取糖尿病视网膜病变的病变特征。在这种情况下，多任务网络模拟糖尿病视网膜病变的病变特征和分期之间的因果关系，通过多任务联合学习，能够同时提高识别糖尿病视网膜病变的分期和病变特征的性能。由此，可以更好地为糖尿病视网膜病变的识别提供更好的解释和支持。
根据本公开，提供一种能够模拟糖尿病视网膜病变的病变特征和分期之间的因果关系，从而同时提高对糖尿病视网膜病变的分期和病变特征进行识别的性能的同时识别糖尿病视网膜病变的分期和病变特征的判断方法及判断系统。
附图说明
现在将仅通过参考附图的例子进一步详细地解释本公开，其中：
图1是示出了本公开示例所涉及的同时识别糖尿病视网膜病变的分期和病变特征的判断方法的应用场景的示意图。
图2是示出了本公开示例所涉及的同时识别糖尿病视网膜病变的分期和病变特征的判断方法的流程图。
图3是示出了本公开示例所涉及的眼底图像的示意图。
图4是示出了本公开示例所涉及的多任务网络的示意图。
图5是示出了本公开示例所涉及的骨干网络块的示意图。
图6是示出了本公开示例所涉及的多任务网络的一个示例的示意图。
图7是示出了本公开示例所涉及的多任务联合训练的流程图。
图8是示出了本公开示例所涉及的同时识别糖尿病视网膜病变的分期和病变特征的判断系统的框图。
具体实施方式
以下，参考附图，详细地说明本公开的优选实施方式。在下面的说明中，对于相同的部件赋予相同的符号，省略重复的说明。另外，附图只是示意性的图，部件相互之间的尺寸的比例或者部件的形状等可以与实际的不同。需要说明的是，本公开中的术语“包括”和“具有”以及它们的任何变形，例如所包括或所具有的一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可以包括或具有没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。本公开所描述的所有方法可以以任何合适的顺序执行，除非在此另有指示或者与上下文明显矛盾。
本公开涉及的同时识别糖尿病视网膜病变的分期和病变特征的判断方法(有时可以简称为判断方法)。本公开涉及的判断方法同时对眼底图像中糖尿病视网膜病变的分期和病变特征进行判断可以同时获得眼底图像所属的糖尿病视网膜病变的分期和与该糖尿病视网膜病变的分期相关的病变特征，准确率较高且具有可解释性，从而有利于辅助眼科医生对糖尿病视网膜病变进行识别。在这种情况下，基于糖尿病视网膜病变的病变特征，眼科医生更容易地理解眼底图像所属的糖尿病视网膜病变的分期的依据。由此，能够在临床中推广。但本公开的示例不限于此，本公开的判断方法可以很容易地应用于其他疾病的同时识别分期及病变特征，例如基于眼底图像的高血压视网膜病变。
图1是示出了本公开示例所涉及的同时识别糖尿病视网膜病变的分期和病变特征的判断方法的应用场景的示意图。
在一些示例中，本公开涉及的判断方法可以应用于如图1所示的应用场景100中。在应用场景100中，操作员110可以通过控制连接在终端120上的采集设备130，以采集人眼140的眼底图像。在采集设备130完成眼底图像采集后，终端120可以将眼底图像通过计算机网络提交至服务器150。服务器150通过执行计算机程序指令以实现判断方法，该判断方法可以同时获得眼底图像所属的糖尿病视网膜病变的分期和的病变特征并返回给终端120。在一些示例中，终端120可以显示眼底图像所属的的糖尿病视网膜病变的分期和的病变特征。在另一些示例中，眼底图像所属的糖尿病视网膜病变的分期和的病变特征可以作为中间结果存储在终端120或者服务器150的存储器中。
在一些示例中，操作员110可以是专业人员例如眼科医生。在另一些示例中，操作员110可以是经过培训的普通人员。培训的内容可以包括但不限于采集设备130的操作和涉及判断方法的终端120的操作。终端120可以包括但不限于是笔记本电脑、平板电脑或台式机等。在一些示例中，终端120可以是包括处理器、存储器、显示屏和采集设备130的对糖尿病视网膜病变的分期和病变特征进行判断的专用设备。采集设备130可以包括但不限于是相机等。相机例如可以是彩色眼底相机。在一些示例中，采集设备130可以通过串口与终端120相连接或者集成在终端120中。
在一些示例中，人眼140的眼底是指眼球内后部的组织，可以包括眼球的内膜、视网膜、黄斑和血管)。在一些示例中，服务器150可以包括一个或多个处理器和一个或多个存储器。其中，处理器可以包括中央处理单元、图形处理单元以及能够处理数据的其它任何电子部件，能够执行计算机程序指令。存储器可以用于存储计算机程序指令。在一些示例中，可以通过执行存储器中的计算机程序指令以实现判断方法。在一些示例中，服务器150也可以是云端服务器。
图2是示出了本公开示例所涉及的同时识别糖尿病视网膜病变的分期和病变特征的判断方法的流程图。图3是示出了本公开示例所涉及的眼底图像的示意图。
在一些示例中，如图2所示，判断方法可以包括获取眼底图像(步骤S110)和将眼底图像输入基于深度学习的多任务网络以同时识别眼底图像所属的糖尿病视网膜病变的分期和眼底图像的糖尿病视网膜病变的病变特征(步骤S120)。在这种情况下，多任务网络模拟糖尿病视网膜病变的病变特征和分期之间的因果关系，通过多任务联合学习(训练)，能够同时提高识别糖尿病视网膜病变的分期和病变特征的性能。由此，可以更好地为糖尿病视网膜病变的识别提供更好的解释和支持。
在一些示例中，在步骤S110中，可以获取眼底图像。在一些示例中，眼底图像可以为彩色的眼底图像。彩色的眼底图像能够清晰的呈现眼球的内膜、视网膜、黄斑和血管等眼底信息。在另一些示例中，眼底图像可以为灰度图像。在一些示例中，眼底图像可以为由采集设备130采集的眼底图像。作为眼底图像的示例，例如图3示出了由眼底相机拍摄的眼底图像。
在一些示例中，在步骤S110中，可以对眼底图像进行预处理。一般而言，由于眼底图像可能存在图像格式、尺寸不同等问题，对眼底图像进行预处理，能够使眼底图像转换为固定标准形式的图像。固定标准形式可以指图像的格式相同，尺寸一致。例如，在一些示例中，眼底图像经过预处理后的尺寸可以统一宽度为512或1024像素。
在一些示例中，在步骤S120中，可以将眼底图像输入多任务网络以判断眼底图像所属的糖尿病视网膜病变的分期(有时也可以简称为分期)和眼底图像的糖尿病视网膜病变的病变特征(有时也可以简称为病变特征)。在一些示例中，多任务网络可以同时识别眼底图像所属的分期和眼底图像的病变特征。
图4是示出了本公开示例所涉及的多任务网络200的示意图。
在一些示例中，多任务网络200可以是基于深度学习的。例如，多任务网络200可以是神经网络。神经网络是一种运算模型，可以由大量的节点(或称神经元)之间相互联接构成。每两个节点间的连接可以代表一个通过该连接信号的加权值(也可以成为权重)。在一些示例中，神经网络的网络参数可以包括每两个节点间的权重。
如图4所示，在一些示例中，多任务网络200可以至少包括骨干网络210、特征头部网络220和分期头部网络230的三类子网络。
在一些示例中，骨干网络210可以接收眼底图像并输出第一特征图。在一些示例中，第一特征图可以是高级图像特征。
在一些示例中，骨干网络210可以是SENet(squeeze and excitation network)。在一些示例中，骨干网络210可以包括卷积层(convolutional layers)、批标准化层(batchnormalization layers)、池化层(pooling layers)、修正线性单元层(rectified linearunit layers)和压缩激发块(squeeze and excitation blocks)等五个网络层。在一些示例中，骨干网络210中各个网络层的数量可以为一个或多个。
图5是示出了本公开示例所涉及的骨干网络块211的示意图。
在一些示例中，骨干网络210可以包括若干个(一个或多个)骨干网络块211。在一些示例中，骨干网络块211的数量可以为多个，例如5个。在一些示例中，骨干网络块211可以由上述的五个网络层构成。作为骨干网络块211的示例，例如，图5示出了骨干网络块211的示意图，骨干网络块211可以依次由若干个单元层、一个池化层和一个压缩激发块构成。若干个单元层的数量可为n，具体地，若干个单元层可以包括单元层1、单元层2、……、单元层n。每个单元层可以依次由卷积层、修正线性单元层和批标准化层组成(参见图5)。在一些示例中，n可以为2或3。
在一些示例中，特征头部网络220可以检测眼底图像的病变特征。在一些示例中，特征头部网络220可以接收第一特征图并判断眼底图像的病变特征。在一些示例中，特征头部网络220可以是前向型神经网络(forward neural network)。在一些示例中，特征头部网络220可以为多标签的网络。在这种情况下，基于特征头部网络220可以获得眼底图像的病变特征。
在一些示例中，特征头部网络220可以包括全连接层、修正线性单元层和激活层。作为特征头部网络220的示例，例如特征头部网络220可以依次由全连接层、修正线性单元层、全连接层和激活层。激活层可以具有激活函数。在一些示例中，特征头部网络220的激活函数可以是sigmoid函数。
在一些示例中，分期头部网络230可以对眼底图像所属的分期进行判断。在一些示例中，分期头部网络230可以接收第一特征图并判断眼底图像所属的分期，在一些示例中，分期头部网络230可以是前向型神经网络。在一些示例中，分期头部网络230可以为多分类的网络。在这种情况下，基于分期头部网络230可以获得眼底图像所属的一个分期。
在一些示例中，分期头部网络230可以包括全连接层、修正线性单元层和激活层。作为分期头部网络230的示例，例如分期头部网络230可以依次由全连接层、修正线性单元层、全连接层和激活层组成。激活层可以具有激活函数。在一些示例中，分期头部网络230的激活函数可以是softmax激活函数。
在一些示例中，特征头部网络220和分期头部网络230可以并行接收第一特征图并进行处理。由此，能够同时对第一特征图进行处理以同时识别眼底图像的分期和病变特征。
如上所述，骨干网络210可以接收眼底图像并输出第一特征图，特征头部网络220可以接收第一特征图并判断眼底图像的病变特征，分期头部网络230可以接收第一特征图并判断眼底图像所属的分期。
如图4所示，在一些示例中，可以对特征头部网络220中的特征图和分期头部网络230中的特征图进行融合，并基于融合后的特征图获取眼底图像所属的分期并同时获得眼底图像的病变特征。
在一些示例中，可以对特征头部网络220中的中间层的特征图和分期头部网络230中的中间层的特征图进行融合，并基于融合后的特征图获取眼底图像所属的分期并同时获得眼底图像的病变特征。
在一些示例中，通过特征头部网络220的中间层可以得到第二特征图。在一些示例中，通过第二特征图的特征头部网络220的中间层中的修正线性单元层可以得到第二特征图。
在一些示例中，分期头部网络230可以接收第一特征图并基于分期头部网络230的中间层得到第三特征图，也即通过分期头部网络230的中间层可以得到第三特征图。在一些示例中，通过分期头部网络230的中间层中的修正线性单元层可以得到第三特征图。
在一些示例中，在分期头部网络230的网络结构中，可以对来自于分期头部网络230中间层的第三特征图和来自于特征头部网络220的中间层的第二特征图进行特征融合以获取第四特征图，并基于第四特征图判断眼底图像所属的分期。在这种情况下，能够模拟糖尿病视网膜病变的病变特征和分期之间的因果关系，进而能够同时提高识别糖尿病视网膜病变的分期和病变特征的性能。由此，可以为糖尿病视网膜病变的识别提供更好的解释和支持。
在一些示例中，分期头部网络230可以包括拼接层。在一些示例中，分期头部网络230的拼接层可以接收第二特征图和第三特征图并进行特征融合以获得第四特征图，并基于第四特征图判断眼底图像所属的分期。由此，能够利用分期头部网络230的拼接层对第二特征图和第三特征图并进行特征融合。在一些示例中，分期头部网络230可以包括全连接层、修正线性单元层、激活层和拼接层。
图6是示出了本公开示例所涉及的多任务网络200的一个示例的示意图。
作为多任务网络200的一个示例。如图6所示，特征头部网络220可以依次由全连接层、修正线性单元层、全连接层和激活层组成，分期头部网络230可以依次由全连接层、修正线性单元层、拼接层、全连接层和激活层组成。分期头部网络230的拼接层可以接收特征头部网络220的修正线性单元层输出的第二特征图和分期头部网络230的修正线性单元层输出的第三特征图并进行特征融合以获得第四特征图，并基于第四特征图判断眼底图像所属的分期。但本公开的示例不限于此，在另一些示例中，分期头部网络230的拼接层可以接收特征头部网络220的其他中间层输出的特征图和分期头部网络230的其他中间层输出的特征图。
在一些示例中，可以通过跳跃连接(skip connection)将第二特征图输入至分期头部网络230以使分期头部网络230基于第三特征图和第二特征图判断眼底图像所属的分期。由此，能够基于跳跃连接将第二特征图输入至分期头部网络230以进行特征融合。
在一些示例中，各类子网络的数量可以为一个或多个。在一些示例中，在各类子网络中，各个子网络可以对应不同尺寸的眼底图像。由此，能够提取不同尺寸的眼底图像的特征图并进行特征融合。
在一些示例中，分期可以包括无糖尿病视网膜病变、轻度非增生性糖尿病视网膜病变、中度非增生性糖尿病视网膜病变、重度非增生性糖尿病视网膜病变和增生性糖尿病视网膜病变。由此，能够确定糖尿病视网膜病变的分期。但本公开的示例不限于此，在另一些示例中，可以根据需要定义糖尿病视网膜病变的分期。
另外，在一些示例中，病变特征可以包括微血管瘤、视网膜内出血、视网膜浅表出血、硬性渗出、棉绒斑、静脉异常、视网膜内微血管异常、视网膜新生血管、视乳头新生血管、视网膜前纤维增生、玻璃体积血或视网膜前出血以及牵拉性视网膜脱离中的至少一种。由此，能够确定糖尿病视网膜病变的病变特征。
图7是示出了本公开示例所涉及的多任务联合训练的流程图。
在一些示例中，可以对多任务网络200进行训练并确定多任务网络200的网络参数，以使多任务网络200能够同时识别眼底图像所属的分期以及病变特征。在一些示例中，多任务网络200的网络参数可以通过多任务联合训练得到。在一些示例中，在多任务联合训练中，可以通过反向传播调整三类子网络的网络参数，也即调整多任务网络200的网络参数。
在一些示例中，通过多任务联合训练，特征头部网络220和分期头部网络230可以通过反向传播调整骨干网络210的网络参数，以使骨干网络210输出的第一特征图能够更好的表达糖尿病视网膜病变的特征并同时输入特征头部网络220和分期头部网络230。在这种情况下，特征头部网络220和分期头部网络230都基于骨干网络210输出的第一特征图进行处理。
如上所述，在一些示例中，可以对来自于分期头部网络230中间层的第三特征图和来自于特征头部网络220的中间层的第二特征图进行特征融合以获取第四特征图，并基于第四特征图判断眼底图像所属的分期。在这种情况下，特征头部网络220获得眼底图像的病变特征可以用于解释分期头部网络230获得眼底图像所属的分期。由此，能够利用眼底图像所属的分期以及病变特征之间的关联性同时提高识别糖尿病视网膜病变的分期和病变特征的性能。
具体地，如图7所示，多任务联合训练可以包括构建训练集(步骤S121)和利用训练集对多任务网络进行训练(步骤S122)。
在一些示例中，在步骤S121中，可以构建训练集。训练集可以由待训练的眼底图像和待训练的眼底图像的标注结果组成。为了方便描述，将多任务联合训练中的眼底图像称为训练眼底图像。
在一些示例中，训练眼底图像可以是来自于合作医院且去除患者信息的8至10万张眼底图像。在一些示例中，可以将训练眼底图像分成用于训练的眼底图像(也即待训练的眼底图像)、用于验证的眼底图像和用于测试的眼底图像。
在一些示例中，为了抑制多任务网络200过拟合，可以对待训练的眼底图像进行数据增广处理。在一些示例中，数据增广处理可以包括但不限于翻转(例如上下翻转或左右翻转)、放大、旋转、调整对比度、调整亮度或色彩均衡。
在一些示例中，用于训练的眼底图像及对应的标注结果可以称为训练集。在一些示例中，用于验证的眼底图像及对应的标注结果可以称为验证集。在一些示例中，用于测试的眼底图像及对应的标注结果可以称为测试集。
在一些示例中，标注结果可以包括描述训练眼底图像的病变特征的病变标签。病变标签可以包括无病变或若干个(也即一个或多个)病变特征。例如，若病变特征包括病变特征A、病变特征B和病变特征C，若某张眼底图像的病变特征为病变特征A和病变特征C，则该眼底图像的病变标签可以为病变特征A和病变特征C(也即存在病变特征A、不存在病变特征B和存在病变特征C)，若该眼底图像不存在任何病变特征，则该眼底图像的病变标签可以为无病变(也即不存在病变特征A、不存在病变特征B和不存在病变特征C)。在一些示例中，标注结果还可以包括描述训练眼底图像所属的分期的分期标签。分期标签可以包括一个分期。
在一些示例中，可以对训练眼底图像进行标注以获取标注结果。在一些示例中，可以通过在线标注系统对训练眼底图像进行标注。在一些示例中，在线标注系统可以对训练眼底图像进行放大或缩小。由此，能够更好对训练眼底图像进行标注。在一些示例中，眼科医生可以利用在线标注系统对训练眼底图像进行标注。
在一些示例中，训练集中的标注结果可以包括描述待训练的眼底图像的病变特征的病变标签。在一些示例中，训练集中的标注结果还可以包括描述待训练的眼底图像所属的分期的分期标签。
在一些示例中，对验证集中的眼底图像进行标注的眼科医生的年资可以比对训练集中的眼底图像进行标注的眼科医生的年资高。例如对训练集中的眼底图像进行标注的眼科医生可以为年资超过1年的眼科医生，对验证集中的眼底图像进行标注的眼科医生可以为年资超过5年的眼科医生。
在一些示例中，测试集的数量可以为多个。在一些示例中，多个测试集中的标注结果可以是由不同年资的眼科医生进行标注获得的。例如测试集的数量可以为2个，其中一个测试集的标注结果可以是由年资超过5年的眼科医生进行标注获得的。另一个测试集的标注结果可以是由多个(例如三个)不同年资的眼科医生进行标注并基于投票法获得的。在一些示例中，若是标注结果是病变标签，则投票法可以为绝对多数投票法(MajorityVoting)。在一些示例中，若是标注结果是分期标签，则投票法可以为中位投票法(MedianVoting)。
在一些示例中，在步骤S122中，可以利用训练集对多任务网络200进行训练。
一般而言，在机器学习领域，可以将训练集中的标注结果作为金标准(也可以叫做真实值)。在一些示例中，可以基于标注结果计算损失函数，进而可以基于损失函数对多任务网络200进行训练。由此，能够利用标注结果对多任务网络200进行训练。在一些示例中，可以利用标注结果对多任务网络200的表现进行评估。
在一些示例中，可以基于训练集对多任务网络200进行训练以同时预测待训练的眼底图像的各个病变特征的概率和待训练的眼底图像的属于各个分期的概率。在一些示例中，病变特征的概率可以作为病变特征预测概率。在一些示例中，分期的概率可以作为分期预测概率。
如上所述，可以基于标注结果计算损失函数，进而可以基于损失函数对多任务网络200进行训练。在一些示例中，可以利用总损失函数对多任务网络200进行优化。
在一些示例中，总损失函数可以包括分期损失项和特征损失项。分期损失项可以用于优化分期头部网络230。特征损失项可以用于优化特征头部网络220。如上所述，特征头部网络220和分期头部网络230可以通过反向传播调整骨干网络210的网络参数，以使骨干网络210输出的第一特征图能够更好的表达糖尿病视网膜病变的特征并同时输入特征头部网络220和分期头部网络230，因此分期损失项和特征损失项也可以同时优化骨干网络210。在这种情况下，能够利用总损失函数同时对多任务网络200进行训练以优化多任务网络200的网络参数。
在一些示例中，分期损失项可以包括交叉熵损失项和一致性损失项。在一些示例中，交叉熵损失项可以基于交叉熵损失函数获得。在一些示例中，一致性损失项可以用于测量待训练的眼底图像的分期标签和分期预测概率的一致性。由此，能够确定交叉熵损失项和一致性损失项。在一些示例中，在分期损失项中，可以通过设置权重控制交叉熵损失项和一致性损失项对分期损失项的贡献。例如可以设置分期损失项的权重为0.8。
在一些示例中，一致性损失项可以是基于kappa系数获取待训练的眼底图像的分期标签和分期预测概率的一致性。在这种情况下，一致性损失项κ可以满足公式(1)：
其中，C为糖尿病视网膜病变的分期的数量，Wuv表示加权系数，Xuv满足公式
Euv满足公式
N为训练集中的眼底图像的数量，pnu为训练集中第n张眼底图像属于第u个糖尿病视网膜病变的分期的概率，ynv为训练集中第n张眼底图像是否属于第v个糖尿病视网膜病变的分期的金标准。由此，能够基于kappa系数获得一致性损失项。
在一些示例中，Wuv可以满足公式Wuv＝(u-v)2/(C-1)2。在这种情况下，训练集中的眼底图像的分期与金标准的差距越大，则加权系数越大，也即分期对金标准的偏移越大，则加权系数越大。由此，能够对与金标准的差距较大的分期进行惩罚。
在一些示例中，特征损失项可以包括各个病变特征对应的损失。在一些示例中，特征损失项Lf可以满足公式(2)：
其中，M为病变特征的数量，Lj为第j个病变特征对应的损失。λj为第j个病变特征对应的损失的权重。由此，能够调整各个病变特征的权重。在一些示例中，可以设置微血管瘤、视网膜内出血、视网膜浅表出血、硬性渗出、棉绒斑和静脉异常等病变特征对应的损失的权重为2。在一些示例中，可以设置视网膜内微血管异常、视网膜新生血管、视乳头新生血管、视网膜前纤维增生、玻璃体积血或视网膜前出血以及牵拉性视网膜脱离等等病变特征对应的损失的权重为1。
在一些示例中，第j个病变特征对应的损失Lj可以满足公式(3)：
其中，N1j为训练集中存在第j个病变特征的眼底图像的数量，N2j为训练集中不存在第j个病变特征的眼底图像的数量，znj为训练集中第n张眼底图像存在第j个病变特征的金标准，qnj为训练集中第n张眼底图像存在第j个病变特征的概率。由此，能够确定各个病变特征对应的损失。
如上所述，多任务网络200的网络参数通过多任务联合训练得到。在一些示例中，多任务联合训练还可以包括步骤S123(参见图7)。在步骤S123中，可以对多任务网络200的性能进行评估。
在一些示例中，用于评估分期头部网络230对应的性能的指标可以为kappa系数。在一些示例中，可以通过kappa系数对多任务网络200中分期头部网络230的输出进行评估。在一些示例中，可以通过kappa系数比较预测的糖尿病视网膜病变的分期与金标准之间的一致性。kappa系数的范围可以为-1至1。若kappa系数为1，则表示预测的糖尿病视网膜病变的分期与金标准完全一致。若kappa系数为0，则表示预测的糖尿病视网膜病变的分期与金标准是随机的。若kappa系数为-1，则表示预测的糖尿病视网膜病变的分期与金标准完全不一致。
在一些示例中，可以利用AUC(Area Under ROC Curve，受试者工作特征曲线下的面积)值对特征头部网络220的输出的性能进行评估。一般而言，AUC值越大，模型(例如特征头部网络220)的性能越好。在一些示例中，用于评估特征头部网络220性能的指标还可以为敏感性、特异性、AUC、召回率(recall)，精确率(precision)，平均精确率(averageprecision)中的至少一种。
以下，结合附图详细描述本公开涉及的同时识别糖尿病视网膜病变的分期和病变特征的判断系统300(有时也可以称为判断系统300)。本公开涉及的判断系统300用于实施上述的判断方法。图8是示出了本公开示例所涉及的同时识别糖尿病视网膜病变的分期和病变特征的判断系统300的框图。
在一些示例中，如图8所示，判断系统300可以包括获取模块310和判断模块320。获取模块310可以用于获取眼底图像。判断模块320可以用于将眼底图像输入基于深度学习的多任务网络以同时识别眼底图像所属的糖尿病视网膜病变的分期和眼底图像的糖尿病视网膜病变的病变特征。在这种情况下，多任务网络通过多任务联合学习，模拟糖尿病视网膜病变的病变特征和分期之间的因果关系，进而能够同时提高识别糖尿病视网膜病变的分期和病变特征的性能。由此，可以为糖尿病视网膜病变的识别提供更好的解释和支持。
在一些示例中，获取模块310可以用于获取眼底图像。具体内容参见步骤S110中的相关描述。
在一些示例中，判断模块320可以用于将眼底图像输入基于深度学习的多任务网络以同时识别眼底图像所属的糖尿病视网膜病变的分期和眼底图像的糖尿病视网膜病变的病变特征。在一些示例中，多任务网络可以是基于深度学习的。在一些示例中，多任务网络可以至少包括骨干网络、特征头部网络和分期头部网络的三类子网络。具体内容参见步骤S110中的多任务网络的相关描述。
在一些示例中，骨干网络可以接收眼底图像并输出第一特征图。在一些示例中，骨干网络可以包括卷积层、批标准化层、池化层、修正线性单元层和压缩激发块。具体内容参见步骤S110中的骨干网络的相关描述。
在一些示例中，特征头部网络可以接收第一特征图并判断眼底图像的糖尿病视网膜病变的病变特征。在一些示例中，特征头部网络可以包括全连接层、修正线性单元层和激活层。在一些示例中，可以通过特征头部网络的中间层可以得到第二特征图。具体内容参见步骤S110中的特征头部网络的相关描述。
在一些示例中，分期头部网络可以对眼底图像所属的分期进行判断。在一些示例中，分期头部网络可以包括拼接层。在一些示例中，分期头部网络可以包括全连接层、修正线性单元层和激活层。在一些示例中，分期头部网络可以包括全连接层、修正线性单元层、激活层和拼接层。在一些示例中，分期头部网络可以接收第一特征图并基于分期头部网络的中间层得到第三特征图。具体内容参见步骤S110中的分期头部网络的相关描述。
在一些示例中，在分期头部网络的网络结构中，可以对来自于分期头部网络中间层的第三特征图和来自于特征头部网络的中间层的第二特征图进行特征融合以获取第四特征图，并基于第四特征图判断眼底图像所属的分期。在一些示例中，分期头部网络的拼接层可以接收第二特征图和第三特征图并进行特征融合以获得第四特征图，并基于第四特征图判断眼底图像所属的分期。由此，能够利用分期头部网络的拼接层对第二特征图和第三特征图并进行特征融合。在一些示例中，可以通过跳跃连接将第二特征图输入至分期头部网络以使分期头部网络基于第三特征图和第二特征图判断眼底图像所属的分期。由此，能够基于跳跃连接将第二特征图输入至分期头部网络以进行特征融合。具体内容参见步骤S110中特征融合的相关描述。
在一些示例中，分期可以包括无糖尿病视网膜病变、轻度非增生性糖尿病视网膜病变、中度非增生性糖尿病视网膜病变、重度非增生性糖尿病视网膜病变和增生性糖尿病视网膜病变。由此，能够确定糖尿病视网膜病变的分期。在一些示例中，病变特征可以包括微血管瘤、视网膜内出血、视网膜浅表出血、硬性渗出、棉绒斑、静脉异常、视网膜内微血管异常、视网膜新生血管、视乳头新生血管、视网膜前纤维增生、玻璃体积血或视网膜前出血以及牵拉性视网膜脱离中的至少一种。由此，能够确定糖尿病视网膜病变的病变特征。
在一些示例中，可以对多任务网络进行训练并确定多任务网络的网络参数，以使多任务网络能够同时识别眼底图像所属的分期以及病变特征。在一些示例中，多任务网络的网络参数可以通过多任务联合训练得到。在一些示例中，在多任务联合训练中，可以通过反向传播调整三类子网络的网络参数，也即调整多任务网络的网络参数。
在一些示例中，在多任务联合训练中，可以构建训练集并利用训练集对多任务网络进行训练。训练集可以由待训练的眼底图像和待训练的眼底图像的标注结果组成。在一些示例中，标注结果中可以包括描述待训练的眼底图像的病变特征的病变标签。在一些示例中，标注结果中还可以包括描述待训练的眼底图像所属的分期的分期标签。在一些示例中，可以将训练集中的标注结果作为金标准。具体内容参见步骤S121中训练集的相关描述。
在一些示例中，在多任务联合训练中，可以基于训练集对多任务网络进行训练以同时预测待训练的眼底图像的各个病变特征的概率和待训练的眼底图像的属于各个分期的概率。在一些示例中，病变特征的概率可以作为病变特征预测概率。在一些示例中，分期的概率可以作为分期预测概率。具体内容参见步骤S121中病变特征的概率和分期预测概率的相关描述。
在一些示例中，可以利用总损失函数对多任务网络进行优化。在一些示例中，总损失函数可以包括分期损失项和特征损失项。分期损失项可以用于优化分期头部网络。特征损失项可以用于优化特征头部网络。在这种情况下，能够利用总损失函数同时对多任务网络进行训练以优化多任务网络的网络参数。具体内容参见步骤S122中总损失函数的相关描述。
在一些示例中，分期损失项可以包括交叉熵损失项和一致性损失项。在一些示例中，交叉熵损失项可以基于交叉熵损失函数获得。在一些示例中，一致性损失项可以用于测量待训练的眼底图像的分期标签和分期预测概率的一致性。由此，能够确定交叉熵损失项和一致性损失项。在一些示例中，一致性损失项可以是基于kappa系数获取待训练的眼底图像的分期标签和分期预测概率的一致性。在这种情况下，一致性损失项κ可以满足公式(1)。具体内容参见步骤S122中分期损失项的相关描述。
在一些示例中，特征损失项可以包括各个病变特征对应的损失。在一些示例中，第j个病变特征对应的损失Lj可以满足公式(3)。具体内容参见步骤S122中特征损失项的相关描述。
在本公开中，通过构建包括骨干网络、特征头部网络和分期头部网络的多任务网络并对特征头部网络的特征图和分期头部网络的特征图进行融合以模拟病变特征和分期之间的因果关系。由此，能够获取更好的对分期和病变特征进行识别的性能。在一些示例中，利用本公开的多任务网络对糖尿病视网膜病变的分期的识别的性能可以相当于5年年资的眼科医生的性能。
虽然以上结合附图和示例对本公开进行了具体说明，但是可以理解，上述说明不以任何形式限制本公开。本领域技术人员在不偏离本公开的实质精神和范围的情况下可以根据需要对本公开进行变形和变化，这些变形和变化均落入本公开的范围内。
Claims (12)
1.一种同时识别糖尿病视网膜病变的分期和病变特征的判断方法，其特征在于，包括：获取眼底图像；并且将所述眼底图像输入基于深度学习的多任务网络以同时识别所述眼底图像所属的糖尿病视网膜病变的分期和所述眼底图像的糖尿病视网膜病变的病变特征，所述多任务网络至少包括骨干网络、特征头部网络和分期头部网络的三类子网络，所述多任务网络的网络参数通过多任务联合训练得到，在所述多任务联合训练中，通过反向传播调整所述三类子网络的网络参数，所述骨干网络接收所述眼底图像并输出第一特征图，所述特征头部网络接收所述第一特征图并判断所述眼底图像的糖尿病视网膜病变的病变特征，并通过所述特征头部网络的中间层得到第二特征图，所述分期头部网络接收所述第一特征图并基于所述分期头部网络的中间层得到第三特征图，然后对所述第三特征图和所述第二特征图进行特征融合以判断所述眼底图像所属的糖尿病视网膜病变的分期。
2.根据权利要求1所述的判断方法，其特征在于：
通过跳跃连接将所述第二特征图输入至所述分期头部网络以使所述分期头部网络基于所述第三特征图和所述第二特征图判断所述眼底图像所属的糖尿病视网膜病变的分期。
3.根据权利要求1所述的判断方法，其特征在于：
所述分期头部网络包括拼接层，所述拼接层接收所述第二特征图和所述第三特征图并进行特征融合以获得第四特征图，基于所述第四特征图判断所述眼底图像所属的糖尿病视网膜病变的分期。
4.根据权利要求3所述的判断方法，其特征在于：
所述骨干网络包括卷积层、批标准化层、池化层、修正线性单元层和压缩激发块；
所述特征头部网络包括全连接层、修正线性单元层和激活层；
所述分期头部网络包括全连接层、修正线性单元层、所述拼接层和激活层。
5.根据权利要求1所述的判断方法，其特征在于：
在所述多任务联合训练中，构建由待训练的眼底图像和所述待训练的眼底图像的标注结果组成的训练集，基于所述训练集对所述多任务网络进行训练以同时预测所述待训练的眼底图像的各个糖尿病视网膜病变的病变特征的概率并作为病变特征预测概率和预测所述待训练的眼底图像的属于各个糖尿病视网膜病变的分期的概率并作为分期预测概率，利用总损失函数对所述多任务网络进行优化，其中，所述标注结果包括病变标签和分期标签并作为金标准，所述病变标签描述所述待训练的眼底图像的糖尿病视网膜病变的病变特征，所述分期标签描述所述待训练的眼底图像所属的糖尿病视网膜病变的分期。
6.根据权利要求5所述的判断方法，其特征在于：
所述总损失函数包括用于优化所述分期头部网络的分期损失项和用于优化所述特征头部网络的特征损失项。
7.根据权利要求6所述的判断方法，其特征在于：
所述分期损失项包括基于交叉熵损失函数的交叉熵损失项和用于测量所述待训练的眼底图像的所述分期标签和所述分期预测概率的一致性的所述一致性损失项。
8.根据权利要求7所述的判断方法，其特征在于：
所述一致性损失项是基于kappa系数获取所述待训练的眼底图像的所述分期标签和所述分期预测概率的一致性，所述一致性损失项κ满足公式：
其中，C为糖尿病视网膜病变的分期的数量，Wuv表示加权系数，Xuv满足公式
Euv满足公式
N为所述训练集中的眼底图像的数量，pnu为所述训练集中第n张眼底图像属于第u个糖尿病视网膜病变的分期的概率，ynv为所述训练集中第n张眼底图像是否属于第v个糖尿病视网膜病变的分期的金标准。
9.根据权利要求6所述的判断方法，其特征在于：
所述特征损失项包括各个病变特征对应的损失，第j个病变特征对应的损失Lj满足公式：
其中，N1j为所述训练集中存在第j个病变特征的眼底图像的数量，N2j为所述训练集中不存在第j个病变特征的眼底图像的数量，znj为所述训练集中第n张眼底图像是否存在第j个病变特征的金标准，qnj为所述训练集中第n张眼底图像存在第j个病变特征的概率。
10.根据权利要求1所述的判断方法，其特征在于：
所述糖尿病视网膜病变的分期包括无糖尿病视网膜病变、轻度非增生性糖尿病视网膜病变、中度非增生性糖尿病视网膜病变、重度非增生性糖尿病视网膜病变和增生性糖尿病视网膜病变。
11.根据权利要求1所述的判断方法，其特征在于：
所述糖尿病视网膜病变的病变特征包括微血管瘤、视网膜内出血、视网膜浅表出血、硬性渗出、棉绒斑、静脉异常、视网膜内微血管异常、视网膜新生血管、视乳头新生血管、视网膜前纤维增生、玻璃体积血或视网膜前出血以及牵拉性视网膜脱离中的至少一种。
12.一种同时识别糖尿病视网膜病变的分期和病变特征的判断系统，其特征在于，包括：获取模块和判断模块；所述获取模块用于获取眼底图像；以及所述判断模块用于将所述眼底图像输入基于深度学习的多任务网络以同时识别所述眼底图像所属的糖尿病视网膜病变的分期和所述眼底图像的糖尿病视网膜病变的病变特征，所述多任务网络至少包括骨干网络、特征头部网络和分期头部网络的三类子网络，所述多任务网络的网络参数通过多任务联合训练得到，在所述多任务联合训练中，通过反向传播调整所述三类子网络的网络参数，所述骨干网络接收所述眼底图像并输出第一特征图，所述特征头部网络接收所述第一特征图并判断所述眼底图像的糖尿病视网膜病变的病变特征，并通过所述特征头部网络的中间层得到第二特征图，所述分期头部网络接收所述第一特征图并基于所述分期头部网络的中间层得到第三特征图，然后对所述第三特征图和所述第二特征图进行特征融合以判断所述眼底图像所属的糖尿病视网膜病变的分期。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110078231.4A CN112869697A (zh) | 2021-01-20 | 2021-01-20 | 同时识别糖尿病视网膜病变的分期和病变特征的判断方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110078231.4A CN112869697A (zh) | 2021-01-20 | 2021-01-20 | 同时识别糖尿病视网膜病变的分期和病变特征的判断方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112869697A true CN112869697A (zh) | 2021-06-01 |
Family
ID=76051333
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110078231.4A Pending CN112869697A (zh) | 2021-01-20 | 2021-01-20 | 同时识别糖尿病视网膜病变的分期和病变特征的判断方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112869697A (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113273959A (zh) * | 2021-07-19 | 2021-08-20 | 中山大学中山眼科中心 | 一种便携式糖尿病视网膜病变诊疗仪 |
| TWI768951B (zh) * | 2021-06-03 | 2022-06-21 | 宏碁股份有限公司 | 訓練老年性黃斑部退化的分類模型的電子裝置和方法 |
| CN115330714A (zh) * | 2022-08-10 | 2022-11-11 | 中山大学中山眼科中心 | 一种荧光素眼底血管造影图像的分期和病变诊断系统 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108021916A (zh) * | 2017-12-31 | 2018-05-11 | 南京航空航天大学 | 基于注意力机制的深度学习糖尿病视网膜病变分类方法 |
| CN108615051A (zh) * | 2018-04-13 | 2018-10-02 | 博众精工科技股份有限公司 | 基于深度学习的糖尿病视网膜图像分类方法及系统 |
| US20190313895A1 (en) * | 2015-11-12 | 2019-10-17 | Tecumseh Vision, Llc | System and method for automatic assessment of disease condition using oct scan data |
| CN110837803A (zh) * | 2019-11-07 | 2020-02-25 | 复旦大学 | 基于深度图网络的糖尿病视网膜病变分级方法 |
-
2021
- 2021-01-20 CN CN202110078231.4A patent/CN112869697A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20190313895A1 (en) * | 2015-11-12 | 2019-10-17 | Tecumseh Vision, Llc | System and method for automatic assessment of disease condition using oct scan data |
| CN108021916A (zh) * | 2017-12-31 | 2018-05-11 | 南京航空航天大学 | 基于注意力机制的深度学习糖尿病视网膜病变分类方法 |
| CN108615051A (zh) * | 2018-04-13 | 2018-10-02 | 博众精工科技股份有限公司 | 基于深度学习的糖尿病视网膜图像分类方法及系统 |
| CN110837803A (zh) * | 2019-11-07 | 2020-02-25 | 复旦大学 | 基于深度图网络的糖尿病视网膜病变分级方法 |
Non-Patent Citations (1)
| Title |
|---|
| JUAN WANG: ""Simultaneous Diagnosis of Severity and Features of Diabetic Retinopathy in Fundus Photography Using Deep Learning"", 《IEEE JOURNAL OF BIOMEDICAL AND HEALTH INFORMATICS 》 * |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| TWI768951B (zh) * | 2021-06-03 | 2022-06-21 | 宏碁股份有限公司 | 訓練老年性黃斑部退化的分類模型的電子裝置和方法 |
| CN113273959A (zh) * | 2021-07-19 | 2021-08-20 | 中山大学中山眼科中心 | 一种便携式糖尿病视网膜病变诊疗仪 |
| CN115330714A (zh) * | 2022-08-10 | 2022-11-11 | 中山大学中山眼科中心 | 一种荧光素眼底血管造影图像的分期和病变诊断系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Asiri et al. | Deep learning based computer-aided diagnosis systems for diabetic retinopathy: A survey | |
| CN107423571B (zh) | 基于眼底图像的糖尿病视网膜病变识别系统 | |
| CN107358606B (zh) | 用于识别糖尿病视网膜病变的人工神经网络装置及系统装置 | |
| EP3730040A1 (en) | Method and apparatus for assisting in diagnosis of cardiovascular disease | |
| CN109635862B (zh) | 早产儿视网膜病plus病变分类方法 | |
| CN112869697A (zh) | 同时识别糖尿病视网膜病变的分期和病变特征的判断方法 | |
| Kauppi | Eye fundus image analysis for automatic detection of diabetic retinopathy | |
| CN111080643A (zh) | 基于眼底图像的糖尿病及相关疾病的分类方法及设备 | |
| Ardiyanto et al. | Deep learning-based diabetic retinopathy assessment on embedded system | |
| CN112101424B (zh) | 一种视网膜病变识别模型的生成方法、识别装置及设备 | |
| CN114694236B (zh) | 一种基于循环残差卷积神经网络的眼球运动分割定位方法 | |
| Zhang et al. | A human-in-the-loop deep learning paradigm for synergic visual evaluation in children | |
| CN116563932A (zh) | 基于多任务学习的眼部图像识别方法及相关设备 | |
| CN115035127A (zh) | 一种基于生成式对抗网络的视网膜血管分割方法 | |
| CN113887662A (zh) | 一种基于残差网络的图像分类方法、装置、设备及介质 | |
| CN117237711A (zh) | 一种基于对抗学习的双模态眼底图像分类方法 | |
| CN113273959B (zh) | 一种便携式糖尿病视网膜病变诊疗仪 | |
| CN111374632B (zh) | 视网膜病变检测方法、装置及计算机可读存储介质 | |
| Biswas et al. | Estimating Risk Levels and Epidemiology of Diabetic Retinopathy using Transfer Learning | |
| Shilpa et al. | Grading and classification of digital fundus images for automatic diabetic retinopathy detection: A review | |
| Venneti et al. | Amdnet: Age-related macular degeneration diagnosis through retinal fundus images using lightweight convolutional neural network | |
| Fayemiwo et al. | Identification and Classification of Diabetic Retinopathy Using Machine Learning | |
| Shylaja | Algorithmic approach for prediction and early detection of diseases using retinal images | |
| Biswas et al. | Deep learning system for assessing diabetic retinopathy prevalence and risk level estimation | |
| Sivasangari et al. | Diabetic Retinopathy Detection Using Convolution Neural Network |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |