CN117764957A - 基于人工神经网络的青光眼图像特征提取的训练系统 - Google Patents
基于人工神经网络的青光眼图像特征提取的训练系统 Download PDFInfo
- Publication number
- CN117764957A CN117764957A CN202311798837.0A CN202311798837A CN117764957A CN 117764957 A CN117764957 A CN 117764957A CN 202311798837 A CN202311798837 A CN 202311798837A CN 117764957 A CN117764957 A CN 117764957A
- Authority
- CN
- China
- Prior art keywords
- weight
- image
- blood vessel
- area
- video disc
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000013528 artificial neural network Methods 0.000 title claims abstract description 121
- 238000012549 training Methods 0.000 title claims abstract description 121
- 208000010412 Glaucoma Diseases 0.000 title claims abstract description 77
- 238000000605 extraction Methods 0.000 title claims abstract description 43
- 210000004204 blood vessel Anatomy 0.000 claims abstract description 214
- 238000002372 labelling Methods 0.000 claims abstract description 63
- 238000001514 detection method Methods 0.000 claims abstract description 34
- 230000002792 vascular Effects 0.000 claims description 58
- 238000000034 method Methods 0.000 claims description 42
- 238000002156 mixing Methods 0.000 claims description 39
- 238000010586 diagram Methods 0.000 claims description 23
- 230000008569 process Effects 0.000 claims description 18
- 238000001914 filtration Methods 0.000 claims description 16
- 210000005252 bulbus oculi Anatomy 0.000 claims description 7
- 230000003044 adaptive effect Effects 0.000 claims description 3
- 230000006870 function Effects 0.000 description 34
- 238000007781 pre-processing Methods 0.000 description 29
- 230000010339 dilation Effects 0.000 description 28
- 238000012545 processing Methods 0.000 description 12
- 239000011159 matrix material Substances 0.000 description 10
- 239000000203 mixture Substances 0.000 description 7
- 230000000007 visual effect Effects 0.000 description 5
- 230000015572 biosynthetic process Effects 0.000 description 4
- 230000003902 lesion Effects 0.000 description 4
- 238000010606 normalization Methods 0.000 description 4
- 230000011218 segmentation Effects 0.000 description 4
- 238000012360 testing method Methods 0.000 description 4
- 238000004590 computer program Methods 0.000 description 3
- 230000004069 differentiation Effects 0.000 description 3
- 239000003814 drug Substances 0.000 description 3
- 210000001508 eye Anatomy 0.000 description 3
- 238000009499 grossing Methods 0.000 description 3
- 230000004044 response Effects 0.000 description 3
- 201000004569 Blindness Diseases 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 2
- 210000003050 axon Anatomy 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 238000011478 gradient descent method Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000004660 morphological change Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 210000003994 retinal ganglion cell Anatomy 0.000 description 2
- 206010025421 Macule Diseases 0.000 description 1
- 208000037273 Pathologic Processes Diseases 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 210000001367 artery Anatomy 0.000 description 1
- FFBHFFJDDLITSX-UHFFFAOYSA-N benzyl N-[2-hydroxy-4-(3-oxomorpholin-4-yl)phenyl]carbamate Chemical compound OC1=C(NC(=O)OCC2=CC=CC=C2)C=CC(=C1)N1CCOCC1=O FFBHFFJDDLITSX-UHFFFAOYSA-N 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 208000030533 eye disease Diseases 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 230000002427 irreversible effect Effects 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 210000004126 nerve fiber Anatomy 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000004091 panning Methods 0.000 description 1
- 230000001575 pathological effect Effects 0.000 description 1
- 230000009054 pathological process Effects 0.000 description 1
- 210000000578 peripheral nerve Anatomy 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000005316 response function Methods 0.000 description 1
- 210000001927 retinal artery Anatomy 0.000 description 1
- 230000002207 retinal effect Effects 0.000 description 1
- 210000001957 retinal vein Anatomy 0.000 description 1
- 210000003786 sclera Anatomy 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 238000011524 similarity measure Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 238000009966 trimming Methods 0.000 description 1
- 230000004865 vascular response Effects 0.000 description 1
- 210000003462 vein Anatomy 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
- G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
- G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20112—Image segmentation details
- G06T2207/20132—Image cropping
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30041—Eye; Retina; Ophthalmic
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- Software Systems (AREA)
- Computing Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Artificial Intelligence (AREA)
- Medical Informatics (AREA)
- Databases & Information Systems (AREA)
- Molecular Biology (AREA)
- Mathematical Physics (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Geometry (AREA)
- Quality & Reliability (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Eye Examination Apparatus (AREA)
- Image Analysis (AREA)
Abstract
本公开描述了一种基于人工神经网络的青光眼图像特征提取的训练系统，包括获取模块、血管区域检测模块、混合权重生成模块以及模型训练模块；获取模块配置为获取眼底图像和标注图像，标注图像包括标注出视盘区域的视盘标注图像以及视杯标注图像；血管区域检测模块配置为对眼底图像进行血管区域检测以形成血管图像；混合权重生成模块配置为将视盘标注图像和血管图像进行混合加权以生成混合权重分布图，令视盘区域的权重大于非视盘区域的权重，血管区域的权重大于非血管区域的权重；以及模型训练模块配置为基于眼底图像、标注图像和混合权重分布图对人工神经网络进行训练。由此，能够提高人工神经网络对青光眼图像特征识别的准确性。
Description
本申请是申请日为2020年07月18日、申请号为2020107026436、发明名称为青光眼图像特征提取的训练方法及训练系统的专利申请的分案申请。
技术领域
本公开涉及生物医学工程领域，特别涉及一种基于人工神经网络的青光眼图像特征提取的训练系统。
背景技术
目前，青光眼已经成为是全球第二致盲眼科疾病。全球原发性青光眼患者已超过千万人，其中超过一成的患者可能发展为双眼盲。青光眼如果不及早就诊，有可能发展成不可逆性的眼盲，因此早期的青光眼筛查具有重要的意义。
青光眼主要病理过程是由于视网膜神经节细胞死亡及轴突的丧失，导致视盘边缘神经纤维缺损，从而引起视盘形态学改变，例如视盘凹陷扩大、视盘凹陷加深等。临床医学研究表明，眼底图像的视杯视盘比例(简称杯盘比；cup-to-disc ratio，CDR)是衡量视盘凹陷的可靠指标，因此可以通过眼底图像的视杯视盘比例对青光眼进行识别。在临床医学中，现有的识别方法包括通过人工智能技术对眼底图像中的特征进行处理以识别视盘或视杯，从而对眼底进行病变识别。
然而，由于视盘区域一般仅存在4-6对1级或2级视网膜动静脉，因此在使用人工智能技术对眼底图像进行识别时，容易忽略该动静脉信息而导致不能准确地学习到小血管走行，从而导致不能精确地识别视盘或视杯。
发明内容
本公开是鉴于上述现有技术的状况而提出的，其目的在于提供一种能够提高人工神经网络对青光眼图像特征提取准确性的基于人工神经网络的青光眼图像特征提取的训练方法及训练系统。
为此，本公开第一方面提供基于人工神经网络的青光眼图像特征提取的训练方法，其包括：准备眼底图像和标注图像，所述标注图像包括标注出视盘区域的视盘标注图像以及标注出视杯区域的视杯标注图像；对所述眼底图像进行预处理得到预处理眼底图像，并根据血管检测结果生成包含血管区域的血管图像；将所述视盘标注图像和所述血管图像进行混合加权以生成混合权重分布图；并且基于所述预处理眼底图像、所述标注图像和所述混合权重分布图对人工神经网络进行训练，其中，在进行所述混合加权时，令所述视盘区域的权重大于非视盘区域的权重，所述血管区域的权重大于非血管区域的权重。在本公开中，基于预处理眼底图像、标注图像和混合权重分布图对人工神经网络进行训练，能够使人工神经网络在训练中兼顾血管区域和视盘区域，优化小血管走行的学习且抑制正负样本失衡，由此，能够提高人工神经网络对青光眼图像特征提取的准确性。
另外，在本公开第一方面所涉及的基于人工神经网络的青光眼图像特征提取的训练方法中，可选地，对所述视盘标注图像中的所述视盘区域进行膨胀，以形成视盘膨胀图像；对所述血管图像中的所述血管区域进行膨胀，以形成血管膨胀图像。在这种情况下，通过膨胀处理获得包含视盘附近区域的视盘膨胀图像和包含血管边界的血管膨胀图像。
另外，在本公开第一方面所涉及的基于人工神经网络的青光眼图像特征提取的训练方法中，可选地，将所述视盘膨胀图像和所述血管膨胀图像进行混合加权以生成所述混合权重分布图。由此，能够进一步提高人工神经网络对青光眼图像特征提取的准确性。
另外，在本公开第一方面所涉及的基于人工神经网络的青光眼图像特征提取的训练方法中，可选地，在训练过程中，基于所述混合权重分布图获得所述人工神经网络中损失函数的系数，并基于所述损失函数对所述人工神经网络进行训练。在这种情况下，基于混合权重分布图获得的损失函数系数优化人工神经网络，能够抑制正负样本失衡，由此，能够进一步提高人工神经网络对青光眼图像特征提取的准确性。
另外，在本公开第一方面所涉及的基于人工神经网络的青光眼图像特征提取的训练方法中，可选地，所述混合权重分布图包括眼底区域和背景区域，令所述背景区域的权重为零。由此，能够减少背景区域对人工神经网络识别青光眼图像特征的干扰。
另外，在本公开第一方面所涉及的基于人工神经网络的青光眼图像特征提取的训练方法中，可选地，所述预处理包括对所述眼底图像进行裁切和归一化处理。在这种情况下，裁切处理能够使眼底图像转换为固定标准形式的图像，归一化处理能够克服不同眼底图像的差异性，由此，能够使人工神经网络更方便地提取青光眼图像特征。
另外，在本公开第一方面所涉及的基于人工神经网络的青光眼图像特征提取的训练方法中，可选地，所述混合权重分布图包括视盘内血管区域、视盘内非血管区域、视盘外血管区域和视盘外非血管区域。由此，能够使人工神经网络更准确地提取出眼底图像中各区域的青光眼图像特征。
另外，在本公开第一方面所涉及的基于人工神经网络的青光眼图像特征提取的训练方法中，可选地，令所述视盘区域的权重为第一权重，所述非视盘区域的权重为第二权重，所述血管区域的权重为第三权重，所述非血管区域的权重为第四权重，则所述视盘内血管区域的权重为所述第一权重乘以所述第三权重，所述视盘内非血管区域的权重为所述第一权重乘以所述第四权重，所述视盘外血管区域的权重为所述第二权重乘以所述第三权重，所述视盘外非血管区域的权重为所述第二权重乘以所述第四权重。由此，能够根据视盘区域、非视盘区域、血管区域和非血管区域的权重分别得出视盘内血管区域、视盘内非血管区域、视盘外血管区域和视盘外非血管区域的权重值。
另外，在本公开第一方面所涉及的基于人工神经网络的青光眼图像特征的训练方法中，可选地，基于Frangi滤波进行血管区域检测以形成所述血管图像。由此，能够自动地识别出血管区域，便于后续人工神经网络对于血管区域的识别和处理。
本公开第二方面提供了一种基于人工神经网络的青光眼图像特征提取的训练系统，其包括：获取模块，其获取眼底图像和标注图像，所述标注图像包括标注出视盘区域的视盘标注图像以及标注出视杯区域的视杯标注图像；图像预处理模块，其对所述眼底图像进行预处理得到预处理眼底图像；血管区域检测模块，其对所述预处理眼底图像进行血管区域检测以形成血管图像；混合权重生成模块，其将所述视盘标注图像和所述血管图像进行混合加权以生成混合权重分布图；以及模型训练模块，基于所述预处理眼底图像、所述标注图像和所述混合权重分布图对人工神经网络进行训练，其中，在进行所述混合加权时，令所述视盘区域的权重大于非视盘区域的权重，所述血管区域的权重大于非血管区域的权重。在本公开中，基于预处理眼底图像、标注图像和混合权重分布图对人工神经网络进行训练，能够使人工神经网络在训练中兼顾血管区域和视盘区域，优化小血管走行的学习且抑制正负样本失衡，由此，能够提高人工神经网络对青光眼图像特征提取的准确性。
另外，在本公开第二方面所涉及的基于人工神经网络的青光眼图像特征提取的训练系统中，可选地，对所述视盘标注图像中的所述视盘区域进行膨胀，以形成视盘膨胀图像；对所述血管图像中的所述血管区域进行膨胀，以形成血管膨胀图像。在这种情况下，通过膨胀处理获得包含视盘附近区域的视盘膨胀图像和包含血管边界的血管膨胀图像。
另外，在本公开第二方面所涉及的基于人工神经网络的青光眼图像特征提取的训练系统中，可选地，将所述视盘膨胀图像和所述血管膨胀图像进行混合加权以生成所述混合权重分布图。由此，能够进一步提高人工神经网络对青光眼图像特征提取的准确性。
另外，在本公开第二方面所涉及的基于人工神经网络的青光眼图像特征提取的训练系统中，可选地，在训练过程中，基于所述混合权重分布图获得所述人工神经网络中损失函数的系数，并基于所述损失函数对所述人工神经网络进行训练。在这种情况下，基于混合权重分布图获得的损失函数系数优化人工神经网络，能够抑制正负样本失衡，由此，能够进一步提高人工神经网络对青光眼图像特征提取的准确性。
另外，在本公开第二方面所涉及的基于人工神经网络的青光眼图像特征提取的训练系统中，可选地，所述混合权重分布图包括眼底区域和背景区域，令所述背景区域的权重为零。由此，能够减小背景区域对人工神经网络识别青光眼图像特征的干扰。
另外，在本公开第二方面所涉及的基于人工神经网络的青光眼图像特征提取的训练系统中，可选地，基于Frangi滤波进行血管区域检测以形成所述血管图像。由此，能够自动的识别出血管区域，能够方便后续人工神经网络对于血管区域的识别和处理。
另外，在本公开第二方面所涉及的基于人工神经网络的青光眼图像特征提取的训练系统中，可选地，所述混合权重分布图包括视盘内血管区域、视盘内非血管区域、视盘外血管区域和视盘外非血管区域。由此，能够使人工神经网络更准确地提取出眼底图像中各区域的青光眼图像特征。
另外，在本公开第二方面所涉及的基于人工神经网络的青光眼图像特征提取的训练系统中，可选地，令所述视盘区域的权重为第一权重，所述非视盘区域的权重为第二权重，所述血管区域的权重为第三权重，所述非血管区域的权重为第四权重，则所述视盘内血管区域的权重为所述第一权重乘以所述第三权重，所述视盘内非血管区域的权重为所述第一权重乘以所述第四权重，所述视盘外血管区域的权重为所述第二权重乘以所述第三权重，所述视盘外非血管区域的权重为所述第二权重乘以所述第四权重。由此，能够根据视盘区域、非视盘区域、血管区域和非血管区域的权重分别得出视盘内血管区域、视盘内非血管区域、视盘外血管区域和视盘外非血管区域的权重值。
根据本公开，提供一种能够提高人工神经网络对青光眼图像特征提取准确性的基于人工神经网络的青光眼图像特征提取的训练方法及训练系统。
附图说明
现在将仅通过参考附图的例子进一步详细地解释本公开的实施例，其中：
图1示出了本公开的实施方式所涉及的电子设备示意图。
图2示出了本公开的实施方式所涉及的基于人工神经网络的青光眼图像特征提取的训练系统的框图。
图3示出了本公开的实施方式所涉及的对眼底图像的进行标注形成标注图像的示意图。
图4示出了本公开的实施方式所涉及的对预处理眼底图像进行血管区域检测形成的血管图像的示意图。
图5示出了本公开的实施方式所涉及的第一混合权重分布图的形成示意图。
图6示出了本公开的实施方式所涉的训练系统的混合权重生成模块的框图。
图7示出了本公开的实施方式所涉及的视盘膨胀图像的示意图。
图8示出了本公开的实施方式所涉及的血管膨胀图像的示意图。
图9示出了本公开的实施方式所涉及的第二混合权重分布图的形成示意图。
图10示出了本公开的实施方式所涉及的基于人工神经网络的青光眼图像特征提取的训练方法的流程图。
符号说明：
1…电子设备，1a…主机，1b…显示设备，1c…输入设备，10…训练系统，100…获取模块，200…图像预处理模块，300…血管区域检测模块，400…混合权重生成模块，410…视盘膨胀模块，420…血管胀模块，500…模型训练模块，P1…眼底图像，P20…视盘标注图像，P30…视杯标注图像，P10…预处理眼底图像，P40…血管图像，P21…加权后的视盘标注图像，P41…加权后的血管图像，P3…第一混合权重分布图，P23…视盘膨胀图像，P43…血管膨胀图像，P4…第二混合权重分布图，A1…视盘区域，A1'…非视盘区域，A2…视杯区域，A3…视盘膨胀区域，A3'…非视盘膨胀区域，A4…血管区域，A4'…非血管区域，A5…血管膨胀区域，A5'…非血管膨胀区域，A30…第一视盘内的血管区域，A30'…第一视盘内的非血管区域，A31…第一视盘外的血管区域，A31'…第一视盘外的非血管区域，A40…第二视盘内的血管区域，A40'…第二视盘内的非血管区域，A41…第二视盘外的血管区域，A41'…第二视盘外的非血管区域。
具体实施方式
以下，参考附图，详细地说明本公开的优选实施方式。在下面的说明中，对于相同部件赋予相同的符号，省略重复说明。另外，附图只是示意图，部件相互之间尺寸的比例或者部件形状等可与实际不同。
图1示出了本公开的实施方式所涉及的电子设备示意图。图2示出了本公开的实施方式所涉及的基于人工神经网络的青光眼图像特征提取的训练系统的框图。
在一些示例中，参照图1和图2，本公开所涉及的基于人工神经网络的青光眼图像特征提取的训练系统(可以简称为“训练系统”)10可以借助于电子设备1(如计算机)来实现。在一些示例中，如图1所示，电子设备1可以包括主机1a、显示设备1b及输入设备1c(例如鼠标、键盘)。其中，主机1a可以包括一个或多个处理器、存储器和存储在存储器中的计算机程序，在这种情况下，训练系统10可以作为计算机程序存储在存储器中。
在一些示例中，青光眼图像特征可以为与青光眼相关的特征信息。由于青光眼主要病理过程是由于视网膜神经节细胞死亡及轴突的丧失，导致视盘边缘神经纤维缺损，从而引起视盘形态学改变，例如视盘凹陷扩大、视盘凹陷加深等。临床医学研究表明，眼底图像的视杯视盘比例(简称杯盘比；cup-to-disc ratio，CDR)是衡量视盘凹陷的可靠指标。因此青光眼图像特征可以为视杯、视盘。在另一些示例中，青光眼图像特征可以是视杯视盘比例(简称杯盘比；cup-to-disc，CDR)。
在一些示例中，一个或多个处理器可以包括中央处理单元、图像处理单元以及能够处理输入数据的其它任何电子部件。例如，处理器可以执行存储在存储器上的指令和程序。
如上所述，训练系统10可以由计算机程序中编码的程序指令和算法来实现。另外，训练系统10也可以存储在云端服务器的存储器中。在一些示例中，云端服务器可以是租用的。由此，可以降低服务器的维护成本。在另一些示例中，云端服务器也可以是自己搭建的。在这种情况下，可以将存储器设置在自己搭建的服务器中，确保数据的保密性，防止客户或患者的数据泄露。
在一些示例中，训练系统10可以使用一个或多个人工神经网络来对眼底图像中的青光眼图像特征进行提取和学习。在一些示例中，人工神经网络可以由一个或多个处理器(例如，微处理器、集成电路、现场可编程逻辑门阵列等)来实现。训练系统10可以用于接收输入的多张眼底图像并对眼底图像进行训练。其中人工神经网络参数值可通过训练数据集不断迭代经由人工神经网络确定。其中，训练数据集可以由多张眼底图像组成。在一些示例中，在对人工神经网络训练时，使用预处理眼底图像和标注图像作为输入，并通过人为设置预处理眼底图像各区域(即各像素点)的损失函数的权重来不断优化人工神经网络的输出。
在本实施方式中，训练系统10可以包括获取模块100、图像预处理模块200、血管区域检测模块300、混合权重生成模块400和模型训练模块500(参见图2)。
在一些示例中，获取模块100可以用于获取眼底图像和标注图像。图像预处理模块200可以用于对眼底图像进行预处理得到预处理眼底图像。血管区域检测模块300可以用于对预处理眼底图像进行血管区域检测以形成血管图像。混合权重生成模块400可以用于将视盘标注图像和血管图像进行混合加权以生成混合权重分布图。模型训练模块500可以基于预处理眼底图像、标注图像和混合权重分布图对人工神经网络进行训练。在上述的示例中，训练系统10可以基于视盘标注图像和血管图像得到混合权重分布图。在这种情况下，训练系统10能够基于预处理眼底图像、标注图像和混合权重分布图对人工神经网络进行训练，能够使人工神经网络在训练中兼顾血管区域和视盘区域，优化小血管走行的学习且抑制正负样本失衡，由此，能够提高人工神经网络对青光眼图像特征提取的准确性。
图3示出了本公开的实施方式所涉及的对眼底图像的进行标注形成标注图像的示意图，其中，图3(a)示出了眼底图像P1，图3(b)示出了视盘标注图像P20，图3(c)示出了视杯标注图像P30。
在一些示例中，如上所述，训练系统10可以包括获取模块100(参见图2)。获取模块100可以用于获取眼底图像和标注图像。其中，标注图像可以为对眼底图像进行标注后获得的图像。
在一些示例中，获取模块100可以用于获取眼底图像。眼底图像可以由眼底相机或其他眼底照相设备拍摄的关于眼底的图像。作为眼底图像的示例，例如图3(a)示出了由眼底相机拍摄的眼底图像P1。在一些示例中，眼底图像可以包括视盘和视杯的区域，但本实施方式并不限于此，在一些示例中，眼底图像也可以只包括视盘区域。
在一些示例中，多张眼底图像可以组成训练数据集。训练数据集可以包括训练集和测试集。例如，可以选择来自合作医院且去除患者信息的例如5-20万幅眼底图像作为训练集(training set)，例如5000-20000幅眼底图像作为测试集(testing set)。
在一些示例中，眼底图像可以为彩色的眼底图像。彩色的眼底图像能够清晰的呈现视盘、视杯、黄斑、血管等丰富的眼底信息。另外，眼底图像可以为RGB模式、CMYK模式、Lab模式或灰度模式的图像等。
在一些示例中，获取模块100可以用于获取标注图像。标注图像可以包括视盘标注图像和视杯标注图像。在医学上，视盘以及视杯具有明确的解剖学定义，即视盘定义为巩膜后孔的边缘，以巩膜环的内缘为界；视杯定义为自巩膜筛板至视网膜平面之间的范围，以小血管走行为视杯区域识别的重要依据。
在另一些示例中，获取模块100获得的标注图像可以只包括视盘标注图像。
在一些示例中，可以将视盘标注图像或视杯标注图像作为工神经网络训练的真值。在另一些示例中，可以将视盘标注图像和视杯标注图像合成为一张标注图像作为人工神经网络训练的真值。
在一些示例中，如上所述，标注图像可以为对眼底图像进行标注后获得的图像。在这种情况下，视盘标注图像可以为对眼底图像中的视盘进行标注后获得的图像。视杯标注图像可以为对眼底图像中的视杯进行标注后获得的图像。
具体地，可以对眼底图像P1中的视盘区域进行人工标注，从而获得视盘标注图像P20(参见图3(b))。在一些示例中，可以由经验丰富的医师进行人工标注，由此，能够提高视盘区域标注的准确性。可以对眼底图像P1中的视杯区域进行人工标注，从而获得视杯标注图像P30(参见图3(c))。在一些示例中，可以由经验丰富的医师进行人工标注，由此，能够提高视杯区域标注的准确性。
在本实施方式中，图像预处理模块200可以用于对眼底图像进行预处理得到预处理眼底图像。具体地，图像预处理模块200可以获取获取模块100输出的眼底图像，并对眼底图像进行预处理得到预处理眼底图像。
在一些示例中，图像预处理模块200可以对眼底图像进行裁切。一般而言，由于由获取模块100所获取的眼底图像可能存在图像格式、尺寸不同等问题，因此需要对眼底图像进行裁切，使眼底图像转换为固定标准形式的图像。固定标准形式可以指图像的格式相同，尺寸一致。例如，在一些示例中，眼底图像经过预处理后的尺寸可以统一为512×512或1024×1024像素的眼底图像。
在一些示例中，图像预处理模块200可以对眼底图像进行归一化处理。在一些示例中，归一化处理可以包括对眼底图像进行坐标中心化、缩放归一化等操作。由此，能够克服不同眼底图像的差异性，提高人工神经网络的性能。
另外，在一些示例中，图像预处理模块200可以包括对眼底图像进行降噪、灰度化处理等。由此，能够突出青光眼图像的特征。
另外，在一些示例中，图像预处理模块200可以包括对眼底图像进行缩放、翻转、平移等。在这种情况下，能够增加人工神经网络训练的数据量，由此，能够提高人工神经网络的泛化能力。
在一些示例中，眼底图像也可以不用进行图像预处理，直接用于人工神经网络训练。
在另一些示例中，可以先对眼底图像进行预处理，然后对预处理后的眼底图像进行标注。
另外，在一些示例中，图像预处理模块200可以获取获取模块100输出的标注图像。在对眼底图像进行预处理的同时，也可以包括对标注图像的进行预处理。由此，能够使标注图像的尺寸和预处理眼底图像尺寸始终保持一致，进而更有利于人工神经网络训练。
图4示出了本公开的实施方式所涉及的对预处理眼底图像进行血管区域检测形成的血管图像的示意图，其中，图4(a)示出了预处理眼底图像P10，图4(b)示出了血管图像P40。
在本实施方式中，如上所述，训练系统10可以包括血管区域检测模块300。血管区域检测模块300可以用于对预处理眼底图像进行血管区域检测以形成血管图像。
作为血管图像形成的示例，如图4所示，对预处理眼底图像P10进行血管区域检测以形成包含血管区域A4的血管图像P40。
在一些示例中，可以基于Frangi(多尺度线性)滤波对预处理眼底图像P10进行血管区域检测以形成血管图像P40。具体地，Frangi滤波是基于Hessian矩阵(海森矩阵)构造出来的一种边缘检测增强滤波算法。
在Frangi滤波中，首先，将预处理眼底图像P10转换为灰度图像。采用高斯滤波对预处理眼底图像P10进行图像降噪。接着，计算Hessian矩阵(海森矩阵)。Hessian矩阵是标量函数的二阶偏导数的平方矩阵，其描述了多变量函数的局部曲率，Hessian矩阵基本形式如下式(1)所示：
其中，x方向上的二阶偏微分：
y方向上的二阶偏微分：
x，y方向上的混合偏微分：
其中，fxy＝fyx，H是实对称矩阵，可用两个特征值λ1、λ2来构造增强滤波。在二维预处理眼底图像中，特征值λ1、λ2可由如下公式计算出：
由于二阶偏导数对噪声比较敏感，所以在求Hessian矩阵时先进行高斯平滑。预处理眼底图像P10像素点p血管区域响应函数为V(σ,p)：
其中，σ为尺度因子，尺度因子σ为在求Hessian矩阵时高斯平滑的标准差。β可以设置为0.5以用于区别线和块状物体。是用于控制线状物整体平滑的参数。RB和s由特征值λ1、λ2定义。
当尺度因子σ与血管的实际宽度最接近时，滤波器的输出最大。因此可以将在不同尺度因子情况下的预处理眼底图像P10中每个像素点p的最大响应作为最终血管响应。在这种情况下，尺度因子σ与血管的实际宽度最接近，最终血管响应如下式(9)所示：
其中，σmin为尺度因子σ的最小值，σmax为尺度因子σ的最大值。
最后，可以通过设置阈值T，并使血管响应大于T的位置即为检测出的血管区域A4(参见图4(b))。
在本公开中，利用Frangi算法来自动对预处理眼底图像中的血管区域进行检测获得包含血管区域的血管图像。在这种情况下，血管图像中的血管区域与预处理眼底图像中的血管区域相比较为显著。由此，能够方便后期对于血管区域的识别和处理。
但本公开的示例不限于此，在另一些示例中，对于预处理眼底图像的血管区域检测可以采用匹配滤波算法、自适应对比度增强算法、二维Gabor滤波算法或采用其他类型的人工神经网络等实现。由此，能够根据不同需求选择合适的算法或人工神经网络来实现对血管区域的检测。
图5示出了本公开的实施方式所涉及的第一混合权重分布图的形成示意图。其中，图5(a)示出了加权后的视盘标注图像P21的示意图，图5(b)示出了加权后的血管图像P41的示意图，图5(c)示出了基于加权后的视盘标注图像P21和加权后的血管图像P41生成第一混合权重分布图P3的示意图。
在本实施方式中，如上所述，训练系统10可以包括混合权重生成模块400。混合权重生成模块400可以用于将视盘标注图像和血管图像进行混合加权以生成混合权重分布图。
在一些示例中，如图5所示，混合权重分布图可以是第一混合权重分布图P3。第一混合权重分布图P3可以基于视盘标注图像P20(参见图3(b))和血管图像P40(参见图4(b))获得。例如，可以对视盘标注图像P20进行加权生成加权后的视盘标注图像P21，可以对血管图像P40进行加权生成加权后的血管图像P41，基于加权后的视盘标注图像P21和加权后的血管图像P41生成第一混合权重分布图P3。在这种情况下，利用混合权重分布图去训练人工神经网络，能够使人工神经网络在训练中兼顾血管区域和视盘区域，优化小血管走行的学习且抑制正负样本失衡。
在一些示例中，混合加权处理包括令视盘区域的权重为第一权重，非视盘区域的权重为第二权重，血管区域的权重为第三权重，非血管区域的权重为第四权重，则视盘内血管区域的权重为第一权重乘以第三权重，视盘内非血管区域的权重为第一权重乘以第四权重，视盘外血管区域的权重为第二权重乘以第三权重，视盘外非血管区域的权重为第二权重乘以第四权重。以下结合附图具体描述混合加权处理。
在一些示例中，如图5所示，在混合加权处理时，令视盘区域A1的权重为第一权重w1，令非视盘区域A1'的权重为第二权重w2(参见图5(a))。血管区域A4的权重为第三权重v1，非血管区域A4'的权重为第四权重v2(参见图5(b))。
在一些示例中，在进行混合加权处理时，可以令视盘区域的权重大于非视盘区域的权重，血管区域的权重大于非血管区域的权重。例如，如图5所示，进行混合加权时，可以令视盘区域A1的权重大于非视盘区域A1'的权重，血管区域A4的权重大于非血管区域A4'的权重。也即，可以令w1>w2，v1>v2。在本公开中，视盘区域也可以称为视盘内区域，非视盘区域也可以称为视盘外区域。
在一些示例中，基于视盘标注图像P20和血管图像P40获得的第一混合权重分布图P3包括第一视盘内的血管区域A30、第一视盘内的非血管区域A30'、第一视盘外的血管区域A31和第一视盘外的非血管区域A31'四个混合区域(参见图5(c))。在这种情况下，例如第一视盘内的血管区域A30的权重可以由视盘内区域A1的权重和血管区域A4的权重的乘积获得。由此，能够更准确地识别出眼底图像中各区域的青光眼图像特征。
在一些示例中，如上所述，在进行混合加权处理时，令视盘区域A1的权重为第一权重w1，令非视盘区域A1'的权重为第二权重w2，血管区域A4的权重为第三权重v1，非血管区域A4'的权重为第四权重v2。则第一视盘内的血管区域A30的权重为第一权重乘以第三权重，也即w1v1。第一视盘内的非血管区域A30'的权重为第一权重乘以第四权重，也即w1v2。第一视盘外的血管区域A31的权重为第二权重乘以第三权重，也即w2v1。第一视盘外的非血管区域A31'的权重为第二权重乘以第四权重，也即w2v2(参见图5(c))。由此，能够根据视盘区域、非视盘区域、血管区域和非血管区域的权重分别得出视盘内血管区域、视盘内非血管区域、视盘外血管区域和视盘外非血管区域的权重值。
在一些示例中，在进行混合加权处理时，可以基于眼球轮廓划分混合权重分布图。在这种情况下，混合权重分布图可以包括眼底区域和背景区域。其中，眼底区域可以是眼球轮廓内的区域。眼底区域可以包括第一混合权重分布图的第一视盘内的血管区域、第一视盘内的非血管区域、第一视盘外的血管区域和第一视盘外的非血管区域四个混合区域。背景区域可以是眼球轮廓以外的区域。背景区域可以为第一视盘外的非血管区域的部分区域。在对人工神经网络进行训练时，可以令背景区域的权重为零。由此，在训练过程中能够减小背景区域对人工神经网络提取青光眼图像特征的干扰。
在一些示例中，如上所述，混合权重分布图的视盘区域具有权重，由于视盘区域包含视杯区域，由此，混合权重分布图的视杯区域具有权重。
在另一些示例中，混合权重生成模块400可以只基于视盘标注图像进行加权。
在另一些示例中，混合权重生成模块400可以只基于血管图像进行加权。
图6示出了本公开的实施方式所涉的训练系统的混合权重生成模块的框图。图7示出了本公开的实施方式所涉及的视盘膨胀图像的示意图，其中，图7(a)示出了视盘标注图像P20，图7(b)示出了视盘膨胀图像P23。
在一些示例中，混合权重生成模块400可以包括视盘膨胀模块410(参见图6)。
在一些示例中，在视盘膨胀模块410中，可以对视盘标注图像中的视盘区域进行膨胀，以形成视盘膨胀图像。视盘膨胀图像包括视盘膨胀区域。视盘膨胀区域可以包括视盘区域和视盘附近区域。
例如，如图7(a)和图7(b)所示，对视盘标注图像P20中的视盘区域进行膨胀，以形成视盘膨胀图像P23。视盘膨胀图像P23包括视盘膨胀区域A3。视盘膨胀图像P23的视盘膨胀区域A3与视盘标注图像P20的视盘区域A1对应。其中，在图7(b)中A3'为非视盘膨胀区域。视盘膨胀区域可以包括视盘区域和视盘附近区域。在这种情况下，由于视盘附近区域影响视杯或视盘的分割，进而影响青光眼图像特征的提取，因此，通过膨胀处理获取视盘膨胀图像，以便后续基于视盘膨胀图像进行相关处理，从而提高青光眼图像特征提取的准确性。
图8示出了本公开的实施方式所涉及的血管膨胀图像的示意图，其中，图8(a)示出了血管图像P40，图8(b)示出了血管膨胀图像P43。
在一些示例中，混合权重生成模块400可以包括血管膨胀模块420(参见图6)。
在一些示例中，在血管膨胀模块420中，可以对血管图像中的血管区域进行膨胀，以形成血管膨胀图像。血管膨胀图像包括血管膨胀区域。血管膨胀区域可以包括血管区域和血管附近区域。例如，如图8(a)和图8(b)所示，可以对血管图像P40中的血管区域A4进行膨胀，以形成血管膨胀图像P43。血管膨胀图像P43包括血管膨胀区域A5。血管膨胀图像P43的血管膨胀区域A5与血管图像P40的血管区域A4对应。其中，在图8(b)中A5'为非血管膨胀区域。在这种情况下，通过膨胀处理能够减小基于血管检测算法检测血管边界的误差。
图9示出了本公开的实施方式所涉及的第二混合权重分布图的形成示意图，其中，图9(a)示出了对视盘膨胀图像P23进行加权的示意图，图9(b)示出了对血管膨胀图像P43进行加权的示意图，图9(c)示出了基于加权后的视盘膨胀图像P23和加权后的血管膨胀图像P43生成第二混合权重分布图P4的示意图。
在另一些示例中，混合权重生成模块400可以用于将视盘膨胀图像和血管膨胀图像进行混合加权以生成混合权重分布图。也即，混合权重分布图可以由视盘膨胀图像和血管膨胀图像进行混合加权生成。在这种情况下，基于膨胀后的视盘图像和膨胀后的血管图像生成的混合权重分布图去训练人工神经网络，能够减小血管检测算法在血管边界上的误差。
例如，在一些示例中，如图9所示，混合权重分布图可以为第二混合权重分布图P4。具体地，可以分别对视盘膨胀图像P23和血管膨胀图像P43进行加权(参见图9(a)和图9(b))，将加权后的视盘膨胀图像P23和加权后的血管膨胀图像P43进行混合加权以生成第二混合权重分布图P4。
在一些示例中，如图9所示，基于膨胀后的视盘膨胀区域A3、非视盘膨胀区域A3'、血管膨胀区域A5和非血管膨胀区域A5'四个基本区域，第二混合权重分布图P4可以包括第二视盘内的血管区域A40、第二视盘内的非血管区域A40'、第二视盘外的血管区域A41和第二视盘外的非血管区域A41'。
在一些示例中，可以令视盘膨胀区域A3的权重为第一权重w1'，令非视盘膨胀区域A3'的权重为第二权重w2'，血管膨胀区域A5的权重为第三权重v1'，非血管膨胀区域A5'的权重为第四权重v2'。则第二视盘内的血管区域A40的权重为第一权重乘以第三权重，也即w1'v1'。第二视盘内的非血管区域A40'的权重为第一权重乘以第四权重，也即w'1v2'。第二视盘外的血管区域A41的权重为第二权重乘以第三权重，也即w2'v1'。第二视盘外的非血管区域A41'的权重为第二权重乘以第四权重，也即w2'v2'(参见图9(c))。
在本公开中，第二混合权重分布图P4与第一混合权重分布图P3的区别是：第一混合权重分布图P3是基于视盘标注图像和血管图像生成的混合权重分布图，第二混合权重分布图P4是基于视盘膨胀图像和血管膨胀图像生成的混合权重分布图。因此关于第二混合权重分布图P3的混合加权处理可以参见第一混合权重分布图P4的混合加权处理，不再赘述。
本公开的示例不限于此，例如可以基于视盘标注图像和血管膨胀图像生成混合权重分布图，也可以基于视盘膨胀图像和血管图像生成的混合权重分布图。
在本实施方式中，如上所述，训练系统10可以包括模型训练模块500。模型训练模块500可以包括人工神经网络。模型训练模块500可以基于预处理眼底图像、标注图像和混合权重分布图对人工神经网络进行训练。其中，预处理眼底图像可以由图像预处理模块200生成。标注图像可以由获取模块100生成。混合权重分布图可以由混合权重生成模块400生成。
具体地，可以将标注图像包括的视盘标注图像和/或视杯标注图像作为真值，对预处理眼底图像的各个像素点进行预测，并借助混合权重分布图分配预处理眼底图像中的各个像素点的损失函数权重(也即损失函数的系数)。基于损失函数对人工神经网络进行训练，并优化人工神经网络的输出以获得人工神经网络的最优模型。在这种情况下，人工神经网络具有较好的分割精确度和泛化能力且能够自动提取青光眼图像特征。
在一些示例中，如上所述，青光眼图像特征可以是视杯视盘比例(简称杯盘比；cup-to-disc，CDR)，在这种情况下，可以基于最优模型预测眼底图像的视杯视盘比例，并可以准确地识别眼底图像中可能存在的青光眼病变。
但本公开的示例不限于此，人工神经网络可以用其他图像特征提取模型进行替换。优选地，其他图像特征提取模型可以采用UNet或者其改进类型作为青光眼图像特征提取的人工神经网络。
在本公开中，损失函数可以用于计算损失、度量模型预测的优劣。其中，基于人工神经网络的模型关于单个样本的预测值与真实值的差可以称为损失。损失越小，模型越好。本发明中的单个样本可以指预处理眼底图像中的各个像素点。
在一些示例中，损失函数可以使用预先定义好的损失函数，在一些示例中，损失函数可以为交叉熵损失函数、Dice损失函数等。其中，交叉熵损失函数是一种衡量真实分布和预测的分布的差异情况的函数，Dice损失函数是一种集合相似度度量函数。
具体地，以交叉熵损失函数为例，则预处理眼底图像中各个像素点的损失函数为：
其中，c表示对预处理眼底图像各个像素点的预测的类别，预测的类别包括视杯或视盘两种类别。(i,j)表示预处理眼底图像中像素点的坐标。表示视杯标注图像或视盘标注图像中的坐标为(i,j)的像素点的值，作为预处理眼底图像中坐标为(i,j)的像素点的真实值，/>表示预处理眼底图像中坐标为(i,j)的像素点的预测值。wc为各类别的权重。
在一些示例中，可以利用混合权重分布图分配预处理眼底图像中各个像素点的损失函数的权重。如上所述，混合权重分布图可以包括眼底区域和背景区域。其中，眼底区域可以是眼球轮廓内的区域。眼底区域可以包括第一混合权重分布图的第一视盘内的血管区域、第一视盘内的非血管区域、第一视盘外的血管区域和第一视盘外的非血管区域四个混合区域。背景区域可以是眼球轮廓以外的区域。背景区域可以为第一视盘外的非血管区域的部分区域。在一些示例中，可以令视盘区域的权重为第一权重，令非视盘区域的权重为第二权重，血管区域的权重为第三权重，非血管区域的权重为第四权重，背景区域的权重为零(也即第一视盘外的非血管区域的属于背景区域部分的权重为零)。则混合权重分布图中各个像素点的值(也即预处理眼底图像中各个像素点的损失函数的权重)可以如下式(11)所示：
式中，wi,j为坐标为(i,j)像素点的权重，pi,j为像素点(i,j)，w1为视盘内像素点的权重(第一权重)，w2为视盘外像素点的权重(第二权重)，v1为血管区域的像素点的权重(第三权重)，v2为非血管区域的像素点的权重(第四权重)，R1为视盘内的血管区域的像素点集合，R2为视盘内的非血管区域的像素点集合，R3为视盘外的血管区域的像素点集合，R4为视盘外的非血管区域的像素点集合，R5为背景区域的像素点集合。
在一些示例中，基于各个像素点的损失函数的权重可以获得人工神经网络的损失函数L：
L＝∑i,j(wi,j*lossi,j)……式(12)
其中，wi,j为坐标为(i,j)像素点的权重，lossi,j为坐标为(i,j)像素点的损失函数。由此，能够基于损失函数对人工神经网络进行训练，以优化人工神经网络的输出，进而获得最优模型。
在一些示例中，优化人工神经网络参数时可以采用最小梯度下降法，根据损失函数下降最快的方向进行调整。由此，能够借助损失函数中的系数优化训练系统10。在另一些示例中，可以使用随机梯度下降法进行参数优化。
在一些示例中，模型训练模块500可以利用最优模型提取眼底图像中的青光眼图像特征，进而预测眼底图像中可能存在的病变。在一些示例中，可以利用训练后的人工神经网络对测试集中的眼底图像进行识别，获得平均识别准确率例如高达90％以上。由此可见，本实施方式所涉及的训练系统10能够在兼顾眼底临床情况下获得改善的青光眼病变判断准确率。
以下，结合图10详细描述本公开基于人工神经网络的青光眼图像特征提取的训练方法。本公开涉及的基于人工神经网络的青光眼图像特征提取的训练方法可以简称为训练方法。本公开涉及的训练方法应用于上述的训练系统10中。图10示出了本公开的实施方式所涉及的基于人工神经网络的青光眼图像特征提取的训练方法的流程图。
在本实施方式中，基于人工神经网络的青光眼图像特征提取的训练方法可以包括如下步骤：准备眼底图像和标注图像(步骤S100)，对眼底图像进行预处理以形成预处理眼底图像(步骤S200)，对预处理眼底图像进行血管区域检测以形成血管图像(步骤S300)，基于标注图像和血管图像形成混合权重分布图(步骤S400)，基于预处理眼底图像、标注图像和混合权重分布图对人工神经网络进行训练(步骤S500)。在这种情况下，基于预处理眼底图像、标注图像和混合权重分布图对人工神经网络进行训练，能够使人工神经网络在训练中兼顾血管区域和视盘区域，优化小血管走行的学习且抑制正负样本失衡。由此，能够提高人工神经网络对青光眼图像特征提取的准确性。
在步骤S100中，可以准备眼底图像。眼底图像可以由眼底相机或其他眼底照相设备拍摄的关于眼底的图像，可以为彩色的眼底图像，还可以为RGB模式、CMYK模式、Lab模式或灰度模式的图像等。具体描述可以参见获取模块100，此处不再赘述。
在步骤S100中，可以准备标注图像。在一些示例中，标注图像可以包括视盘标注图像和视杯标注图像。标注图像可以由经验丰富的医师对眼底图像中的视盘区域和视杯区域进行人工标注，从而获得视盘标注图像和视杯标注图像。由此，能够提高视盘区域和视杯区域标注的准确性。具体描述可以参见获取模块100，此处不再赘述。
在步骤S200中，可以对眼底图像进行预处理得到预处理眼底图像。在一些示例中，在预处理过程中，可以对眼底图像进行裁切、归一化等操作。由此，能够使眼底图像转换为固定标准形式的图像且能够克服不同眼底图像的差异性，提高人工神经网络的性能。在一些示例中，在预处理过程中，可以对眼底图像进行降噪、灰度化处理。由此，能够突出青光眼图像的特征。在一些示例中，在预处理过程中，可以对眼底图像进行缩放、翻转、平移等处理，由此，能够增加人工神经网络训练的数据量，提高人工神经网络的泛化能力。具体描述可以参见图像预处理模块200，此处不再赘述。
在步骤S300中，可以对预处理眼底图像进行血管区域检测以形成包括有血管区域的血管图像。在一些示例中，可以基于Frangi滤波进行血管区域检测以形成血管图像。在这种情况下，血管图像中的血管区域与预处理眼底图像中的血管区域相比较为显著。由此，能够方便后期对于血管区域的识别和处理。在另一些示例中，也可以采用匹配滤波算法、自适应对比度增强算法、二维Gabor滤波算法或采用其他类型的人工神经网络等实现。由此，能够根据不同需求选择合适的算法或人工神经网络来实现对血管区域的检测关于血管区域检测。具体内容可以参见血管区域检测模块300，此处不再赘述。
在步骤S400中，可以将步骤S100获得的视盘标注图像和步骤S300获得的血管图像进行混合加权以生成混合权重分布图。在这种情况下，利用混合权重分布图去训练人工神经网络，能够使人工神经网络在训练中兼顾血管区域和视盘区域，优化小血管走行的学习且抑制正负样本失衡。
在步骤S400中，混合权重分布图可以包括视盘内血管区域、视盘内非血管区域、视盘外血管区域和视盘外非血管区域四个混合区域。在一些示例中，混合权重分布图可以包括眼底区域和背景区域，可以令背景区域的权重为零，由此，在训练过程中能够减小背景区域对人工神经网络提取青光眼图像特征的干扰。具体内容可以参见混合权重生成模块400，此处不再赘述。
在步骤S400中，在一些示例中，可以令视盘区域的权重为第一权重，非视盘区域的权重为第二权重，血管区域的权重为第三权重，非血管区域的权重为第四权重。则视盘内的血管区域的权重为第一权重乘以第三权重。视盘内的非血管区域的权重为第一权重乘以第四权重。视盘外的血管区域的权重为第二权重乘以第三权重。视盘外的非血管区域的权重为第二权重乘以第四权重。由此，能够根据视盘区域、非视盘区域、血管区域和非血管区域的权重分别得出视盘内血管区域、视盘内非血管区域、视盘外血管区域和视盘外非血管区域的权重值。在一些示例中，可以令视盘区域的权重大于非视盘区域的权重，血管区域的权重大于非血管区域的权重。具体内容可以参见混合权重生成模块400，此处不再赘述。
在步骤S400中，在另一些示例中，可以对视盘标注图像中的视盘区域进行膨胀形成包括有视盘区域的视盘膨胀图像。由于视盘附近区域影响视杯或视盘的分割，进而影响青光眼图像特征的提取，因此，通过膨胀处理获取视盘膨胀图像，以便后续基于视盘膨胀图像进行相关处理，从而提高青光眼图像特征提取的准确性。具体内容可以参见视盘膨胀模块410，此处不再赘述。
在步骤S400中，在另一些示例中，可以对血管图像中的血管区域进行膨胀，以形成包括有血管区域的血管膨胀图像。在这种情况下，通过膨胀处理能够减小基于血管检测算法检测血管边界的误差。具体内容可以参见血管膨胀模块420，此处不再赘述。
在步骤S400中，在另一些示例中，可以将上述视盘膨胀图像和血管膨胀图像进行混合加权以生成混合权重分布图。在这种情况下，利用基于膨胀后的视盘图像和胀后的血管图像生成的混合权重分布图去训练人工神经网络，能够减小血管检测算法在血管边界上的误差。具体内容可以参见混合权重生成模块400，此处不再赘述。
在步骤S500中，可以基于预处理眼底图像、标注图像和混合权重分布图对人工神经网络进行训练。预处理眼底图像可以由步骤S200生成。标注图像可以由步骤S100生成。混合权重分布图可以由步骤S400生成。在一些示例中，可以借助混合权重分布图分配预处理眼底图像中的各个像素点的损失函数权重，也即损失函数的系数。基于损失函数对人工神经网络进行训练，并优化人工神经网络的输出以获得人工神经网络的最优模型。在这种情况下，人工神经网络具有较好的分割精确度和泛化能力且能够自动提取青光眼图像特征。具体内容可以参见参见模型训练模块500，此处不再赘述。
虽然以上结合附图和实施方式对本公开进行了具体说明，但是可以理解，上述说明不以任何形式限制本公开。本领域技术人员在不偏离本公开的实质精神和范围的情况下可以根据需要对本公开进行变形和变化，这些变形和变化均落入本公开的范围内。
Claims (10)
1.一种基于人工神经网络的青光眼图像特征提取的训练系统，其特征在于，包括获取模块、血管区域检测模块、混合权重生成模块以及模型训练模块；
所述获取模块配置为获取眼底图像和标注图像，所述标注图像包括标注出视盘区域的视盘标注图像以及标注出视杯区域的视杯标注图像；
所述血管区域检测模块配置为对所述眼底图像进行血管区域检测以形成血管图像；
所述混合权重生成模块配置为将所述视盘标注图像和所述血管图像进行混合加权以生成混合权重分布图，所述混合权重分布图包括视盘内血管区域、视盘内非血管区域、视盘外血管区域和视盘外非血管区域，其中，在进行所述混合加权时，令所述视盘区域的权重大于非视盘区域的权重，所述血管区域的权重大于非血管区域的权重；以及
所述模型训练模块配置为基于所述眼底图像、所述标注图像和所述混合权重分布图对所述人工神经网络进行训练。
2.根据权利要求1所述的训练系统，其特征在于，
在进行所述混合加权时，令所述视盘区域的权重为第一权重，所述非视盘区域的权重为第二权重，所述血管区域的权重为第三权重，所述非血管区域的权重为第四权重，则所述视盘内血管区域的权重为所述第一权重乘以所述第三权重，所述视盘内非血管区域的权重为所述第一权重乘以所述第四权重，所述视盘外血管区域的权重为所述第二权重乘以所述第三权重，所述视盘外非血管区域的权重为所述第二权重乘以所述第四权重。
3.根据权利要求1所述的训练系统，其特征在于，
所述混合权重生成模块包括视盘膨胀模块和血管膨胀模块，所述视盘膨胀模块对所述视盘标注图像中的所述视盘区域进行膨胀以形成视盘膨胀图像，所述血管膨胀模块对所述血管图像中的所述血管区域进行膨胀以形成血管膨胀图像，所述混合权重生成模块将所述视盘膨胀图像和所述血管膨胀图像进行混合加权以生成所述混合权重分布图。
4.根据权利要求3所述的训练系统，其特征在于，
所述视盘膨胀图像包括视盘膨胀区域，所述视盘膨胀区域包括所述视盘区域和视盘附近区域，所述视盘膨胀区域与所述视盘标注图像的视盘区域对应。
5.根据权利要求3所述的训练系统，其特征在于，
所述血管膨胀图像包括血管膨胀区域，所述血管膨胀区域包括所述血管区域和血管附近区域，所述血管膨胀区域与所述血管图像的血管区域对应。
6.根据权利要求3所述的训练系统，其特征在于，
所述视盘膨胀图像包括视盘膨胀区域和非视盘膨胀区域，所述血管膨胀图像包括血管膨胀区域和非血管膨胀区域，令所述视盘膨胀区域的权重为第一权重，令所述非视盘膨胀区域的权重为第二权重，所述血管膨胀区域的权重为第三权重，所述非血管膨胀区域的权重为第四权重，所述视盘内血管区域的权重为所述第一权重乘以所述第三权重，所述视盘内非血管区域的权重为所述第一权重乘以所述第四权重，所述视盘外血管区域的权重为所述第二权重乘以所述第三权重，所述视盘外非血管区域的权重为所述第二权重乘以所述第四权重。
7.根据权利要求1所述的训练系统，其特征在于，
所述混合权重分布图是基于眼球轮廓划分得到的，所述混合权重分布图包括眼底区域和背景区域，所述眼底区域是所述眼球轮廓内的区域，所述眼底区域包括所述混合权重分布图的所述视盘内血管区域、所述视盘内非血管区域、所述视盘外血管区域和所述视盘外非血管区域，所述背景区域是所述眼球轮廓以外的区域，所述背景区域包括所述视盘外非血管区域的部分区域。
8.根据权利要求7所述的训练系统，其特征在于，
在对所述人工神经网络进行训练时，令所述背景区域的权重为零。
9.根据权利要求1所述的训练系统，其特征在于，
在训练过程中，基于所述混合权重分布图获得所述人工神经网络中损失函数的系数，并基于所述损失函数对所述人工神经网络进行训练。
10.根据权利要求1所述的训练系统，其特征在于，
基于Frangi滤波、匹配滤波算法、自适应对比度增强算法、二维Gabor滤波算法中的至少一种算法进行所述血管区域检测以形成所述血管图像。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911228725 | 2019-12-04 | ||
| CN2019112287255 | 2019-12-04 | ||
| CN202010702643.6A CN113012093B (zh) | 2019-12-04 | 2020-07-18 | 青光眼图像特征提取的训练方法及训练系统 |
Related Parent Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010702643.6A Division CN113012093B (zh) | 2019-12-04 | 2020-07-18 | 青光眼图像特征提取的训练方法及训练系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117764957A true CN117764957A (zh) | 2024-03-26 |
Family
ID=76383107
Family Applications (6)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010702643.6A Active CN113012093B (zh) | 2019-12-04 | 2020-07-18 | 青光眼图像特征提取的训练方法及训练系统 |
| CN202311798837.0A Pending CN117764957A (zh) | 2019-12-04 | 2020-07-18 | 基于人工神经网络的青光眼图像特征提取的训练系统 |
| CN202310321384.6A Pending CN116343008A (zh) | 2019-12-04 | 2020-07-18 | 基于多个特征的青光眼识别的训练方法及训练装置 |
| CN202010701373.7A Active CN113011450B (zh) | 2019-12-04 | 2020-07-18 | 青光眼识别的训练方法、训练装置、识别方法及识别系统 |
| CN202310297714.2A Pending CN116824203A (zh) | 2019-12-04 | 2020-07-18 | 基于神经网络的青光眼的识别装置和识别方法 |
| CN202311806582.8A Pending CN117788407A (zh) | 2019-12-04 | 2020-07-18 | 基于人工神经网络的青光眼图像特征提取的训练方法 |
Family Applications Before (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010702643.6A Active CN113012093B (zh) | 2019-12-04 | 2020-07-18 | 青光眼图像特征提取的训练方法及训练系统 |
Family Applications After (4)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310321384.6A Pending CN116343008A (zh) | 2019-12-04 | 2020-07-18 | 基于多个特征的青光眼识别的训练方法及训练装置 |
| CN202010701373.7A Active CN113011450B (zh) | 2019-12-04 | 2020-07-18 | 青光眼识别的训练方法、训练装置、识别方法及识别系统 |
| CN202310297714.2A Pending CN116824203A (zh) | 2019-12-04 | 2020-07-18 | 基于神经网络的青光眼的识别装置和识别方法 |
| CN202311806582.8A Pending CN117788407A (zh) | 2019-12-04 | 2020-07-18 | 基于人工神经网络的青光眼图像特征提取的训练方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (6) | CN113012093B (zh) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113768460B (zh) * | 2021-09-10 | 2023-11-14 | 北京鹰瞳科技发展股份有限公司 | 一种眼底图像分析系统、方法以及电子设备 |
| CN115359070A (zh) * | 2021-10-11 | 2022-11-18 | 深圳硅基智能科技有限公司 | 基于紧框标的训练方法及测量装置 |
| US11941809B1 (en) * | 2023-07-07 | 2024-03-26 | Healthscreen Inc. | Glaucoma detection and early diagnosis by combined machine learning based risk score generation and feature optimization |
Family Cites Families (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101909141B (zh) * | 2009-06-03 | 2012-06-27 | 晨星软件研发(深圳)有限公司 | 电视影像调整方法与装置 |
| SG10201407330UA (en) * | 2009-11-16 | 2015-01-29 | Agency Science Tech & Res | Obtaining data for automatic glaucoma screening, and screening and diagnostic techniques and systems using the data |
| WO2014031086A1 (en) * | 2012-08-24 | 2014-02-27 | Agency For Science, Technology And Research | Methods and systems for automatic location of optic structures in an image of an eye, and for automatic retina cup-to-disc ratio computation |
| CN106651888B (zh) * | 2016-09-28 | 2019-06-07 | 天津工业大学 | 基于多特征融合的彩色眼底图像视杯分割方法 |
| CN106408564B (zh) * | 2016-10-10 | 2019-04-02 | 北京新皓然软件技术有限责任公司 | 一种基于深度学习的眼底图像处理方法、装置及系统 |
| CN106725295A (zh) * | 2016-11-29 | 2017-05-31 | 瑞达昇科技(大连)有限公司 | 一种微型体检设备、装置及其使用方法 |
| WO2018215855A1 (en) * | 2017-05-23 | 2018-11-29 | Indian Institute Of Science | Automated fundus image processing techniques for glaucoma prescreening |
| CN108122236B (zh) * | 2017-12-18 | 2020-07-31 | 上海交通大学 | 基于距离调制损失的迭代式眼底图像血管分割方法 |
| CN108520522A (zh) * | 2017-12-31 | 2018-09-11 | 南京航空航天大学 | 基于深度全卷积神经网络的视网膜眼底图像分割方法 |
| CN108921227B (zh) * | 2018-07-11 | 2022-04-08 | 广东技术师范学院 | 一种基于capsule理论的青光眼医学影像分类方法 |
| CN109829877A (zh) * | 2018-09-20 | 2019-05-31 | 中南大学 | 一种视网膜眼底图像杯盘比自动评估方法 |
| CN109215039B (zh) * | 2018-11-09 | 2022-02-01 | 浙江大学常州工业技术研究院 | 一种基于神经网络的眼底图片的处理方法 |
| CN109658395B (zh) * | 2018-12-06 | 2022-09-09 | 代黎明 | 视盘追踪方法及系统和眼底采集装置 |
| CN109658423B (zh) * | 2018-12-07 | 2022-12-09 | 中南大学 | 一种彩色眼底图的视盘视杯自动分割方法 |
| CN109919938B (zh) * | 2019-03-25 | 2022-12-09 | 中南大学 | 青光眼的视盘分割图谱获取方法 |
| CN110110782A (zh) * | 2019-04-30 | 2019-08-09 | 南京星程智能科技有限公司 | 基于深度学习的视网膜眼底图像视盘定位方法 |
| CN110473188B (zh) * | 2019-08-08 | 2022-03-11 | 福州大学 | 一种基于Frangi增强和注意力机制UNet的眼底图像血管分割方法 |
-
2020
- 2020-07-18 CN CN202010702643.6A patent/CN113012093B/zh active Active
- 2020-07-18 CN CN202311798837.0A patent/CN117764957A/zh active Pending
- 2020-07-18 CN CN202310321384.6A patent/CN116343008A/zh active Pending
- 2020-07-18 CN CN202010701373.7A patent/CN113011450B/zh active Active
- 2020-07-18 CN CN202310297714.2A patent/CN116824203A/zh active Pending
- 2020-07-18 CN CN202311806582.8A patent/CN117788407A/zh active Pending
Also Published As
| Publication number | Publication date |
|---|---|
| CN113011450B (zh) | 2023-04-07 |
| CN117788407A (zh) | 2024-03-29 |
| CN113011450A (zh) | 2021-06-22 |
| CN113012093A (zh) | 2021-06-22 |
| CN116343008A (zh) | 2023-06-27 |
| CN116824203A (zh) | 2023-09-29 |
| CN113012093B (zh) | 2023-12-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Dharmawan et al. | A new hybrid algorithm for retinal vessels segmentation on fundus images | |
| Salazar-Gonzalez et al. | Segmentation of the blood vessels and optic disk in retinal images | |
| CN113012093B (zh) | 青光眼图像特征提取的训练方法及训练系统 | |
| Sinthanayothin | Image analysis for automatic diagnosis of diabetic retinopathy | |
| KR20200004841A (ko) | 셀피를 촬영하도록 사용자를 안내하기 위한 시스템 및 방법 | |
| CN112017185B (zh) | 病灶分割方法、装置及存储介质 | |
| Valizadeh et al. | Presentation of a segmentation method for a diabetic retinopathy patient’s fundus region detection using a convolutional neural network | |
| CN113768461B (zh) | 一种眼底图像分析方法、系统和电子设备 | |
| CN113889267A (zh) | 基于眼象识别的糖尿病诊断模型的构建方法和电子设备 | |
| Sakthivel et al. | An automated detection of glaucoma using histogram features | |
| Li et al. | Vessel recognition of retinal fundus images based on fully convolutional network | |
| David et al. | Retinal blood vessels and optic disc segmentation using U-net | |
| Shaik et al. | Glaucoma identification based on segmentation and fusion techniques | |
| Manchalwar et al. | Detection of cataract and conjunctivitis disease using histogram of oriented gradient | |
| Sangeethaa | Presumptive discerning of the severity level of glaucoma through clinical fundus images using hybrid PolyNet | |
| Pradeep et al. | Enhanced Recognition system for Diabetic Retinopathy using Machine Learning with Deep Learning Approach | |
| Li et al. | A Deep-Learning-Enabled Monitoring System for Ocular Redness Assessment | |
| Akram et al. | Microaneurysm detection for early diagnosis of diabetic retinopathy | |
| KR102282334B1 (ko) | 시신경 유두 분류 방법 | |
| Kumari et al. | Automated process for retinal image segmentation and classification via deep learning based cnn model | |
| Taş et al. | Detection of retinal diseases from ophthalmological images based on convolutional neural network architecture. | |
| Hussein et al. | Convolutional Neural Network in Classifying Three Stages of Age-Related Macula Degeneration | |
| Singh et al. | Performance analysis of machine learning techniques for glaucoma detection based on textural and intensity features | |
| Jiang et al. | Segmentation of Laser Marks of Diabetic Retinopathy in the Fundus Photographs Using Lightweight U-Net | |
| Rajanna et al. | Neural networks with manifold learning for diabetic retinopathy detection |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |