CN111612856A - 用于彩色眼底图像的视网膜新生血管检测方法及成像方法 - Google Patents
用于彩色眼底图像的视网膜新生血管检测方法及成像方法 Download PDFInfo
- Publication number
- CN111612856A CN111612856A CN202010449814.9A CN202010449814A CN111612856A CN 111612856 A CN111612856 A CN 111612856A CN 202010449814 A CN202010449814 A CN 202010449814A CN 111612856 A CN111612856 A CN 111612856A
- Authority
- CN
- China
- Prior art keywords
- fundus image
- color fundus
- image
- retinal
- neovascularization
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 52
- 206010029113 Neovascularisation Diseases 0.000 title claims abstract description 31
- 210000001525 retina Anatomy 0.000 title claims abstract description 31
- 238000003384 imaging method Methods 0.000 title claims abstract description 23
- 238000000034 method Methods 0.000 claims abstract description 44
- 208000007135 Retinal Neovascularization Diseases 0.000 claims abstract description 41
- 238000012549 training Methods 0.000 claims abstract description 40
- 238000013135 deep learning Methods 0.000 claims abstract description 21
- 238000007781 pre-processing Methods 0.000 claims abstract description 15
- 238000011176 pooling Methods 0.000 claims description 30
- 230000000007 visual effect Effects 0.000 claims description 23
- 238000000605 extraction Methods 0.000 claims description 19
- 230000002207 retinal effect Effects 0.000 claims description 19
- 230000006870 function Effects 0.000 claims description 18
- 239000011159 matrix material Substances 0.000 claims description 14
- 238000012545 processing Methods 0.000 claims description 9
- 238000004364 calculation method Methods 0.000 claims description 8
- 238000012952 Resampling Methods 0.000 claims description 7
- 230000004927 fusion Effects 0.000 claims description 7
- 238000005520 cutting process Methods 0.000 claims description 6
- PCHJSUWPFVWCPO-UHFFFAOYSA-N gold Chemical compound [Au] PCHJSUWPFVWCPO-UHFFFAOYSA-N 0.000 claims description 6
- 238000010606 normalization Methods 0.000 claims description 6
- 230000003044 adaptive effect Effects 0.000 claims description 5
- 230000004913 activation Effects 0.000 claims description 4
- 238000013528 artificial neural network Methods 0.000 claims description 4
- 238000013434 data augmentation Methods 0.000 claims description 4
- 210000002569 neuron Anatomy 0.000 claims description 4
- 238000012935 Averaging Methods 0.000 claims description 3
- 239000010931 gold Substances 0.000 claims description 3
- 229910052737 gold Inorganic materials 0.000 claims description 3
- 238000005070 sampling Methods 0.000 claims description 3
- 230000011218 segmentation Effects 0.000 claims description 3
- 238000005096 rolling process Methods 0.000 claims description 2
- 201000010099 disease Diseases 0.000 claims 2
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 claims 2
- 230000000694 effects Effects 0.000 abstract description 3
- 210000004204 blood vessel Anatomy 0.000 description 12
- 238000010586 diagram Methods 0.000 description 8
- 230000008569 process Effects 0.000 description 7
- 210000001508 eye Anatomy 0.000 description 4
- 238000012360 testing method Methods 0.000 description 3
- 238000002583 angiography Methods 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 210000001210 retinal vessel Anatomy 0.000 description 2
- 238000003556 assay Methods 0.000 description 1
- 230000003416 augmentation Effects 0.000 description 1
- 210000005252 bulbus oculi Anatomy 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000008034 disappearance Effects 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000005065 mining Methods 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000002601 radiography Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4023—Scaling of whole images or parts thereof, e.g. expanding or contracting based on decimating pixels or lines of pixels; based on inserting pixels or lines of pixels
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/40—Image enhancement or restoration using histogram techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/136—Segmentation; Edge detection involving thresholding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20016—Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20112—Image segmentation details
- G06T2207/20132—Image cropping
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30041—Eye; Retina; Ophthalmic
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30101—Blood vessel; Artery; Vein; Vascular
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Mathematical Physics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Molecular Biology (AREA)
- Medical Informatics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Quality & Reliability (AREA)
- Radiology & Medical Imaging (AREA)
- Eye Examination Apparatus (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种用于彩色眼底图像的视网膜新生血管检测方法，包括获取彩色眼底图像数据并预处理得到训练数据；构建用于视网膜新生血管检测的深度学习网络模型；采用训练数据对深度学习网络模型进行训练得到视网膜新生血管检测器；对待检测的彩色眼底图像数据进行预处理；采用视网膜新生血管检测器对预处理后的待检测的彩色眼底图像数据进行检测得到待检测的彩色眼底图像中判定为视网膜新生血管的像素的预测概率图，并进行阈值化处理得到最终的待检测的彩色眼底图像中的视网膜新生血管的检测结果。本发明还公开了包括所述用于彩色眼底图片的视网膜新生血管检测方法的成像方法。本发明可靠性高、实用性好且检测效果好。
Description
技术领域
本发明属于图像处理领域，具体涉及一种用于彩色眼底图像的视网膜新生血管检测方法及成像方法。
背景技术
随着经济技术的发展和人们生活水平的提高，人们对于眼部的健康也越来越关注。视网膜新生血管是眼部状态的重要反映，在临床上具有较高的应用价值。因此，对于视网膜新生血管的检测，一直是研究的重点。
目前，对于视网膜新生血管的检测，一般采用的是眼部荧光造影法或者彩色眼底图像检测法。眼部荧光造影法虽然能够清晰、准确的反映检查者的视网膜新生血管的相关信息，但是其是有创性检测，而且检测结果受时间因素影响较大，因此安全性和可靠性均相对较差。彩色眼底图像检测法的安全性较高，因此是现阶段的主流检测方法。
但是，视网膜新生血管在彩色眼底图像中表征相对较弱，因此需要经验丰富的专业人员进行仔细判别；费时费力，而且可靠性也不高。因此，随着现阶段人工智能算法的兴起，研究人员已经开始将人工智能算法应用于彩色眼底图像的检测中，从而能够更好的在彩色眼底图像中表征视网膜新生血管。
但是，由于视网膜新生血管较为细小，成像后的对比度较低，分布不规则，而且血管轮廓不明显，区域模糊，容易与其他背景部分混淆；因此，视网膜新生血管的成像和检测均相对困难。目前对于彩色眼底图像上的视网膜新生血管的检测，多采用传统机器学习的方法，通过手动提取相关特征，训练分类器实现目标。手动提取的特征包括：血管纹理、血管长度、血管亮度、血管曲折度等。但是，有效特征的提取是一个困难的过程，而且此类方法还需要先分割出视网膜血管，从而进一步增加了方法的复杂性。
发明内容
本发明的目的之一在于提供一种可靠性高、实用性好且检测效果好的用于彩色眼底图像的视网膜新生血管检测方法。
本发明的目的之二在于提供一种包括了上述用于彩色眼底图片的视网膜新生血管检测方法的成像方法。
本发明提供的这种用于彩色眼底图像的视网膜新生血管检测方法，包括如下步骤：
S1.获取彩色眼底图像数据，并对图像数据进行预处理，从而得到训练数据；
S2.构建用于视网膜新生血管检测的深度学习网络模型；
S3.采用步骤S1获取的训练数据，对步骤S2构建的深度学习网络模型进行训练，从而得到视网膜新生血管检测器；
S4.对待检测的彩色眼底图像数据进行预处理；
S5.将步骤S4得到的预处理后的待检测的彩色眼底图像数据，输入到步骤S3得到的视网膜新生血管检测器，从而得到待检测的彩色眼底图像中判定为视网膜新生血管的像素的预测概率图；
S6.对步骤S5得到的待检测的彩色眼底图像中判定为视网膜新生血管的像素的预测概率图，进行阈值化处理，从而得到最终的待检测的彩色眼底图像中的视网膜新生血管的检测结果。
步骤S1所述的对图像数据进行预处理，具体为采用如下步骤进行预处理：
A.针对图像数据，裁剪出视野区域；
B.统一步骤A得到的视野区域的分辨率大小；
C.在步骤B得到的图像数据基础上，进行数据增广操作；
D.对步骤C得到的所有图像数据进行对比度增强。
步骤A所述的针对图像数据，裁剪出视野区域，具体为：先将彩色眼底图像数据转换为灰度图像；然后对灰度图像进行阈值处理，从而将灰度图像转换为掩模图像；再裁剪出掩模图像中白色圆形区域的外接矩形，并用得到的外接矩形的位置坐标来裁剪眼底图像，从而得到眼底图像的视野矩形区域。
步骤B所述的统一步骤A得到的视野区域的分辨率大小，具体为：首先计算步骤A得到的所有视野区域的分辨率大小的平均值；然后采用插值法将所有视野矩阵区域的分辨率大小缩放为平均值。
所述的采用插值法将所有视野矩阵区域的分辨率大小缩放为平均值，具体为：若视野矩阵区域的分辨率小于平均值，则采用4x4像素邻域的3次插值法进行缩放；若视野矩阵区域的分辨率大于平均值，则采用基于局部像素的重采样插值法进行缩放。
步骤C所述的数据增广操作，具体包括水平镜像翻转图像、垂直镜像翻转图像、将图像旋转若干角度；调整图像的亮度、调整图像的对比度。
步骤D所述的对比度增强，具体包括归一化、限制对比度自适应直方图均衡化和gamma校正。
步骤S2所述的构建用于视网膜新生血管检测的深度学习网络模型，具体为采用如下模型作为用于视网膜新生血管检测的深度学习网络模型：
模型框架为全卷积神经网络，由ResNet特征提取模块、金字塔池化模块和特征融合模块构成；
ResNet特征提取模块：采用如下所示结构作为ResNet特征提取模块提取结构：
网络层名称：conv1；尺寸：3*3，64，stride 2；
网络层名称：conv2；尺寸：3*3，64，stride 2；
网络层名称：conv3；尺寸：3*3，128，stride 2；
网络层名称：pooling1；尺寸：3*3，max pool，stride 2；
网络层名称：conv_block1；尺寸：
网络层名称：conv_block2；尺寸：
网络层名称：conv_block3；尺寸：
网络层名称：conv_block4；尺寸：
其中conv代表卷积层，pooling代表池化层，conv_block代表卷积块，stride代表图像运算中卷积核或池化核的跨度；尺寸中第一个数为核的尺寸，第二个数为核的数量；每个卷积块由若干个三层的残差学习模块组成；
金字塔池化模块：采用4个不同大小的池化核，分别为1×1、2×2、3×3和6×6，构建级别为4的特征金字塔，从而将ResNet特征提取模块提取到的浅层特征进一步处理为不同尺度的特征图；具体包括如下步骤：
a.通过不同尺度的全局均值池化操作获取不同级别的特征，这些特征包含不同子区域之间的不同尺度信息；
b.采用一个卷积核数目为512、内核尺寸为1×1的卷积层将各特征的维度都缩减至原来的1/4；
c.对得到的金字塔特征进行双线性插值上采样操作，从而使得尺寸大小与输入特征相同；
特征融合模块：将ResNet特征提取模块和金字塔池化模块提取的特征进行融合，从而得到最终的特征图数据；
在每一个卷积层后面进行Batch Normalization和relu激活操作，并在网络结构的最优一个卷积层的后面增加Dropout层；
模型最后采用Softmax函数对各个像素的类别进行预测。
步骤S3所述的采用步骤S1获取的训练数据，对步骤S2构建的深度学习网络模型进行训练，从而得到视网膜新生血管检测器，具体为采用如下步骤进行训练：
(1)对步骤S1得到的训练数据进行重采样；
(2)采用如下交叉熵损失函数作为模型损失函数loss：
式中n为样本数量；yi为像素类别金标准；y'i为像素类别的预测值，且计算公式为y'i＝hw(xi)，其中xi为输入样本的像素点，hw()为采用的模型函数；
(3)采用自适应矩阵估计优化器对损失函数进行优化，从而得到权重值；
(4)将步骤(3)得到的权重值带入步骤S2建立的用于视网膜新生血管检测的深度学习网络模型的各个神经元中，从而得到最终的视网膜新生血管检测器。
步骤S4所述的对待检测的彩色眼底图像数据进行预处理，具体为对待检测的彩色眼底图像数据，采用重叠策略进行图像块的分割：图像块间的幅度设定为X个像素，直至整张图像中的像素都被采用；然后，对于边缘剩余不足X个像素的地方，采用0像素进行填充。
步骤S5所述的将步骤S4得到的预处理后的待检测的彩色眼底图像数据，输入到步骤S3得到的视网膜新生血管检测器，从而得到待检测的彩色眼底图像中判定为视网膜新生血管的像素的预测概率图，具体为采用视网膜新生血管检测器，对预处理后的待检测的彩色眼底图像的各个图像块中的像素类别进行判断，得到每个像素属于视网膜新生血管类的概率；然后根据图像块位置信息将各图像块还原为整张图像；同时，对于图像块的重叠部分，采用加权求和并取平均值的方式进行计算，并将计算结果作为最后的预测结果。
步骤S6所述的阈值化处理，具体为对预测概率图中灰度值大于或等于设定值的像素点，将对应的灰度值设置为1；并将预测概率图中灰度值小于设定值的像素点，将对应的灰度值设置为0；从而得到最终的结果。
本发明还提供了一种包括了上述用于彩色眼底图片的视网膜新生血管检测方法的成像方法，还包括如下步骤：
S7.根据步骤S6得到的视网膜新生血管的检测结果，对彩色眼底图像进行二次成像，从而得到最终的成像结果。
本发明提供的这种用于彩色眼底图像的视网膜新生血管检测方法及成像方法，采用基于深度学习的端到端的检测方式，通过卷积神经网络自动挖掘眼底图像的特征，且不需要依赖先验知识；因此本发明方法能够更加简便地实现视网膜新生血管的检测和成像，而且可靠性高、实用性好且检测效果好。
附图说明
图1为本发明的检测方法的方法流程示意图。
图2为本发明的检测方法的输入的原始眼底图像示意图。
图3为本发明的检测方法的图像预处理示意图。
图4为本发明的检测方法的眼底图像掩模示意图。
图5为本发明的检测方法的全卷积神经网络模型框架结构示意图。
图6为本发明的检测方法的视网膜新生血管位置的标注图像示意图。
图7为本发明的检测方法的网络模型训练准确度变化示意图。
图8为本发明的检测方法在测试集上的P-R指标结果示意图。
图9为本发明的检测方法在测试集上的实验结果示意图。.
图10为本发明的成像方法的方法流程示意图。
具体实施方式
如图1所示为本发明的检测方法的方法流程示意图：本发明提供的这种用于彩色眼底图像的视网膜新生血管检测方法，包括如下步骤：
S1.获取彩色眼底图像数据(如图2所示)，并对图像数据进行预处理，从而得到训练数据；由于图像的分辨率和视野区域大小都不相同，影响模型检测过程中视网膜新生血管特征的挖掘，所以需要先对图像进行一系列的预处理操作；具体为采用如下步骤(如图3所示)进行预处理：
A.针对图像数据，裁剪出视野区域；具体为：先将彩色眼底图像数据转换为灰度图像；然后对灰度图像进行阈值处理，从而将灰度图像转换为掩模图像；再裁剪出掩模图像中白色圆形区域的外接矩形，并用得到的外接矩形的位置坐标来裁剪眼底图像，从而得到眼底图像的视野矩形区域；
在具体实施时，采用公式gray＝r*0.299+g*0.587+b*0.114，将RGB彩色图像转换为灰度图，其中gray为灰度图的值，r、g和b分别表示RGB彩色图像的通道分量；然后在进行阈值处理时，对于图中灰度值大于或等于35的像素点的灰度值置为255(白色)，灰度值小于35的像素点的灰度值置为0(黑色)，从而得到掩模图(如图4所示)；
B.统一步骤A得到的视野区域的分辨率大小；具体为：首先计算步骤A得到的所有视野区域的分辨率大小的平均值；然后采用插值法将所有视野矩阵区域的分辨率大小缩放为平均值；
在具体实施时，若视野矩阵区域的分辨率小于平均值，则采用4x4像素邻域的3次插值法进行缩放；若视野矩阵区域的分辨率大于平均值，则采用基于局部像素的重采样插值法进行缩放；
C.在步骤B得到的图像数据基础上，进行数据增广操作；具体包括水平镜像翻转图像、垂直镜像翻转图像、将图像旋转若干角度；调整图像的亮度、调整图像的对比度等，从而避免训练数据太少造成的过拟合问题，提高网络模型的泛化性能；
在具体实施时，可以对每一张训练图像获取10张增广图像，增加训练图像数量；
D.对步骤C得到的所有图像数据进行对比度增强；具体包括归一化、限制对比度自适应直方图均衡化和gamma校正等；
S2.构建用于视网膜新生血管检测的深度学习网络模型；具体为采用如下模型作为用于视网膜新生血管检测的深度学习网络模型：
模型框架为全卷积神经网络，如图5所示：由ResNet特征提取模块、金字塔池化模块和特征融合模块构成；
ResNet特征提取模块：采用如下所示结构作为ResNet特征提取模块提取结构：
其中conv代表卷积层，pooling代表池化层，conv_block代表卷积块，stride代表图像运算中卷积核或池化核的跨度；尺寸中第一个数为核的尺寸，第二个数为核的数量；每个卷积块由若干个三层的残差学习模块组成：卷积块1由3个残差学习模块组成，卷积块2由4个残差学习模块组成。另外模块中的卷积层为不同扩张率(1或2)的空洞卷积；ResNet通过多个卷积层和空洞卷积模块提取图像特征，此特征是金字塔池化模块的输入；
金字塔池化模块：采用4个不同大小的池化核，分别为1×1、2×2、3×3和6×6，构建级别为4的特征金字塔，从而将ResNet特征提取模块提取到的浅层特征进一步处理为不同尺度的特征图；具体包括如下步骤：
a.通过不同尺度的全局均值池化操作获取不同级别的特征，这些特征包含不同子区域之间的不同尺度信息；
在具体实施时，第一行是池化尺度为6×6的全局均值池化得到的最粗糙的特征，由上至下池化尺度依次递减；
b.采用一个卷积核数目为512、内核尺寸为1×1的卷积层将各特征的维度都缩减至原来的1/4；
c.对得到的金字塔特征进行双线性插值上采样操作，从而使得尺寸大小与输入特征相同；
特征融合模块：将ResNet特征提取模块和金字塔池化模块提取的特征进行融合，从而得到最终的特征图数据；也就是图5中的CONCAT操作；通过特征融合模块，融合了目标的细节特征和包含上下文信息的全局特征，利于更准确地判断新生血管特征信息；
在每一个卷积层后面进行Batch Normalization和relu激活操作，并在网络结构的最优一个卷积层的后面增加Dropout层；
Batch Normalization操作能对权重进行归一化，显著提高训练速度，加速收敛，解决训练过程中梯度消失的问题；Relu激活函数可使网络稍微稀疏，降低网络权重间的相互依赖；同时，这两种操作在一定程度上都能缓解训练过程中的过拟合问题；
模型最后采用Softmax函数对各个像素的类别进行预测；
S3.采用步骤S1获取的训练数据，对步骤S2构建的深度学习网络模型进行训练，从而得到视网膜新生血管检测器；具体为采用如下步骤进行训练：
在彩色眼底图中，视网膜新生血管多分布在某一区域，如视盘视杯区域，不像视网膜血管那般分布在整个眼球；为了更好地挖掘新生血管特征，本发明在图像输入网络模型之前先按一定比例从训练图像中提取一定数量的统一分辨率大小的图像块用于网络训练；
(1)对步骤S1得到的训练数据进行重采样；
具体实施时，在整个图像内以像素点为中心，按新生血管块:背景区域块＝1×1的类型比例进行重采样，直到对每张图都采集了4000个图像块为止；其中每个图像块分辨率大小为128×128像素；
(2)模型训练的目标是最小化模型对输入样本的预测值与金标准之间的差异，即损失，金标准图像如图6所示；在网络模型架构确定的情况下，要使损失小，则需确定网络模型各神经元之间的权重；通过对数据的不断学习训练，最终得到损失最小的最优权重集合，即得到了最优的训练好的视网膜新生血管检测模型；
权重的学习过程，即网络模型的训练过程具体如下：确定损失函数用于模型训练，本发明使用交叉熵损失函数loss：
式中n为样本数量；yi为像素类别金标准；y'i为像素类别的预测值，且计算公式为y'i＝hw(xi)，其中xi为输入样本的像素点，hw()为采用的模型函数；
(3)采用自适应矩阵估计优化器对损失函数进行优化，从而得到权重值；
(4)将步骤(3)得到的权重值带入步骤S2建立的用于视网膜新生血管检测的深度学习网络模型的各个神经元中，从而得到最终的视网膜新生血管检测器；
在网络训练中，除权重外，还需确定超参数；优化函数的初始学习率为1×10-4，初始衰减率为5×10-4；为了有效的有依据的调整网络超参数，本发明在对训练图像块随机排序后，选取10％的训练数据作为验证集；在多次微调后发现，本发明提出的深度神经网络在迭代训练20次后得到收敛，其中每一次迭代由20个小批次组成；Dropout层的丢弃概率设置为0.1；在确定了输入数据块、损失函数和超参数后，网络模型在NVIDIA Titan X GPU上训练，最终得到预训练好的模型后即可用于新生血管检测；模型训练过程中准确度随迭代次数的变化如图7所示；
S4.对待检测的彩色眼底图像数据进行预处理；具体为对待检测的彩色眼底图像数据，采用重叠策略进行图像块的分割：图像块间的幅度设定为X个像素，直至整张图像中的像素都被采用；然后，对于边缘剩余不足X个像素的地方，采用0像素进行填充；
S5.将步骤S4得到的预处理后的待检测的彩色眼底图像数据，输入到步骤S3得到的视网膜新生血管检测器，从而得到待检测的彩色眼底图像中判定为视网膜新生血管的像素的预测概率图；具体为采用视网膜新生血管检测器，对预处理后的待检测的彩色眼底图像的各个图像块中的像素类别进行判断，得到每个像素属于视网膜新生血管类的概率；然后根据图像块位置信息将各图像块还原为整张图像；同时，对于图像块的重叠部分，采用加权求和并取平均值的方式进行计算，并将计算结果作为最后的预测结果；
S6.对步骤S5得到的待检测的彩色眼底图像中判定为视网膜新生血管的像素的预测概率图，进行阈值化处理，从而得到最终的待检测的彩色眼底图像中的视网膜新生血管的检测结果；具体为对预测概率图中灰度值大于或等于设定值的像素点，将对应的灰度值设置为1；并将预测概率图中灰度值小于设定值的像素点，将对应的灰度值设置为0；从而得到最终的结果。
对最终图中各像素的分类结果评估的P-R曲线如图8所示，展示了该模型能高精度地检测出彩色眼底图像中的新生血管。最终的新生血管检测结果如图9所示，可以从视觉上直接评估结果，与金标准对比。其中第一行为输入的测试图像，第二行为人工标注的新生血管位置金标准，第三行为本发明的模型检测到的新生血管位置。从图可以看出，本发明可对眼底图中的新生血管进行准确的检测和分割，预测位置基本处于金标准标注区域内，轮廓基本吻合。
如图10所示为本发明的成像方法的方法流程示意图：
本发明提供的这种包括了上述用于彩色眼底图片的视网膜新生血管检测方法的成像方法，包括如下步骤：
S1.获取彩色眼底图像数据，并对图像数据进行预处理，从而得到训练数据；
S2.构建用于视网膜新生血管检测的深度学习网络模型；
S3.采用步骤S1获取的训练数据，对步骤S2构建的深度学习网络模型进行训练，从而得到视网膜新生血管检测器；
S4.对待检测的彩色眼底图像数据进行预处理；
S5.将步骤S4得到的预处理后的待检测的彩色眼底图像数据，输入到步骤S3得到的视网膜新生血管检测器，从而得到待检测的彩色眼底图像中判定为视网膜新生血管的像素的预测概率图；
S6.对步骤S5得到的待检测的彩色眼底图像中判定为视网膜新生血管的像素的预测概率图，进行阈值化处理，从而得到最终的待检测的彩色眼底图像中的视网膜新生血管的检测结果；
S7.根据步骤S6得到的视网膜新生血管的检测结果，对彩色眼底图像进行二次成像，从而得到最终的成像结果。
本发明方法可以用于彩色眼底图像中新生血管的检测：输入一张彩色眼底图像，采用本发明方法判断该图像中是否存在新生血管，及对应的新生血管的位置。
同时，本发明方法也可以用于彩色眼底图的成像：将本发明方法集成到现有的彩色眼底图像获取设备中，采用检测设备获取原始的彩色眼底图像，采用本发明方法进行新生血管的判断，再根据本发明的判断结果，利用检测设备在原始的彩色眼底图像上，对判断出的新生血管进行再一次的成像体现，从而提高检测设备的成像效果。
Claims (10)
1.一种用于彩色眼底图像的视网膜新生血管检测方法，包括如下步骤：
S1.获取彩色眼底图像数据，并对图像数据进行预处理，从而得到训练数据；
S2.构建用于视网膜新生血管检测的深度学习网络模型；
S3.采用步骤S1获取的训练数据，对步骤S2构建的深度学习网络模型进行训练，从而得到视网膜新生血管检测器；
S4.对待检测的彩色眼底图像数据进行预处理；
S5.将步骤S4得到的预处理后的待检测的彩色眼底图像数据，输入到步骤S3得到的视网膜新生血管检测器，从而得到待检测的彩色眼底图像中判定为视网膜新生血管的像素的预测概率图；
S6.对步骤S5得到的待检测的彩色眼底图像中判定为视网膜新生血管的像素的预测概率图，进行阈值化处理，从而得到最终的待检测的彩色眼底图像中的视网膜新生血管的检测结果。
2.根据权利要求1所述的用于彩色眼底图像的视网膜新生血管检测方法，其特征在于步骤S1所述的对图像数据进行预处理，具体为采用如下步骤进行预处理：
A.针对图像数据，裁剪出视野区域；
B.统一步骤A得到的视野区域的分辨率大小；
C.在步骤B得到的图像数据基础上，进行数据增广操作；
D.对步骤C得到的所有图像数据进行对比度增强。
3.根据权利要求2所述的用于彩色眼底图像的视网膜新生血管检测方法，其特征在于步骤A所述的针对图像数据，裁剪出视野区域，具体为：先将彩色眼底图像数据转换为灰度图像；然后对灰度图像进行阈值处理，从而将灰度图像转换为掩模图像；再裁剪出掩模图像中白色圆形区域的外接矩形，并用得到的外接矩形的位置坐标来裁剪眼底图像，从而得到眼底图像的视野矩形区域。
4.根据权利要求3所述的用于彩色眼底图像的视网膜新生血管检测方法，其特征在于步骤B所述的统一步骤A得到的视野区域的分辨率大小，具体为：首先计算步骤A得到的所有视野区域的分辨率大小的平均值；然后采用插值法将所有视野矩阵区域的分辨率大小缩放为平均值。
5.根据权利要求4所述的用于彩色眼底图像的视网膜新生血管检测方法，其特征在于所述的采用插值法将所有视野矩阵区域的分辨率大小缩放为平均值，具体为：若视野矩阵区域的分辨率小于平均值，则采用4x4像素邻域的3次插值法进行缩放；若视野矩阵区域的分辨率大于平均值，则采用基于局部像素的重采样插值法进行缩放。
6.根据权利要求5所述的用于彩色眼底图像的视网膜新生血管检测方法，其特征在于步骤S2所述的构建用于视网膜新生血管检测的深度学习网络模型，具体为采用如下模型作为用于视网膜新生血管检测的深度学习网络模型：
模型框架为全卷积神经网络，由ResNet特征提取模块、金字塔池化模块和特征融合模块构成；
ResNet特征提取模块：采用如下所示结构作为ResNet特征提取模块提取结构：
网络层名称：conv1；尺寸：3*3，64，stride 2；
网络层名称：conv2；尺寸：3*3，64，stride 2；
网络层名称：conv3；尺寸：3*3，128，stride 2；
网络层名称：pooling1；尺寸：3*3，max pool，stride 2；
网络层名称：conv_block1；尺寸：
网络层名称：conv_block2；尺寸：
网络层名称：conv_block3；尺寸：
网络层名称：conv_block4；尺寸：
其中conv代表卷积层，pooling代表池化层，conv_block代表卷积块，stride代表图像运算中卷积核或池化核的跨度；尺寸中第一个数为核的尺寸，第二个数为核的数量；每个卷积块由若干个三层的残差学习模块组成；
金字塔池化模块：采用4个不同大小的池化核，分别为1×1、2×2、3×3和6×6，构建级别为4的特征金字塔，从而将ResNet特征提取模块提取到的浅层特征进一步处理为不同尺度的特征图；具体包括如下步骤：
a.通过不同尺度的全局均值池化操作获取不同级别的特征，这些特征包含不同子区域之间的不同尺度信息；
b.采用一个卷积核数目为512、内核尺寸为1×1的卷积层将各特征的维度都缩减至原来的1/4；
c.对得到的金字塔特征进行双线性插值上采样操作，从而使得尺寸大小与输入特征相同；
特征融合模块：将ResNet特征提取模块和金字塔池化模块提取的特征进行融合，从而得到最终的特征图数据；
在每一个卷积层后面进行Batch Normalization和relu激活操作，并在网络结构的最优一个卷积层的后面增加Dropout层；
模型最后采用Softmax函数对各个像素的类别进行预测。
7.根据权利要求6所述的用于彩色眼底图像的视网膜新生血管检测方法，其特征在于步骤S3所述的采用步骤S1获取的训练数据，对步骤S2构建的深度学习网络模型进行训练，从而得到视网膜新生血管检测器，具体为采用如下步骤进行训练：
(1)对步骤S1得到的训练数据进行重采样；
(2)采用如下交叉熵损失函数作为模型损失函数loss：
式中n为样本数量；yi为像素类别金标准；y′i为像素类别的预测值，且计算公式为y′i＝hw(xi)，其中xi为输入样本的像素点，hw()为采用的模型函数；
(3)采用自适应矩阵估计优化器对损失函数进行优化，从而得到权重值；
(4)将步骤(3)得到的权重值带入步骤S2建立的用于视网膜新生血管检测的深度学习网络模型的各个神经元中，从而得到最终的视网膜新生血管检测器。
8.根据权利要求7所述的用于彩色眼底图像的视网膜新生血管检测方法，其特征在于步骤S4所述的对待检测的彩色眼底图像数据进行预处理，具体为对待检测的彩色眼底图像数据，采用重叠策略进行图像块的分割：图像块间的幅度设定为X个像素，直至整张图像中的像素都被采用；然后，对于边缘剩余不足X个像素的地方，采用0像素进行填充。
9.根据权利要求8所述的用于彩色眼底图像的视网膜新生血管检测方法，其特征在于步骤S5所述的将步骤S4得到的预处理后的待检测的彩色眼底图像数据，输入到步骤S3得到的视网膜新生血管检测器，从而得到待检测的彩色眼底图像中判定为视网膜新生血管的像素的预测概率图，具体为采用视网膜新生血管检测器，对预处理后的待检测的彩色眼底图像的各个图像块中的像素类别进行判断，得到每个像素属于视网膜新生血管类的概率；然后根据图像块位置信息将各图像块还原为整张图像；同时，对于图像块的重叠部分，采用加权求和并取平均值的方式进行计算，并将计算结果作为最后的预测结果。
10.一种包括权利要求1～9之一所述的用于彩色眼底图像的视网膜新生血管检测方法的成像方法，其特征在于还包括如下步骤：
S7.根据步骤S6得到的视网膜新生血管的检测结果，对彩色眼底图像进行二次成像，从而得到最终的成像结果。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010449814.9A CN111612856B (zh) | 2020-05-25 | 2020-05-25 | 用于彩色眼底图像的视网膜新生血管检测方法及成像方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010449814.9A CN111612856B (zh) | 2020-05-25 | 2020-05-25 | 用于彩色眼底图像的视网膜新生血管检测方法及成像方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111612856A true CN111612856A (zh) | 2020-09-01 |
| CN111612856B CN111612856B (zh) | 2023-04-18 |
Family
ID=72200591
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010449814.9A Active CN111612856B (zh) | 2020-05-25 | 2020-05-25 | 用于彩色眼底图像的视网膜新生血管检测方法及成像方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111612856B (zh) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112581448A (zh) * | 2020-12-17 | 2021-03-30 | 中南大学 | 视网膜图像硬性渗出物识别方法及成像方法 |
| CN113269794A (zh) * | 2021-05-27 | 2021-08-17 | 中山大学孙逸仙纪念医院 | 一种图像区域分割方法、装置、终端设备及存储介质 |
| CN114897678A (zh) * | 2022-03-29 | 2022-08-12 | 中山大学中山眼科中心 | 婴幼儿眼底视网膜全景影像生成采集反馈方法及系统 |
| CN117038088A (zh) * | 2023-10-09 | 2023-11-10 | 北京鹰瞳科技发展股份有限公司 | 糖尿病视网膜病变的发病确定方法、装置、设备及介质 |
| CN117153407A (zh) * | 2023-11-01 | 2023-12-01 | 福建瞳视力科技有限公司 | 一种用于视力矫正的青少年近视预测方法及系统 |
| CN117372284A (zh) * | 2023-12-04 | 2024-01-09 | 江苏富翰医疗产业发展有限公司 | 眼底图像处理方法及系统 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106408562A (zh) * | 2016-09-22 | 2017-02-15 | 华南理工大学 | 基于深度学习的眼底图像视网膜血管分割方法及系统 |
| CN108986124A (zh) * | 2018-06-20 | 2018-12-11 | 天津大学 | 结合多尺度特征卷积神经网络视网膜血管图像分割方法 |
| CN109087302A (zh) * | 2018-08-06 | 2018-12-25 | 北京大恒普信医疗技术有限公司 | 一种眼底图像血管分割方法及设备 |
| CN109859139A (zh) * | 2019-02-15 | 2019-06-07 | 中南大学 | 彩色眼底图像的血管增强方法 |
| US20200027208A1 (en) * | 2018-07-18 | 2020-01-23 | Case Western Reserve University | Hough transform-based vascular network disorder features on baseline fluorescein angiography scans predict response to anti-vegf therapy in diabetic macular edema |
| CN110766643A (zh) * | 2019-10-28 | 2020-02-07 | 电子科技大学 | 一种面向眼底图像的微动脉瘤检测方法 |
| CN111161287A (zh) * | 2019-12-05 | 2020-05-15 | 山东科技大学 | 基于对称双向级联网络深度学习的视网膜血管分割方法 |
-
2020
- 2020-05-25 CN CN202010449814.9A patent/CN111612856B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106408562A (zh) * | 2016-09-22 | 2017-02-15 | 华南理工大学 | 基于深度学习的眼底图像视网膜血管分割方法及系统 |
| CN108986124A (zh) * | 2018-06-20 | 2018-12-11 | 天津大学 | 结合多尺度特征卷积神经网络视网膜血管图像分割方法 |
| US20200027208A1 (en) * | 2018-07-18 | 2020-01-23 | Case Western Reserve University | Hough transform-based vascular network disorder features on baseline fluorescein angiography scans predict response to anti-vegf therapy in diabetic macular edema |
| CN109087302A (zh) * | 2018-08-06 | 2018-12-25 | 北京大恒普信医疗技术有限公司 | 一种眼底图像血管分割方法及设备 |
| CN109859139A (zh) * | 2019-02-15 | 2019-06-07 | 中南大学 | 彩色眼底图像的血管增强方法 |
| CN110766643A (zh) * | 2019-10-28 | 2020-02-07 | 电子科技大学 | 一种面向眼底图像的微动脉瘤检测方法 |
| CN111161287A (zh) * | 2019-12-05 | 2020-05-15 | 山东科技大学 | 基于对称双向级联网络深度学习的视网膜血管分割方法 |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112581448A (zh) * | 2020-12-17 | 2021-03-30 | 中南大学 | 视网膜图像硬性渗出物识别方法及成像方法 |
| CN113269794A (zh) * | 2021-05-27 | 2021-08-17 | 中山大学孙逸仙纪念医院 | 一种图像区域分割方法、装置、终端设备及存储介质 |
| CN114897678A (zh) * | 2022-03-29 | 2022-08-12 | 中山大学中山眼科中心 | 婴幼儿眼底视网膜全景影像生成采集反馈方法及系统 |
| CN114897678B (zh) * | 2022-03-29 | 2023-05-16 | 中山大学中山眼科中心 | 婴幼儿眼底视网膜全景影像生成采集反馈方法及系统 |
| CN117038088A (zh) * | 2023-10-09 | 2023-11-10 | 北京鹰瞳科技发展股份有限公司 | 糖尿病视网膜病变的发病确定方法、装置、设备及介质 |
| CN117038088B (zh) * | 2023-10-09 | 2024-02-02 | 北京鹰瞳科技发展股份有限公司 | 糖尿病视网膜病变的发病确定方法、装置、设备及介质 |
| CN117153407A (zh) * | 2023-11-01 | 2023-12-01 | 福建瞳视力科技有限公司 | 一种用于视力矫正的青少年近视预测方法及系统 |
| CN117153407B (zh) * | 2023-11-01 | 2023-12-26 | 福建瞳视力科技有限公司 | 一种用于视力矫正的青少年近视预测方法及系统 |
| CN117372284A (zh) * | 2023-12-04 | 2024-01-09 | 江苏富翰医疗产业发展有限公司 | 眼底图像处理方法及系统 |
| CN117372284B (zh) * | 2023-12-04 | 2024-02-23 | 江苏富翰医疗产业发展有限公司 | 眼底图像处理方法及系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111612856B (zh) | 2023-04-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111612856B (zh) | 用于彩色眼底图像的视网膜新生血管检测方法及成像方法 | |
| CN106920227B (zh) | 基于深度学习与传统方法相结合的视网膜血管分割方法 | |
| CN109493954B (zh) | 一种基于类别判别定位的sd-oct图像视网膜病变检测系统 | |
| Rezaoana et al. | Detection and classification of skin cancer by using a parallel CNN model | |
| CN108492271B (zh) | 一种融合多尺度信息的自动图像增强系统及方法 | |
| CN108648191B (zh) | 基于贝叶斯宽度残差神经网络的害虫图像识别方法 | |
| CN109829877A (zh) | 一种视网膜眼底图像杯盘比自动评估方法 | |
| CN111476283A (zh) | 基于迁移学习的青光眼眼底图像识别方法 | |
| CN107610087B (zh) | 一种基于深度学习的舌苔自动分割方法 | |
| CN111259982A (zh) | 一种基于注意力机制的早产儿视网膜图像分类方法和装置 | |
| CN109345508A (zh) | 一种基于两阶段神经网络的骨龄评价方法 | |
| CN111507932B (zh) | 高特异性的糖尿病性视网膜病变特征检测方法及存储设备 | |
| CN111784628A (zh) | 基于有效学习的端到端的结直肠息肉图像分割方法 | |
| CN107563996B (zh) | 一种新型视神经盘分割方法及系统 | |
| CN110232389A (zh) | 一种基于绿色作物特征提取不变性的立体视觉导航方法 | |
| CN112016626A (zh) | 基于不确定度的糖尿病视网膜病变分类系统 | |
| CN111127431A (zh) | 一种基于区域自适应多任务神经网络的干眼症分级评估系统 | |
| CN114881962A (zh) | 一种基于改进U-Net网络的视网膜图像血管分割方法 | |
| CN114648806A (zh) | 一种多机制自适应的眼底图像分割方法 | |
| CN112465905A (zh) | 基于深度学习的磁共振成像数据的特征脑区定位方法 | |
| CN113724203B (zh) | 应用于oct图像中目标特征分割的模型训练方法及装置 | |
| CN114998651A (zh) | 基于迁移学习的皮肤病变图像分类识别方法、系统及介质 | |
| Yang et al. | Classification of diabetic retinopathy severity based on GCA attention mechanism | |
| CN112365973A (zh) | 基于对抗网络和Faster R-CNN的肺结节辅助诊断系统 | |
| CN111626379B (zh) | 肺炎x光图像检测方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |