CN114998210B - 一种基于深度学习目标检测的早产儿视网膜病变检测系统 - Google Patents
一种基于深度学习目标检测的早产儿视网膜病变检测系统 Download PDFInfo
- Publication number
- CN114998210B CN114998210B CN202210464864.3A CN202210464864A CN114998210B CN 114998210 B CN114998210 B CN 114998210B CN 202210464864 A CN202210464864 A CN 202210464864A CN 114998210 B CN114998210 B CN 114998210B
- Authority
- CN
- China
- Prior art keywords
- network
- module
- retinopathy
- premature infant
- premature
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 57
- 206010038933 Retinopathy of prematurity Diseases 0.000 title claims abstract description 34
- 238000013135 deep learning Methods 0.000 title claims abstract description 31
- 230000002028 premature Effects 0.000 claims abstract description 71
- 230000003902 lesion Effects 0.000 claims abstract description 50
- 208000017442 Retinal disease Diseases 0.000 claims abstract description 37
- 206010038923 Retinopathy Diseases 0.000 claims abstract description 37
- 238000004458 analytical method Methods 0.000 claims abstract description 32
- 238000000034 method Methods 0.000 claims abstract description 32
- 210000001525 retina Anatomy 0.000 claims abstract description 23
- 238000007781 pre-processing Methods 0.000 claims abstract description 20
- 230000002207 retinal effect Effects 0.000 claims abstract description 16
- 238000003745 diagnosis Methods 0.000 claims abstract description 15
- 238000012986 modification Methods 0.000 claims abstract description 8
- 230000004048 modification Effects 0.000 claims abstract description 8
- 238000012790 confirmation Methods 0.000 claims abstract description 4
- 238000003860 storage Methods 0.000 claims abstract description 4
- 238000012549 training Methods 0.000 claims description 33
- 230000003321 amplification Effects 0.000 claims description 21
- 238000003199 nucleic acid amplification method Methods 0.000 claims description 21
- 230000006870 function Effects 0.000 claims description 18
- 230000004913 activation Effects 0.000 claims description 17
- 230000007246 mechanism Effects 0.000 claims description 15
- 238000012216 screening Methods 0.000 claims description 15
- 238000013527 convolutional neural network Methods 0.000 claims description 14
- 238000012795 verification Methods 0.000 claims description 13
- 238000011176 pooling Methods 0.000 claims description 12
- 238000012545 processing Methods 0.000 claims description 9
- 238000012360 testing method Methods 0.000 claims description 9
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 claims description 8
- 238000010276 construction Methods 0.000 claims description 7
- 230000000694 effects Effects 0.000 claims description 7
- 230000008569 process Effects 0.000 claims description 7
- 230000002787 reinforcement Effects 0.000 claims description 7
- 210000003128 head Anatomy 0.000 claims description 6
- 238000002372 labelling Methods 0.000 claims description 6
- 238000005070 sampling Methods 0.000 claims description 6
- 230000003121 nonmonotonic effect Effects 0.000 claims description 4
- 238000013519 translation Methods 0.000 claims description 4
- 238000000605 extraction Methods 0.000 claims description 3
- 230000004927 fusion Effects 0.000 claims description 3
- 230000005764 inhibitory process Effects 0.000 claims description 3
- 238000013508 migration Methods 0.000 claims description 3
- 230000005012 migration Effects 0.000 claims description 3
- 238000010586 diagram Methods 0.000 description 8
- 201000004569 Blindness Diseases 0.000 description 3
- 238000013473 artificial intelligence Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000036541 health Effects 0.000 description 3
- 230000004075 alteration Effects 0.000 description 2
- 238000005520 cutting process Methods 0.000 description 2
- 238000009826 distribution Methods 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 210000002569 neuron Anatomy 0.000 description 2
- 238000005192 partition Methods 0.000 description 2
- 208000020241 Neonatal disease Diseases 0.000 description 1
- 208000037129 Newborn Diseases Infant Diseases 0.000 description 1
- QVGXLLKOCUKJST-UHFFFAOYSA-N atomic oxygen Chemical compound [O] QVGXLLKOCUKJST-UHFFFAOYSA-N 0.000 description 1
- 230000002238 attenuated effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000002790 cross-validation Methods 0.000 description 1
- 230000006735 deficit Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000002405 diagnostic procedure Methods 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 229910052760 oxygen Inorganic materials 0.000 description 1
- 239000001301 oxygen Substances 0.000 description 1
- 230000002265 prevention Effects 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000003014 reinforcing effect Effects 0.000 description 1
- 238000012552 review Methods 0.000 description 1
- 238000011477 surgical intervention Methods 0.000 description 1
- 208000029257 vision disease Diseases 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
- A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
- A61B3/12—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for looking at the eye fundus, e.g. ophthalmoscopes
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
- A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
- A61B3/14—Arrangements specially adapted for eye photography
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/70—Labelling scene content, e.g. deriving syntactic or semantic representations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30041—Eye; Retina; Ophthalmic
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30044—Fetus; Embryo
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Physics & Mathematics (AREA)
- Medical Informatics (AREA)
- Multimedia (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Biomedical Technology (AREA)
- Databases & Information Systems (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- Ophthalmology & Optometry (AREA)
- Veterinary Medicine (AREA)
- Computational Linguistics (AREA)
- Public Health (AREA)
- Animal Behavior & Ethology (AREA)
- Surgery (AREA)
- Heart & Thoracic Surgery (AREA)
- Quality & Reliability (AREA)
- Mathematical Physics (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于深度学习目标检测的早产儿视网膜病变检测系统，其特征在于，包括：图像获取模块，图像预处理模块，早产儿视网膜病变分析模块以及病例报告输出模块，其中：图像获取模块用于采集多张早产儿视网膜眼底图像；图像预处理模块用于对早产儿视网膜眼底图像进行预处理；早产儿视网膜病变分析模块用于对早产儿视网膜病变的识别和分类以及病变的特征和位置关系，实现对早产儿视网膜眼底图像中Ⅰ/Ⅱ/Ⅲ三区15期以及P l us病变的检测；病例报告输出模块用于根据早产儿视网膜病变分析模块的视网膜病变分析结果形成辅助诊断结果，通过医生确认、修改和/或输入医嘱，形成诊断报告。还公开了对应的方法、电子设备以及计算机可读存储介质。
Description
技术领域
本发明属于计算机、人工智能及图像处理技术领域，尤其涉及一种基于深度学习目标检测的早产儿视网膜病变检测系统及检测方法。
背景技术
早产儿视网膜病(Retinopathy of Prematurity，ROP)发病率逐步升高，是导致儿童失明和视力障碍的最重要的原因之一。及时筛查病变区域，早期识别并干预是预防ROP失明的重要措施。我国各级卫生行政部门历来重视早产儿ROP筛查，卫生部在2004年公布了《早产儿治疗用氧和视网膜病变防治指南》，有些地区在此基础上还出台了自己的ROP筛查方案，例如广州市的穗卫2021[20]号文件《广州市加强新生儿疾病筛查服务体系建设实施方案》中明文规定，广州辖区内出生所有的早产儿需免费开展眼底筛查与复查工作。
人工智能(Artificial Intelligence，AI)近年来已开始用于医疗领域，有望解决医疗资源匮乏及不均的问题，但当前AI在ROP的眼底筛查应用中仍存在部分不足：如不能识别ROP的分区、分期，无法判断ROP术后眼底恢复；且AI诊断方法的数据来源单一，自优化和普适性不足，误诊率和漏诊率高，临床适用性较差，无法广泛推广。并且世界范围内ROP筛查资源不均衡现象普遍存在，导致基层或者偏远地区早产儿未能得到及时有效的眼底筛查，病情加重乃至失明的情况时有发生。因ROP筛查能力不足未开展ROP筛查而导致转诊ROP患儿病变较重，手术干预率高的情况高发，严重威胁早产儿的视力健康。因此，如何有效提升ROP病变的检测能力，减少早产儿视力残障是当前亟需解决的焦点和难点问题。
发明内容
本发明的目的是提供一种基于深度学习目标检测的早产儿视网膜病变检测系统及检测方法，实现对早产儿视网膜病Ⅰ/Ⅱ/Ⅲ三区15期以及Plus病变的检测。
本发明一方面提供了一种基于深度学习目标检测的早产儿视网膜病变检测系统，包括：图像获取模块，图像预处理模块，早产儿视网膜病变分析模块以及病例报告输出模块，其中：
所述图像获取模块用于采集多张早产儿视网膜眼底图像；
所述图像预处理模块用于对所述早产儿视网膜眼底图像进行预处理；
所述早产儿视网膜病变分析模块用于对所述早产儿视网膜病变的识别和分类以及病变的特征和位置关系，实现对早产儿视网膜眼底图像中Ⅰ/Ⅱ/Ⅲ三区15期以及Plus病变的检测；
所述病例报告输出模块用于根据所述早产儿视网膜病变分析模块的视网膜病变分析结果形成辅助诊断结果，通过医生确认、修改和/或输入医嘱，形成诊断报告；
所述早产儿视网膜病变分析模块包括病变分类模块以及深度学习信息分析模块，其中所述病变分类模块基于LabelImg开源算法库，对预处理后的眼底图像进行人工标注，得到病变区域的分类情况与病变区域的坐标信息；所述深度学习信息分析模块用于通过建立深度学习目标检测模型检测早产儿视网膜眼底图像中Ⅰ/Ⅱ/Ⅲ三区15期以及Plus病变。
优选的，所述图像获取模块采用RetCam采集所述早产儿视网膜眼底图像。
优选的，所述预处理通过OpenCV算法库实施，包括：去除所述早产儿视网膜眼底图像的敏感信息。
本发明的第二方面提供了一种基于深度学习目标检测的早产儿视网膜病变检测方法，包括：
S1,基于所述图像获取模块采集多张早产儿视网膜眼底图像；
S2，基于所述图像预处理模块对所述早产儿视网膜眼底图像进行预处理；
S3，基于所述早产儿视网膜病变分析模块对所述早产儿视网膜病变的识别和分类以及病变的特征和位置关系，实现对早产儿视网膜眼底图像中Ⅰ/Ⅱ/Ⅲ三区15期以及Plus病变的检测；
S4，基于所述病例报告输出模块，根据所述早产儿视网膜病变分析模块的视网膜病变分析结果形成辅助诊断结果，通过医生确认、修改和/或输入医嘱，形成诊断报告。
优选的，所述S3包括：
S31，基于LabelImg开源算法库，对预处理后的眼底图像进行人工标注，得到病变区域的分类情况与病变区域的坐标信息；
S32，通过建立深度学习目标检测模型检测早产儿视网膜眼底图像中Ⅰ/Ⅱ/Ⅲ三区15期以及Plus病变。
优选的，所述S32包括：
S321，对经过预处理获得所述早产儿视网膜眼底图像进行离线扩增获得扩增数据集，所述离线扩增操作包括：随机反转所有像素、随机上下/左右翻转、随机高斯模糊、随机平移、随机旋转、随机对比度增强以及应用mixup数据增强算法；其中所述mixup数据增强算法是一种对图像进行混类增强的算法，将不同类别的图像进行混合以达到数据扩增的效果；
S322，基于所述离线扩增数据集搭建Yolov5目标检测网络；其中网络主体采用Yolov5卷积神经网络，在Yolov5的FPN层添加CBAM注意力机制模块，包括有通道注意力模块和空间注意力模块，以此完成整个目标检测网络的搭建；
S323，基于COCO数据集进行迁移学习与训练，将数据集划分为训练集、验证集和测试集三部分，对所述训练集和所述验证集进行数据扩增，基于扩增后的训练集和验证集进行所述Yolov5目标检测网络的网络训练；
S324，基于所述测试集测试网络性能，并保存所述网络结构作为所述病变检测结果。
优选的，所述Yolov5卷积神经网络包括三层，分别是Backbone网络，FPN网络以及Yolo Head层；所述Backbone网络为所述Yolov5卷积神经网络的主干网络部分，采用CSPDarknet网络，包括：
(1)Focus网络：在早产儿视网膜眼底图像中每隔一个像素获取一个数值分别存入独立特征层，将获取的四个独立特征层进行堆叠，此时宽高信息就集中到了通道信息，输入通道扩充了四倍；
(2)残差网络Residual，其中残差网络Residual包括残差卷积，残差卷积包括两个部分，分别是主干部分和残差部分，主干部分是一次1x1的卷积和一次3x3的卷积；残差部分不做任何处理，直接将主干部分的输入与输出结合。整个Yolov5卷积神经网络的主干部分都由残差卷积构成。
(3)CSP网络：将残差块的堆叠进行拆分，使得主干部分继续进行原来的残差块堆叠；另一部分则像一个残差边一样，经过少量处理直接连接到最后；
(4)SiLU激活函数，SiLU是Sigmoid激活函数和ReLU激活函数的改进版；SiLU具备无上界、有下界、平滑、非单调的特性；公式如下：
f(x)＝x·sigmoid(x)；
(5)SPP网络：采用不同大小的池化核，利用最大池化操作进行特征提取。
优选的，所述步骤S323包括：
所述FPN网络用于获得三个加强特征层，采集来自CSPDarknet网络提取的三个特征层，分别位于CSPDarknet网络的中间层、中下层和底层，之后采用CBAM注意力模块，将三个特征层输出的结果，先通过一个通道注意力模块，得到加权结果之后，再经过一个空间注意力模块，进行加权得到最终的结果。
所述FPN模块加入CBAM注意力模块后，利用1x1卷积调整通道数、上采样、3x3卷积下采样以及堆叠concat等操作完成整个FPN层的构建，实现了不同shape层的特征融合，提取出三个加强特征层；
利用FPN特征金字塔获得三个加强特征层，输入到Yolo Head获得预测结果，对于每一个特征层，利用卷积调整通道数；
利用FPN网络得到的三个加强特征层后输入到Yolo Head获得的预测结果进行解码操作，调整参数，获取最终预测点以及预测框宽高；再将最后的结果进行得分排序，即筛选出得分满足confidence置信度的预测框，以及进行非极大抑制筛选，筛选出一定区域内属于同一种类得分最大的框以得到最终的预测框，完成整个Yolov5预测过程。
本发明的第三方面提供一种电子设备，包括处理器和存储器，所述存储器存储有多条指令，所述处理器用于读取所述指令并执行如第一方面所述的方法。
本发明的第四方面提供一种计算机可读存储介质，所述计算机可读存储介质存储有多条指令，所述多条指令可被处理器读取并执行如第一方面所述的方法。
本发明提供的方法、装置、电子设备以及计算机可读存储介质，具有如下有益的技术效果：
本发明的基于深度学习目标检测的早产儿视网膜病变检测系统和检测方法，构建能够对眼底图像病区域进行分类与定位的模型，提高早产儿视网膜病分区分期以及Plus病变识别的精度和效率，为后续的更多病变区域的自动检测奠定良好的基础。
附图说明
图1为根据本发明优选实施例示出的基于深度学习目标检测技术的早产儿视网膜病变检测方法的处理流程示意图；
图2为根据本发明优选实施例示出的添加CBAM注意力机制模块的Yolov5目标检测网络结构示意图；
图3(a)和(b)为根据本发明优选实施例示出的CBAM注意力机制模块结构示意图，其中图3(a)为通道注意力机制模块结构示意图，图3(b)为空间注意力机制模块结构示意图；
图4为根据本发明优选实施例示出的Yolov5中Focus模块结构示意图；
图5为根据本发明优选实施例示出的部分ROP眼底图像人工标注示意图；
图6为本发明提供的电子设备一种实施例的结构示意图。
具体实施方式
下面结合附图和实施例，对本发明的具体实施方式作进一步详细描述。以下实施例用于说明本发明，但不用来限制本发明的范围。
实施例一
一种基于深度学习目标检测的早产儿视网膜病变检测系统及检测方法，实现对早产儿视网膜病Ⅰ/Ⅱ/Ⅲ三区15期以及Plus病变的检测。
本发明一方面提供了一种基于深度学习目标检测的早产儿视网膜病变检测系统，包括：图像获取模块，图像预处理模块，早产儿视网膜病变分析模块以及病例报告输出模块，其中：
所述图像获取模块用于采集多张早产儿视网膜眼底图像；
所述图像预处理模块用于对所述早产儿视网膜眼底图像进行预处理；
所述早产儿视网膜病变分析模块用于对所述早产儿视网膜病变的识别和分类以及病变的特征和位置关系，实现对早产儿视网膜眼底图像中Ⅰ/Ⅱ/Ⅲ三区15期以及Plus病变的检测；
所述病例报告输出模块用于根据所述早产儿视网膜病变分析模块的视网膜病变分析结果形成辅助诊断结果，通过医生确认、修改和/或输入医嘱，形成诊断报告；
所述早产儿视网膜病变分析模块包括病变分类模块以及深度学习信息分析模块，其中所述病变分类模块基于Label Img开源算法库，对预处理后的眼底图像进行人工标注，得到病变区域的分类情况与病变区域的坐标信息；所述深度学习信息分析模块用于通过建立深度学习目标检测模型检测早产儿视网膜眼底图像中Ⅰ/Ⅱ/Ⅲ三区15期以及Plus病变。
作为优选的实施方式，所述图像获取模块采用RetCam采集所述早产儿视网膜眼底图像。
作为优选的实施方式，所述预处理通过OpenCV算法库实施，包括：去除所述早产儿视网膜眼底图像的敏感信息。
实施例二
如图1所示，提供了一种基于深度学习目标检测的早产儿视网膜病变检测方法，包括：
S1,基于所述图像获取模块采集多张早产儿视网膜眼底图像；
S2，基于所述图像预处理模块对所述早产儿视网膜眼底图像进行预处理；
S3，基于所述早产儿视网膜病变分析模块对所述早产儿视网膜病变的识别和分类以及病变的特征和位置关系，实现对早产儿视网膜眼底图像中Ⅰ/Ⅱ/Ⅲ三区15期以及Plus病变的检测；
S4，基于所述病例报告输出模块，根据所述早产儿视网膜病变分析模块的视网膜病变分析结果形成辅助诊断结果，通过医生确认、修改和/或输入医嘱，形成诊断报告；
其中所述S3包括：
S31，基于Label Img开源算法库，对预处理后的眼底图像进行人工标注，得到病变区域的分类情况与病变区域的坐标信息；
S32，通过建立深度学习目标检测模型检测早产儿视网膜眼底图像中Ⅰ/Ⅱ/Ⅲ三区15期以及Plus病变。
作为优选的实施方式，所述S32包括：
S321，对经过预处理获得所述早产儿视网膜眼底图像进行离线扩增获得扩增数据集；
本实施例中，离线扩增操作包括：随机反转所有像素、随机上下/左右翻转、随机高斯模糊、随机平移、随机旋转、随机对比度增强以及应用mixup数据增强算法；其中所述mixup数据增强算法是一种对图像进行混类增强的算法，可以将不同类别的图像进行混合以达到数据扩增的效果。
本实施例中，数据离线增强中所述的mixup数据增强算法主要原理是对不同类别的样本进行图像以及标签的随机混合，以得到新的训练样本。具体如下：假设batchx1是一个batch样本，batchy1是该batch样本对应的标签；batchx2是另一个batch样本，batchy2是该batch样本对应的标签，λ是由参数α，β的贝塔分布计算出来的混合系数，由此我们可以得到mixup算法原理公式为：
λ＝Beta(α，β)
mbatchx＝λ·batchx1+(1-λ)·batchx2
mbatchy＝λ·batchy1+(1-λ)·batchy2
其中Beta指的是贝塔分布，mbatchx是混合后的batch样本，mbatchy是混合后的batch样本对应的标签。
本实施例将ROP患病眼底图像与正常眼底图像进行混合，达到了大规模扩增数据集的效果，扩增数据集中包含训练集和验证集，以增强网络的泛化性能，防止过拟合。
S322，基于所述离线扩增数据集搭建Yolov5目标检测网络；
本实施例中，如图2所示，网络主体采用Yolov5卷积神经网络，在Yolov5的FPN层添加CBAM注意力机制模块，包括有通道注意力模块和空间注意力模块，以此完成整个目标检测网络的搭建。
作为优选的实施方式，所述Yolov5卷积神经网络包括三层，分别是Backbone网络，FPN网络以及YoloHead层。
作为优选的实施方式，所述Backbone网络为所述Yolov5卷积神经网络的主干网络部分，采用CSPDarknet网络，包括：
(1)Focus网络：在早产儿视网膜眼底图像中每隔一个像素获取一个数值分别存入独立特征层，将获取的四个独立特征层进行堆叠，此时宽高信息就集中到了通道信息，输入通道扩充了四倍；
(2)残差网络Residual，其中残差网络Residual包括残差卷积，残差卷积包括两个部分，分别是主干部分和残差部分，主干部分是一次1x1的卷积和一次3x3的卷积；残差部分不做任何处理，直接将主干部分的输入与输出结合。整个Yolov5卷积神经网络的主干部分都由残差卷积构成。
(3)CSP网络：将残差块的堆叠进行拆分，使得主干部分继续进行原来的残差块堆叠；另一部分则像一个残差边一样，经过少量处理直接连接到最后；
(4)SiLU激活函数，SiLU是Sigmoid激活函数和ReLU激活函数的改进版；SiLU具备无上界、有下界、平滑、非单调的特性。SiLU在深层模型上的效果优于ReLU，可以看做是平滑的ReLU激活函数。具体公式如下：
f(x)＝x·sigmoid(x)
(5)SPP网络：采用不同大小的池化核，利用最大池化操作(MaxPool)进行特征提取，提高网络的感受野。
S323，基于COCO数据集进行迁移学习与训练，将数据集划分为训练集、验证集和测试集三部分，对所述训练集和所述验证集进行数据扩增，基于扩增后的训练集和验证集进行所述Yolov5目标检测网络的网络训练；
作为优选的实施方式，所述S323包括：
(1)基于Mosaic数据增强方法在所述Yolov5卷积神经网络的输入端将四张图片进行随机裁剪操作；将随机裁剪操作后得到的图片拼接到一张图上作为训练数据，通过以上方法获得多个训练数据后组成训练集，大幅度提高了网络的训练速度；在所述Yolov5卷积神经网络的初始部分嵌入自适应锚框计算功能，为ROP眼底图像自定义数据集设定合适的锚框初始长宽；使用自适应方法对眼底图像进行缩放，使原始的眼底图像在缩放过程中自适应地添加最少的黑边，减少推理时的计算量，并且大幅度提高了目标检测的速度；
(2)所述Yolov5主干网络Backbone部分采用CSPDarknet网络；其中新定义了Focus网络结构，如图4所示，对图片进行切片操作，在图片进入Backbone之前，对图片每隔一个像素获取数值，堆叠获取到的四个独立特征层，此时宽高信息就集中到了通道信息，使得输入通道扩充了四倍，即拼接起来的图片相对于原先的RGB三通道模式变成了12个通道，最后将得到的新图片再经过3x3卷积操作，得到了没有信息丢失情况下的二倍下采样特征图；
所述CSPDarknet网络使用了残差网络Residual，其中残差卷积包括两个部分，分别是主干部分和残差部分，主干部分是一次1x1的卷积和一次3x3的卷积；残差边部分不做任何处理，直接将主干的输入与输出结合。整个Yolov5的主干部分都由残差卷积构成，同时采用了CSP网络结构，将残差块的堆叠进行了拆分，使得主干部分继续进行原来的残差块的堆叠；另一部分则像一个残差边一样，经过少量处理直接连接到最后。此外，还采用了SPP网络结构，根据不同大小的池化核，利用最大池化进行特征提取，提高网络的感受野。
作为优选，所述CSPDarknet网络使用了SiLU激活函数，SiLU是Sigmoid激活函数和ReLU激活函数的改进版。SiLU具备无上界有下界、平滑、非单调的特性。SiLU在深层模型上的效果优于ReLU。可以看做是平滑的ReLU激活函数。
具体公式如下：
f(x)＝x·sigmoid(x)；
(3)FPN网络用于获得三个加强特征层，采集来自CSPDarknet网络提取的三个特征层，分别位于CSPDarknet网络的中间层、中下层和底层，之后采用CBAM注意力模块，将三个特征层输出的结果，先通过一个通道注意力模块，得到加权结果之后，再经过一个空间注意力模块，进行加权得到最终的结果。
本实施例中，所述FPN网络采集来自CSPDarknet网络提取的三个特征层，分别位于网络的中间层、中下层和底层，再采用CBAM注意力模块，将三个特征层输出的结果，先通过一个通道注意力模块，得到加权结果之后，输入到空间注意力模块，进行加权得到最终的结果。其中通道注意力机制，将输入特征F(H×W×C)分别经过基于高宽的全局最大池化(MaxPool)和全局平均池化(AvgPool)操作，得到两个1×1×C的特征图，接着，再将它们分别送入全连接层(MLP)，第一层神经元个数为C/r(r为减少率)，激活函数为ReLU，第二层神经元个数为C，全连接层网络结构是共享的。而后，将MLP输出的特征经过加和操作后，再经过Sigmoid激活函数，生成最终的通道注意力机制特征Mc(F)。通道注意力机制具体计算如下：
所述CBAM注意力模块，如图3所示，在经过通道注意力模块加权后得到空间注意力模块Mc(F)后，与输入特征F作乘法操作，得到空间注意力模块所需要的输入特征F′，首先将输入特征作基于通道的全局平均池化(AvgPool)和全局最大池化(MaxPool)操作，得到两个H×W×1的特征图，然后将这2个特征图基于通道做concat拼接操作。随之经过一个7×7卷积操作，降维为1个通道，即H×W×1。再经过sigmoid激活函数，生成空间注意力机制特征Ms(F′)。最后将该特征和该模块的输入特征F做乘法，得到最终生成的特征。空间注意力机制具体计算如下：
(4)所述FPN模块加入CBAM注意力模块后，利用1x1卷积调整通道数、上采样、3x3卷积下采样以及堆叠concat等操作完成整个FPN层的构建，实现了不同shape层的特征融合，提取出三个加强特征层。
(5)利用FPN特征金字塔获得三个加强特征层，输入到YoloHead获得预测结果，对于每一个特征层，利用卷积调整通道数，本发明总共采用16种类别，包括有3区共15期眼底图像以及Plus类别；
(6)利用FPN网络得到的三个加强特征层后输入到YoloHead获得的预测结果进行解码操作，调整相关参数，获取最终预测点以及预测框宽高；再将最后的结果进行得分排序，即筛选出得分满足confidence置信度的预测框，以及进行非极大抑制筛选，筛选出一定区域内属于同一种类得分最大的框以得到最终的预测框，完成整个Yolov5预测过程。
S324，基于所述训练集训练网络性能，并保存所述网络结构作为所述病变检测结果。
基于上述的基于深度学习目标检测技术的早产儿视网膜病变检测方法，本实施例设计实验具体内容如下：
(1)数据库
如图5所示，本实施例使用共633张眼底图像作为数据集，其中包括500张患病图像与133张正常眼底图像；而在病变图像中，选择253张按照9:1随机划分为训练集和验证集，另外247张作为测试集；之后利用数据增强方法对训练集和验证集进行数据扩增，得到扩增后的训练集4145张，验证集462张；利用五倍交叉验证评估本发明的表现。
(2)数据扩增
为了防止模型的过拟合并增强模型的泛化能力，在训练过程中对数据进行离线扩增以增加数据的多样性，数据扩增的方法包括随机反转所有像素、随机上下/左右翻转、随机高斯模糊、随机平移、随机旋转、随机对比度增强以及mixup数据增强算法的应用。
(3)实施
基于Pytorch的集成环境和12GB显存空间的NVIDIA 3060完成模型的训练和测试。整个网络模型训练300个epoch，初始学习率设定为0.005，每训练一个epoch，学习率就衰减一次，衰减率设置为0.986，最终学习率固定至0.0001。同时，训练过程中采用GIOU损失训练网络，包括有分类损失、定位损失以及置信度损失。
(4)评估指标
为了定量评估本发明的性能，本实施例采用常见的四个评估指标，分别是准确率(Accuracy)、精确率(Precision)、召回率(Recall)以及F1分数，具体定义如下：
其中TP、FP、TN和FN分别代表真阳性、假阳性、真阴性和假阴性。
本实施例利用深度学习中的目标检测技术，并加入了CBAM注意力机制，更优地获取了特征的全局和局部信息，并在训练过程中不断调整模型的参数，同时相较于已有的传统技术，本发明实施例的性能可以随着训练数据也就是眼底图像数量的增加而上升，这极大地提高了本发明的实际可行性。
本发明还提供了一种存储器，存储有多条指令，所述指令用于实现如实施例二所述的方法。
如图6所示，本发明还提供了一种电子设备，包括处理器301和与所述处理器301连接的存储器302，所述存储器302存储有多条指令，所述指令可被所述处理器加载并执行，以使所述处理器能够执行如实施例二所述的方法。
尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。
Claims (7)
1.一种基于深度学习目标检测的早产儿视网膜病变检测方法，其特征在于，包括：
S1,采集多张早产儿视网膜眼底图像；
S2，对所述早产儿视网膜眼底图像进行预处理；
S3，对所述早产儿视网膜病变的识别和分类以及病变的特征和位置关系，实现对早产儿视网膜眼底图像中Ⅰ/Ⅱ/Ⅲ三区15期以及Plus病变的检测；
S4，根据视网膜病变分析结果形成辅助诊断结果，通过医生确认、修改和/或输入医嘱，形成诊断报告；
所述S3包括：
S31，基于LabelImg开源算法库，对预处理后的眼底图像进行人工标注，得到病变区域的分类情况与病变区域的坐标信息；
S32，通过建立深度学习目标检测模型检测早产儿视网膜眼底图像中Ⅰ/Ⅱ/Ⅲ三区15期以及Plus病变；
所述S32包括：
S321，对经过预处理获得所述早产儿视网膜眼底图像进行离线扩增获得扩增数据集，所述离线扩增的操作包括：随机反转所有像素、随机上下/左右翻转、随机高斯模糊、随机平移、随机旋转、随机对比度增强以及应用mixup数据增强算法；其中所述mixup数据增强算法是一种对图像进行混类增强的算法，将不同类别的图像进行混合以达到数据扩增的效果；
S322，基于离线扩增数据集搭建Yolov5目标检测网络；其中网络主体采用Yolov5卷积神经网络，在Yolov5的FPN层添加CBAM注意力机制模块，包括有通道注意力模块和空间注意力模块，以此完成整个目标检测网络的搭建；
S323，基于COCO数据集进行迁移学习与训练，将数据集划分为训练集、验证集和测试集三部分，对所述训练集和所述验证集进行数据扩增，基于扩增后的训练集和验证集进行所述Yolov5目标检测网络的网络训练；
S324，基于所述测试集测试网络性能，并保存所述Yolov5目标检测网络的网络结构作为所述病变检测结果；
所述Yolov5卷积神经网络包括三层，分别是Backbone网络，FPN网络以及Yolo Head层；所述Backbone网络为所述Yolov5卷积神经网络的主干网络部分，采用CSPDarknet网络，包括：
（1）Focus网络：在早产儿视网膜眼底图像中每隔一个像素获取一个数值分别存入独立特征层，将获取的四个独立特征层进行堆叠，此时宽高信息就集中到了通道信息，输入通道扩充了四倍；
（2）残差网络Residual，其中残差网络Residual包括残差卷积，残差卷积包括两个部分，分别是主干部分和残差部分，主干部分是一次1x1的卷积和一次3x3的卷积；残差部分不做任何处理，直接将主干部分的输入与输出结合；整个Yolov5卷积神经网络的主干部分都由残差卷积构成；
（3）CSP网络：将残差块的堆叠进行拆分，使得主干部分继续进行原来的残差块堆叠；另一部分则像一个残差边一样，经过少量处理直接连接到最后；
（4）SiLU激活函数，SiLU是Sigmoid激活函数和ReLU激活函数的改进版；SiLU具备无上界、有下界、平滑、非单调的特性；公式如下：
；
（5）SPP网络：采用不同大小的池化核，利用最大池化操作进行特征提取。
2.根据权利要求1所述一种基于深度学习目标检测的早产儿视网膜病变检测方法，其特征在于，步骤S323包括：
所述FPN网络用于获得三个加强特征层，采集来自CSPDarknet网络提取的三个特征层，分别位于CSPDarknet网络的中间层、中下层和底层，之后采用CBAM注意力模块，将三个特征层输出的结果，先通过一个通道注意力模块，得到加权结果之后，再经过一个空间注意力模块，进行加权得到最终的结果；
所述FPN网络加入CBAM注意力模块后，利用1x1卷积调整通道数、上采样、3x3卷积下采样以及堆叠concat操作完成整个FPN层的构建，实现了不同shape层的特征融合，提取出三个加强特征层；
利用FPN特征金字塔获得三个加强特征层，输入到Yolo Head获得预测结果，对于每一个特征层，利用卷积调整通道数；
利用FPN网络得到的三个加强特征层后输入到Yolo Head获得的预测结果进行解码操作，调整参数，获取最终预测点以及预测框宽高；再将最后的结果进行得分排序，即筛选出得分满足confidence置信度的预测框，以及进行非极大抑制筛选，筛选出一定区域内属于同一种类得分最大的框以得到最终的预测框，完成整个Yolov5预测过程。
3.一种基于深度学习目标检测的早产儿视网膜病变检测系统，用于实施权利要求1-2任一所述的方法，其特征在于，包括：图像获取模块，图像预处理模块，早产儿视网膜病变分析模块以及病例报告输出模块，其中：
所述图像获取模块用于采集多张早产儿视网膜眼底图像；
所述图像预处理模块用于对所述早产儿视网膜眼底图像进行预处理；
所述早产儿视网膜病变分析模块用于对所述早产儿视网膜病变的识别和分类以及病变的特征和位置关系，实现对早产儿视网膜眼底图像中Ⅰ/Ⅱ/Ⅲ三区15期以及Plus病变的检测；
所述病例报告输出模块用于根据所述早产儿视网膜病变分析模块的视网膜病变分析结果形成辅助诊断结果，通过医生确认、修改和/或输入医嘱，形成诊断报告；
所述早产儿视网膜病变分析模块包括病变分类模块以及深度学习信息分析模块，其中所述病变分类模块基于LabelImg开源算法库，对预处理后的眼底图像进行人工标注，得到病变区域的分类情况与病变区域的坐标信息；所述深度学习信息分析模块用于通过建立深度学习目标检测模型检测早产儿视网膜眼底图像中Ⅰ/Ⅱ/Ⅲ三区15期以及Plus病变。
4.根据权利要求3所述的一种基于深度学习目标检测的早产儿视网膜病变检测系统，其特征在于，所述图像获取模块采用RetCam采集所述早产儿视网膜眼底图像。
5.根据权利要求3所述的一种基于深度学习目标检测的早产儿视网膜病变检测系统，其特征在于，所述预处理通过OpenCV算法库实施，包括：去除所述早产儿视网膜眼底图像的敏感信息。
6.一种电子设备，其特征在于，包括处理器和存储器，所述存储器存储有多条指令，所述处理器用于读取所述指令并执行如权利要求1-2任一所述的方法。
7.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有多条指令，所述多条指令可被处理器读取并执行如权利要求1-2任一所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210464864.3A CN114998210B (zh) | 2022-04-29 | 2022-04-29 | 一种基于深度学习目标检测的早产儿视网膜病变检测系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210464864.3A CN114998210B (zh) | 2022-04-29 | 2022-04-29 | 一种基于深度学习目标检测的早产儿视网膜病变检测系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114998210A CN114998210A (zh) | 2022-09-02 |
| CN114998210B true CN114998210B (zh) | 2024-05-07 |
Family
ID=83025996
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210464864.3A Active CN114998210B (zh) | 2022-04-29 | 2022-04-29 | 一种基于深度学习目标检测的早产儿视网膜病变检测系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114998210B (zh) |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115620076B (zh) * | 2022-09-08 | 2023-12-15 | 东南大学 | 一种智能变电站二次装置面板识别方法、设备及存储介质 |
| CN115471871A (zh) * | 2022-09-22 | 2022-12-13 | 四川农业大学 | 一种基于目标检测和分类网络的麻鸭性别分类识别方法 |
| CN115619747B (zh) * | 2022-10-26 | 2023-09-19 | 中山大学中山眼科中心 | 幼儿眼底视网膜全景影像图谱生成和随访数据对齐方法 |
| CN116485736A (zh) * | 2023-04-04 | 2023-07-25 | 深圳市眼科医院(深圳市眼病防治研究所) | 基于深度学习的眼底视网膜图像异常区域检测方法及系统 |
| CN116563647B (zh) * | 2023-07-05 | 2023-09-12 | 深圳市眼科医院(深圳市眼病防治研究所) | 年龄相关性黄斑病变图像分类方法及装置 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111259982A (zh) * | 2020-02-13 | 2020-06-09 | 苏州大学 | 一种基于注意力机制的早产儿视网膜图像分类方法和装置 |
| WO2021244079A1 (zh) * | 2020-06-02 | 2021-12-09 | 苏州科技大学 | 智能家居环境中图像目标检测方法 |
-
2022
- 2022-04-29 CN CN202210464864.3A patent/CN114998210B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111259982A (zh) * | 2020-02-13 | 2020-06-09 | 苏州大学 | 一种基于注意力机制的早产儿视网膜图像分类方法和装置 |
| WO2021244079A1 (zh) * | 2020-06-02 | 2021-12-09 | 苏州科技大学 | 智能家居环境中图像目标检测方法 |
Non-Patent Citations (1)
| Title |
|---|
| 基于深度学习的糖尿病眼底病变检测研究;侯高峰等;《激光与光电子学进展》;20211216;第1页至第7页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114998210A (zh) | 2022-09-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN114998210B (zh) | 一种基于深度学习目标检测的早产儿视网膜病变检测系统 | |
| CN111259982B (zh) | 一种基于注意力机制的早产儿视网膜图像分类方法和装置 | |
| US20210406591A1 (en) | Medical image processing method and apparatus, and medical image recognition method and apparatus | |
| Li et al. | Accurate retinal vessel segmentation in color fundus images via fully attention-based networks | |
| Siddhartha et al. | COVIDLite: A depth-wise separable deep neural network with white balance and CLAHE for detection of COVID-19 | |
| Lin et al. | Automatic retinal vessel segmentation via deeply supervised and smoothly regularized network | |
| Cao et al. | Gastric cancer diagnosis with mask R-CNN | |
| CN114287878A (zh) | 一种基于注意力模型的糖尿病性视网膜病变病灶图像识别方法 | |
| CN116309648A (zh) | 一种基于多注意力融合的医学图像分割模型构建方法 | |
| CN113610118B (zh) | 一种基于多任务课程式学习的青光眼诊断方法、装置、设备及方法 | |
| CN113012163A (zh) | 一种基于多尺度注意力网络的视网膜血管分割方法、设备及存储介质 | |
| CN114140651A (zh) | 胃部病灶识别模型训练方法、胃部病灶识别方法 | |
| CN114511502A (zh) | 一种基于人工智能的胃肠道内窥镜图像息肉检测系统、终端及存储介质 | |
| Nagamani et al. | Tomato leaf disease detection using deep learning techniques | |
| Aurangzeb et al. | An efficient and light weight deep learning model for accurate retinal vessels segmentation | |
| CN117690128B (zh) | 胚胎细胞多核目标检测系统、方法和计算机可读存储介质 | |
| Gulati et al. | Comparative analysis of deep learning approaches for the diagnosis of diabetic retinopathy | |
| CN116703837B (zh) | 一种基于mri图像的肩袖损伤智能识别方法及装置 | |
| Tu | An integrated framework for image segmentation and perceptual grouping | |
| CN116092667A (zh) | 基于多模态影像的疾病检测方法、系统、装置及存储介质 | |
| CN116385717A (zh) | 叶面病害识别方法、装置、电子设备、存储介质及产品 | |
| CN116012639A (zh) | 一种基于元学习的早产儿视网膜眼底图像定量化指标及分期方法 | |
| Singh et al. | A Deep Learning Approach to Analyze Diabetic Retinopathy Lesions using Scant Data | |
| CN114140830A (zh) | 一种基于循环肿瘤细胞图像的重复识别抑制方法 | |
| Xu et al. | A Tuberculosis Detection Method Using Attention and Sparse R-CNN. |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |