CN113516678B - 一种基于多任务的眼底图像检测方法 - Google Patents
一种基于多任务的眼底图像检测方法 Download PDFInfo
- Publication number
- CN113516678B CN113516678B CN202110348257.6A CN202110348257A CN113516678B CN 113516678 B CN113516678 B CN 113516678B CN 202110348257 A CN202110348257 A CN 202110348257A CN 113516678 B CN113516678 B CN 113516678B
- Authority
- CN
- China
- Prior art keywords
- fundus
- data
- network
- image
- images
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 11
- 238000012549 training Methods 0.000 claims abstract description 21
- 238000012360 testing method Methods 0.000 claims abstract description 16
- 238000000034 method Methods 0.000 claims abstract description 11
- 230000007246 mechanism Effects 0.000 claims abstract description 10
- 201000010099 disease Diseases 0.000 claims abstract description 8
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 claims abstract description 8
- 238000003709 image segmentation Methods 0.000 claims abstract description 7
- 210000004204 blood vessel Anatomy 0.000 claims description 14
- 230000011218 segmentation Effects 0.000 claims description 10
- 210000001525 retina Anatomy 0.000 claims description 9
- 238000005070 sampling Methods 0.000 claims description 8
- 238000010586 diagram Methods 0.000 claims description 5
- 238000011176 pooling Methods 0.000 claims description 4
- 230000008569 process Effects 0.000 claims description 3
- 230000004913 activation Effects 0.000 claims description 2
- 239000000284 extract Substances 0.000 claims description 2
- 230000009191 jumping Effects 0.000 claims description 2
- 238000004364 calculation method Methods 0.000 abstract description 2
- 238000013135 deep learning Methods 0.000 description 4
- 230000000877 morphologic effect Effects 0.000 description 3
- 210000001210 retinal vessel Anatomy 0.000 description 3
- 230000002792 vascular Effects 0.000 description 3
- 230000002207 retinal effect Effects 0.000 description 2
- 206010002329 Aneurysm Diseases 0.000 description 1
- 208000024172 Cardiovascular disease Diseases 0.000 description 1
- 206010012689 Diabetic retinopathy Diseases 0.000 description 1
- 208000032843 Hemorrhage Diseases 0.000 description 1
- 206010020772 Hypertension Diseases 0.000 description 1
- 208000009857 Microaneurysm Diseases 0.000 description 1
- 206010038862 Retinal exudates Diseases 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 210000002565 arteriole Anatomy 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000006735 deficit Effects 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 210000000416 exudates and transudate Anatomy 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 239000013598 vector Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/155—Segmentation; Edge detection involving morphological operators
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30041—Eye; Retina; Ophthalmic
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Artificial Intelligence (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Eye Examination Apparatus (AREA)
Abstract
本发明公开了一种基于多任务的眼底图像检测方法。采用DRIVE眼底公开数据集，将数据集分为训练集和测试集，并对数据进行有疾病和没有疾病的人工标记操作；对训练集和测试集进行数据增强操作；将数据增强后的训练集输入到多任务UNet网络中训练网络参数，得到眼底图像识别模型；通过经过数据增强的测试集进行测试，根据识别结果对模型进行微调。本发明方法更加具有普适性，本发明采用的对图像进行多任务计算并且在下采样添加额外操作对眼底疾病进行二分类任务，此外在跳跃链接中添加通道注意力机制使得网络对于通道信息更加敏感，保证图像分割质量。
Description
技术领域
本发明涉及眼底图像分割以及分类领域，尤其涉及以深度学习算法为基础对眼底图像数据进行分析。
背景技术
眼睛的每个部分都对拥有清晰的视力很重要。然而，视网膜是人类眼睛最基本的部分。视网膜血管网络是非侵入性成像方法可见的人体唯一的血管网络。提取的视网膜血管的显著形态学特征，如长度、直径、分支模式、弯曲度和角度信息，是检测许多可能导致严重疾病或视力损害的健康和光学疾病的基本基础。例如，狭窄且反射明亮的小动脉提示高血压，而分叉角度和弯曲可以帮助检测糖尿病视网膜病变和心血管疾病。将血管从视网膜眼底照片中完全分离出来不是一件容易的事。在视网膜中可能有类似的物体，如渗出物、微动脉瘤、出血、视盘和棉絮斑，这些在结果图像中经常产生假阳性结果。此外，血管交叉、中央光反射、分叉，以及血管地图与周围组织之间的对比变化较少，这使得完全确定细血管很困难。
因此，在给定的眼底图像中，从整个血管网络中识别和区分单个血管的结构至关重要。在视网膜血管分割领域取得了第一个突破为采用匹配过滤的概念。其次，利用血管中心线检测和多尺度形态学重建设计了基于形态学处理的方法。随后，随着机器学习算法的日益普及和效率的提高，通过构造图像特征向量来提取视网膜血管，开发了大量基于模式分类的方法。基于深度学习的方法已经在图像分类、目标检测、目标分割、目标状态检测以及图像重建等许多应用中证明了其有效性。UNet是当前生物医学图像分割领域的热点。U-Net及其修饰变体通常用于不同的医学应用中检测重要结构，其中一些已经被研究人员应用于视网膜血管分割领域。
发明内容
针对现有技术中存在的不足，本发明提供一种基于多任务的眼底图像检测方法。以UNet为基础网络进行眼底分割任务，同时在下采样阶段输出对于眼底图像的检测结果。
为达上述目的，本发明所采用的技术方案为：
一种基于多任务的眼底图像检测方法，其步骤包括：
步骤(1)、采用DRIVE眼底公开数据集，数据集中包括40对眼底图像，每一对包括眼底视网膜血管图和对应的眼底视网膜血管图像分割的结果图。数据集中30对作为分割训练集，10对作为分割测试集，并对数据进行有疾病和没有疾病的人工标记操作；
步骤(2)、对上述训练集和测试集进行数据增强操作；
步骤(3)、将上述数据增强后的训练集输入到多任务UNet网络中训练网络参数，得到眼底图像识别模型；
所述的多任务UNet网络是以UNet为基础进行改进的网络，具体来说，在其跳跃链接层添加通道注意力机制，在下采样的最后一层额外添加另一条支路输出分类结果。
步骤(4)、将步骤(2)中经过数据增强的测试集输入到步骤(3)得到的眼底图像识别模型中进行识别，得到识别结果，并且根据具体的识别结果对步骤(3)中的网络参数进行进一步微调。
步骤(2)所述的数据增强操作为通过Photoshop进行0度，90度，180度，270度，上下翻转，左右翻转操作，将数据集扩增为180对图像，其中训练占60对图像，将图片大小归一化为512*512；
本发明有益效果：
第一，本发明针对的为眼底图像的多任务学习，采用的数据集为公开数据集，因此在算法结果上不同于自己构建的数据集，更加具有普适性。
第二，针对于深度学习来说，大多数采用单一的网络进行研究学习，而对于本发明采用的对图像进行多任务计算并且在下采样添加额外操作对眼底疾病进行二分类任务，此外在跳跃链接中添加通道注意力机制使得网络对于通道信息更加敏感，保证图像分割质量。
附图说明
图1是本发明方法流程图。
图2是本发明实施例多任务UNet网络的整体结构图。
图3是本发明实施例通道注意力机制的内部结构图。
具体实施方式
为使本发明的上述特征和优点能更明显易懂，下文特举实施例，并配合所附图作详细说明如下。
本发明提供一种多任务的眼底图像诊断方法，如图1所示，该方法包括训练阶段和测试阶段；所述训练阶段包括如下步骤：
第一步，获取DRIVE数据集的眼底视网膜血管图和对应的眼底视网膜血管图像分割的结果图，之后对每一对眼底视网膜血管图进行有无疾病的标记，其中本发明获取了40对，训练集与数据集分别为30对和10对；
第二步，对上述训练集与数据集进行数据增强操作，在初期采集完眼底图像信息后，考虑到数据集过小导致网络发生过拟合现象，对数据集进行数据增强操作，具体为通过Photoshop进行0度，90度，180度，270度，上下翻转，左右翻转操作，将数据集扩增为240对图像，其中训练集占180对图像，将图片大小归一化为512*512；
第三步，将经过数据增强的训练集数据输入多任务UNet网络中进行训练。
所述多任务UNet网络以UNet网络为基础，包含下采样，上采样以及跳跃链接三个模块，其中在下采样模块末端额外添加两层全连接层以及softmax操作对输入的眼底图像进行分类操作，跳跃连接中添加通道注意力机制使得多任务UNet网络能够更好的学习眼底分割图像。
如图2所示，多任务UNet网络下采样依次采用卷积，池化操作对眼底图像进行处理，上采样过程采用反卷积操作恢复图像，卷积操作对反卷积得到的图像进行进一步信息提取；
如图3所示，该图为本发明通道注意力机制的内部结构图。所述的通道注意力机制，首先将上采样模块获取的特征图与下采样模块获取的特征图进行通道层次上的叠加获得融合的特征图；将融合的特征图采用主路径和捷径的思想，在主路径上依次经过全局平均池化，全连接层，整流线性单元，全连接层和sigmoid激活函数得到对于通道的权重信息；捷径对于融合的特征图不做任何操作；得到主路径权重信息和捷径上融合的特征图进行相乘得到含有通道权重信息的特征图。
第四步，保存调整后的参数，得到眼底图像识别模型。
请继续参考图2，所述测试阶段包括如下步骤：
第一步，将经过数据增强的测试集数据输入得到的眼底图像识别模型中进行测试，测试上述训练阶段得到的眼底图像识别模型的准确率；
第二步，将经过数据增强的测试集数据输入得到的眼底图像识别模型，得到识别结果，并且根据具体的识别结果对调整后的参数进行进一步微调。
以上实施仅用以说明本发明的技术方案而非对其进行限制，本领域的普通技术人员可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明的精神和范围，本发明的保护范围应以权利要求书所述为准。
Claims (1)
1.一种基于多任务的眼底图像检测方法，其特征在于，其步骤包括：
步骤(1)、采用DRIVE眼底公开数据集，数据集中包括40对眼底图像，每一对包括眼底视网膜血管图和对应的眼底视网膜血管图像分割的结果图；数据集中30对作为分割训练集，10对作为分割测试集，并对数据进行有疾病和没有疾病的人工标记操作；
步骤(2)、对上述训练集和测试集进行数据增强操作；
步骤(3)、将上述数据增强后的训练集输入到多任务UNet网络中训练网络参数，得到眼底图像识别模型；
所述的多任务UNet网络是以UNet为基础进行改进的网络，具体来说，在其跳跃链接层添加通道注意力机制，在下采样的最后一层额外添加另一条支路输出分类结果；
步骤(4)、将步骤(2)中经过数据增强的测试集输入到步骤(3)得到的眼底图像识别模型中进行识别，得到识别结果，并且根据具体的识别结果对步骤(3)中的网络参数进行进一步微调；
步骤(2)所述的数据增强操作为：
通过Photoshop进行0度，90度，180度，270度，上下翻转，左右翻转操作，将数据集扩增为180对图像，其中训练占60对图像，将图片大小归一化为512*512；
步骤(3)具体如下：
将经过数据增强的训练集数据输入多任务UNet网络中进行训练；
所述多任务UNet网络以UNet网络为基础，包含下采样，上采样以及跳跃链接三个模块，其中在下采样模块末端额外添加两层全连接层以及softmax操作对输入的眼底图像进行分类操作，跳跃连接中添加通道注意力机制使得多任务UNet网络能够更好的学习眼底分割图像；
多任务UNet网络下采样依次采用卷积，池化操作对眼底图像进行处理，上采样过程采用反卷积操作恢复图像，卷积操作对反卷积得到的图像进行进一步信息提取；
所述的通道注意力机制，首先将上采样模块获取的特征图与下采样模块获取的特征图进行通道层次上的叠加获得融合的特征图；将融合的特征图采用主路径和捷径的思想，在主路径上依次经过全局平均池化，全连接层，整流线性单元，全连接层和sigmoid激活函数得到对于通道的权重信息；捷径对于融合的特征图不做任何操作；得到主路径权重信息和捷径上融合的特征图进行相乘得到含有通道权重信息的特征图；
保存调整后的参数，得到眼底图像识别模型。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110348257.6A CN113516678B (zh) | 2021-03-31 | 2021-03-31 | 一种基于多任务的眼底图像检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110348257.6A CN113516678B (zh) | 2021-03-31 | 2021-03-31 | 一种基于多任务的眼底图像检测方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113516678A CN113516678A (zh) | 2021-10-19 |
| CN113516678B true CN113516678B (zh) | 2024-04-05 |
Family
ID=78062042
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110348257.6A Active CN113516678B (zh) | 2021-03-31 | 2021-03-31 | 一种基于多任务的眼底图像检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113516678B (zh) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113989215B (zh) * | 2021-10-25 | 2022-12-06 | 北京百度网讯科技有限公司 | 图像处理方法、装置、设备和存储介质 |
| CN114757847A (zh) * | 2022-04-24 | 2022-07-15 | 汕头市超声仪器研究所股份有限公司 | 多信息提取的扩展U-Net及其在低剂量X射线成像的应用方法 |
| CN115587967B (zh) * | 2022-09-06 | 2023-10-10 | 杭州电子科技大学 | 一种基于HA-UNet网络的眼底图像视盘检测方法 |
| CN116433660B (zh) * | 2023-06-12 | 2023-09-15 | 吉林禾熙科技开发有限公司 | 医疗图像数据处理装置、电子设备及计算机可读存储介质 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106408562A (zh) * | 2016-09-22 | 2017-02-15 | 华南理工大学 | 基于深度学习的眼底图像视网膜血管分割方法及系统 |
| CN110197493A (zh) * | 2019-05-24 | 2019-09-03 | 清华大学深圳研究生院 | 眼底图像血管分割方法 |
| CN111938569A (zh) * | 2020-09-17 | 2020-11-17 | 南京航空航天大学 | 基于深度学习的眼底多病种分类的检测方法 |
| CN112308830A (zh) * | 2020-10-27 | 2021-02-02 | 苏州大学 | 一种基于注意力机制和深监督策略的早产儿视网膜病变自动分区识别方法 |
-
2021
- 2021-03-31 CN CN202110348257.6A patent/CN113516678B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106408562A (zh) * | 2016-09-22 | 2017-02-15 | 华南理工大学 | 基于深度学习的眼底图像视网膜血管分割方法及系统 |
| CN110197493A (zh) * | 2019-05-24 | 2019-09-03 | 清华大学深圳研究生院 | 眼底图像血管分割方法 |
| CN111938569A (zh) * | 2020-09-17 | 2020-11-17 | 南京航空航天大学 | 基于深度学习的眼底多病种分类的检测方法 |
| CN112308830A (zh) * | 2020-10-27 | 2021-02-02 | 苏州大学 | 一种基于注意力机制和深监督策略的早产儿视网膜病变自动分区识别方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113516678A (zh) | 2021-10-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113516678B (zh) | 一种基于多任务的眼底图像检测方法 | |
| Tabassum et al. | CDED-Net: Joint segmentation of optic disc and optic cup for glaucoma screening | |
| Veena et al. | A novel optic disc and optic cup segmentation technique to diagnose glaucoma using deep learning convolutional neural network over retinal fundus images | |
| CN108764286B (zh) | 一种基于迁移学习的血管图像中特征点的分类识别方法 | |
| CN111340789A (zh) | 眼底视网膜血管识别及量化方法、装置、设备及存储介质 | |
| CN111046835A (zh) | 一种基于区域特征集合神经网络的眼底照多病种检测系统 | |
| Chetoui et al. | Explainable end-to-end deep learning for diabetic retinopathy detection across multiple datasets | |
| Abramoff et al. | The automatic detection of the optic disc location in retinal images using optic disc location regression | |
| Raj et al. | CNN based diabetic retinopathy status prediction using fundus images | |
| CN113393446B (zh) | 基于注意力机制的卷积神经网络医学图像关键点检测方法 | |
| Ali et al. | A hybrid convolutional neural network model for automatic diabetic retinopathy classification from fundus images | |
| CN113012163A (zh) | 一种基于多尺度注意力网络的视网膜血管分割方法、设备及存储介质 | |
| CN112184647A (zh) | 基于迁移卷积网络对眼底图像进行血管病变分级识别方法 | |
| CN115578783A (zh) | 基于眼部图像进行眼部疾病识别的装置、方法及相关产品 | |
| CN111797900A (zh) | 一种oct-a图像的动静脉分类方法及装置 | |
| Qin et al. | A review of retinal vessel segmentation for fundus image analysis | |
| Phridviraj et al. | A bi-directional Long Short-Term Memory-based Diabetic Retinopathy detection model using retinal fundus images | |
| Liu et al. | Retinal vessel segmentation using densely connected convolution neural network with colorful fundus images | |
| Zhou et al. | Computer aided diagnosis for diabetic retinopathy based on fundus image | |
| CN113576399B (zh) | 一种糖网分析方法、系统以及电子设备 | |
| Samah et al. | Classification of pathological signs for diabetic retinopathy diagnosis using image enhancement technique and convolution neural network | |
| CN115249248A (zh) | 基于眼底图像的视网膜动静脉血管直接识别方法和系统 | |
| Ozgunalp et al. | Semantic segmentation of retinal vessels using SegNet | |
| Taranum et al. | Image Based Edge Weighted Linked Segmentation Model Using Deep Learning for Detection of Diabetic Retinopathy. | |
| Shajihan | Classification of stages of Diabetic Retinopathy using Deep Learning |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |