CN110766643A - 一种面向眼底图像的微动脉瘤检测方法 - Google Patents
一种面向眼底图像的微动脉瘤检测方法 Download PDFInfo
- Publication number
- CN110766643A CN110766643A CN201911030415.2A CN201911030415A CN110766643A CN 110766643 A CN110766643 A CN 110766643A CN 201911030415 A CN201911030415 A CN 201911030415A CN 110766643 A CN110766643 A CN 110766643A
- Authority
- CN
- China
- Prior art keywords
- image
- layer
- candidate
- blood vessel
- feature
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 208000009857 Microaneurysm Diseases 0.000 title claims abstract description 41
- 238000001514 detection method Methods 0.000 title claims abstract description 34
- 238000000034 method Methods 0.000 claims abstract description 44
- 210000004204 blood vessel Anatomy 0.000 claims abstract description 43
- 230000011218 segmentation Effects 0.000 claims abstract description 24
- 230000004927 fusion Effects 0.000 claims abstract description 23
- 238000000605 extraction Methods 0.000 claims abstract description 15
- 238000007781 pre-processing Methods 0.000 claims abstract description 10
- 238000012545 processing Methods 0.000 claims abstract description 7
- 206010002329 Aneurysm Diseases 0.000 claims description 18
- 238000011176 pooling Methods 0.000 claims description 9
- 238000005070 sampling Methods 0.000 claims description 9
- 238000013507 mapping Methods 0.000 claims description 8
- 238000012216 screening Methods 0.000 claims description 8
- 238000012549 training Methods 0.000 claims description 6
- 238000001914 filtration Methods 0.000 claims description 4
- 230000004913 activation Effects 0.000 claims description 3
- 238000002372 labelling Methods 0.000 claims description 3
- 238000005520 cutting process Methods 0.000 claims description 2
- 239000000284 extract Substances 0.000 claims description 2
- 238000007499 fusion processing Methods 0.000 abstract description 3
- 238000005516 engineering process Methods 0.000 abstract description 2
- 230000006870 function Effects 0.000 description 14
- 238000013527 convolutional neural network Methods 0.000 description 10
- 238000005457 optimization Methods 0.000 description 8
- 230000007547 defect Effects 0.000 description 6
- 206010012689 Diabetic retinopathy Diseases 0.000 description 5
- 238000003745 diagnosis Methods 0.000 description 5
- 238000013135 deep learning Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 230000003902 lesion Effects 0.000 description 3
- 206010012601 diabetes mellitus Diseases 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 230000002207 retinal effect Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000002950 deficient Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 208000030533 eye disease Diseases 0.000 description 1
- 238000011049 filling Methods 0.000 description 1
- 230000002401 inhibitory effect Effects 0.000 description 1
- 238000011068 loading method Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 230000000877 morphologic effect Effects 0.000 description 1
- 230000007170 pathology Effects 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 210000001525 retina Anatomy 0.000 description 1
- 238000005728 strengthening Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/40—Image enhancement or restoration using histogram techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/136—Segmentation; Edge detection involving thresholding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30041—Eye; Retina; Ophthalmic
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Computing Systems (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Medical Informatics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Quality & Reliability (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Multimedia (AREA)
- Eye Examination Apparatus (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及医疗图像的处理技术，其现有技术中对微动脉瘤这种微小目标检测的不足，提出一种面向眼底图像的微动脉瘤检测方法，以有效地检测出眼底图像中的微动脉瘤，实现自动化检测的同时更好地辅助医生进行诊断。本发明通过对眼底图像预处理，使小目标特征得到增强，并制作数据集在搭建的基础特征提取网络上进行训练；在进行检测时，从输入图像提取图像基础特征，并利用分割模型进行对输入图像血管分割，得到用于后续处理的特征图及分割图；然后将注意力机制融入特征融合过程中，获得融合卷积特征层；输入融合卷积特征层到候选区域生成网络中，同时考虑目标与血管之间的位置关系，获得候选区域；最后对候选区域进一步分类与回归获得检测结果。
Description
技术领域
本发明涉及医疗图像的处理技术，具体涉及的是一种面向眼底图像的微动脉瘤检测方法。
背景技术
糖尿病性视网膜病变(Diabetic Retinopathy，DR)是糖尿病患者最严重的并发症之一，也是目前全球范围内的主要致盲眼病。微动脉瘤(Microaneurysms，MAs)是DR病变初期最早可检测的微小病灶，在视网膜眼底图像中表现为暗红色的小圆点。传统对于DR病变的筛查主要依靠于眼科专家对视网膜眼底图像的诊断，不仅对于医生的专业技能要求较高，而且诊断过程耗时耗力。随着糖尿病发病率的不断上升，医疗资源越发匮乏。因而，实现微动脉瘤的自动化检测对于DR筛查和辅助医生诊断具有重要意义。
现有技术中，微动脉瘤的自动化检测方法大致可以分为两类：基于传统手工特征的方法和基于深度学习的方法。基于传统手工特征的方法包括基于形态学操作的方法、基于区域生长的方法和基于机器学习的方法等。基于传统手工特征的方法由于依赖于手工构造的特征，从而缺乏有效的图像特征表达方式，不得不设计多元化的检测算法以弥补手工特征表达能力上的缺陷，检测步骤复杂且通用性较差；而基于深度学习的方法通过深度卷积神经网络，能够自主学习到更具有表达能力的特征表示，极大的弥补了传统方法的不足。
基于深度学习的目标检测模型大多是针对通用的目标来进行检测，如经典的单阶段方法YOLO和两阶段方法Faster R-CNN等。YOLO将图像分成S*S个网格，如果目标中心落在某个网格，则该网格就负责预测这个目标。YOLO将检测问题转化为了回归问题，直接通过回归一次性产生目标的坐标和属于每种类别的概率，因而其主要特点在于快，但在检测精度上有所欠缺。Faster R-CNN首先利用卷积神经网络进行图像特征提取，然后将最后一层卷积操作的输出通过某种候选区域生成算法生成可能的目标区域，再进行后续的分类与回归。Faster R-CNN的主要特点在于设计了候选区域生成网络(Region Proposal Network，RPN)，并在其中设计了多参考窗口的机制，将Selective search等外部候选区域生成算法融合到了同一个深度网络中实现。但由于Faster R-CNN仅使用最后一层卷积操作输出的特征图进行预测，对微动脉瘤这种本身尺寸微小特征微弱的目标并不友好。
目前，针对小目标检测的方法大多数建立在现有目标检测基础之上，如特征金字塔网络。该方案是在Faster R-CNN的基础上提出，借助卷积神经网络前馈计算形成的金字塔结构的特征图，通过多尺度特征融合的方式提高小目标的检测性能。该方案从网络最顶层的特征图开始逐层地上采样，并与前层特征图进行融合，在此基础上，再从网络中不同深度的位置引出多个检测端口对其中的不同尺度的目标进行检测。
上述特征金字塔方案中仍存在不足，在进行特征融合时没有考虑到不同层特征的重要程度不同，且大多目标检测方案主要关注于目标本身的特征，从而忽略目标与周围环境的相关性，仅仅把卷积神经网络看作一个黑盒子，没有把与诊断密切相关的病灶信息考虑进去。
发明内容
本发明所要解决的技术问题是：针对现有技术中对微动脉瘤这种微小目标检测的不足，提出一种面向眼底图像的微动脉瘤检测方法，以有效地检测出眼底图像中的微动脉瘤，实现自动化检测的同时更好地辅助医生进行诊断。
本发明解决上述技术问题采用的技术方案是：
一种面向眼底图像的微动脉瘤检测方法，包括以下步骤：
A、对眼底图像进行预处理，并制作眼底图像数据集；
B、基于眼底图像数据集训练基础特征提取网络；
C、在进行微动脉瘤检测时，采用基础特征提取网络提取输入图像的5层基础特征层，并采用预先训练好的分割模型对输入图像进行血管分割；
D、将基础特征层的第5层和第4层进行上采样，通过注意力机制分别与第4层和第3层特征进行融合，得到两种融合卷积特征层；
E、将获得的两种融合卷积特征层分别输入候选区域生成网络，得到多个候选区域；
F、对候选区域进一步分类与回归得到最终检测结果。
作为进一步优化，步骤A具体包括：
A1、筛除不符合要求的眼底图像；
A2、对筛选后的眼底图像提取彩色通道；
A3、对提取的彩色通道图像进行对比度增强处理，获得增强图像；
A4、对提取的彩色通道图像进行阈值分割，并转换为二值化图像；
A5、将增强图像和二值化图像进行逐像素点相加，提取感兴趣区域；
A6、在提取的感兴趣区域上采用滑动窗口进行切割，获得图像块集；
A7、对图像块集进行筛选；
A8、对筛选后的数据集中的对象进行标注，制作眼底图像数据集。
作为进一步优化，步骤B中，所述基础特征提取网络采用VGG16网络,其包括五组conv+relu操作层conv1、conv2、conv3、conv4和conv5，每组包括2-3个卷积操作，卷积核大小为3*3，步长为1，填充为1，激活函数为ReLu；不同组之间采用最大池化来缩小卷积层尺寸，卷积核大小为2*2，步长为2。
作为进一步优化，步骤C中，采用步骤B中训练完成的基础特征提取网络VGG16提取输入图像的5层基础特征层，并加载预训练好的血管分割模型U-net对输入图像进行血管分割。
作为进一步优化，步骤D具体包括：
D1、利用双线性插值方法对卷积特征图conv5_3和conv4_3进行上采样，得到上采样特征图conv5_3_up和conv4_3_up；
D2、将上采样特征图conv5_3_up和前一层卷积特征图conv4_3进行加权求和，得到融合特征图f1；
D3、将上采样特征图conv4_3_up和前一层卷积特征图conv3_3进行加权求和，得到融合特征图f2。
作为进一步优化，步骤E具体包括：
E1、在融合特征图f1、f2上分别用滑动窗口进行候选区域的提取，每个滑动窗口提取k个候选区域；
E2、将各个候选区域映射到血管分割图上，计算候选区域与血管之间的距离；
E3、每个候选区域生成一个长度固定的全连接特征，然后在这个特征后产生三个分支：分类层、空间关系层和回归层；
其中，分类层用于对该候选区域进行过滤与标记，判定属于前景目标还是背景；空间关系层用于根据候选区域与血管之间的距离设定对应空间关系；回归层用于表示滑动窗口中心锚点对应的候选框的坐标与真值框之间的偏移量；
E4、基于候选区域生成网络计算获得最终候选区域。
作为进一步优化，步骤E2中，所述计算候选区域与血管之间的距离的方法包括：在将每个候选区域映射到血管分割图后，根据血管分割图判断候选区域内是否存在血管，若存在，则该候选区域与血管之间的距离为0；若不存在，将该区域四个坐标位置分别扩大5像素，判断扩大后的区域内是否存在血管；若不存在，则继续以5像素为步长扩大；若存在，则该候选区域与血管之间的距离为总扩大像素。
作为进一步优化，步骤E4中，所述候选区域生成网络的整体损失函数为：
其中，i是小批量中锚点的序号，p和s是锚点i是目标的类别概率，p*和s*是分给每个锚点的标签，t是预测框的4个参数，t*是真值框的4个参数，Lcls是分类损失函数，Lloc是空间关系损失函数，Lreg是回归损失函数，p*Lreg表示回归只对正样本进行。
作为进一步优化，步骤F具体包括：
F1、通过感兴趣区域池化层将候选区域映射回对应的融合特征图上；
F2、对多个区域特征图进行全连接，利用softmax对候选区域进行具体类别的分类，再次对候选区域进行边界框回归以获得更高精度的预测框。
本发明的有益效果是：
(1)将注意力机制应用到特征融合过程中，能有效利用不同特征层中对于微动脉瘤检测有用的信息，并抑制无关的噪声信息,从而提供检测效率；同时采用多层的特征图进行检测，能较好的覆盖各种尺寸的微动脉瘤。
(2)通过关注目标与周围环境的相关性，能进一步对微动脉瘤进行筛查。考虑到微动脉瘤通常出现在血管附近，本发明利用微动脉瘤与血管之间的距离，来考量该目标为微动脉瘤的可能性，能有效筛除落在血管上的误检。
附图说明
图1为本发明的微动脉瘤检测方法流程图；
图2为本发明的整体网络架构图；
图3为本发明对眼底图像预处理的流程图；
图4为本发明对眼底图像预处理的过程图像示意；
图5为本发明的基于注意力机制的特征融合过程图；
图6为本发明的候选区域生成流程图。
具体实施方式
本发明旨在针对现有技术中对微动脉瘤这种微小目标检测的不足，提出一种面向眼底图像的微动脉瘤检测方法，以有效地检测出眼底图像中的微动脉瘤，实现自动化检测的同时更好地辅助医生进行诊断。其核心思想是：通过一系列眼底图像预处理与检测数据集的制作，增强了眼底图像对比度及微动脉瘤的自身特征；然后通过深度卷积神经网络对图像进行特征提取及融合，利用注意力机制进一步强化对微动脉瘤检测有用的特征并抑制噪声。同时，本发明还结合微动脉瘤与血管之间的位置关系，在对微动脉瘤候选框进行选择时达到去除部分误检的目的。本发明能基于深度学习对眼底图像中的微动脉瘤进行自动化的检测，应用人类视觉注意力机制和微动脉瘤周围环境的特性，解决了现有目标检测方法对小目标检测的不足。
本发明的总体检测流程和网络架构如图1与图2所示，整个方法包括如下几个部分：样本数据的处理与制作，输入图像基础特征的提取及血管分割，基于注意力机制的特征融合，候选区域提名网络及候选区域的进一步分类与回归。
下面对各个部分的具体实施作进一步的详细说明：
1、样本数据的处理与数据集的制作：本发明以彩色眼底视网膜图像数据集IDRiD作为原始数据样本，分为下面多个步骤进行预处理并制作VOC数据集：
1.1对眼底图像进行预处理，具体流程如图3所示，包括以下步骤：
1.1.1筛除数据集中由于拍摄环境和病变严重影响图像质量的样本；
1.1.2对筛选后的彩色眼底图像I在RGB颜色空间下提取G通道图像IG；
1.1.3对G通道图像IG通过MATLAB的adapthisteq函数实现限制对比度直方图均衡化(CLAHE)操作，得到增强后的图像ICLAHE；
1.1.4对G通道图像IG进行Otsu阈值分割，以区分视野内的前景部分和视野外的背景部分。通过MATLAB的graythresh函数求得该图像合适的阈值T，再使用im2bw函数将灰度图转换成二值图像IFOV；
1.1.5将图像ICLAHE和二值图像IFOV逐像素点相加，实现感兴趣区域提取，得到图像IRoI；
对眼底图像预处理的过程图像如图4所示。
1.2在对眼底图像进行预处理后，进行VOC2007眼底图像数据集制作,具体包括：
1.2.1在图像IRoI上通过滑动窗口法得到图像块集P，滑动窗口大小为512*512像素，横向步长为236像素，纵向步长为146像素；
1.2.2对图像块集P进行筛选：选含有目标且重复度较低的样本集P'作为检测数据样本；
1.2.3通过LabelImg工具对样本图像块集P'中的目标进行标注，包括目标类别和坐标位置，生成相应的XML文件并将样本随机划分成训练集和预测集；
经过上述数据集的制作，获得训练集和预测集后，在搭建好的基础特征提取网络上利用训练集中的数据进行训练，并利用预测集中的数据对训练的网络进行预测验证，直至网络模型收敛。
本发明采用VGG16网络作为基础特征提取网络,其包括五组conv+relu操作层conv1、conv2、conv3、conv4和conv5，每组包括2-3个卷积操作，卷积核大小为3*3，步长为1，填充为1，激活函数为ReLu；不同组之间采用最大池化来缩小卷积层尺寸，卷积核大小为2*2，步长为2。基础特征提取网络的具体参数如表1所示。
表1：基础特征提取网络结构参数表
| 网络层 | 卷积核 | 步长 | 感受野 |
| conv1_1，conv1_2 | 3*3*64 | 1 | 3,5 |
| pool1 | 2*2 | 2 | 6 |
| conv2_1，conv2_2 | 3*3*128 | 1 | 10，14 |
| pool2 | 2*2 | 2 | 16 |
| conv3_1，conv3_2，conv3_3 | 3*3*256 | 1 | 24，32，40 |
| pool3 | 2*2 | 2 | 44 |
| conv4_1，conv4_2，conv4_3 | 3*3*512 | 1 | 60，76，92 |
| pool4 | 2*2 | 2 | 100 |
| conv5_1，conv5_2，conv5_3 | 3*3*512 | 1 | 132，164，196 |
| pool5 | 2*2 | 2 | 212 |
其中，conv为卷积层，用于对输入图像进行卷积操作；pool为最大池化层，用于缩小图像及参数量；感受野用于表示该层特征点对应原图的观察区域。
2、特征提取与血管分割：
2.1读取输入图像，通过VGG提取输入图像的5层基础特征层；
2.2加载预训练好的血管分割模型U-net对输入图像进行血管分割。
3、基于注意力机制的特征融合：
对所提取的高层基础特征通过上采样与前一层特征进行加权相加，得到融合后的特征层，如图5所示，以第5层和第4层特征融合为例，包括以下步骤：
3.1将卷积特征图conv5_3、conv4_3通过双线性插值方法进行上采样，得到特征图conv5_3_up、conv4_3_up，并通过一个1*1的卷积核改变其通道数与conv4_3、conv3_3一致；
3.2将卷积特征图conv5_3_up中每个元素乘以权重ω1，将卷积特征图conv4_3中每个元素乘以权重(1-ω1)，然后两者特征图逐像素点相加，得到融合特征图，具体运算为：
3.3同样的，将卷积特征图conv4_3_up中每个元素乘以权重ω2，将卷积特征图conv3_3中每个元素乘以(1-ω2)，然后两者特征图逐像素点相加，得到融合特征图，具体运算为：
4、将融合后的特征图分别输入候选区域生成网络，得到一系列候选区域：
其具体流程如图6所示，包括以下步骤：
4.1在融合特征图f1上用一个3*3的滑动窗口，窗口的中心点称为锚点。每个窗口通过三种尺寸{642，1282，2562}和三种比例{1:1，1:2，2:1}的自由组合考虑9个可能的候选区域；
4.2将每个候选区域映射到血管分割图上，根据血管分割二值图判断该区域内是否存在血管。若存在，则该候选区域与血管之间的距离为0；若不存在，将该区域四个坐标位置分别扩大5像素，判断扩大后的区域内是否存在血管；若不存在，则继续以5像素为步长扩大；若存在，则该候选区域与血管之间的距离为总扩大像素；
4.3每个候选区域生成一个长度为512维的全连接特征，然后在这个特征后产生三个分支的全连接层，具体如下：
4.3.1分类层，用于对该候选区域进行过滤与标记，判定属于前景目标还是背景。过滤与标记规则如下：去除超过原图边界即512*512的候选区域，如果候选框与真值框的IoU值最大，标记为正样本label＝1；如果IoU阈值大于0.7，标记为正样本label＝1；IoU值小于0.3，标记为负样本label＝0。计算softmax损失函数：
其中，si是softmax输出向量S的第i个值，表示该样本属于第i个类别的概率，T是类别数，本发明只检测单一类别；
4.3.2空间关系层，根据候选区域与血管之间的距离设定如下空间关系：
on：候选区域在血管上，距离为0；
next to：候选区域离血管很近，0<距离<10；
beside：候选区域在血管附近，10<距离<100；
near：候选区域在血管周围，100<距离<200；
far：候选区域离血管较远，距离>200；
当空间关系为on或者far时，标记为为负样本label＝0，其他空间关系判定为正样本label＝1。
4.3.3回归层，用于表示滑动窗口中心锚点对应的候选框的坐标与真值框之间的偏移量(Δx,Δy,Δw,Δh)，计算smooth L1损失函数：
4.4候选区域生成网络整体损失函数计算如下，通过反向传播计算梯度更新权重值，并得到候选区域。
其中，i是小批量中锚点的序号，p和s是锚点i是目标的类别概率，p*和s*是分给每个锚点的标签(0或1)，t是预测框的4个参数，t*是真值框的4个参数，Lcls是分类损失函数，Lloc是空间关系损失函数，Lreg是回归损失函数，p*Lreg表示回归只对正样本进行。分类层和空间关系层都是用于对候选区域进行分类，将其判定结果通过α进行加权平均。同时通过平衡参数λ对分类和回归进行加权，使得分类和回归部分的权重大致相同。
5、对候选区域的进一步分类与回归：
通过感兴趣区域池化层将得到的候选区域映射回对应特征图，经过全连接层进行最终的目标分类与回归，包括以下步骤：
5.1将候选区域生成网络得到的候选区域和对应的融合特征层输入感兴趣区域池化层，通过最大池化将候选区域变为固定大小为7*7的区域特征图；
5.2对多个区域特征图进行全连接，利用softmax对候选区域进行具体类别的分类，再次对候选区域进行边界框回归以获得更高精度的预测框。
以上所述仅为本发明的具体实施方案，但本发明的保护范围并不局限于此，本技术领域的技术人员在本发明揭露的技术实质下所作出的等同替代/变换，都应涵盖在本发明的保护范围之内。
Claims (9)
1.一种面向眼底图像的微动脉瘤检测方法，其特征在于，
包括以下步骤：
A、对眼底图像进行预处理，并制作眼底图像数据集；
B、基于眼底图像数据集训练基础特征提取网络；
C、在进行微动脉瘤检测时，采用基础特征提取网络提取输入图像的5层基础特征层，并采用预先训练好的分割模型对输入图像进行血管分割；
D、将基础特征层的第5层和第4层进行上采样，通过注意力机制分别与第4层和第3层特征进行融合，得到两种融合卷积特征层；
E、将获得的两种融合卷积特征层分别输入候选区域生成网络，得到多个候选区域；
F、对候选区域进一步分类与回归得到最终检测结果。
2.如权利要求1所述的一种面向眼底图像的微动脉瘤检测方法，其特征在于，
步骤A具体包括：
A1、筛除不符合要求的眼底图像；
A2、对筛选后的眼底图像提取彩色通道；
A3、对提取的彩色通道图像进行对比度增强处理，获得增强图像；
A4、对提取的彩色通道图像进行阈值分割，并转换为二值化图像；
A5、将增强图像和二值化图像进行逐像素点相加，提取感兴趣区域；
A6、在提取的感兴趣区域上采用滑动窗口进行切割，获得图像块集；
A7、对图像块集进行筛选；
A8、对筛选后的数据集中的对象进行标注，制作眼底图像数据集。
3.如权利要求1所述的一种面向眼底图像的微动脉瘤检测方法，
其特征在于，步骤B中，所述基础特征提取网络采用VGG16网络,其包括五组conv+relu操作层conv1、conv2、conv3、conv4和conv5，每组包括2-3个卷积操作，卷积核大小为3*3，步长为1，填充为1，激活函数为ReLu；不同组之间采用最大池化来缩小卷积层尺寸，卷积核大小为2*2，步长为2。
4.如权利要求3所述的一种面向眼底图像的微动脉瘤检测方法，
其特征在于，步骤C中，采用步骤B中训练完成的基础特征提取网络VGG16提取输入图像的5层基础特征层，并加载预训练好的血管分割模型U-net对输入图像进行血管分割。
5.如权利要求3所述的一种面向眼底图像的微动脉瘤检测方法，
其特征在于，步骤D具体包括：
D1、利用双线性插值方法对卷积特征图conv5_3和conv4_3进行上采样，得到上采样特征图conv5_3_up和conv4_3_up；
D2、将上采样特征图conv5_3_up和前一层卷积特征图conv4_3进行加权求和，得到融合特征图f1；
D3、将上采样特征图conv4_3_up和前一层卷积特征图conv3_3进行加权求和，得到融合特征图f2。
6.如权利要求5所述的一种面向眼底图像的微动脉瘤检测方法，
其特征在于，步骤E具体包括：
E1、在融合特征图f1、f2上分别用滑动窗口进行候选区域的提取，每个滑动窗口提取k个候选区域；
E2、将各个候选区域映射到血管分割图上，计算候选区域与血管之间的距离；
E3、每个候选区域生成一个长度固定的全连接特征，然后在这个特征后产生三个分支：分类层、空间关系层和回归层；
其中，分类层用于对该候选区域进行过滤与标记，判定属于前景目标还是背景；空间关系层用于根据候选区域与血管之间的距离设定对应空间关系；回归层用于表示滑动窗口中心锚点对应的候选框的坐标与真值框之间的偏移量；
E4、基于候选区域生成网络计算获得最终候选区域。
7.如权利要求6所述的一种面向眼底图像的微动脉瘤检测方法，
其特征在于，步骤E2中，所述计算候选区域与血管之间的距离的方法包括：在将每个候选区域映射到血管分割图后，根据血管分割图判断候选区域内是否存在血管，若存在，则该候选区域与血管之间的距离为0；若不存在，将该区域四个坐标位置分别扩大5像素，判断扩大后的区域内是否存在血管；若不存在，则继续以5像素为步长扩大；若存在，则该候选区域与血管之间的距离为总扩大像素。
8.如权利要求6所述的一种面向眼底图像的微动脉瘤检测方法，
其特征在于，步骤E4中，所述候选区域生成网络的整体损失函数为：
其中，i是小批量中锚点的序号，p和s是锚点i是目标的类别概率，p*和s*是分给每个锚点的标签，t是预测框的4个参数，t*是真值框的4个参数，Lcls是分类损失函数，Lloc是空间关系损失函数，Lreg是回归损失函数，p*Lreg表示回归只对正样本进行。
9.如权利要求1-8任意一项所述的一种面向眼底图像的微动脉瘤检测方法，
其特征在于，步骤F具体包括：
F1、通过感兴趣区域池化层将候选区域映射回对应的融合特征图上；
F2、对多个区域特征图进行全连接，利用softmax对候选区域进行具体类别的分类，再次对候选区域进行边界框回归以获得更高精度的预测框。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911030415.2A CN110766643A (zh) | 2019-10-28 | 2019-10-28 | 一种面向眼底图像的微动脉瘤检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911030415.2A CN110766643A (zh) | 2019-10-28 | 2019-10-28 | 一种面向眼底图像的微动脉瘤检测方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN110766643A true CN110766643A (zh) | 2020-02-07 |
Family
ID=69333056
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911030415.2A Pending CN110766643A (zh) | 2019-10-28 | 2019-10-28 | 一种面向眼底图像的微动脉瘤检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110766643A (zh) |
Cited By (21)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111488921A (zh) * | 2020-03-30 | 2020-08-04 | 中国科学院深圳先进技术研究院 | 一种全景数字病理图像智能分析系统及方法 |
| CN111598882A (zh) * | 2020-05-19 | 2020-08-28 | 联想(北京)有限公司 | 器官检测方法、装置及计算机设备 |
| CN111612856A (zh) * | 2020-05-25 | 2020-09-01 | 中南大学 | 用于彩色眼底图像的视网膜新生血管检测方法及成像方法 |
| CN111640126A (zh) * | 2020-05-29 | 2020-09-08 | 成都金盘电子科大多媒体技术有限公司 | 基于医学影像的人工智能诊断辅助方法 |
| CN111798426A (zh) * | 2020-06-30 | 2020-10-20 | 天津大学 | 用于移动端的胃肠道间质瘤中核分裂象深度学习检测系统 |
| CN111862140A (zh) * | 2020-06-11 | 2020-10-30 | 中山大学 | 一种基于协同模块级搜索的全景分割网络及方法 |
| CN112016569A (zh) * | 2020-07-24 | 2020-12-01 | 驭势科技(南京)有限公司 | 基于注意力机制的目标检测方法、网络、设备和存储介质 |
| CN112102256A (zh) * | 2020-08-22 | 2020-12-18 | 复旦大学 | 面向窄带内镜图像的早期食管鳞癌的癌灶检测及诊断系统 |
| CN112215285A (zh) * | 2020-10-13 | 2021-01-12 | 电子科技大学 | 一种基于跨媒体特征的眼底图像自动标注方法 |
| CN112331313A (zh) * | 2020-11-25 | 2021-02-05 | 电子科技大学 | 一种基于标签编码的糖网影像病变的自动分级方法 |
| CN112633327A (zh) * | 2020-12-02 | 2021-04-09 | 西安电子科技大学 | 分阶段金属表面缺陷检测方法、系统、介质、设备及应用 |
| CN112700409A (zh) * | 2020-12-28 | 2021-04-23 | 中南大学 | 视网膜微动脉瘤自动检测方法及成像方法 |
| CN113066066A (zh) * | 2021-03-30 | 2021-07-02 | 北京鹰瞳科技发展股份有限公司 | 视网膜异常分析方法及设备 |
| CN113420706A (zh) * | 2021-07-05 | 2021-09-21 | 吉林大学 | 一种基于多层特征融合的车辆检测方法 |
| CN113554660A (zh) * | 2020-11-28 | 2021-10-26 | 上海海事大学 | 一种用于检测眼底微动脉瘤的检测方法 |
| CN113628179A (zh) * | 2021-07-30 | 2021-11-09 | 厦门大学 | 一种pcb表面缺陷实时检测方法、装置及可读介质 |
| CN113838028A (zh) * | 2021-09-24 | 2021-12-24 | 无锡祥生医疗科技股份有限公司 | 一种颈动脉超声自动多普勒方法、超声设备及存储介质 |
| CN114387219A (zh) * | 2021-12-17 | 2022-04-22 | 依未科技(北京)有限公司 | 眼底动静脉交叉压迫特征的检测方法、装置、介质及设备 |
| CN114821189A (zh) * | 2022-05-18 | 2022-07-29 | 重庆邮电大学 | 一种基于眼底图像的病灶图像分类与识别方法 |
| CN116229189A (zh) * | 2023-05-10 | 2023-06-06 | 深圳市博盛医疗科技有限公司 | 基于荧光内窥镜的图像处理方法、装置、设备及存储介质 |
| CN117994251A (zh) * | 2024-04-03 | 2024-05-07 | 华中科技大学同济医学院附属同济医院 | 基于人工智能的糖尿病足溃疡严重程度评估方法及系统 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108647585A (zh) * | 2018-04-20 | 2018-10-12 | 浙江工商大学 | 一种基于多尺度循环注意力网络的交通标识符检测方法 |
| CN109658394A (zh) * | 2018-12-06 | 2019-04-19 | 代黎明 | 眼底图像预处理方法及系统和微血管瘤检测方法及系统 |
| CN110110617A (zh) * | 2019-04-22 | 2019-08-09 | 腾讯科技（深圳）有限公司 | 医学影像分割方法、装置、电子设备和存储介质 |
| CN110211685A (zh) * | 2019-06-10 | 2019-09-06 | 珠海上工医信科技有限公司 | 基于完全关注机制的糖网筛查网络结构模型 |
| CN110276356A (zh) * | 2019-06-18 | 2019-09-24 | 南京邮电大学 | 基于r-cnn的眼底图像微动脉瘤识别方法 |
-
2019
- 2019-10-28 CN CN201911030415.2A patent/CN110766643A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108647585A (zh) * | 2018-04-20 | 2018-10-12 | 浙江工商大学 | 一种基于多尺度循环注意力网络的交通标识符检测方法 |
| CN109658394A (zh) * | 2018-12-06 | 2019-04-19 | 代黎明 | 眼底图像预处理方法及系统和微血管瘤检测方法及系统 |
| CN110110617A (zh) * | 2019-04-22 | 2019-08-09 | 腾讯科技（深圳）有限公司 | 医学影像分割方法、装置、电子设备和存储介质 |
| CN110211685A (zh) * | 2019-06-10 | 2019-09-06 | 珠海上工医信科技有限公司 | 基于完全关注机制的糖网筛查网络结构模型 |
| CN110276356A (zh) * | 2019-06-18 | 2019-09-24 | 南京邮电大学 | 基于r-cnn的眼底图像微动脉瘤识别方法 |
Non-Patent Citations (1)
| Title |
|---|
| ZHANG L等: "" Detection of Microaneurysms in Fundus Images Based on an Attention Mechanism"", 《GENES 》 * |
Cited By (35)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111488921A (zh) * | 2020-03-30 | 2020-08-04 | 中国科学院深圳先进技术研究院 | 一种全景数字病理图像智能分析系统及方法 |
| WO2021196632A1 (zh) * | 2020-03-30 | 2021-10-07 | 中国科学院深圳先进技术研究院 | 一种全景数字病理图像智能分析系统及方法 |
| CN111598882A (zh) * | 2020-05-19 | 2020-08-28 | 联想(北京)有限公司 | 器官检测方法、装置及计算机设备 |
| CN111598882B (zh) * | 2020-05-19 | 2023-11-24 | 联想(北京)有限公司 | 器官检测方法、装置及计算机设备 |
| CN111612856A (zh) * | 2020-05-25 | 2020-09-01 | 中南大学 | 用于彩色眼底图像的视网膜新生血管检测方法及成像方法 |
| CN111612856B (zh) * | 2020-05-25 | 2023-04-18 | 中南大学 | 用于彩色眼底图像的视网膜新生血管检测方法及成像方法 |
| CN111640126A (zh) * | 2020-05-29 | 2020-09-08 | 成都金盘电子科大多媒体技术有限公司 | 基于医学影像的人工智能诊断辅助方法 |
| CN111640126B (zh) * | 2020-05-29 | 2023-08-22 | 成都金盘电子科大多媒体技术有限公司 | 基于医学影像的人工智能诊断辅助方法 |
| CN111862140A (zh) * | 2020-06-11 | 2020-10-30 | 中山大学 | 一种基于协同模块级搜索的全景分割网络及方法 |
| CN111862140B (zh) * | 2020-06-11 | 2023-08-18 | 中山大学 | 一种基于协同模块级搜索的全景分割网络及方法 |
| CN111798426A (zh) * | 2020-06-30 | 2020-10-20 | 天津大学 | 用于移动端的胃肠道间质瘤中核分裂象深度学习检测系统 |
| CN111798426B (zh) * | 2020-06-30 | 2022-09-06 | 天津大学 | 用于移动端的胃肠道间质瘤中核分裂象深度学习检测系统 |
| CN112016569A (zh) * | 2020-07-24 | 2020-12-01 | 驭势科技(南京)有限公司 | 基于注意力机制的目标检测方法、网络、设备和存储介质 |
| CN112102256A (zh) * | 2020-08-22 | 2020-12-18 | 复旦大学 | 面向窄带内镜图像的早期食管鳞癌的癌灶检测及诊断系统 |
| CN112215285A (zh) * | 2020-10-13 | 2021-01-12 | 电子科技大学 | 一种基于跨媒体特征的眼底图像自动标注方法 |
| CN112215285B (zh) * | 2020-10-13 | 2022-10-25 | 电子科技大学 | 一种基于跨媒体特征的眼底图像自动标注方法 |
| CN112331313A (zh) * | 2020-11-25 | 2021-02-05 | 电子科技大学 | 一种基于标签编码的糖网影像病变的自动分级方法 |
| CN112331313B (zh) * | 2020-11-25 | 2022-07-01 | 电子科技大学 | 一种基于标签编码的糖网影像病变的自动分级方法 |
| CN113554660B (zh) * | 2020-11-28 | 2024-03-12 | 上海海事大学 | 一种用于检测眼底微动脉瘤的检测方法 |
| CN113554660A (zh) * | 2020-11-28 | 2021-10-26 | 上海海事大学 | 一种用于检测眼底微动脉瘤的检测方法 |
| CN112633327B (zh) * | 2020-12-02 | 2023-06-30 | 西安电子科技大学 | 分阶段金属表面缺陷检测方法、系统、介质、设备及应用 |
| CN112633327A (zh) * | 2020-12-02 | 2021-04-09 | 西安电子科技大学 | 分阶段金属表面缺陷检测方法、系统、介质、设备及应用 |
| CN112700409A (zh) * | 2020-12-28 | 2021-04-23 | 中南大学 | 视网膜微动脉瘤自动检测方法及成像方法 |
| CN113066066A (zh) * | 2021-03-30 | 2021-07-02 | 北京鹰瞳科技发展股份有限公司 | 视网膜异常分析方法及设备 |
| CN113420706B (zh) * | 2021-07-05 | 2022-05-24 | 吉林大学 | 一种基于多层特征融合的车辆检测方法 |
| CN113420706A (zh) * | 2021-07-05 | 2021-09-21 | 吉林大学 | 一种基于多层特征融合的车辆检测方法 |
| CN113628179B (zh) * | 2021-07-30 | 2023-11-24 | 厦门大学 | 一种pcb表面缺陷实时检测方法、装置及可读介质 |
| CN113628179A (zh) * | 2021-07-30 | 2021-11-09 | 厦门大学 | 一种pcb表面缺陷实时检测方法、装置及可读介质 |
| CN113838028A (zh) * | 2021-09-24 | 2021-12-24 | 无锡祥生医疗科技股份有限公司 | 一种颈动脉超声自动多普勒方法、超声设备及存储介质 |
| CN114387219A (zh) * | 2021-12-17 | 2022-04-22 | 依未科技(北京)有限公司 | 眼底动静脉交叉压迫特征的检测方法、装置、介质及设备 |
| CN114821189A (zh) * | 2022-05-18 | 2022-07-29 | 重庆邮电大学 | 一种基于眼底图像的病灶图像分类与识别方法 |
| CN114821189B (zh) * | 2022-05-18 | 2024-06-18 | 重庆邮电大学 | 一种基于眼底图像的病灶图像分类与识别方法 |
| CN116229189B (zh) * | 2023-05-10 | 2023-07-04 | 深圳市博盛医疗科技有限公司 | 基于荧光内窥镜的图像处理方法、装置、设备及存储介质 |
| CN116229189A (zh) * | 2023-05-10 | 2023-06-06 | 深圳市博盛医疗科技有限公司 | 基于荧光内窥镜的图像处理方法、装置、设备及存储介质 |
| CN117994251A (zh) * | 2024-04-03 | 2024-05-07 | 华中科技大学同济医学院附属同济医院 | 基于人工智能的糖尿病足溃疡严重程度评估方法及系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110766643A (zh) | 一种面向眼底图像的微动脉瘤检测方法 | |
| CN110276356B (zh) | 基于r-cnn的眼底图像微动脉瘤识别方法 | |
| CN110599448B (zh) | 基于MaskScoring R-CNN网络的迁移学习肺部病变组织检测系统 | |
| CN111815574B (zh) | 一种基于粗糙集神经网络的眼底视网膜血管图像分割方法 | |
| CN107506761B (zh) | 基于显著性学习卷积神经网络的脑部图像分割方法及系统 | |
| CN107610087B (zh) | 一种基于深度学习的舌苔自动分割方法 | |
| Tian et al. | Multi-path convolutional neural network in fundus segmentation of blood vessels | |
| CN111259982A (zh) | 一种基于注意力机制的早产儿视网膜图像分类方法和装置 | |
| CN110288597B (zh) | 基于注意力机制的无线胶囊内窥镜视频显著性检测方法 | |
| WO2019001208A1 (zh) | 一种oct图像中脉络膜新生血管分割算法 | |
| CN106056595A (zh) | 基于深度卷积神经网络自动识别甲状腺结节良恶性的方法 | |
| CN112926652B (zh) | 一种基于深度学习的鱼类细粒度图像识别方法 | |
| Waheed et al. | Hybrid features and mediods classification based robust segmentation of blood vessels | |
| Chen et al. | Detection of diabetic retinopathy using deep neural network | |
| CN113012163A (zh) | 一种基于多尺度注意力网络的视网膜血管分割方法、设备及存储介质 | |
| CN113011340B (zh) | 一种基于视网膜图像的心血管手术指标风险分类方法及系统 | |
| Li et al. | Vessel recognition of retinal fundus images based on fully convolutional network | |
| CN114648806A (zh) | 一种多机制自适应的眼底图像分割方法 | |
| Mohamed et al. | Spatial pyramid pooling with atrous convolutional for mobilenet | |
| Mahapatra | Retinal image quality classification using neurobiological models of the human visual system | |
| CN117078697B (zh) | 一种基于级联模型融合的眼底病种检测方法 | |
| Saranya et al. | Detection of exudates from retinal images for non-proliferative diabetic retinopathy detection using deep learning model | |
| CN114140830A (zh) | 一种基于循环肿瘤细胞图像的重复识别抑制方法 | |
| CN113269756A (zh) | 基于多尺度匹配滤波与粒子群优化视网膜血管分割方法、装置 | |
| Hegde et al. | Applications of conventional machine learning and deep learning for automation of diagnosis: case study |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20200207 |
|
| RJ01 | Rejection of invention patent application after publication |