CN110276356B - 基于r-cnn的眼底图像微动脉瘤识别方法 - Google Patents

基于r-cnn的眼底图像微动脉瘤识别方法 Download PDF

Info

Publication number
CN110276356B
CN110276356B CN201910524945.6A CN201910524945A CN110276356B CN 110276356 B CN110276356 B CN 110276356B CN 201910524945 A CN201910524945 A CN 201910524945A CN 110276356 B CN110276356 B CN 110276356B
Authority
CN
China
Prior art keywords
image
microaneurysm
fundus
data set
blood vessel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910524945.6A
Other languages
English (en)
Other versions
CN110276356A (zh
Inventor
王子豪
陈可佳
张伶俐
李孝展
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University of Posts and Telecommunications
Original Assignee
Nanjing University of Posts and Telecommunications
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University of Posts and Telecommunications filed Critical Nanjing University of Posts and Telecommunications
Priority to CN201910524945.6A priority Critical patent/CN110276356B/zh
Publication of CN110276356A publication Critical patent/CN110276356A/zh
Application granted granted Critical
Publication of CN110276356B publication Critical patent/CN110276356B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30101—Blood vessel; Artery; Vein; Vascular

Abstract

一种基于R‑CNN架构的眼底微动脉瘤目标检测模型，实现对眼底微动脉瘤病灶的检测与识别，所述方法包括：对眼底图像进行预处理；对预处理图像进行血管分割；对预处理图像经局部自适应阈值分割、去除血管以及面积筛选三个步骤得到真正的微动脉瘤候选区域；采用数据增强扩充训练样本数量；采用迁移学习的方法，使用预训练的VGG16网络对样本进行特征提取，并在特征提取网络之后添加微动脉瘤分类器进行联合训练；上述的方案，为糖尿病视网膜图像眼底微动脉瘤目标检测提供了一种新的方法。

Description

基于R-CNN的眼底图像微动脉瘤识别方法
技术领域
本发明属于医学影像识别技术领域，特别是涉及基于R-CNN架构的眼底微动脉瘤目标检测方法。
背景技术
糖尿病是现代人身上很高发的一种疾病，且近年来的发病人群越来越趋于年轻化。糖尿病导致的血管损伤最常见的并发症之一便是糖尿病视网膜病变(DiabeticRetionopathy,DR),又称糖网病。眼科专家表示，如果糖网病患者能够在患病早期得到诊断并进行有效的治疗，患者基本上能够得到治愈避免丧失视力。由于糖网病早期阶段患者并不会出现明显的视觉症状，因此糖尿病患者被建议每年需要进行一定次数的糖网病筛查来及时发现糖网病症状。糖网病患者早期的眼底图像中会出现微血管瘤、出血以及硬性渗透物等病灶。通过中对这些病灶进行检测和识别，医生可以筛查出具有糖网病特征的眼底图像。这项筛查工作依赖于经验丰富的诊断医生，既费时又费力。对与缺乏临床设施及诊断经验医生的地区构成了严峻的挑战。
目标检测是机器视觉领域的重要问题之一，它的任务是找出图像中所有感兴趣的目标(物体)，确定它们的位置和大小。图像分类模型是将图像划分为单个类别，通常对应于图像中最突出的物体。但是现实世界的很多图片通常包含不只一个物体，此时如果使用图像分类模型为图像分配一个单一标签其实是非常粗糙的，并不准确。对于这样的情况，就需要目标检测模型，目标检测模型可以识别一张图片的多个物体，并可以定位出不同物体。通过图像处理的方式，对日常生活中的不同目标进行检测和识别具有重大的意义和实际价值，目前在人脸识别、车牌识别等方面取得了巨大的进展。这种自动检测的方法可以节省大量的时间成本和人力成本，具有非常巨大的经济效益和实用价值。
糖网病早期在眼底图像中出现的病灶就是微动脉瘤，医生可以根据眼底图像中微动脉瘤的情况来对DR进行早期的筛查。采用数字图像处理的方式，对眼底图像中的微血管瘤病灶实现精确地检测识别可以大大减少医生的工作量，在辅助医生对DR患者诊断的同时，也不会因为医生自身经验等原因而造成结果上的差异。因此，在大规模DR筛查中，设计一种检测眼底图像中微血管瘤的辅助诊断技术可以帮助眼科医生快速、有效的实现诊断，同时也可以帮助患者尽早得到治疗，这对患者和医生都具有十分重要的意义。
发明内容
本发明解决的技术问题是如何基于R-CNN架构的眼底微动脉瘤检测方法。
为了达到上述目的，本发明提供一种基于R-CNN架构的眼底微动脉瘤检测方法，所述方法包括：
获取一系列眼底图像作为原始数据集；
对眼底图像数据集进行预处理；
对预处理图像进行血管分割；
对预处理图像经局部自适应阈值分割、去除血管以及面积筛选三个步骤得到真正的微动脉瘤候选区域；
采用数据增强扩充训练样本数量；
采用迁移学习的方法，使用预训练的VGG16网络对样本进行特征提取，并在特征提取网络之后添加微动脉瘤分类器进行联合训练。
可选地，所述将所述眼底图像数据集进行预处理，包括：
对所述数据集进行绿色通道提取，相比于其他通道，绿色通道中的血管、视盘、黄斑区以及微动脉瘤更加清晰。所以考虑采用RGB颜色模型将眼底图像进行分解，然后提取绿色通道得到灰色图像作为后续处理的基础。
对所述数据集进行感兴趣区域提取，眼底图像总是以矩形的形式记录，但关注的是眼睛轮廓内部的信息，眼睛周围的黑色部分可以看做背景，不需要关注。为了更好的分割出眼睛的感兴趣区域，将采用最大类间方差法(OSTU)进行最佳阈值的计算。计算过程如下：
设T为前景与背景的分割阈值，前景点数占图像比例为w0，前景平均灰度为u0，背景点数占比为w1，背景平均灰度为u1，整体图像的平均灰度为u，前景和背景的方差为g，则：
u＝w0×u0+w1×u1
g＝w0×(u0-u)2+w1×(u1-u)2
在上式中，当g取得最大值时，此时的阈值T即为所需要的最佳阈值。然后图像上每个点f(x，y)根据阈值T进行二值化处理得到图像h(x，y)，计算公式如下：
Figure GDA0003722902760000031
对所述数据集进行图像标准化，由于不同眼底图像之间的亮度因拍摄条件不同而各不相同，这不利于检测，标准化之后方便对图像进行同一操作，同时也可以增加一些特征的清晰度。标准化的计算过程如下：
记在一幅灰度图像中的像素为f(x，y)，f(x，y)中的最大值为Max，在灰度图像中0表示亮度最低，255表示亮度最高，h(x，y)表示标准化后的图像，则：
Figure GDA0003722902760000032
对所述数据集进行图像增强，为了进一步得到对比度更高的图像，使用CLAHE算法进行图像增强。
对所述数据集进行伽马变换，主要目的是增加暗色部分的对比度，y变换算法首先对将一个图像的像素值进行归一化转换为0～1之间的实数，然后根据公式f(I)＝Iγ对归一化的值进行预补偿计算，最后将预补偿的实数反归一化为0～255的实数。
对所述数据集进行高斯滤波处理，经过之前的几个操作，眼底图像中的特征已经可以清晰的展现出来了，但同样的眼睛部分里的噪声也会跟着操作有可能被增强。由于微动脉瘤的外形特点是尺寸较小的黑色圆点，其像素特征大致为中心区域像素值底且四周部分像素值逐渐向外增加。根据微动脉瘤在图像中的特点，选择高斯滤波对图像进行滤波操作，这样可以在尽可能保留微动脉瘤信息的同时弱化噪声。
高斯滤波的过程是用一个卷积核扫描图像中每一个像素点，将邻域各个像素值与对应位置的权值相乘并求和，整个过程也可以看作图像与高斯正态分布做卷积操作。这里选择大小为3×3，方差为2的高斯正态分布卷积核进行高斯滤波。
可选地，所述对预处理图像进行血管分割，包括：
主要使用U-net模型实现眼底图像中的血管分割，U-net由左半边的压缩通道和右半边的扩展通道组成。在压缩通道部分采用VGGNet-16结构，主要重复采用2个卷积层和1个最大池化层的结构进行特征的提取和压缩。扩展通道结构是反卷积网络，先进行1次反卷积操作，使特征图的维数减半，然后拼接对应压缩通道裁剪得到的特征图，重新组成一个2倍大小的特征图，再采用2个卷积层进行特征提取，并重复这一结构。在最后的输出层，用2个卷积层将64维的特征图映射成2维的输出图，实现特征图到原始图像大小的还原。高层特征图与底层特征图的组合和卷积操作，使模型可以获得更加精确的输出特征图。实验证明，即便在训练样本较少的情况下，U-net模型也可以得到很准确的语义分割结果。
可选地，所述对预处理图像经局部自适应阈值分割、去除血管以及面积筛选三个步骤得到真正的微动脉瘤候选区域，包括：
对所述预处理图像进行自适应阈值分割，对于坐标为(x，y)的像素f(x，y)，取其四周边长为35像素的局部邻域块。然后，将邻域块高斯加权和记为T(x，y)，T(x，y)再加上常数C＝10作为该像素的分割阈值，最后进行反向二值化的操作得到处理后的图像h(x，y)。对于预处理图像f(x，y)对按照如下公式处理得到图像h(x，y)：
Figure GDA0003722902760000051
经过自适阈值分割处理后就可以到包含微动脉瘤候选区域的掩模图像。
对所述预处理图像进行去除血管，对于之前得到的血管分割图像，采用固定阈值分割同样生成眼底血管的反向二值化图像，记为Ivessel。由于对血管图像采用固定阈值分割对导致出现主血管外产生许多小的血管残留，因此继续对Ivessel中的区域进行面积过滤，将其中面积小的区域去除，得到最后只留下连通血管的掩模图像I′vessel，接下来，将由预处理图像经自适应二值化后得到的掩膜图像记为I1，利用血管掩模图像I′vessel减去I1，就可以得到不含血管的掩膜图像I2。
对所述I2进行微血管瘤候选面积筛选，I2中残留一些较大血管块，圆球边界部分、形状瘦长的小血管以及细小的噪声。根据经验，微动脉瘤近似圆形，虽然面积较小但比一般噪声要大。根据微动脉瘤的特点，对I2中的每一个区域轮廓进行判断，将其中区域面积过大、面积过小以及形状过于瘦长的区域去除，得到最终的微动脉瘤候选区域掩膜图像Icandidates。
对所述最终得到的微动脉瘤候选区域掩模图像Icandidates，找到其中每个区域所对应的质心位置以及所对应轮廓的最小外接矩形，然后据此对应于预处理图像。在预处理图像中根据掩膜图像的信息，设计合适大小的尺寸提取微动脉瘤候选区域。
可选地，所述采用数据增强扩充训练样本数量，包括：
经候选区域提取生成的样本中，正类样本数量和负类样本量有着很大的差距，存在数据不平衡现象。为了解决这个问题，采用对称变换、旋转等操作对正类样本进行数据增强。此外，在进行候选区域提取时，将截取的尺寸(w+c)×(h+c)中的常数c取20到40中的多个不同的值，即选取多个不同尺寸的候选区域作为微动脉瘤候选样本来作为之后卷积神经网络的训练。这样构造样本集，在解决了数据不平衡的同时，还增加了不同尺度的微动脉瘤训练样本，使卷积神经网络可以更好的识别不同大小的微动脉瘤，充分学习微动脉瘤及其附近背景的特征。
可选地，采用迁移学习的方法，使用预训练的VGG16网络对样本进行特征提取，并在特征提取网络之后添加微动脉瘤分类器进行联合训练，包括：
采用VGG16微调模型，将模型最后一个卷积块与定义的分类器进行联合训练。需要对得到的微动脉瘤候选样本进行分类，即判断该样本中是否真正含有微动脉瘤。所以，现在面对的是一个二分类问题，因此在分类器的最后一层使用sigmod激活单元。这个单元将对输入样本属于微动脉瘤的概率进行计算。
与现有技术相比，本发明的有益效果为：
上述方案，设计了微动脉瘤候选区域生成算法，用于目标检测前期生成候选框，并利用数据增强来扩充训练样本的数量。运用迁移学习的方法，使用预训练的VGG16模型和分类器进行联合训练。为了对实验效果进行有效的评判，使用FROC曲线评价指标来对微动脉瘤检测识别结果进行评判。实验证明，该方法在7种较低FPs值下的平均灵敏度可达0.441，优于现有的已知方法。
附图说明
图1是本发明实施例的一种基于R-CNN架构的眼底微动脉瘤检测的流程示意图。
图2是本发明中的U-net结构图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。本发明实施例中有关方向性指示(诸如上、下、左、右、前、后等)仅用于解释在某一特定姿态(如附图所示)下各部件之间的相对位置关系、运动情况等，如果该特定姿态发生改变时，则该方向性指示也相应地随之改变。
如背景技术所述，目标检测是机器视觉领域的重要问题之一，它的任务是找出图像中所有感兴趣的目标(物体)，确定它们的位置和大小。图像分类模型是将图像划分为单个类别，通常对应于图像中最突出的物体。糖网病早期在眼底图像中出现的病灶就是微动脉瘤，医生可以根据眼底图像中微动脉瘤的情况来对DR进行早期的筛查。采用数字图像处理的方式，对眼底图像中的微血管瘤病灶实现精确地检测识别可以大大减少医生的工作量，在辅助医生对DR患者诊断的同时，也不会因为医生自身经验等原因而造成结果上的差异。因此，在大规模DR筛查中，设计一种检测眼底图像中微血管瘤的辅助诊断技术可以帮助眼科医生快速、有效的实现诊断，同时也可以帮助患者尽早得到治疗，这对患者和医生都具有十分重要的意义。
本发明的技术方案通过对原始图像进行预处理，基于深度学习自动提取图像特征，根据损失函数训练得到效果最好的模型。输入数据只需要做简单的图像预处理，然后将预处理得到的图像作为样本，通过设计好的网络自动训练，然后将训练好的模型用于自动检测出微血管瘤，与传统的处理方法相比，深度学习只是对原始图片集做了简单的预处理，不需要借助任何先验信息的情况下就可以达到较高的准确率。
为使本发明的上述目的、特征和有益效果能够更为明显易懂，下面结合附图对本发明的具体实施例做详细的说明。
图1是本发明实施例的一种基于R-CNN架构的眼底微动脉瘤检测方法的流程示意图。参见图1，一种基于R-CNN架构的眼底微动脉瘤检测方法，具体可以包括如下的步骤：
步骤S101：获取一系列眼底图像作为原始数据集。
步骤S102：对眼底图像数据集进行预处理。
在具体实施中，对所述数据集进行绿色通道提取，相比于其他通道，绿色通道中的血管、视盘、黄斑区以及微动脉瘤更加清晰。所以考虑采用RGB颜色模型将眼底图像进行分解，然后提取绿色通道得到灰色图像作为后续处理的基础。对所述数据集进行感兴趣区域提取，眼底图像总是以矩形的形式记录，但关注的是眼睛轮廓内部的信息，眼睛周围的黑色部分可以看做背景，不需要关注。为了更好的分割出眼睛的感兴趣区域，将采用最大类间方差法(OSTU)进行最佳阈值的计算。对所述数据集进行图像标准化，由于不同眼底图像之间的亮度因拍摄条件不同而各不相同，这不利于检测，标准化之后方便对图像进行同一操作，同时也可以增加一些特征的清晰度。对所述数据集进行图像增强，为了进一步得到对比度更高的图像，使用CLAHE算法进行图像增强。
对所述数据集进行伽马变换，主要目的是增加暗色部分的对比度，γ变换算法首先对将一个图像的像素值进行归一化转换为0～1之间的实数，然后根据公式f(I)＝Iγ对归一化的值进行预补偿计算，最后将预补偿的实数反归一化为0～255的实数。
对所述数据集进行高斯滤波处理，经过之前的几个操作，眼底图像中的特征已经可以清晰的展现出来了，但同样的眼睛部分里的噪声也会跟着操作有可能被增强。由于微动脉瘤的外形特点是尺寸较小的黑色圆点，其像素特征大致为中心区域像素值底且四周部分像素值逐渐向外增加。根据微动脉瘤在图像中的特点，选择高斯滤波对图像进行滤波操作，这样可以在尽可能保留微动脉瘤信息的同时弱化噪声。
步骤S103：对预处理图像进行血管分割。
主要使用U-net模型实现眼底图像中的血管分割，U-net由左半边的压缩通道和右半边的扩展通道组成。在压缩通道部分采用VGGNet-16结构，主要重复采用2个卷积层和1个最大池化层的结构进行特征的提取和压缩。扩展通道结构是反卷积网络，先进行1次反卷积操作，使特征图的维数减半，然后拼接对应压缩通道裁剪得到的特征图，重新组成一个2倍大小的特征图，再采用2个卷积层进行特征提取，并重复这一结构。在最后的输出层，用2个卷积层将64维的特征图映射成2维的输出图，实现特征图到原始图像大小的还原。高层特征图与底层特征图的组合和卷积操作，使模型可以获得更加精确的输出特征图。实验证明，即便在训练样本较少的情况下，U-net模型也可以得到很准确的语义分割结果。
步骤S104：对预处理图像经局部自适应阈值分割、去除血管以及面积筛选三个步骤得到真正的微动脉瘤候选区域。
在具体实施中，对所述预处理图像进行自适应阈值分割，对于坐标为(x，y)的像素f(x，y)，取其四周边长为35像素的局部邻域块。然后，将邻域块高斯加权和记为T(x，y)，T(x，y)再加上常数C＝10作为该像素的分割阈值，最后进行反向二值化的操作得到处理后的图像h(x，y)。对于预处理图像f(x，y)对按照如下公式处理得到图像h(x，y)：
Figure GDA0003722902760000091
经过自适阈值分割处理后就可以到包含微动脉瘤候选区域的掩模图像。
对所述预处理图像进行去除血管，对于之前得到的血管分割图像，采用固定阈值分割同样生成眼底血管的反向二值化图像，记为Ivessel。由于对血管图像采用固定阈值分割对导致出现主血管外产生许多小的血管残留，因此继续对Ivessel中的区域进行面积过滤，将其中面积小的区域去除，得到最后只留下连通血管的掩模图像I′vessel，接下来，将由预处理图像经自适应二值化后得到的掩膜图像记为I1，利用血管掩模图像I′vessel减去I1，就可以得到不含血管的掩膜图像I2。
对所述I2进行微血管瘤候选面积筛选，I2中残留一些较大血管块，圆球边界部分、形状瘦长的小血管以及细小的噪声。根据经验，微动脉瘤近似圆形，虽然面积较小但比一般噪声要大。根据微动脉瘤的特点，对I2中的每一个区域轮廓进行判断，将其中区域面积过大、面积过小以及形状过于瘦长的区域去除，得到最终的微动脉瘤候选区域掩膜图像Icandidates。
对所述最终得到的微动脉瘤候选区域掩模图像Icandidates，找到其中每个区域所对应的质心位置以及所对应轮廓的最小外接矩形，然后据此对应于预处理图像。在预处理图像中根据掩膜图像的信息，设计合适大小的尺寸提取微动脉瘤候选区域。
步骤S104：采用数据增强扩充训练样本数量。
经候选区域提取生成的样本中，正类样本数量和负类样本量有着很大的差距，存在数据不平衡现象。为了解决这个问题，采用对称变换、旋转等操作对正类样本进行数据增强。此外，在进行候选区域提取时，将截取的尺寸(w+c)×(h+c)中的常数c取20到40中的多个不同的值，即选取多个不同尺寸的候选区域作为微动脉瘤候选样本来作为之后卷积神经网络的训练。这样构造样本集，在解决了数据不平衡的同时，还增加了不同尺度的微动脉瘤训练样本，使卷积神经网络可以更好的识别不同大小的微动脉瘤，充分学习微动脉瘤及其附近背景的特征。
步骤S105：采用迁移学习的方法，使用预训练的VGG16网络对样本进行特征提取，并在特征提取网络之后添加微动脉瘤分类器进行联合训练。
采用VGG16微调模型，将模型最后一个卷积块与定义的分类器进行联合训练。需要对得到的微动脉瘤候选样本进行分类，即判断该样本中是否真正含有微动脉瘤。所以，现在面对的是一个二分类问题，因此在分类器的最后一层使用sigmod激活的单一单元。这个单元将对输入样本属于微动脉瘤的概率进行计算。
上述对本发明实施例中的基于R-CNN架构的眼底微动脉瘤检测方法进行了详细的描述。
以上显示和描述了本发明的基本原理、主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，本发明要求保护范围由所附的权利要求书、说明书及其等效物界定。

Claims (5)

1.一种基于R-CNN架构的眼底微动脉瘤目标检测模型，其特征在于：包括：
获取一系列眼底视网膜图像作为原始数据集；
对眼底图像进行预处理；
对预处理图像进行血管分割；
对预处理图像经局部自适应阈值分割、去除血管以及面积筛选三个步骤得到真正的微动脉瘤候选区域，包括：
对所述预处理图像进行自适应阈值分割，经过自适阈值分割处理后得到包含微动脉瘤候选区域的掩模图像；
对所述预处理图像进行去除血管，将前述步骤得到的掩膜图像，利用血管掩模图像减去自适应二值化后得到的掩模图像，得到不含血管的掩膜图像；对所述不含血管的掩模图像进行微血管瘤候选面积筛选；将其中区域面积大于400个像素点或小于4个像素点以及外界矩形长边与短边之比大于3的区域去除，得到最终的微动脉瘤候选区域掩膜图像；
对所述最终得到的微动脉瘤候选区域掩模图像，找到其中每个区域所对应的质心位置以及所对应轮廓的最小外接矩形w×h，然后据此对应于预处理图像；在预处理图像中根据掩膜图像的信息，提取长宽为(w+L)×(h+L)的矩形区域作为微动脉瘤候选区域，其中L为常数，取L＝11,12,…,17；
采用数据增强扩充训练样本数量；
采用迁移学习的方法，使用预训练的VGG16网络对样本进行特征提取，并在特征提取网络之后添加微动脉瘤分类器进行联合训练。
2.根据权利要求1所述的基于R-CNN架构的眼底微动脉瘤目标检测模型，其特征在于：将所述原始数据集进行预处理，包括：
对所述数据集中的图像按照原有长宽比进行放缩，使得放缩后的图像中长边为1440像素；
对所述数据集进行绿色通道提取及感兴趣区域提取，得到清晰的眼睛轮廓内部信息；
对所述数据集进行图像标准化，以便对图像进行统一操作，同时增强微动脉瘤在眼底视网膜图像中呈黑色点状的特征；
对所述数据集进行伽马变换，以增加暗色部分的对比度；
对所述数据集进行高斯滤波处理，在保留微动脉瘤信息的同时弱化噪声。
3.根据权利要求1所述的基于R-CNN架构的眼底微动脉瘤目标检测模型，其特征在于：所述对预处理图像进行血管分割，包括对所述数据集主要使用U-net模型实现眼底图像中的血管分割，所述U-net模型由左半边的压缩通道和右半边的扩展通道组成。
4.根据权利要求1所述的基于R-CNN架构的眼底微动脉瘤目标检测模型，其特征在于：所述采用数据增强扩充训练样本数量，至少采用对称变换或旋转操作对正类样本进行数据增强。
5.根据权利要求1所述的基于R-CNN架构的眼底微动脉瘤目标检测模型，其特征在于，所述采用迁移学习的方法，使用预训练的VGG16网络对样本进行特征提取，并在特征提取网络之后添加微动脉瘤分类器进行联合训练，包括：
采用VGG16微调模型，将模型最后一个卷积块与定义的分类器进行联合训练。
CN201910524945.6A 2019-06-18 2019-06-18 基于r-cnn的眼底图像微动脉瘤识别方法 Active CN110276356B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910524945.6A CN110276356B (zh) 2019-06-18 2019-06-18 基于r-cnn的眼底图像微动脉瘤识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910524945.6A CN110276356B (zh) 2019-06-18 2019-06-18 基于r-cnn的眼底图像微动脉瘤识别方法

Publications (2)

Publication Number Publication Date
CN110276356A CN110276356A (zh) 2019-09-24
CN110276356B true CN110276356B (zh) 2022-09-06

Family

ID=67960899

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910524945.6A Active CN110276356B (zh) 2019-06-18 2019-06-18 基于r-cnn的眼底图像微动脉瘤识别方法

Country Status (1)

Country Link
CN (1) CN110276356B (zh)

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110751636B (zh) * 2019-10-12 2023-04-21 天津工业大学 一种基于改进型编解码网络的眼底图像视网膜动脉硬化检测方法
CN110766643A (zh) * 2019-10-28 2020-02-07 电子科技大学 一种面向眼底图像的微动脉瘤检测方法
CN113112443B (zh) * 2019-12-25 2024-03-22 飞依诺科技股份有限公司 超声图像病灶的分割方法、装置和计算机设备
CN111369506B (zh) * 2020-02-26 2022-08-02 四川大学 一种基于眼部b超图像的晶状体浑浊度分级方法
CN111462082A (zh) * 2020-03-31 2020-07-28 重庆金山医疗技术研究院有限公司 一种病灶图片识别装置、方法、设备及可读存储介质
CN111754481B (zh) * 2020-06-23 2024-03-15 北京百度网讯科技有限公司 眼底图像识别方法、装置、设备以及存储介质
CN111862071B (zh) * 2020-07-29 2024-03-05 南通大学 一种基于ct图像测量腰1椎体ct值的方法
CN112184647B (zh) * 2020-09-22 2023-07-04 清华大学深圳国际研究生院 基于迁移卷积网络对眼底图像进行血管病变分级识别方法
CN112215815A (zh) * 2020-10-12 2021-01-12 杭州视在科技有限公司 一种用于建筑工地的裸土覆盖自动检测方法
CN113554660B (zh) * 2020-11-28 2024-03-12 上海海事大学 一种用于检测眼底微动脉瘤的检测方法
CN112541924B (zh) * 2020-12-08 2023-07-18 北京百度网讯科技有限公司 眼底图像生成方法、装置、设备以及存储介质
CN112700409A (zh) * 2020-12-28 2021-04-23 中南大学 视网膜微动脉瘤自动检测方法及成像方法
CN113284160B (zh) * 2021-04-23 2024-03-12 北京天智航医疗科技股份有限公司 一种手术导航标记珠体识别的方法、装置和设备
CN113537298A (zh) * 2021-06-23 2021-10-22 广东省人民医院 一种视网膜图像分类方法及装置
CN113506284B (zh) * 2021-07-26 2023-05-09 电子科技大学 一种眼底图像微血管瘤检测装置、方法及存储介质
CN113610841B (zh) * 2021-08-26 2022-07-08 首都医科大学宣武医院 一种血管异常图像识别方法、装置、电子设备和存储介质
CN113768460B (zh) * 2021-09-10 2023-11-14 北京鹰瞳科技发展股份有限公司 一种眼底图像分析系统、方法以及电子设备
CN114445364B (zh) * 2022-01-25 2024-05-07 中南大学 眼底图像微动脉瘤区域检测方法及其成像方法
CN114390287A (zh) * 2022-03-24 2022-04-22 青岛大学附属医院 一种医疗图像传输控制方法及系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103544686A (zh) * 2013-10-25 2014-01-29 天津工业大学 基于相位一致性的眼底图像微动脉瘤检测方法
CN106228566A (zh) * 2016-08-15 2016-12-14 哈尔滨工业大学 基于梯度响亮分析的视网膜微动脉瘤的自动检测与识别方法
CN106355584A (zh) * 2016-08-30 2017-01-25 上海交通大学 基于局部熵确定阈值的眼底图像微动脉瘤自动检测方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103544686A (zh) * 2013-10-25 2014-01-29 天津工业大学 基于相位一致性的眼底图像微动脉瘤检测方法
CN106228566A (zh) * 2016-08-15 2016-12-14 哈尔滨工业大学 基于梯度响亮分析的视网膜微动脉瘤的自动检测与识别方法
CN106780465A (zh) * 2016-08-15 2017-05-31 哈尔滨工业大学 基于梯度向量分析的视网膜图像微动脉瘤自动检测与识别方法
CN106355584A (zh) * 2016-08-30 2017-01-25 上海交通大学 基于局部熵确定阈值的眼底图像微动脉瘤自动检测方法

Also Published As

Publication number Publication date
CN110276356A (zh) 2019-09-24

Similar Documents

Publication Publication Date Title
CN110276356B (zh) 基于r-cnn的眼底图像微动脉瘤识别方法
CN109472781B (zh) 一种基于串行结构分割的糖尿病视网膜病变检测系统
Narasimha-Iyer et al. Robust detection and classification of longitudinal changes in color retinal fundus images for monitoring diabetic retinopathy
US7474775B2 (en) Automatic detection of red lesions in digital color fundus photographs
Siddalingaswamy et al. Automatic localization and boundary detection of optic disc using implicit active contours
Sánchez et al. Retinal image analysis to detect and quantify lesions associated with diabetic retinopathy
Kande et al. Segmentation of exudates and optic disk in retinal images
Giachetti et al. Multiresolution localization and segmentation of the optical disc in fundus images using inpainted background and vessel information
Elbalaoui et al. Automatic detection of blood vessel in retinal images
Li et al. Vessel recognition of retinal fundus images based on fully convolutional network
Uribe-Valencia et al. Automated Optic Disc region location from fundus images: Using local multi-level thresholding, best channel selection, and an Intensity Profile Model
Al-Akhras et al. Using soft computing techniques to diagnose Glaucoma disease
Kanca et al. Learning hand-crafted features for k-NN based skin disease classification
Gou et al. A novel retinal vessel extraction method based on dynamic scales allocation
Jana et al. A semi-supervised approach for automatic detection and segmentation of optic disc from retinal fundus image
Krishnamoorthi et al. Hybrid feature vector based detection of Glaucoma
CN111292285B (zh) 一种基于朴素贝叶斯与支持向量机的糖网病自动筛查方法
Prakash et al. Automated grading of Diabetic Retinopathy stages in fundus images using SVM classifer
Martins Automatic microaneurysm detection and characterization through digital color fundus images
Athab et al. Disc and Cup Segmentation for Glaucoma Detection
Ashame et al. Abnormality Detection in Eye Fundus Retina
CN113269756A (zh) 基于多尺度匹配滤波与粒子群优化视网膜血管分割方法、装置
CN114140830A (zh) 一种基于循环肿瘤细胞图像的重复识别抑制方法
Mei et al. Optic disc segmentation method based on low rank matrix recovery theory
Li et al. Detection and identification of hemorrhages in fundus images of diabetic retinopathy

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant