CN110648344B - 一种基于局部病灶特征的糖尿病视网膜病变分类装置 - Google Patents

一种基于局部病灶特征的糖尿病视网膜病变分类装置 Download PDF

Info

Publication number
CN110648344B
CN110648344B CN201910862186.4A CN201910862186A CN110648344B CN 110648344 B CN110648344 B CN 110648344B CN 201910862186 A CN201910862186 A CN 201910862186A CN 110648344 B CN110648344 B CN 110648344B
Authority
CN
China
Prior art keywords
image
fundus
training
probability
local
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910862186.4A
Other languages
English (en)
Other versions
CN110648344A (zh
Inventor
段贵多
朱大勇
赵太银
任亚洲
刘江明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Electronic Science and Technology of China
Original Assignee
University of Electronic Science and Technology of China
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Electronic Science and Technology of China filed Critical University of Electronic Science and Technology of China
Priority to CN201910862186.4A priority Critical patent/CN110648344B/zh
Publication of CN110648344A publication Critical patent/CN110648344A/zh
Application granted granted Critical
Publication of CN110648344B publication Critical patent/CN110648344B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30041—Eye; Retina; Ophthalmic
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Public Health (AREA)
  • Medical Informatics (AREA)
  • Evolutionary Computation (AREA)
  • Primary Health Care (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Epidemiology (AREA)
  • Geometry (AREA)
  • Pathology (AREA)
  • Databases & Information Systems (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Image Analysis (AREA)
  • Eye Examination Apparatus (AREA)

Abstract

本发明属于医疗图像分类领域，涉及深度学习，具体为一种基于局部病灶特征的糖尿病视网膜病变分类装置，用于解决深度模型在眼底图像上分类效果不佳、结果缺乏解释性等问题。本发明通过分别对眼底图像全局特征及局部病灶信息的提取，使得病变程度严重的图像中的信息能够得到充分利用，解决了由于数据量不足且不平衡导致的深度学习在糖网病变分类领域应用效果不佳的问题；并且在局部病灶信息提取过程中，输出了眼底图像中局部病灶信息的标注结果，解决了深度学习模型结果可解释程度低的问题，提高了对眼科医生诊断病情的辅助作用。

Description

一种基于局部病灶特征的糖尿病视网膜病变分类装置
技术领域
本发明属于医疗图像分类领域，涉及深度学习，具体为一种基于局部病灶特征的糖尿病视网膜病变分类装置。
背景技术
糖尿病视网膜病变，一般简称为糖网病变，是一种血管病变，是较为常见的糖尿病并发症，糖尿病会造成患者人体血糖出现代谢紊乱，并对患者全身的血管和微血管造成侵害，病情恶化时甚至会造成人体血管破裂、缺血，双眼失明等严重问题。通过对患者视网膜眼底图像的检查是糖网病变诊断的主要手段，而传统的诊断糖网病变方法是依靠眼科医生对患者视网膜眼底图像的检查，该方法准确率高但耗时耗力，容易延误治疗。
随着生活水平的提高，人们的健康意识逐渐增强，医学的发展也成为社会关注的焦点。目前通过深度学习对患者眼底图像进行糖网病变病情的自动诊断方法主要是通过将预处理过后的视网膜眼底图像输入卷积神经网络中，最终输出对病情的诊断结果；但这种方法由于医疗图像的特殊性及医疗图像分析领域的专业性，存在着一些共性缺点：一是由于眼底图像中糖网病变特征分布稀疏，部分关键病灶所占区域小，在降低图像分辨率后检测非常困难，从而导致传统的深度学习模型难以取得良好的病变分类效果；二是深度模型的预测结果缺乏解释性，对医生诊断的辅助效果有限。
发明内容
本发明的目的在于针对上述缺陷，提供基于深度学习技术的一种基于局部病灶特征的糖尿病视网膜病变分类装置，旨在解决深度模型在眼底图像上分类效果不佳、结果缺乏解释性等问题。
为了达到上述目的，本发明采用技术方案如下：
一种基于局部病灶特征的糖尿病视网膜病变分类装置，所述装置包括：用于采集视网膜眼底图像的采集装置，用于接收所述视网膜眼底图像的计算机；所述计算机被编程以执行如下步骤：
步骤1、对患者双眼眼底图像进行预处理，首先对每张眼底图像中四个方向边缘进行检测，提取图像中心，得到眼底中心图像；然后对眼底中心图像依次进行绿色通道提取、对比度增强操作；
步骤2、将步骤1中得到的眼底中心图像的分辨率缩小为512×512，再将图像送入预训练的Inception-Resnet v2中进行特征提取，获得1024维的全局特征向量；
步骤3、对步骤1中得到的眼底中心图像通过128×128的滑动窗口顺序截取图像切片，每张眼底图像获取256个图像切片；将每个图像切片送入四个预训练的DenseNet中，得到一个4个概率向量，进而每张眼底图像获得1024维的局部病灶概率向量；
步骤4、随机对步骤1中的眼底中心图像进行图像翻转、平滑操作、对比度调整或图像旋转处理，并对处理后图像执行步骤2与步骤3、得到全局特征向量与局部病灶概率向量；重复该过程多次，并计算平均值，得到平均全局特征向量及平均局部病灶概率向量；再将平均全局特征向量与平均局部病灶概率向量合并，得到2048维的特征向量；最后将双眼眼底图像的特征向量合并，得到4096维的特征向量；
步骤5、将4096维特征向量送入预训练的轻量级梯度提升树，得到病变预测结果。
进一步的，所述步骤3中，四个预训练的DenseNet分别对应出血、硬性渗出、软性渗出及微动脉瘤四种病灶，每个图像切片送入四个预训练的DenseNet中，得到一个4个概率向量：
s1＝[pbleeding,phard exudation,psoft exudation,pmicroaneurysm]
其中，pbleeding表示出血的概率，phard exudation表示硬性渗出的概率，psoft exudation表示软性渗出的概率，pmicroaneurysm表示微动脉瘤的概率；当概率大于0.5时，则认定图片切片存在该概率值对应的病灶；
根据对眼底图像中每个图片切片的病灶检测，生成一个标注局部切片病灶信息的眼底图像。
进一步的，所述步骤2中，预训练的Inception-Resnet v2的训练过程为：
步骤2.1、构建全局特征提取所需的眼底图像样本集；
1)对原始数据集进行数据清洗；
2)对清洗后数据集中每张眼底图像中四个方向边缘进行检测，并每个方向留出20像素的黑色背景，将图像中心提取出来，得到眼底中心图像；
3)使用十字剪切和K值扩增对数据集进行扩充；
4)图像预处理，对扩充后的数据集中的眼底中心图像依次进行绿色通道提取、对比度增强操作，并将图像分辨率压缩至512×512；
步骤2.2、采用步骤2.1构建的眼底图像样本集对Inception-ResNet v2模型进行训练，于网络的softmax层前提取图像特征，得到1024维的全局特征向量。
更进一步的，所述步骤3中，四个预训练的DenseNet的训练过程为：
步骤3.1、将步骤2.1构建的眼底图像样本集中的每幅图像通过128×128的滑动窗口在图像中心位置顺序截取256个局部图像切片；
步骤3.2、对眼底图像切片进行标注，包括：出血、硬性渗出、软性渗出、微动脉瘤和其他5类；
步骤3.3、将所有图像切片按照标注分类构建4个DenseNet网络训练集，分别对应出血、硬性渗出、软性渗出及微动脉瘤4种病灶；
步骤3.4、采用步骤3.3的4个DenseNet网络训练集分别对4个DenseNet网络进行训练，训练过程中冻结决策层以前的所有卷积层，只对最后的决策层进行训练。
进一步的，所述步骤5中，预训练的轻量级梯度提升树的训练过程为：
步骤5.1、将步骤2.1构建的眼底图像样本集中的每幅图像依次执行步骤2～步骤4，得到图像对应的4096维的特征向量；将所有眼底图像的4096维的特征向量构建得轻量级梯度提升树训练集；
步骤5.2、将步骤5.1训练集输入到轻量级梯度提升树模型中，随机选择超参数并训练多次，从中选择最佳参数组；选择多对数损失作为损失函数，并将梯度增强决策树(gradient boosting decision tree，GBDT)和丢弃式多重加性回归树(Dropouts meetMultiple Additive Regression Trees，DMAT)作为增强类型的随机选择。
与现有技术相比，本发明的有益效果在于：
本发明通过分别对眼底图像全局特征及局部病灶信息的提取，使得病变程度严重的图像中的信息能够得到充分利用，解决了由于数据量不足且不平衡导致的深度学习在糖网病变分类领域应用效果不佳的问题；并且在局部病灶信息提取过程中，输出了眼底图像中局部病灶信息的标注结果，解决了深度学习模型结果可解释程度低的问题，提高了对眼科医生诊断病情的辅助作用。
附图说明
图1为本发明的总体流程图；
图2为本发明的预处理流程图；
图3为本发明的全局特征提取网络架构示意图；
图4为本发明的局部病灶特征提取网络架构示意图；
图5为本发明的局部特征标注图示例图。
具体实施方式
下面结合附图和实施例对本发明做进一步说明：
本实施例提供一种基于局部病灶特征的糖尿病视网膜病变分类装置，所述装置包括：用于采集视网膜眼底图像的采集装置，用于接收所述视网膜眼底图像的计算机；所述计算机被编程以执行如图1所示步骤，共包含5个步骤，分别为：预处理、全局特征提取、局部病灶特征提取、特征融合与病变程度预测；其中预处理为后续的训练及预测的基础步骤，全局特征提取和局部特征提取是分别从全局与局部获取眼底图像的特征信息，特征融合将全局与局部的特征信息合并，最后通过病变程度预测得到糖尿病视网膜病变预测结果。
具体步骤如下：
1.预处理，如图2所示
1.1数据清洗，对数据集中16171个患者共计32342张眼底图像进行数据清洗，去除其中受到光线、错误操作严重干扰的低质量图像；
1.2中心区域提取，由于眼底图像中黑色背景区域平均占到了图像的55％以上，因此需要对无信息的黑色背景部分进行裁剪；需要先进行边缘检测，由于检测敏感性，使用如下所示的拉普拉斯边缘检测算子对图像边缘进行检测：
Figure BDA0002200123700000041
对每张眼底图像中四个方向边缘进行检测，为了后续的数据扩增，每个方向留出20像素的黑色背景，将图像中心提取出来；
1.3十字剪切与K值扩增，眼底图像数据集中数据量不足且未病变的图像占了70％以上，为了扩充数据集，并且平衡数据集从而使模型预测结果的倾向性减小，使用十字剪切和K值扩增对数据集扩充；
1.3.1十字剪切，设定窗口宽高为裁剪后的眼底图像的宽高减去10像素，并分别将窗口置于图像的上下左右以及中间五个位置，共可获得5张扩增样本；
1.3.2K值扩增，根据数据集中每类样本的数据量，设定不同的K值，其中，0级(无明显视网膜病变)为1，1级(轻度NPDR)为2，2级(中度NPDR)为2，3级(重度NPDR)为4，4级(PDR)为5；将十字剪切得到的5张扩增样本根据图像所属类别随机保留K个样本；
1.4、图像预处理，对扩充后的数据集中的眼底图像进行预处理，以减少光照、眼底照相机等不同对图像的影响，依次对图像进行绿色通道提取、对比度增强操作；
1.4.1绿色通道提取，从彩色视网膜眼底图像中提取绿色通道，眼底图像由红色，绿色和蓝色通道组成，其中绿色通道包含更多信息；
1.4.2对比度增强，保持平均亮度，并能产生质量更好的图像；
2.全局特征提取，如图3所示；
2.1数据制作，对于步骤1中得到的宽高不同的图像样本，提取出图像中心的正方形图像样本，并将图像的分辨率压缩至512×512；
2.2全局特征提取，将512×512的图像样本输入由Keras平台中经过ImageNet预训练的Inception-ResNet v2模型，模型大小为215M，其中有5587万的参数，层数为572层，在网络的softmax层前提取图像特征，得到一个1024维的全局图像特征；
3.局部病灶特征提取，如图4所示；
3.1图像局部切片获取，使用一个大小为128×128的滑动窗口，对步骤1的数据集中眼底样本的中心位置顺序截取图像切片，在获得256个图像切片后停止；
3.2切片病灶标注，对128×128的眼底图像切片进行病灶标注，共有软性渗出、硬性渗出、出血、微动脉瘤和其他5类，其中，其他类包含了无病灶切片和非四种主要病灶切片；
3.3病灶检测数据集制作，使用标注好的眼底图像切片制作4个数据集，分别用来检测软性渗出、硬性渗出、出血、微动脉瘤4种病灶；其中，每个数据集中正样本为12000张对应病灶的图像切片，负样本为12000张非检测目标的病灶图像切片及其他图像切片，正负样本各随机选择10000张作为病灶检测实验的训练集，其余4000张样本作为验证集；
3.4病灶检测模型训练，使用4个数据集对经过ImageNet预训练的DenseNet网络进行训练，训练过程中冻结决策层以前的所有卷积层，只对最后的决策层进行训练，迭代次数为200次，将初始学习率设置为0.1，mini-batch设置为16，并在每计算5000步之后将学习率减少一半，最后保存训练过程中在验证集上取得最好效果的网络参数；
3.5病灶检测，使用训练完成的病灶检测模型对眼底图像切片进行病灶检测，将眼底图像切片送入DenseNet网络中，由于四个DenseNet的卷积层参数相同，因此可以通过相同的前期卷积层进行特征提取，最后分别送入四个不同的决策层对各种病灶进行检测；
3.6局部病灶特征获取，每张眼底图像切片可获得一个4维的概率向量，概率向量示例如下，其中分别对应病灶检测模型检测出的图像局部的出血、硬性渗出、软性渗出和微动脉瘤的存在概率；将每张眼底图像的256个图像切片的概率向量合并，就可以得到一个1024维的局部病灶概率向量；
s1＝[pbleeding,phard exudation,psoft exudation,pmicroaneurysm]＝[0.03,0.84,0.21,0.73]
3.7病灶标注，根据对眼底图像中每个局部切片的病灶检测概率，将概率大于0.5的图像切片认定为存在病灶，如示例中的s1所对应的病灶结果为如下所示，其中L1为检测出的病灶种类；在原图中局部切片的位置标注出所检测的病灶，辅助医生诊断，如图5所示；
L1＝[Lhard exudation,Lmicroaneurysm]
4.特征融合
4.1随机图像变换，随机对图像进行调整，包括翻转，对图像随机进行水平翻转、垂直翻转、水平翻转或者不翻转；平滑，随机选择中值滤波器或高斯滤波器对图像进行平滑操作，或者不进行平滑操作；对比度调整，在预先设置的阈值范围内，随机对图像的对比度进行调整；旋转，在0°到360°范围内随机选择一个角度对图像进行旋转操作；
4.2特征获取，将随机调整后获得的图像分别进行步骤2和步骤3，得到一个1024维的全局特征向量和一个1024维的局部病灶概率向量；
4.3平均特征计算，将上述步骤4.1和4.2进行50次，对得到的50个全局特征向量和50个局部病灶概率向量分别计算平均值，得到平均全局特征向量和平均病灶概率向量；
4.4图像特征融合，将平均全局特征向量和平均病灶概率向量合并，得到一个2048维的特征向量；
4.5双眼特征融合，将患者的左右眼的眼底图像分别计算得到2048维特征向量，并将两个特征向量合并得到1个4096维的特征向量；
5.病变情况预测
5.1病变分类数据集制作，使用12000个患者的眼底图像，其中包括5类病变程度中每一类2400名患者的双眼图像，对每一位患者的双眼眼底图像进行步骤1-4，获得12000个4096维的特征向量，在其中随机每类选择2000个共10000个样本作为病变分类实验的训练集，其余2000个样本作为实验的验证集；
5.2轻量级梯度提升树(Light GBM)训练，使用10000个特征向量对轻量级梯度提升树进行训练；将其输入到轻量级梯度提升树模型中，随机选择超参数并训练7次，从中选择最佳参数组；选择多对数损失作为损失函数，并将梯度增强决策树(gradient boostingdecision tree，GBDT)和丢弃式多重加性回归树(Dropouts meet Multiple AdditiveRegression Trees，DMAT)作为增强类型的随机选择；
5.3病变预测结果获取，将每位患者双眼眼底图像通过步骤1-4提取的4096维特征输入到训练完成的轻量级梯度提升树中，Light GBM最终会输出对患者病变程度的预测结果。
以上所述，仅为本发明的具体实施方式，本说明书中所公开的任一特征，除非特别叙述，均可被其他等效或具有类似目的的替代特征加以替换；所公开的所有特征、或所有方法或过程中的步骤，除了互相排斥的特征和/或步骤以外，均可以任何方式组合。

Claims (4)

1.一种基于局部病灶特征的糖尿病视网膜病变分类装置，所述装置包括：用于采集视网膜眼底图像的采集装置，用于接收所述视网膜眼底图像的计算机；所述计算机被编程以执行如下步骤：
步骤1、对患者双眼眼底图像进行预处理，首先对每张眼底图像中四个方向边缘进行检测，提取图像中心，得到眼底中心图像；然后对眼底中心图像依次进行绿色通道提取、对比度增强操作；
步骤2、将步骤1中得到的眼底中心图像的分辨率缩小为512×512，再将图像送入预训练的Inception-Resnet v2中进行特征提取，获得1024维的全局特征向量；
步骤3、对步骤1中得到的眼底中心图像通过128×128的滑动窗口顺序截取图像切片，每张眼底图像获取256个图像切片；将每个图像切片送入四个预训练的DenseNet中，得到一个4维概率向量，进而每张眼底图像获得1024维的局部病灶概率向量；其中，四个预训练的DenseNet分别对应出血、硬性渗出、软性渗出及微动脉瘤四种病灶，每个图像切片送入四个预训练的DenseNet中，得到一个4维概率向量：
s1＝[pbleeding,phardexudation,psoftexudation,pmicroaneurysm]
其中，pbleeding表示出血的概率，phardexudation表示硬性渗出的概率，psoftexudation表示软性渗出的概率，pmicroaneurysm表示微动脉瘤的概率；当概率大于0.5时，则认定图片切片存在该概率值对应的病灶；根据对眼底图像中每个图片切片的病灶检测，生成一个标注局部切片病灶信息的眼底图像；
步骤4、随机对步骤1中的眼底中心图像进行图像翻转、平滑操作、对比度调整或图像旋转处理，并对处理后图像执行步骤2与步骤3、得到全局特征向量与局部病灶概率向量；重复该过程多次，并计算平均值，得到平均全局特征向量及平均局部病灶概率向量；再将平均全局特征向量与平均局部病灶概率向量合并，得到2048维的特征向量；最后将双眼眼底图像的特征向量合并，得到4096维的特征向量；
步骤5、将4096维特征向量送入预训练的轻量级梯度提升树，得到病变预测结果。
2.按权利要求1所述基于局部病灶特征的糖尿病视网膜病变分类装置，其特征在于，所述步骤2中，预训练的Inception-Resnet v2的训练过程为：
步骤2.1、构建全局特征提取所需的眼底图像样本集；
1)对原始数据集进行数据清洗；
2)对清洗后数据集中每张眼底图像中四个方向边缘进行检测，并每个方向留出20像素的黑色背景，将图像中心提取出来，得到眼底中心图像；
3)使用十字剪切和K值扩增对数据集进行扩充；
4)图像预处理，对扩充后的数据集中的眼底中心图像依次进行绿色通道提取、对比度增强操作，并将图像分辨率压缩至512×512；
步骤2.2、采用步骤2.1构建的眼底图像样本集对Inception-ResNet v2模型进行训练，于网络的softmax层前提取图像特征，得到1024维的全局特征向量。
3.按权利要求2所述基于局部病灶特征的糖尿病视网膜病变分类装置，其特征在于，所述步骤3中，四个预训练的DenseNet的训练过程为：
步骤3.1、将步骤2.1构建的眼底图像样本集中的每幅图像通过128×128的滑动窗口截取256个局部图像切片；
步骤3.2、对眼底图像切片进行标注，包括：出血、硬性渗出、软性渗出、微动脉瘤和其他5类；
步骤3.3、将所有图像切片按照标注分类构建4个DenseNet网络训练集，分别对应出血、硬性渗出、软性渗出及微动脉瘤4种病灶；
步骤3.4、采用步骤3.3的4个DenseNet网络训练集分别对4个DenseNet网络进行训练，训练过程中冻结决策层以前的所有卷积层，只对最后的决策层进行训练。
4.按权利要求2所述基于局部病灶特征的糖尿病视网膜病变分类装置，其特征在于，所述步骤5中，预训练的轻量级梯度提升树的训练过程为：
步骤5.1、将步骤2.1构建的眼底图像样本集中的每幅图像依次执行步骤2～步骤4，得到图像对应的4096维的特征向量；将所有眼底图像的4096维的特征向量构建得轻量级梯度提升树训练集；
步骤5.2、将步骤5.1训练集输入到轻量级梯度提升树模型中，随机选择超参数并训练多次，从中选择最佳参数组；选择多对数损失作为损失函数，并将梯度增强决策树和丢弃式多重加性回归树作为增强类型的随机选择。
CN201910862186.4A 2019-09-12 2019-09-12 一种基于局部病灶特征的糖尿病视网膜病变分类装置 Active CN110648344B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910862186.4A CN110648344B (zh) 2019-09-12 2019-09-12 一种基于局部病灶特征的糖尿病视网膜病变分类装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910862186.4A CN110648344B (zh) 2019-09-12 2019-09-12 一种基于局部病灶特征的糖尿病视网膜病变分类装置

Publications (2)

Publication Number Publication Date
CN110648344A CN110648344A (zh) 2020-01-03
CN110648344B true CN110648344B (zh) 2023-01-17

Family

ID=69010385

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910862186.4A Active CN110648344B (zh) 2019-09-12 2019-09-12 一种基于局部病灶特征的糖尿病视网膜病变分类装置

Country Status (1)

Country Link
CN (1) CN110648344B (zh)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111227864B (zh) * 2020-01-12 2023-06-09 刘涛 使用超声图像利用计算机视觉进行病灶检测的装置
CN111214255B (zh) * 2020-01-12 2023-07-25 刘涛 一种医学超声图像计算机辅助方法
CN111640498A (zh) * 2020-06-08 2020-09-08 博奥生物集团有限公司 基于眼象数据的信息处理方法及装置
CN112233789A (zh) * 2020-10-12 2021-01-15 辽宁工程技术大学 一种区域特征融合的高血压视网膜病变分类方法
CN112712122B (zh) * 2020-12-31 2024-10-18 杭州电子科技大学 基于神经网络模型的角膜溃疡的分类检测方法及系统
CN112652394A (zh) * 2021-01-14 2021-04-13 浙江工商大学 基于多病灶目标检测的早产儿视网膜病变诊断系统
CN112966759B (zh) * 2021-03-15 2022-05-10 中国科学院长春光学精密机械与物理研究所 一种基于深度学习的眼底图像识别分类方法
CN114334098A (zh) * 2021-12-07 2022-04-12 武汉爱眼帮科技有限公司 一种关于眼底炫彩成像的目标识别系统与方法
CN114627078B (zh) * 2022-03-15 2024-09-27 平安科技（深圳）有限公司 视网膜病变识别设备、装置及存储介质
CN116823760B (zh) * 2023-06-25 2024-09-24 深圳市眼科医院(深圳市眼病防治研究所) 早产儿视网膜病变治疗方式的自动识别方法及系统

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110136147A (zh) * 2019-05-21 2019-08-16 湖北工业大学 一种基于U-Net模型的分割医学图像的方法、装置及存储介质
CN110210570A (zh) * 2019-06-10 2019-09-06 上海延华大数据科技有限公司 基于深度学习的糖尿病视网膜病变图像多分类方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10405739B2 (en) * 2015-10-23 2019-09-10 International Business Machines Corporation Automatically detecting eye type in retinal fundus images
CN108960257A (zh) * 2018-07-06 2018-12-07 东北大学 一种基于深度学习的糖尿病视网膜病变等级分级方法
CN109493954B (zh) * 2018-12-20 2021-10-19 广东工业大学 一种基于类别判别定位的sd-oct图像视网膜病变检测系统
CN110084252B (zh) * 2019-04-29 2023-09-29 上海科锐克医药科技有限公司 基于深度学习的糖尿病视网膜病变图像标注方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110136147A (zh) * 2019-05-21 2019-08-16 湖北工业大学 一种基于U-Net模型的分割医学图像的方法、装置及存储介质
CN110210570A (zh) * 2019-06-10 2019-09-06 上海延华大数据科技有限公司 基于深度学习的糖尿病视网膜病变图像多分类方法

Also Published As

Publication number Publication date
CN110648344A (zh) 2020-01-03

Similar Documents

Publication Publication Date Title
CN110648344B (zh) 一种基于局部病灶特征的糖尿病视网膜病变分类装置
US12114929B2 (en) Retinopathy recognition system
CN108771530B (zh) 基于深度神经网络的眼底病变筛查系统
CN109635862B (zh) 早产儿视网膜病plus病变分类方法
CN113012163A (zh) 一种基于多尺度注意力网络的视网膜血管分割方法、设备及存储介质
CN113160119A (zh) 一种基于深度学习的糖尿病视网膜病变图像分类方法
Rajput et al. Retinal blood vessels extraction using 2D median filter
CN115546227A (zh) 基于改进Unet网络的视网膜血管分割网络、分割方法、计算机设备和存储介质
Zhang et al. Hierarchical detection of red lesions in retinal images by multiscale correlation filtering
Kumari et al. Deep learning based detection of diabetic retinopathy using retinal fundus images
Zhang et al. T-net: Hierarchical pyramid network for microaneurysm detection in retinal fundus image
Desiani et al. A robust techniques of enhancement and segmentation blood vessels in retinal image using deep learning
CN115049682A (zh) 一种基于多尺度密集网络的视网膜血管分割方法
Athab et al. Disc and Cup Segmentation for Glaucoma Detection
Feroui et al. New segmentation methodology for exudate detection in color fundus images
Farahat et al. Diabetic retinopathy: New perspectives with artificial intelligence
CN117475270B (zh) 糖尿病视网膜病变图像的病灶识别方法及系统
Sindhusaranya et al. Hybrid algorithm for retinal blood vessel segmentation using different pattern recognition techniques
Singhal et al. Detection of Diabetic Retinopathy using Machine Learning
Vij et al. A Systematic Review on Deep Learning Techniques for Diabetic Retinopathy Segmentation and Detection Using Ocular Imaging Modalities
Ramya et al. A New Technique using Deep Learning to Segment Retinal Blood Vessels
Padmapriya et al. Image Processing Techniques in the Detection of Hemorrhages in Retinal Images (STARE & DRIVE)
Santhi et al. A novel algorithm to analyze retinal image using morphological operators
Diwakaran et al. Detection of Diabetic Retinopathy Disease Using Efficient Method of Image Processing
Rathod et al. Retinal blood vessels extraction using matched filter on high resolution fundus image database

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant