CN107330876A - 一种基于卷积神经网络的图像自动诊断方法 - Google Patents

一种基于卷积神经网络的图像自动诊断方法 Download PDF

Info

Publication number
CN107330876A
CN107330876A CN201710438482.2A CN201710438482A CN107330876A CN 107330876 A CN107330876 A CN 107330876A CN 201710438482 A CN201710438482 A CN 201710438482A CN 107330876 A CN107330876 A CN 107330876A
Authority
CN
China
Prior art keywords
eye fundus
fundus image
grader
image
neural networks
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710438482.2A
Other languages
English (en)
Inventor
高岩
于治楼
段成德
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jinan Inspur Hi Tech Investment and Development Co Ltd
Original Assignee
Jinan Inspur Hi Tech Investment and Development Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jinan Inspur Hi Tech Investment and Development Co Ltd filed Critical Jinan Inspur Hi Tech Investment and Development Co Ltd
Priority to CN201710438482.2A priority Critical patent/CN107330876A/zh
Publication of CN107330876A publication Critical patent/CN107330876A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30041—Eye; Retina; Ophthalmic

Abstract

本发明提供一种基于卷积神经网络的图像自动诊断方法，属于图片诊断技术领域，本发明主要利用对空间结构特征具有较强学习能力的卷积神经网络CNN组成分类器，对眼底图像进行特征学习，通过迁移学习和有监督学习训练该分类器，达到对DR进行自动诊断分级的目的。

Description

一种基于卷积神经网络的图像自动诊断方法
技术领域
本发明涉及图片诊断技术，尤其涉及一种基于卷积神经网络的图像自动诊断方法。
背景技术
DR是一种由糖尿病引起的视网膜神经的微血管病变，能够严重损害患者视力甚至致盲，临床检查以眼底照相为主。如果血糖长时间停留在较高水平，就会对视网膜造成持续破坏，引起视网膜病变或加重病情。但是病变早期几乎不会产生可察觉的症状，等到患者发现视觉受到影响之后，已经到了比较严重的程度，因此定期做眼科检查是预防和诊断DR的常规方法。
无论I型还是II型糖尿病，都有引起视网膜病变的风险。发病初期，患者视野出现小块的轻度模糊，随着病情的恶化，逐渐模糊，出现黑块，最后致盲。对 DR的病变程度，一般分为5级：0、无病变，1、轻度，2、中度，3、重度，4、增生性。临床检查手段以眼底照相为主。
传统的眼底检查由经验医师进行，但一方面医生和患者数量不成比例，另一方面人工检查依赖大量经验，且工作量大，长时间工作易疲劳出错，诊断结果也受情绪影响。近年来提出的一些DR自动化诊断方法，首先在眼底图像上提取感兴趣区域，即寻找病变区域，然后再综合病变区域信息判断DR程度。提取感兴趣区域的方法往往是借鉴医师的经验，利用图像处理技术，将病变区域的特点转化成图像或信号特征，然后训练分类器对DR分级。这些提取感兴趣区域的方法实际上并未完全自动化，诊断分级效果依赖于特征的选取，泛化性能也较差。
发明内容
为了解决以上技术问题，本发明提出了一种基于卷积神经网络的图像自动诊断方法。
由于深度学习技术的发展极大促进了特征学习方法的进步，本发明主要利用对空间结构特征具有较强学习能力的卷积神经网络CNN组成分类器，对眼底图像进行特征学习，通过迁移学习和有监督学习训练该分类器，达到对DR进行自动诊断分级的目的。
本发明的技术方案是：
一种基于深度卷积神经网络的自动诊断方法，利用深度神经网络对特征自动学习的能力和迁移能力，微调VGG16网络分类器，利用现有DR数据库的标注数据训练分类器，然后利用分类器对眼底图像进行DR分级。
具体来说，分类器的神经网络主体由VGG16的结构微调而成，输入层输入经过裁剪、归一化处理的眼底图像，采用迁移学习和有监督学习方式对训练集的眼底图像进行特征学习，输出层有5个神经元，输出眼底图像的DR等级概率，概率最大者即为该眼底图像对应的DR等级。参数大部分使用预训练好的参数，从而降低训练难度，然后利用带标注的DR数据集(Kaggle、Messidor等)训练整个网络，提高自动诊断的正确率。
神经网络的卷积层部分的参数使用经过ImageNet数据集训练的参数进行初始化，其他部分采取随机初始化的策略。损失函数设定为交叉熵损失函数，采用批量随机梯度下降法训练优化。
本发明的有益效果是
对眼底照片进行糖尿病视网膜病变自动分级，实现对糖尿病视网膜病变的完全自动化诊断，提高了自动诊断的正确率。
附图说明
附图1是眼底图像边缘检测、裁剪示意图；
附图2是VGG16神经网络图。
具体实施方式
下面结合附图对本发明的内容进行更加详细的阐述：
本发明使用卷积神经网络设计分类器，并利用迁移学习方法、有监督学习等方法训练分类器，对眼底照片进行糖尿病视网膜病变自动分级。
1、眼底图像裁剪去背景。除眼底影像外还含有部分黑色背景，这部分像素不包含任何有用信息，为减小计算量，需要裁剪掉黑色背景。
设原始眼底图像为img，首先转换成灰度图像img_gray，然后使用Canny边缘检测算法(最低阈值100，最高阈值300)检测img_gray边缘，得到img_canny。接下来由左至由检查img_canny每一列像素，如附图2中的红色矩形框所示，检测到有像素值为255的像素点停止，令x_left的值为该像素点x坐标。同理，由右至左，由上至下，由下至上分别得到x_right、y_top、y_bottom。然后，按照左上角(x_left,y_top)和右下角(x_right,y_bottom)裁剪img，得到img_crop。
2、眼底图像归一化。由于成像设备、环境和操作的不同，眼底图像在色调、饱和度、亮度等方面存在差距，为了减小这种差距造成的影响，需要对裁剪后的图像进行归一化。
首先在眼底图像数据库中选取成像质量较好的参考图像裁剪后得到img_std，转换成HSV格式的图像img_std_hsv，计算在H通道上的最大值、最小值，平均值，分别记为hmax，hmin，havg。对任意一张图像img裁剪后，在H通道上的归一化使用如下公式：
其中，h′为图像任意像素在H通道上的值，h′max、h′min和h′avg
分别是图像在H通道上的最大值、最小值和平均值。
在S、V通道上的归一化采用相同方法，即可得到归一化后的图像img_hsv_reg，最后转换成为RGB格式图像img_reg。
3、神经网络分类器架构。神经网络在本专利用作为分类器，卷积层与附图2 中的VGG16保持一致，即stage-1到stage-5保持不变。根据眼底图像分辨率，将输入层大小修改为512 x 512大小。卷积层后面为三层全连接层，每层神经元个数分别为2048、2048和5，最后输出层为soft-max层，对输入的眼底图像的DR级别的概率进行预测。
4、迁移学习和训练。
神经网络的卷积层部分的参数使用经过ImageNet数据集训练的参数进行初始化，其他部分采取随机初始化的策略。损失函数设定为交叉熵损失函数，采用批量随机梯度下降法训练优化。

Claims (3)

1.一种基于卷积神经网络的图像自动诊断方法，其特征在于，
对眼底图像去除无关背景、归一化，利用卷积神经网络组成分类器，对眼底图像进行特征学习；利用深度神经网络对特征自动学习的能力和迁移能力，微调分类器，利用现有DR数据库的标注数据训练分类器，然后利用分类器对眼底图像进行DR分级。
2.根据权利要求1所述的方法，其特征在于，
分类器的神经网络主体由VGG16的结构微调而成，输入层输入经过裁剪、归一化处理的眼底图像，采用迁移学习和有监督学习方式对训练集的眼底图像进行特征学习，输出层有5个神经元，输出眼底图像的DR等级概率，概率最大者即为该眼底图像对应的DR等级；一半以上的参数使用预训练好的参数，然后利用带标注的DR数据集训练整个网络。
3.根据权利要求1或2所述的方法，其特征在于，
神经网络的卷积层部分的参数使用经过ImageNet数据集训练的参数进行初始化，其他部分采取随机初始化的策略；损失函数设定为交叉熵损失函数，采用批量随机梯度下降法训练优化。
CN201710438482.2A 2017-06-12 2017-06-12 一种基于卷积神经网络的图像自动诊断方法 Pending CN107330876A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710438482.2A CN107330876A (zh) 2017-06-12 2017-06-12 一种基于卷积神经网络的图像自动诊断方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710438482.2A CN107330876A (zh) 2017-06-12 2017-06-12 一种基于卷积神经网络的图像自动诊断方法

Publications (1)

Publication Number Publication Date
CN107330876A true CN107330876A (zh) 2017-11-07

Family

ID=60195386

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710438482.2A Pending CN107330876A (zh) 2017-06-12 2017-06-12 一种基于卷积神经网络的图像自动诊断方法

Country Status (1)

Country Link
CN (1) CN107330876A (zh)

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107945870A (zh) * 2017-12-13 2018-04-20 四川大学 基于深度神经网络的早产儿视网膜病变检测方法及装置
CN108010581A (zh) * 2017-12-01 2018-05-08 中南大学 一种脂溢性角化和扁平疣病种分类方法
CN109161932A (zh) * 2018-10-22 2019-01-08 中南大学 一种铝电解槽火眼视频动态特征的提取方法
CN109325942A (zh) * 2018-09-07 2019-02-12 电子科技大学 基于全卷积神经网络的眼底图像结构分割方法
CN109464120A (zh) * 2018-10-31 2019-03-15 深圳市第二人民医院 一种糖尿病视网膜病变筛查方法、装置及存储介质
CN109686444A (zh) * 2018-12-27 2019-04-26 上海联影智能医疗科技有限公司 用于医学图像分级的系统和方法
CN110084803A (zh) * 2019-04-29 2019-08-02 南京星程智能科技有限公司 基于人类视觉系统的眼底图像质量评估方法
CN110163839A (zh) * 2019-04-02 2019-08-23 上海鹰瞳医疗科技有限公司 豹纹状眼底图像识别方法、模型训练方法及设备
CN110648303A (zh) * 2018-06-08 2020-01-03 上海市第六人民医院 眼底图像分析方法、计算机设备和存储介质
CN111079861A (zh) * 2019-12-31 2020-04-28 国网北京市电力公司 一种基于图像快速处理技术的配电网电压异常诊断方法
CN112489769A (zh) * 2019-08-22 2021-03-12 浙江远图互联科技股份有限公司 基于深度神经网络的慢性病智慧中医诊断与药物推荐系统
US10963757B2 (en) 2018-12-14 2021-03-30 Industrial Technology Research Institute Neural network model fusion method and electronic device using the same
CN112489769B (zh) * 2019-08-22 2024-05-17 浙江远图技术股份有限公司 基于深度神经网络的慢性病智慧中医诊断与药物推荐系统

Cited By (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108010581A (zh) * 2017-12-01 2018-05-08 中南大学 一种脂溢性角化和扁平疣病种分类方法
CN108010581B (zh) * 2017-12-01 2021-12-10 中南大学 一种脂溢性角化和扁平疣病种分类方法
CN107945870A (zh) * 2017-12-13 2018-04-20 四川大学 基于深度神经网络的早产儿视网膜病变检测方法及装置
CN107945870B (zh) * 2017-12-13 2020-09-01 四川大学 基于深度神经网络的早产儿视网膜病变检测方法及装置
CN110648303B (zh) * 2018-06-08 2022-07-26 上海市第六人民医院 眼底图像分析方法、计算机设备和存储介质
US11315241B2 (en) 2018-06-08 2022-04-26 Shanghai Sixth People's Hospital Method, computer device and storage medium of fundus oculi image analysis
CN110648303A (zh) * 2018-06-08 2020-01-03 上海市第六人民医院 眼底图像分析方法、计算机设备和存储介质
CN109325942A (zh) * 2018-09-07 2019-02-12 电子科技大学 基于全卷积神经网络的眼底图像结构分割方法
CN109325942B (zh) * 2018-09-07 2022-03-25 电子科技大学 基于全卷积神经网络的眼底图像结构分割方法
CN109161932A (zh) * 2018-10-22 2019-01-08 中南大学 一种铝电解槽火眼视频动态特征的提取方法
CN109464120A (zh) * 2018-10-31 2019-03-15 深圳市第二人民医院 一种糖尿病视网膜病变筛查方法、装置及存储介质
US10963757B2 (en) 2018-12-14 2021-03-30 Industrial Technology Research Institute Neural network model fusion method and electronic device using the same
CN109686444A (zh) * 2018-12-27 2019-04-26 上海联影智能医疗科技有限公司 用于医学图像分级的系统和方法
US11145405B2 (en) 2018-12-27 2021-10-12 Shanghai United Imaging Intelligence Co., Ltd. Methods and devices for grading a medical image
US11742073B2 (en) 2018-12-27 2023-08-29 Shanghai United Imaging Intelligence Co., Ltd. Methods and devices for grading a medical image
CN110163839B (zh) * 2019-04-02 2022-02-18 上海鹰瞳医疗科技有限公司 豹纹状眼底图像识别方法、模型训练方法及设备
CN110163839A (zh) * 2019-04-02 2019-08-23 上海鹰瞳医疗科技有限公司 豹纹状眼底图像识别方法、模型训练方法及设备
CN110084803A (zh) * 2019-04-29 2019-08-02 南京星程智能科技有限公司 基于人类视觉系统的眼底图像质量评估方法
CN110084803B (zh) * 2019-04-29 2024-02-23 靖松 基于人类视觉系统的眼底图像质量评估方法
CN112489769A (zh) * 2019-08-22 2021-03-12 浙江远图互联科技股份有限公司 基于深度神经网络的慢性病智慧中医诊断与药物推荐系统
CN112489769B (zh) * 2019-08-22 2024-05-17 浙江远图技术股份有限公司 基于深度神经网络的慢性病智慧中医诊断与药物推荐系统
CN111079861A (zh) * 2019-12-31 2020-04-28 国网北京市电力公司 一种基于图像快速处理技术的配电网电压异常诊断方法

Similar Documents

Publication Publication Date Title
CN107330876A (zh) 一种基于卷积神经网络的图像自动诊断方法
US11132799B2 (en) Method and system for classifying diabetic retina images based on deep learning
CN108021916B (zh) 基于注意力机制的深度学习糖尿病视网膜病变分类方法
Tan et al. Automated segmentation of exudates, haemorrhages, microaneurysms using single convolutional neural network
US10413180B1 (en) System and methods for automatic processing of digital retinal images in conjunction with an imaging device
EP3659067B1 (en) Method of modifying a retina fundus image for a deep learning model
CN110276356A (zh) 基于r-cnn的眼底图像微动脉瘤识别方法
CN106530283A (zh) 一种基于svm的医疗图像血管识别方法
Jamal et al. Retinal image preprocessing: background and noise segmentation
CN106408564A (zh) 一种基于深度学习的眼底图像处理方法、装置及系统
CN108876775A (zh) 糖尿病性视网膜病变的快速检测方法
CN108185984A (zh) 眼底彩照进行眼底病灶识别的方法
CN110084803A (zh) 基于人类视觉系统的眼底图像质量评估方法
CN110648344B (zh) 一种基于局部病灶特征的糖尿病视网膜病变分类装置
RAJA et al. Screening diabetic retinopathy in developing countries using retinal images
Lyu et al. Deep tessellated retinal image detection using Convolutional Neural Networks
CN109410191B (zh) 基于oct图像的眼底血管定位方法及其贫血筛查方法
Iqbal et al. Automatic diagnosis of diabetic retinopathy using fundus images
Venkatalakshmi et al. Graphical user interface for enhanced retinal image analysis for diagnosing diabetic retinopathy
CN106846301A (zh) 视网膜图像分类方法及装置
CN111292285A (zh) 一种基于朴素贝叶斯与支持向量机的糖网病自动筛查方法
CN114359104A (zh) 一种基于分级生成的白内障眼底图像增强方法
Smits et al. Machine learning in the detection of the glaucomatous disc and visual field
Mahmud et al. Diabetic Retinopathy Classification from Retinal Images using Machine Learning Approaches
Sindhusaranya et al. Hybrid algorithm for retinal blood vessel segmentation using different pattern recognition techniques

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20171107