CN112869706A - 一种基于深度学习的双视野眼底图像融合方法 - Google Patents

一种基于深度学习的双视野眼底图像融合方法 Download PDF

Info

Publication number
CN112869706A
CN112869706A CN202110208791.7A CN202110208791A CN112869706A CN 112869706 A CN112869706 A CN 112869706A CN 202110208791 A CN202110208791 A CN 202110208791A CN 112869706 A CN112869706 A CN 112869706A
Authority
CN
China
Prior art keywords
neural network
images
convolutional neural
deep learning
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110208791.7A
Other languages
English (en)
Inventor
姜璐璐
侯君临
邵金杰
冯瑞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fudan University
Original Assignee
Fudan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fudan University filed Critical Fudan University
Priority to CN202110208791.7A priority Critical patent/CN112869706A/zh
Publication of CN112869706A publication Critical patent/CN112869706A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/12Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for looking at the eye fundus, e.g. ophthalmoscopes
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/14Arrangements specially adapted for eye photography
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • G06N3/084Backpropagation, e.g. using gradient descent
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/40Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038Image mosaicing, e.g. composing plane images from plane sub-images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/50Image enhancement or restoration using two or more images, e.g. averaging or subtraction

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • General Physics & Mathematics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Ophthalmology & Optometry (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Eye Examination Apparatus (AREA)

Abstract

本发明提供了一种基于深度学习的双视野眼底图像融合方法,具有这样的特征,包括以下步骤,步骤S1,对两张待测图像进行预处理获得两张预处理图像;步骤S2,搭建卷积神经网络模型,对卷积神经网络模型进行训练,从而得到训练后的卷积神经网络模型,称为M‑net;步骤S3,将M‑net分成两部分,称为M‑net PartⅠ和M‑net PartⅡ;步骤S4,将两张预处理图像分别放入M‑net PartⅠ进行特征提取,获得两张图像特征图;步骤S5,将两张图像特征图进行拼接,得到拼接图像;步骤S6,将拼接图像放入M‑net PartⅡ进行特征融合。

Description

一种基于深度学习的双视野眼底图像融合方法
技术领域
本发明涉及计算机视觉技术领域,具体涉及到一种基于深度学习的双视野眼底图像融合方法。
背景技术
医学影像技术迅速发展,已经成为医疗诊断中不可或缺的技术。进入数字影像时代以来,海量数据的产生为医学影像未来的发展提供了更多的可能性。因此,如何对医学影像大数据做进一步分析和挖掘、如何从医学图像高维度数据中提取有价值的信息、如何将现代医学影像的发展与精准医疗紧密结合,成为医学影像未来发展的重要课题。
近年来,随着计算能力的增强和数据的爆炸式增加,以深度学习为代表的人工智能技术取得了长足的进步,并开始应用于生产生活中的各个领域。深度学习算法可以自动提取特征,避免了对高维度医学影像数据的复杂处理。在越来越多的公开的医学影像数据资源、开源的人工智能算法资源以及开放的高性能计算资源的共同推动下,深度学习算法将进一步在医学影像领域中飞速发展。
糖尿病视网膜病变(diabetic retinopathy,DR),简称为糖网病,是常见致盲性眼病。中国是全球2型糖尿病患者最多的国家,随着糖尿病患者的增多,糖尿病视网膜病变的患病率、致盲率也逐年升高,是目前工作年龄人群第一位的致盲性疾病。
截至2015年,我国糖尿病患者约1.1亿人,按此推算我国糖尿病视网膜病变患者约2700万人。目前,87%的糖尿病患者就诊于县级及以下医疗机构。50%以上糖尿病患者未被告知应定期眼底检查。
眼底彩色照相可作为一种糖网病的快速筛查工具,为基层糖网病的防治工作提供一种简便易行的观察检测手段。眼底照相所检查的是整个视网膜的形态学改变。其原理就是用一种特制的照相机记录眼底镜下所看到的景象。眼底照相能够观察到视网膜、视盘、黄斑区、视网膜血管的形态,以及视网膜上有无出血、渗出、血管瘤、视网膜变性区、视网膜裂孔、新生血管、萎缩斑、色素紊乱等改变。
眼底照相有两种拍摄位置,分别是单视野拍摄法和双视野拍摄法。单视野拍摄法是以黄斑和视盘连线的中点为拍摄视野的中心,成像至少涵盖60%视网膜区域。双视野拍摄法中视野1以黄斑中心凹为拍摄视野的中心,成像至少涵盖45°视网膜区域,视野2以视盘为拍摄视野的中心,成像至少涵盖45°视网膜区域。
《国际临床糖尿病视网膜病变严重程度分级标准》将糖网病分为5个严重等级,分别是无明显糖尿病视网膜病变、轻度NPDR、中度NPDR、中度NPDR、增值性糖尿病视网膜病变PDR。目前公开数据集,例如IDRiD、Messidor、Kaggle数据集,都是采用单视野的图片,而在临床和基层中常采用双视野拍摄法。已有的糖网病分级算法绝大多数也是使用单张图像。在使用卷积神经网络进行分类时,需要对双视野的图像进行融合。
发明内容
本发明是为了解决上述问题而进行的,目的在于提供一种基于深度学习的双视野眼底图像融合方法。
本发明提供了一种基于深度学习的双视野眼底图像融合方法,具有这样的特征,包括以下步骤:步骤S1,对两张待测图像进行预处理获得两张预处理图像;步骤S2,搭建卷积神经网络模型,对卷积神经网络模型进行训练,从而得到训练后的卷积神经网络模型,称为M-net;步骤S3,将M-net分成两部分,称为M-net PartⅠ和M-net PartⅡ;步骤S4,将两张预处理图像分别放入M-net PartⅠ进行特征提取,获得两张图像特征图;步骤S5,将两张图像特征图进行拼接,得到拼接图像;步骤S6,将拼接图像放入M-net PartⅡ进行特征融合。
在本发明提供的基于深度学习的双视野眼底图像融合方法,还可以具有这样的特征:其中,在步骤S1中,两张待测图像为双视野眼底图像,即两个视角下对一只待检查眼球的照片。
在本发明提供的基于深度学习的双视野眼底图像融合方法,还可以具有这样的特征:其中,在步骤S1中,预处理包括水平翻转,调整亮度、对比度以及饱和度,以及大小归一化。
在本发明提供的基于深度学习的双视野眼底图像融合方法,还可以具有这样的特征:其中,步骤S2包含如下子步骤,步骤S2-1,构建卷积神经网络模型,其包含的模型参数为随机设置;步骤S2-2,将训练集中的各个训练图像依次输入卷积神经网络模型并进行一次迭代;步骤S2-3,迭代后,计算出损失误差,然后将损失误差反向传播,从而更新模型参数;步骤S2-4,重复步骤S2-2至步骤S2-3直至达到训练完成条件,得到M-net。
在本发明提供的基于深度学习的双视野眼底图像融合方法,还可以具有这样的特征:其中,步骤S6包含如下子步骤,步骤S6-1,将拼接图像放入M-net PartⅡ进行特征融合;步骤S6-2,在M-net PartⅡ后紧跟全连接层,映射到一个概率向量,该概率向量表示该图像属于糖网病严重程度等级的概率,选取概率最大的等级作为该对双视野图像的糖网病严重程度等级。
在本发明提供的基于深度学习的双视野眼底图像融合方法,还可以具有这样的特征:其中,步骤S2中,卷积神经网络模型的模型结构为VGG、Resnet以及Inception-ResNet中的一种。
发明的作用与效果
根据本发明所涉及的一种基于深度学习的双视野眼底图像融合方法,由于根据双视野的眼底图像进行特征融合,本发明所涉及的基于深度学习的双视野眼底图像融合方法能够得到更多特征,眼病分级诊断结果更加准确,且本发明所涉及的基于深度学习的双视野眼底图像融合方法实现简单,可用于现有的多种卷积神经网络模型上,简单便捷。
附图说明
图1是本发明的实施例中基于深度学习的双视野眼底图像融合方法流程图;
图2是本发明的实施例中基于深度学习的双视野眼底图像融合方法的示意图;以及
图3是本发明的实施例中采用的卷积神经网络的模型结构。
具体实施方式
为了使本发明实现的技术手段、创作特征、达成目的与功效易于明白了解,以下实施例结合附图对本发明所涉及的基于深度学习的双视野眼底图像融合方法作具体阐述。
<实施例>
本实施例的数据集采用上海市眼病防治中心收集的尚未公开的社区基层数据集,该数据集包含2000名患者的双视野图像以及根据《国际临床糖尿病视网膜病变严重程度分级标准》糖尿病视网膜病变严重程度而分为5个等级的标注。本实施例将数据集分为训练集和测试集。
另外,本实施例实现的硬件平台需要一张NVIDIA TITANX显卡(GPU加速)。
图1为本实施例的基于深度学习的双视野眼底图像融合方法的流程图,图2为本实施例的基于深度学习的双视野眼底图像融合方法的示意图。如图1和图2所示,本实施例的基于深度学习的双视野眼底图像融合方法包括如下步骤:
步骤S1,对两张待测图像进行预处理获得两张预处理图像。
该两张待测图像为双视野眼底图像,即对患者一只眼睛进行双视野拍摄法得到的两张图像。
预处理包括水平翻转,增加获取的图像数量,实现数据扩充;调整亮度、对比度和饱和度,实现图像增强;以及大小归一化到224x224像素。
步骤S2,搭建卷积神经网络模型,对卷积神经网络模型进行训练,从而得到训练后的卷积神经网络模型,称为M-net。
该卷积神经网络模型采用Inception-ResNet-v1结构,由深度学习框架Pytorch搭建而得。
图3为本实施例的卷积神经网络模型的结构示意图。由图3可知,Inception-ResNet-v1包含三种Inception-resnet块,分别为Inception-resnet-A、Inception-resnet-B以及Inception-resnet-C。该三种Inception-resnet块最后都用1*1的卷积提升维度,都加入了ResNet的直连结构使网络更深和收敛更快。
其中,Inception-resnet-A模块使用32通道的3*3卷积核,Inception-resnet-B模块使用128通道的1*7卷积核和7*1卷积核。Inception-resnet-C模块使用192通道的1*3卷积核和3*1卷积核。
步骤S2包含如下子步骤:
步骤S2-1,构建卷积神经网络模型,其包含的模型参数为随机设置。
步骤S2-2,将训练集中的各个训练图像经过步骤S1中的预处理后,依次输入卷积神经网络模型并进行一次迭代。
步骤S2-3,迭代后,利用卷积神经网络模型最后一层的模型参数,计算出损失误差,然后将损失误差反向传播,从而更新模型参数。
步骤S2-4,重复步骤S2-2至步骤S2-3直至达到训练完成条件,得到训练后的卷积神经网络模型,即M-net。
步骤S3,将M-net分成两部分,称为M-net PartⅠ和M-net PartⅡ。M-net PartⅠ为图3中Input模块至Reduction-B模块,M-net PartⅡ为图3中Inception-resnet-C模块至Softmax模块。
步骤S4,将两张预处理图像分别放入M-net PartⅠ进行特征提取,获得两张图像特征图,即feature map 1和feature map 2。
步骤S5,将两张图像特征图进行拼接,得到拼接图像;
步骤S6,将拼接图像放入M-net PartⅡ进行特征融合,随后进行糖网病严重程度分级。
其中,步骤S6包含如下子步骤:
步骤S6-1,将拼接图像放入M-net PartⅡ进行特征融合。
步骤S6-2,在M-net PartⅡ后紧跟全连接层,映射到一个概率向量,该概率向量表示该图像属于糖网病严重程度等级的概率,选取概率最大的等级作为该对双视野图像的糖网病严重程度等级。
本实施例将测试集的的各个测试图像经过步骤S1中的预处理后,依次输入M-net进行测试,M-net对测试集的糖网病分类准确率为80.1%。
实施例的作用与效果
根据本实施例所涉及的一种基于深度学习的双视野眼底图像融合方法,由于根据双视野的眼底图像进行特征融合,本实施例所涉及的基于深度学习的双视野眼底图像融合方法能够得到更多特征,对糖网病分级诊断结果更加准确,且本实施例所涉及的基于深度学习的双视野眼底图像融合方法实现简单,可用于现有的多种卷积神经网络模型上,简单便捷。
上述实施方式为本发明的优选案例,并不用来限制本发明的保护范围。
本实施例应用的是糖网病分级诊断任务,本发明还可应用于青光眼等眼疾。

Claims (6)

1.一种基于深度学习的双视野眼底图像融合方法,其特征在于,包括以下步骤:
步骤S1,对两张待测图像进行预处理获得两张预处理图像;
步骤S2,搭建卷积神经网络模型,对所述卷积神经网络模型进行训练,从而得到训练后的卷积神经网络模型,称为M-net;
步骤S3,将所述M-net分成两部分,称为M-net PartⅠ和M-net PartⅡ;
步骤S4,将两张所述预处理图像分别放入所述M-net PartⅠ进行特征提取,获得两张图像特征图;
步骤S5,将两张所述图像特征图进行拼接,得到拼接图像;
步骤S6,将所述拼接图像放入所述M-net PartⅡ进行特征融合。
2.根据权利要求1所述的一种基于深度学习的双视野眼底图像融合方法,其特征在于:
其中,在步骤S1中,两张所述待测图像为双视野眼底图像,即两个视角下对一只待检查眼球的照片。
3.根据权利要求1所述的一种基于深度学习的双视野眼底图像融合方法,其特征在于:
其中,在步骤S1中,所述预处理包括水平翻转,调整亮度、对比度以及饱和度,以及大小归一化。
4.根据权利要求1所述的一种基于深度学习的双视野眼底图像融合方法,其特征在于:
其中,步骤S2包含如下子步骤:
步骤S2-1,构建所述卷积神经网络模型,其包含的模型参数为随机设置;
步骤S2-2,将训练集中的各个训练图像经过步骤S1中的预处理后,依次输入所述卷积神经网络模型并进行一次迭代;
步骤S2-3,迭代后,计算出损失误差,然后将所述损失误差反向传播,从而更新模型参数;
步骤S2-4,重复步骤S2-2至步骤S2-3直至达到训练完成条件,得到所述M-net。
5.根据权利要求1所述的一种基于深度学习的双视野眼底图像融合方法,其特征在于:
其中,步骤S6包含如下子步骤:
步骤S6-1,将所述拼接图像放入所述M-net PartⅡ进行特征融合;
步骤S6-2,在所述M-net PartⅡ后紧跟全连接层,映射到一个概率向量,该概率向量表示该图像属于糖网病严重程度等级的概率,选取概率最大的等级作为该对双视野图像的糖网病严重程度等级。
6.根据权利要求1所述的一种基于深度学习的双视野眼底图像融合方法,其特征在于:
其中,步骤S2中,所述卷积神经网络模型的模型结构为VGG、Resnet以及Inception-ResNet中的一种。
CN202110208791.7A 2021-02-24 2021-02-24 一种基于深度学习的双视野眼底图像融合方法 Pending CN112869706A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110208791.7A CN112869706A (zh) 2021-02-24 2021-02-24 一种基于深度学习的双视野眼底图像融合方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110208791.7A CN112869706A (zh) 2021-02-24 2021-02-24 一种基于深度学习的双视野眼底图像融合方法

Publications (1)

Publication Number Publication Date
CN112869706A true CN112869706A (zh) 2021-06-01

Family

ID=76054344

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110208791.7A Pending CN112869706A (zh) 2021-02-24 2021-02-24 一种基于深度学习的双视野眼底图像融合方法

Country Status (1)

Country Link
CN (1) CN112869706A (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107423571A (zh) * 2017-05-04 2017-12-01 深圳硅基仿生科技有限公司 基于眼底图像的糖尿病视网膜病变识别系统
CN108771530A (zh) * 2017-05-04 2018-11-09 深圳硅基仿生科技有限公司 基于深度神经网络的眼底病变筛查系统
CN109464120A (zh) * 2018-10-31 2019-03-15 深圳市第二人民医院 一种糖尿病视网膜病变筛查方法、装置及存储介质
CN109691979A (zh) * 2019-01-07 2019-04-30 哈尔滨理工大学 一种基于深度学习的糖尿病视网膜图像病变分类方法
CN110751637A (zh) * 2019-10-14 2020-02-04 北京至真互联网技术有限公司 糖尿病视网膜病变检测系统、方法、设备和训练系统
CN110837803A (zh) * 2019-11-07 2020-02-25 复旦大学 基于深度图网络的糖尿病视网膜病变分级方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107423571A (zh) * 2017-05-04 2017-12-01 深圳硅基仿生科技有限公司 基于眼底图像的糖尿病视网膜病变识别系统
CN108771530A (zh) * 2017-05-04 2018-11-09 深圳硅基仿生科技有限公司 基于深度神经网络的眼底病变筛查系统
CN109464120A (zh) * 2018-10-31 2019-03-15 深圳市第二人民医院 一种糖尿病视网膜病变筛查方法、装置及存储介质
CN109691979A (zh) * 2019-01-07 2019-04-30 哈尔滨理工大学 一种基于深度学习的糖尿病视网膜图像病变分类方法
CN110751637A (zh) * 2019-10-14 2020-02-04 北京至真互联网技术有限公司 糖尿病视网膜病变检测系统、方法、设备和训练系统
CN110837803A (zh) * 2019-11-07 2020-02-25 复旦大学 基于深度图网络的糖尿病视网膜病变分级方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
刘杰: "糖尿病视网膜病变检查的应用进展", 《临床与病理杂志》 *
陈婷丽等: "基于深度学习的眼底疾病筛查诊断系统的初步研究", 《国际眼科杂志》 *

Similar Documents

Publication Publication Date Title
Gao et al. Automatic feature learning to grade nuclear cataracts based on deep learning
CN110517235B (zh) 一种基于GCS-Net进行OCT图像脉络膜自动分割方法
Islam et al. Deep learning-based glaucoma detection with cropped optic cup and disc and blood vessel segmentation
Bader Alazzam et al. Identification of diabetic retinopathy through machine learning
Yang et al. Automatic identification of myopia based on ocular appearance images using deep learning
CN109691979A (zh) 一种基于深度学习的糖尿病视网膜图像病变分类方法
CN109464120A (zh) 一种糖尿病视网膜病变筛查方法、装置及存储介质
Zhu et al. Digital image processing for ophthalmology: Detection of the optic nerve head
CN109998477A (zh) 一种高度近视白内障手术预后智能预判系统
CN112233087A (zh) 一种基于人工智能的眼科超声疾病诊断方法和系统
Kumar et al. Deep learning based analysis of ophthalmology: A systematic review
CN114694236A (zh) 一种基于循环残差卷积神经网络的眼球运动分割定位方法
CN110013216A (zh) 一种人工智能白内障分析系统
CN114445666A (zh) 基于深度学习眼底图像左右眼及视野位置分类方法及系统
Melinščak et al. Aroi: Annotated retinal oct images database
Kamal et al. A comprehensive review on the diabetic retinopathy, glaucoma and strabismus detection techniques based on machine learning and deep learning
BAKIR et al. Using transfer learning technique as a feature extraction phase for diagnosis of cataract disease in the eye
Consejo et al. Detection of subclinical keratoconus with a validated alternative method to corneal densitometry
Giancardo Automated fundus images analysis techniques to screen retinal diseases in diabetic patients
CN111402246A (zh) 一种基于联合网络的眼底图像分类方法
CN112869706A (zh) 一种基于深度学习的双视野眼底图像融合方法
CN113558564B (zh) 一种基于单纯高度近视数据库构建的数据处理系统
Fu et al. A GAN-based deep enhancer for quality enhancement of retinal images photographed by a handheld fundus camera
CN114140371A (zh) 利用眼底图像的基于深层神经网络的眼病诊断装置及方法
Patil et al. Screening and detection of diabetic retinopathy by using engineering concepts

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20210601

RJ01 Rejection of invention patent application after publication