CN111260551A - 一种基于深度学习的视网膜超分辨重建系统及方法 - Google Patents

一种基于深度学习的视网膜超分辨重建系统及方法 Download PDF

Info

Publication number
CN111260551A
CN111260551A CN202010019592.7A CN202010019592A CN111260551A CN 111260551 A CN111260551 A CN 111260551A CN 202010019592 A CN202010019592 A CN 202010019592A CN 111260551 A CN111260551 A CN 111260551A
Authority
CN
China
Prior art keywords
resolution
layer
super
convolutional
deep learning
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010019592.7A
Other languages
English (en)
Inventor
蔡宏民
范志豪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
South China University of Technology SCUT
Original Assignee
South China University of Technology SCUT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by South China University of Technology SCUT filed Critical South China University of Technology SCUT
Priority to CN202010019592.7A priority Critical patent/CN111260551A/zh
Publication of CN111260551A publication Critical patent/CN111260551A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/40Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)
  • Eye Examination Apparatus (AREA)

Abstract

本发明公开了一种基于深度学习的视网膜超分辨重建系统,包括:上采样和下采样模块、通道注意力模块、3x3和1x1卷积层、以及反卷积和3x3卷积层;所述通道注意力模块由全局平均池化层、Relu激励函数、1x1卷积层和Sigmoid函数组成;所述1x1卷积层包括第一1x1卷积层和第二1x1卷积层;所述全局平均池化层、第一1x1卷积层、Relu激励函数、第二1x1卷积层和Sigmoid函数依次连接构成所述通道注意力模块;所述上采样和下采样模块包括多个反卷积层、多个卷积层和多个1x1卷积层;低分辨率的目标图片依次通过所述3x3和1x1卷积层、上采样和下采样模块、通道注意力模块、反卷积和3x3卷积层,得到高分辨率眼底图像。

Description

一种基于深度学习的视网膜超分辨重建系统及方法
技术领域
本发明涉及超分辨技术领域,尤其涉及一种基于深度学习的视网膜超分辨重建系统及方法。
背景技术
图像超分辨率重建技术就是利用一组低质量、低分辨率图像(或运动序列)来产生单幅高质量、高分辨率图像。图像超分辨率重建应用领域及其宽广,在军事,医学,公共安全,计算机视觉等方面都存在着重要的应用前景。目前,超分辨率重建的理论和方法包含三个主要方向:基于插值的超分辨率重建、基于重构的超分辨率重建和基于学习的超分辨率重建。
基于插值的超分辨率重建的方法。这种方法将每一张图像都看做是图像平面上的一个点,那么对超分辨率图像的估计可以看做是利用已知的像素信息为平面上未知的像素信息进行拟合的过程,这通常由一个预定义的变换函数或者插值核来完成。基于插值的方法计算简单、易于理解,但是也存在着一些明显的缺陷。首先,它假设像素灰度值的变化是一个连续的、平滑的过程,但实际上这种假设并不完全成立。其次,在重建过程中,仅根据一个事先定义的转换函数来计算超分辨率图像,不考虑图像的降质退化模型,往往会导致复原出的图像出现模糊、锯齿等现象。常见的基于插值的方法包括最近邻插值法、双线性插值法和双立方插值法等。
基于重构的超分辨率重建方法。这种方法则是从图像的降质退化模型出发,假定高分辨率图像是经过了适当的运动变换、模糊及噪声才得到低分辨率图像。这种方法通过提取低分辨率图像中的关键信息,并结合对未知的超分辨率图像的先验知识来约束超分辨率图像的生成。常见的基于重构的方法包括迭代反投影法、凸集投影法和最大后验概率法等。
基于学习的超分辨重建方法。这种方法则是利用大量的训练数据,从中学习低分辨率图像和高分辨率图像之间某种对应关系,然后根据学习到的映射关系来预测低分辨率图像所对应的高分辨率图像,从而实现图像的超分辨率重建过程。常见的基于学习的方法包括流形学习、稀疏编码和深度学习方法。
近年来深度学习在各个领域取得不多成绩。2014年,Dong等人首次将深度学习应用到图像超分辨率重建领域,他们使用一个三层的卷积神经网络学习低分辨率图像与高分辨率图像之间映射关系,自此,在超分辨率重建率领域掀起了深度学习的浪潮。但是这些方法大多数是通过残差连接,或者密集连接的方式来提高网络结构的表征能力,没有考虑到卷积网络所提取特征对超分辨率重要性,导致得到的图像分辨率不高,效果不佳。
发明内容
本发明提供了一种基于深度学习的视网膜超分辨重建系统及方法,利用深度学习网络从单张低分辨率视网膜图像恢复对应的高分辨率图像;提出一个深度学习模型,该模型由上采样和下采样模块与通道注意力模块级联组成,从而使得模型从时域与频率两个方面提取更加具有辨别性的特征。
为了解决上述技术问题,本发明实施例提供了一种基于深度学习的视网膜超分辨重建系统,包括:上采样和下采样模块、通道注意力模块、3x3和1x1卷积层、以及反卷积和3x3卷积层;
所述通道注意力模块由全局平均池化层、Relu激励函数、1x1卷积层和Sigmoid函数组成;所述1x1卷积层包括第一1x1卷积层和第二1x1卷积层;所述全局平均池化层、第一1x1卷积层、Relu激励函数、第二1x1卷积层和Sigmoid函数依次连接构成所述通道注意力模块;所述上采样和下采样模块包括多个反卷积层、多个卷积层和多个1x1卷积层;
低分辨率的目标图片依次通过所述3x3和1x1卷积层、上采样和下采样模块、通道注意力模块、反卷积和3x3卷积层,得到高分辨率眼底图像。
作为优选方案,所述上采样和下采样模块和所述通道注意力模块的数量均为多个且数量相同;所述上采样和下采样模块和所述通道注意力模块依次交替连接。
作为优选方案,相邻的每个所述上采样和下采样模块和所述通道注意力模块进行短连接,构成局部残差模块。
作为优选方案,在所述3x3和1x1卷积层的输入端和所述反卷积和3x3卷积层的输出端进行长连接。
作为优选方案,所有的卷积层后均含有激励函数relu。
本发明实施例还提供了一种基于深度学习的视网膜超分辨重建方法,基于上述所述的基于深度学习的视网膜超分辨重建系统进行低分辨率图像重建,其步骤包括:
获取低分辨率的眼底图像,将所述眼底图像通过3x3和1x1卷积层进行提取浅层特征;
将所述浅层特征通过局部残差模块产生权重向量,根据函数对特征层赋予不同的权值;
经过多个局部残差模块后的特征层通过反卷积层使得特征层从低分辨率扩展为高分辨率特征层;
低分辨率图像通过上采样与高分辨率特征层相加产生高分辨率眼底图像。
作为优选方案,所述获取低分辨率的眼底图像的步骤,具体包括:获取多例眼底图片,通过下采样的方式对所述眼底图片转换成低分辨率图片。
作为优选方案,所述对特征层赋予不同的权值用于代表通道与关键信息的相关度。
相比于现有技术,本发明实施例具有如下有益效果:
本发明利用深度学习网络从单张低分辨率视网膜图像恢复对应的高分辨率图像。提出一个深度学习模型,该模型由密集连接块与通道注意力块级联组成,从而使得模型从时域与频率两个方面提取更加具有辨别性的特征。另外,模型通过局部与全局的残差连接,使得模型训练稳定,有利于高频信息的恢复。
附图说明
图1:为本发明基于深度学习的视网膜超分辨重建系统的结构示意图;
图2:为本发明实验结果生成图像视觉效果差异图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
请参照图1,本发明优选实施例提供了一种基于深度学习的视网膜超分辨重建系统,包括:上采样和下采样模块、通道注意力模块、3x3和1x1卷积层、以及反卷积和3x3卷积层;所述通道注意力模块由全局平均池化层、Relu激励函数、1x1卷积层和Sigmoid函数组成;所述1x1卷积层包括第一1x1卷积层和第二1x1卷积层;所述全局平均池化层、第一1x1卷积层、Relu激励函数、第二1x1卷积层和Sigmoid函数依次连接构成所述通道注意力模块;所述上采样和下采样模块包括多个反卷积层、多个卷积层和多个1x1卷积层;低分辨率的目标图片依次通过所述3x3和1x1卷积层、上采样和下采样模块、通道注意力模块、反卷积和3x3卷积层,得到高分辨率眼底图像。
在本实施例中,所述上采样和下采样模块和所述通道注意力模块的数量均为多个且数量相同;所述上采样和下采样模块和所述通道注意力模块依次交替连接。在本实施例中,相邻的每个所述上采样和下采样模块和所述通道注意力模块进行短连接,构成局部残差模块。在本实施例中,在所述3x3和1x1卷积层的输入端和所述反卷积和3x3卷积层的输出端进行长连接。在本实施例中,所有的卷积层后均含有激励函数relu。
本发明从时域与频域两个角度提出一个新颖的网络结构,该网络结构主要包含两部分:通道注意力模块、密集连接模块。将两模块通过级联的方法,从时域与频域两个角度选择性的提出特征作用于视网膜眼底超分辨率重建。
本发明实施例还提供了一种基于深度学习的视网膜超分辨重建方法,基于上述所述的基于深度学习的视网膜超分辨重建系统进行低分辨率图像重建,其步骤包括:
S1,获取低分辨率的眼底图像,将所述眼底图像通过3x3和1x1卷积层进行提取浅层特征;在本实施例中,所述获取低分辨率的眼底图像的步骤,具体包括:获取多例眼底图片,通过下采样的方式对所述眼底图片转换成低分辨率图片。
S2,将所述浅层特征通过局部残差模块产生权重向量,根据函数对特征层赋予不同的权值;在本实施例中,所述对特征层赋予不同的权值的函数为损失函数,注意力模块为每个通道特征产生一个权重,来代表通道与关键信息的相关度。
S3,经过多个局部残差模块后的特征层通过反卷积层使得特征层从低分辨率扩展为高分辨率特征层;
S4,低分辨率图像通过上采样与高分辨率特征层相加产生高分辨率眼底图像。
下面结合具体实施例,对本发明技术方案进行详细说明。
1.在医院获取3914例分辨率为1800x1800的眼底图片,首先通过下采样的方式产生低分辨率图片,下采样因子为r,此时分辨率为(1800/r,1800/r),这个低分辨率的图片也就是我们模型的输入。
2.眼底图像通过一个3x3与1x1的卷积层提取浅层特征。
3.浅层特征首先经过第一个局部残差模块。局部残差模块由一个密集块、通道注意力块和局部短连接组成。如图1所示:密集块由卷积层与反卷积层通过密集连接组成,这种连接方式使得该模块保留更多的高频信息。通过注意力块由全局平均池化层、Relu激励函数、1x1卷积层和Sigmoid函数组成。特征层通过该块产生一个权重向量,该向量大小为1x1xC,并且其中的值取值范围为[0,1],经过这样操作,根据损失函数,对特征层赋予不同的权重。为了网络训练的稳定性,通过局部短连接的方式缓解梯度爆炸与消失问题。
其中,注意力的模块如图1中的CAM所示:1).CxHxw的特征层经过一个全局平均池化层变为Cx1x1;2).1x1Conv相当于一个降维,Cx1x1的向量变为C/2x1x1;3).激励函数relu;4).1x1Conv升维,将C/2x1x1的变为Cx1x1的向量;5).经过Sigmod函数产生Cx1x1的向量,这个向量与刚刚特征向量CxHxw相乘。整个过程就是通道注意力,作用使通过Cx1x1的权值,调整特征CxHxW的数值大小。
4.特征层经过多个局部残差模块后,通过反卷积层使得特征层从低分辨率扩展为高分辨率特征层。
5.最后,低分辨率图像通过上采样与高分率特征层相加产生高分辨率眼底图像。低分辨率图(1800/r,1800/r)通过bicubic上采样为(1800,1800)的图像,注意彩色图像是三通道,此时特征层通过3x3卷积层后,通道数也为3,分辨率为(1800,1800),此时每个像素点相加即为重建图像。
对得到的结果进行实验,从主观与客观两个角度来评价模型的性能:
客观角度:客观上,通过型生成图像与真实图像之间的结构一致性(SSIM)、峰值信噪比(PSNR),实验数据结果如下表1所示:
Figure BDA0002360235290000061
表1,实验数据表
主观角度:主观上,评价每个模型生成图像视觉效果上的差异,如图2所示。
本发明的优点在于:
1.相比现有技术,恢复质量更高地视网膜眼底图像。
2.相比现有技术,实现同等超分辨率效果具有更少参数。
3.该技术从通过两个模块从频域与时域两个角度提取具有辨别性的特征。
4.模型通过全局残差连接,使得子网络结构更加注意高频信号的恢复。
以上所述的具体实施例,对本发明的目的、技术方案和有益效果进行了进一步的详细说明,应当理解,以上所述仅为本发明的具体实施例而已,并不用于限定本发明的保护范围。特别指出,对于本领域技术人员来说,凡在本发明的精神和原则之内,所做的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。

Claims (8)

1.一种基于深度学习的视网膜超分辨重建系统,其特征在于,包括:上采样和下采样模块、通道注意力模块、3x3和1x1卷积层、以及反卷积和3x3卷积层;
所述通道注意力模块由全局平均池化层、Relu激励函数、1x1卷积层和Sigmoid函数组成;所述1x1卷积层包括第一1x1卷积层和第二1x1卷积层;所述全局平均池化层、第一1x1卷积层、Relu激励函数、第二1x1卷积层和Sigmoid函数依次连接构成所述通道注意力模块;所述上采样和下采样模块包括多个反卷积层、多个卷积层和多个1x1卷积层;
低分辨率的目标图片依次通过所述3x3和1x1卷积层、上采样和下采样模块、通道注意力模块、反卷积和3x3卷积层,得到高分辨率眼底图像。
2.如权利要求1所述的基于深度学习的视网膜超分辨重建系统,其特征在于,所述上采样和下采样模块和所述通道注意力模块的数量均为多个且数量相同;所述上采样和下采样模块和所述通道注意力模块依次交替连接。
3.如权利要求2所述的基于深度学习的视网膜超分辨重建系统,其特征在于,相邻的每个所述上采样和下采样模块和所述通道注意力模块进行短连接,构成局部残差模块。
4.如权利要求3所述的基于深度学习的视网膜超分辨重建系统,其特征在于,在所述3x3和1x1卷积层的输入端和所述反卷积和3x3卷积层的输出端进行长连接。
5.如权利要求4所述的基于深度学习的视网膜超分辨重建系统,其特征在于,所有的卷积层后均含有激励函数relu。
6.一种基于深度学习的视网膜超分辨重建方法,其特征在于,基于权利要求5所述的基于深度学习的视网膜超分辨重建系统进行低分辨率图像重建,其步骤包括:
获取低分辨率的眼底图像,将所述眼底图像通过3x3和1x1卷积层进行提取浅层特征;
将所述浅层特征通过局部残差模块产生权重向量,根据函数对特征层赋予不同的权值;
经过多个局部残差模块后的特征层通过反卷积层使得特征层从低分辨率扩展为高分辨率特征层;
低分辨率图像通过上采样与高分辨率特征层相加产生高分辨率眼底图像。
7.如权利要求6所述的基于深度学习的视网膜超分辨重建方法,其特征在于,所述获取低分辨率的眼底图像的步骤,具体包括:获取多例眼底图片,通过下采样的方式对所述眼底图片转换成低分辨率图片。
8.如权利要求6所述的基于深度学习的视网膜超分辨重建方法,其特征在于,所述对特征层赋予不同的权值用于代表通道与关键信息的相关度。
CN202010019592.7A 2020-01-08 2020-01-08 一种基于深度学习的视网膜超分辨重建系统及方法 Pending CN111260551A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010019592.7A CN111260551A (zh) 2020-01-08 2020-01-08 一种基于深度学习的视网膜超分辨重建系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010019592.7A CN111260551A (zh) 2020-01-08 2020-01-08 一种基于深度学习的视网膜超分辨重建系统及方法

Publications (1)

Publication Number Publication Date
CN111260551A true CN111260551A (zh) 2020-06-09

Family

ID=70948578

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010019592.7A Pending CN111260551A (zh) 2020-01-08 2020-01-08 一种基于深度学习的视网膜超分辨重建系统及方法

Country Status (1)

Country Link
CN (1) CN111260551A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113160119A (zh) * 2021-02-04 2021-07-23 广州中医药大学第一附属医院 一种基于深度学习的糖尿病视网膜病变图像分类方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108765296A (zh) * 2018-06-12 2018-11-06 桂林电子科技大学 一种基于递归残差注意力网络的图像超分辨率重建方法
JP2019067078A (ja) * 2017-09-29 2019-04-25 国立大学法人 筑波大学 画像処理方法、及び画像処理プログラム
CN109886871A (zh) * 2019-01-07 2019-06-14 国家新闻出版广电总局广播科学研究院 基于通道注意力机制和多层特征融合的图像超分辨率方法
CN110148091A (zh) * 2019-04-10 2019-08-20 深圳市未来媒体技术研究院 基于非局部注意力机制的神经网络模型及图像超分辨方法
CN110288524A (zh) * 2019-05-09 2019-09-27 广东启迪图卫科技股份有限公司 基于增强型上采样和辨别融合机制的深度学习超分辨率方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019067078A (ja) * 2017-09-29 2019-04-25 国立大学法人 筑波大学 画像処理方法、及び画像処理プログラム
CN108765296A (zh) * 2018-06-12 2018-11-06 桂林电子科技大学 一种基于递归残差注意力网络的图像超分辨率重建方法
CN109886871A (zh) * 2019-01-07 2019-06-14 国家新闻出版广电总局广播科学研究院 基于通道注意力机制和多层特征融合的图像超分辨率方法
CN110148091A (zh) * 2019-04-10 2019-08-20 深圳市未来媒体技术研究院 基于非局部注意力机制的神经网络模型及图像超分辨方法
CN110288524A (zh) * 2019-05-09 2019-09-27 广东启迪图卫科技股份有限公司 基于增强型上采样和辨别融合机制的深度学习超分辨率方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113160119A (zh) * 2021-02-04 2021-07-23 广州中医药大学第一附属医院 一种基于深度学习的糖尿病视网膜病变图像分类方法

Similar Documents

Publication Publication Date Title
CN106952228B (zh) 基于图像非局部自相似性的单幅图像的超分辨率重建方法
Lee et al. Deep recursive hdri: Inverse tone mapping using generative adversarial networks
CN113139907B (zh) 视觉分辨率增强的生成方法、系统、装置及存储介质
CN109903226A (zh) 基于对称残差卷积神经网络的图像超分辨率重建方法
CN115222601A (zh) 基于残差混合注意力网络的图像超分辨率重建模型及方法
CN111667424A (zh) 一种基于无监督的真实图像去噪方法
CN110889895A (zh) 一种融合单帧重建网络的人脸视频超分辨率重建方法
CN112699844B (zh) 一种基于多尺度残差层级密连接网络的图像超分辨率方法
CN112288632B (zh) 基于精简esrgan的单图像超分辨率方法及系统
CN111768340B (zh) 一种基于密集多路径网络的超分辨图像重构方法和系统
CN116523800B (zh) 基于残差密集网络与注意力机制的图像降噪模型及方法
CN112686119B (zh) 基于自注意力生成对抗网络的车牌运动模糊图像处理方法
CN112801895A (zh) 一种基于二阶段注意力机制gan网络图像修复算法
CN111640059B (zh) 基于高斯混合模型的多字典图像超分辨方法
CN115147271A (zh) 一种用于光场超分辨率的多视图信息注意力交互网络
CN113723174B (zh) 基于生成对抗网络的人脸图像超分辨修复重建方法及系统
CN113538246A (zh) 基于无监督多阶段融合网络的遥感图像超分辨率重建方法
CN105513033A (zh) 一种非局部联合稀疏表示的超分辨率重建方法
CN115393186A (zh) 一种人脸图像超分辨率重建方法、系统、设备及介质
CN115880158A (zh) 一种基于变分自编码的盲图像超分辨率重建方法及系统
CN115345791A (zh) 一种基于注意力机制残差网络模型的红外图像去模糊算法
CN115953294A (zh) 一种基于浅层通道分离与聚合的单图像超分辨率重建方法
CN111260551A (zh) 一种基于深度学习的视网膜超分辨重建系统及方法
CN116029908A (zh) 基于跨模态和跨尺度特征融合的3d磁共振超分辨率方法
CN115511733A (zh) 一种图像退化建模方法、神经网络训练方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20200609