CN112308830A - 一种基于注意力机制和深监督策略的早产儿视网膜病变自动分区识别方法 - Google Patents

一种基于注意力机制和深监督策略的早产儿视网膜病变自动分区识别方法 Download PDF

Info

Publication number
CN112308830A
CN112308830A CN202011161035.5A CN202011161035A CN112308830A CN 112308830 A CN112308830 A CN 112308830A CN 202011161035 A CN202011161035 A CN 202011161035A CN 112308830 A CN112308830 A CN 112308830A
Authority
CN
China
Prior art keywords
layer
network structure
feature map
sacab
spatial
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011161035.5A
Other languages
English (en)
Inventor
陈新建
彭圆圆
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SUZHOU BIGVISION MEDICAL TECHNOLOGY Co.,Ltd.
Original Assignee
Suzhou University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Suzhou University filed Critical Suzhou University
Priority to CN202011161035.5A priority Critical patent/CN112308830A/zh
Publication of CN112308830A publication Critical patent/CN112308830A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30041—Eye; Retina; Ophthalmic
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Multimedia (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本申请实施例公开一种基于注意力机制和深监督策略的早产儿视网膜病变自动分区识别方法，包括图像的预处理，将二维视网膜眼底彩照图像利用双线性插值下采样到256×256并进行减均值处理；对数据进行在线数据扩增操作；网络结构的搭建，通过在DenseNet121卷积神经网络中设置空间通道注意力模块SACAB并引入深监督策略搭建为网络结构；模型的训练和测试，通过迁移学习将ImageNet上预训练的DenseNet121卷积神经网络作为预训练模型，并通过训练集中的数据训练网络结构，网络结构训练结束后，通过测试集测试网络结构的性能。本申请实现了对早产儿视网膜眼底彩照图像中I区/II区/III区的自动分类识别，为后续的ROP自动诊断奠定基础。

Description

一种基于注意力机制和深监督策略的早产儿视网膜病变自动 分区识别方法
技术领域
本申请涉及视网膜图像分类方法技术领域，具体是一种基于注意力机制和深监督策略的早产儿视网膜病变自动分区识别方法。
背景技术
早产儿视网膜病变(Retinopathy of Prematurity,ROP)是一种视网膜血管增生性疾病，是早产儿眼部最危险、最严重的并发症之一，是全球儿童致盲的主要原因。在大多数情况下，如果及时诊断和治疗得当，ROP是可以治愈的。国际ROP分类(Internationalclassification of ROP,ICROP)定义了三个临床检查参数:区、期和附加疾病(Plus)。ICROP根据病变位置的不同，将临床ROP分区定义为I、II和III区，病变越靠近后极部，病情越严重。也就是说，I区的病变最严重，III区的病变最轻。大多数ROP病变发生在III区，其次为II区。有研究表明对于严重的ROP，分区识别尤为重要。然而，眼科医生直接从视网膜眼底彩照中进行区域识别的准确率不高且具有主观性。因此，基于视网膜眼底彩照的ROP自动分区识别是非常重要的。
近年来，随着深度学习的迅速发展，许多基于卷积神经网络(ConvolutionalNeural Networks，CNN)的深度学习方法应用于医学图像分析。目前，基于视网膜眼底彩照的ROP研究工作主要集中在附加疾病(Plus)的识别和ROP的筛查，但是关于ROP三个区域的分区研究还很少。其中，Worrall等人使用ImageNet上预训练的GoogLeNet对ROP中是否存在附加疾病进行了分类，这是首次尝试采用深度神经网络来识别附加疾病。毛建波等人利用深度学习网络对视网膜血管和视盘进行分割，通过对血管曲率、宽度等病理特征的自动定量分析，进行附加疾病诊断。胡俊杰等人利用在ImageNet上预训练的Inception-v2网络识别ROP的存在和严重程度。张国明等人使用在ImageNet上预训练的VGG16网络实现ROP的筛查。彭圆圆等人利用ImageNet上预训练的ResNet18网络并结合注意力机制实现ROP的自动筛查。对于ROP分区识别的研究，赵金凤等人使用在Microsoft COCO数据集上预训练的ResNet50在视网膜眼底彩照上自动绘制I区边界来进行ROP I区的识别。该算法首先检测出图像中的视盘和黄斑，然后定位视盘和黄斑中心，最后根据ICROP标准划分I区，根据ROP病灶是否在I区来判断病情的严重程度。尽管该自动识别ROP I区的深度学习框架取得了良好的结果，但是仍然存在许多限制。首先，该算法对I区的识别是基于对视网膜眼底彩照中视盘和黄斑的检测，由于单张眼底彩照的视野有限，在ROP病变临床分析往往需要采集多张多视角的视网膜眼底彩照，即在未同时出现视盘和黄斑两个结构的视网膜眼底彩照不能使用该算法进行分析。其次，该ROP I区识别方法的性能取决于视盘和黄斑的检测精度。然而，新生儿的黄斑发育不完全，对应的眼底彩照中黄斑结构不明显，可能导致黄斑的识别准确率较低，进而影响ROP I区的识别精度。最后，该算法仅实现了对I区的自动识别，并未涉及II区和III区自动识别的研究。目前，ROP三区的自动识别研究尚未见报道，这对于评估ROP的严重程度很重要。
发明内容
本申请旨在解决上述技术问题，提供一种基于注意力机制和深监督策略的早产儿视网膜病变自动分区识别方法，实现对早产儿视网膜眼底彩照图像中I区/II区/III区的自动分类识别，为后续的ROP自动诊断奠定基础。
为实现上述目的，本申请公开了一种基于注意力机制和深监督策略的早产儿视网膜病变自动分区识别方法，该方法包括：
图像的预处理，将二维视网膜眼底彩照图像利用双线性插值下采样到256×256并进行减均值处理；对数据进行在线数据扩增操作；
网络结构的搭建，通过在DenseNet121卷积神经网络中设置空间通道注意力模块SACAB并引入深监督策略搭建为网络结构；
模型的训练和测试，通过迁移学习将ImageNet上预训练的所述DenseNet121卷积神经网络作为预训练模型，并通过训练集中的数据训练所述网络结构，所述网络结构训练结束后，通过测试集测试所述网络结构的性能。
作为优选，所述图像的预处理中对数据进行在线数据扩增操作具体包括：随机旋转30度、随机水平翻转、随机垂直翻转。
作为优选，所述网络结构包括依次设置的7×7卷积层、3×3最大池化层、第一密集连接层、第一转换层、空间通道注意力模块SACAB、第二密集连接层、第二转换层、空间通道注意力模块SACAB、第三密集连接层、第三转换层、空间通道注意力模块SACAB、第四密集连接层、全局平均池化层、第三全连接层、第三softmax输出层，所述空间通道注意力模块SACAB、所述第二密集连接层之间连接有全局平均池化层、第一全连接层、第一softmax输出层，所述空间通道注意力模块SACAB、所述第三密集连接层之间连接有全局平均池化层、第二全连接层、第二softmax输出层。
作为优选，所述空间通道注意力模块SACAB包括通道注意力机制、空间注意力机制；所述通道注意力机制包括SE压缩激励模块，所述SE压缩激励模块包括压缩操作、激励操作；所述压缩操作通过所述全局平均池化层完成，并输出维度为C×1×1的C个特征图的数值分布情况；所述激励操作包括依次将所述压缩操作获取的数值分布情况经过一个C/r×1×1的卷积得到维度为C/r×1×1的第一结果、将所述第一结果经过一个ReLU激活函数层输出维度与所述第一结果相同的第二结果、将所述第二结果经过经过一个C×1×1的卷积得到维度为C×1×1的第三结果、将所述第三结果经过sigmoid函数得到C个特征图的权重系数、将输入特征与所述权重系数进行点积后获取点积特征图、将所述点积特征图与原始输入特征图进行相加后获取通道注意力特征图；其中，C表示通道数目，r为压缩率。
作为优选，所述空间注意力机制包括依次进行的将原始输入特征分别通过2个3×3卷积得到2个卷积特征图、将第一个所述卷积特征图进行维度变换和转置操作后获取第一操作结果、将第二个所述卷积特征图进行维度转换操作后获取第二操作结果、将所述第一操作结果和所述第二操作结果进行矩阵相乘、将矩阵相乘的结果经过一个softmax函数得到大小为C×W×H的初步空间注意力特征图、将所述初步空间注意力特征图与所述原始输入特征相加后获取最终空间注意力特征图，其中，C、W和H分别为所述卷积特征图的通道数、宽度和高度。
作为优选，将所述通道注意力特征图与所述最终空间注意力特征图通过平均操作进行特征融合后的结果作为所述空间通道注意力模块SACAB的输出。
作为优选，所述网络结构中位于所述第二转换层后的所述空间通道注意力模块SACAB之后引入有所述深监督策略，所述网络结构中位于所述第三转换层后的所述空间通道注意力模块SACAB之后引入有所述深监督策略。
作为优选，所述7×7卷积层的核大小为7×7，步长为2；所述3×3最大池化层、所述平均池化层的核的大小为3×3、步长为2。
本申请的有益效果：
1、本申请的基于注意力机制和深监督策略的早产儿视网膜病变自动分区识别方法，通过空间通道注意力模块SACAB能够获取丰富且重要的全局和局部信息，使得网络结构能够学习到正确的病变特征及其位置关系，同时，本发明采用深监督策略，使网络结构的浅层信息得到充分利用，从而对早产儿视网膜眼底彩照图像中I区/II区/III区进行自动分类识别，提高分类网络结构的分类性能，保证了早产儿视网膜病变分区识别的精度和效率，为后续的ROP自动诊断奠定良好的基础。
2、本申请的基于注意力机制和深监督策略的早产儿视网膜病变自动分区识别方法，对二维视网膜眼底彩照图像利用双线性插值进行下采样到256×256并进行减均值处理，能够有效地防止GPU内存溢出。同时，通过数据扩增操作能够有效地防止模型过拟合并增强模型的泛化能力。
3、本申请的基于注意力机制和深监督策略的早产儿视网膜病变自动分区识别方法，在原始DenseNet121网络的转换层后面添加空间通道注意力模块SACAB，输出语义丰富的特征图，然后再经过最后一个密集连接层、全局平均池化层、全连接层和softmax层输出预测结果。同时，在网络训练过程通过在第二个和第三个空间通道注意力模块SACAB后面增加辅助分类器来引入深监督学习策略，以充分利用浅层信息。将空间通道注意力模块SACAB嵌入在网络结构的较浅层，一方面是避免在浅层中丢失更多的图像细节特征，可以得到具有重要特征的特征图，另一方面是可以增加卷积核数量，这可以在增加网络结构深度的同时，不过多消耗计算资源，使得网络结构表达更加多样化。同时，引入深监督策略可以使浅层信息得到充分的利用，通过在中间层增加辅助分类器来对主干网络结构进行监督，从而解决深度神经网络训练过程中梯度消失和收敛速度过慢等问题。
4、本申请的基于注意力机制和深监督策略的早产儿视网膜病变自动分区识别方法，空间通道注意力模块SACAB采用SE压缩激励模块作为其通道注意力机制，通过学习自动获得每个通道的重要程度，从而增强对目标处理对象有利的重要通道信息、抑制一些无关的细节信息，然后得到的点积特征图再经过空间注意力机制，进一步选择病变聚焦位置，产生更具分辨性的特征表示，从而提高网络结构的特征提取能力。
5、本申请的基于注意力机制和深监督策略的早产儿视网膜病变自动分区识别方法，网络结构中第一个二维卷积核大小为7×7、步长为2，其他二维卷积核的大小分别是3×3和1×1，卷积核的步长是1或者2，3×3最大池化层和平均池化层的核的大小为3×3、步长为2，通过该种网络结构的设置，能够不过早合并深度信息，并可以减少网络结构的参数量和增强网络结构的鲁棒性。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅是本申请的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请实施例中网络结构的结构示意图；
图2是本申请实施例中空间通道注意力模块SACAB的结构示意图；
图3是本申请实施例中分区识别的早产儿视网膜眼底彩照图像示意图；
图4是本申请实施例中原始DenseNet121卷积神经网络的结构示意图；
图5是本申请实施例中原始DenseNet121卷积神经网络中转换层的结构示意图；
图6是本申请实施例中原始DenseNet121卷积神经网络中密集模块的结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本申请中的技术方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都应当属于本申请保护的范围。
实施例：一种基于注意力机制和深监督策略的早产儿视网膜病变自动分区识别方法，该方法包括：
图像的预处理，将二维视网膜眼底彩照图像利用双线性插值下采样到256×256并进行减均值处理；对数据进行在线数据扩增操作；
网络结构的搭建，通过在DenseNet121卷积神经网络中设置空间通道注意力模块SACAB并引入深监督策略搭建为网络结构；
模型的训练和测试，通过迁移学习将ImageNet上预训练的DenseNet121卷积神经网络作为预训练模型，并通过训练集中的数据训练网络结构，网络结构训练结束后，通过测试集测试网络结构的性能。
借由上述结构，本申请的基于注意力机制和深监督策略的早产儿视网膜病变自动分区识别方法，通过空间通道注意力模块SACAB能够获取丰富且重要的全局和局部信息，使得网络结构能够学习到正确的病变特征及其位置关系，同时，本发明采用深监督策略，使网络结构的浅层信息得到充分利用，从而对早产儿视网膜眼底彩照图像中I区/II区/III区进行自动分类识别，提高分类网络结构的分类性能，保证了早产儿视网膜病变分区识别的精度和效率，为后续的ROP自动诊断奠定良好的基础。
作为本实施例的一种优选的实施方式，图像的预处理中对数据进行在线数据扩增操作具体包括：随机旋转30度、随机水平翻转、随机垂直翻转。
作为本实施例的一种优选的实施方式，参考图1所示，网络结构包括依次设置的7×7卷积层、3×3最大池化层、第一密集连接层、第一转换层、空间通道注意力模块SACAB、第二密集连接层、第二转换层、空间通道注意力模块SACAB、第三密集连接层、第三转换层、空间通道注意力模块SACAB、第四密集连接层、全局平均池化层、第三全连接层、第三softmax输出层，空间通道注意力模块SACAB、第二密集连接层之间连接有全局平均池化层、第一全连接层、第一softmax输出层，空间通道注意力模块SACAB、第三密集连接层之间连接有全局平均池化层、第二全连接层、第二softmax输出层。
参考图2所示，空间通道注意力模块SACAB包括通道注意力机制、空间注意力机制；通道注意力机制包括SE压缩激励模块，SE压缩激励模块包括压缩操作、激励操作；压缩操作通过全局平均池化层完成，并输出维度为C×1×1的C个特征图的数值分布情况；激励操作包括依次将压缩操作获取的数值分布情况经过一个C/r×1×1的卷积得到维度为C/r×1×1的第一结果、将第一结果经过一个ReLU激活函数层输出维度与第一结果相同的第二结果、将第二结果经过经过一个C×1×1的卷积得到维度为C×1×1的第三结果、将第三结果经过sigmoid函数得到C个特征图的权重系数、将输入特征与权重系数进行点积后获取点积特征图、将点积特征图与原始输入特征图进行相加后获取通道注意力特征图，通道注意力特征图具有重要的特征信息。其中，C表示通道数目，r为压缩率。在本实施例中，获取的C个权重系数代表各通道的重要程度，而这C个权重系数是通过上述的卷积操作和非线性层学习得到的。两个1×1卷积的作用就是融合各通道的特征图特征。
空间注意力机制包括依次进行的将原始输入特征分别通过2个3×3卷积得到2个卷积特征图、将第一个卷积特征图进行维度变换和转置操作后获取第一操作结果、将第二个卷积特征图进行维度转换操作后获取第二操作结果、将第一操作结果和第二操作结果进行矩阵相乘、将矩阵相乘的结果经过一个softmax函数得到大小为C×W×H的初步空间注意力特征图、将初步空间注意力特征图与原始输入特征相加后获取最终空间注意力特征图，其中，C、W和H分别为卷积特征图的通道数、宽度和高度。
将通道注意力特征图与最终空间注意力特征图通过平均操作进行特征融合后的结果作为空间通道注意力模块SACAB的输出。
作为优选地，网络结构中位于第二转换层后的空间通道注意力模块SACAB之后引入有深监督策略，网络结构中位于第三转换层后的空间通道注意力模块SACAB之后引入有深监督策略。这样设置的好处是，一方面可以使浅层信息得到充分利用，另一方面在中间层增加的辅助分类器可以对主干网络进行监督，从而解决深度神经网络训练过程中梯度消失和收敛速度过慢等问题
作为优选地，7×7卷积层的核大小为7×7，步长为2；3×3最大池化层、平均池化层的核的大小为3×3、步长为2。这样设置的好处是，能够不过早合并深度信息，而且还可以减少网络结构的参数量和增强网络结构的鲁棒性。
参考图3所示，异常的早产儿视网膜眼底图像根据病变特征及其位置关系区分为I区、II区和III区，分别如图示中(a)、(b)、(c)所示，为了降低学习任务的计算成本，所有二维眼底彩照图像都使用双线性插值的方法下采样到256×256，然后进行减均值处理以提高差别度。
结合图2、图4、图5、图6所示，本申请的网络结构是在二维卷积神经网络DenseNet121模型上进行改进的，原始DenseNet121卷积神经网络是由密集连接层和转换层组成的，具有121个二维卷积层、1个二维最大池化层、121个二维批归一化层、3个平均池化层、1个全局平均池化层、1个全连接层、最后连接一个softmax输出层。其中，密集连接层是由密集模块组成的，4个密集连接层分别由6、12、24和16个密集块组成。
本发明在原始DenseNet121网络的三个转换层后面分别添加空间通道注意力模块SACAB，输出语义丰富的特征图，然后再经过最后一个密集连接层、全局平均池化层、全连接层和softmax层输出预测结果。同时，在网络结构训练过程中通过在第二个和第三个空间通道注意力模块SACAB后面增加辅助分类器来引入深监督学习策略，以充分利用浅层信息。将空间通道注意力模块SACAB嵌入在网络结构的较浅层，一方面是避免在浅层中丢失更多的图像细节特征，可以得到具有重要特征的特征图，另一方面是可以增加卷积核数量，这可以在增加网络结构深度的同时，不过多消耗计算资源，使得网络结构表达更加多样化。同时，引入深监督策略可以使浅层信息得到充分的利用，通过在中间层增加辅助分类器来对主干网络进行监督，从而解决深度神经网络训练过程中梯度消失和收敛速度过慢等问题。
基于上述基于注意力机制和深监督策略的早产儿视网膜病变自动分区识别方法，本申请进行了实验，具体内容如下：
a)数据库
本发明使用来自148个受试者的662(82I区、299II区和281III区)张二维视网膜眼底彩照图像作为数据集，在整个数据集上采用5折交叉验证来评估本发明的表现。为了降低学习任务的计算成本，所有二维眼底彩照图像都使用双线性插值的方法下采样到256×256，然后进行减均值处理以提高差别度。
b)数据扩增
为了防止模型的过拟合和增强模型的泛化能力，在训练过程中对数据进行在线扩增以增加数据的多样性，包括随机旋转30度、随机水平翻转和随机垂直翻转。
c)实施
基于Pytorch的集成环境和3块带有12GB存储空间的NVIDIA Tesla K40 GPU完成模型的训练和测试。通过后向传播算法最小化交叉熵损失来训练模型，使用优化器Adam来最小化代价函数，基本学习率和权重衰减均设置为0.0001。批(Batch)尺寸设置为16，迭代次数(Epoch)设置为40。
d)评估指标
为了定量评估本发明的性能，使用3个常用的分类评价指标，包括准确率(accuracy)、加权的F1分数(Weighted F1 score)、一致性检验系数(Kappa)。其中准确率(accuracy)、加权的F1分数(Weighted F1 score)及一致性检验系数(Kappa)的定义如下：
Figure BDA0002744329250000081
Figure BDA0002744329250000082
Figure BDA0002744329250000083
其中TP、FP、TN和FN分别代表真阳性、假阳性、真阴性和假阴性，W_P和W_R分别代表加权的精确度(precision)和加权的召回率(recall)，Po是观察一致率，Pe是机遇一致率。
(4)验证与结果：
本发明在整个数据集上采用5折交叉验证来评估和对比原始DenseNet121与本发明中所提出的深度注意力网络。为了证明SACAB和深监督学习策略的有效性，进行了一系列的消融实验。实验结果如附表1所示。
表1
方法/评价指标 准确率 加权的F1分数 一致性检验系数 参数量
基线网络 0.8566±0.0268 0.8564±0.0265 0.8383±0.0383 6.9569
基线网络+DANet 0.8716±0.0197 0.8716±0.0195 0.8547±0.0260 7.3451
基线网络+SACAB 0.8777±0.0114 0.8777±0.0111 0.8605±0.0244 7.3880
基线网络+深监督 0.8641±0.0222 0.8643±0.0222 0.8379±0.0118 6.9592
提出的方法 0.8852±0.0194 0.8850±0.0194 0.8699±0.0264 7.3903
在表1中，“基线网络”表示原始DenseNet121卷积神经网络，“基线网络+DANet”表示在原始DenseNet121卷积神经网络中添加双重注意力DANet模块，“基线网络+SACAB”表示在原始DenseNet121卷积神经网络中添加SACAB，“基线网络+深监督”表示在原始DenseNet121卷积神经网络中引入深监督学习策略，“提出的方法”表示本申请中提出的方法，即“基线网络+SACAB+深监督”。可以看出原始DenseNet121卷积神经网络的分类准确率是85.66％，本发明的分类准确率可达88.52％。本发明的加权F1分数和一致性检验系数Kappa分别为88.50％和86.99％，比原始DenseNet121卷积神经网络分别提高了2.86％和3.16％。从表1中可以看出本发明中设计的空间通道注意力模块SACAB模块和引用的深监督策略均能有效提升原始DenseNet121卷积神经网络的分类准确率。
综上，本申请的基于注意力机制和深监督策略的早产儿视网膜病变自动分区识别方法即针对早产儿视网膜病变的眼底彩照图像ROP的自动分区识别方法已实现并进行验证。其在实验中的表现优于原始DenseNet121卷积神经网络。因此，本申请能对二维视网膜眼底彩照图像做出更优的判断，从另一方面来说，本申请中设计的空间通道注意力模块SACAB并不复杂，可以嵌入到其他任何卷积神经网络中去，使得网络结构的特征提取能力更强，从而提高网络结构的整体性能，有助于二维视网膜眼底彩照图像的分类和检测，大大提高了二维视网膜眼底彩照图像的筛查效率。本发明结合了图像预处理、深度神经网络模型的搭建与训练以及测试，使后续对早产儿视网膜病变的研究，如病变区域分割、配准以及ROP的自动诊断研究等有很大的帮助。
以上描述是为了进行图示说明而不是为了进行限制。通过阅读上述描述，在所提供的示例之外的许多实施方式和许多应用对本领域技术人员来说都将是显而易见的。因此，本教导的范围不应该参照上述描述来确定，而是应该参照所附权利要求以及这些权利要求所拥有的等价物的全部范围来确定。出于全面之目的，所有文章和参考包括专利申请和公告的公开都通过参考结合在本文中。在前述权利要求中省略这里公开的主题的任何方面并不是为了放弃该主体内容，也不应该认为申请人没有将该主题考虑为所公开的申请主题的一部分。

Claims (8)

1.一种基于注意力机制和深监督策略的早产儿视网膜病变自动分区识别方法，其特征在于，该方法包括：
图像的预处理，将二维视网膜眼底彩照图像利用双线性插值下采样到256×256并进行减均值处理；对数据进行在线数据扩增操作；
网络结构的搭建，通过在DenseNet121卷积神经网络中设置空间通道注意力模块SACAB并引入深监督策略搭建为网络结构；
模型的训练和测试，通过迁移学习将ImageNet上预训练的所述DenseNet121卷积神经网络作为预训练模型，并通过训练集中的数据训练所述网络结构，所述网络结构训练结束后，通过测试集测试所述网络结构的性能。
2.根据权利要求1所述的基于注意力机制和深监督策略的早产儿视网膜病变自动分区识别方法，其特征在于，所述图像的预处理中对数据进行在线数据扩增操作具体包括：随机旋转30度、随机水平翻转、随机垂直翻转。
3.根据权利要求1所述的基于注意力机制和深监督策略的早产儿视网膜病变自动分区识别方法，其特征在于，所述网络结构包括依次设置的7×7卷积层、3×3最大池化层、第一密集连接层、第一转换层、空间通道注意力模块SACAB、第二密集连接层、第二转换层、空间通道注意力模块SACAB、第三密集连接层、第三转换层、空间通道注意力模块SACAB、第四密集连接层、全局平均池化层、第三全连接层、第三softmax输出层，所述空间通道注意力模块SACAB、所述第二密集连接层之间连接有全局平均池化层、第一全连接层、第一softmax输出层，所述空间通道注意力模块SACAB、所述第三密集连接层之间连接有全局平均池化层、第二全连接层、第二softmax输出层。
4.根据权利要求3所述的基于注意力机制和深监督策略的早产儿视网膜病变自动分区识别方法，其特征在于，所述空间通道注意力模块SACAB包括通道注意力机制、空间注意力机制；所述通道注意力机制包括SE压缩激励模块，所述SE压缩激励模块包括压缩操作、激励操作；所述压缩操作通过所述全局平均池化层完成，并输出维度为C×1×1的C个特征图的数值分布情况；所述激励操作包括依次将所述压缩操作获取的数值分布情况经过一个C/r×1×1的卷积得到维度为C/r×1×1的第一结果、将所述第一结果经过一个ReLU激活函数层输出维度与所述第一结果相同的第二结果、将所述第二结果经过经过一个C×1×1的卷积得到维度为C×1×1的第三结果、将所述第三结果经过sigmoid函数得到C个特征图的权重系数、将输入特征与所述权重系数进行点积后获取点积特征图、将所述点积特征图与原始输入特征图进行相加后获取通道注意力特征图；其中，C表示通道数目，r为压缩率。
5.根据权利要求4所述的基于注意力机制和深监督策略的早产儿视网膜病变自动分区识别方法，其特征在于，所述空间注意力机制包括依次进行的将原始输入特征分别通过2个3×3卷积得到2个卷积特征图、将第一个所述卷积特征图进行维度变换和转置操作后获取第一操作结果、将第二个所述卷积特征图进行维度转换操作后获取第二操作结果、将所述第一操作结果和所述第二操作结果进行矩阵相乘、将矩阵相乘的结果经过一个softmax函数得到大小为C×W×H的初步空间注意力特征图、将所述初步空间注意力特征图与所述原始输入特征相加后获取最终空间注意力特征图，其中，C、W和H分别为所述卷积特征图的通道数、宽度和高度。
6.根据权利要求5所述的基于注意力机制和深监督策略的早产儿视网膜病变自动分区识别方法，其特征在于，将所述通道注意力特征图与所述最终空间注意力特征图通过平均操作进行特征融合后的结果作为所述空间通道注意力模块SACAB的输出。
7.根据权利要求3所述的基于注意力机制和深监督策略的早产儿视网膜病变自动分区识别方法，其特征在于，所述网络结构中位于所述第二转换层后的所述空间通道注意力模块SACAB之后引入有所述深监督策略，所述网络结构中位于所述第三转换层后的所述空间通道注意力模块SACAB之后引入有所述深监督策略。
8.根据权利要求3所述的基于注意力机制和深监督策略的早产儿视网膜病变自动分区识别方法，其特征在于，所述7×7卷积层的核大小为7×7，步长为2；所述3×3最大池化层、所述平均池化层的核的大小为3×3、步长为2。
CN202011161035.5A 2020-10-27 2020-10-27 一种基于注意力机制和深监督策略的早产儿视网膜病变自动分区识别方法 Pending CN112308830A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011161035.5A CN112308830A (zh) 2020-10-27 2020-10-27 一种基于注意力机制和深监督策略的早产儿视网膜病变自动分区识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011161035.5A CN112308830A (zh) 2020-10-27 2020-10-27 一种基于注意力机制和深监督策略的早产儿视网膜病变自动分区识别方法

Publications (1)

Publication Number Publication Date
CN112308830A true CN112308830A (zh) 2021-02-02

Family

ID=74330856

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011161035.5A Pending CN112308830A (zh) 2020-10-27 2020-10-27 一种基于注意力机制和深监督策略的早产儿视网膜病变自动分区识别方法

Country Status (1)

Country Link
CN (1) CN112308830A (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113435310A (zh) * 2021-06-24 2021-09-24 中国科学技术大学 一种基于深度神经网络的视网膜数据采集处理方法及系统
CN113516678A (zh) * 2021-03-31 2021-10-19 杭州电子科技大学 一种基于多任务的眼底图像检测方法
CN113743484A (zh) * 2021-08-20 2021-12-03 宁夏大学 基于空间和通道注意力机制的图像分类方法与系统
CN115083005A (zh) * 2022-06-13 2022-09-20 广东省人民医院 一种基于深度学习的rop图像分类系统及方法
CN115619747A (zh) * 2022-10-26 2023-01-17 中山大学中山眼科中心 一种幼儿眼底视网膜全景影像图谱生成和随访数据对齐方法
CN116823760A (zh) * 2023-06-25 2023-09-29 深圳市眼科医院(深圳市眼病防治研究所) 早产儿视网膜病变治疗方式的自动识别方法及系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108021916A (zh) * 2017-12-31 2018-05-11 南京航空航天大学 基于注意力机制的深度学习糖尿病视网膜病变分类方法
CN111027575A (zh) * 2019-12-13 2020-04-17 广西师范大学 一种自注意对抗学习的半监督语义分割方法
CN111160311A (zh) * 2020-01-02 2020-05-15 西北工业大学 基于多注意力机制双流融合网络的黄河冰凌语义分割方法
CN111259982A (zh) * 2020-02-13 2020-06-09 苏州大学 一种基于注意力机制的早产儿视网膜图像分类方法和装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108021916A (zh) * 2017-12-31 2018-05-11 南京航空航天大学 基于注意力机制的深度学习糖尿病视网膜病变分类方法
CN111027575A (zh) * 2019-12-13 2020-04-17 广西师范大学 一种自注意对抗学习的半监督语义分割方法
CN111160311A (zh) * 2020-01-02 2020-05-15 西北工业大学 基于多注意力机制双流融合网络的黄河冰凌语义分割方法
CN111259982A (zh) * 2020-02-13 2020-06-09 苏州大学 一种基于注意力机制的早产儿视网膜图像分类方法和装置

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113516678A (zh) * 2021-03-31 2021-10-19 杭州电子科技大学 一种基于多任务的眼底图像检测方法
CN113516678B (zh) * 2021-03-31 2024-04-05 杭州电子科技大学 一种基于多任务的眼底图像检测方法
CN113435310A (zh) * 2021-06-24 2021-09-24 中国科学技术大学 一种基于深度神经网络的视网膜数据采集处理方法及系统
CN113743484A (zh) * 2021-08-20 2021-12-03 宁夏大学 基于空间和通道注意力机制的图像分类方法与系统
CN115083005A (zh) * 2022-06-13 2022-09-20 广东省人民医院 一种基于深度学习的rop图像分类系统及方法
CN115083005B (zh) * 2022-06-13 2023-07-04 广东省人民医院 一种基于深度学习的rop图像分类系统及方法
CN115619747A (zh) * 2022-10-26 2023-01-17 中山大学中山眼科中心 一种幼儿眼底视网膜全景影像图谱生成和随访数据对齐方法
CN115619747B (zh) * 2022-10-26 2023-09-19 中山大学中山眼科中心 幼儿眼底视网膜全景影像图谱生成和随访数据对齐方法
CN116823760A (zh) * 2023-06-25 2023-09-29 深圳市眼科医院(深圳市眼病防治研究所) 早产儿视网膜病变治疗方式的自动识别方法及系统

Similar Documents

Publication Publication Date Title
CN112308830A (zh) 一种基于注意力机制和深监督策略的早产儿视网膜病变自动分区识别方法
Li et al. Lightweight attention convolutional neural network for retinal vessel image segmentation
Chen et al. Glaucoma detection based on deep convolutional neural network
CN109726743B (zh) 一种基于三维卷积神经网络的视网膜oct图像分类方法
Yang et al. SUD-GAN: deep convolution generative adversarial network combined with short connection and dense block for retinal vessel segmentation
CN111259982A (zh) 一种基于注意力机制的早产儿视网膜图像分类方法和装置
Li et al. Segmentation of retinal fluid based on deep learning: application of three-dimensional fully convolutional neural networks in optical coherence tomography images
CN109325942A (zh) 基于全卷积神经网络的眼底图像结构分割方法
CN114821189B (zh) 一种基于眼底图像的病灶图像分类与识别方法
Zhang et al. Attention to region: Region-based integration-and-recalibration networks for nuclear cataract classification using AS-OCT images
Vij et al. A novel deep transfer learning based computerized diagnostic Systems for Multi-class imbalanced diabetic retinopathy severity classification
CN117058676B (zh) 一种基于眼底检查影像的血管分割方法、装置和系统
Bilal et al. Diabetic retinopathy detection using weighted filters and classification using CNN
Mai et al. Few-shot transfer learning for hereditary retinal diseases recognition
Šušteršič et al. A deep learning model for automatic detection and classification of disc herniation in magnetic resonance images
Sharma et al. Harnessing the Strength of ResNet50 to Improve the Ocular Disease Recognition
Kamal et al. A comprehensive review on the diabetic retinopathy, glaucoma and strabismus detection techniques based on machine learning and deep learning
CN114998300A (zh) 一种基于多尺度信息融合网络的角膜溃疡分类方法
Thanh et al. A real-time classification of glaucoma from retinal fundus images using AI technology
Shaheamlung et al. A comprehensive review of medical expert systems for diagnosis of chronic liver diseases
Miao et al. Research on deep learning in the detection and classification of diabetic retinopathy
Sharma et al. Blood vessel segmentation using SegNet
CN113273959A (zh) 一种便携式糖尿病视网膜病变诊疗仪
Venneti et al. Amdnet: Age-related macular degeneration diagnosis through retinal fundus images using lightweight convolutional neural network
Elaouaber et al. Retinal vasculature extraction and analysis for diabetic retinopathy recognition

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20220314

Address after: 215011 Building 2, No. 209, Zhuyuan Road, high tech Zone, Suzhou, Jiangsu

Applicant after: SUZHOU BIGVISION MEDICAL TECHNOLOGY Co.,Ltd.

Address before: 215000, ten, 1 Zi street, Jiangsu, Suzhou

Applicant before: SOOCHOW University

TA01 Transfer of patent application right