CN113592809A - 一种基于通道注意力残差网络的肺炎图像检测系统及方法 - Google Patents

一种基于通道注意力残差网络的肺炎图像检测系统及方法 Download PDF

Info

Publication number
CN113592809A
CN113592809A CN202110855365.2A CN202110855365A CN113592809A CN 113592809 A CN113592809 A CN 113592809A CN 202110855365 A CN202110855365 A CN 202110855365A CN 113592809 A CN113592809 A CN 113592809A
Authority
CN
China
Prior art keywords
eca
residual error
network
channel
pneumonia
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110855365.2A
Other languages
English (en)
Other versions
CN113592809B (zh
Inventor
张建军
郭朝霞
刘培顺
唐瑞春
贾静
王晗
刘艳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qingdao Center Of Disease Control And Prevention (qingdao Prevention Medicine Research Institute)
Ocean University of China
Original Assignee
Qingdao Center Of Disease Control And Prevention (qingdao Prevention Medicine Research Institute)
Ocean University of China
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qingdao Center Of Disease Control And Prevention (qingdao Prevention Medicine Research Institute), Ocean University of China filed Critical Qingdao Center Of Disease Control And Prevention (qingdao Prevention Medicine Research Institute)
Priority to CN202110855365.2A priority Critical patent/CN113592809B/zh
Priority claimed from CN202110855365.2A external-priority patent/CN113592809B/zh
Publication of CN113592809A publication Critical patent/CN113592809A/zh
Application granted granted Critical
Publication of CN113592809B publication Critical patent/CN113592809B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/241Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10116X-ray image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30061Lung

Abstract

本发明属于肺炎诊断技术领域,公开了一种基于通道注意力残差网络的肺炎图像检测系统及方法,所述基于通道注意力残差网络的肺炎图像检测方法包括:将深度学习技术与医学影像‑胸部X光片相结合,将预训练好的ResNet模型权重和参数迁移到残差网络模型,从通道维度将ECA注意力模块引入残差结构,构建基于通道注意力的残差网络模型ECA‑XNet,用于从胸部X片中检测肺炎。本发明将预训练好的ResNet模型权重和参数迁移到本文模型上,提高模型的训练速度。为了对有用的残差特征进行增强并抑制噪声的干扰,本发明从通道维度将ECA注意力模块引入残差结构,所提出的模型已经在Chest X‑Ray Images数据集上得到验证。

Description

一种基于通道注意力残差网络的肺炎图像检测系统及方法
技术领域
本发明属于肺炎诊断技术领域,尤其涉及一种基于通道注意力残差网络的肺炎图像检测系统及方法。
背景技术
目前,肺炎是全球的十大死亡原因之一,肺炎类传染病已经成为全球老人和儿童死亡的主要原因。胸部X光片是诊断和检测肺炎疾病的最有效方式。目前,学者们开始探索将深度学习等技术与医学影像相结合作为辅助诊断工具,用于从胸部X光片中检测与诊断肺炎,辅助医生进行决策,有效提高医生的诊断效率,并有助于肺炎的早期诊断和治疗,在医学临床领域具有重要的应用价值。
当前,机器学习和深度学习等技术已经被有效的应用到医学影像领域,并取得显著的效果。深度学习技术通过学习大量患病的胸部X片的特征,能够成功的从X光片中准确的识别出肺炎患者。2017年吴恩达团队在中就已提出了用于胸部X片检测的121层的卷积神经网络-CheXNet,在公开的数据集 ChestX-Ray14上训练,可以识别对包括肺炎在内的14种肺部疾病,其准确率甚至超过了已经和人类放射科医生的水平持平甚至更高。研究基于深度学习和人工智能的辅助诊断系统可有效减轻医护人员的负担,同时提高诊断效率。
众所周知,深度学习模型的准确性和可解释性依赖大量的数据。在生物医学影像等领域构造标准的、高质量的大数据集会极其的困难。小样本的数据又会导模型出现过拟合,模型泛化程度低等问题。迁移学习是深度学习领域中解决训练数据不足问题的重要工具,迁移学习能够将某个中已经学到的知识应用到另一个不同但相关的领域。例如,现有技术使用的VGGNet-16和ResNet-50 在ImageNet图像数据集上进行了预训练,保留了图像中的通用特征,并通过数据增强等方式在两个医学图像数据集中分别取得了76.87%和87.37的准确率。由于目前诊断的胸部X片图像严重不足,Shukla等人在基于源域为 chest X-Ray数据集上进行迁移训练,使用深度迁移学习构建了基于ResNet50的分类模型。但是它们的预测准确度和模型学习能力还有提高的空间。
利用深度学习等技术来进行X射线图像诊断的关键是提出图片中的有效特征。VDSNet、CheXNet等深度学习的模型已经证明了从胸部X光图片中检测肺炎的有效性,这些模型从空间角度增加网络深度来提高模型的准确度。然而网络模型过深又会导致一系列问题,如过拟合、梯度爆炸(消失)和网络退化等,从而使得模型训练难度增加。Wang等人重新考虑了卷积网络中通道之间的关系,首次提出了挤压和激励网络SENet,并应用在多种医学影像等分类任务中。 Junsang等人提出了SE ResNet网络用于心电信号的分类,该网络在残差网络中引入SE注意力模块,用来提取卷积特征通道之间的重要信息,加入的SE注意力模块比基准模型的准确率提高了1.4%。Gong等人将二维SE块和残差块扩展到三维形式,提出了用于肺部结点自动检测的3D SE ResNet结构,通过SE模块特征重新校准策略,充分利用了肺结节的三维空间上下文信息,有效提高了肺部结点自动检测效率。
以上研究表明可以通过CNN等深度学习模型从胸部X射线图像中进行肺炎诊断,并取得显著成果。除了利用通道注意力模块等特征提取技术可以有效提高模型的性能以外,迁移学习技术也被用来预训练模型,优化网络学习效率。因此,亟需一种使用经迁移学习预训练残差网络的肺炎诊断系统。
通过上述分析,现有技术存在的问题及缺陷为:
(1)目前肺炎诊断的胸部X片图像存在严重不足,现有基于深度迁移学习构建的模型的预测准确度和模型学习能力还有提高的空间。
(2)现有模型从空间角度增加网络深度来提高模型的准确度,但网络模型过深会导致过拟合、梯度爆炸(消失),从而使得模型训练难度增加。
解决以上问题及缺陷的难度为:基于人工智能的医学影像计算机辅助系统在诊断准确率、稳定性以及执行效率上都具有很大优势,但是深度学习模型的准确性和可解释性又依赖大规模的数据。在生物医学影像等领域构造标准的、高质量的大数据集会极其的困难。因此小样本的数据训练深度学习模型会导致模型效率低下和过拟合问题,模型泛化程度低等问题。研究者为了进一步提高辅助诊断算法的准确性,致力于通过增加网络深度等一系列方式来增强,但又同时会带来其他的一系列问题如过拟合、梯度爆炸(消失)和网络退化等问题等,从而使得模型训练难度增加。
解决以上问题及缺陷的意义为:在“互联网+医疗”的模式的大背景下,研究构建基于医学大数据的影像诊断辅助算法具有很广泛的应用前景,可以用于临床医学中各种传染病等疾病的筛查,辅助放射科医生的筛查、诊断,并且有助于早期疾病的发现和筛查,具有重要的临床实用价值。本发明提出的算法能够增强肺炎辅助诊断系统的诊断效率、准确性和稳定性,将有助于医学影像计算机辅助诊断系统的推广和应用。
发明内容
针对现有技术存在的问题,本发明提供了一种基于通道注意力残差网络的肺炎图像检测系统及方法。
本发明是这样实现的,一种基于通道注意力残差网络的肺炎图像检测方法,所述基于通道注意力残差网络的肺炎图像检测方法包括:
将深度学习技术与医学影像-胸部X光片相结合,使用深度迁移学习将预训练好的ResNet模型权重和参数迁移到残差网络模型。深度迁移学习解决了网络因数据规模较小导致的网络泛化能力低等问题,预训练的模型减少了模型的训练时间;选用的残差模块解决了因网络模型过深导致的过拟合和梯度爆炸问题。从通道维度将ECA注意力模块引入残差结构,ECA模块将增强残差网络对X光片中有用特征的学习,抑制无关噪声干扰,进一步提高肺炎模型检测准确率。构建基于通道注意力的残差网络模型ECA-XNet,用于从胸部X片中检测肺炎;
使用ECA-XNet网络进行肺炎预测,有选择的强调胸片中重要的所含信息丰富的特征,并抑制残差特征中无关信息和胸片中噪声干扰;选用的分类网络是通过深度迁移学习进行预训练的ECA-XNet网络,用两个神经元替换最后一个全连接层,每个神经元使用Sigmoid激活,用于模型分类结果的输出。
进一步,所述深度迁移学习,包括:
采用预训练好的网络结构和网络参数,在新任务训练时加载该模型;使用ImageNet数据集作为源域进行迁移训练,将ImageNet数据集上预训练好的ResNet 模型权重和参数迁移到所述模型。
进一步,所述ResNet,包括:
ResNet在普通网络前向传播基础上增加了跃层连接,残差块分为两部分,残差块表示为:
Xl+1=F(Xl,Wl)+h(Xl);
其中,F(Xl,Wl)代表残差映射,h(Xl)代表恒等映射部分,Xl代表网络中第l层残差块的输入,Xl+1代表残差单元的输出。当Xl与F维度相同时候,h(Xl)=Xl,否则,需要进行升维或降维,即h(Xl)=Wl'Xl
进一步,所述通道注意力残差网络模型,包括:
ECA通过1D卷积完成的跨信道的信息交互,卷积核大小通过一个函数来自适应确定;将ECA模块引入高效的ResNet网络中用于肺炎疾病的检测。
ECA-XNet网络将ECA模块插入到残差模块后。ECA首先要进行挤压操作,使用全局平均池化(GAP)顺着空间维度进行特征压缩,将H×W×C的输入特征转换成1×1×C的输出,用于收集残差通道间的统计信息。对于残差通道统计量
Figure BDA0003183836010000042
中第c个单元计算如下:
Figure BDA0003183836010000041
其中,uc res∈Ures,Ures=[u1 res,u2 res,...,uC res]是残差模块对Xl降维后输出的特征图,c 是残差映射的通道数,H,W代表通道高和宽,激活重新缩放残差特征图U获得。
进一步,所述ECA通过卷积核大小为k的1D卷积实现跨通道的信息交互,ω用来显式地建模特征通道间的相关性,代表每个特征通道的权重值:
ω=σ(C1Dk(y));
Figure BDA0003183836010000051
其中,σ是Sigmoid函数,C1D是一维卷积,一维卷积核的大小k代表ECA 跨信道交互作用的范围,与通道维数C存在着特征映射关系,通过以下公式自适应确定:
Figure BDA0003183836010000052
其中,|n|odd是求距离n最近的奇数。将ECA的输出权重即每个特征通道的重要性,将通过逐通道乘法加权到原输入特征,所述最终残差特征表示为:
Figure BDA0003183836010000053
其中,Fscale是按通道的乘法,ω是表示对应通道的权重,最后ECA-XNet模块的输出Xl+1是将加了ECA权重的残差特征
Figure BDA0003183836010000054
和恒等映射特征Ures逐元素相加并通过ReLU激活:
Figure BDA0003183836010000055
其中,δ表示ReLU运算。
进一步,所述肺炎诊断网络模型,包括:
使用ECA-XNet网络进行肺炎预测,用于有选择的强调胸片中重要的所含信息丰富的特征,抑制不重要的信息特征和噪声;选用的分类网络是通过迁移学习进行预训练的ResNet网络,用两个神经元替换最后一个全连接层,每个神经元使用Sigmoid激活。
优化交叉熵损失函数,使用加权交叉熵损失函数WCEL。该函数通过引入正/负平衡因子减少负样本的权重,强化对正样本的学习:
LWCEL(X,y)=αylogP(Y=1/X)+β(1-y)logP(Y=0/X);
其中,正平衡因子α=|P|/(|P|+|N|),负平衡因子β=|N|/(|P|+|N|),|P|和|N|表示一批胸片标签中1、0的总数;y表示胸片X的真实标签值y∈{0,1},P(Y=i/X)是网络预测胸片X标签为i的概率。
本发明的另一目的在于提供一种应用所述的基于通道注意力残差网络的肺炎图像检测方法的基于通道注意力残差网络的肺炎图像检测系统,所述基于通道注意力残差网络的肺炎图像检测系统包括:
迁移学习模块,用于将深度学习技术与医学影像-胸部X光片相结合,将预训练好的ResNet模型权重和参数迁移到本文模型中;
残差网络模型构建模块,对残差网络结构进行改变,从通道维度将ECA注意力模块引入残差结构,将加了ECA权重的残差特征和恒等映射特征逐元素相加作为残差结构的最终输出,用于构建基于通道注意力的残差网络模型 ECA-XNet;
肺炎诊断模块,用于使用构建的通道注意力的残差网络模型ECA-XNet从胸部X片进行肺炎检测,此模型有选择的强调胸片中重要的所含信息丰富的特征,抑制残差特征中无关信息和胸片中噪声干扰。其中,用两个神经元替换最后一个全连接层,每个神经元使用Sigmoid激活。
本发明的另一目的在于提供一种计算机设备,所述计算机设备包括存储器和处理器,所述存储器存储有计算机程序,所述计算机程序被所述处理器执行时,使得所述处理器执行如下步骤:
将深度学习技术与医学影像-胸部X光片相结合,将预训练好的ResNet模型权重和参数迁移到残差网络模型,从通道维度将ECA注意力模块引入残差结构,构建基于通道注意力的残差网络模型ECA-XNet,用于从胸部X片中检测肺炎;
使用ECA-XNet网络进行肺炎预测,有选择的强调胸片中重要的所含信息丰富的特征;选用的分类网络是通过迁移学习进行预训练的ECA-XNet网络,用两个神经元替换最后一个全连接层,每个神经元使用Sigmoid激活。
本发明的另一目的在于提供一种计算机可读存储介质,存储有计算机程序,所述计算机程序被处理器执行时,使得所述处理器执行如下步骤:
将深度学习技术与医学影像-胸部X光片相结合,将预训练好的ResNet模型权重和参数迁移到残差网络模型,从通道维度将ECA注意力模块引入残差结构,构建基于通道注意力的残差网络模型(ECA-XNet),用于从胸部X片中检测肺炎;
使用ECA-XNet网络进行肺炎预测,有选择的强调胸片中重要的所含信息丰富的特征,并抑制残差特征中无关信息和胸片中噪声干扰;选用的分类网络是通过迁移学习进行预训练的ResNet网络,用两个神经元替换最后一个全连接层,每个神经元使用Sigmoid激活。
本发明的另一目的在于提供一种信息数据处理终端,所述信息数据处理终端用于实现所述的基于通道注意力残差网络的肺炎图像检测系统。
结合上述的所有技术方案,本发明所具备的优点及积极效果为:本发明提供的基于通道注意力残差网络的肺炎图像检测系统,使用经迁移学习预训练的残差网络,探索ECA通道注意力模块在肺炎检测中的潜在优势。本发明将深度学习等技术与医学影像-胸部X光片相结合,提出了一种基于通道注意力的残差网络模型(ECA-XNet),用于从胸部X片中检测肺炎。首先将预训练好的ResNet 模型权重和参数迁移到本文模型上,提高了模型的训练速度。为了对有用的残差特征进行增强并抑制噪声的干扰,从通道维度将ECA注意力模块引入残差结构。所提出的模型已经在Chest X-Ray Images数据集上得到验证。实验表明,本发明提供的基于50层的ECA-XNet网络模型表现出了最佳的性能。
本发明使用ECA-XNet网络进行肺炎预测,能够有选择的强调胸片中重要的所含信息丰富的特征,抑制不重要的信息特征及噪声干扰;选用的分类网络是通过迁移学习进行预训练的ResNet网络,为了使该网络适应肺炎检测的问题,用两个神经元替换了最后一个全连接层,每个神经元使用Sigmoid激活。
本发明提出了基于通道注意力的深度残差神经网络模型ECA-XNet,用于从胸部X-Ray图像中检测肺炎。该模型使用深度残差网络代替传统的卷积神经网络,同时在残差网络结构基础上,嵌入了ECA通道注意力模块,用来增加残差网络对信息丰富的特征的学习,优化残差网络模型。所建立的模型在ImageNet 数据集上进行深度迁移训练,建议的模型已经在Chest X-Ray Images数据集上得到验证,结果表明,基于50层的ECA-XNet网络表现出了最佳的性能,证明了 ECA注意力模块的潜在优势。
附图说明
为了更清楚地说明本发明实施例的技术方案,下面将对本发明实施例中所需要使用的附图做简单的介绍,显而易见地,下面所描述的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的基于通道注意力残差网络的肺炎图像检测方法流程图。
图2是本发明实施例提供的基于通道注意力残差网络的肺炎图像检测系统结构框图;
图中:1、迁移学习模块;2、残差网络模型构建模块;3、肺炎诊断模块。
图3(a)是本发明实施例提供的残差块网络结构示意图。
图3(b)是本发明实施例提供的ECA-XNet块网络结构示意图。
图4是本发明实施例提供的ECA-XNet网络结构示意图。
图5是本发明实施例提供的胸部X-Ray图像示例示意图。
图5(a)是本发明实施例提供的正常肺图像。
图5(b)是本发明实施例提供的病毒性肺炎1例示意图。
图5(c)是本发明实施例提供的细菌性肺炎1例示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
实验是在一个DELL的工作站上完成的,该工作站是Intel X5650,GPU是 TITANXp,软件环境是基于Pytorch的深度学习框架。
批大小设置为32。每个模型训练50个时期。批量大小和epoch的数量已经根据经验确定。使用Adam优化器进行训练,并根据经验确定学习率。ECA模块自使用卷积核k的取值为3~9,50层的ECA-XNet网络k取值为9时表现最最佳。
针对现有技术存在的问题,本发明提供了一种基于通道注意力残差网络的肺炎图像检测系统及方法,下面结合附图对本发明作详细的描述。
如图1所示,本发明实施例提供的基于通道注意力残差网络的肺炎图像检测方法包括以下步骤:
S101,将深度学习技术与医学影像-胸部X光片相结合,将预训练好的ResNet 模型权重和参数迁移到残差网络模型;
S102,从通道维度将ECA注意力模块引入残差结构,构建基于通道注意力的残差网络模型ECA-XNet,用于从胸部X片中检测肺炎;
S103,使用ECA-XNet网络进行肺炎检测,有选择的强调胸片中重要的所含信息丰富的特征,并抑制残差特征中无关信息和胸片中噪声干扰;选用的分类网络是通过迁移学习进行预训练的ResNet网络,用两个神经元替换最后一个全连接层,每个神经元使用Sigmoid激活。
如图2所示,本发明实施例提供的基于通道注意力残差网络的肺炎图像检测系统包括:
迁移学习模块1,用于将深度学习技术与医学影像-胸部X光片相结合,将预训练好的ResNet模型权重和参数迁移到残差网络模型;
残差网络模型构建模块2,对残差网络结构进行改变,从通道维度将ECA 注意力模块引入残差结构,将加了ECA权重的残差特征和恒等映射特征逐元素相加作为残差结构的最终输出,用于构建基于通道注意力的残差网络模型 ECA-XNet;
肺炎诊断模块3,用于使用构建的通道注意力的残差网络模型ECA-XNet 从胸部X片进行肺炎检测,此模型有选择的强调胸片中重要的所含信息丰富的特征,抑制残差特征中无关信息和胸片中噪声干扰。其中,用两个神经元替换最后一个全连接层,每个神经元使用Sigmoid激活。
下面结合实施例对本发明的技术方案作进一步描述。
1、本发明将深度学习等技术与医学影像-胸部X光片相结合,提出了一种基于通道注意力的残差网络模型(ECA-XNet),用于从胸部X片中检测肺炎。首先将预训练好的ResNet模型权重和参数迁移到本发明模型上,提高了模型的训练速度。为了对有用的残差特征进行增强并抑制噪声的干扰,从通道维度将 ECA注意力模块引入残差结构。本发明所提出的模型已经在Chest X-Ray Images 数据集上得到验证,实验表明基于50层的ECA-XNet网络模型表现出了最佳的性能。
2、本发明使用ECA-XNet网络进行肺炎检测,能够有选择的强调胸片中重要的所含信息丰富的特征,抑制不重要的信息特征及噪声干扰。选用的分类网络是通过迁移学习进行预训练的ECA-XNet网络,为了使该网络适应肺炎检测的问题,用两个神经元替换了最后一个全连接层,每个神经元使用Sigmoid激活。总结的ECA-XNet网络结构如图4所示。
2.1深度迁移学习
深度迁移学习是通过深度学习相关算法提取特征并有效地转移知识。深度神经网络模型不仅需要大批量的数据支撑,还需要训练大量的网络参数。
应用深度迁移学习的预训练模型主要有两种方式。一是用作特征提取,即将该网络的最后一层(输出层)去掉,将整个网络当作一个特征提取器,然后训练一个新分类器用来分类。二是采用预训练好的网络结构和网络参数,在新任务训练时加载该模型。本发明采用第二种方法,使用ImageNet数据集作为源域进行迁移训练,约1419万张图像,1000多个类标签。将ImageNet数据集上预训练好的ResNet模型权重和参数迁移到本发明模型上,避免从头开始训练一个新的网络,加快并优化了网络的学习效率,节省了计算资源。
2.2 ResNet
近年来,研究者致力对深度卷积神经网络通过堆叠更多层来提高模型准确率。伴随着网络层数的加深,(导致一系列的梯度消失/爆炸和训练难度增加等问题),训练集损失值先逐渐下降,趋于平稳,然后迅速增大,出现网络“退化”的现象。2015年Kaiming He针对该问题提出了残差块以训练更深的网络。
ResNet在普通网络前向传播基础上增加了跃层连接(Skip Connection),残差块分为两部分,恒等映射部分和残差部分如图3(a)所示。残差块可以表示为:
Xl+1=F(Xl,Wl)+h(Xl) (1)
其中,F(Xl,Wl)代表残差映射,h(Xl)代表恒等映射部分,Xl代表网络中第l层残差块的输入,Xl+1代表残差单元的输出。当Xl与F维度相同时候,h(Xl)=Xl,否则,需要进行升维或降维,即:h(Xl)=Wl'Xl
2.3通道注意力残差网络模型
Qilong Wang等人在2020年提出了高效的ECA模块,是基于SE-NET的扩展。由于SE模块在激励阶段通过两个全连接层(FC)的降维破坏了信道及其注意力权重的直接对应关系。为了避免降维,ECA通过1D卷积完成的跨信道的信息交互,其卷积核大小通过一个函数来自适应确定。本发明将ECA模块引入高效的 ResNet网络中用于肺炎疾病的分类。ECA-XNet的结构如图3(b)所示。
ECA-XNet网络将ECA模块插入到残差模块后。ECA首先要进行挤压操作,使用全局平均池化(GAP)顺着空间维度进行特征压缩,将H×W×C的输入特征转换成1×1×C的输出,用于收集残差通道间的统计信息。对于残差通道统计量
Figure BDA0003183836010000111
中第c个单元计算如下:
Figure BDA0003183836010000112
其中,uc res∈Ures,Ures=[u1 res,u2 res,...,uC res]是残差模块对Xl降维后输出的特征图,c 是残差映射的通道数,H,W代表通道高和宽。激活重新缩放残差特征图U来获得的:
为了避免降维,ECA通过卷积核大小为k的1D卷积实现跨通道的信息交互,ω用来显式地建模特征通道间的相关性,代表每个特征通道的权重值。
ω=σ(C1Dk(y)) (3)
Figure BDA0003183836010000121
其中,σ是Sigmoid函数,C1D是一维卷积,一维卷积核的大小k代表了ECA 跨信道交互作用的范围,与通道维数C存在着特征映射关系,可通过公式(5)自适应确定。
Figure BDA0003183836010000122
其中|n|odd是求距离n最近的奇数。将ECA的输出权重即每个特征通道的重要性,将通过逐通道乘法加权到原输入特征。表示最终残差特征表示为:
Figure BDA0003183836010000123
其中,Fscale是按通道的乘法,ω是表示对应通道的权重,最后ECA-XNet模块的输出Xl+1是将加了ECA权重的残差特征
Figure BDA0003183836010000124
和恒等映射特征Ures逐元素相加并通过ReLU激活:
Figure BDA0003183836010000125
其中,δ表示ReLU运算。
2.4肺炎诊断网络模型
本发明中,使用ECA-XNet网络进行肺炎预测,能够有选择的强调胸片中重要的所含信息丰富的特征,抑制不重要的信息特征。选用的分类网络是通过迁移学习进行预训练的ECA-XNet网络,为了使该网络适应肺炎检测的问题,用两个神经元替换了最后一个全连接层,每个神经元使用Sigmoid激活。总结的ECA-XNet图如图4所示。
针对数据集中正负样本不平衡问题,本发明优化了交叉熵损失函数,使用加权交叉熵损失函数(WCEL)。该函数通过引入正/负平衡因子减少负样本的权重,强化对正样本的学习。
LWCEL(X,y)=αylogP(Y=1/X)+β(1-y)logP(Y=0/X) (8)
其中,正平衡因子α=|P|/(|P|+|N|),负平衡因子β=|N|/(|P|+|N|),|P|和|N|表示一批胸片标签中1、0的总数。y表示胸片X的真实标签值y∈{0,1},P(Y=i/X)是网络预测胸片X标签为i的概率。
3、实验
3.1数据集
本发明所使用的数据集是Chest X-Ray Images(肺炎),是来自广州市妇幼保健中心1~5岁儿童患者的胸部X射线。共5856张已标注的胸片图像,其中包含3883 张正样本,1349张负样本。对于肺炎疾病来说,该数据集中包含细菌性肺炎和病毒性肺炎,如图5所示。
将数据集随机按照7:3的比例分为训练集和测试集,为了适应迁移模型的要求,需要对胸片数据集进行预处理。将图像大小调整为256×256,然后对图像进行中心裁剪将图像调整为224×224×3的尺寸,为了使肺炎检测模型更加可靠,采用旋转、翻转和倾斜等数据增强技术增加训练集中图像的数量。
4、本发明提出了基于通道注意力的深度残差神经网络模型ECA-XNet,用于从胸部X-Ray图像中检测肺炎。该模型使用深度残差网络代替传统的卷积神经网络,同时在残差网络结构基础上,嵌入了ECA通道注意力模块,用来增加残差网络对信息丰富的特征的学习,优化残差网络模型。所建立的模型在 ImageNet数据集上进行深度迁移训练,建议的模型已经在Chest X-Ray Images数据集上得到验证,结果表明,基于50层的ECA-XNet网络表现出了最佳的性能,证明了ECA注意力模块的潜在优势。未来可以在多分类的肺炎数据集上进行尝试,在图像处理方面,也可以采用图像对比度增强、图像变换等方式来提高模型精度。
在上述实施例中,可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用全部或部分地以计算机程序产品的形式实现,所述计算机程序产品包括一个或多个计算机指令。在计算机上加载或执行所述计算机程序指令时,全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中,或者从一个计算机可读存储介质向另一个计算机可读存储介质传输,例如,所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL)或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输)。所述计算机可读取存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质,(例如,软盘、硬盘、磁带)、光介质(例如,DVD)、或者半导体介质(例如固态硬盘SolidState Disk(SSD))等。
以上所述,仅为本发明的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等,都应涵盖在本发明的保护范围之内。

Claims (10)

1.一种基于通道注意力残差网络的肺炎图像检测方法,其特征在于,所述基于通道注意力残差网络的肺炎图像检测方法包括:
将深度学习技术与医学影像-胸部X光片相结合,将预训练好的ResNet模型权重和参数迁移到残差网络模型,从通道维度将ECA注意力模块引入残差结构,构建基于通道注意力的残差网络模型ECA-XNet,用于从胸部X光片中检测肺炎;
使用ECA-XNet网络进行肺炎检测,有选择的强调胸片中重要的所含信息丰富的特征,并抑制胸片中无关噪声干扰;选用的分类网络是通过迁移学习进行预训练的ECA-XNet网络,用两个神经元替换最后一个全连接层,每个神经元使用Sigmoid激活。
2.如权利要求1所述的基于通道注意力残差网络的肺炎图像检测方法,其特征在于,所述深度迁移学习,包括:采用预训练好的网络结构和网络参数,在新任务训练时加载该模型;使用ImageNet数据集作为源域进行迁移训练,将ImageNet数据集上预训练好的ResNet模型权重和参数迁移到所述模型。
3.如权利要求1所述的基于通道注意力残差网络的肺炎图像检测方法,其特征在于,所述ResNet,包括:ResNet在普通网络前向传播基础上增加了跃层连接,残差块分为两部分,即恒等映射部分和残差部分,残差块表示为:
Xl+1=F(Xl,Wl)+h(Xl);
其中,F(Xl,Wl)代表残差映射,h(Xl)代表恒等映射部分,Xl代表网络中第l层残差块的输入,Xl+1代表残差单元的输出;当Xl与F维度相同时候,h(Xl)=Xl,否则,需要进行升维或降维,即h(Xl)=Wl'Xl
4.如权利要求1所述的基于通道注意力残差网络的肺炎图像检测方法,其特征在于,所述通道注意力残差网络模型,包括:
ECA通过1D卷积完成的跨信道的信息交互,卷积核大小通过一个函数来自适应确定;将ECA模块引入高效的残差网络中用于肺炎疾病的检测;
ECA-XNet网络将ECA模块插入到残差模块后;ECA首先要进行挤压操作,使用全局平均池化(GAP)顺着空间维度进行特征压缩,将H×W×C的输入特征转换成1×1×C的输出,用于收集残差通道间的统计信息;对于残差通道统计量
Figure FDA0003183835000000021
中第c个单元计算如下:
Figure FDA0003183835000000022
其中,uc res∈Ures,Ures=[u1 res,u2 res,...,uC res]是残差模块对Xl降维后输出的特征图,c是残差映射的通道数,H,W代表通道高和宽,激活重新缩放残差特征图U获得。
5.如权利要求1所述的基于通道注意力残差网络的肺炎图像检测方法,其特征在于,所述ECA通过卷积核大小为k的1D卷积实现跨通道的信息交互,ω用来显式地建模特征通道间的相关性,代表每个特征通道的权重值:
ω=σ(C1Dk(y));
Figure FDA0003183835000000023
其中,σ是Sigmoid函数,C1D是一维卷积,一维卷积核的大小k代表ECA跨信道交互作用的范围,与通道维数C存在着特征映射关系,通过以下公式自适应确定:
Figure FDA0003183835000000024
其中,|n|odd是求距离n最近的奇数;将ECA的输出权重即每个特征通道的重要性,将通过逐通道乘法加权到原输入特征,所述最终残差特征表示为:
Figure FDA0003183835000000025
其中,Fscale是按通道的乘法,ω是表示对应通道的权重,最后ECA-XNet模块的输出Xl+1是将加了ECA权重的残差特征
Figure FDA0003183835000000026
和恒等映射特征Ures逐元素相加并通过ReLU激活:
Figure FDA0003183835000000027
其中,δ表示ReLU运算。
6.如权利要求1所述的基于通道注意力残差网络的肺炎图像检测方法,其特征在于,所述肺炎检测网络模型,包括:
使用ECA-XNet网络进行肺炎预测,用于有选择的强调胸片中重要的所含信息丰富的特征,抑制不重要的信息特征;选用的分类网络是通过迁移学习进行预训练的ResNet网络,用两个神经元替换最后一个全连接层,每个神经元使用Sigmoid激活;
优化交叉熵损失函数,使用加权交叉熵损失函数WCEL;该函数通过引入正/负平衡因子减少负样本的权重,强化对正样本的学习:
LWCEL(X,y)=αylogP(Y=1/X)+β(1-y)log P(Y=0/X);
其中,正平衡因子α=|P|/(|P|+|N|),负平衡因子β=|N|/(|P|+|N|),|P|和|N|表示一批胸片标签中1、0的总数;y表示胸片X的真实标签值y∈{0,1},P(Y=i/X)是网络预测胸片X标签为i的概率。
7.一种实施权利要求1~6任意一项所述的基于通道注意力残差网络的肺炎图像检测方法的基于通道注意力残差网络的肺炎图像检测系统,其特征在于,所述基于通道注意力残差网络的肺炎图像检测系统包括:
迁移学习模块,用于将深度学习技术与医学影像-胸部X光片相结合,将预训练好的ResNet模型权重和参数迁移到残差网络模型;
残差网络模型构建模块,对残差网络结构进行改变,从通道维度将ECA注意力模块引入残差结构,将加了ECA权重的残差特征和恒等映射特征逐元素相加作为残差结构的最终输出,用于构建基于通道注意力的残差网络模型ECA-XNet;
肺炎诊断模块,用于使用构建的通道注意力的残差网络模型ECA-XNet从胸部X片进行肺炎检测,此模型有选择的强调胸片中重要的所含信息丰富的特征,抑制残差特征中无关信息和胸片中噪声干扰;其中,用两个神经元替换最后一个全连接层,每个神经元使用Sigmoid激活。
8.一种计算机设备,其特征在于,所述计算机设备包括存储器和处理器,所述存储器存储有计算机程序,所述计算机程序被所述处理器执行时,使得所述处理器执行如下步骤:
将深度学习技术与医学影像-胸部X光片相结合,将预训练好的ResNet模型权重和参数迁移到残差网络模型,从通道维度将ECA注意力模块引入残差结构,构建基于通道注意力的残差网络模型ECA-XNet,用于从胸部X片中检测肺炎;
使用ECA-XNet网络进行肺炎预测,有选择的强调胸片中重要的所含信息丰富的特征,并抑制残差特征中无关信息和胸片中噪声干扰;选用的分类网络是通过迁移学习进行预训练的ECA-XNet网络,用两个神经元替换最后一个全连接层,每个神经元使用Sigmoid激活。
9.一种计算机可读存储介质,存储有计算机程序,所述计算机程序被处理器执行时,使得所述处理器执行如下步骤:
将深度学习技术与医学影像-胸部X光片相结合,将预训练好的ResNet模型权重和参数迁移到残差网络模型,从通道维度将ECA注意力模块引入残差结构,构建基于通道注意力的残差网络模型-ECA-XNet,用于从胸部X片中检测肺炎;
使用ECA-XNet网络进行肺炎预测,有选择的强调胸片中重要的所含信息丰富的特征,并抑制残差特征中无关信息和胸片中噪声干扰;选用的分类网络是通过迁移学习进行预训练的ECA-XNet网络,用两个神经元替换最后一个全连接层,每个神经元使用Sigmoid激活。
10.一种信息数据处理终端,其特征在于,所述信息数据处理终端用于实现如权利要求7所述的基于通道注意力残差网络的肺炎图像检测系统。
CN202110855365.2A 2021-07-28 一种基于通道注意力残差网络的肺炎图像检测系统及方法 Active CN113592809B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110855365.2A CN113592809B (zh) 2021-07-28 一种基于通道注意力残差网络的肺炎图像检测系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110855365.2A CN113592809B (zh) 2021-07-28 一种基于通道注意力残差网络的肺炎图像检测系统及方法

Publications (2)

Publication Number Publication Date
CN113592809A true CN113592809A (zh) 2021-11-02
CN113592809B CN113592809B (zh) 2024-05-14

Family

ID=

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113920327A (zh) * 2021-11-17 2022-01-11 国网四川省电力公司电力科学研究院 一种基于改进的Faster Rcnn的绝缘子目标识别方法
CN115345803A (zh) * 2022-10-19 2022-11-15 合肥视微科技有限公司 基于残差网络的ct断层图中环形伪影校正方法
CN115578593A (zh) * 2022-10-19 2023-01-06 北京建筑大学 一种使用残差注意力模块的域适应方法
CN116152278A (zh) * 2023-04-17 2023-05-23 杭州堃博生物科技有限公司 医疗图像的分割方法及装置、非易失性存储介质
CN116523840A (zh) * 2023-03-30 2023-08-01 苏州大学 一种基于深度学习的肺部ct图像检测系统以及方法
CN116703867A (zh) * 2023-06-09 2023-09-05 太原理工大学 残差网络与通道注意力协同驱动下的基因突变预测方法
CN116777793A (zh) * 2023-07-31 2023-09-19 深圳扬奇医芯智能科技有限公司 基于对数引导对比学习的医学影像提示去噪技术
CN117132606A (zh) * 2023-10-24 2023-11-28 四川大学 用于肺部病变图像的分割方法
WO2024016575A1 (zh) * 2022-07-22 2024-01-25 重庆文理学院 一种基于cbam机制的残差网络的医学影像辅助检测方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110930373A (zh) * 2019-11-06 2020-03-27 天津大学 一种基于神经网络的肺炎识别装置
CN111259982A (zh) * 2020-02-13 2020-06-09 苏州大学 一种基于注意力机制的早产儿视网膜图像分类方法和装置
CN111709265A (zh) * 2019-12-11 2020-09-25 深学科技(杭州)有限公司 基于注意力机制残差网络的摄像监控状态分类方法
CN111724345A (zh) * 2020-05-18 2020-09-29 天津大学 可自适应调节感受野大小的肺炎图片检定装置与方法
CN111951246A (zh) * 2020-08-11 2020-11-17 湖南大学 一种基于深度学习的多方位x光胸片肺炎诊断方法
CN112786189A (zh) * 2021-01-05 2021-05-11 重庆邮电大学 一种基于深度学习的新冠肺炎智能诊断系统

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110930373A (zh) * 2019-11-06 2020-03-27 天津大学 一种基于神经网络的肺炎识别装置
CN111709265A (zh) * 2019-12-11 2020-09-25 深学科技(杭州)有限公司 基于注意力机制残差网络的摄像监控状态分类方法
CN111259982A (zh) * 2020-02-13 2020-06-09 苏州大学 一种基于注意力机制的早产儿视网膜图像分类方法和装置
CN111724345A (zh) * 2020-05-18 2020-09-29 天津大学 可自适应调节感受野大小的肺炎图片检定装置与方法
CN111951246A (zh) * 2020-08-11 2020-11-17 湖南大学 一种基于深度学习的多方位x光胸片肺炎诊断方法
CN112786189A (zh) * 2021-01-05 2021-05-11 重庆邮电大学 一种基于深度学习的新冠肺炎智能诊断系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
胡恒豪;王俊峰;方智阳;周海霞;: "基于深层迁移学习的DR胸片肺结核病灶检测", 四川大学学报(自然科学版), no. 03 *
黄盛;李菲菲;陈虬;: "基于改进深度残差网络的计算断层扫描图像分类算法", 光学学报, no. 03 *

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113920327A (zh) * 2021-11-17 2022-01-11 国网四川省电力公司电力科学研究院 一种基于改进的Faster Rcnn的绝缘子目标识别方法
WO2024016575A1 (zh) * 2022-07-22 2024-01-25 重庆文理学院 一种基于cbam机制的残差网络的医学影像辅助检测方法
CN115345803A (zh) * 2022-10-19 2022-11-15 合肥视微科技有限公司 基于残差网络的ct断层图中环形伪影校正方法
CN115578593A (zh) * 2022-10-19 2023-01-06 北京建筑大学 一种使用残差注意力模块的域适应方法
CN116523840A (zh) * 2023-03-30 2023-08-01 苏州大学 一种基于深度学习的肺部ct图像检测系统以及方法
CN116523840B (zh) * 2023-03-30 2024-01-16 苏州大学 一种基于深度学习的肺部ct图像检测系统以及方法
CN116152278A (zh) * 2023-04-17 2023-05-23 杭州堃博生物科技有限公司 医疗图像的分割方法及装置、非易失性存储介质
CN116703867A (zh) * 2023-06-09 2023-09-05 太原理工大学 残差网络与通道注意力协同驱动下的基因突变预测方法
CN116703867B (zh) * 2023-06-09 2023-12-08 太原理工大学 残差网络与通道注意力协同驱动下的基因突变预测方法
CN116777793A (zh) * 2023-07-31 2023-09-19 深圳扬奇医芯智能科技有限公司 基于对数引导对比学习的医学影像提示去噪技术
CN117132606A (zh) * 2023-10-24 2023-11-28 四川大学 用于肺部病变图像的分割方法
CN117132606B (zh) * 2023-10-24 2024-01-09 四川大学 用于肺部病变图像的分割方法

Similar Documents

Publication Publication Date Title
Gaur et al. Medical image-based detection of COVID-19 using Deep Convolution Neural Networks
JP2023502983A (ja) 心臓のビデオを使用して患者のエンドポイントの予測を強化するためのディープニューラルネットワークのためのシステムおよび方法
Heidari et al. A privacy-aware method for COVID-19 detection in chest CT images using lightweight deep conventional neural network and blockchain
CN113421652A (zh) 对医疗数据进行分析的方法、训练模型的方法及分析仪
Mittal et al. A new clustering method for the diagnosis of CoVID19 using medical images
Meraj et al. Detection of pulmonary tuberculosis manifestation in chest X-rays using different convolutional neural network (CNN) models
Tataru et al. Deep Learning for abnormality detection in Chest X-Ray images
Jena et al. Convolutional neural network and its pretrained models for image classification and object detection: A survey
Gulakala et al. Generative adversarial network based data augmentation for CNN based detection of Covid-19
Pradhan et al. Lung cancer detection using 3D convolutional neural networks
Zhao et al. A novel multi-scale CNNs for false positive reduction in pulmonary nodule detection
Zheng et al. A dual‐attention V‐network for pulmonary lobe segmentation in CT scans
Darapaneni et al. Pneumonia detection in Chest X-rays using neural networks
Kaya Feature fusion-based ensemble CNN learning optimization for automated detection of pediatric pneumonia
Yang et al. Low‐dose CT denoising with a high‐level feature refinement and dynamic convolution network
CN113592809B (zh) 一种基于通道注意力残差网络的肺炎图像检测系统及方法
CN113592809A (zh) 一种基于通道注意力残差网络的肺炎图像检测系统及方法
Mansouri Musolu et al. Deep learning and its applications in medical imaging
Kumar et al. Deep-learning-enabled multimodal data fusion for lung disease classification
CN115700789A (zh) 一种基于多模态医学数据的肺炎预检分诊系统
Oguntoye et al. Predicting covid-19 from chest x-ray images using optimized convolution neural network
Guo et al. Channel attention residual network for diagnosing pneumonia
Pawar et al. Modified convolutional neural network for lung cancer detection: improved cat swarm-based optimal training
Mann et al. A hybrid deep convolutional neural network model for improved diagnosis of pneumonia
Kumar et al. Abnormality Detection in Smartphone-Captured Chest Radiograph Using Multi-pretrained Models

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant