CN114565786A - 基于通道注意力机制的断层扫描图像分类装置和方法 - Google Patents

基于通道注意力机制的断层扫描图像分类装置和方法 Download PDF

Info

Publication number
CN114565786A
CN114565786A CN202210114312.XA CN202210114312A CN114565786A CN 114565786 A CN114565786 A CN 114565786A CN 202210114312 A CN202210114312 A CN 202210114312A CN 114565786 A CN114565786 A CN 114565786A
Authority
CN
China
Prior art keywords
network
channel
attention mechanism
training
classification
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210114312.XA
Other languages
English (en)
Inventor
李锵
邵凌云
关欣
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tianjin University
Original Assignee
Tianjin University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tianjin University filed Critical Tianjin University
Priority to CN202210114312.XA priority Critical patent/CN114565786A/zh
Publication of CN114565786A publication Critical patent/CN114565786A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/243—Classification techniques relating to the number of classes
    • G06F18/2431—Multiple classes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30061—Lung
    • G06T2207/30064—Lung nodule
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

本发明属于医学图像分类、医疗设备领域，为实现辅助专业医生对肺结节的快速、精确的诊断，能在一定程度上解决人工识别面临的漏诊、误诊以及无法全面识别的问题。为此，本发明采取的技术方案是，基于通道注意力机制的断层扫描图像分类装置和方法，采集断层扫描图像，利用深度卷积神经网络对采集的断层扫描图像进行分类，其中深度卷积神经网络是在密集连接神经网络DenseNet121中以密集连接的方式加入高效通道注意力机制并采用加权焦点损失函数用于网络的训练。本发明主要应用于医疗设备设计制造场合。

Description

基于通道注意力机制的断层扫描图像分类装置和方法
技术领域
本发明属于医学图像分类领域，涉及一种利用深度学习算法对3种肺结节的分类方法。将深度学习算法应用于医学图像的判别，完成对3种肺结节的分类。具体涉及基于高效通道注意力机制的肺结节分类装置和方法。
背景技术
肺癌的早期检测对成功治疗至关重要，其中计算机断层扫描(ComputedTomography,CT)筛查被认为是检测肺癌早期迹象的最佳方法之一。近年来，我国肺癌发病率已达73.33万，居各类癌症之首。根据临床数据，研究人员发现，如果肺癌患者在肺癌早期接受治疗，他们的5年生存率将从14％显著提高到49％。因此肺结节检测对早期肺癌的诊断治疗具有重大意义。然而一个病人往往就有上百张CT图像，仅仅依靠人工对CT图像进行诊断工作量大、易漏诊，并且高强度的工作会造成医生的误诊。目前，已经有一些用来协助放射科医师诊断肺结节良恶性的计算机辅助诊(Computer-Aided Diagnosis,CAD)系统，这些系统提高了医生的工作效率和诊断准确率。一般来说，传统的计算机辅助诊断系统的诊断过程包括以下步骤：分割肺结节，从候选结节中提取图像底层特征(如纹理、形态、灰度、形状等)，然后把这些特征输入传统分类器(如支持向量机、K近邻、神经网络、决策树)中进行学习，最后得出候选结节良恶性的分类结果。这样的肺结节分类方法存在以下问题：1)将提取图像特征作为肺结节分割的后继步骤，导致提取的特征很容易受分割结果好坏的影响；2)底层特征的提取是通过计算机对图像像素之间的灰度关系进行计算得到的，底层特征虽然可以被计算机理解，但是与医生描述肺结节的语言有很大差异。该方法很难得到医生易理解的分类结果，也无法为医生的临床诊断提供合理性依据。
得益于计算机性能的提升和人工智能理论的发展，深度学习作为机器学习领域的一个分支出现在人们的视野中。深度学习是一种使用多层复杂结构或由多重非线性变换构成的多个处理层进行数据处理的方法。深度学习在计算机视觉、语音识别、自然语言处理、音频识别与生物信息学等领域取得了突破性进展。深度学习方法模拟人类神经网络，通过组合多个非线性处理层对原始数据进行逐层抽象，从数据中获得不同层面的抽象特征并用于分类预测。深度学习的优点在于用非监督式或半监督式的特征学习和分层特征提取高效算法来替代手工获取特征。采用深度学习的方法对医学图像进行分类，总体来看其分类效果优于传统的特征提取方法，且省去了人工设计要提取的特征这一复杂、耗时的步骤，促进了医学图像分类研究工作的发展。
虽然基于深度学习的肺结节分类研究目前已经取得了较好的研究结果和进展，但是仍旧存在以下比较普遍的问题：(1)肺结节CT数据集的类不平衡现象会对网络模型的分类准确度造成影响；(2)肺结节图像的多样化导致深度神经网络对每种结节的识别表现不稳定；(3)CT图像复杂特征的学习与分类难以使网络做出更加精准的判断。
发明内容
为克服现有技术的不足，本发明旨在实现辅助专业医生对肺结节的快速、精确的诊断，能在一定程度上解决人工识别面临的漏诊、误诊以及无法全面识别的问题。为此，本发明采取的技术方案是，基于通道注意力机制的断层扫描图像分类方法，采集断层扫描图像，利用深度卷积神经网络对采集的断层扫描图像进行分类，其中深度卷积神经网络是在密集连接神经网络DenseNet121中以密集连接的方式加入高效通道注意力机制并采用加权焦点损失函数用于网络的训练。
具体步骤如下：
第一步，利用CT设备获取断层图像：此次分类任务采用的数据集是美国肺部图像数据联盟(LIDC-IDRI)，该数据集是全世界最大的公开肺部影像数据集。
第二步，CT图像预处理：将LIDC-IDRI数据集按照7:2:1的比例分为训练集、测试集和验证集，将CT图像中的放射密度强度剪切到[-1000,400]HU单位之间，并将它们归一化到(0,1)，将含有肺结节的CT图像剪切成40mm×40mm大小，并采用双线性插值法将图像大小调整为20mm×20mm，以降低网络计算量；
第三步，构建和训练深度卷积神经网络：先对分类网络DenseNet121进行修改，在该网络中以密集连接的方式加入高效通道注意力机制(ECA,Efficient ChannelAttention)，形成一个改进的密集连接网络，使用多标签损失函数，并利用预处理后的CT图对网络进行训练；方法如下：
(1)构建改进的密集连接网络：在DenseNet121网络上进行修改，形成一个对3种肺结节进行分类的网络，在DenseNet121中4个Dense Block内的每一个单元的前面引入高效通道注意力机制ECA模块，即将前面所有单元的输出在通道维度上进行连接再经过ECA模块捕获跨通道交互操作后来作为当前单元的输入，所述Dense Block内的每一个单元由两个卷积核层组成，卷积核的大小分别为1×1和3×3；在此基础上再将网络原来维度为1000的全连接层改为维度为3的全连接层；
(2)设计加权焦点损失函数并对网络进行训练：为使网络更有效地依据肺结节分类的难易程度调节对应的权重，在焦点损失函数的基础上添加权重系数，作为每种肺结节对应的损失函数，并称其为加权焦点损失函数Weighted Focal Loss：
Figure BDA0003495748140000021
式中，i,j＝1,2,3,...,N分别对应几种分类标签，N为分类标签总数目，ai与aj为上一次训练的验证结果中，分别与标签i与j相对应的肺结节在验证集上每个轮次AUC(AreaUnder Curve)值的算术平均值；
第四步，测试网络并选出最佳的网络模型，将每一轮训练得到的网络模型在测试集上进行测试，并选出平均AUC值最高的网络模型作为最终的模型。
注意力机制ECA是在没有降维处理的情况下进行通道级全局平均池化后，通过考虑每个通道和其k个最近邻来捕获本地跨通道交互，目标是捕获局部的跨通道交互，即只考虑每个通道与其k近邻之间的相互作用，yi的权重表示为：
Figure BDA0003495748140000031
式中，
Figure BDA0003495748140000032
为yi的k个相邻通道的集合，每个通道的注意力模块涉及k×C个参数，为了进一步降低模型复杂度并提升模型效率，共享所有通道的权重，即yi的权重表示为：
Figure BDA0003495748140000033
交互的覆盖范围即一维卷积的核大小k与通道维度C是成正比的，也就是说k和C之间存在一个映射φ，即：
C＝φ(k),
使用一个指数函数近似映射φ，即
C＝φ(k)＝2(γ*k-b),
然后，给定通道维数C就可以自适应确定核大小k，k的表达式为：
Figure BDA0003495748140000034
式中，|t|odd表示t最接近的奇数，通过ψ映射，高维通道具有更大范围的相互作用，低维通道通过非线性映射具有更小范围的相互作用，由此，整个网络的每一个Dense Block内的每个单元都将前面所有的单元进行了捕获跨通道交互操作之后再进行连接来作为当前的输入，让网络通过学习不同通道重要程度的参数来抑制无效特征信息的传播而增强有效信息的传播，实现网络性能的提升。
基于通道注意力机制的断层扫描图像分类装置，包括CT设备和计算机，CT设备获取断层图像，计算机中的深度卷积神经网络对采集的断层扫描图像进行分类，其中深度卷积神经网络是在密集连接神经网络DenseNet121中以密集连接的方式加入高效通道注意力机制，并采用加权焦点损失函数用于网络的训练。
本发明的特点及有益效果是：
本发明将深度学习和医学图像分类结合起来，利用卷积神经网络设计了一个关于肺结节CT图像的分类方法。该方法在DenseNet121中以密集连接的方式加入了高效通道注意力机制模块并采用了加权焦点损失函数用于网络的训练。与现有的肺结节分类算法相比，本发明能够在一定程度上解决数据集样本不平衡导致的分类精度较低的问题，并通过高效通道注意力机制模块以增强有效信息的特征通道并抑制无效信息的特征通道，使得该方法的分类精度优于其他的分类方法。
附图说明：
图1肺结节图例，(a)为良性肺结节，(b)为不确定性肺结节，(c)为恶性肺结节；
图2密集连接块结构示意图；
图3改进的密集连接分类网络结构图；
图4高效通道注意力模块原理图；
具体实施方式
针对现有技术存在的问题，本发明提出了一种基于高效通道注意力机制的肺结节分类方法。
本发明的技术方案如下：
第一步，利用CT设备获取断层图像：利用样品对射线能量的吸收特性对生物组织和工程材料的样品进行断层成像，本次分类任务使用的是美国肺部图像数据联盟(LIDC-IDRI)。
第二步，CT图像预处理：将LIDC-IDRI数据集按照7:2:1的比例分为训练集、测试集和验证集，LIDC-IDRI数据集中的CT图像放射密度强度值的范围是[-1024,2000]，其中放射密度强度在[-1000,400]区间的是处理肺结节需要考虑的，所以将CT图像中的放射密度强度剪切到[-1000,400]HU(HounsfieldUnit)单位之间，并将它们归一化到(0,1)。将含有肺结节的CT图像剪切成40mm×40mm(最大的肺结节为30mm)大小，并采用双线性插值法将图像大小调整为20mm×20mm，以降低网络计算量。
第三步，构建和训练深度卷积神经网络：先对分类网络DenseNet121进行修改，在该网络中以密集连接的方式加入高效通道注意力机制，形成一个改进的密集连接网络，使用了多标签损失函数，并利用预处理后的CT图对网络进行训练；方法如下：
(1)构建改进的密集连接网络：在DenseNet121网络上进行修改，形成一个对3种肺结节(良性、恶性、不确定性)进行分类的网络，在DenseNet121中4个Dense Block内的每一个单元(由两个卷积核层组成，卷积核的大小分别为1×1和3×3)的前面引入高效通道注意力机制(ECA)模块，即将前面所有单元的输出在通道维度上进行连接再经过ECA模块捕获跨通道交互操作后来作为当前单元的输入，在此基础上再将网络原来维度为1000的全连接层改为维度为3的全连接层；
(2)设计加权焦点损失函数并对网络进行训练：为使网络更有效地依据肺结节分类的难易程度调节对应的权重，在焦点损失函数的基础上添加权重系数，作为每种肺结节对应的损失函数，并称其为加权焦点损失函数(Weighted Focal Loss)：
Figure BDA0003495748140000051
式中，i,j＝1,2,3,...,N分别对应几种分类标签，N为分类标签总数目，由于本方法对3种肺结节进行分类，故取N＝3；ai与aj为上一次训练的验证结果中，分别与标签i与j相对应的肺结节在验证集上每个轮次(Epoch)AUC的算术平均值。
第四步，测试网络并选出最佳的网络模型。将每一轮训练得到的网络模型在测试集上进行测试，并选出平均AUC值最高的网络模型作为最终的模型。
为使本发明的技术方案更加清楚，下面结合附图对本发明做进一步阐述。本发明的整体算法流程图如图1所示，具体按以下步骤实现：
第一步，CT图像获取
下载NBIA Data Retriever检索器，从网站(https://www.cancerimagingarchive.net/)上下载LIDC-IDRI数据集。
第二步，图像预处理
用于此次分类任务的数据集是美国肺部图像数据联盟(LIDC-IDRI)，该数据集是全世界最大的公开肺部影像数据集，用于高危人群早期肺癌的检测诊断。该数据集包含1018名患者的肺部CT扫描数据，每个患者的数据包括该患者肺部所有CT扫描图像序列，以及4位胸部放射科医师的诊断结果XML文件。医师针对每个结节给出9个医学语义特征(对比度、分叶征、毛刺征、球形度、边缘、纹理、内部结构、钙化程度和恶性程度)的具体分级(1-6级)，等级越高，语义特征越明显。LIDC-IDRI数据集中的CT图像放射密度强度值的范围是[-1024,2000]，其中放射密度强度在[-1000,400]区间的是处理肺结节需要考虑的，所以将CT图像中的放射密度强度剪切到[-1000,400]HU(HounsfieldUnit)单位之间，并将它们归一化到(0,1)。将含有肺结节的CT图像剪切成40mm×40mm(最大的肺结节为30mm)大小，并采用双线性插值法将图像大小调整为20mm×20mm，以降低网络计算量。
第三步，构建改进的密集连接网络并设计损失函数训练网络
(1)构建基于高效通道注意力机制的密集连接网络
在DenseNet121网络上进行修改，形成一个对3种肺结节进行分类的网络，在DenseNet121中4个Dense Block内的每一个单元(由两个卷积核层组成，卷积核的大小分别为1×1和3×3)，每个单元之间的连接方式如图3中(a)所示，每一单元的输入不仅包含了上一单元的输出，而且包含了之前所有单元的输出，因此网络中个Dense Block中的每一单元都是前面所有单元在通道(channel)维度上的连接(concat)。相比ResNet，DenseNet提出一个更激进的密集连接机制：为确保网络中各层之间最大的信息流，将特征图大小匹配的所有层直接连接。为保持前馈性质，每一层都从所有前面的层获得额外的输入，并将自己的特性映射传递给所有后续层。将网络原来维度为1000的全连接层改为维度为3的全连接层。本发明将高效通道注意力模块同样以密集连接的方式加入到DenseNet121网络中，其连接方式如图3中(b)所示，每一单元的输入都是前面所有单元在通道维度相连接后经过挤压激励操作后再输入到当前的单元。在此基础上再将网络原来维度为1000的全连接层改为维度为3的全连接层，以形成一个维度为3的输出向量，代表了网络判断3种肺结节每一种结节的概率。
如图4所示为高效通道注意力机制模块的原理图。相较于SE(Squeeze-and-Excitation)模块，ECA模块避免降维，有效地捕捉了跨通道交互。ECA模块在没有降维处理的情况下进行通道级全局平均池化后，通过考虑每个通道和其k个最近邻来捕获本地跨通道交互。该方法既保证了效率，也保证了效果。ECA模块避免了不同通道之间的完全独立，目标是捕获局部的跨通道交互，即只考虑每个通道与其k近邻之间的相互作用，yi的权重可以表示为：
Figure BDA0003495748140000061
式中，
Figure BDA0003495748140000062
为yi的k个相邻通道的集合。通过捕获局部跨通道交互建立局部约束机制，从而避免所有通道的交互，使模型的效率得到提高。每个通道的注意力模块涉及k×C个参数，为了进一步降低模型复杂度并提升模型效率，共享所有通道的权重，即yi的权重可以表示为
Figure BDA0003495748140000063
交互的覆盖范围(即一维卷积的核大小k)与通道维度C是成正比的，也就是说k和C之间可能存在一个映射φ，即
C＝φ(k),
式中，φ通常是不确定的，参数化指数函数是一个可行的选择。作为核函数的指数族函数(如高斯)被广泛用于处理未知映射问题。因此,我们使用一个指数函数近似映射φ，即
C＝φ(k)＝2(γ*k-b),
式中，(γ*k-b)是最简单的线性函数的形式。
然后，给定通道维数C就可以自适应确定核大小k，k的表达式为
Figure BDA0003495748140000064
式中，|t|odd表示t最接近的奇数。在实验中分别设γ和b为2和1。通过ψ映射，高维通道具有更大范围的相互作用，低维通道通过非线性映射具有更小范围的相互作用。由此，整个网络的每一个Dense Block内的每个单元都将前面所有的单元进行了以上的捕获跨通道交互操作之后再进行连接来作为当前的输入，让网络通过学习不同通道重要程度的参数来抑制无效特征信息的传播而增强有效信息的传播，实现网络性能的提升。
(2)设计加权焦点损失函数并对网络进行训练：
对于LIDC-IDRI数据集而言，一方面，由于每种肺结节在CT图像上呈现的纹理、大小和位置等信息不尽相同，导致每种肺结节样本的分类难度存在较大差异；另一方面，数据集内的样本存在较为严重的类不平衡问题，具体表现为每种肺结节正类与负类样本数目不均衡，且不同结节之间的样本数目存在较大差异等。为使网络更有效地依据肺结节分类的难易程度调节对应的权重，在焦点损失函数的基础上添加权重系数，作为每种肺结节对应的损失函数，并称其为加权焦点损失函数(Weighted Focal Loss，WFL)：
Figure BDA0003495748140000071
式中，i,j＝1,2,3,...,N分别对应几种分类标签，N为分类标签总数目，由于本方法对3种肺结节进行分类，故取N＝3；ai与aj为上一次训练的验证结果中，分别与标签i与j相对应的肺结节在验证集上每个轮次(Epoch)AUC值的算术平均值。
由于AUC值与分类准确度呈正相关，可知每种结节的损失权重与其分类准确度呈倒数正相关，因此加权焦点损失函数可以提高较难分类结节的损失占比，使网络对较难分类结节施加更多的关注，从而达到提高较难分类结节准确度的效果。
第四步，测试网络的分类性能并选出最佳的网络模型
(1)将每一轮训练得到的网络模型在测试集上进行测试，得出每一轮的网络模型对3种肺结节的分类AUC值和平均AUC值，并选出3种肺结节平均AUC值最高的网络模型作为最终的模型。
(2)本发明最佳网络模型在公开数据集LIDC-IDRI上分类准确率达到了0.88，AUC值达到了0.91。与领域内的其他研究方法比较结果如表1所示，本发明方法总体上取得了较好的分类性能。
表1
Figure BDA0003495748140000072
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明披露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。

Claims (3)

1.一种基于通道注意力机制的断层扫描图像分类方法，其特征是，采集断层扫描图像，利用深度卷积神经网络对采集的断层扫描图像进行分类，其中深度卷积神经网络是在密集连接神经网络DenseNet121中以密集连接的方式加入高效通道注意力机制并采用加权焦点损失函数用于网络的训练。
2.如权利要求1所述的基于通道注意力机制的断层扫描图像分类方法，其特征是，具体步骤如下：
第一步，利用CT设备获取断层图像：此次分类任务采用的数据集是美国肺部图像数据联盟(LIDC-IDRI)，该数据集是全世界最大的公开肺部影像数据集；
第二步，CT图像预处理：将LIDC-IDRI数据集按照7:2:1的比例分为训练集、测试集和验证集，将CT图像中的放射密度强度剪切到[-1000,400]HU单位之间，并将它们归一化到(0,1)，将含有肺结节的CT图像剪切成40mm×40mm大小，并采用双线性插值法将图像大小调整为20mm×20mm，以降低网络计算量；
第三步，构建和训练深度卷积神经网络：先对分类网络DenseNet121进行修改，在该网络中以密集连接的方式加入高效通道注意力机制(ECA,Efficient Channel Attention)，形成一个改进的密集连接网络，使用多标签损失函数，并利用预处理后的CT图对网络进行训练；方法如下：
(1)构建改进的密集连接网络：在DenseNet121网络上进行修改，形成一个对3种肺结节进行分类的网络，在DenseNet121中4个Dense Block内的每一个单元的前面引入高效通道注意力机制ECA模块，即将前面所有单元的输出在通道维度上进行连接再经过ECA模块捕获跨通道交互操作后来作为当前单元的输入，所述Dense Block内的每一个单元由两个卷积核层组成，卷积核的大小分别为1×1和3×3；在此基础上再将网络原来维度为1000的全连接层改为维度为3的全连接层；
(2)设计加权焦点损失函数并对网络进行训练：为使网络更有效地依据肺结节分类的难易程度调节对应的权重，在焦点损失函数的基础上添加权重系数，作为每种肺结节对应的损失函数，并称其为加权焦点损失函数Weighted Focal Loss：
Figure FDA0003495748130000011
式中，i,j＝1,2,3,...,N分别对应几种分类标签，N为分类标签总数目，ai与aj为上一次训练的验证结果中，分别与标签i与j相对应的肺结节在验证集上每个轮次AUC(Area UnderCurve)值的算术平均值；
第四步，测试网络并选出最佳的网络模型，将每一轮训练得到的网络模型在测试集上进行测试，并选出平均AUC值最高的网络模型作为最终的模型。
注意力机制ECA是在没有降维处理的情况下进行通道级全局平均池化后，通过考虑每个通道和其k个最近邻来捕获本地跨通道交互，目标是捕获局部的跨通道交互，即只考虑每个通道与其k近邻之间的相互作用，yi的权重表示为：
Figure FDA0003495748130000021
式中，
Figure FDA0003495748130000022
为yi的k个相邻通道的集合，每个通道的注意力模块涉及k×C个参数，为了进一步降低模型复杂度并提升模型效率，共享所有通道的权重，即yi的权重表示为：
Figure FDA0003495748130000023
交互的覆盖范围即一维卷积的核大小k与通道维度C是成正比的，也就是说k和C之间存在一个映射φ，即：
C＝φ(k),
使用一个指数函数近似映射φ，即
C＝φ(k)＝2(γ*k-b),
然后，给定通道维数C就可以自适应确定核大小k，k的表达式为：
Figure FDA0003495748130000024
式中，|t|odd表示t最接近的奇数，通过ψ映射，高维通道具有更大范围的相互作用，低维通道通过非线性映射具有更小范围的相互作用，由此，整个网络的每一个Dense Block内的每个单元都将前面所有的单元进行了捕获跨通道交互操作之后再进行连接来作为当前的输入，让网络通过学习不同通道重要程度的参数来抑制无效特征信息的传播而增强有效信息的传播，实现网络性能的提升。
3.一种基于通道注意力机制的断层扫描图像分类装置，其特征是，包括CT设备和计算机，CT设备获取断层图像，计算机中的深度卷积神经网络对采集的断层扫描图像进行分类，其中深度卷积神经网络是在密集连接神经网络DenseNet121中以密集连接的方式加入高效通道注意力机制，并采用加权焦点损失函数用于网络的训练。
CN202210114312.XA 2022-01-30 2022-01-30 基于通道注意力机制的断层扫描图像分类装置和方法 Pending CN114565786A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210114312.XA CN114565786A (zh) 2022-01-30 2022-01-30 基于通道注意力机制的断层扫描图像分类装置和方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210114312.XA CN114565786A (zh) 2022-01-30 2022-01-30 基于通道注意力机制的断层扫描图像分类装置和方法

Publications (1)

Publication Number Publication Date
CN114565786A true CN114565786A (zh) 2022-05-31

Family

ID=81713924

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210114312.XA Pending CN114565786A (zh) 2022-01-30 2022-01-30 基于通道注意力机制的断层扫描图像分类装置和方法

Country Status (1)

Country Link
CN (1) CN114565786A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114913169A (zh) * 2022-06-10 2022-08-16 浙江大学 一种新生儿坏死性小肠结肠炎筛查系统
CN115429284A (zh) * 2022-09-16 2022-12-06 山东科技大学 心电信号分类方法、系统、计算机设备以及可读存储介质

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114913169A (zh) * 2022-06-10 2022-08-16 浙江大学 一种新生儿坏死性小肠结肠炎筛查系统
CN115429284A (zh) * 2022-09-16 2022-12-06 山东科技大学 心电信号分类方法、系统、计算机设备以及可读存储介质
CN115429284B (zh) * 2022-09-16 2024-05-03 山东科技大学 心电信号分类方法、系统、计算机设备以及可读存储介质

Similar Documents

Publication Publication Date Title
Özyurt et al. A novel liver image classification method using perceptual hash-based convolutional neural network
Li et al. Multi-view mammographic density classification by dilated and attention-guided residual learning
CN108416360B (zh) 基于乳腺钼靶钙化特征的癌症诊断系统及方法
Ahmed et al. Lung cancer detection using CT image based on 3D convolutional neural network
Prusty et al. A novel transfer learning technique for detecting breast cancer mammograms using VGG16 bottleneck feature
CN114565786A (zh) 基于通道注意力机制的断层扫描图像分类装置和方法
Asadi et al. Efficient breast cancer detection via cascade deep learning network
Mothkur et al. Classification of lung cancer using lightweight deep neural networks
Biradar et al. Lung Cancer detection and classification using 2D convolutional neural network
Sujatha et al. Screening and early identification of microcalcifications in breast using texture-based ANFIS classification
Pradhan et al. Lung cancer detection using 3D convolutional neural networks
Alfifi et al. Enhanced artificial intelligence system for diagnosing and predicting breast cancer using deep learning
Basha et al. An effective and robust cancer detection in the lungs with BPNN and watershed segmentation
Khan Identification of lung cancer using convolutional neural networks based classification
Ertuğrul et al. A decision-making tool for early detection of breast cancer on mammographic images
Wen et al. Breast cancer diagnosis: A systematic review
Pavithra et al. An Overview of Convolutional Neural Network Architecture and Its Variants in Medical Diagnostics of Cancer and Covid-19
Bhat et al. Convolutional neural network approach for the classification and recognition of lung nodules
Priya CV et al. Deep learning approaches for breast cancer detection in histopathology images: A review
CN116843984A (zh) GLTransNet：一种融合全局特征的钼靶图像分类检测方法
Subramanian et al. Design and Evaluation of a Deep Learning Aided Approach for Kidney Stone Detection in CT scan Images
Fadhil et al. A computer-aided detection system for breast cancer detection and classification
Dheeba et al. Computer aided intelligent breast cancer detection: second opinion for radiologists—a prospective study
Akram et al. Recognizing Breast Cancer Using Edge-Weighted Texture Features of Histopathology Images.
El-Askary et al. Lung Nodule Detection and Classification using random forest: A review

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination